Function getTokenizerSelection

assets/compare_trajectory/app.js:248–252

(value)

}

function getTokenizerSelection(value) {
  const [mode, name] = String(value || 'model:o3').split(':');
  const encoding = mode === 'model' ? MODEL_TO_ENCODING[name] || 'o200k_base' : name || 'o200k_base';
  return { mode, name: name || 'o3', encoding };
}

async function loadEncoder(encoding) {
  if (encodingCache.has(encoding)) {