Function initTokenizer

packages/node-runtime/src/ai/tokenizer.ts:26–36

()

 * 可安全多次调用（幂等）。
 */
export async function initTokenizer(): Promise<void> {
  if (encoder) return
  if (initPromise) return initPromise

  initPromise = (async () => {
    const ranks = (await import('js-tiktoken/ranks/cl100k_base')).default
    encoder = new Tiktoken(ranks)
  })()

  return initPromise
}

/**
 * 轻量字符估算（fallback）