Function countTokens

packages/node-runtime/src/ai/tokenizer.ts:67–73

(text: string)

 * encoder 已初始化时使用精确计数，否则降级到字符估算。
 */
export function countTokens(text: string): number {
  if (!text) return 0
  if (encoder) {
    return encoder.encode(text).length
  }
  return estimateTokens(text)
}

/**
 * 计算消息列表的总 token 数（含 systemPrompt）。