Function countTokens

src/utils/precise-tokenizer.js:14–21

* 使用tiktoken进行精准token计数 * @param {string} text - 要计数的文本 * @param {string} model - 模型名称，默认为gpt-3.5-turbo * @returns {number} 精确的token数量

(text, model = 'gpt-3.5-turbo')

 * @returns {number} 精确的token数量
 */
function countTokens(text, model = 'gpt-3.5-turbo') {
  if (!text || typeof text !== 'string') return 0

  const encoding = tiktoken.encoding_for_model(model)
  const tokens = encoding.encode(text)
  encoding.free() // 释放内存
  return tokens.length
}