Function estimate_tokens

experiments/token_cost/token_usage_tracker.py:48–56

估算文本的 token 数（中文约 1.5 字符/token，英文约 4 字符/token）

(text: str)

def estimate_tokens(text: str) -> int:
    """估算文本的 token 数（中文约 1.5 字符/token，英文约 4 字符/token）"""
    if not text:
        return 0
    # 粗略估算：中文字符和英文字符混合
    chinese_chars = sum(1 for c in text if '\u4e00' <= c <= '\u9fff')
    english_chars = len(text) - chinese_chars
    # 中文约 1.5 字符/token，英文约 4 字符/token
    return int(chinese_chars / 1.5 + english_chars / 4) + 10


# 内存中的每日 token 累计