SimpleTokenCounter 简单的基于字符的 Token 计数器 使用启发式规则估算 Token 数量,无需调用外部 API
| 209 | // SimpleTokenCounter 简单的基于字符的 Token 计数器 |
| 210 | // 使用启发式规则估算 Token 数量,无需调用外部 API |
| 211 | type SimpleTokenCounter struct { |
| 212 | config ModelConfig |
| 213 | } |
| 214 | |
| 215 | // NewSimpleTokenCounter 创建一个简单的 Token 计数器 |
| 216 | func NewSimpleTokenCounter(config ModelConfig) *SimpleTokenCounter { |
nothing calls this directly
no outgoing calls
no test coverage detected