Function CountToken

util/util.go:29–38

(input string)

	return string(b)
}
func CountToken(input string) int {
	encoding := "gpt-3.5-turbo"
	tkm, err := tiktoken.EncodingForModel(encoding)
	if err != nil {
		slog.Warn("tiktoken.EncodingForModel error", "error", err)
		return 0
	}
	token := tkm.Encode(input, nil, nil)
	return len(token)
}