| 1262 | // |
| 1263 | |
| 1264 | std::vector<llama_token> common_tokenize( |
| 1265 | const struct llama_context * ctx, |
| 1266 | const std::string & text, |
| 1267 | bool add_special, |
| 1268 | bool parse_special) { |
| 1269 | const llama_model * model = llama_get_model(ctx); |
| 1270 | const llama_vocab * vocab = llama_model_get_vocab(model); |
| 1271 | return common_tokenize(vocab, text, add_special, parse_special); |
| 1272 | } |
| 1273 | |
| 1274 | std::vector<llama_token> common_tokenize( |
| 1275 | const struct llama_vocab * vocab, |