| 1534 | // |
| 1535 | |
| 1536 | std::vector<llama_token> common_tokenize( |
| 1537 | const struct llama_context * ctx, |
| 1538 | const std::string & text, |
| 1539 | bool add_special, |
| 1540 | bool parse_special) { |
| 1541 | const llama_model * model = llama_get_model(ctx); |
| 1542 | const llama_vocab * vocab = llama_model_get_vocab(model); |
| 1543 | return common_tokenize(vocab, text, add_special, parse_special); |
| 1544 | } |
| 1545 | |
| 1546 | std::vector<llama_token> common_tokenize( |
| 1547 | const struct llama_vocab * vocab, |