| 1569 | // |
| 1570 | |
| 1571 | std::vector<llama_token> common_tokenize( |
| 1572 | const struct llama_context * ctx, |
| 1573 | const std::string & text, |
| 1574 | bool add_special, |
| 1575 | bool parse_special) { |
| 1576 | const llama_model * model = llama_get_model(ctx); |
| 1577 | const llama_vocab * vocab = llama_model_get_vocab(model); |
| 1578 | return common_tokenize(vocab, text, add_special, parse_special); |
| 1579 | } |
| 1580 | |
| 1581 | std::vector<llama_token> common_tokenize( |
| 1582 | const struct llama_vocab * vocab, |