| 507 | } |
| 508 | |
| 509 | void add_text(const std::string & txt, bool parse_special) { |
| 510 | LOG_DBG("%s: %s\n", __func__, txt.c_str()); |
| 511 | auto tokens = mtmd_tokenize_text_internal(vocab, txt, /* add_special */ false, parse_special); |
| 512 | add_text(tokens); |
| 513 | } |
| 514 | |
| 515 | void add_text(const std::vector<llama_token> & tokens) { |
| 516 | if (tokens.empty()) { |