Method encode

src/framework/tokenizers/llama_bpe.cpp:248–250

}

std::vector<int32_t> LlamaBpeTokenizer::encode(const std::string & text) const {
    return vendor::tokenize_bpe(impl_->vocab, text, true);
}

std::vector<int32_t> LlamaBpeTokenizer::encode(const std::string & text, const bool parse_special) const {
    return vendor::tokenize_bpe(impl_->vocab, text, parse_special);