Method decode

src/framework/tokenizers/llama_bpe.cpp:256–258

}

std::string LlamaBpeTokenizer::decode(const std::vector<int32_t> & token_ids, const bool skip_special_tokens) const {
    return vendor::decode_bpe(impl_->vocab, token_ids, skip_special_tokens);
}

std::optional<int32_t> LlamaBpeTokenizer::find_token_id(const std::string & token) const {
    const auto it = impl_->vocab.token_to_id.find(token);