Function bytes_to_unicode_bpe

unicode.h:429–432

}

static std::string bytes_to_unicode_bpe(uint8_t byte) {
    static std::unordered_map<uint8_t, std::string> map = bytes_to_unicode_map_bpe();
    return map.at(byte);
}

static std::unordered_map<std::string, uint8_t> unicode_to_bytes_map_bpe() {
    std::unordered_map<std::string, uint8_t> map;