(self, tokens: list[int])
| 150 | return self._tokenizer.encode(text) |
| 151 | |
| 152 | def decode(self, tokens: list[int]) -> str: |
| 153 | self._lazy_load_tokenizer() |
| 154 | return self._tokenizer.decode(tokens) |
| 155 | |
| 156 | # +++ 新增 +++: 增加一个批量解码的方法以提高效率,并保持接口一致性 |
| 157 | def decode_batch(self, tokens_list: list[list[int]]) -> list[str]: |
no test coverage detected