Functions — github.com/Tongyun1/from-minimind-to-more

CodeHub MCPcopy Create free account

hub / github.com/Tongyun1/from-minimind-to-more / functions

Functions5 in github.com/Tongyun1/from-minimind-to-more

⨍ Functions 5 ◇ Types & classes 1

↓ 2 callersMethod_get_stats

内部方法：统计相邻 token 对的出现频率

↓ 2 callersMethod_merge

内部方法：在 tokens 列表中，将指定的 pair 替换为 new_token

↓ 2 callersMethodtokenize

使用学习到的规则对新文本进行分词

↓ 1 callersMethodtrain

训练分词器：从语料中学习合并规则