比较完整的分词函数，包括分词前和分词后的处理。 分词前：按照标点或者换行符来切分长句，然后逐一分词，能提高效率； 分词后：合并连续的数字或字母（可选）

解析思路：递归进行——如果一种层次结构是最优的，那么它每个语义块的 层次结构都是最优的。利用这种特性，可以写成递层优化的算法。

查找原理：按照常规trie树的查找原则， 但是每个单词有两个匹配可能：1.匹配单词本身；2.匹配占位符None。 因此只好递归匹配。

动态规划求最优路径 result的key是当前字的下标，代表截止到前一字的规划结果， result的第一个值是list，表示匹配片段的(start, end)下标对； result的第二个值是路径的分数

SentTree有三个属性： template是当前主模版， content是当前主模版覆盖的字符串 modules是语义块列表，每个元素也是一个SentTree

基本的新词识别算法 在train的基础上，计算互信息，通过互信息找出强相关的邻字，然后 通过这些邻字实现粗糙的分词，从粗糙的分词结果中筛选出可能的词语。 【参数含义】 filtering：是否过滤无关字符，只保留中文、数字和英文字母

基本的句模版构建算法 在train的基础上，然后计算互信息，通过互信息给每个词找出最邻近的 强相关的词语，然后将它们连接起来，就构成一个模版。 【参数含义】 filtering：是否过滤无关字符，只保留中文、数字和英文字母；

是否平凡模版，单个词且两边都是占位符的模版是平凡的。

重定义search函数，返回所有可能的匹配结果 输出output的格式为{(开始位置, 终止位置): {(匹配模版的词tuple): 模版频数}}

训练步骤，也就是统计字频和字对频率。 【参数含义】 filtering：是否过滤无关字符，只保留中文、数字和英文字母；

训练步骤，也就是统计词频和skip gram。 【参数含义】 filtering：是否过滤无关字符，只保留中文、数字和英文字母；