Code
Hub
Workspaces
Following
Trending
Connect
MCP
copy
Create free account
hub
/
github.com/bojone/nlp-zero
/ types & classes
Types & classes
9 in github.com/bojone/nlp-zero
⨍
Functions
48
◇
Types & classes
9
↓ 2 callers
Class
DAG
定义一般的有向无环图(Directed Acyclic Graph)对象, 便于在各种场景下使用。其中optimal_path方法使用viterbi 算法来给出最优路径。
nlp_zero.py:147
↓ 2 callers
Class
SentTree
句子结构树 用于输出句子层次结构的解析结果并可视化
nlp_zero.py:632
↓ 2 callers
Class
Template
封装一个类,作为句模版的容器
nlp_zero.py:395
↓ 2 callers
Class
Trie
定义基本的Trie树结构,便于存储词典(词+词频)。 主要的代码量是基于Python类的特殊方法来定义一些函数, 达到表面上看起来和dict的使用方法基本一致的效果。
nlp_zero.py:40
↓ 1 callers
Class
Tokenizer
基于Trie树和动态规划的分词工具, 仅仅是基于词典和一元模型完成分词,不具备新词识别能力。
nlp_zero.py:213
Class
Parser
基于句模版的句子层次结构解析 试图用句模版覆盖整个句子,并且使得概率对数之和最大, 句模版可以相互嵌套,但是不允许交叉, 因此可以抽取出句子的层次结构。
nlp_zero.py:681
Class
Template_Finder
基于 Skip Gram 互信息构建句子模版
nlp_zero.py:444
Class
Word_Finder
基于切分和去冗余理论的无监督词库构建 可以通过train函数增量训练,可以自行通过word_finder.words=defaultdict(int)来覆盖 旧的词表。
nlp_zero.py:275
Class
XTrie
新的Trie树,以tuple为输入(原来是字符串), 并且修改了search函数,实现对模版的查找
nlp_zero.py:556