从已匹配的Hit中直接取出DictSegment，继续向下匹配 @param charArray @param currentIndex @param matchedHit @return Hit

分词，获取下一个词元 @return Lexeme 词元对象 @throws IOException

获取训练样本

添加数词词元到结果集 @param context

对CJK字符进行单字输出 @param index

Read data from source and target files and put into buckets. Args: source_path: path to the files with token-ids for the source language. t

进行字符规格化（全角转半角，大写转小写处理） @param input @return char

Setup a model instance, using the specified mode and model parameters. Load the weights from the specified file, if it exists.

返回useSmart标志位 useSmart =true ，分词器使用智能切分策略， =false则使用细粒度切分 @return useSmart

Updates diffs by setting target sequence with corresponding loss layer. Will *NOT* update parameters. To update parameters

向LexemePath追加不相交的Lexeme @param lexeme @return

从分析器读取下一个可能分解的词元对象 @param context 分词算法上下文

回滚词元链，直到它能够接受指定的词元 @param lexeme @param l

清理点内存

组合词元

生成SWMCQuery @param fieldName @param keywords @param quickMode @return Lucene Query

屏蔽词典中的一个词 @param charArray

分词切分，并返回结链表 @param keywords @return

根据context的上下文情况，填充segmentBuff @param reader @return 返回待分析的（有效的）字串长度 @throws IOException

Generate training dataset. Produce random (integer) sequences X, and corresponding expected output sequences Y = generate_output_seq

获取数组容器 线程同步方法

获取扩展字典配置路径 @return List<String> 相对类加载器的路径

获取扩展停止词典配置路径 @return List<String> 相对类加载器的路径

获取主词典路径 @return String 主词典路径

返回lexeme 同时处理合并 @return

获取量词词典路径 @return String 量词词典路径

根据分词结果生成SWMC搜索 @param fieldName @param pathOption @param quickMode @return

构造样本数据 :return: encoder_inputs: [array([0, 0], dtype=int32), array([0, 0], dtype=int32), array([5, 5], dtype=int32),

Download the WMT en-fr training corpus to directory unless it's there.

Download the WMT en-fr training corpus to directory unless it's there.

获取词向量文件的词数和维度

初始化buff指针，处理第一个字符

读取切好词的文本文件，加载全部词序列

读取切好词的文本文件，加载全部词序列

读取切好词的文本文件，加载全部词序列

词典初始化 由于IK Analyzer的词典采用Dictionary类的静态方法进行词典初始化 只有当Dictionary类被实际调用时，才会开始载入词典， 这将延长首次分词操作的时间 该方法提供了一个在应用加载阶段就初始化字典的手段 @return Dictionary

Initialize vocabulary from file. We assume the vocabulary is stored one-item-per-line, so a file: dog cat will result in a vocabulary {"d

只要buffLocker中存在segmenterName 则buffer被锁定 @return boolean 缓冲去是否被锁定

判断是否是字母连接符号 @param input @return

判断是否是数字连接符号 @param input @return

判断是否是停止词 @param charArray @param begin @param length @return boolean

加载用户配置的扩展词典到主词库表

加载主词典及扩展词典

加载量词词典

初始化词典，加载子分词器实现 @return List<ISegmenter>

加载用户扩展的停止词词典

加载样本文件列表，全部切词后统计词频，按词频由高到低排序后顺次编号 并存到self.word2id_dict和self.id2word_dict中