从vectors.bin加载词向量，返回一个word_vector_dict的词典，key是词，value是200维的向量

从vectors.bin加载词向量，返回一个word_vector_dict的词典，key是词，value是200维的向量

从vectors.bin加载词向量，返回一个word_vector_dict的词典，key是词，value是200维的向量

加载词向量二进制到内存

查找本节点下对应的keyChar的segment @param keyChar @param create =1如果没有找到，则创建新的segment ; =0如果没有找到，不创建，返回null @return

累计当前的segmentBuff相对于reader起始位置的位移

检索匹配主词典 @param charArray @return Hit 匹配结果描述

检索匹配量词词典 @param charArray @param begin @param length @return Hit 匹配结果描述

将数组中的segment迁移到Map中 @param segmentArray

Build tensor specifying graph of operations for the seq2seq neural network model. mode = string, either "train" or "predict"

指针+1 成功返回 true； 指针已经到了buff尾部，不能前进，返回false 并处理当前字符

判断是否需要扫描量词 @return

判断segmentBuff是否需要读取新数据 满足一下条件时， 1.available == BUFF_SIZE 表示buffer满载 2.buffIndex < available - 1 && buffIndex > available - BUFF_EXHAUST_CRITICAL表示当前指

推送分词结果到结果集合 1.从buff头部遍历到this.cursor已处理位置 2.将map中存在的分词结果推入results 3.将map中不存在的CJDK字符以单字方式推入results

解析查询表达式，生成Lucene Query对象 @param expression @param quickMode @return Lucene query

语法解析

取出链表集合的最后一个元素 @return Lexeme

预测过程

预测过程

Preapre all necessary files that are required for the training. Args: data_dir: directory in which the data sets will be stored. inpu

分词歧义处理 @param orgLexemes @param useSmart

处理阿拉伯数字输出 @param context @return

处理数词

处理中文量词 @param context

处理纯英文字母输出 @param context @return

处理数字字母混合输出 如：windos2000 | linliangyi2005@gmail.com @param input @param context @return

移除尾部的Lexeme @return

Test the translation model.

Convert a string to list of integers representing token-ids. For example, a sentence "I have a dog" may become tokenized into ["I", "have", "a",

从输入空格分隔的数字id串，转成预测用的encoder、decoder、target_weight等

设置useSmart标志位 useSmart =true ，分词器使用智能切分策略， =false则使用细粒度切分 @param useSmart

表达式文法解析 @param expression

获取测试样本集

组装TermRangeQuery @param elements @return

利用无隐藏层的softmax实现简单的分类模型

训练过程

训练过程

Train model, with specified number of epochs, and dataset size. Use specified model, or create one if not provided. Load initial we

Create the test case @param testName name of the test case

IK分词器Lucene Analyzer接口实现类 默认细粒度切分算法

IK分词器构造函数 @param input @param useSmart 为true，使用智能分词策略 非智能分词：细粒度输出所有可能的切分结果 智能分词： 合并数词和量词，对分词结果进行歧义判断

Lucene 4.0 Tokenizer适配器类构造函数 @param in @param useSmart