合并两个相邻的词元 @param l @param lexemeType @return boolean 词元是否成功合并

获取词元的字符长度 @return int

返回集合大小 @return

向链表集合添加词元 @param lexeme

判断集合是否为空 @return

匹配词段 @param charArray @return Hit

取出链表集合的第一个元素 @return Lexeme

获取词元类型 @return int

重置子分析器状态

加载填充词典片段 @param charArray

获取词元在文本中的结束位置 @return int

返回lexeme链的头部 @return

获取LexemePath的路径长度 @return

判断当前segmentBuff是否已经用完 当前执针cursor移至segmentBuff末端this.available - 1 @return

判断是否是词的前缀

获取词元在文本中的起始位置 @return int

获取词元的文本内容 @return String

获取词典单子实例 @return Dictionary 单例对象

获取local_group的数量

判断是否完全匹配

读取文件，加载数据

添加分词结果路径 路径起始位置 ---> 路径 映射表 @param path

Tokenize data file and turn into token-ids using given vocabulary file. This function loads data line-by-line from data_path, calls the above sen

词元位置权重 @return

X权重（词元长度积） @return

Get a random batch of data from the specified bucket, prepare for step. To feed data in step(..) it must be a list of batch-major vectors, while

获取一批样本数据

Loss function for the seq2seq RNN. Reshape predicted and true (label) tensors, generate dummy weights, then use seq2seq.sequence_los

Run a step of the model feeding the given inputs. Args: session: tensorflow session to use. encoder_inputs: list of numpy int vectors

根据逻辑操作符，生成BooleanQuery @param op @return

检测词元位置交叉（有歧义的切分） @param lexeme @return

返回原始分词结果 @return

设置当前segmentBuff为锁定状态 加入占用segmentBuff的子分词器名称，表示占用segmentBuff @param segmenterName

返回链表头部元素 @return

返回链表尾部元素 @return

Make a prediction, using the seq2seq model, for the given input sequence Xin. If model is not provided, create one (or use last creat

移除指定的子分词器名，释放对segmentBuff的占用 @param segmenterName

向LexemePath追加相交的Lexeme @param lexeme @return

Very basic tokenizer: split the sentence into a list of tokens.

Construct canonical weights filename, based on model and pattern names.

比较操作符优先级 @param e1 @param e2 @return

Create translation model and initialize or load parameters in session.

Create vocabulary file (if it does not exist yet) from data file. Data file is assumed to contain one sentence per line. Each sentence is tokeniz

向前遍历，添加词元，构造一个无歧义词元组合 @param LexemePath path @return

For a given input sequence, generate the output sequence. x is a 1D numpy array of integers, with length INPUT_SEQUENCE_LENGTH.

根据文本生成输入向量

获取Map容器 线程同步方法

返回单例 @return Configuration单例

获取词元类型标示字符串 @return String

构造模型

构造模型

构造样本数据 :return: encoder_inputs: [array([0, 0], dtype=int32), array([0, 0], dtype=int32), array([1, 3], dtype=int32),

识别字符类型 @param input @return int CharacterUtil定义的字符类型常量

初始化

判断是否是不匹配

歧义识别 @param lexemeCell 歧义路径链表头 @param fullTextLength 歧义路径文本长度 @param option 候选结果路径 @return

加载向量文件