通过key查询知识对象

BlockNet :param units: 词汇量大小 :param d_model: 深度，词嵌入维度 :param num_heads: 注意力头数 :param dropout: dropout的权重 :param d_type: 运算精度

往容器中添加预测结果，在本方法中对预测结果进行整理、排序的操作 Args: predictions: 传入每个时间步的模型预测值 Returns:

用于对句子进行整理，将美元、英镑、数字、小数点、序 数词等等转化为单词，同时对部分缩写进行扩展 :param text: 单个句子文本 :return: 处理好的文本序列

将字典中key和value转换工具

分词器 :param sent: 语句 :return: 语句序列

Attention Layer :param batch_size: batch大小 :param d_model: 特征维大小 :param num_heads: 头注意力数量 :param attention: 使用的self-attention类型

compute the maximum evidence for each class

compute the maximum evidence for each class

分拆最后一个维度到 (num_heads, depth). 转置结果使得形状为 (batch_size, num_heads, seq_len, depth)

分拆最后一个维度到 (num_heads, depth). 转置结果使得形状为 (batch_size, num_heads, seq_len, depth)

用来针对英文句子的分词 :param sent: 句子 :param tokenizer: 正则表达式分词器 :return: 分好的句子

将语句转成token索引向量 :param tokenizer: 索引字典 :param utterance: 语句 :return: 返回转换好的向量

添加一个知识对象到KB中

双向LSTM :param hidden_size: 单元大小 :param embedding_dim: 词嵌入维度 :param d_type: 运算精度 :param name: 名称 :return:

Data Embedding :param embedding_dim: 特征维度 :param d_type: 运行精度 :param position: 位置总数 :param name: 名称 :return: Data Embedding

transformer的decoder，使用函数式API进行编写，实现了 模型层内部的一系列操作，相关的一些变量的时候基本和上面 的encoder差不多，这里不多说 :param vocab_size:token大小 :param num_layers:编码

transformer的encoder，使用函数式API进行编写，实现了 模型层内部的一系列操作，num_layers决定了使用多少个 encoder_layer层，更具Transformer架构里面的描述，可以根据 效果进行调整，在encoder中还进行了位置编码

文本句子编码 :param vocab_size: token大小 :param num_layers: 编码解码的数量 :param units: 单元大小 :param embedding_dim: 词嵌入维度 :param num_heads: 多头

:param batch_size: :param d_model: :param num_heads: :param dropout: :param d_type: :param name: :return:

用来动态的更新模型的inputs和dec_inputs，以适配随着Beam Search 结果的得出而变化的beam_size Args: Returns: 返回扩展至beam_size大小的enc_inputs和dec_inputs

初始化要使用的聊天器 Args: execute_type: 程序执行的模式类别 batch_size: 批次大小 embedding_dim: 词嵌入特征维度 units: GRU特征单元数 drop

用于创建音素文件，方便在pre_treat中使用 :param unknown: 未登录词 :param eos: 结尾词 :return: 字典和39个原始音素和字符的集合

获取最终beam个序 Args: top_k: 返回序列数量 Returns: beam个序列

PreNet :param vocab_size: token大小 :param embedding_dim: 词嵌入维度 :param dropout: dropout的权重 :param d_type: 运算精度 :param name: 名称

用于给句子首尾添加start和end Args: start_sign: 开始标记 end_sign: 结束标记 sentence: 处理的语句 Returns: 合成之后的句子

用于给句子首尾添加start和end :param w: :return: 合成之后的句子

对句子中的压缩次进行扩展成单词 :param text: 单个句子文本 :return: 转换后的句子文本

对句子中的数字相关进行统一单词转换 :param text: 单个句子文本 :return: 转换后的句子文本

使用模型预测下一个Token的id

使用模型预测下一个Token的id

将状态序列中槽位值转成Tensor序列 :param states: 状态列表 :return: 整理好的状态张量

获取整理对话数据集中的第i个对话的相关数据，整理 至对应格式，并统一将数据类型转成tf.int64 :param i: 第i个对话数据 :return: 整理好的对话数据

pos/10000^(2i/d_model) :param pos: 字符总的数量按顺序递增 :param i: 词嵌入大小按顺序递增 :param d_model: 词嵌入大小 :return: shape=(pos.shape[0], d_model)

初始化损失

当序列遇到了结束token，需要将该序列从容器中移除 Args: end_sign: 结束标记 Returns:

模型训练步方法，需要返回时间步损失

模型训练步方法，需要返回时间步损失

SMN的解码器，主要是对匹配对的两个相似度矩阵进行计 算，并返回最终的最后一层GRU的状态，用于计算分数 Args: units: GRU单元数 embedding_dim: embedding维度 max_utterance

:param d_model: :param d_type: :param name: :return:

对input中的padding单位进行mask :param inputs: 句子序列输入 :return: 填充部分标记

用于将分词文本读入内存，并整理成问答对 :param path: :param num_examples: :return: 整理好的问答对

去词化器创建工具

对input中的padding单位进行mask :param input: :return:

transformer的decoder :param batch_size: batch大小 :param num_layers: 编码解码的数量 :param embedding_dim: 词嵌入维度 :param num_heads: 多头注意力的头部层数量

Transformer的decoder层 :param batch_size: batch大小 :param units: 词汇量大小 :param d_model: 深度，词嵌入维度 :param num_heads: 注意力头数 :param dropo

将句子去词化

transformer的encoder :param num_layers: 编码解码的数量 :param batch_size: batch大小 :param embedding_dim: 词嵌入维度 :param num_heads: 多头注意力的头部层数量

:param units: 词汇量大小 :param d_model: 深度，词嵌入维度 :param num_heads: 注意力头数 :param dropout: dropout的权重 :param d_type: 运算精度 :param na

特征抽取层 :param vocab_size: token大小 :param num_layers: 编码解码的数量 :param units: 单元大小 :param embedding_dim: 词嵌入维度 :param num_heads: 多头注

特征处理层 :param embedding_dim: 词嵌入维度 :param dropout: dropout的权重 :param d_type: 运算精度 :param name: 名称 :return:

根据inform和request的槽位的个数，生成对应的tracker :param onto: 处理过的本体数据集 :param state_tracker_hidden_size: 处理过的本体数据集

根据inform和request的槽位的个数，生成对应的tracker :param onto: 处理过的本体数据集 :param state_tracker_hidden_size: 处理过的本体数据集

按照论文中的公式，实现GumbelSoftmax，具体见论文公式 Args: inputs: 输入 alpha: 温度 Returns:混合Gumbel噪音后，做softmax以及argmax之后的输出

informable插槽跟踪器，informable插槽是用户告知系统的信息，用 来约束对话的一些条件，系统为了完成任务必须满足这些条件 用来获得时间t的状态的槽值分布，比如price=cheap 输入为状态跟踪器的输入'state_t'，输出为槽值分布'P(v_s

用来初始化输入 Args: inputs: encoder的输入 dec_input: decoder的输入 Returns:

LastNet :param num_layers: 编码解码的数量 :param first_kernel_size: 第一个卷积核大小 :param second_kernel_size: 第二个卷积核大小 :param first_output_dim: 第

加载数据集中的对话，按照格式整理好并返回 :param diag_fn: 数据集文件路径 :param kb: knowledge base的词表 :param groups_fn: 语句槽位集合文件路径 :return: 整理好的数据

加载对话数据集中的本体 :param fn:本体数据集的文件路径 :return:返回整理好的本体和本体索引

加载分词器工具 :param dict_path: 字典路径 :return: 分词器

MatchNet :param vocab_size: 词汇量大小 :param num_layers: 编码解码的数量 :param units: 单元大小 :param embedding_dim: 词嵌入维度 :param num_heads: 多头

核心模型 :param vocab_size: 词汇量大小 :param num_layers: 编码解码的数量 :param units: 单元大小 :param embedding_dim: 词嵌入维度 :param num_heads: 多头注意力的

移动到下一个对话，如果运行到test数据集，直接停止 :return: 返回对应对话的数据

填充序列，0 :param seqs: 序列 :return: 返回填充好的序列

PE(pos,2i) = sin(pos/10000^(2i/d_model)) | PE(pos,2i+1) = cos(pos/10000^(2i/d_model)) :param position: 字符总数 :param d_model: 词嵌入大小 :param

PE(pos,2i) = sin(pos/10000^(2i/d_model)) | PE(pos,2i+1) = cos(pos/10000^(2i/d_model)) :param position: 字符总数 :param d_model: 词嵌入大小 :param