加载字典方法 :return:input_token, target_token

屏蔽填充的SparseCategoricalCrossentropy损失 真实标签real中有0填充部分，这部分不记入预测损失 :param weights: 样本权重 :param real: 真实标签张量 :param pred: logits张量

:param units: 全连接层单元数

:param query: decoder的前一个状态 :param value: encoder的output

:param tensor: :return: 列表中最大的长度

用来对原始文本进行预处理的方法，主要是将原 始文本进行分词后，保存在一个新的文本中，供后继使用 Args: raw_data: 原始数据路径 tokenized_data: 生成token数据保存路径 Returns:

处理原始数据，并将处理后的数据保存为TFRecord格式 :param data_path: 原始数据路径 :param record_data_path: 分词好的数据路径 :param dict_path: 字典保存路径 :param max_len: 最大序

处理原始数据，并将处理后的数据保存为TFRecord格式 :param data_path: 原始数据路径 :param record_data_path: 分词好的数据路径 :param max_len: 最大序列长度 :param max_data_size:

requestable插槽跟踪器，requestable插槽是用户询问系统的信息 用来获得时间t的状态的非分类插槽槽值分布， 比如： address=1 (地址被询问) phone=0 (用户不关心电话号码) 输入为状态跟踪器的输入'state_t'

对外部聊天请求进行回复 子类需要利用模型进行推断和搜索以产生回复。 :param req: 外部聊天请求字符串 :return: 系统回复字符串

将序列转换成text

将序列转换成text

文本匹配中句子对数据增强 :param data_path: 原始数据集路径 :param save_path: 数据增强瘦的数据保存路径 :param if_self: 是否使用自身pairs :return:

SMN的模型，在这里将输入进行accumulate之后，得 到匹配对的向量，然后通过这些向量计算最终的分类概率 Args: units: GRU单元数 vocab_size: embedding词汇量 embedding_di

Task-Orient模型，使用函数式API实现，将encoder和decoder封装 :param vocab_size:token大小

Task-Orient模型，使用函数式API实现，将encoder和decoder封装 :param vocab_size:token大小

将句子按照CMU音素字典进行分词切分 :param text: 单个句子文本 :param cmu_dict_path: cmu音素字典路径 :return: 按照音素分词好的数组

专用于phoneme的text转序列的方法 :param texts: 文本序列列表 :param max_len: 文本序列最大长度 :return: 转换后的id序列

对模型进行训练

transformer的粗粒度的结构实现，在忽略细节的情况下，看作是 encoder和decoder的实现，这里需要注意的是，因为是使用self_attention， 所以在输入的时候，这里需要进行mask，防止暴露句子中带预测的信息，影响 模型的效果 :p

Transformer应用Scheduled Sample Args: vocab_size:token大小 num_layers:编码解码层的数量 units:单元大小 d_model:深度 num_