用于处理LCCC数据集的方法，将LCCC数据集处理成问答对的形式 Args: raw_data: 原始数据路径 tokenized_data: 生成token数据保存路径 Returns:

专门针对task标注数据的client和agent对话的token数据处理 :param raw_data: 原始对话数据路径 :param tokenized_data: 生成token数据保存路径 :return:

:param query: 查询 :param key: 键 :param sample_key: 采样个数 :param n_top: top数量 :return:

读取数据，将input和target进行分词后返回 :param path: Tokenizer文本路径 :param num_examples: 最大序列长度 :return: input_tensor, target_tensor, lang_tokenizer

用于将分词文本读入内存，并整理成问答对，返回的是整理好的文本问答对以及权重 Args: path: 分词文本路径 start_sign: 开始标记 end_sign: 结束标记 num_examples: 读取的数据量

requestable插槽跟踪器，requestable插槽是用户询问系统的信息 用来获得时间t的状态的非分类插槽槽值分布， 比如： address=1 (地址被询问) phone=0 (用户不关心电话号码) 输入为状态跟踪器的输入'state_t'

计算注意力权重。 q, k, v 必须具有匹配的前置维度。 k, v 必须有匹配的倒数第二个维度，例如：seq_len_k = seq_len_v。 虽然 mask 根据其类型（填充或前瞻）有不同的形状， 但是 mask 必须能进行广播转换以便求和。 参数:

点积注意力 :param queries: 请求的形状 == (..., seq_len_q, depth) :param keys: 主键的形状 == (..., seq_len_k, depth) :param values: 数值的形状 == (..., seq_l

计算注意力权重。 q, k, v 必须具有匹配的前置维度。 k, v 必须有匹配的倒数第二个维度，例如：seq_len_k = seq_len_v。 虽然 mask 根据其类型（填充或前瞻）有不同的形状， 但是 mask 必须能进行广播转换以便求和。 参数:

通过key批量查询知识对象 :params kvs: key和value的列表，使用lambda表达式进行累积操作

task的encoder，使用双向LSTM对用户语句进行编码，输出序列和合并后的隐藏层

task的encoder，使用双向LSTM对用户语句进行编码，输出序列和合并后的隐藏层

分词方法，使用Keras API中的Tokenizer进行分词操作 :param input_lang: 输入 :param target_lang: 目标 :return: input_tensor, target_tensor, lang_tokenizer

对模型进行训练

# Transformer的encoder层，使用函数式API :param units:单元大小 :param d_model:深度 :param num_heads:多头注意力的头部层数量 :param dropout:dropout的权重 :p

:param f: [N, F], feature matrix from pre-trained model :param y: target labels. For classification, y has shape [N] with element in

Seq2Seq聊天器初始化，用于加载模型

聊天器初始化，用于加载模型

初始化BeamSearch的序列容器

Transformer聊天器初始化，用于加载模型

已存在BeamSearch的序列容器的大小

将美元转为单词 :param dollars_re: 美元匹配式 :return:

初始化损失

将数字转为单词 :param number_re: 数字匹配式 :return:

用于Dataset中的TFRecord序列化字符串恢复 :param example: 序列化字符串 :return: 恢复后的数据

:param units: 全连接层单元数

conv2d_cosnorm Usage : x : An input Tensor with shape [batch, height, width, channel] w : A convolutional kernel Tensor with

系统回复槽位生成，将结果保存在一个文件中

用于创建输入序列的扩充部分的mask :param seq: 输入序列 :return: mask

获取对话数据集中的token集合，分为user和system两个token集合 :return: user和system两个token集合

短文本匹配模型 :param vocab_size: token大小 :param num_layers: 编码解码的数量 :param units: 单元大小 :param embedding_dim: 词嵌入维度 :param num_heads: 多头

informable插槽跟踪器，informable插槽是用户告知系统的信息，用 来约束对话的一些条件，系统为了完成任务必须满足这些条件 用来获得时间t的状态的槽值分布，比如price=cheap 输入为状态跟踪器的输入'state_t'，输出为槽值分布'P(v_s

数据加载方法，主要将分词好的数据进行整理，过程中保存字典文件，方便后续其他功能 使用，方法返回处理好的dataset，steps_per_epoch，checkpoint_prefix Args: dict_fn: 将训练数据的字典保存，用于以后使用，路径

加载对原始数据、本体数据、database数据处理好的数据集 :param dialogues_train: 原始对话数据路径 :param kb_fn: database数据路径 :param ontology_fn: 本体数据路径 :param toke

获取Dataset :param record_path: :param batch_size: batch大小 :param buffer_size: 缓冲大小 :param num_parallel_reads: 读取线程数 :param data_t

数据加载方法，含四个元素的元组，包括如下： :return:input_tensor, input_token, target_tensor, target_token

加载字典方法 :return:input_token, target_token