计算ei的值，标量 :param i: 表示第i个样本，i=1，2 :return: 返回Ei

预测单个样本的类别 :param x: 样本的特征向量 :return: 样本的预测类别

公式 10.24

计算“6.23 最大熵模型的学习” 式6.22 :param X: 要计算的样本X（一个包含全部特征的样本） :param y: 该样本的标签 :return: 计算得到的Pw(Y|X)

预测

计算g_xi，从而辅助判断变量是不是满足KKT条件 :return: 返回g_xi的值,是标量

:param column: 需要求信息增益的列 :return: 信息熵

特征选取

前向算法

加载数据 :param fileName: 数据路径 :return: 返回特征向量与标签类别

加载数据 :param fileName: 数据路径 :return: 返回特征向量与标签类别

加载数据 :param fileName:数据路径名 :return: 特征向量矩阵、还有标签矩阵

加载数据 :param fileName:路径名 :return: 返回特征向量与标签类别 在这里需要注意的是：最后使用要np.array，以保证维度。 当然使用np.mat等也没有问题，但是相关操作容易搞混。

从fileName数据文件中加载Mnist数据集 :param fileName: 数据集的路径 :return: 返回数据的特征向量与标签类别

从fileName数据文件中加载Mnist数据集 :param fileName: 数据集的路径 :return: 返回数据的特征向量与标签类别

加载数据 :param fileName:数据路径名 :return: 特征向量矩阵、还有标签矩阵

加载数据 :param fileName:数据路径名 :return: 特征向量矩阵、还有标签矩阵

加载数据 :param fileName:数据路径名 :return: 特征向量矩阵、还有标签矩阵

预测单个样本的值 :param digit: 严格样本的特征向量 :return: 返回预测的样本类别

全角转半角

读取语料

保存模型

窗口切分

定义sigmoid函数 :param z: 输入 :return: 返回（0，1）的数

条件随机场预测问题的维特比算法，此算法一定要结合CRF参数化形式对应的状态路径图来理解，更容易理解.

后向算法

在SMO中，选择第2个变量 :param e1: 第一个变量的e1 :param i: 第一个变量alpha1的下标 :return: 返回E2，第二个遍历变量的下标

计算两个样本之间的距离，使用欧式距离 :param x1: 第一个样本 :param x2: 第二步样本 :return: 样本之间的距离

公式 10.26

计算特征函数f(x, y)关于经验分布P_(x, y)的期望值（下划线表示P上方的横线， 同理Ep_xy中的“_”也表示p上方的横线） 即“6.2.2 最大熵的定义”中第一个期望（82页最下方那个式子） :return: 计算得到的E

计算特征函数f(x, y)关于模型P(Y|X)与经验分布P_(X, Y)的期望值（P后带下划线“_”表示P上方的横线 程序中部分下划线表示“|”，部分表示上方横线，请根据具体公式自行判断,） 即“6.2.2 最大熵模型的定义”中第二个期望（83页最上

计算(x, y)在训练集中出现过的次数 :return:

:param column: 特征A所在列 需要np.array :param y_label: 分类结果类，D 需要np.array :return: 条件熵

计算类别数目 :return:类别数

创建查询字典 xy2idDict：通过(x,y)对找到其id,所有出现过的xy对都有一个id id2xyDict：通过id找到对应的(x,y)对

:param X_train: 训练样本 :param y_train: 样本标签 :param Ag: 需要切分特征所在的列 :param ai: 切分特征 :return: 切分后的训练样本，标签

:param X_trian: 训练集D :param y_train: 训练集标签 :return: 列

训练数据

计算先验概率与条件概率 :return: 返回先验概率与条件概率

随机生成 A，B，Pi 并保证每行相加等于 1

初始化字序列、词性序列、标记序列

初始化

初始化

初始化参数w,b :param feature_dim:实例特征数目 :return: 参数w,b

初始化参数w,b :param feature_dim:实例特征数目 :return: 参数w,b

判断alpha_i是否满足KKT条件 :param i: 索引第i个alpha :return: 返回true/false

计算核函数，用于测试集与开发集 :param x:向量x :param z: 向量z :return: 返回核函数

计算核函数 使用的是高斯核 详见“7.3.3 常用核函数” 式7.90 :return: 高斯核矩阵

加载模型

将上述定义的函数结合起来，就是整个LR模型的执行过程 :param train_data: 训练数据集 :param train_label: 训练数据集的标签 :param test_data: 测试数据集 :param test_label: 测试数据集

预测单个实例x的类别标签 :param x: 特征向量 :return: x的类别标签

优化，使用batch GD :param w: 参数w :param b: 参数b :param X: 输入的特征向量 :param Y: 输入的类别向量 :param iterations: 迭代次数(其实就是epoch) :param l

感知机学习算法的原始形式的实现 :return: 返回参数w，b

去除词性携带的标签先验知识

由词性提取标签

语料预处理

预测新实例的类别 :param w:最优化的参数w :param b:最优化的参数b :param X:实例的特征向量 :return:实例的类别

预测标签 :param X:要预测的样本 :return: 预测值

处理大粒度分词,合并语料库中括号中的大粒度分词,类似：[国家/n 环保局/n]nt

处理姓名，合并语料库分开标注的姓和名，类似：温/nr 家宝/nr

处理时间,合并语料库分开标注的时间词，类似： （/w 一九九七年/t 十二月/t 三十一日/t ）/w

一次前向与反向传播过程 :param w:参数w :param b: 参数b :param X: 输入的特征向量 :param Y: 输入的类别向量 :return:dw,db,costs

三角波

softmax函数 :param X: 输入数据 :return: 返回含有10个元素的np.array

标签使用BIO模式

在测试集上测试 :param test_data: 测试集的特征向量 :param test_label: 测试集的标签向量 :return: 准确率

测试 :param test_data: 测试集的特征向量 :param test_label: 测试集的标签类别 :return: 准确率

在测试集上测试模型 :param test_train:测试集的特征向量 :param test_label:测试集的类别 :return:准确率

对测试集进行测试 :return:

再测试数据集上测试 :param test_data_matrix: 测试集的特征向量 :param test_label_matrix: 测试集的标签类别 :param w: 计算得到的参数w :param b: 计算得到的参数b :return:

在整个测试集上测试模型 :param test_train: 测试集的特征向量 :param test_label: 测试集的类别标签 :return: 准确率

写语料

构造函数 :param train_data:训练集的特征向量 :param train_label: 训练集的类别标签

构造函数 :param train_data: 训练集的特征向量 :param train_label: 训练集的类别向量 :param K: 指定的K值

构造函数 :param train_data: 训练数据 :param train_label: 训练数据的标签类别 :param iter: epoch的数目 :param learning_rate: 学习率

构造函数 :param data_matrix: 训练数据集矩阵 :param label_matrix: 训练数据标签矩阵 :param sigma: 高斯核函数的sigma :param C: 惩罚参数

构造函数 :param data_matrix: 数据的特征向量 :param label_matrix: 数据的标签类别 :param iteration: 迭代次数,默认为100 :param learning_r

各参数初始化

初始化

初始化参数

:param V:是定义在节点上的特征函数，称为状态特征 :param VW:是V对应的权值 :param E:是定义在边上的特征函数，称为转移特征 :param EW:是E对应的权值

半角转全角

感知机学习算法的对偶形式的实现 :return: