Find most likely state sequence corresponding to ``X``.

计算书85页公式6.22和6.23, 这个表示的是最大熵模型. mask相当于给 :param x: :return:

calculate shannon ent of x :param x: :return ent: H(D)=-\sum_{k=1}^K\frac{|C_k|}{|D|}\log_2\frac{|C_k|}{|D|}

注意这个里面X没有去重, 所以, 如果有个特征出现了两次, 会加两次. :param X: :return:

calculate information g(y, x) :param x: feature :param y: class :return: gain

计算书83页最上面那个期望 对于同样的y, Ex是一样的, 所以这个矩阵其实用长度是n的向量表示就可以了. :return:

:param x_: :param y_: :return: cart_tree

注意这里, 考虑到不同的样本都在刷这个_ep, :return:

统计TF, 这里面没有用稀疏存储的方式. 所以这里会有很多的0, 包括后面的E也会有很多零, 需要处理掉除零的问题. 这里x, y是全量的数据, :param x: :param y: :return:

样本期望, 特征函数f(x, y)关于经验分布\tilde p(x,y)的期望 每个样本的直方图, 这个采用了稀疏存储, 实际上这里对应(m,n)的二维数组, 对应了不同的y情况下的特征直方图. :return:

因为后面利用最大熵模型计算条件概率分布pyx的时候,需要归一化, 所以求解Zx :param X: :return:

后向算法

calculate condition ent(y|x) :param x: feature :param y: class :return: ent(y|x)

eq 6.34 实际上这里是个熵差, plog(p)-plog(p)这种情况下, 对数差变成比值. :param x: :param y: :return: self: object

前向算法

calculate gain ration gr(y, x) :param x: feature :param y: class :return: gr

:param x_: Feature A :param y_: Class D :param s_: split threshold :return: gini(y,x) or gini(y)

todo: 封装, 输入检测, 使用矩阵操作要比循环快很多, 一两个数量级的差异, 可以做个对比 :param X: :return:

data size is 28x28, 784 :param path_: :return:

:param x: :return:

:param x: :return:

:param n_components: :param max_iter: :param tol: :param mu: 这里可能要看一下和书中的p,q对应关系, p=0.6, q=0.7, 对应了X=1 X=0的情况, 所以[0.

y: 标记的集合