@liuruicai
2017-05-12T17:04:21.000000Z
字数 1613
阅读 860
Learn AI
是一种概率图模型
是一种用于标注和切分有序数据的条件概率模型
是一种用于在给定了指定输入结点值时计算指定输出结点值的概率的无向图模型，具有表达长距离依赖性和交叠性特征的能力。
随机场：可以看成是一组随机变量的集合（这组随机变量对应同一个样本空间）。当给每个位置按照某咱分布随机赋予一个值之后，其全体就叫做随机场。当然，这些随机变量这间可能有依赖关系，一般来说，也只有当这引起变量这间有信赖关系的进修，我们将其单独拿出来看成一个随机场才有实际意义。
条件随机场是逻辑回归的序列化版本。
逻辑回归是用于分类的对数线性模型
条件随机场是用于序列化标注的对数线性模型
需要大量手工标注样本和难以处理数据元素间复杂依赖关系
赵孽：
标注看上去就好像是在序列上做分类。
然而实际上标跟分类最大的区别就是：标注采的特征里面有上下文分类结果，这个结果你是不知道的，他在“分类”的时候是跟上下文一起“分类”的。因为你要确定这个词的分类得先知道上一个词的分类，所以这个得整句话的所有词一起解，没法一个词一个词解。
而分类是根据当前特征确定当前类别，分类的时候不需要考虑上下文的分类结果，但可以引入上下文的特征。什么是随机场
一组随机变量，他们的样本空间一样，那么就是随机场。当这些随机变量之间有依赖关系的时候，对我们来说才是有意义的。
例如：
我们利用这些随机变量之间的关系建模实际问题中的相关关系，实际问题中我们可能只知道这个变量之间有相关关系，但并不知道具体是多少，我们想知道这些依赖关系具体是什么样的，于是我们就把关系图画出来，然后通过实现数据训练去把具体的相关关系训练出来嵌入到图里，然后用得到的这个图去进行预测、去reference等很多事情。
把相关关系图画出来，通过实际数据训练把具体的相关关系训练出来嵌入到图里，然后用得到的图。。。马尔科夫随机场
为了使画出来的图满足一系列方便的性质便于使用（简化），我们在画图的时候遵循一引起假设和规则，比如马尔科夫独立性假设。
边可以传递信息，点与点之间通过边相互影响，如果观测到一个节点的取值或都这个节点的取值是常量，那么别的节点炫耀无法通过这个节点来影响其它节点
贝叶斯网络要判断两点之间独立还要看有没有v-structure，还要看边的指向。如何建模
贝叶斯网络每一条边是一个条件概率分布，P(X|Y)，不知道（或不想假设）具体是谁依赖谁，这个时候贝叶斯就画不出来图了。
马尔可夫随机场用联合分布直接表达这三个变量之间的关系
等价于吉布斯分布：整个图的联合概率分布就是这些最大子团的联合概率分布的乘积
再除一个归一化因子和就归一化了
最终是一个联合概率，每个子团记载的都是因子，是没归一化的概率，严格大于零，可以大于一。但关键是依赖关系、这些相关关系已经encode在里面了。条件随机场
这个图里面一些点我已经观测到了，求，在我观测到这些点的前提下，整张图的分布是怎样的。
马尔科夫随机场跟贝叶斯网络一样都是产生式模型，条件随机场才是判别式模型。
条件随机场->隐马->马尔科夫随机场独立性->EM->最大熵->概率图模型