机器学习笔记（十） 朴素贝叶斯

MachineLearning

---

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法

1. 贝叶斯定理

$p(y|x) = \dfrac{p(x,y)}{p(x)} = \dfrac{p(x|y)p(y)}{p(x)}$

2. 朴素贝叶斯算法

输入：训练数据$T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i = (x_i^1,x_i^2,...,x_i^n)$，$x_i^j \in \{a_{j1},a_{j2},...,a_{jS_j}\}$表明特征向量的第j维特征可以的取值范围，$y_i = c_i,c_i \in \{c_1,c_2,...,c_k\}$。

根据贝叶斯定理加上特征条件独立假设有：

$$p(Y = c_k|X = x) = \dfrac{p(X = x|Y = c_k)p(Y = c_k)}{p(X = x)} = \dfrac{p(Y = c_k) \prod_{i = 1}^{K}p(x^{i}|Y = c_k)}{\sum_{i = 1}^{K}p(X = x|Y = c_i)}$$
其中最后的公式中分母是是全概率公式，是一个定值。因此最终的预测类别为：
$$y = arg max_{c_k} {p(Y = c_k)\prod_{i = 1}^{K}p(x^{i}|Y = c_k)}$$

算法：
1. 计算先验概率$p(Y = c_k) = \dfrac{\sum_{i = 1}^NI(y = c_k)}{N}$
2. 计算条件概率$p(x^i = a_{ij}|Y = c_k) = \dfrac{\sum_{i = 1}^NI(x_i = a_{ij},y = c_k)}{\sum_{k = 1}^KI(Y = c_k)}$
3. 判断最终类别

$$y = arg max_(c_k) {p(Y = c_k)\prod_{i = 1}^{K}p(x^{i}|Y = c_k)}$$

3. 拉普拉斯平滑

计算时可能出现$p(x^i = a_{ij}|Y = c_k)$为0的情况，会使分类的计算结果产生偏差。为了解决这个问题，采取拉普拉斯平滑，条件概率的贝叶斯估计是：
$p(x^i = a_{ij}|Y = c_k) = \dfrac{\sum_{i = 1}^NI(x_i = a_{ij},y = c_k) + \lambda}{\sum_{k = 1}^KI(Y = c_k) + S_j\lambda}$
同理，先验概率的贝叶斯估计是：
$p(Y = c_k) = \dfrac{\sum_{i = 1}^NI(y = c_k) + \lambda}{N + K\lambda}$
这里的$\lambda$一般取值为1.