朴素贝叶斯分类

数据挖掘

---

Part 0 问题描述

提供中华万年历用户访问文章/说说的记录，预测20151128-20151130这三天用户的点赞/踩记录

Part 1 数据处理

• 从dm_page_view_data中去除dm_train里不存在的dev_id
• 从dm_train中去除dm_page_view_data里不存在但是dm_page_view_data
  
  • 处理脚本：/filter_user.py

Part 2 用户和帖子的特征向量设计

Part 3 贝叶斯模型设计

定义分类(Categories)：

• $C_0$：用户无点赞/踩操作
• $C_1$：用户对帖子的操作为：点赞
• $C_2$：用户对帖子的操作为：点踩

定义特征(Features)：

• $F_0$：用户。即$F_0\in\{所有用户\}$
• $F_1$：某用户对某post的浏览次数，
  
  • 特征取值区间：【0次，1-5次，6-10次，$\ge10$次】
• $F_2$：某用户对某post的点击次数
  
  • 特征取值区间：【0次，1次，2次，3次，$>3$次】
• $F_3$：某post的类型，一种是文章类post，另一种是类似微博朋友圈的post。
  
  • 特征取值区间：【1或2】
• $F_4$：某post在12小时内的峰值浏览人数【一人浏览多次只记一次】（每次统计的起始时间递进4小时，统计的时间跨度为12小时，以防止因昼夜产生的无意义波动。）
  
  • 特征取值区间：【少于10次，10-19次，20-99次，100-199次，200-999次，大于999次】
• $F_5$：某post在12小时内的峰值点击量（每次统计的起始时间递进4小时，统计的时间跨度为12小时）
  
  • 特征取值区间：【0次，1次，2-4次，5-9次，10次或以上】

朴素贝叶斯模型(Naive Bayes)

模型1：

目前我们要解决的问题是求$P(C_nF_0|F_0F_1...F_d)$,假设有d个特征

其中$n\in\{1,2,3\}$，即对于某用户$F_0$，对待某篇post满足$F_1F_2...F_d$这些特征的情况下它属于分类$P(C_0F_0),P(C_1F_0),P(C_2F_0)$的后验概率

$$\begin{eqnarray*} P(C_nF_0|F_0F_1F_2...F_d) &=& \frac{P(C_nF_0)P(F_0F_1F_2...F_d|C_nF_0)}{P(F_0F_1...F_d)} \\ \text{(Naive Assumption: F's are independent)} &=& \frac{P(C_nF_0)P(F_0|C_nF_0)\prod\limits_{i=1}^dP(F_i|C_nF_0)}{P(F_0)\prod\limits_{i=1}^{d}P(F_i)} \end{eqnarray*}$$
可以发现右侧分子中$P(F_0|C_nF_0)=1$，且$\frac{P(C_nF_0)}{P(F_0)}=P(C_n|F_0)$，另外分母的$\prod\limits_{i=1}^{d}P(F_i)$是与分类无关的，在确定$F_0$的情况下，不会影响$P(C_0F_0|F_0F_1F_2...F_d)$,$P(C_1F_0|F_0F_1F_2...F_d)$,$P(C_2F_0|F_0F_1F_2...F_d)$这三者的大小。因此
$$\begin{eqnarray*} P(C_nF_0|F_0F_1F_2...F_d) &\propto& P(C_n|F_0)\prod\limits_{i=1}^{d}P(F_i|C_nF_0) \end{eqnarray*}$$
分别计算$P(C_nF_0|F_0F_1F_2...F_d),n\in\{1,2,3\}$，将获得最大后验概率者作为其分类

模型2：

同样假设各个特征$F_i$之间相互独立

$$\begin{eqnarray*} P(C_n|F_0F_1...F_d) &=& \frac{P(C_n)P(F_0F_1...F_d|C_n)}{P(F_0F_1...F_d)} \\ &=& \frac{P(C_n)P(F_0|C_n)\prod\limits_{i=1}^dP(F_i|C_n)}{P(F_0)\prod\limits_{i=1}^d{P(F_i)}} \\ \left(P(F_0|C_n)=\frac{P(F_0)P(C_n|F_0)}{P(C_n)}\right) & & \\ P(C_n|F_0F_1...F_d) &=& \frac{P(C_n|F_0)\prod\limits_{i=1}^dP(F_i|C_n)}{\prod\limits_{i=1}^{d}P(F_i)} \\ P(C_n|F_0F_1...F_d) &\propto& P(C_n|F_0)\prod\limits_{i=1}^dP(F_i|C_n) \end{eqnarray*}$$

Part 4 特征工程

训练集：20151101-20151124的数据
测试集：20151125-20151127三天数据

• 采用特征1-6：

  • 在过滤过用户的验证集测试结果——
    precision = 0.421540498786
    recall = 0.105005635119
    F1-Measure = 0.168130102771
  • 在完整验证集测试结果
    precition = 0.421540498786
    recall = 0.0730415495516
    F1-Measure = 0.124509052982

• 去除特征6： genResult2.py
  

  • 在过滤用户后的测试集上测试结果：
    precision = 0.422676877357
    recall = 0.101652052008
    F1-Measure = 0.163889381315
  • 在原始测试集上的测试结果：
    0.422676877357
    0.0707088089638
    0.121150570043
    

    结论：特征6对召回率和正确率并无影响

• 去除特征5,6： genResult3.py

  • 在过滤用户后的测试集上测试结果：

  • 在原始测试集上的测试结果：
    precision = 0.441646191646
    recall = 0.0687393640414
    F1-Measure = 0.118962921293

    结论：F5会使得正确率降低，召回率增加

• 去除特征4： genResult4.py