基本的指标概念

给我写信
GitHub

推荐系统

评分预测

---

评分预测的准确度一般通过均方根误差（RMSE）和平均绝对误差（MAE）来评判。

假设$r_{ui}$ 是用户u对物品i的实际评分，$\hat{r_{ui}}$是推荐系统给出的预测评分，T是用户和商品的合集，那么：

$$RMSE = {\sqrt {\frac{\sum_{u,i}{(r_{ui}-\hat{r_{ui}})^2}}{y}}}$$

$$MAE = \frac{\sum_{u,i}{\left\lvert r_{ui} - \hat{r_{ui}} \right\rvert}}{\left\rvert T \right\rvert}$$

RMSE比MAE对系统的评测会更加苛刻，因为RMSE中的平方项会加大对预测不准的评分的惩罚。

Top-N 推荐

---

一般通过准确率(precision)和召回率(recall)来评判Top-N推荐算法的推荐结果。

假定R(u)是系统为用户u推荐的物品列表，T(u)是用户的真实行为列表，那么：

$$Recall = \frac{\sum_{u \in U} {\left\rvert R(u) \bigcap T(u) \right\lvert}} {\sum_{u \in U} {\left\rvert T(U) \right\lvert}}$$

$$Precision = \frac{\sum_{u \in U}{\left\rvert R(u) \bigcap T(u) \right\lvert}}{\sum_{u \in U}{\left\rvert R(u) \right\lvert}}$$

覆盖率

---

覆盖率(Coverage)描述推荐系统对物品长尾的发掘能力。

多样性

---

一个用户会有多个兴趣，但是在访问推荐系统的那个时刻，其兴趣点往往是单一的。所以，推荐系统应该能覆盖用户的多个兴趣点，否则推荐的物品就可能不能覆盖用户此时的兴趣点。

多样性描述的是推荐列表中物品两两之间的不相似性。假设$\mathtt s(i,j) \in$ [0,1]定义了物品i和物品j之间的相似度，那么用户u的推荐列表的多样性定义如下:

$$Diversity(R(u)) = 1 - \frac{\sum_{i, j \in R(U), i \neq j}{s(i , j)}}{\frac{1}{2} \left\rvert R(u) \right\lvert \left\rvert R(u)-1 \right\lvert}$$


推荐系统的整体多样性可以定义为全部用户的推荐列表多样性的平均值：
$$Diversity = \frac{1}{\left\rvert U \right\lvert} \sum_{u \in U}{Diversity(R(u))}$$