机器学习：AB测试

machine-learning

AB测试是验证模型最终效果的主要手段。

1. 为何需要在线AB测试？

• 离线评估无法消除模型过拟合的影响，因此得出的离线评估结果无法完全代替线上评估结果。
• 离线评估无法完全还原线上的工程环境。离线评估往往不会考虑线上环境的延迟，数据丢失， 标签数据缺失等情况。因此离线评估的结果是离线工程环境下的结果。
• 线上系统的某些商业之别在离线评估中无法计算。

2. 如何进行AB测试

3. 如何划分实验组与对照组