YouTube推荐算法原理

YouTube 深度学习 推荐算法

摘要

近日，在谷歌刊登的一篇论文中，YouTube工程师详细地分析了YouTube推荐算法的内部工作原理。该论文在上周于波士顿举行的第十次ACM大会上进行了展示。本文将分析YouTube如何使用深度学习操作一个业内最大最复杂的推荐系统。

正文

近日，在谷歌刊登的一篇论文中，YouTube工程师详细地分析了YouTube推荐算法的内部工作原理。该论文在上周于波士顿举行的第十次ACM大会上进行了展示。

YouTube推荐算法以Google Brain为基础，后者最近以TensorFlow的名称开源。借助TensorFlow，开发人员可以使用分布式训练试验不同的深度神经网络结构。该系统包含两个神经网络。第一个生成候选集。它以用户的观看历史作为输入，使用协同过滤算法在数以百计的视频中进行选择。开发和最终部署到生产环境有一个重要的区别，谷歌使用离线指标衡量算法性能，但最终的决定来自对性能最好的算法进行在线A/B测试。

候选集生成使用用户观看视频的隐式反馈来训练模型。与隐式反馈相比，对于一个视频，类似支持或不支持这样的显式反馈一般很少。对于那些不受欢迎的长尾内容而言，这个问题更为严重。对于新上传的视频，为了加快模型训练速度，每个训练示例的年龄会作为一个特征传入。发现和展示新内容的另一个关键方面是使用所有用户观看过的YouTube视频（甚至是合作网站的）来训练算法。这样，协同过滤算法可以立刻识别出热门视频。最后，除了实际的观看外，通过增加更多的特征，如搜索深度和视频年龄，YouTube改善了离线holdout结果精度。

第二个神经网络用于对这几百个视频进行排序。这个问题比生成候选集简单许多，因为视频的数量较少，而且，对于每个视频及其和用户的关系，有更多的信息可用。该系统使用逻辑回归计算每个视频的得分，然后不断地使用A/B测试进行改进。这里使用的指标是预期观看时长，因为预期点击数会助长“点击诱饵（clickbait）”。为了基于观看时长而不是点击率进行训练，该系统使用了逻辑回归的一个变种，以观看时长作为正相互作用权重，而负相互作用采用单位权。这之所以可行，部分原因是，“正面印象（positive impressions）”分量比总数小。

YouTube的推荐系统是业内最为复杂、使用最为频繁的系统之一。这篇论文只提供了一个肤浅的介绍，但即便如此，它也在深度学习系统设计方面提供了一些有用的见解。

查看英文原文：How YouTube's Recommendation Algorithm Works