Google Play的应用发现，第1部分：了解主题

据statista统计，截止到2016年6月，Google Play应用商店有220万个App，超越了苹果的应用商店的200万个App，Windows和Amazon的应用商店则被这两家远远甩在身后。那么，你是不是好奇，在这浩烟如海的应用商店来发现你中意的App，是怎么做到的呢？

今天，我们就来看看Google Play小组的软件工程师Malay Haldar、Matt MacMahon、Neha Jha和Raj Arasu分享的这篇文章，了解到Google Play的应用商店的工作机理。本文是Google Play的应用发现，第一部分：了解主题。

每个月，超过10亿的用户来在Google Play为他们的移动设备下载App。虽然有些人寻找特定的App，如Snapchat，其他人对他们感兴趣的只有一个粗略的概念，如“恐怖游戏”或“自拍App”。这些按主题进行的宽泛搜索，就占据了应用商店中的查询的将近一半，因此找到最相关的App至关重要。

按主题进行搜索不仅仅需要通过查询字词对App进行索引；他们需要了解与App相关的主题。机器学习方法已经应用于类似的问题，但它的成功，在很大程度上取决于学习一个主题的训练样本的数量。虽然对于一些热门主题，如“社交网络”，我们有许多已贴标签的App来学习，大多数主题只有少数几个例子。我们的挑战是从数量有限的训练样本中学习，并扩展到数千个App的数千个主题，迫使我们去适应机器学习技术。

我们最初的尝试是建立一个深度神经网络（DNN），训练根据App标题和描述的字词和词组预测App的主题。例如，如果App描述提到“可怕”、“非常可怕”和“恐惧”，然后将“恐怖游戏”主题与它相关联。然而，鉴于DNN的学习能力，它完全“记忆”了我们的小型训练数据中提到的App主题，却不能推广到之前未见过的新App。

为了有效地推广，我们需要一个更大的数据集来训练，于是，我们转向研究人们如何学习来寻找灵感。与DNN相反，人类只需少得多的训练数据即可。例如，在学习如何推广和关联新App之前，您可能需要查看非常少的“恐怖游戏”App说明。只要知道描述App的语言，人们甚至可以从少数几个例子就能正确推断出主题。

为了效仿这一点，我们尝试了这种以语言为中心的学习的非常粗略的思路。我们训练了一个神经网络来学习如何使用语言来描述App。我们建立了一个Skip-gram模型，其中神经网络尝试预测给定单词周边的单词，例如给定单词“photo”的“share”。神经网络将其知识编码为浮点数的向量，称为嵌入。这些嵌入用于训练另一个称为分类器的模型，能够区分应用于App的主题。得益于使用Skip-gram模型进行大量的学习，现在我们只需很少的训练数据即可了解App 的主题。

虽然这种架构适用于热门主题，如“社交网络”。我们碰到一个新的问题，就是有更多的小众主题，比如“自拍”。单个分类器内置预测的所有主题大部分都集中在它学过的热门主题，对于不常见的错误则忽略之。为了解决这个问题，我们为每个主题构建了一个单独的分类器，并单独调整它们。

这种架构产生了合理的结果，但仍然有时会过度概括。例如，它可能会将Facebook与“约会”关联，或者将“植物大战僵尸”与“教育游戏”相关联。为了产生更精确的分类器，我们需要高容量、高质量的训练数据。我们将上述系统视为一个粗分类器，它将每个可能的{app，topic}对（编号为数十亿）删除到更易于管理的{app，topic}对的列表中。我们建立了一个管道，让人类评估者来评估分类器的输出，并将共识结果作为训练数据。这个过程允许我们从现有系统中引导，提供稳定地提高分类器性能的途径。

要评估{app，topic}对，我们问问题的形式是：“主题X与应用程序Y有多大程度的关联性？”多个评估者接收相同的问题，对每个App在评定量表上独立选择答案，标识出“重要的”、“有些关系”、或者完全“无关”。我们初步的评估显示了评估者之间存在极大的分歧。随着深入挖掘，我们发现了引起分歧的几个原因：答案不够明确；评估者培训不足；评估应用于大多数App或游戏的宽泛主题，像“计算机文件”、“游戏物理”那样的。解决这些问题导致评估者一致性的重要利益。要求评估者从策划列表中选择明确的答案，进一步提高可靠性。尽管有所改进，但我们有时仍然必须“同意歧见”，评估者在未能达成共识的情况下放弃作答。

这些App主题分类在Google Play应用商店中启用搜索和发现功能。当前的系统帮助用户提供相关结果，但我们正在不断探索新的方法来改进系统，通过额外的标识、架构的改进和新的算法。在本系列的第2部分中，我们将讨论如何为用户个性化应用发现体验。