2018 年十大深度学习预测的回顾

作者|Carlos E. Perez
译者|Sambodhi
编辑|Debra

AI 前线导读：深度学习的潜力似乎是无限的，人们仍然在思考如何高效利用深度学习来创造价值。因此 Carlos E. Perez 坚持每年年初预测当年的深度学习的趋势，并在年底进行回顾。他对 2018 年预测的回顾新鲜出炉了，小编译成中文，以飨读者。

离 2019 年还剩不到 1 个月的时间了。这几年来，每个年初我都会预测当年深度学习的趋势，到年底就对预测进行回顾，今年亦不例外。本文是我对 2018 年深度学习预测的回顾。这个回顾的目的，是对深度学习的快速进展进行量化。通过回顾我自己的预测，以及现实的实际进展（到年底为止），来帮助校准我对这个领域的发展有多快的直觉。

本文将回顾我对 2018 年深度学习的预测，并对这一年的进展进行评论：

AI 前线注：作者对 2018 年深度学习的预测可参阅《10 Alarming Predictions for Deep Learning in 2018》（《关于 2018 年的深度学习十大惊人预测》）
（https://medium.com/intuitionmachine/10-fearless-predictions-for-deep-learning-in-2018-bc74a88b11d9）

1. 多数深度学习硬件初创公司都将失败

2018 年，深度学习硬件公司中，公开承认失败的公司没几家（有一家公司已宣称失败：KnuEdge），但是它们都还没有交付产品。有意思的是，尽管这些初创公司未能交付产品，却仍然能够筹集到更多的资金！

AI 前线注：这里有一份人工智能硬件初创公司列表：
https://github.com/basicmi/AI-Chip-List

去年我的观点是，深度学习初创公司将无法为它们潜在的客户群提供可用软件的成本进行适当的估计。随着深度学习堆栈变得越来越丰富、越来越复杂，初创公司还能迎头赶上吗？这是个疑问。

最大的失败来自 Intel。在 NIPS 2017 大会上，它们不是大张旗鼓地宣扬最终将提供硅片吗？今年，它们的 Nervana 衍生产品是 MIA。它们是否能够在明年春天之前推出 “Spring Crest”？让我们拭目以待。

有多家初创公司声称它们有可用的硅片。深度学习人工智能如此性感，每个人都想 “发明” 自己的芯片。举个简短的示例，这些初创公司包括：GraphCore、Wave Computing、Groq、 Habana、Bitmain、Cabricon、Esperanto、Novumind、Gryfalcon、Hailo 和 Horizon。这还不包括三星、ARM、Xilinx、高通和华为等传统半导体制造商。另外有一个新情况是，现在传统的云服务供应商并不是购买 AI 芯片，而是研发自己的 AI 芯片：比如 Amazon 的 Inferentia、Microsoft 的 Brainwave、Facebook、阿里巴巴的 AliNPU 和百度的昆仑。这个空间将很快就会变得拥挤起来！

现在的情况是，深度学习硬件由极其庞大且有能力的公司来主导：Nvidia 和 Google。虽然你无法得到 Google TPU2 的物理硬件，但你眼下所能做的就是通过云服务对 Google TPU2 进行虚拟访问。相比之下，Nivida 提供了云计算（通过第三方云服务供应商）和硬件的两种可用选项。

能够与这两大巨头进行竞争的供应商是 AMD。AMD 支持最新版本的 TensorFlow，并且拥有逐渐成熟的深度学习堆栈。与 Nvidia 和 Google 不同，它们缺少 Tensor 核心组件（即 Systolic Array（脉动阵列）），但对于更为传统的训练和推理工作负载，AMD 的硬件性能可与 Nvidia 媲美。这听上去可能会觉得没什么大不了的，但是你要知道，AMD 已经遥遥领先于任何其他初创公司的竞争对手。AMD 和 Nvidia 有着相似的规模经济，因为它们的大部分硅片都是用于日常性用途（即游戏、渲染、高性能计算等）。

老实说，这个领域有太多的追随者。成熟的深度学习市场可能只支持不超过 3 个竞争对手。Nvidia 和 Google 早已巩固它们在市场的地位，如此一来，就只剩下一个空位了！为了生存下去，公司必须使解决方案的部署尽可能简单容易、畅行无阻。此外，每家公司必须能够区分它们的产品。不是每家公司都应该去做图像处理！为了能够有效地提供无缝体验和专门针对某个利基市场的体验，这些公司必须在软件方面进行投资（顺便说一句，我也正寻觅探索利基市场的硬件合作伙伴）。

2. 元学习将成为新的 SGD

元学习（Meta-learning）还没有取代 SGD（Stochastic Gradient Descent，随机梯度下降），但以神经架构搜索形式的元学习在这一领域中已经取得巨大的进步。关键的发展与超网络（Hypernetwork）搜索有关。请参阅 Medium 上的博文：

《Deep Learning Architecture Search and the Adjacent Possible》
（《深度学习架构搜索及相邻可能》）
https://medium.com/intuitionmachine/deep-learning-to-forget-or-not-forget-c8b7843479dd

我们在元学习中取得的另一个进步是在算法方面，它的灵感来自于少量学习（few-shot learning）MAML。这导致了各种算法：Reptile、PROMP 和 CAML。元学习方法需要大量的训练数据，这是因为它是在各种各样的任务中学习，而不仅仅是在不同的样本中学习。它有两个用于学习的迭代循环，一个是迭代任务的外部学习循环，一个是迭代训练数据的内部循环。基于 MAML 的方法只考虑任务的初始化，因此不需要可比较相同类型的数据。

AI 前线注：
Reptile：
https://blog.openai.com/reptile/
PROMP：
https://arxiv.org/pdf/1810.06784.pdf
CAML：
https://arxiv.org/pdf/1810.03642.pdf

我开始认为，无监督学习和元学习实际上是同一个问题。进化解决这个问题的方法是通过踏脚石（stepping stone ）技能的发展。这意味着它完全取决于正在解决的问题的类型，是用于预测，自助控制，还是生成设计的无监督学习或元学习任务？每一种问题都需要不同的基本技能，因此有一些可以成为目标的大本营，而不是那种凭空产生的幻想概念。引导魔法是一种虚构的方法，它吸引了那些相信可以通过数学魔法来拯救世界的研究人员。

AI 前线注：关于作者提及的无监督学习和元学习实际是同一个问题，可参阅论文《Unsupervised Learning via Meta-learning》（《通过元学习进行无监督学习》）（https://arxiv.org/pdf/1810.02334.pdf）

总而言之，在 2018 年看来最有前途的两种元学习方法是进化启发的架构搜索和少量学习 MAML 方法。

3. 生成模型驱动一种新的建模方式

生成模型仍然主要局限于娱乐应用。当然，BigGAN 搜索创建了很多噩梦般的图像，但不幸的是，使用高保真生成模型来取代标准计算方法仍然是一项正在进展中的研发工作。

AI 前线注：BigGAN 创建的图像可见：https://www.fastcompany.com/90244767/see-the-shockingly-realistic-images-made-by-googles-new-ai

DeepMind 研究蛋白质折叠已有两年，他们刚刚在 12 月份公布了研究成果：

《AlphaFold: Using AI for scientific discovery》
（《AlphaFold：使用人工智能进行科学发现》）
（https://deepmind.com/blog/alphafold/）

DeepMind 训练了一个生成神经网络来编造新的蛋白质片段，这些蛋白质片段随后被用来不断提高所提议的蛋白质结构的得分。这是生成网络最令人印象深刻的用途之一，超越了图像、3D 结构或声音的美学生成。

要在该领域进一步探索，请参阅 Medium 上的博文：

《The Delusion of Infinite Precision Numbers》
（《无穷精度数的迷惑》）
https://medium.com/intuitionmachine/the-delusion-of-infinite-precision-numbers-add501a1518d

4. 自我对决是一种自动化的知识创造

AlphaGo 引入的自我对决（Self-play）方法在应用程序使用方面上，并没有深入人心。然而在研究中，OpenAI 的 Dota Five 已经证明，自我对决可以解决一个非常困难的 AI 问题（即，即时战略游戏）。阻止这种使用的主要障碍似乎是在这种场景中框架问题的困难，以及现实问题中存在的多种不确定性。

深度强化学习（Deep Reinforcement Learning）在 2018 年遭到了很多严厉的批评，但是 OpenAI 的 Ilya Stuskever 却对 Dota Five 看似无限的深度强化学习可扩展性非常着迷，他比大多数人更早如此预测通用人工智能，见 Medium 这篇博文：

《Why AGI is Achievable in Five Years》
（《为什么通用人工智能在五年内能够实现》）
https://medium.com/intuitionmachine/near-term-agi-should-be-considered-as-a-possibility-9bcf276f9b16

尽管强化学习可扩展性得到了明显的验证，但仍然有一些新论文对深度强化学习的稳健性提出了质疑，如论文《Are Deep Policy Gradient Algorithms Truly Policy Gradient Algorithms?》（《深度策略梯度算法是否真的是策略梯度算法？》）（https://arxiv.org/abs/1811.02553v2）

我个人倾向于支持内在激励方法而不是深度强化学习方法。原因在于，大多数难题都没有多少回报，而且回报还具有欺骗性。

5. 直觉机器将缩小语义鸿沟

当 Yoshua Bengio 开始使用双重过程理论（Dual Process theory）来解释深度学习的局限性时，你就知道你在正确的轨道上。

因此，深度学习机器就是人工直觉（Artificial intuition）的想法，在 2018 年已经成为主流。虽然，双重过程理论是人类思维的一个很好的模型，但我们需要更充分地理解直觉思维的丰富性（System 1），直觉思维不仅仅是快速思考，也不仅仅是摊销推理（Amortized inference）。人类大脑中有很多东西我们还没有在深度学习中复制出来，请参阅 Medium 上的这篇博文：

《Where is the Artificial Ingenuity in Deep Learning?》
（《深度学习里的人工智能在何处？》）
https://medium.com/intuitionmachine/the-key-to-general-intelligence-is-the-mechanism-of-artificial-ingenuity-dad26bc99043

6. 可解释性是无法实现的

问题是，总体来说，我们在理解深度学习网络的本质方面并没有取得任何进展。研究继续投入更多的活动扳手，打破了我们关于深度学习网络应该如何工作的理论。DeepMind 抛出了一个大扳手：

《Deep Learning’s Uncertainty Principle》
（《深度学习的不确定性原理》）
https://medium.com/intuitionmachine/deep-learnings-uncertainty-principle-13f3ffdd15ce

接着就是神经网络的对抗性重编程（Adversarial Reprogramming），论文《Adversarial Reprogramming of Neural Networks》（《神经网络的对抗性重编程》）（https://arxiv.org/abs/1806.11146）证明了可以使用对抗特征来对神经网络进行重编程。在论文中他们演示了劫持在 Imagenet 中训练的网络来执行 MNIST 分类：

神经网络内部发生了什么，我们对其的理解仍然是远远不够的。

至于如何做出直观的解释，我认为这仍然是一个富饶的领域，还需要进行更多的研究。2018 年是暴露出许多深度学习局限性的一年，在这一年里，我们在开发更好的人机界面方面的进展并不大。请参阅 Medium 的这篇博文：

《Fake Intuitive Explanations in AI》（《人工智能中虚假直觉的解释》）
https://medium.com/intuitionmachine/achieving-fake-explanations-in-ai-5e63b289a3ef

7. 深度学习研究研究信息泛滥成灾

今年，提交的深度学习论文数量翻了一番。可更槽糕的是，审稿人的素质却在急剧下降。因此，杂讯比已跌至谷底，现在，每个人都需要在堆积如山的新研究论文中为自己筛选。

有些工具，如 SemanticScholar、Arxiv Sanity 和 Brundage Bot，都可以用来帮助你了解其中的大量信息。只是那些真正新颖的发现，太过容易成为 “漏网之鱼”，让人错过。

8. 通过教学环境实现工业化

在工业化方面，并没有进展。

2018 年是人工智能校准问题变得更加清晰的一年。

人工智能校准对人工智能教学环境至关重要。目前有几个团队已经发布了他们的框架，这些框架可以在强化学习实验中提供更好的再现性（参见：Facebook Horizon、OpenAI Baselines、DeepMind TRFL）。

AI 前线注：
Facebook Horizon：
https://code.fb.com/ml-applications/horizon/
OpenAI Baselines：
https://github.com/openai/baselines
DeepMind TRFL：
https://deepmind.com/blog/trfl/

我们已经目睹迁移学习从虚拟环境到真实环境的进展（参见：OpenAI Learning Dexterity，（https://blog.openai.com/learning-dexterity/））。我们还见证了通过稀疏回报来教授复杂技能的进展，请参阅 Medium 上的这篇博文：

《How to Bootstrap Complex Skills with Unknown Rewards》
（《如何使用未知回报引导复杂技能》）
https://medium.com/intuitionmachine/how-to-learn-complex-skills-with-unknown-rewards-27a105429e6b

9. 会话认知

我最终描绘了一幅如何获得会话认知更为清晰的路线图。不幸的是，超越三级意味着这份列表中的第 5 项已经完成。这在未来几年内不太可能发生，因此，在未来几年内人们不大可能会获得会话认知。唯一的好处就是，这种认知概念已经被确认。也就是说，它已成为一个已知的未知。

AI 前线注：作者提到的路线图，参阅：
https://medium.com/intuitionmachine/conversational-cognition-a-new-approach-to-agi-95486ffe581f

了解必要的发展垫脚石：

《A New Capability Maturity Model for Deep Learning》
（《一种新的深度学习能力成熟度模型》）
https://medium.com/intuitionmachine/an-advanced-capability-maturity-level-for-artificial-general-intelligence-b300dafaca3f

10. 人工智能的道德应用

人们终于意识到这个问题了！最值得注意的是，美国加利福尼亚州议会要求，聊天机器人必须主动声明它们不是人类。

法国人感到惊慌失措，于是制定了 “人类的人工智能”（AI for Humanity）计划，有关详情，请参见 Medium 这篇博文：

《Six Months Later, France has Formulated their Deep Learning Strategy》
（《六个月后，法国制定了深度学习战略》）
https://medium.com/intuitionmachine/six-months-later-france-has-released-their-deep-learning-strategy-d2cbf18927d

在人工智能武器化方面上，许多公司也已经划清了界限：

《Drawing the Ethical Line on Weaponized Deep Learning Research》
（《为深度学习研究武器化划定道德底线》）
https://medium.com/intuitionmachine/drawing-the-ethical-line-on-weaponized-a-i-research-316e865e9d18

当然，问题在于，我们的经济体系更倾向于人工人格，而不是真正的人类。详情请参阅 Medium 这篇博文：

《Artificial Personhood is the Root Cause Why A.I. is Dangerous to Society》
（《人工人格是人工智能危害社会的根本原因》）

最终，对于人工智能研究人员来说，他们必须决定自己是想一辈子向孩子们出售糖水呢，还是做一些真正有意义的事情，请参阅 Medium 上的这篇博文：

《Is the Purpose of Artificial Intelligence to Sell Sugar Water?》
（《人工智能的目的是出售糖水么？》）
https://medium.com/intuitionmachine/is-the-purpose-of-ai-to-sell-sugar-water-e6466d574ec0

结语

总之，回顾2018年，对于我年初做出的预测，现在看来，很多都做过了头。

鉴于此，我必须降低对 2019 年的期望。

我们开始意识到，在指定回报函数并基于这些回报进行优化的整个机器学习范式中，存在着重大的复杂性问题。这只会让你的系统学会利用回报函数。很多时候，尽管取得了明显的进展，但底层系统往往学会了在测试中作弊。这是一个元级别的问题，不可能一蹴而就。在提高课程学习质量方面，我们充其量只能取得渐进式的进步。

《Fooled by the Ungameable Objective》
（《不可玩目标的愚弄》）
https://medium.com/intuitionmachine/the-illusion-of-the-ungameable-objective-538a96a53efe

AI 前线注：其中 “Ungameable” 是作者生造的词，用来形容一套没有任何漏洞的规则。译者进行了意译。

请继续关注我对 2019 年的深度学习预测。

原文链接：
https://medium.com/intuitionmachine/2018-retrospective-on-deep-learning-predictions-1cea68825bb3