How I Fail访谈：十二问Ian Goodfellow

作者|Veronika Cheplygina 
译者|Liu Zhiyong
编辑|Natalie

AI前线导读： How I Fail是Veronikach.com网站的系列访谈，主要采访学术界和人工智能领域的研究人员的生活、经验和失败经历。日前，Ian Goodfellow接受了How I Fail的系列访谈，谈到了他求学生涯中失败的经历，为有志于人工智能研究的后来者指明了方向。Ian Goodfellow是Google Brain团队的科学家，领导一支研究人工智能中对抗技术的研究团队。由于他是生成对抗网络（generative adversarial networks，GAN）之父，还是麻省理工学院出版的教科书《深度学习》（Deep Learning）（https://mitpress.mit.edu/books/deep-learning）一书的主要作者，为此他入选了MIT Technology Review的“35名35岁以下的科技创新青年”（35 under 35）。你可以访问他的网站（http://www.iangoodfellow.com/）和Twitter（https://twitter.com/goodfellow_ian）了解其人更多的情况。
AI前线曾编译过《吴恩达眼中的深度学习七雄》（https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247486108&idx=1&sn=de9708a84c97fae4cadfc180581a63f0&chksm=fbe9b353cc9e3a45057f7bfeadf04eb00ee7444ec4900f2661552837bca9c5012ad749cc8a18#rd），文中对Ian Goodfellow做了一番简介。

1. 你好，Ian！你能来参加我们的“How I Fail”系列访谈，真是太感谢你了！老实说，我挺害怕请不动你，但是你答应了，你来了，我特别激动！你能给我们的观众介绍一下你自己吗？

谢谢你的邀请!

我是Google的一名人工智能研究员，还带了一个研究团队。我们正在致力于更好地理解人工智能出现的失败情况，以便能够为负责任的人工智能开发建立明确的工程原则。我花了很多时间去研究如何使人工智能变得更安全，比如，如何确保恶意攻击者无法欺骗人工智能系统，使其绕过设计者的意图来执行他的意图。

2. 在Twitter上，你发布了一份被拒绝的研究生院列表，能详细说明这到底是怎么回事儿吗？

我同事Moritz Hardt曾在Twtter提醒过大家，“每年这一天，我都会想起这一点：一个典型的、成功的学术生涯的开端，是从被一批优秀的研究生院拒绝开始的。”

于是，我就回复了他的推文，罗列了把我拒绝掉的研究生院和奖学金的名单。

只是那一次在Twitter的回复语焉不详，我在这里详细说一下更完整的失败经历：

• 当时我是斯坦福大学的本科生，在为从事神经科学工作做职业规划的同时，我在生物学和化学上苦苦挣扎。尽管我的成绩很好，但是我觉得自己做得还不够好，不足以成为一名教授。
• 后来，我的注意力转向了计算机科学之后，我以本科生身份申请了几个实习岗位。听着，Google可是拒绝了我的实习申请啊。
• 我曾申请过斯坦福大学教授的暑期实习。在我的申请资料中附带了成绩单，结果教授就问我：“为什么你会在我的课上有一个A？”原来，我在他的课上并没有得过A。我原先以为是教授慷慨地给我评了A，实际上，那是因为电脑故障才被登记为A的。那次申请实习的结果就是斯坦福大学把我成绩单上的评分往下调了。
• 其他大型科技公司给了我实习机会，但这些机会并不是机器学习或者计算机视觉方面的。在我的简历中，你并不会看到那些失败的经历，你看到的只是最终成功的经历。我很感谢Willow Garage和斯坦福大学的CURIS项目，是他们让我有机会得以在夏季实习期研究机器人视觉。
• 在我的硕士和博士求学时，我大部分时间都没有获得外部奖学金。这意味着我必须成为一名助教，或者申请专门奖学金，这样就不能把大量时间专注于我感兴趣的研究。我不断申请奖学金，如PBEEE（加拿大魁北克省国外学生优秀奖学金）等奖学金项目。我曾在2009~2013年这几年每年都去申请，但都失败了。直到2013年，Google才给我第一个深度学习的博士奖学金。
• 像ECCV这样的视觉会议拒绝了我在博士之前写的大部分论文。我在机器人感知领域上做了大量工作，但这些成果就从未见过天日。

3. 你认为哪些因素帮助你克服了这些挫折？

在我上高中的时候，整整三年我一直在学校的辩论队中，由这两位非常出色的老师执教：Kerry Koda和Thomas King。

后来在科学生涯中，我在辩论队的经历在不同的方面上给我提供了帮助，这一点让我很惊讶。辩论的经验在克服挫折能派上用场，因为辩手都学会了如何处理失败的情绪。每场辩论都会有赢家和输家，不会有常胜将军的。如果你一直坚持参加辩论，你很快就会习惯接受辩论失败带来的挫折感，然后马上去另一间教室再参加一轮辩论，如果在辩论赛失利了，那我就在下个周末参加另一场辩论赛。于是，你就学会了不去为失败而左思右想和自责。此外，你的期望会得到很大的调整，因为你习惯了不断地经历失败和成功。

4. 对于这段失败的经历，有人回应说，这不过是谦虚的炫耀而已，请问你对此的想法是什么？

当初我在Twitter发推时，人们并没有这么回复我，相反，有很多人感谢我分享了这些被拒的经历。至于为什么有人会认为这是谦虚的炫耀，我完全理解；但我认为，大多数人也应该明白我此举是为了帮助别人克服妄自菲薄的心理。

5. 另一方面，如果失败很常见，你认为人们会因此决定不分享他们的成功经验吗？

不会的，我们基本上都是被迫分享我们的成功经验，无论是在工作中的绩效评估，还是在拨款申请中，等等。当向会议和期刊提交论文时，每个人都有展示论文优势的动力，并试着掩盖不足之处。从我个人来讲，我很反对这种做法，但是我觉得它并不会很快就消失。

6. 到目前为止，我们讨论的是成功和失败，就像一些独立的决定，比如立场和论文发表。还有其他我们可能会失败的事情吗，你自己也有这样的失败吗?

实际上，我认为大多数独立的失败事件，如被某个特定的研究生院接受或拒绝，提交给会议的论文被接受或拒绝，这些都无关紧要。

我在Twitter上说过我被许多研究生院拒绝的经历，但这样也没什么，因为我还不是被很多学院接受了？

就拿我来说吧，2009年，我曾经被一些顶级学府拒绝了，比如麻省理工学院和卡内基梅隆大学，但对我而言这根本就不是个事儿。对我来说，真正最大的问题，是我当时并不确定自己是否能够在斯坦福大学和伯克利大学等我中意的顶级学府从事我想要的研究。那时候我还不清楚我的导师是哪位，会在哪所大学（因为有个博士新生的轮换计划，在入学时并没有分配导师），而且，这些大学支持深度学习研究领域的潜在导师相对比较少。我前往蒙特利尔大学克服了这一障碍：因为我可以将Yoshua Bengio提前锁定为我的导师。

我认为最大的失败，可能是我博士期间花了大部分时间试图用无监督的特征学习方法来解决计算机视觉的监督学习问题，以至于当Alex、Ilya和Geoff用纯粹的监督方法赢得ImageNet大赛时，让我很是猝不及防。我想，把时间浪费在撰写论文上，结果论文走入死胡同，是我失败的主要原因。特别是现在，人们在arxiv.org上发表论文很正常，如果论文能给其他研究人员带来启发，就算它被会议拒绝了，我也会认为篇论文取得了成功；如果论文的影响力很小，即使被会议接受了，我也仍然认为这篇论文失败了。

7. 目前有没有什么事让你觉得失败了，或者让你对它的未来感到犹豫不决呢？

就我自己的观点来说：这近四年来我一直在努力理解为什么神经网络很容易被输入的微小扰动困惑（尽管我自己就是做这项研究工作的，并努力促进其他研究人员对这一主题感兴趣，以让他们去解决这一主题），但是，到现在还没有人知道在这种环境下如何构建高精度的模型。

从传统职业成功指标的角度来看，我今年提交给ICML（国际机器学习大会）的论文，评审意见特别残忍，我预计我这些论文大多数会被拒绝。

还有一件事我认为绝对值得一提，那就是我的工作方式：我会快速尝试一些想法，看看它们是否有成功的希望，并淘汰其中的大部分想法。当我在办公桌上有很多时间时，我可能会将3~5个想法进行编码，然后观察是否有效。我在每个想法投入的时间很少，但是我可以验证大量不同的想法。从这个角度来看的话，具体想法的失败只是我工作流程中不变的部分而已。

8. 当我们谈到成功的研究人员时，你如何看待诸如论文之类的权重分布？是否存在一些容易被忽视的因素?

我认为，我们衡量成功的标准正在导致社会错过所有的成功人士。

例如，我们会花费大量时间来评估工作和人员，但我们并不会花很多时间来评估这个评估的过程本身。没有人能确保会议审查流程是公平和准确的。我们从NIPS experiment（http://blog.mrtz.org/2014/12/15/the-nips-experiment.html）这篇文章得知，评审过程中有很多杂音（如Eric Price就曾表示，这一过程中，领域主席对待如何评审论文经常意见不一致），然而，并没有人带头努力去开发更好的审查流程。研究社区应该重视提高整个社区效率的努力，但到目前为止，我们似乎并没有任何方法为这些努力提供价值。

9. 你认为，机器学习作为一个领域，与其他领域的失败有着不同的关系吗？这对不同群体的人是否有不同的影响？

公众对机器学习的期望非常高，因为它能促使大量成功论文的快速发表，并影响着其他论文的快速涌现。例如，Ilya Sutskever有超过5万的Google学术搜索引用，而在数学方面，最近的四个菲尔兹奖获得者中就没有一个引用超过5000的。这很奇怪。在我们的领域，成功是如此的具有爆炸性。可能部分原因是我们经常使用arxiv.org，而不是关注同行评审的论文。说实话，我不太了解它是怎么影响不同群体的。

10. 你对机器学习的负面结果有什么看法?

我认为，很难从机器学习的负面结果中提取价值，因为很难判断导致负面结果的原因。负面结果可能是由某个想法的根本性错误引起，也可能只是一个非常小的软件bug、超参数的错误想法、模型过小等等都会导致负面结果。

11. 如果你能联系到机器学习领域中所有的高级学者，你会跟他们说什么？

如果我能联系到机器学习领域所有的资深学者、会议组织者或期刊编辑，我会告诉他们：社区需要有一个更好的方式来解决争端，而不是彼此分享想法。

目前，这些问题主要是，觉得自己没有被引用的学者主动联系论文作者。如果只是论文作者一时疏忽（新论文作者不知道旧论文），那还好办，但如果论文作者并没有读过学者的那篇论文，往往会演变成一场丑陋的争端。加之没有权威人士的说和，双方会陷入“胡萝卜+大棒”的境地，而大多人拿不出足够的“胡萝卜”来解决这一争端。

如果一位著名的资深教授要求初级研究员(比如博士生)提供引用出处，这种经历就会让人倍感压力。

随着我在机器学习社区中越来越出名，我处理这类争端的时间也越来越多。

如果会议或期刊能够提供一个集中的地方，让中立的第三方来有效地裁决这些争端，情况就会更好一些。

12. 你能给过去的自己最好的建议是什么?

我希望我能用那些为深度学习买的GPU来挖点比特币。

原文链接： How I Fail – Ian Goodfellow (PhD’14, Computer Science)
http://www.veronikach.com/how-i-fail/how-i-fail-ian-goodfellow-phd14-computer-science