InfoQ播客：Cathy O'Neil谈论有害的机器学习算法及审计方法

摘要： 在《Weapons of Math Destruction》一书中，作者提出了存在一些有害的机器学习算法，这类算法正日益统治我们的社会。此博客是InfoQ就此书内容对作者的访谈，其中涉及了有缺陷的数据问题、数据科学及对算法的审计问题。

作者： Charles Humble

正文：

本周的InfoQ播客内容是InfoQ总编Charles Humble与数据科学家Cathy O’Neil之间的谈话。O’Neil是博客mathbabe.org的作者，曾担任哥伦比亚大学新闻学院Tow数字新闻中心（Tow Center）的莱德数据实践项目(Lede Program in Data Practices)主管，并曾作为数据科学家受聘于约翰逊实验室（Johnson Research Labs）。O’Neil在哈佛大学获得数学博士。谈话中涉及的话题包括：她所著的《Weapons of Math Destruction》一书、预测警务模型、教师附加值模型、对算法进行审计的方法、该领域的政府监管是否有必要等。

关键要点：

• 一类有害的大数据算法正在日益控制我们的社会，但是这类算法并未公开地审查；
• 有缺陷的数据可以导致算法成为种族主义者和性别歧视者。例如预测警务模型所使用的数据就是种族主义的。但是仅因为算法是数学上的东西，人们就易于对算法过分信任；
• 即时数据科学家不承认，但是他们必须做出伦理决策。对责任的放弃常常是问题之源。
• 算法审计仍是一个非常新兴领域，需继续进行学术研究以寻求实现方法；
• 可能确需对工业界进行政府监管。

点击播客链接收听

关于《Weapons of Math Destruction》一书

• 0分44秒：该书的中心论点是，虽然并非所有的算法都是有害的，但是确实存在着一类有害的大数据算法，这类算法正在日益控制我们的社会。
• 1分22秒：得到O'Neil关注的该类算法，也就是“数学杀伤型武器”，具有如下三个特征：第一，这类算法的应用广泛，并影响了一些重要的决策问题，例如是否可被大学所录取，或者是否可以得到工作职位；第二，在某种程度上这类算法是隐秘的，因为目标人群并不知道他们正被这类算法评分，更不知道评分的具体标准是什么；第三，这类算法具有杀伤性，它们可以毁掉一个人的生活。
• 2分45秒：算法的本意是试图使用数据去解决大型社区的问题，但是被上述的特征败坏了。

大数据与法治间的关联

*　4分04秒：参与到警务、审判和假释等刑事司法体系中的算法，也在法律体系中发挥着作用。但是这些算法是专属的，并不对审查开放。
*　5分00秒：这些算法实际上成为了数字化的法律，所以应该与法律一样得到宪法保障。

预测警务模型

• 5分21秒：预测警务模型被芝加哥等一些城市的警方所使用，事实上该模型的工作方式与警方所期望的之间存在失调。
• 6分35秒：所有的预测警务算法都是去寻找模式，这会导致在其它近邻黑人治安辖区中的反馈循环。
• 7分24秒：供给算法的数据是带有种族主义的、有偏差的数据。但是由于某种原因人们会臆断算法属于数学范畴所以肯定是客观的。
• 8分01秒：有缺陷的数据可导致算法变成种族主义者和性别主义者。为解决该问题，需禁止将令人讨厌的犯罪数据包含其中。
• 8分42秒：如果警察已在2008年去过了华尔街，同一预测警务算法将会告知警察重返华尔街去。

处理此类问题的方法

• 9分39秒：对模型输入变量进行解相关，这样输入变量将不会关联到特定因素上。但是仅这样做还不足以处理此类问题。
• 11分39秒：用于白领工作招聘的算法通过查看历史模式对简历进行排序。假定这样的算法被Fox新闻所使用，可能会将女性的工作申请者筛选掉，因为在Fox新闻的历史上女性雇员并非很成功。
• 13分19秒：如果将有缺陷的系统自动化，这样只会报告过往的错误。

对算法的信任

• 13分46秒：在Slate的一篇文章中O'Neil曾说过：“人们过于相信数字在本质上是客观的。”
• 14分23秒：如果对你的评价不高，我会自动假定那是你自身的问题，因为人们总是不会去考虑因果关系。
• 14分40秒：人们也总是对数学存有敬畏之心，因此只会假定数学是客观的。

数据科学与计算机科学之比较

• 15分27秒：数据科学家并不会因为对这类问题的思考而得到报酬。
• 15分57秒：对这两类问题做一个比较：一方是计算机科学，另一方是数据科学。
• 16分22秒：计算机科学方法知道将取得怎样的结果。
• 16分43秒：数据科学家可能会被要求去找出将会预定酒店房间三天的顾客。这些问题并非是定义良好的。
• 18分47秒：即使数据科学家不承认，他们必须去做出伦理决策。
• 19分03秒：举个例子，我曾与为州监狱审判构建犯罪风险模型的一位人士交谈过。他并未使用到种族数据，而是使用了邮政编码数据。但由于种族人群的群居特点，邮政编码起到了与种族数据相似的作用。
• 19分47秒：没有州政府工作人员会告诉你规则到底是什么。因为工作人员仅是承担技术方面的责任，他们并不会把如何使用规则作为自己的职责。
• 20分48秒：对责任的放弃是导致“数学杀伤性武器”建立的一个条件。

教师附加值模型

• 21分22秒：该模型的目的在于找出并解雇不称职的教师，但是查找目标人群的方法存在统计学上的薄弱。
• 21分56秒：该模型几乎完全是一个随机数生成器。我曾与一位教师讨论过，此人在第一年的评分仅给了100分中的6分，第二年他的评分给出为96分。然而在他26年的教学生涯中，每年的教学方法并没有多少改变。
• 22分40秒：另有一位教师因为评分不达标而被解雇，尽管她很热爱教师工作。
• 23分00秒：该模型所产生的破坏性反馈回路正在导致全国范围内的教师短缺。

算法审计的方法

• 24分22秒：这是一个非常新的领域，我们也无法给出所有问题的答案。
• 24分40秒：你必须能用一些真实数据做为参考。真正地区分优劣教师的方法是否代价高昂？假定我们直到取得与代价高昂的方法一致的真实数据后才开始使用廉价数据驱动的方法？
• 25分32秒：在代价高昂的定性方法与附加值算法方式两者之间，一些同样去做教师评估的方法已经完成，这些方法取得了完全不一致的结果，相关中仅约24%的一致。
• 25分52秒： Google搜索这样的应用是如此庞大，不可能对其中所有的算法进行审计。
• 26分24秒： Latanya Sweeney完成对其中部分算法的审计。她用Google搜索了自己的非裔美国名字，就被提供了一条广告，询问她是否愿意查看名为Latanya Sweeney的警方记录。她发现看上去像是非裔的名字就会被Google搜索提供被逮捕记录的广告，而看上去像是白人的名字则不会。
• 27分09秒：申请工作时就会被Google搜索到，这事值得被审计。
• 27分34秒：对Google搜索的审计将会成为案例研究系列。
• 27分56秒： Google搜索作为我们当前社会中的一个产品，成为种族主义者并非是有意而为之。但是对此产品所造成的影响，Google必须要承担责任。

政府监管对比自我监管

• 28分43秒：政府监管对比自我监管：Google和其它一些公司是工作于自我监管架构下的。
• 29分30秒：鉴于这些企业对伦理问题的关注度还不够宽泛，伦理问题需要进行公众辩论。

进一步阅读和资源

*　《Weapons of Math Destruction》书评
* Slate的文章: 《伦理数据科学家》
* 《预测进入实战：对芝加哥预测警务的准实验性评估 》，Jessica Saunders等撰写。
* 《在线广告发布中的歧视问题》，Latanya Sweeney撰写，Harvard University出版 （PDF）。
* 纽约时报关于自我监管的文章

更多关于播客的信息

最新播客可通过我们的RSS feed更新，也可通过SoundCloud和 iTunes收听。本页所列出的播客摘要内容均附有可点击链接，点击后可直接切换到音频的相关部分。

查看英文原文：The InfoQ Podcast: Cathy O'Neil on Pernicious Machine Learning Algorithms and How to Audit Them