Pymetrics开源公平性感知机器学习算法Audit AI

未分类

摘要： Pymetrics是一件专注于向企业提供招聘服务的初创企业。最近，Pymetrics在Github上开源了企业使用的偏差检测算法，称为“Audit AI”。Audit AI用于降低存在于训练数据集中的判别模式。这些判别模式会改进或影响机器学习算法在选取总体上的概率。

作者： Kent Weare

正文：

Pymetrics是一件专注于向企业提供招聘服务的初创企业。最近，Pymetrics在Github上开源了企业使用的偏差检测（bias detection）算法，称为“Audio AI”。Audit AI用于降低存在于训练数据集中的判别模式。这些判别模式会改进或影响机器学习算法在选取总体上的概率。

现在，越来越多的工作任务借助于机器学习实现过程自动化。重要的是应确保这些算法不会产生可从中不当受益的偏差。Pymetrics一直致力于确保机器学习算法的公平性。

我们研究的总体目标，就是提出一种合理的考虑问题方式，使机器学习算法更公平。即便识别了训练数据集中存在的偏差，使用该训练集训练的机器学习算法并不足以解决其中的判别问题。当前，越来越多的决策使用人工智能自动做出。人们需要理解并识别算法的公平或偏差程度，这是朝正确方向迈出的一步。

企业对多样性的关注与日俱增。一些人担心算法学习偏差的方式事实上可能会破坏这些多样性努力。最近，法国宣布希望成为能在国际舞台占有一席之地的人工智能强国。今年三月，法国总统Emmanuel Macron发布了人工智能国家战略，其中包括在未来五年内支出18.5亿美元，发展可与硅谷和中国竞争的生态系统。总统做出如此层次的AI投资，这无疑是经过了仔细的考虑：

我认为AI完全可能危及民主。例如，我们正在使用人工智能来组织学生访问大学，对算法委以重任。很多人认为算法是一个黑箱，他们并不明白选取学生的过程是如何发生的。但当他们开始明白这依赖于某种算法时，算法就具有了特定的责任。要避免争议的发生，必须为算法创造公平性和完全透明性的条件。这样的算法中并不存在偏见，至少不存在歧视性偏见，我对此充满信心。

对于法国而言，“公平”的算法可确保在性别、年龄及其它个体特征上不存在偏见。如果算法中并未建立公平性和透明度，那么Macron总统预计“人们最终会拒绝这种创新”。

Pymetrics的客户包括消费品企业、技术企业和研究企业。Pymetrics提供的部分产品是为应聘候选者给出了一套参与性游戏。这些游戏通常完成于招聘的前期过程，完全不考虑应聘者的种族、性别和教育水平等个体特征，而是基于应聘者的记忆、对风险的态度等近80个特征做出评估。之后，Pymetrics就能够针对已有的最佳表现者对应聘者做出评定，预测应聘者在应聘职位上可能的未来表现。

出于社会责任上的考虑，Pymetrics选择开源Audit AI。Pymetrics的产品负责人Priyanka Jain给出了解释：

作为技术的创造者，我们十分强烈地感受到，我们的责任就是构建人工智能，努力创造一个人人希望生活于其中的未来。如果我们可以为其他技术创造者继续构建特性提供帮助，那么我们责无旁贷应做出共享。

在Audit AI的Github代码库中，开发人员可以看到一个用于实现上述“公平”的机器学习算法的Python软件库，该软件库是基于pandas和sklearn构建的。此外，代码库还给出了两个示例数据集，场景分别涉及德国的学分和学生的成绩。

查看英文原文： Pymetrics Open-Sources Fairness-Aware Machine Learning Algorithms