机器学习系统越来越多地被用作日常生活中的工具。通常，它们被用于高风险的过程中，没有参与者的同意，其他人也没有合理的机会对系统的决定提出质疑。比如当儿童福利机构使用风险评估系统来识别处于风险中的儿童时；当一个机器学习模型决定了谁看到了哪些关于就业、住房或信贷机会的在线广告；或者当面部识别系统被用来监视黑人和棕色人种居住的社区时。下文主要介绍的是机器学习实践者构建更公平系统的10种方法。

ML系统被广泛部署，因为它们被认为是“中立的”和“客观的。然而在现实中，机器学习系统反映了那些设计和开发它们的人的信念和偏见。结果，ML系统反映并放大了设计者的信念和偏见，至少和人类仲裁者一样容易出错。

当大规模部署ML系统时，它们会造成危害——尤其是当它们的决策是错误的时候。边缘化群体成员感受到的伤害更大。在这一时刻，这一点尤其明显，因为警察部门正在使用面部识别系统跟踪作为全球黑人生活运动一部分进行抗议的人，而且最近在英国，在考试因流行病而取消后，使用了一种语言识别系统来确定学生的A级成绩，这危及了贫困学生的未来，其中许多人是有色人种和移民。

在本文中，我将描述一些机器学习系统造成伤害的例子。然后，我将提供一些具体的建议和资源，机器学习实践者可以使用它们来开发更公平的机器学习系统。我希望这篇文章鼓励其他机器学习从业者开始使用和教育他们的同行在他们的团队和公司中开发更公平的语言学习系统的实践。

　　机器学习系统是如何造成危害的

2020年6月，罗伯特·威廉斯，一个黑人，被底特律警察局逮捕，因为面部识别系统指认他是最近在商店行窃的人；然而，他的脸和照片中的脸的视觉对比清楚地表明他们不是同一个人。

尽管如此，威廉姆斯被逮捕、审讯、拘留超过24小时，用自己的钱保释，并在案件被驳回前不得不出庭。

这起“事故”严重伤害了威廉姆斯先生和他的家人:

· 他感到羞辱和尴尬。当接受记者采访时纽约时报关于这件事，他说:“我妈妈不知道。这不是我引以为豪的事……这是羞辱。”

· 这对他和他的家人造成了持久的创伤。如果威廉姆斯拒捕——考虑到这是不公正的，这本来是合理的——他可能会被杀。事实上，这种经历令人痛心。他和他的妻子现在想知道他们是否需要让他们的两个小女儿接受治疗。

· 这让他的工作——以及他养活自己和家人的能力——面临风险。他可能会丢掉工作，尽管他的案子最终被驳回；公司解雇员工而不受惩罚的情况少得多。幸运的是，他的老板了解情况，但他的老板仍然建议他不要在工作中告诉别人。

· 这几乎导致他有永久的犯罪记录。当威廉姆斯出庭时，他的案件最初被“无偏见”驳回，这意味着他以后仍可能被起诉。只是在假阳性受到媒体广泛关注后，检察官才道歉并主动提出删除他的记录和指纹。

当地警察部门使用的面部识别系统在这里造成的伤害是不可接受的。

　　更广泛的背景

在上述算法系统的情况下，它们造成的伤害更深：他们扩大了现存的压迫体系，经常以“中立”和“客观”的名义换句话说，以上例子并非孤立事件；它们造成了长期的伤害模式。

　　为机器学习系统收集标签是如何造成危害的

危害不仅仅是已经部署的机器学习系统造成的；在开发机器学习系统的同时，也造成了危害。也就是说，当为了训练机器学习模型而收集标签时，通常会造成伤害。

商业面部识别系统允许警察部门更容易和微妙地瞄准黑人和男性，包括大规模瞄准他们。一个面部识别系统在一小时内识别的“罪犯”比一百名警察在一个月内识别的还要多，和这样做的成本更低。因此，商业面部识别系统允许警察部门“大规模生产”他们的过度合法化，锁定和谋杀黑人的做法。

　　为机器学习系统收集标签是如何造成危害的

危害不仅仅是已经部署的机器学习系统造成的；在开发机器学习系统的同时，也造成了危害。也就是说，当为了训练机器学习模型而收集标签时，通常会造成伤害。

为什么会发生这些伤害

此时，你可能会问自己，”为什么这些伤害正在发生吗？“答案是多方面的:部署的机器学习系统对参与者造成伤害的原因有很多。

　　当使用最大似然系统时

机器学习系统造成伤害的一个主要原因是它们使用的环境。也就是说，因为机器学习系统被认为是“中性的”和“客观的”，它们是通常用于高风险的决策过程作为一种省钱的方法。高风险的决策过程本质上更容易造成伤害，因为决策过程中的错误可能会对某人的生活产生重大负面影响。

在高风险决策过程中引入机器学习系统，顶多不影响系统造成危害的概率；最坏的情况是增加由于机器学习模型倾向于放大对边缘化群体的偏见，人类对审核模型决策的自满，因为它们是“中性的”和“客观的”，以及机器学习模型的决策经常是不可解释的，造成伤害的可能性。

　　ML系统是如何设计的

机器学习系统也因其设计方式而造成危害。例如，当设计一个系统时，工程师通常不考虑系统可能做出错误决定的可能性；因此，机器学习系统通常不要包含参与者对决定提出异议或寻求追索权的机制。

在设计多模型系统时，谁的观点是中心

ML系统造成伤害的另一个原因是，在设计系统时，最有可能受到它们伤害的人的视角并不集中。

由人们设计的系统将反映这些人的信仰和偏见——无论是有意识的还是无意识的。机器学习系统绝大多数是由一群非常同质的人构建的:白人、亚裔美国人或亚裔异性恋男性，年龄在20至50岁之间，身体健康、神经典型，是美国人和/或居住在美国，具有传统教育背景，包括大约50所精英大学之一的计算机科学学位。因此，机器学习系统偏向于这一小部分人的经验。

此外，机器学习系统通常用于过度涉及历史上边缘化群体的环境中，如预测累犯或监控“高犯罪率”社区，或者用于确定长期以来被边缘化群体不公平剥夺的资源的获取途径，如住房、就业机会、信贷和贷款以及医疗保健。例如，由于黑人在历史上被剥夺了获得医疗保健的公平机会，在这种情况下使用的机器学习系统显示出类似的歧视模式，因为它们取决于历史假设和数据。因此，除非采取深思熟虑的行动来集中管理语言系统正在仲裁的群体的经验，否则机器学习系统会导致历史重演。

在上述两点的交叉点上有一个令人不寒而栗的认识:设计机器学习系统的人很少受到机器学习系统的影响。 这听起来与事实惊人地相似大多数警察不住在他们工作的城市。

　　使用最大似然系统时缺乏透明度

机器学习系统也会造成伤害，因为它经常不清楚什么时候算法被用来做决定。 这是因为公司不需要披露机器学习系统何时以及如何使用，更不用说获得参与者的同意，即使这些决定的结果影响到人类的生活。如果有人不知道他们受到了最大限度语言系统的影响，那么他们不能把他们可能经历的伤害归因于它。

此外，即使一个人知道或怀疑他们受到了机器学习系统的伤害，证明他们受到歧视是困难的或者不可能的，因为ML系统作出的整套决定是私人的，因此不能对其歧视性进行审计。因此，机器学习系统造成的危害往往无法“证明”

　　对洗钱系统参与者缺乏法律保护

最后，机器学习系统会造成危害，因为目前关于何时以及如何使用机器学习系统的监管或法律监督非常少，因此公司、政府和其他组织可以利用它们来歧视参与者而不受惩罚。

关于面部识别，这正在慢慢改变：2019年，旧金山成为第一个禁止地方政府机构使用面部识别的主要城市。此后，其他几个城市也这样做了。

然而，仍有数百个已知的地方政府机构使用面部识别的例子，包括在美国的入境点，如边境和机场，以及由当地警方出于不明目的。在这种情况下使用面部识别系统——尤其是考虑到他们的大多数决定可能是错误的——会对现实世界产生影响，包括骚扰、无理监禁和驱逐出境。

相对于其他类型的机器学习系统，法律上的进步很少。

　　行动号召

鉴于洗钱系统的使用环境，目前缺乏对这种环境的法律和监管监督，以及受洗钱系统伤害的人往往缺乏社会权力。由于他们的种族、性别、残疾、公民身份和/或财富，ML系统开发者有大规模地比参与者更有力量。

设计标签任务的人和完成标签任务的人之间有相似的权力动态：标记任务请求者比标记代理具有更大的权力。

这里，ML系统开发者被定义为任何参与机器学习系统的设计、开发和部署的人，包括机器学习工程师和数据科学家还有其他技术学科的软件工程师、产品经理、工程经理、UX研究人员、UX作家、律师、中层管理人员和高管。包含所有这些角色是为了强调，即使您不直接在机器学习系统上工作，如果你在一家使用机器学习系统的公司或组织工作，那么你就有能力影响公司使用机器学习的时间和方式。

让我明确一点：个人行动是不够的——我们迫切需要设计良好的立法来指导何时以及如何使用最大限度地减少系统。重要的是，应该有一些ML系统所处的环境不能被使用，不管它们有多“准确”，因为误用和错误的概率太大了——就像警察部门使用面部识别系统。

不幸的是，我们还没有必要的立法和条例。同时，作为ML系统开发人员，我们应该有意识地考虑我们、我们的团队或我们的公司拥有和使用的ML系统。

如何建立更公平的机器学习系统

如果你是一个机器学习系统的开发者尤其是如果你是机器学习的实践者，比如语言工程师或数据科学家—这里有10种方法可以帮助您构建更公平的机器学习系统:

当设计一个新的ML系统或评估一个现有的ML系统时，问你自己和你的团队以下问题语境其中正在部署/正在部署系统:

· 什么当这个移动学习系统被部署时会出错吗？

· 出了问题，谁受到伤害？

· 可能性有多大是不是会出问题？

· 有伤害吗不成比例地落在边缘化群体身上？

使用您对这些问题的回答来评估如何继续。例如，如果可能，主动设计防止伤害发生的解决方案。例如，添加防止伤害的保障措施，如包括人为干预和参与者质疑系统决策的机制，并通知参与者正在使用机器学习算法。或者，如果伤害的可能性和规模太大，不要部署它。相反，考虑寻求一种不依赖于机器学习或以风险较低的方式使用机器学习的解决方案。部署一个有偏见的机器学习系统会对系统参与者造成现实世界的伤害，也会对你的公司声誉造成损害。

#2

利用最佳实践开发更公平的最大似然系统。机器学习公平性研究人员已经设计和测试最佳实践好几年了。例如，一个最佳实践是，当发布数据集供公共或内部使用时，同时发布一个数据表，这是一个简短的文档，它共享数据集的消费者需要的信息，以便做出明智的使用决策。例如，用于收集数据的机制或程序，是否进行了道德审查过程，数据集是否与人相关。

同样，当发布一个经过培训的模型供公共或内部使用时，同时发布一个模型卡，这是一份简短的文件，分享关于模型的信息。例如，评估结果：最好按不同的人口统计群体和社区分类、预期用途、避免的用途、对模型培训流程的洞察。

最后，考虑实现一个公司范围内的内部算法审计流程，像这样Deb Raji,安德鲁·斯马特和他们的合作者在2020年的论文中提出弥合人工智能责任差距:为内部算法审计定义端到端框架。

#3

与您的公司或组织合作，与代表机器学习系统倾向于边缘化的人群的倡导组织发展伙伴关系，以便负责任地让边缘化社区作为利益相关者参与进来。这类组织的例子包括变化的颜色还有有色人种协进会。然后，在开发新的机器学习系统或评估现有的机器学习系统时，寻求并整合他们的反馈。

#4

雇佣来自代表性不足背景的机器学习工程师和数据科学家，特别是黑人、土著人、拉丁人、残疾人、变性人和非二进制人、以前被监禁的人，以及来自技术代表性不足的国家，例如非洲国家、东南亚国家和南美洲国家的人。请注意，这将需要重新思考人才是如何发现和培养的——考虑从美国历史悠久的黑人学院和大学（HBCUs）招募人员，开办编码和数据科学训练营，或者启动一个内部项目，如懈怠的下一章。

另一方面，与你的公司合作，支持那些培养来自代表性不足的背景的人才的组织，喜欢AI4ALL,黑人女孩守则,代码2040,NCWIT,技术,TransTech，和出去上大学。像这样的组织对于增加技术工作中来自代表性不足背景的人数至关重要，包括在人工智能/人工智能工作中，并且他们都有成功的记录。此外，考虑用自己的钱和时间来支持这样的组织。

#5

与您的公司或组织合作签署安全脸誓言，这是组织公开承诺减少面部分析技术滥用的机会。这份保证书是由算法正义联盟还有乔治敦法律技术与隐私中心，并且已经被许多领先的伦理和隐私专家签署。

#6

了解更多关于机器学习系统造成危害的方式。例如，以下是继续学习的推荐资源:

1. [书]数学毁灭的武器:大数据如何增加不平等并威胁民主凯西·奥尼尔（2016）

2. [书]压迫的算法:搜索引擎如何强化种族主义作者:Safiya Noble （2018）

#7

了解现有机器学习系统的改进方式，以减少危害。例如，IBM致力于提高其商业面部识别系统在种族和性别偏见方面的性能，谷歌一直致力于减少Google Translate中的性别偏见，而Jigsaw(在谷歌内部)已经致力于改变Perspective AI，以减少将包含频繁目标群体的短语归类为仇恨言论。

#8

针对不同的影响对机器学习系统进行审核。即使一项政策或制度是中立的，当一个群体比另一个群体受到更大的不利影响时，就会产生不同的影响。Facebook的广告投放系统是一个造成不同影响的系统的例子。

例如，使用灯塔工程，一种方法论今年早些时候发布的Airbnb使用匿名的人口统计数据来衡量用户体验差异，这可能是由于歧视或偏见，或者ArthurAI，这是一个ML监控框架，允许您监控模型偏差。或者请一家算法咨询公司对你的团队或公司拥有的机器学习系统进行审计，喜欢奥尼尔风险咨询和算法审计或者算法正义联盟。

#9

当雇佣第三方供应商或使用众包平台进行机器学习标签任务时，对你选择支持的人持批评态度。询问将为你贴标签的人的工作条件。此外，如果可能的话，对供应商进行现场访问，以评估自己的工作条件。他们的时薪是多少?他们有医疗保健和其他福利吗?他们是全职员工还是合同工?他们是否让员工接触到暴力或仇恨的内容?公司内部是否有职业发展和晋升的机会?

#10

向你的团队或公司介绍机器学习系统造成的危害以及如何减轻这些危害。越多的人理解机器学习系统造成的危害以及目前存在于ML系统开发者和ML系统参与者之间的权力不平衡，我们就越有可能影响团队和公司的变革。

　　结论

机器学习系统是非常强大的工具；不幸的是，他们可能是授权的代理人，也可能是伤害的代理人。作为机器学习的实践者，我们有责任认识到我们建立的系统造成的危害，然后采取相应的行动。我们可以共同努力，建立一个负责任地使用机器学习系统的世界，不强化现有的系统性偏见，提升和增强边缘化群体的能力。想了解更多关于机器学习的信息，请继续关注中培伟业。