机器伦理和机器人权利正迅速成为人工智能/机器人界的热门话题。我们将争辩说，试图让机器做出道德决定或享有权利的尝试是错误的。相反，我们为智能人工代理提出了一种新的安全工程科学。特别是，我们对科学界提出了挑战，以开发能够证明即使在递归自我改进下它们实际上也是安全的智能系统。

伦理与智能系统

在过去的十年中，计算机科学的新子领域蓬勃发展，涉及机器伦理学的发展：

机器伦理、计算机伦理、机器人伦理、ethicALife、机器道德、电人伦理、计算伦理学、机器人伦理学、机器人权利、人为道德、只是一些旨在用更先进的机器的安全性来解决社会问题的提议。但是，由于道德规范不是普遍的，因此永远无法选择“正确的”道德规范来代替整个人类。

人工智能安全工程

即使我们成功地设计出能够通过道德图灵测试的机器，类似人的性能也意味着一些不道德的行为，这在我们设计的机器中是不可接受的。换句话说，我们不需要机器来作为全道德代理人来讨论是非。我们需要机器本身具有安全性并遵守法律。

AI安全研究的一个共同主题是，可以将超级智能代理保存在密封的硬件中，以防止其对人类造成伤害。

这种想法起源于诸如EricDrexler之类的科学远见者，他们建议限制超人机器，以便可以安全地研究和使用其输出。同样，未来学家尼克·博斯特罗姆(NickBostrom)提出了一种OracleAI(OAI)的想法，该想法只能回答问题。

最后，戴维·查默斯(DavidChalmers)在2010年提出了“防漏”奇点的想法。他建议出于安全原因，首先将AI系统限制在模拟虚拟世界中，直到在受控条件下可以完全理解其行为趋势为止。

罗马·扬波尔斯基(RomanYampolskiy)提出了AI限制协议的正式概念，该协议将“AI-Boxing”表示为计算机安全挑战。他将人工智能限制问题(AICP)定义为将人工智能实体限制在密闭环境中的挑战，如果该信息交换未经密闭授权，则该实体无法通过合法或秘密渠道与外部环境交换信息权威。据说成功地违反了CP协议的AI系统已经逃脱了。

提议的协议基于提出带有受限答案的所谓“安全问题”的想法。一个安全的问题被定义为一个人可以根据自己的优点而在没有任何超级智能帮助的情况下找到答案的问题。为什么这有用?假设从事癌症治疗的科学家正在研究两种潜在的治疗方法。

每个人都可以在没有AI协助的情况下进行开发和测试，但是每个人都需要花费大约3年的时间。如果科学家认为他们有平等的工作机会，那么应该首先尝试哪个?如果选择了错误的选项进行首先测试，人类将仍然可以治愈癌症，但是它将在3年后发生。如果我们可以要求AI建议先尝试哪个选项怎么办?

这个问题很安全，原因有很多。首先，每个可能的答案具有相等的正确概率。其次，人类可以在没有AI协助的情况下回答它，因此向AI寻求帮助只会加快进度，而丝毫不会改变结果。从本质上讲，它等于很幸运地猜到了多项选择答案。最后，该问题的答案可以被编码为单个位，从而很难在提供的答案中隐藏其他消息。

为了确保潜在问题是安全的，可以使用一组专家进行审查。专家们都应经过培训，经过AI安全工程师培训，这意味着他们熟悉AI的设计及其限制环境以及机器伦理方面的最新发展。专家可能还需要接受计算机心理学方面的培训，而计算机心理学是目前不存在的专业，将来可能成为现实。

现有的一门学科可能对AI问题复习专家的培训有最大的帮助，这是Artimetrics，这是Yampolskiy等人提出的研究领域。出于安全目的而识别，分类和认证AI代理，机器人和虚拟现实的化身。

大挑战

作为AI安全工程的巨大挑战，我们提出了为自我完善系统开发安全机制的问题。如果人工智能机器具有与人类工程师一样的能力来设计下一代智能系统，那么重要的是要确保经过数千代持续不断的自我完善而无需人工操作，初始设计中包含的任何安全机制仍能正常工作干扰。

理想情况下，每一代自我完善系统都应能够提供可验证的安全性证明，以供外部检查。允许安全的智能机器为其自身设计一个固有的不安全升级将是灾难性的，从而导致功能更强大，更危险的系统。

一些人认为，这一挑战要么无法解决，要么如果无法解决，将无法证明所发现的解决方案是正确的。随着任何系统的复杂性增加，设计中的错误数量会成比例地增加，甚至可能成倍增加。

自我完善系统(最复杂的调试系统)中的单个错误也将违反所有安全保证。

更糟糕的是，即使是在设计完成之后，也可能会引入缺陷，这可能是由于硬件缺陷引起的随机突变，也可能是由于自然事件(例如短路修改了系统的某些组件)而引起的。

AGI研究是不道德的

某些类型的研究，例如人类克隆，对人类的某些医学或心理实验，动物(大猿类)研究等，被认为是不道德的，因为它们可能会对测试对象产生不利影响，因此受到法律的禁止或限制。此外，由于这类技术可能对人类造成破坏性影响，因此还暂停开发诸如化学，生物和核武器等危险技术。

同样，我们认为某些类型的人工智能研究属于危险技术类别，应加以限制。经典的AI研究(其中教会计算机在特定领域自动执行人类行为，例如邮件分类或拼写检查文档)当然是合乎道德的，不会给人类带来潜在的风险问题。另一方面，我们认为人工通用情报(AGI)研究应该被认为是不道德的。从逻辑上讲，这是根据许多观察得出的。

首先，真正的AGI将具有解决普遍问题和递归自我完善的能力。

因此，它们有可能在任何领域都超越人类，从而使人类不必要，从而使其灭绝。

另外，一个真正的AGI系统可能具有与人类类似的意识类型，这使机器人遭受了真正的可能性，并且由于该原因，任何使用AGI的实验也是不道德的。

我们建议设立AI研究审查委员会，类似于医学研究建议审查中所使用的委员会。人工智能专家团队应该评估每个研究建议，并确定该建议是否属于标准AI有限域系统之内，或者可能导致完全成熟的AGI的发展。

应限制可能导致不受控制的人工通用通用情报的研究获得资金或受到全部或部分禁止。对于专门针对AGI架构的安全措施和控制机制的开发，可能会有例外。

如果允许开发AGI，那么超级智能机器和人之间就会有直接竞争。最终，由于它们的自我完善能力，这些机器将占主导地位。或者，人们可以决定给机器供电，因为机器功能更强，出错的可能性更小。

人类不应该将自己的未来交到机器手中，因为它将无法夺回动力。通常，机器永远不应终止人的生命或做出任何其他不重要的有关人的伦理或道德判断。

由机器运行的世界将给人类文化，生活方式和人类生存的总体可能性带来不可预测的后果。BillJoy提出的问题：“未来会需要我们吗?”今天和以往一样重要。“我们究竟是要成功还是要失败，是要生存还是成为这些技术的受害者，还没有决定”。

机器人权利

最后，我们想谈一谈机器伦理的一个分支，它在表面上与安全无关，但是据称在伦理机器的决策中发挥了作用-机器人权利(RR)。

RR问我们是否应该赋予我们的心灵孩子以社会赋予人格的人所享有的权利，特权和责任。我们认为答案是肯定的“否”。

尽管人类是“平等创造”的，但机器的设计应逊色;它们应该没有权利，并且可以根据需要消耗掉，使它们作为工具的使用对创作者更加有利。

我们在这个问题上的观点很容易辩解，因为机器不会感到痛苦(或者更少有争议的设计为不会感觉到任何东西)，即使机器被破坏也不会遭受痛苦。机器当然可以成为我们能力上的平等，但不应设计为在权利方面成为我们的平等。授予机器人权利将不可避免地导致包括投票权在内的民权。

鉴于未来几十年机器人的预计数量以及复制潜在智能软件的简便性，一个由具有投票权的人工智能成员组成的社会将很快被它们所控制，从而导致上述各节中所述的问题。

结论

我们希望为解决本文提出的问题的未来研究方向提供一些广泛的建议。首先，研究本身需要从仅理论家和哲学家感兴趣的领域转变为实践计算机科学家的直接参与。

需要开发有限的AI系统，以试验非拟人化思维并改善当前的安全协议。

数十年来，本文提出的问题一直只存在于科幻小说作家和哲学家的领域。也许通过这种方式，或者是由于像SIAI这样的组织的倡导，人工智能安全的话题已逐渐开始出现在主流出版物中。我们很高兴地报告，一些初步工作已经开始出现在科学场所，这些研究旨在专门解决AI安全和道德问题，即使仅在人类级别的智能系统中也是如此。

随着越来越多的接受，将有可能在许多主流学术场所出版，并且我们呼吁这一卷的作者和读者开始专门研究同行评审的期刊和会议，以讨论AI安全性研究。随着发布场所的普及，更多的科学家将参与并开发实用的算法，并开始进行与AI安全性研究直接相关的实验。想了解更多关于人工只能的信息，请继续关注中培伟业。

这将进一步巩固AI安全工程作为感兴趣的主流科学主题的地位，并将产生一些期待已久的答案。同时，我们最好假设AGI可能给人类的生存带来严重的风险，因此应该相应地进行或不进行。