人工智能

如何构建可以信赖的机器学习算法?

2020-08-13 16:32:52 | 来源:中培企业IT培训网

随着最近AI崩溃的消息成为新闻,AI模型缺乏透明度和偏见日益增加的问题已经暴露出来。在最近的例子中,人工智能系统指出高污染的空气可以安全呼吸,而实际上,这是非常危险的,或者人工智能系统指出某名患者没有癌症,而实际上该患者确实患有癌症。癌症和死亡,或者AI系统将某笔交易认定为欺诈,而这是完全合法的交易,给客户造成不必要的麻烦,这显然是有问题的。那么如何构建可以信赖的机器学习算法?

随着AI的广泛使用,这些崩溃每天都在增加,这完全是由于我们对这些AI系统的盲目信任所致,但是现在该采取行动了。

在实现和信任这些AI系统时,当前的业务前景仍然非常怀疑。许多公司已经启动了该过程,但尚未实现其价值。这主要是由于数据科学团队与业务利益相关者之间的理解差距。

在过去的几个月中,我们与许多业务利益相关者进行了交谈,这些利益相关者正处于这些预测的接受端,并发现数据科学家无法解释AI系统预测的原因和背后的原因,以及为什么AI系统预测是对预测的不信任和怀疑的最大因素数据科学计划。

数据科学团队中的人员技术含量高,并且对复杂性有所了解,以表明其技能水平。但是,业务利益相关者则完全相反:他们不在乎所使用的技术,而是在乎模型产生的结果如何与他们的业务目标和KPI相联系。

除非数据科学家能够回答以下重要问题,否则这是不可能实现的:

1.为什么我应该相信模型生成的结果?

2.该模型用于产生结果的基本原理是什么?

3.在生产中使用模型的好处和缺点是什么?

4.结果是否符合业务逻辑?

仅在回答了这些问题之后,数据科学家才能向业务用户提出建议,并有望取得进展。

  为了解决这个问题,数据科学家有两种选择:

1.通过在黑盒模型的顶部构建一个可解释的模型来对其进行解释。这是LIME&SHAP背后的逻辑。SHAP被广泛使用,因为它可以确保每个变量的贡献的公平分配,并具有各种各样的图形。可悲的是,这种方法需要大量的迭代,缺乏交互性并且无法扩展,尤其是在处理敏感的数据集和决策时。不仅如此,可视化还没有吸引力和互动性。它们的静态性质在数据科学家和业务涉众之间造成了更大的鸿沟。缺少动态和交互图使得从SHAP或LIME生成价值变得极为困难,因此需要一种更好的方法来使用这些技术。

2.使用可解释的模型:数据科学家可以尝试优化逻辑回归或决策树之类的简单模型,以进行预测,而不是使用诸如深层神经网络之类的黑盒模型。在准确性和可解释性之间会有一个权衡,但是数据科学家将需要决定什么才是创造价值的基础,并且需要关注两种模型之间的边际收益。如果准确度之间的边际增长不显着,则更理想的是实施更简单的模型并将预测直接与业务KPI关联。令人遗憾的是,随着数据复杂性的提高,我们今天正在收集的数据中,简单的模型表现不佳。

  因此出现了问题:

有没有更好的方法来建立对我们的机器学习模型的信任?

就在这里!在mltrons,我们的愿景是增加AI的采用并加速实现奇点。为了实现这一目标,我们开始执行任务,以帮助数据科学家构建可理解,可解释且无偏见的AI算法。

这将确保受AI影响的每个人都能够理解为什么做出决策,并确保AI结果无偏见,准确且没有任何逻辑上的不一致。

为了实现我们的任务,我们正在为数据科学家创建一个即插即用的可解释AI系统,该系统将以完全沉浸式和交互的方式专门研究,解释,可视化和验证机器学习预测的原因和方式。

该系统旨在帮助数据科学家和业务利益相关者建立对AI系统的信任,并做出充分知情的决策。

mltrons xAI引擎与当前市场上其他替代品的不同之处在于,我们的系统能够跨多个数据集和定制模型运行。

我们的目标不是使科学家切换到新的独立系统,而是希望在当前数据科学家的工作流程中实施我们的系统。

这意味着数据科学家现在可以将XGBoost,CatBoost,PyTorch,TensorFlow,SageMaker的Jupiter笔记本,数据源(Amazon,MySQL,HDFS和定制模型)引入mltrons引擎,mltrons引擎将吸收他们的输入并将用作附加层,以提供有关这些算法如何工作,思考和输出结果的解释性。

然后,数据科学家将能够通过我们的交互式可视化,报告和可共享的仪表板,以简单的商业友好语言解释结果,任何人都可以理想地理解该结果。

以上就是关于如何构建可以信赖的机器学习算法的全部内容,想了解更多关于机器学习算法的信息,请继续关注中培伟业。