XDA智能手机网 - 第一智能手机评述媒体
观点您的位置:首页 >观点 >

一种增强机器学习解释的方法

发布时间:2019-06-08 10:21:30 来源:

IBM英国研究院,美国军事学院和卡迪夫大学的研究人员最近提出了一种新方法来提高LIME(局部可解释模型不可知解释)的灵敏度,这种技术可以更好地理解机器学习算法得出的结论。他们在SPIE数字图书馆上发表的论文可以为人工智能(AI)工具的开发提供信息,这些工具可以提供有关如何达到特定结果或结论的详尽解释。

“我们相信人工智能和机器学习可以支持和增强人类决策,但也需要可解释的人工智能,”Eunjin Lee,原研究论文的共同作者和IBM研究院的新兴技术专家和高级发明人英国,告诉TechXplore。“今天,许多机器学习系统做出的决定是莫名其妙的,也就是说,我们人类无法知道系统是如何做出这些决定的。我们的研究通过研究如何改进可解释性技术来解决这个问题。机器学习过程的“黑盒子”性质。“

LIME是一种特别流行的可解释性技术,可应用于许多机器学习模型。尽管它具有多功能性,但它通常被认为是不可靠的,因此无法提供解释,这也是由于其产生的结果的可变性。Lee和她的同事们没有开发出全新的可解释性技术,而是着手确定可以增强LIME解释的机制。

“我们首先想深入研究其他研究人员观察到的不稳定性,以确定LIME是否真的不稳定,”Lee解释道。“为了做到这一点,我们在不改变底层代码的情况下对我们的数据集和机器学习模型测试了LIME。我们立即发现,由此产生的解释图像变化很大,看起来并不一致。这可能是很多人只是停止使用技术。”

未修改的LIME技术的九个图像输出。图片来源:李等人。

当李和她的同事更深入地研究LIME的基础统计数据时,他们发现尽管它生成的图像看起来“视觉上不稳定”,但默认解释没有考虑到所有的统计信息。例如,解释图像的着色过于简单,并没有考虑完整的基础数据(例如,没有考虑阴影或透明度等技术)。这一发现部分解释了为什么LIME产生的解释有时无法向人类用户传达分类的确定性。

“通常情况下,动态系统,例如我们在本研究中检查的系统,运行大量测试和调查平均值可以证明是有益的,”Lee说。“在采用这种方法时,我们意识到在考虑多次运行的平均值和标准偏差时,解释的稳定性确实有所改善,而不仅仅是运行一次解释。”

在他们的研究中,Lee和她的同事使用两类图像训练卷积神经网络(CNN)模型,即“持枪手”和“非持用者”。他们发现,当单个图像的几个输出权重被平均和可视化时,LIME的灵敏度得到了提高。

然后,研究人员将这些平均图像与单个图像进行比较,以评估两种LIME方法(即传统方法和他们提出的方法)的可变性和可靠性。他们发现,传统的LIME技术在没有进行调整的情况下,由于采用了简单的二元着色以及比较不同分析时彩色区域易于翻转,因此看起来不稳定。Lee及其同事还观察到,由于LIME技术固有的不稳定性,图像的显着加权区域是一致的,而较低加权区域翻转状态。

“像LIME这样的技术显示出人工智能可解释性的巨大希望,特别是在机器学习系统没有简单易用的解释功能的时候,”李说。“虽然感知到的不稳定性是合理的,但有些技术可以帮助缓解这个问题。这些技术会产生额外的计算成本,例如多次运行解释,这意味着用户在生成解释时会有更大的延迟。”

Lee及其同事进行的这项研究为LIME不稳定背后的一些因素提供了有价值的解释,正如在过去的研究中所观察到的那样。他们的研究结果表明,改进可解释性技术的加权方法可以增强其稳定性并导致更可靠的解释,最终促进对AI的更大信任。未来的研究可以确定更先进的数值技术,以进一步提高LIME和其他可解释性方法的稳定性,同时减少额外的开销。

“我们对负责任的人工智能系统持续感兴趣,包括解释,但也减轻了偏见,增强了稳健性和透明度,”李说。“提高开发人员更容易将可解释性技术嵌入其AI解决方案的能力是我们的一个关键目标。最近,IBM推出了一种软件服务,可自动检测偏差并解释AI如何做出决策。”

热点推荐
随机文章