2020年2月，带有 covid-19在全球迅速传播，抗原检测很难获得，一些医生转向人工智能(人工智能)尝试诊断病例。一些研究人员通过观察X射线和胸部计算机断层扫描使用深层神经网络(计算机断层扫描)扫描以快速识别新冠病毒患者-肺炎患者和非肺炎患者；在新冠病毒-在19世纪大流行的早期，人们争相构建工具，尤其是人工智能工具来提供帮助；，西雅图华盛顿大学计算机工程师亚历克斯·德格拉夫（AlexDegrave）说；但研究人员尚未注意到，许多人工智能模型决定采取一些捷径
人工智能通过分析被标记为新冠病毒-19利用正、负X射线图像对模型进行训练，然后利用它们之间的差异进行推断。然而，当时出现了一个问题，“；没有太多可用的培训数据”；德格拉夫说，许多医院已经公布了新冠病毒-19患者的X光照片（标记为新冠病毒-19例阳性），美国国立卫生研究院在大流行前收集的肺部图像库提供了未感染的新冠病毒-19 X射线数据（标记为covid-19负）。当这些数据用于培训时，存在一个不容忽视的错误。例如，许多X光片使用字母R标记人体右侧，以便放射科医生能够正确定位图像与人体之间的关系。然而，不同医院使用的字母r的外观不同。同时，大多数冠状病毒-19负片75b73c1b-766c-4235-9964-be4a40a019a4的来源是单一的，这使得使用这些数据训练的模型不仅可以从75b73c1b-766c-4235-9964-be4a40a019a4中显示的生物特征推断，还可以从75b73c1b-766c-4235-9964-be4a40a019a4上字母R的样式和位置推断（如图1所示）
图1 用于训练的X射线图像 degrave和Joseph janizek是计算机科学家u-年，lee是西雅图生物和医学科学可解释人工智能实验室的成员。2021年5月，他们发表了一篇关于自然机器 智能的论文，报告了上述问题
机器学习模型的决策过程通常被学者称为“黑箱”，因为研究人员通常只知道模型的输入和输出，但是很难看到模型中发生了什么
Degrave和janizek使用设计用于测试AI系统的技术，并解释为什么他们这样做来打开这些黑匣子，也就是说，构建可解释的AI模型
构建可解释的AI（Xai）有很多优势。在医学环境中，理解模型系统做出特定诊断的原因有助于说服病理学家它是合法的，因为在某些情况下，法律需要解释。例如，当贷款系统决定用户的贷款资格时，美国和欧盟都要求提供证据，证明拒绝信贷并非出于法律禁止的原因（如种族或性别）； 深入了解人工智能系统的内部工作原理也可以帮助计算机科学家改进和完善他们创建的模型，甚至可能为如何解决某些问题带来新的想法
然而，只有当Xai给出的解释可以理解和验证时，Xai的好处才能实现，建模者认为这是一项值得努力的
神经元𞓜 degrave和janizek研究的深层神经网络因其难以置信的能力而广受欢迎，因为它们可以理解照片中的内容、口语的含义等。通过曝光，这些神经网络的工作方式与人脑类似，就像一些活动神经细胞对外部刺激作出反应并以某种模式启动一样。例如，神经网络中的人工神经元会根据接收到的输入触发不同于看到一棵树时看到一只猫的模式，也就是说，神经元会找到两者之间的差异。在这种情况下，神经元是一个数学函数，输入数据以数字形式进入系统。例如，描述照片中像素的颜色，然后神经元对数据进行计算。在人体内，神经元只有在接收到的刺激超过一定的电阈值时才会发出信号。类似地，人工神经网络中的每个数学神经元都有一个阈值
如果计算结果超过阈值，它将被转移到另一层神经元进行进一步计算。最后，系统将学习输出数据和输入数据之间关系的统计模型。例如，有猫标记的图像与没有猫标记的图像会有系统性的差异，这些明显的差异可以帮助AI模型确定猫在其他图像中的可能性
神经网络的设计不同于其他机器学习技术
神经网络模型对输入计算层（即隐藏层）的作用越大，解释模型的作用就越困难。凯特，马萨诸塞州波士顿大学的计算机科学家 萨恩科说，"e；简单的模型，比如小决策树，并不是真正的黑盒子。小决策树“基本上是一组规则”。人类可以很容易地理解模型在做什么，因此它本质上是可以解释的。然而，深层神经网络通常过于复杂。神经网络涉及数百万次计算，现在更可能涉及数十亿次计算。学者们很难解释其内部工作机制
一般来说，解释深层神经网络神秘的工作原理需要找出输入数据的哪些特征会影响输出结果
帮助degrave和janizek确定胸部X光图像上的方向标记（字母R）影响诊断的工具是显著性 图，这是一个彩色编码图表，显示计算机在推断时最关注图像的哪一部分。如图2所示
Saenko和她的同事开发了- Rise（用于解释AI的探测器的随机输入采样）技术生成此类映射。研究人员拍摄了一张照片，例如，一个装满鲜花的花瓶（图2），系统地筛选了图像的不同部分，然后将其展示给负责识别特定对象（如花瓶）的AI模型。然后，他们记录下每组像素的模糊程度如何影响结果的准确性，并根据每个部分对识别过程的重要性对整个75b73c1b-766c-4235-9964-be4a40a019a4进行颜色编码
正如预期的那样，在一个装满鲜花的花瓶75b73c1b-766c-4235-9964-be4a40a019a4中，花瓶本身被明亮的红色和黄色照亮，这表明AI识别花瓶时，花瓶本身的存在非常重要。但这并不是75b73c1b-766c-4235-9964-be4a40a019a4中突出显示的唯一区域。”；意义延伸到一束鲜花上；萨恩科说，"e；它们没有标记为花瓶的一部分，但模型理解，如果你看到花，对象更有可能是花瓶；D-Rise强调了可能导致AI模型改变其结果的因素；这有助于了解他们可能犯了哪些错误，或者他们是否出于错误的原因而做了一些事情；Saenko说，他在这一领域的工作部分是由美国国防高级研究中心运营的已完成的Xai项目资助的。改变输入数据以识别重要特征是探索许多人工智能模型的基本方法。然而，宾夕法尼亚州匹兹堡卡内基梅隆大学的计算机科学家anupam datta，他说，这项任务在更复杂的神经网络中变得更具挑战性。在这些复杂的情况下，科学家不仅应该弄清楚哪些特征在模型推理中起作用以及这种作用的有效性，还应该弄清楚特征的重要性如何随着其他特征的变化而变化；因果关系仍然存在，因为我们仍在试图找出哪些特征对模型预测的因果影响最大，”Datta说道；但衡量它的机制会有一些变化与Saenko的显著性图一样，Datta系统地屏蔽了图像中的单个像素，然后为图像的该部分指定一个数学值，以表示由于该部分遮挡而引起的变化幅度。看到哪些像素最重要可以告诉Datta隐藏层中的哪些神经元在结果中发挥最大作用，从而帮助他更好地解释模型的工作原理
可解释性的好处 degrave和janizek通过另一个复杂的神经网络测量显著性图，这被称为生成性对抗网络（GAN）
典型的GAN由一对网络组成，一个负责生成数据（如街道图像），另一个试图确定输出是真是假。这两个网络不断以这种方式交互，直到第一个网络可靠地创建了一个可以欺骗另一个网络的图像。在他们的案例中，研究人员要求甘转换新冠病毒-19冠状病毒X射线阳性突变-19张负片。通过观察Gan修改了X射线75b73c1b-766c-4235-9964-be4a40a019a4的哪些方面，研究人员可以确定75b73c1b-766c-4235-9964-be4a40a019a4的哪一部分对AI模型有影响，从而提高模型的可解释性
虽然Gan原理很简单，但研究人员对网络的细微动态变化不是很清楚。”；甘以神秘的方式生成图像。给定一个随机输入数，Gan最终将输出一幅看起来非常真实的75b73c1b-766c-4235-9964-be4a40a019a4；，计算机科学家安东尼奥·托雷尔巴说。Torralba和他的团队负责分析Gan，以了解Gan的每个神经元在做什么。就像Datta一样，他们发现Gan中的一些神经元专注于某些特定的概念；我们找到了负责绘制树木的神经元组、负责绘制建筑物的神经元组和负责绘制门窗的神经元；，Torralba说
图2 显著图示例（该图表明AI在识别花瓶时也注意到花瓶中的花朵） torrealba说，它可以识别哪些神经元正在识别或产生哪些对象，这提供了改进神经网络的可能性，而无需向其显示数千张新照片
如果一个模型经过训练来识别一辆汽车，但它训练的所有图像都是铺筑道路上的汽车，那么当在雪地上显示汽车75b73c1b-766c-4235-9964-be4a40a019a4时，该模型可能无法识别汽车。然而，了解模型内部连接的计算机科学家可以调整模型以识别一层雪，使其等效于铺筑的表面，从而提高模型识别此类图像的准确性。类似地，想要自动创建不可能场景的计算机效果设计师可以手动重新设计模型以实现这一点。 可解释性的另一个价值是，了解机器执行任务的方式可以让模型的用户了解模型如何以不同的方式工作，并修改模型以更好地执行任务aura-杰恩·加德纳（JayneGardiner）训练人工智能预测哪些基因在调节生物钟中起作用，生物钟是控制一系列生物过程的内部分子计时器。Gardiner和她在IBM欧洲研究所和英国诺维奇生命科学研究小组厄勒姆研究所的同事也让电脑突出显示它用来确定基因是否在昼夜节律中起作用的特征；我们只关注基因调控的启动子；加德纳说：“我不知道你是谁。”；但AI在基因序列中发现了研究人员会忽略的线索；，加德纳解释道；该团队可以在实验室研究中使用人工智能来进一步提高对生物学的理解
人工智能的准确性和可靠性卡内基梅隆大学的计算机科学家pradeep ravikumar表示，解释人工智能只是一个开始，但也应该有方法来量化其准确性。他正在研究自动化评估的方法。他认为，对人类来说似乎有意义的解释，实际上可能与模型的实际作用关系不大；如何客观地评价和解释人工智能尚处于早期阶段；拉维库马尔说：“我不知道你是谁。”；我们需要更好的解释和更好的评估方法。”测试解释真实性的方法是对其所说的重要特征进行微小的更改
如果解释正确，这些输入的微小更改应该会导致输出的巨大变化。例如，对不相关特征的重大更改（如从cat照片中删除一辆公交车）不应影响模型的判断结果。如果我们进一步评估人工智能，我们不仅可以预测哪些特征是重要的，而且还可以预测如果这些特征稍有改变，模型的推测判断结果将如何改变。”；如果一个解释实际上是在解释模型，它将更好地理解模型在这些小变化下的性能。”；Ravikumar said
解释人工智能的固有工作有时看起来是一项如此繁重的任务，以至于许多计算机科学家可能想跳过它，从表面上看人工智能的结果。但至少某种程度上的可解释性是相对简单的。例如，现在可以快速且廉价地生成显著性贴图。相比之下，训练和使用Gan更加复杂和耗时；你必须非常熟悉深度学习，并且有一台好的机器，有一些图形处理单元才能工作；贾尼泽克说。他的团队尝试的第三种方法– - - 使用照片编辑软件手动修改数百幅图像，以确定某个特征是否重要– - -更为劳动密集的机器学习界的许多研究人员也倾向于在模型的可解释性和准确性之间进行权衡。他们认为，巨大的计算量使神经网络的输出更加准确，并使其超出了人类理解的范围。但一些人质疑这种权衡是否属实，贾尼泽克说；最终，一个更具解释性的模型可能是一个更有用、更精确的模型Ravikumar说，无论解释性挑战有多大或多小，一个好的解释并不总是足以说服用户依赖一个系统。他知道为什么人工智能助理（如亚马逊的Alexa）不能以禁止滥用私人对话记录的方式促进用户之间的信任，也许医生需要临床证据来证明计算机诊断随着时间的推移是正确的。决策者可能会要求将与使用此类系统有关的一些保护写入法律
然而，在解释领域，人工智能研究人员取得了巨大的进步。Torralba说，尽管可能仍有一些细节有待开发，以涵盖所使用的各种机器学习模型，但问题可能在一两年内得到解决；人们总是谈论黑匣子。我们不认为神经网络是一个黑箱。如果他们工作得很好，那么如果你仔细观察，他们所做的是有意义的。”；
相关推荐
96岁Uncle Ray举办红馆演唱会，打破胡枫89岁纪录，杜丽莎压轴献唱
42岁郝蕾近照瘦太多双下巴消失成瓜子脸，气质上升后美过高圆圆
41岁戴娇倩晒照流泪情绪低落，被疑离婚，神秘富豪老公从未露面