近年来人工智能的快速发展主要归功于神经网络模型。然而，随着模型变得越来越大、越来越复杂，研究人员逐渐无法完全理解模型是如何进行预测的，“黑箱”变得越来越暗
我们是否能够理解黑箱模型的运行机制对于模型部署非常重要，这关系到模型的可靠性和易用性。因此，研究人员也在开发模型的可解释方法
为了试图理解模型，以前的方法大多使用测试样本来描述和解释模型的决策过程。例如，在情感分析任务中，突出显示模型认为对电影评论数据是正面还是负面的关键词，这也被称为“局部解读”
然而，对于更复杂的任务，人类可能无法轻松理解，甚至误解，因此这种解读方法最近毫无用处，麻省理工学院的研究人员提出了一个新的数学框架exsum，它可以正式量化和评估机器学习模型的可理解性。该论文已被naacl 2022接受
论文链接：2205.00130.pdf
部分解释的一个主要缺点是无法判断规则是否可以扩展到其他测试样本。例如，如果“精彩”在电影评论中被突出显示为一个肯定词，这是否意味着“否”等否定词对测试没有影响
使用exsum，用户可以使用三个指标来检查是否建立了规则：覆盖率、有效性和清晰度
覆盖率测量规则在整个数据集中的适用范围；有效性表明有多少例子使规则成为真实的；清晰描述规则的准确性：有效的规则可能是一般性的，但对理解模型没有帮助
本文第一作者周一伦是麻省理工学院电子工程与计算机科学系（EECS）五年级的博士生。她的导师是julie shah教授。当前的研究方向是帮助人们更好地理解世界上做出重要决策的模型。主要问题包括如何确保黑盒模型正常工作？如何全面了解预期的和更重要的意外模型行为？人类对这一复杂推理过程的理解有哪些局限性？为了回答这些问题，他开发了可以解释机器学习的模型、算法和评估，并将其应用于不同的领域，包括计算机视觉（CV）、自然语言处理（NLP）和机器人学
从数学上描述经验𞓜 在训练文本分类模型时，通常要做什么来解释模型？首先，在模型中输入一个句子，然后模型预测文本的标签。如果预测是正确的，分析句子
中每个单词的重要性。例如，在下图中的示例句子中，情绪分类任务中的标签是肯定的，并且可以使用快照解释方法测量文本中每个单词的贡献。例如，在情绪分类中，“记忆”和“伟大”得分较高，预测重要性较高；停止语“for”只得分-0.02，这基本上被忽略了，对预测结果没有影响
此验证，再加上该模型特别好的分类性能，可能会导致您得出结论，即该模型可以正确识别所有积极词，而忽略停止词
但确实如此
该模型是否能够在其他数据上满足此结论仍然未知；而且它还不够自动，人们无法观察到，exsum框架将这一规则“数学化”。在模型解释过程中，每个单词的每个特征都被称为基本解释单元（feu）。在本例中，使用的特征是震动分数
，然后生成规则。例如，该句子的情感得分（0.638）高于“记忆”，然后将得分0.479作为积极词的基准，来判断规则在其他句子中的准确性（3.1%）； 该方法可以自动衡量规则的覆盖率、有效性和清晰度，并且可以帮助开发人员更好地理解模型的行为
入门指南 本文还发布了exsum框架程序。您可以通过PIP安装exsum开始“模型解释”之旅
exsum主要用于检查和修改文本二元分类模型的exsum规则，包括exsum规则和规则集的类定义。基于flask的服务器还可以执行规则和规则集的交互式可视化显示
代码链接：/YilunZhou/ExSum
教程链接：documentation.html
运行exsum GUI后，可以看到程序主要分为五个面板
面板a显示规则的组成。未选择所有规则。例如，表示不使用规则2和7，但每个规则最多只能使用一次
当选择一个规则时，将自动计算没有该规则的反事实（CF）规则联合，以便用户可以直观地了解其边际贡献。第二行显示CF规则集的结构。 面板B将所有规则转换为按钮。用户可以通过单击规则更详细地检查规则。底部是重置和保存按钮。重置按钮用于放弃对规则（面板d）中参数值所做的所有更改。“保存”按钮将当前规则集的副本保存到指定目录中。面板C以数字和图形形式显示为完整规则集、CF规则集和选定规则计算的度量值。对规则所做的任何更改都会自动触发这些值的重新计算和更新
面板D列出所选规则的参数，可以通过输入或使用滑块手动更改这些参数
面板e显示特定数据实例上的规则和规则集，包括三个控制按钮，分别用于切换整个规则集和仅选定规则的显示，切换整个句子或句子中仅一个feu的显示，重新随机化数据并显示新的一批实例
带下划线的单词表示它已被选定的规则或规则集覆盖。对于覆盖的单词，粗体表示根据行为函数
它是有效的。悬停在每个单词上会显示一个工具提示，其中显示数值属性值和覆盖该单词的规则（如果有）。下图显示了一个示例（在这种情况下，规则19对“严重”一词没有影响，因为它不是粗体）。