人工智能的可解释性：技术与伦理维度（论文笔记）

　　论文题目：Artificial intelligenceexplainability: the technicaland ethical dimensions

　　出版杂志：Phylosophical Transactions A

　　最新IF：4.226 综合性期刊三区 发刊年份：1887

　　官网地址：http://rsta.royalsocietypublishing.org/

　　论文地址：https://royalsocietypublishing.org/doi/10.1098/rsta.2020.0363

　　作者：John A. McDermid, Yan Jia, Zoe Porter andIbrahim Habli

　　引用：

　　近年来，一些新的技术方法被开发出来，以使人工智能模型更加透明和可解释。这些技术通常被统称为“人工智能可解释性”或“XAI”方法，本文对XAI方法进行了概述，并将它们与利益相关者的目的联系起来，以寻求解释。因为潜在的利益相关者的目的在本质上是广泛的伦理目的，我们认为这一分析是对将XAI的技术和伦理维度结合在一起的贡献。我们强调，必须将XAI方法的使用与解释人类在开发生命周期中所做的决定联系起来。在更广泛的责任框架内，我们的分析可能会为设计师、安全工程师、服务提供商和监管机构提供一个有用的起点，他们需要对采用或要求使用哪些XAI方法做出实际判断。本文是主题问题“Towards的共生自主系统”的一部分。

　　人工智能(AI)--具体地说就是机器学习(ML)--正越来越多地被用于“关键”系统。关键系统直接影响人类的福祉、生命或自由。这些系统可能是数字系统(例如人类专家用来为医疗或监禁判决提供信息的系统)，也可能是具体化的自主系统(例如高度自动化的汽车或无人驾驶飞行器)。使用基于ML的关键系统来协助或取代人类决策者提出了很多问题，比如我们何时以及是否应该信任他们。人工智能可解释性(XAI)方法是答案的一部分。XAI方法的使用有助于在使用ML的关键系统中建立保证或证明可信。

　　在本文中，我们将把利益相关者的目的与可解释性的技术维度联系起来，股东可能出于一系列原因而寻求使用XAI方法，如评估置信度、告知同意、质疑决定或规范系统的使用。这些原因在本质上往往是广泛的伦理问题。

　　我们认为，XAI方法是帮助实现这些目的的一种方式，但对合理性的要求也将解释权追溯到设计和实施过程中的人为决定。因此，XAI方法处于一个更广泛的问责生态系统中。我们的方法与[1]有相似之处，即关注构成XAI方法受众的利益相关者群体，但我们的重点更明确地放在利益相关者寻求解释的实际原因上；我们还增加了一些利益相关者类别，如预测接受者，与最终用户和法院有所区别。我们的方法与[2]也有相似之处，即确定不同利益相关者对解释的要求差异，但鉴于我们更强调安全和保证，我们更关注外部利益相关者，如监管机构。

　　本文的其余部分结构如下。第2节介绍了基于ML的系统的可解释性，并对其进行了背景说明。第3节确定了关键的利益相关者类别，并考虑了时间维度和利益相关者对XAI方法可能有的一般基本目的。这有助于构建对可解释性技术现状的分析；第4节调查了广泛使用的全局和局部XAI方法，将后者归类为特征重要性或基于实例的方法。第5节说明了这些方法在临床决策支持系统（DSS）中的一些应用。第6节对利益相关者的目的和XAI方法的分析进行了整合，其中包括一个表格，将利益相关者的需求与可用的XAI方法进行交叉对比。这得到了三个场景的叙述性描述的支持，以加深理解。第7节从系统工程的角度出发，讨论了可解释性和性能之间的权衡，并讨论了XAI方法在安全保证中的更广泛的作用。第8节考虑了可解释性在实现和保证可信赖的人工智能和ML方面的重要性。

　　从概念上讲，传统的软件开发遵循一个确定的 "生命周期"。它从定义需求开始，经过设计到实现，例如编码，然后随着软件的各个部分被集成到整个系统中，逐步对软件进行测试。在系统很关键的地方，生命周期是非常严格的。关键的要求，例如安全要求，在开发的每个阶段都被定义和完善。验证可以保证系统满足其关键要求；McDermid[3]说明了航空安全关键软件的这个过程。通常，在有正式监管制度的地方，标准规定了需要做什么来实现保证并获得系统部署的批准。

　　相比之下，基于ML的系统的开发是一个高度迭代的过程，有一个非常不同的生命周期，目前的标准并没有提供保证的基础。基于ML的系统的核心模型是在代表要解决的问题的数据上进行训练的，然后根据预先定义的标准对其性能进行评估，例如在检测X射线图像中的肿瘤生长时的假阳性数量，并加以改进，直到其性能令人满意。这些模型具有实用性，因为它们可以超越其最初的训练数据。例如，自动驾驶汽车（AVs）可以在其训练数据集中不存在的情况下识别行人，预测他们的轨迹并进行机动操作以避免碰撞。

　　图1 可解释性的作用和背景

　　ML有很多类，如神经网络(NNS)[4]、支持向量机(SVMs)[5]和(深度)强化学习(RL)[6]。神经网络有子类，例如卷积神经网络(CNN)[7]和深度神经网络(DNN)[8]。我们这里的目标是尽可能地“解释性”，而不涉及特定ML方法的细节。出于我们的目的，我们可以将基于ML的系统描述为在大数据集上接受训练以执行分类或回归任务。当所得到的模型用于分类目的时，它们进行概率预测，例如，图像包含肿瘤的概率为90%。

　　ML模型通常是高度复杂的，因此不能直接接受人类的检查（或者说是 "不透明 "或 "黑盒子"）。此外，ML模型的结构可能不符合人类在做决定时使用的特征，所以即使模型可以被检查，解释仍然是困难的。一些图像分析系统在加入少量的噪音时，会对物体进行错误的分类，这些噪音对于人类来说是无法察觉的，但是由于已经学习了一些特征，所以在模型中非常重要[9]。

　　简而言之，XAI方法寻求提供ML模型的人类可解释表示，以帮助克服这些和其他问题。

　　我们使用一个简单的插图，基于[10]中的ML生命周期模型，用于 "解释可解释性"（图1）。该图旨在表明，不同的利益相关者，如用户、监管者和法院，在试图理解基于ML的系统正在做什么时可能有不同的目的。这反过来有助于为人类决策提供信息，例如，决定是否批准使用基于ML的系统或接受预测或建议。

　　图1中用金棕色阴影的方框表示可能需要的解释。技术界的XAI研究主要集中在解释系统的输出（预测）和模型上。但是也经常需要解释数据的收集（绿色阴影的方框），以及训练数据的准备，以表明它是平衡的，例如在性别或种族方面，或者表明它涵盖了在使用自动驾驶汽车的特定国家中发现的所有不同种类的道路交叉口。数据准备是ML模型的一个关键解释，人类决策者应该能够解释对特定数据集的选择，这是ML生命周期的第一个步骤。

　　ML模型反映了系统要解决的问题（以及其解决方案）的特征。在实践中，ML系统开发者通过在选定的数据上进行训练来塑造模型所代表的特征集，评估其性能（例如，它正确识别的行人的比例--称为真阳性--以及那些被它错误地归类为行人的物体，如巴士边上的广告中的真人大小的图片--称为假阳性），并不断重复以提高性能。训练将寻求平衡不同标准之间的性能。这种平衡将由特定系统的开发者决定，例如，对于自动驾驶汽车来说，为了减少错误的否定，出于安全考虑，高水平的假阳性可能是可以接受的。ML模型的开发总是涉及这种平衡或权衡。XAI方法所能做的就是强调这种权衡的后果。事实上，很多关于可解释性的工作，例如[2]，都集中在开发者身上，以帮助他们指导ML模型的开发，但在本文中，我们将主要关注开发之外的其他利益相关者。

　　为了避免与人类在回路中做出的决定相混淆，图1中使用了 "预测 "一词，但这些可能包括自主系统做出的决定，例如，当AV检测到交通信号灯为红色时，可能决定停下来。在本文的其余部分，我们继续使用这个术语：基于ML的系统的所有输出--无论是决定、建议、预测还是分类--都将被称为 "预测"。

　　在我们分析的第一个层面，我们将重点关注XAI方法的两个维度：局部与全局-局部解释涉及单个预测(产生于ML模型的单个输入)，而全局解释寻求将模型作为整体来解释[2]，从而阐明可能预测的范围。时间--我们把解释的时间分成三类：事前--在作出预测之前；同时--与预测同时；事后--在作出预测之后。

　　在第4节，我们将考虑特征重要性和基于实例的方法。我们还将采用特定模型和模型无关的解释之间的区别。一个与模型无关的解释可以独立于用于开发模型的方法，例如神经网络或支持向量机，而特定模型的解释则取决于所使用的ML模型的类型。

　　有几个利益相关者团体可能需要解释ML模型及其预测。在本文的范围内，我们确定了以下几类利益相关者，每一类都与系统有不同的关系：

　　预测-受助人(例如抵押贷款申请者、在押罪犯、住院病人)。这些持有者本身并不使用基于ML的系统(预测通常是由专家用户中介的)，但他们直接受到其预测的影响。

　　最终用户（如汽车司机、网上购物者）。这些利益相关者既是基于ML的系统的直接用户，也直接受其影响。虽然终端用户经常会是预测的接受者，但我们把他们排除在这个类别之外，因为他们直接使用该系统。即便如此，终端用户也不一定能直接看到个别预测，例如对AV的预测。

　　专家用户(例如临床医生、远程飞行员)。这些利益相关者是基于ML的系统的直接用户，但他们不会直接受到其预测的影响。他们受到间接影响，因为他们可能要对制定的预测的后果负责(无论是法律上还是道德上)。

　　监管机构（例如，金融服务管理局、车辆认证机构、医疗和保健产品监管机构）。这些利益相关者既不是基于ML系统的直接用户，也不直接受其影响。然而，他们确实保护预测接受者和最终用户的利益。监管生态系统很复杂，需要适应基于ML的系统[11]。即便如此，这些机构还是负责系统的批准和部署；他们还监督系统的持续（安全）使用。评估者和保险公司资助的研究中心，如Thatcham，通常提供专家指导和审查，以支持这一监管活动。

　　服务提供商（例如谷歌、自动驾驶系统实体（ADSE）[12]）。这些利益相关者是将系统提交授权的公司和法律实体，并在系统部署时为其担保。他们可能是制造商或软件开发商，或两者之间的合资企业[12]。这些利益相关者可能要对基于ML的系统在部署后的行为承担法律责任[13]。

　　事故和事件调查员（例如，国家运输安全委员会（NTSB）、海洋事故调查处（MAIB）、健康和安全执行委员会（HSE））。这些利益相关者负责分析事故或事件，并提出建议，以避免未来在同一系统或类似系统中发生此类事件。在某些情况下，例如HSE，他们也可能负责启动法律程序。

　　律师和法院（如大律师、皇家检察署（CPS））。这些利益相关者对确定基于ML系统造成的伤害的责任感兴趣。个人律师可以代表预测接受者或最终用户寻求赔偿。终端用户寻求赔偿。

　　保险公司（如DirectLine, Aviva）。这些利益相关者代表服务提供者和用户承担财务风险。在实践中，他们在确保安全标准得到满足方面发挥了有益的作用：他们可能会要求提供证据，证明服务提供商已经满足了监管要求，甚至对他们自己施加更严格的标准。

　　对解释的研究跨越了科学、心理学、认知科学和哲学[14]。研究人员已经注意到，"解释 "一词基本上被XAI社区重新使用[15]。它在技术意义上的含义只触及了关于解释及其功能的多学科讨论的某些层面。

　　XAI方法所提供的解释是描述性的。这说明了这些技术可以提供的透明度。这里与科学建模有相似之处。两者都是处理提供现象或行为描述的近似值[15]。XAI方法还可以提供因果关系和逻辑解释。它们提供了对ML模型如何产生预测的一些理解。这说明这些技术可以提供可解释性（因此我们在图1中使用了 "解释 "一词）。因果关系是哲学、法律、心理学和认知科学中解释的核心[14]。但哲学上的解释也强调规范性解释[16]。这些解释为一个信念、决定或行动提供了很好的理由；这样，他们可以向受影响的人证明一个过程或一个结果的合理性。XAI方法所提供的解释并不提供这种意义上的解释[17]。例如，这些方法可以强调数据中的哪些特征被模型分配了较大的权重，这决定了一个特征对预测的影响或该特征在模型中的重要性[18]。这种权重的分配又是由该特征在训练阶段产生准确结果的成功性决定的。因此，为某一特征的重要性给出的理由必须回到模型训练期间的人为决策。这就是XAI方法所处的更广泛的责任框架。人，而不是（仅仅）系统，要对ML开发生命周期中的决策负责。

　　在社会科学领域，关于人们对解释的期望已经做了大量的工作。其中一些，比如人们更喜欢带有潜在因果解释的对比性解释的发现，可以通过XAI方法满足或在一定程度上接近[14]。心理学研究表明，解释者的价值观为解释的选择和评价提供了依据，而这些选择又会对接受者对事件的理解产生重大影响；因此，解释者应该仔细思考所使用的XAI方法及其与接受者的沟通[15]。重要的是，解释要以适当的抽象程度传达给利益相关者[19]。使用可视化界面也可以提高一些利益相关者对解释的认识水平[20]。但同样地，对系统行为的解释如果表现得比实际情况更严谨、更完整，也会造成不合理的信任[21,22]。

　　下面，我们确定了利益相关者寻求XAI方法所提供的解释的一些一般基本原因。这种描述并不打算被理解为同质性或排他性。一个利益相关者，如专家用户，可能有一个以上的基本目的，例如，他们可能寻求解释以确定一个模型是否符合法规，也可能寻求解释以在采取行动前评估对某一特定预测的信心。同样地，来自不同利益相关者类别的个人可能有类似的目的，例如，使用信息来挑战一个特定的预测。因此，我们的分析，特别是第6节的分析，应该被看作是指示性的，而不是确定的或详尽的，它是作为一个起点来建立的。

　　我们的假设是，理解这些基本目的--我们根据与开发商、行业和监管机构合作的第一手经验，将其提炼为以下的一般类别--将有助于了解解释要求，例如是否需要全局或局部解释，这反过来又可以告知哪些XAI方法在特定情况下最合适。解释的时间也将与解释要求有关。我们的分析与[23,24]中的分析大致一致。我们认为，进一步的实证研究将有好处，以确认利益相关者类别之间的关系的性质和重要性，以及他们寻求ML模型和预测的解释的根本原因。

　　1. 清晰度。更清晰的模型或其预测几乎是所有利益相关者(几乎按照定义)所要求的。XAI方法的所有方面都与满足这一需求有关：部署前的全局解释；同时进行的局部解释和回顾性的本地解释。然而，同样重要的是，提供XAI方法的人要以诚实的态度对待这一要求。当这种明确性不可行时，不应认为他们会提供明确或准确的解释[21]。

　　2. 遵守。确定是否符合法律、法规或最佳做法是XAI方法可能有助于实现的另一个基本目的。特定部门的监管机构将对基于ML的系统的批准有自己的要求。此外，跨领域的议会法案也适用（例如，2018年数据保护法、英国GDPR、2010年平等法案）。有人提出，利益相关者可以依靠XAI方法来履行法律义务，向受影响的个人提供关于特定产出的逻辑信息[25]。这些将是事后的局部解释。此外，全球XAI方法可以成为监管机构和合规官员的工具箱的一部分，以审问和证明系统对目的的适用性[26]。而本地的同期XAI方法可能会在持续保证模型的性能方面发挥作用。

　　3. 信心。利益相关者通常希望在继续执行由预测所提供的决策之前，评估他们对预测的信心。研究表明，提供足够详细的解释可以影响用户--主要是专家用户--对算法决定的接受程度[25]。XAI方法可用于这一目的。全局解释可以在部署前告知对模型预测范围的信心程度。当基于ML的系统被人类专家用来为决策提供信息时，将需要一个局部的和同期的解释，以决定是否对一个特定的预测实时采取行动。

　　4.同意与控制。XAI方法还可能在使利益相关者更好地行使与ML模型相关的人类自主性方面发挥作用[24]。适当的解释可以使用户对基于ML的个人助理的建议给予知情同意，例如，在AV的情况下，可以充分理解一个过渡需求，以恢复对系统的有效控制。这一目的与信心密切相关，因为两者最终都涉及接受。就像之前的案例一样，最能满足这一目的的解释可能是本地的和同期的。

　　5. 挑战。寻求挑战或质疑某一特定预测的利益相关者也可以部分地依靠XAI方法来实现。特定人口群体的成员受到基于ML的预测的不利和不公平影响的例子不胜枚举。一个特别恶劣的例子是COMPAS系统，该系统预测个人的累犯风险，并经常错误地将高风险分数分配给黑人被告，将低风险分数分配给白人被告[27]。其他的例子包括招聘和贷款决定中的偏见[28]。对公平性的要求往往导致对可解释模型的要求[17]。XAI方法可以帮助识别何时发生了错误，或者提供证据来质疑预测。出于这样的目的，在提出建议后，要求进行局部解释。

　　6. 持续改进。最后，XAI方法可以帮助基于ML的系统的开发者，以及其他利益相关者，如事故调查员和监管者，以确保系统的持续改进和更新。这里的要求将是对全局和局部的解释。

　　这些寻求解释的不同根本原因在本质上是广泛的道德问题。它们涉及到人们和组织对彼此的义务。它们关系到人们对公平和尊重的合理期望是否被模型的预测所满足。它们与个人的自主权的行使有关。它们与利益相关者对模型的行为是否与系统的规范性目标一致的评估有关。但必然的是，这些目的只能由XAI方法部分地实现。这些方法本身往往是近似的，并提供部分和有选择的信息。此外，XAI方法并不提供规范性的解释。它们需要在一个更广泛的论证中进行，在这个论证中，人类组织和决策者为导致模型在整个生命周期中被开发的选择提供理由。

　　研究表明，对于复杂的ML模型，局部XAI方法远比全局XAI方法更常见[2]。在本节中，我们首先简要讨论了一些相对简单的ML模型，这些模型具有内在的可解释性，可以提供局部和全局的解释。然后，我们重点讨论更复杂的ML模型，这些模型往往用于关键的应用中，局部XAI方法可以提供宝贵的信息。对于这些更复杂的模型，我们研究了特征重要性方法，它可以与模型无关，也可以针对模型，以及基于例子的方法，它通常与模型无关。

　　一些类型的ML模型由于其简单性而被认为是内在可解释的（可解释的），例如线性回归和决策树[29] 。例如，线性回归模型的权重可以被看作是一个粗略的特征重要性分数，如果输入的特征处于类似的规模，就可以对模型进行全面了解。决策树的特征重要性可以根据吉尼杂质的平均减少量来计算[30]，或者作为一种选择，使用包络特征重要性[31]，根据数据集中单个特征值随机洗牌时模型得分的减少量来计算重要性。这些解释方法可以为决策树模型提供全局性的洞察力，而且包络特征重要性已经被证明可以避免基于Gini杂质的方法的一些缺陷[32]，并且是模型无关的。此外，这些可解释的ML模型经常被用作近似其他复杂ML模型的代用品，给人以更复杂的ML模型的启示[33]。

　　如上所述，有许多不同的方法可以对XAI方法进行分类。在此，我们将对复杂的ML模型有用的方法细分为特征重要性和基于实例的方法。特征重要性方法可以是模型无关的，也可以是针对模型的，这与内在可解释模型的解释不同，后者通常是针对模型的。基于实例的解释通常是与模型无关的，对于解释关键应用中使用的复杂ML模型非常重要。文献中有许多不同的XAI方法。我们在此简要介绍一些更广泛使用的方法，在第5节中给出一个说明性的例子，并在第6节中说明XAI方法如何映射到利益相关者的需求。

　　特征重要性是迄今为止可解释性研究中最流行的方法[34]。特征重要性方法有两个主要的子类别。一个是基于扰动的方法。另一个是基于梯度的方法。基于扰动的方法通过移除、掩盖或改变一个输入特征或一组输入特征来对单个输入进行扰动，并观察其与原始输出的差异。这种方法可用于许多不同的应用，如图像数据、表格数据或文本数据[35,36]。例如，在一个使用CNN的图像分类任务中，扰动是通过遮挡输入图像的不同部分来实现的，并将分类预测概率的变化可视化[37]。

　　LIME（Local Interpretable Model-Agnostic Explanations）是一种流行的基于pertubation的方法[38]。它通过使用一个可解释的模型（如线性模型）来接近复杂的ML模型，并通过对感兴趣的单一输入样本的扰动进行学习来产生解释。LIME假设有可能围绕单一输入样本拟合一个可解释的模型，该模型模仿复杂ML模型的局部行为。然后，这个简单的可解释模型可以用来解释更复杂的ML模型对这个单一输入样本的预测。

　　基于合作博弈理论中Shapley值的扰动方法也非常流行[39]。Shapley值是一种将合作博弈的总收益分配给玩家的方法，保证了唯一的解决方案。在使用Shapley值解释模型预测时，模型的输入特征被看作是游戏者，而模型预测是合作博弈的收益。然而，在实践中很难计算出准确的Shapley值，因为它们在模型输入特征的大小上是指数级的。因此，人们提出了一些近似的方法，例如，基于聚合的方法[40]、蒙特卡洛抽样[41]和针对图结构数据的方法，例如语言和图像数据[42]。

　　SHAP. (SHapley Additive exPlanations）[43]是另一种近似Shapley值的方法。SHAP结合了几个工具，例如KernelSHAP和TreeSHAP[44]。KernelSHAP是一个受LIME启发的精确Shapley值的加权线性回归近似，它可以用来为任何ML模型提供局部解释。TreeSHAP是一种仅适用于基于树的模型的有效估计方法，也就是说，它是针对特定模型的。关于SHAP的工作定义了一类新的加性特征重要性度量，它统一了几个现有的可解释性方法。

　　基于扰动的方法可以直接估计特征的重要性，但它们往往非常缓慢，因为它们每次都会扰动一个或一组特征，所以随着ML模型中输入特征数量的增加，可能需要很长时间才能生成所有特征的重要性分数，例如用于图像分析[45]。另外，由于复杂的ML模型通常是非线性的，解释受选择的一组特征的影响很大，这些特征会被放在一起。相比之下，基于梯度的方法有可能更有效率。

　　基于梯度的基本方法只是计算输出相对于输入的梯度。例如，在图像分类任务中，通过计算输出相对于输入的梯度来产生一个 "显著性地图"，以识别对分类有重大影响的像素[46]。基于梯度的方法有几个变种。梯度*输入将梯度（严格来说是偏导数）乘以输入值，以提高特征重要性的清晰度[47]。集成梯度与梯度*输入类似，它通过在从基线到特征当前值的范围内集成计算输出相对于每个输入特征的梯度，以产生平均梯度[48].这种方法有许多与之相关的理想特性。DeepLIFT（Deep Learning Important FeaTures）[49]是专门为使用深度神经网络而开发的。DeepLIFT将每个神经元的激活与它的 "参考激活 "进行比较，并根据差异给每个输入分配一个重要性分数。参考激活 "是通过一些用户定义的参考输入获得的，代表一个无信息的背景值，例如，对于图像分类，这可能是一个完全黑色的图像。DeepLIFT已经被证明在大多数情况下是综合梯度的良好近似[50]。

　　基于实例的方法使用特定的输入实例来解释复杂的ML模型，因此它们通常提供局部解释。这是由人类的推理方式所激发的，使用类似的情况来提供解释[51]。这是常见的做法，例如，在法律中[52,53]，司法判决通常是基于先例（称为案例法）。人们对使用基于实例的方法来解释复杂的ML模型越来越感兴趣，有些人认为它们是对基于特征的解释的有益补充[54]。我们描述了三种基于例子的方法。

　　Wachter等人提出了ML模型的反事实解释[ 55]。他们使用类似的情况，对ML模型的当前输入实例进行不同的预测，例如，在医疗保健中实现一个理想的结果。例如，这些可以用来说明病人的状态或治疗需要什么变化才能让他们出院。要以这种方式使用，重要的是，反事实的解释要尽量减少当前输入特征和反事实例子之间的差异。应该使用什么样的指标来最小化差异是一个正在进行的研究领域[56,57]。

　　Szegedy等人发现并讨论了对抗性例子[58]。它们是小的、有意的、导致ML模型做出错误预测的特征扰动，例如，在图像分析中对物体进行错误分类[59]或在文本分类任务中愚弄阅读理解系统[60,61]。它与反事实解释不同，反事实解释通常在ML模型固定时使用。自动驾驶中的一个对抗性例子可能是在停车标志的图像中添加噪音，这样它就不会被ML模型所识别，尽管它在人类看来是没有变化的。一旦确定了这样的问题，它们就可以被用来提高复杂的ML模型的鲁棒性。因此，在模型训练过程中一般使用对抗性例子，而不是像特征重要性方法那样提供解释,但更稳健的ML模型可以提高特征重要性结果的质量[62]。

　　影响性实例是训练数据集中对ML模型预测影响最大的输入，即ML模型参数受这些输入的影响很大。寻找影响性实例的一个简单方法是删除训练数据集中的输入，重新训练模型并评估其影响；虽然简单明了，但对于大型数据集来说这是不现实的。通常使用不需要重新训练模型的数学技巧[63]。与对抗性例子一样，有影响力的例子最好在训练期间使用，对ML模型的稳健性贡献更大，而不是提供直接解释。

　　在这一节中，我们介绍了一个具体的例子，将特征重要性方法（DeepLIFT）应用于医疗应用。在重症监护室（ICU），机械通气是一种复杂的临床干预，消耗了ICU很大一部分的资源[64,65]。确定病人脱离机械支持的正确时间是非常重要的。

　　图2 示例神经网络的ROC曲线

　　然而评估患者的脱机准备情况是一项复杂的临床任务，使用ML来协助临床医生是有潜在益处的[66]。该示例使用基于MIMIC-III数据集[67]的NNS来预测下一小时的脱机准备情况。神经网络模型根据1839名患者入院的数据进行训练，神经网络体系结构和超参数使用229名患者入院的验证数据集进行调整，并在231名患者入院时进行性能评估。更多细节见[54]，它还显示了反事实解释的使用。

　　表1 实例神经网络的准确率

　　一个ML模型的性能通常以预测的准确性和接受者操作特征曲线下的面积（AUC-ROC）来评估。对于一个 "随机 "模型，AUC-ROC是0.5，而对于一个完美的模型，AUC-ROC是1。这个例子对CNN和DNN进行了比较。基于性能，两者都很有希望，达到约87%的准确率和0.93-0.94的AUC-ROC（图2和表1）。基于性能，它们之间似乎没有什么可选择的。然而，我们随后使用DeepLIFT来确定两个神经网络的特征重要性，见图3，其中较长的条形意味着特征的重要性更高。请注意，符号表示对结果的积极和消极影响，零意味着该特征的重要性不大。这显示了两个模型之间的显著差异。

　　首先，DeepLIFT显示，CNN显示种族、性别和年龄的重要性都接近零，而DNN显示年龄和性别的重要性更高。这些信息对监管机构决定批准哪些模型至关重要。从这些信息中推断出CNN比DNN的偏见要小，那就过于简单了，因为让模型对受保护的特征正式 "失明 "很少能消除偏见的风险，甚至可能产生相反的效果，这取决于背景[68]。但是，让医疗监管者看到特征的重要性，使他们能够就拟议的基于ML的应用对某些人口群体的潜在负面影响提出正确的问题。

　　第二，CNN的特征重要性与临床知识更加一致。一些特征，例如Richardson-RAS量表[69]，显示了病人的警觉程度，在两个NN中都有很高的重要性。然而，CNN更重视一些病人的情况，如潮气量（呼吸深度）和治疗的特征，如呼吸机的操作模式，这些通常是由临床医生考虑的。可解释性的使用是为专家用户提供决策支持的一个例子，但它在帮助ML模型开发者产生更有效的结果，以及帮助监管机构确定批准方面也有作用。

　　这个例子显示了XAI方法对复杂的ML模型的重要性，以及仅使用性能不足以评估一个给定的ML模型是否是安全关键情况下的合适咨询工具。这也说明了如何将解释可视化，如图1中确定的那样，以便让利益相关者能够理解。

　　图3 比较特征重要性。(a)CNN特征重要性，(b)DNN特征重要性

　　第3节中关于利益相关者的讨论和第4节中关于XAI方法的调查被整合到表2中。在这里，我们首先解释了表的结构，然后对需要解释的利益相关者和场景的三种组合进行了更深入的讨论，强调了每种情况下的伦理考虑；我们还重新审视了上一节的例子，说明它与表的关系。

　　表2确定了利益相关者和特定场景下的解释目的，例如，从事系统审批的监管者的信心和合规性。解释的时间已经确定，最后三行与图1中的金棕色阴影框相对应，并确定了解释应该是局部的还是全局的，最后两行是对候选XAI方法的说明（数据可视化的方法不在本文的讨论范围内）。该表旨在说明问题，并非详尽无遗。为了保持表格的紧凑，调查涵盖了一些案例，而不仅仅是物理事故。例如，一个预测接受者可能会立即对一个决定提出质疑（如最右边一栏所示），但法院和代表接受者的律师可能会对全局和局部的解释感兴趣，例如，看一个ML模型是否显示出系统的偏差。

　　预测对象作为直接受影响的个人，应该始终是道德和安全的核心焦点。我们在这里也包括被排除在预测系统之外的直接受影响的个人。在刑事司法和零售银行等领域，对预测接受者的一个重要的伦理考虑是，他们不会受到不公平的歧视性预测的影响。有很多基于ML的模型的例子被证明会加强对个人的种族和性别[70]以及邮编或社会经济地位[71]的偏见。虽然这里的主要解释是创建数据集的人类决定（图1），但也需要XAI方法来帮助确定ML模型是否反映或加剧了偏见[72]。如上所述，特征重要性方法可以帮助确定这一点。应该注意的是，在个人可识别的情况下，关于个人的自动预测构成了个人数据[26]。因此，它们属于数据保护法的范围。这就产生了对事后本地解释的要求，如果个人试图挑战已经对他们做出的自动预测。这在表2的最右边一栏中有所说明，显示了可解释的模型在提供同期解释方面的相关性，但也注意到在支持法律程序时可能需要事后解释。

　　专家用户，如放射技师和肿瘤学家，是大多数基于ML的咨询系统的设计对象。目的是让这些利益相关者能够确定信心，以便就是否接受预测并采取行动做出知情决定，从而行使同意和控制。目前还不清楚对ML生成的预测的不充分审查是否会构成对医生护理责任的法律违反；然而，他们也可能想挑战或质疑预测。但是，临床医生显然有强烈的道德责任来确保他们病人的福祉和安全[73]。XAI方法可以帮助他们履行这一职责。临床医生通过考虑和权衡一系列的特征、数据点和临床标志物来做出诊断决定[74]；也可参见第5节中的例子。因此，临床医生可能会发现基于实例的解释的价值，例如反事实的解释，特别是当他们对病人的直接理解，以及从未包括在ML模型中的额外信息（例如活检结果）中收集到的见解，表明与系统提供的预测不同的结果[73]。

　　鉴于服务提供者需要遵守法规、确保系统安全、满足终端用户的要求，以及向调查人员提供事后解释，他们有若干解释要求。这就产生了一系列全面的解释要求，既包括部署前的全局性解释，以达到信任、合规的目的，也包括事后的局部解释，以支持持续发展。表2中的中间一栏显示了XAI方法在服务提供者部署前情况下的作用；调查一栏也包括服务提供者寻求了解非预期行为和改进系统。

　　此外，第5节中的示例是DSS，它反映了专家用户的需求。具体地说，该示例显示了用于提供模型可解释性的特征重要性方法，以支持置信度。

　　表2 对不同利益相关者和情景的可解释性要求的说明。

　　对XAI方法的研究通常是从纯技术的角度进行的。但是，什么时候需要解释，需要什么类型的解释，需要由哪些利益相关者解释，这往往也是一个伦理问题。我们在这里试图做的是将这两个维度结合在一起。表2中所示表单中的信息可以用来识别候选的XAI方法，尽管我们承认表中的覆盖范围并不是详尽的。此外，这不会产生“唯一”的解决方案，例如，石灰和深度寿命都可以用来为使用深度神经网络的事故调查提供当地解释。ML和XAI方法的发展都在快速进行，因此XAI方法的选择不太可能在不久的将来被编纂，如果确实有可能的话，但希望表2形式的分析将有助于为方法选择提供信息。

　　有些人认为，只有可解释的模型才能用于关键决策[22]，而表 2 似乎支持这一观点。我们采取了一个更广泛的观点，即在性能和可解释性之间要进行权衡。例如，如果理解模型是至关重要的，那么ML方法的选择可能是有限的，主要是可解释的模型，这些模型的好处是可以提供即时的解释。但这些方法不如其他许多ML方法强大，而且在任务目标方面可能表现不佳。此外，像DeepLIFT这样的算法速度很快--图3a、b所示的例子在一台普通的计算机上产生大约1-2分钟，因此在产生解释的轻微延迟可以接受的情况下，这些算法可能是有用的。这表明，在选择ML方法时，如果保证是一个关键因素，应该对XAI方法给予更明确的认可。例如，对于自动驾驶汽车，虽然从理论上讲，当时的解释可能是有价值的，但在实践中，这些解释对司机是否有用是值得怀疑的--使用更强大的ML方法，仍然允许使用XAI方法来支持事件分析可能是合理的。

　　人们普遍认为，ML的验证和确认（V&V）是具有挑战性的，而且没有广泛认可的 "最佳 "方法来进行V&V。建立V&V保证模型的工作产生了通过ML生命周期保证的 "必要条件"，使用的模型启发了图1的结构[10]。ML的保证过程似乎不太可能达到与 "传统软件 "的现行标准相当的严格程度。因此，随着时间的推移，可解释性将在保证中发挥更大的作用。相信这一点的原因之一是，自主性在本质上是将决策从人类转移到了机器上--获得对这一过程令人满意的信心的方法是暴露决策过程的性质--这正是可解释性所要做的。

　　最后，有证据支持的结构化论证形式的保证案例[75]，在沟通为什么认为一个系统可以安全部署方面发挥了重要作用，特别是在安全关键型行业。系统及其背景越复杂、越新颖，保证案例在为基于风险的部署决策提供信息方面的作用就越重要。人们对使用保证案例来证明基于ML的系统的安全性越来越感兴趣，特别是在汽车[76]和医疗应用[77]方面。可解释性的概念，特别是在部署前，可以构成ML保证案例的一个关键部分，用于解释和证明，例如向监管机构解释关于ML模型的选择以及数据集的质量和适用性的关键决定。部署后，局部XAI方法可以帮助实施高度动态的保证案例[78,79]，其中，与部署前的评估相比，基于ML的系统做出的关键预测可用于更新关于部署的系统的假设和信心。

　　基于ML的系统已经被用于可能对人类福祉、生命和自由有影响的情况。这一点，再加上它们将决策权从人类手中转移出去的事实，使得提供证据以证明这种转移是适当的、负责任的和安全的成为一种保证。对ML模型和ML生成的预测的解释可以作为这种证据的一部分来提供。但它们处于一个更广泛的责任框架内，在这个框架内，人类决策者仍然需要为ML模型提供规范的理由或证明（XAI方法无法提供）。我们对利益相关者需求的分析以及与XAI方法能力的对比，我们认为是理解如何在保证作用中采用可解释性的一个起点。部署在生活环境中的基于ML的系统的保证有一个道德层面。这反映在理由的基本伦理性质上--告知同意、挑战不公平的预测、在执行决定前评估信心，如果错误的话，可能会伤害接受者--利益相关者可能需要ML模型的可见性或对其某个预测的解释。我们希望本文将有助于将XAI方法的工作平衡从主要的技术性工作转移到更广泛地考虑可解释性在保证和实现ML的循证接受方面的作用。

　　1. Arrieta AB et al. 2020 Explainable Artificial Intelligence (XAI): concepts, taxonomies,

　　opportunities and challenges toward responsible AI. Inf. Fusion 58, 82–115.

　　(doi:10.1016/j.inffus.2019.12.012)

　　2. Bhatt U et al. 2020 Explainable machine learning in deployment. In Proc. of the 2020 Conf. on

　　Fairness, Accountability, and Transparency, pp. 648–657.

　　3. McDermid JA. 2010 Safety Critical Software. In Encyclopedia of Aerospace Engineering (eds

　　R Blockley, W Shyy). https://doi.org/10.1002/9780470686652.eae506.

　　4. Zhang GP. 2000 Neural networks for classification: a survey. IEEE Trans. Syst. Man Cybern.

　　Part C (Appl. Rev.) 30, 451–462. (doi:10.1109/5326.897072)

　　5. Wang G. 2008 A survey on training algorithms for support vector machine classifiers. In

　　2008 Fourth Int. Conf. on Networked Computing and Advanced Information Management, vol. 1,

　　Gyeongju, South Korea, 2–4 September 2008, pp. 123–128. New York, NY: IEEE.

　　6. Arulkumaran K, Deisenroth MP, Brundage M, Bharath AA. 2017 Deep reinforcement

　　learning: a brief survey. IEEE Signal Process Mag. 34, 26–38. (doi:10.1109/MSP.2017.

　　2743240)

　　7. Rawat W, Wang Z. 2017 Deep convolutional neural networks for image classification: a

　　comprehensive review. Neural Comput. 29, 2352–2449. (doi:10.1162/neco_a_00990)

　　8. Sze V, Chen Y, Yang T, Emer JS. 2017 Efficient processing of deep neural networks: a tutorial

　　and survey. Proc. IEEE 105, 2295–2329. (doi:10.1109/JPROC.2017.2761740)

　　9. Marcus G, Davis E. 2019 Rebooting AI: building artificial intelligence we can trust. London, UK:

　　Vintage.

　　10. AshmoreR,CalinescuR,PatersonC.2019Assuringthemachinelearninglifecycle:desiderata,

　　methods, and challenges. http://arxiv.org/abs/190504223.

　　11. Centre for Data Ethics and Innovation. Barometer Report. https://assets.publishing.

　　http://service.gov.uk/government/uploads/system/uploads/attachment_data/file/894170/CDEI

　　_AI_Barometer.pdf. 2020.

　　12. Law Commission/The Scottish Law Commission. Automated Vehicles: Consultation Paper 2

　　on Passenger Services and Public Transport A joint consultation paper. 2019.

　　13. Burton S, Habli I, Lawton T, McDermid J, Morgan P, Porter Z. 2020 Mind the gaps: assuring

　　the safety of autonomous systems from an engineering, ethical, and legal perspective. Artif.

　　Intell. 279, 103201. (doi:10.1016/j.artint.2019.103201)

　　14. Miller T. 2019 Explanation in artificial intelligence: insights from the social sciences. Artif.

　　Intell. 267, 1–38. (doi:10.1016/j.artint.2018.07.007)

　　15. Mittelstadt B, Russell C, Wachter S. 2019 Explaining explanations in AI. In Proc. of the Conf.

　　on fairness, accountability, and transparency, Atlanta, GA, 29–31 January 2019, pp. 279–288.

　　New York, NY: ACM.

　　16. Raz J. 2011 From normativity to responsibility. Oxford, UK: Oxford University Press.

　　17. Lipton ZC. 2018 The mythos of model interpretability: in machine learning, the

　　concept of interpretability is both important and slippery. Queue 16, 31–57. (doi:10.1145/

　　3236386.3241340)

　　18. Biran O, McKeown K. 2014 Justification narratives for individual classifications. In Proc. of the

　　AutoML workshop at ICML, vol. 2014, pp. 1–7.

　　19. Ward FR, Habli I. 2020 An assurance case pattern for the interpretability of machine learning

　　in safety-critical systems. In Int. Conf. on Computer Safety, Reliability, and Security, Lisbon,

　　Portugal, 15–18 September 2020, pp. 395–407. Berlin, Germany: Springer.

　　20. Tsamados A, Aggarwal N, Cowls J, Morley J, Roberts H, Taddeo M, Floridi L. 2021 The ethics

　　of algorithms: key problems and solutions. AI & SOCIETY 1–16.

　　21. Brundage M et al. 2020 Toward trustworthy AI development: mechanisms for supporting

　　verifiable claims. http://arxiv.org/abs/200407213.

　　22. Rudin C. 2019 Stop explaining black box machine learning models for high stakes

　　decisions and use interpretable models instead. Nat. Mach. Intell. 1, 206–215.

　　(doi:10.1038/s42256-019-0048-x)

　　23. Weller A. 2019 Transparency: motivations and challenges. In Explainable AI: interpreting,

　　explaining and visualizing deep learning (eds W Samek, G Montavon, A Vedaldi, LK Hansen,

　　K-R Müller), pp. 23–40. Berlin, Germany: Springer.

　　24. Langer M, Oster D, Speith T, Hermanns H, K?stner L, Schmidt E, Sesing A, Baum K. 2021

　　What do we want from Explainable Artificial Intelligence (XAI)? A stakeholder perspective on

　　XAI and a conceptual model guiding interdisciplinary XAI research. Artif. Intel. 296, 103473.

　　(doi:10.1016/j.artint.2021.103473)

　　25. Binns R, Van Kleek M, Veale M, Lyngs U, Zhao J, Shadbolt N. 2018 ‘It’s Reducing a Human

　　Being to a Percentage’ perceptions of justice in algorithmic decisions. In Proc. of the 2018

　　Chi Conf. on human factors in computing systems, Montreal, Canada, 21–26 April 2018, pp. 1–14.

　　New York, NY: ACM.

　　26. Information Commissioners Office & Alan Turing Institute. 2020 Explaining Decisions

　　made with AI. See https://ico.org.uk/for-organisations/guide-to-data-protection/key-data-

　　protection-themes/explaining-decisions-made-with-artificial-intelligence/.

　　27. Freeman K. 2016 Algorithmic injustice: how the Wisconsin Supreme Court failed to protect

　　due process rights in State v. Loomis. North Carolina. J. Law Technol. 18, 75.

　　28. Barocas S, Selbst AD. 2016 Big data’s disparate impact. Calif. L. Rev. 104, 671.

　　29. Hastie T, Tibshirani R, Friedman J. 2009 The elements of statistical learning. Berlin, Germany:

　　Springer.

　　30. Louppe G. 2014 Understanding random forests: from theory to practice. http://arxiv.org/

　　abs/14077502.

　　31. Breiman L. 2001 Random forests. Mach. Learn. 45, 5–32. (doi:10.1023/A:1010933404324)

　　32. Parr T, Turgutlu K, Csiszar C, Howard J. 2018 Beware default random forest importances.

　　March 26, 2018.

　　33. Molnar C. 2020 Interpretable machine learning. See Lulu.com.

　　34. Gilpin LH, Bau D, Yuan BZ, Bajwa A, Specter M, Kagal L. 2018 Explaining explanations: an

　　overview of interpretability of machine learning. In 2018 IEEE 5th Int. Conf. on data science and

　　advanced analytics (DSAA), Turin, Italy, 1–3 October 2018, pp. 80–89. New York, NY: IEEE.

　　35. Montano J, Palmer A. 2003 Numeric sensitivity analysis applied to feedforward neural

　　networks. Neural Comput. Appl. 12, 119–125. (doi:10.1007/s00521-003-0377-9)

　　36. Liang B, Li H, Su M, Bian P, Li X, Shi W. 2017 Deep text classification can be fooled. http://

　　http://arxiv.org/abs/170408006.

　　37. Zeiler MD, Fergus R. 2014 Visualizing and understanding convolutional networks. In

　　European Conf. on computer vision, Zürich, Switzerland, 6–12 September 2014, pp. 818–833. Berlin,

　　Germany: Springer.

　　38. Ribeiro MT, Singh S, Guestrin C. 2016 ‘Why should I trust you?’ Explaining the predictions

　　of any classifier. In Proc. of the 22nd ACM SIGKDD Int. Conf. on knowledge discovery and data

　　mining, San Francisco, CA, 13–17 August 2016, pp. 1135–1144. New York, NY: ACM.

　　39. Shapley LS. 1953 A value for n-person games. Contrib. Theory Games 2, 307–317.

　　40. Bhatt U, Ravikumar P, Moura JM. 2019 Towards aggregating weighted feature attributions.

　　http://arxiv.org/abs/190110040.

　　41. ?trumbeljE, KononenkoI. 2014 Explainingpredictionmodels and individualpredictionswith

　　feature contributions. Knowl. Inf. Syst. 41, 647–665. (doi:10.1007/s10115-013-0679-x)

　　42. Chen J, Song L, Wainwright MJ, Jordan MI. 2018 L-shapley and c-shapley: efficient model

　　interpretation for structured data. http://arxiv.org/abs/180802610.

　　43. Lundberg SM, Lee SI. 2017 A unified approach to interpreting model predictions. In Advances

　　in neural information processing systems (eds U von Luxburg, I Guyon, S Bengio, H Wallach,

　　R Fergus), pp. 4765–4774.

　　44. Lundberg SM et al. 2020 From local explanations to global understanding with explainable AI

　　for trees. Nat. Mach. Intell. 2, 2522–5839. (doi:10.1038/s42256-019-0138-9)

　　45. Zintgraf LM, Cohen TS, Adel T, Welling M. 2017 Visualizing deep neural network decisions:

　　prediction difference analysis. http://arxiv.org/abs/170204595.

　　46. Simonyan K, Vedaldi A, Zisserman A. 2013 Deep inside convolutional networks: visualising

　　image classification models and saliency maps. http://arxiv.org/abs/13126034.

　　47. Shrikumar A, Greenside P, Shcherbina A, Kundaje A. 2016 Not just a black box:

　　learning important features through propagating activation differences. http://arxiv.org/

　　abs/160501713.

　　48. Sundararajan M, Taly A, Yan Q. 2017 Axiomatic attribution for deep networks. http://arxiv.

　　org/abs/170301365.

　　49. ShrikumarA,GreensideP,KundajeA.2017Learningimportantfeaturesthroughpropagating

　　activation differences. http://arxiv.org/abs/170402685.

　　50. Ancona M, Ceolini E, ?ztireli C, Gross M. 2017 Towards better understanding of gradient-

　　based attribution methods for deep neural networks. http://arxiv.org/abs/171106104.

　　51. Aamodt A, Plaza E. 1994 Case-based reasoning: foundational issues, methodological

　　variations, and system approaches. AI Commun. 7, 39–59. (doi:10.3233/AIC-1994-7104)

　　52. Kolodner JL. 1992 An introduction to case-based reasoning. Artif. Intell. Rev. 6, 3–34.

　　(doi:10.1007/BF00155578)

　　53. Richter MM, Weber RO. 2016 Case-based reasoning. Berlin, Germany: Springer.

　　54. JiaY,KaulC,LawtonT,Murray-SmithR,HabliI.2020Predictionofweaningfrommechanical

　　ventilation using convolutional neural networks. Artif. Intell. Med. 117, 102087.

　　55. Wachter S, Mittelstadt B, Russell C. 2017 Counterfactual explanations without opening

　　the black box: automated decisions and the GDPR. Harv. JL & Tech. 31, 841.

　　(doi:10.2139/ssrn.3063289)

　　56. Mothilal RK, Sharma A, Tan C. 2020 Explaining machine learning classifiers through

　　diverse counterfactual explanations. In Proc. of the 2020 Conf. on Fairness, Accountability, and

　　Transparency, Barcelona, Spain, 27–30 January 2020, pp. 607–617.

　　57. Sharma S, Henderson J, Ghosh J. 2019 Certifai: Counterfactual explanations for robustness,

　　transparency, interpretability, and fairness of artificial intelligence models. http://arxiv.org/

　　abs/190507857.

　　58. Szegedy C, ZarembaW, Sutskever I, BrunaJ, ErhanD, GoodfellowI,Fergus R. 2013 Intriguing

　　properties of neural networks. http://arxiv.org/abs/13126199.

　　59. Xie C, Tan M, Gong B, Wang J, Yuille AL, Le QV. 2020 Adversarial examples improve

　　image recognition. In Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition,

　　Seattle, WA, 13–19 June 2020, pp. 819–828. New York, NY: IEEE.

　　60. Jia R, Liang P. 2017 Adversarial examples for evaluating reading comprehension systems.

　　http://arxiv.org/abs/170707328.

　　61. SatoM,SuzukiJ,ShindoH,MatsumotoY.2018Interpretableadversarialperturbationininput

　　embedding space for text. http://arxiv.org/abs/180502917.

　　62. Etmann C, Lunz S, Maass P, Sch?nlieb CB. 2019 On the connection between adversarial

　　robustness and saliency map interpretability. http://arxiv.org/abs/190504172.

　　63. Koh PW, Liang P. 2017 Understanding black-box predictions via influence functions. http://

　　http://arxiv.org/abs/170304730.

　　64. Wunsch H, Wagner J, Herlim M, Chong D, Kramer A, Halpern SD. 2013 ICU occupancy

　　and mechanical ventilator use in the United States. Crit. Care Med. 41, 2712–2719.

　　(doi:10.1097/CCM.0b013e318298a139)

　　65. Ambrosino N, Gabbrielli L. 2010 The difficult-to-wean patient. Expert Rev. Respiratory Med. 4,

　　685–692. (doi:10.1586/ers.10.58)

　　66. Kuo HJ, Chiu HW, Lee CN, Chen TT, Chang CC, Bien MY. 2015 Improvement in the

　　prediction of ventilator weaning outcomes by an artificial neural network in a medical ICU.

　　Respir. Care 60, 1560–1569. (doi:10.4187/respcare.03648)

　　67. Johnson AE et al. 2016 MIMIC-III, a freely accessible critical care database. Sci. Data 3, 1–9.

　　(doi:10.1038/sdata.2016.35)

　　68. Kroll JA, Barocas S, Felten EW, Reidenberg JR, Robinson DG, Yu H. 2016 Accountable

　　algorithms. U. Pa. L. Rev. 165, 633.

　　69. Sessler CN, Gosnell MS, Grap MJ, Brophy GM, O’Neal PV, Keane KA, Tesoro EP, Elswick RK.

　　2002 The Richmond Agitation–Sedation Scale: validity and reliability in adult intensive care

　　unit patients. Am. J. Respir. Crit. Care Med. 166, 1338–1344. (doi:10.1164/rccm.2107138)

　　70. Mehrabi N, Morstatter F, Saxena N, Lerman K, Galstyan A. 2019 A survey on bias and fairness

　　in machine learning. http://arxiv.org/abs/190809635.

　　71. Eubanks VA. 2018 Automating inequality: how high-tech tools profile, police, and punish the poor.

　　New York, NY: St. Martin’s Press.

　　72. Centre for Data Ethics and Innovation. Review into Bias in Algorithmic Decision-Making;

　　2020. See https://assets.publishing.service.gov.uk/government/uploads/system/uploads/

　　attachment_data/file/939109/CDEI_review_into_bias_in_algorithmic_decision-making.pdf.

　　73. Habli I, Lawton T, Porter Z. 2020 Artificial intelligence in health care: accountability and

　　safety. Bull. World Health Organ. 98, 251. (doi:10.2471/BLT.19.237487)

　　74. Sullivan E. 2019 Understanding from machine learning models. Br. J. Philos. Sci.

　　(doi:10.1093/bjps/axz035)

　　75. Kelly TP. Arguing safety: a systematic approach to managing safety cases. PhD thesis,

　　University of York.

　　76. Burton S, Gauerhof L, Heinzemann C. 2017 Making the case for safety of machine learning in

　　highly automated driving. In Int. Conf. on Computer Safety, Reliability, and Security, Trento, Italy,

　　12–15 September 2017, pp. 5–16. Berlin, Germany: Springer.

　　77. Picardi C, Hawkins R, Paterson C, Habli I. 2019 A pattern for arguing the assurance of

　　machine learning in medical diagnosis systems. In Int. Conf. on Computer Safety, Reliability,

　　and Security, pp. 165–179. Berlin, Germany: Springer.

　　78. Denney E, Pai G, Habli I. 2015 Dynamic safety cases for through-life safety assurance. In 2015

　　IEEE/ACM 37th IEEE Int. Conf. on Software Engineering, Florence, Italy, 16–24 May 2015, vol. 2,

　　pp. 587–590. New York, NY: IEEE.

　　79. Asaadi E, Denney E, Menzies J, Pai GJ, Petroff D. 2020 Dynamic assurance cases: a pathway

　　to trusted autonomy. Computer 53, 35–46. (doi:10.1109/MC.2020.3022030)