模型解释方法和装置、电子设备及计算机可读存储介质

摘要

本申请实施例提供的模型解释方法和装置、电子设备及计算机可读存储介质，涉及模型解释技术领域。在本申请实施例中，首先，获取单条待处理数据的各目标特征。其次，根据预设的第一模型对各所述目标特征进行处理，得到单条待处理数据的处理结果。然后，根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值，其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。通过上述方法，可以提高模型解释的准确度。

权利要求

1.一种模型解释方法，其特征在于，包括：

获取单条待处理数据的各目标特征；

根据预设的第一模型对各所述目标特征进行处理，得到单条待处理数据的处理结果；

根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值，其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。

2.如权利要求1所述的模型解释方法，其特征在于，所述根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值的步骤，包括：根据预设的第二模型计算得到至少一个所述目标特征对应的对偶分配解；

根据所述目标特征对应的对偶分配解、所述处理结果和预设的第一公式计算得到所述目标特征对应的贡献值。

3.如权利要求2所述的模型解释方法，其特征在于，所述根据预设的第二模型计算得到至少一个所述目标特征对应的对偶分配解的步骤包括：对所述第一模型进行松弛化处理，得到所述第二模型；

根据至少一个所述目标特征和所述第二模型计算得到所述目标特征对应的对偶分配解。

4.如权利要求3所述的模型解释方法，其特征在于，所述对所述第一模型进行松弛化处理，得到所述第二模型的步骤，包括：将拉格朗日乘子与所述第一模型包括的各目标特征相乘，得到所述第二模型。

5.如权利要求2所述的模型解释方法，其特征在于，所述第一公式包括：其中，ηi表示第i个目标特征对应的对偶分配解， 表示第i个目标特征对应的贡献值，C(N)表示所述处理结果。

6.如权利要求1所述的模型解释方法，其特征在于，所述获取单条待处理数据的各目标特征的步骤，包括：对获取的原始数据进行数据清洗处理，得到待处理数据；

对所述待处理数据进行特征筛选处理，得到各所述目标特征。

7.如权利要求6所述的模型解释方法，其特征在于，所述对所述待处理数据进行特征筛选处理，得到各所述目标特征的步骤，包括：获取所述待处理数据的特征；

对所述待处理数据的特征进行特征筛选处理，得到各所述目标特征。

8.一种模型解释装置，其特征在于，包括：

目标特征获取模块，用于获取单条待处理数据的各目标特征；

目标特征处理模块，用于根据预设的第一模型对各所述目标特征进行处理，得到单条待处理数据的处理结果；

贡献值计算模块，用于根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值，其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现权利要求1-7任意一项所述的模型解释方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被执行时实现权利要求1-7任意一项所述模型解释方法的步骤。

说明书

模型解释方法和装置、电子设备及计算机可读存储介质

技术领域

[0001] 本申请涉及模型解释技术领域，具体而言，涉及一种模型解释方法和装置、电子设备及计算机可读存储介质。

背景技术

[0002] 目前各种算法的应用取得了实际效果，但是通常对于大多数基于机器学习的项目，只会得到一个处理结果，却无法知道处理结果的具体原因。尤其是在深度学习中，基本是黑盒的算法，对算法进行解释显得尤为重要。

[0003] 但是，经发明人研究发现，在现有技术中，单个特征对于处理结果的贡献还是很难给出合理的解释，从而存在着模型解释的准确度不高的问题。

发明内容

[0004] 有鉴于此，本申请的目的在于提供一种模型解释方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。

[0005] 为实现上述目的，本申请实施例采用如下技术方案：

[0006] 一种模型解释方法，包括：

[0007] 获取待处理数据的各目标特征；

[0008] 根据预设的第一模型对各所述目标特征进行处理，得到处理结果；

[0009] 根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值，其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。

[0010] 在本申请实施例较佳的选择中，所述根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值的步骤，包括：

[0011] 根据预设的第二模型计算得到至少一个所述目标特征对应的对偶分配解；

[0012] 根据所述目标特征对应的对偶分配解、所述处理结果和预设的第一公式计算得到所述目标特征对应的贡献值。

[0013] 在本申请实施例较佳的选择中，所述根据预设的第二模型计算得到至少一个所述目标特征对应的对偶分配解的步骤包括：

[0014] 对所述第一模型进行松弛化处理，得到所述第二模型；

[0015] 根据至少一个所述目标特征和所述第二模型计算得到所述目标特征对应的对偶分配解。

[0016] 在本申请实施例较佳的选择中，所述对所述第一模型进行松弛化处理，得到所述第二模型的步骤，包括：

[0017] 将拉格朗日乘子与所述第一模型包括的各目标特征相乘，得到所述第二模型。

[0018] 在本申请实施例较佳的选择中，所述第一公式包括：

[0019]

[0020] 其中，ηi表示第i个目标特征对应的对偶分配解， 表示第i个目标特征对应的贡献值，C(N)表示所述处理结果。

[0021] 在本申请实施例较佳的选择中，所述获取单条待处理数据的各目标特征的步骤，包括：

[0022] 对获取的原始数据进行数据清洗处理，得到待处理数据；

[0023] 对所述待处理数据进行特征筛选处理，得到各所述目标特征。

[0024] 在本申请实施例较佳的选择中，所述对所述待处理数据进行特征筛选处理，得到各所述目标特征的步骤，包括：

[0025] 获取所述待处理数据的特征；

[0026] 对所述待处理数据的特征进行特征筛选处理，得到各所述目标特征。

[0027] 本申请实施例还提供了一种模型解释装置，包括：

[0028] 目标特征获取模块，用于获取单条待处理数据的各目标特征；

[0029] 目标特征处理模块，用于根据预设的第一模型对各所述目标特征进行处理，得到单条待处理数据的处理结果；

[0030] 贡献值计算模块，用于根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值，其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。

[0031] 本申请实施例还提供了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现上述的模型解释方法。

[0032] 本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述模型解释方法的步骤。

[0033] 本申请实施例提供的模型解释方法和装置、电子设备及计算机可读存储介质，根据预设的第二模型分别计算待处理数据的目标特征对于待处理数据的处理结果的贡献值，得到目标特征对处理结果的贡献，以针对单个特征对于处理结果的贡献做出解释，从而提高了模型解释的准确度。

附图说明

[0034] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0035] 图1为本申请实施例提供的电子设备的结构框图。

[0036] 图2为本申请实施例提供的模型解释方法的流程示意图。

[0037] 图3为本申请实施例提供的步骤S110的流程示意图。

[0038] 图4为本申请实施例提供的步骤S130的流程示意图。

[0039] 图5为本申请实施例提供的模型解释装置的结构框图。

[0040] 图标：10-电子设备；12-存储器；14-处理器；100-模型解释装置；110-目标特征获取模块；120-目标特征处理模块；130-贡献值计算模块。

具体实施方式

[0041] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

[0042] 因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0043] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

[0044] 如图1所示，本申请实施例提供了一种电子设备10。其中，所述电子设备10可以包括存储器12、处理器14和模型解释装置100。

[0045] 详细地，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述模型解释装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述模型解释装置100所包括的软件功能模块及计算机程序等，以实现模型解释方法。

[0046] 其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

[0047] 所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等。

[0048] 可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

[0049] 结合图2，本申请实施例还提供一种可应用于上述电子设备10的模型解释方法。其中，所述模型解释方法有关的流程所定义的方法步骤可以由所述电子设备10实现，下面将对图2所示的具体流程进行详细阐述。

[0050] 步骤S110，获取单条待处理数据的各目标特征。

[0051] 在本申请实施例中，所述待处理数据可以通过用户输入得到。所述电子设备10在得到单条所述待处理数据之后，可以对单条所述待处理数据进行处理，得到单条所述待处理数据的各个目标特征。

[0052] 步骤S120，根据预设的第一模型对各所述目标特征进行处理，得到单条待处理数据的处理结果。

[0053] 在本申请实施例中，通过步骤S110得到单条所述待处理数据的各目标特征之后，可以根据预设的第一模型对各所述目标特征进行处理，得到单条所述待处理数据的处理结果。

[0054] 步骤S130，根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值。

[0055] 在本申请实施例中，通过步骤S120得到所述处理结果之后，可以根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，可以得到至少一个贡献值。

[0056] 其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。

[0057] 通过上述方法，可以根据预设的第二模型分别计算待处理数据的目标特征对于待处理数据的处理结果的贡献值，得到目标特征对处理结果的贡献，以针对单个特征对于处理结果的贡献做出解释，从而提高了模型解释的准确度。对于步骤S110，需要说明的是，所述获取单条待处理数据的各目标特征的具体方式不受限制，可以根据实际应用需求进行设置。

[0058] 例如，在一种可以替代的示例中，结合图3，步骤S110可以包括步骤S111和步骤S112。

[0059] 步骤S111，对获取的原始数据进行数据清洗处理，得到待处理数据。

[0060] 步骤S112，对所述待处理数据进行特征筛选处理，得到各所述目标特征。

[0061] 对于步骤S111，需要说明的是，可以根据实际应用需求获取原始数据，对所述原始数据进行数据清洗处理，以删除无用字符并补全缺失数据，得到待处理数据。

[0062] 对于步骤S112，需要说明的是，所述步骤S112的具体方式不受限制，可以根据实际应用需求进行设置。

[0063] 例如，在一种可以替代的示例中，步骤S112可以包括以下的子步骤：

[0064] 获取所述待处理数据的特征；对所述待处理数据的特征进行特征筛选处理，得到各所述目标特征。

[0065] 例如，在一种可以替代的示例中，结合表1，待处理数据可以包括银行客户的姓名、年龄、职业、收入等数据，所述待处理数据的处理结果表示上述客户的信用程度，银行可以根据所述信用程度决定是否对客户进行放贷审批，姓名、年龄、职业和收入为所述待处理数据的特征。

[0066] 表1待处理数据1(处理结果为银行客户的信用程度)

[0067] 姓名 年龄(岁) 职业 收入(年)张三 16 无业 0
李四 32 老师 20万
王五 27 快递员 10万

[0068] 例如，在另一种可以替代的示例中，结合表2，待处理数据可以包括人群的年龄、性别、职业、身高、体重等数据，所述待处理数据的处理结果表示人群对于网络游戏的喜欢程度，年龄、性别、职业、身高和体重为所述待处理数据的特征。

[0069] 表2待处理数据2(处理结果为人群对于网络游戏的喜欢程度)

[0070]年龄(岁) 性别 职业 身高(cm) 体重(kg)
16 男 学生 170 80
32 女 老师 165 50
24 男 游戏测试师 180 70

[0071] 进一步地，在获取所述待处理数据的特征之后，可以对所述待处理数据的特征进行初步的特征筛选，得到与所述处理结果相关性较大的特征作为目标特征。

[0072] 例如，在一种可以替代的示例中，姓名和年龄特征对于信用程度几乎没有影响，职业和收入特征对于信用程度有一定的影响。详细地，在客户的职业稳定时，一般客户的信用程度较高，在客户的职业不稳定时，一般客户的信用程度较低。在客户的收入较高时，一般客户的信用程度较高，在客户的收入较低时，一般客户的信用程度较低。因此，可以将职业和收入特征作为目标特征。

[0073] 例如，在另一种可以替代的示例中，身高和体重特征对于网络游戏的喜欢程度几乎没有影响，而年龄、性别和职业特征对于网络游戏的喜欢程度有一定的影响。详细地，在年龄较小时，一般对于网络游戏的喜欢程度较高，在年龄较大时，一般对于网络游戏的喜欢程度较低。在性别为男性时，一般对于网络游戏的喜欢程度较高，在性别为女性时，一般对于网络游戏的喜欢程度较低。在职业为与互联网相关的职业时，一般对于网络游戏的喜欢程度较高，在职业为与互联网不相关的职业时，一般对于网络游戏的喜欢程度较低。因此，可以将年龄、性别和职业特征作为目标特征。

[0074] 对于步骤S120，需要说明的是，根据所述待处理数据和处理结果的不同，所述预设的第一模型的具体种类不受限制，可以根据实际应用需求进行设置。

[0075] 例如，在一种可以替代的示例中，在所述待处理数据为人群的年龄、性别和职业特征时，为了得到人群对于网络游戏的喜欢程度这一处理结果，可以获取历史数据，所述历史数据包括具有不同年龄、性别和职业特征的人群对于网络游戏的喜欢程度。通过历史数据和监督型机器学习算法构建二分类模型，使用所述二分类模型对需要预测的人进行分类，得到对于网络游戏的喜欢程度。

[0076] 对于步骤S130，需要说明的是，在待处理数据为包括年龄，性别和职业特征的人群信息，通过模型计算得到的处理结果为对网络游戏的喜欢程度时，在现有技术中如何对模型进行解释存在两种方法：

[0077] 1.整体考虑整个数据集，以预测哪些特征可以影响处理结果；

[0078] 2.对于单个数据，也许在所有的人中，年龄是最重要的特征，年轻人更可能喜欢计算机游戏。但是，如果一个人是50岁的电子游戏测试员，在确定他是否喜欢计算机游戏时，他的职业可能比他的年龄重要得多。这里是识别哪些特征对这个人是最重要，即在单条数据级别上找到每个特征的重要性，以达到对分类模型预测出的每一条结果的解释。

[0079] 首先，可以考虑一个非常简单的模型：线性回归，线性回归模型的输出是：

[0080] f(x1,x2,…,xn)＝φ1x1+φ2x2+…+φnxn；

[0081] 在上述的线性回归模型中，为每个特征xi分配一个系数φi，然后将所有内容相加以获得输出，输入特征将是(年龄，性别，职业)，容易找到每个特征的影响力。如果φi具有很大的绝对值，则特征xi对最终结果有很大的影响(例如，如果φAge的绝对值大，则年龄是一个重要特征)。

[0082] 然而，上述的线性回归模型有一个缺点，该模型非常简单，只能表示线性关系。例如，年龄可能是一个重要的特征，如果年龄在12到18岁之间，一般比其他年龄段的人更喜欢计算机游戏。由于这是非线性关系，线性回归将无法计算出这样的结果。为了揭示这种更复杂的关系，需要一个更复杂的机器学习模型解决这个二分类问题。

[0083] 但是，一旦开始使用更复杂的模型，就失去了上述线性模型的易解释性。实际上，在实际应用中会发现存在非线性甚至交叉的关系，例如，如果年龄特征与性别特征的重要性是有关系的，解释模型变得非常困难。因此需要在易于解释的模型(只能发现简单的关系)与复杂的模型(可能发现很难解释的关系)之间进行权衡，也是在可解释性和复杂性之间进行权衡。

[0084] 理想的情况是获取一个可以解释的复杂模型，本申请实施例可以根据上述的线性回归模型进行模型解释：为每个特征xi分配一个系数φi，可以线性地描述该特征如何影响模型的输出。在许多数据集上，系数φi无法获取复杂的关系，但是在单条数据级别上，每个变量影响模型的预测是恒定的。

[0085] 例如，以50岁的Frank为例，他热爱网络游戏，他是50岁的视频游戏测试员，对他来说，φJob会很高，而φAge会很低。但是，对于14岁的Bobby来说，φAge会很高，因为14岁的青少年一般倾向于喜欢网络游戏。

[0086] 采用一个复杂的模型，可以将待处理数据中的非线性模式分解为许多描述单条数据的线性模型。其中，解释系数φi不是模型的处理结果，而是用来解释该模型的内容。与其尝试解释整个复杂模型，不如尝试解释复杂模型在单条数据上的处理结果，可以通过使用线性解释模型进行此操作。为了进一步简化模型，如果存在目标特征，则将系数φi乘1，否则将其乘0。

[0087] 在预测谁喜欢玩网络游戏的实例中，得到的是以下公式：

[0088]

[0089] 其中gFrank＝pFrank，pFrank是Frank模型的原始预测。

[0090] 其中，上述公式包括的系数仅适用于Frank。如果想查找模型对Bobby的表现，则需要找到一组新的系数。由于Bobby没有工作，可以将 乘0。因此，Bobby的简单模型将是：

[0091]

[0092] 同时，将针对所有数据点进行此操作并将其汇总，可以了解模型如何对全部数据进行处理。进一步地，如何解释复杂的模型需要思考的问题是如何得到权重值 可以采用合作博弈论的方法求解 值。

[0093] 在实际应用中，当一群人在玩游戏时，通过玩游戏可以获得一定的奖励，如何反映他们各自的贡献以分配奖励可以表示对模型进行解释。根据合作博弈论可以知道的是，满足以下条件将意味着合作是公平和稳定：

[0094] 1.每个人获得的奖励之和应等于总奖励；

[0095] 2.如果两个人贡献了相同的价值，那么他们应该从奖励中获得相同的数额；

[0096] 3.没有贡献的人没有奖励；

[0097] 4.如果小组玩了两场游戏，那么个人从两场比赛中获得的奖励应等于在第一场游戏中获得的奖励加上在第二场游戏中获得的奖励。

[0098] 上述的条件是分配奖励时必须遵循的相当直观的规则，可以很好地转化为我们试图解决的机器学习问题。在机器学习问题中，奖励可以表示对复杂模型的最终预测，而游戏中的参与者可以表示特征，这些规则转换成实例中的符号：

[0099] 1.gFrank应该与pFrank相等，pFrank是模型对喜欢网络游戏的Frank的预测概率；

[0100] 2.如果两个特征x对最终预测值的贡献相同，则它们的系数φ应该具有相同的值；

[0101] 3.如果某个特征对最终预测值没有任何贡献(或者缺失)，则其对g的贡献应为0；

[0102] 4.gFrank+Bobby＝gFrank+gBobby。

[0103] 可选地，计算贡献值的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，结合图4，步骤S130可以包括步骤S131和步骤S132。

[0104] 步骤S131，根据预设的第二模型计算得到至少一个所述目标特征对应的对偶分配解。

[0105] 步骤S132，根据所述目标特征对应的对偶分配解、所述处理结果和预设的第一公式计算得到所述目标特征对应的贡献值。

[0106] 详细地，步骤S131的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，步骤S131可以包括以下的子步骤：

[0107] 首先，可以对所述第一模型进行松弛化处理，得到所述第二模型；其次，可以根据至少一个所述目标特征和所述第二模型计算得到所述目标特征对应的对偶分配解。

[0108] 其中，对所述第一模型进行松弛化处理的步骤可以包括：将拉格朗日乘子与所述第一模型包括的各目标特征相乘，得到所述第二模型，以将每一个目标特征加上一个拉格朗日乘子，得到属于拉格朗日函数的第二模型，通过拉格朗日函数将目标特征融合进所述第一模型，便于对所述第一模型进行解释。

[0109] 例如，在一种可以替代的示例中，在所述第一模型可以表示一个不等式约束优化问题时：

[0110] minxf(x)；

[0111] s.t.mi(x)≤0i＝1,2,...…m；

[0112] 可以将所述的第一模型转化成拉格朗日形式的第一函数：

[0113]

[0114] 所述第一函数的约束函数为：

[0115] minxmaxλ,ηL(x,λ,η)；

[0116] 进一步地，可以通过构建第二模型，以求解所述约束函数的对偶问题：

[0117] maxλ,ηminxL(x,λ,η)；

[0118] 其中，x表示目标特征，λ表示目标特征对应的拉格朗日乘子，η表示目标特征对应的对偶分配解。

[0119] 对于步骤S132，需要说明的是，所述第一公式的具体形式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，所述第一公式可以包括：

[0120]

[0121] 其中，ηi表示第i个目标特征对应的对偶分配解， 表示第i个目标特征对应的贡献值，C(N)表示所述处理结果。

[0122] 结合图5，本发明实施例还提供了一种模型解释装置100，可以应用于上述的电子设备10。其中，该模型解释装置100可以包括目标特征获取模块110、目标特征处理模块120和贡献值计算模块130。

[0123] 所述目标特征获取模块110，用于获取单条待处理数据的各目标特征。在本实施例中，所述目标特征获取模块110可以用于执行图2所示的步骤S110，关于所述目标特征获取模块110的相关内容可以参照前文对步骤S110的具体描述。

[0124] 所述目标特征处理模块120，用于根据预设的第一模型对各所述目标特征进行处理，得到单条待处理数据的处理结果。在本实施例中，所述目标特征处理模块120可以用于执行图2所示的步骤S120，关于所述目标特征处理模块120的相关内容可以参照前文对步骤S120的具体描述。

[0125] 所述贡献值计算模块130，用于根据预设的第二模型计算至少一个所述目标特征对所述处理结果的贡献值，得到至少一个贡献值，其中，所述第二模型为基于合作博弈论对偶分配解的算法模型。在本实施例中，所述贡献值计算模块130可以用于执行图2所示的步骤S130，关于所述贡献值计算模块130的相关内容可以参照前文对步骤S130的具体描述。

[0126] 在本申请实施例中，对应于上述的模型解释方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述模型解释方法的各个步骤。

[0127] 其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述模型解释方法的解释说明。

[0128] 综上所述，本申请实施例提供的模型解释方法和装置、电子设备及计算机可读存储介质，根据预设的第二模型分别计算待处理数据的目标特征对于待处理数据的处理结果的贡献值，得到目标特征对处理结果的贡献，以针对单个特征对于处理结果的贡献做出解释，从而提高了模型解释的准确度。

[0129] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。