支持模态增加的模型学习方法及其装置

摘要

本发明公开了一种支持模态增加的模型学习方法及其装置，所述方法包括以下步骤：获取具有不同模态特征的训练数据，模态特征包括但不限于文本信息、可见光图像和热红外图像；将训练数据输入到预设的学习模型，生成与模态特征对应的模型分支；计算训练数据的特征损失值，并根据特征损失值对模型分支进行优化；联合优化后的模型分支，对学习模型进行测试，能对少量的数据进行有效训练，并准确地处理不同模态的训练数据，提高模型学习方法的兼容性。

权利要求

1.一种支持模态增加的模型学习方法，其特征在于，包括以下步骤：获取具有不同模态特征的训练数据，所述模态特征包括但不限于文本信息、可见光图像和热红外图像，包括：配对所述训练数据和预设的原始数据，得到配对数据；预处理所述配对数据，并对所述配对数据进行特征嵌入处理，得到训练特征数据；对所述训练特征数据进行聚类处理，获取所述模态特征的聚类中心；

将所述训练数据输入到预设的学习模型，生成与所述模态特征对应的模型分支，包括：在所述模型分支与所述配对数据的模态特征一致的情况下，将所述学习模型的最后一层的特征分类器替换为全连接层，对所述训练数据进行特征分类；在所述模型分支与所述配对数据的模态特征不一致的情况下，通过所述学习模型对所述配对数据进行特征分类，新增与所述配对数据的模态特征匹配的所述模型分支；

计算所述训练数据的特征损失值，并根据所述特征损失值对所述模型分支进行优化；

联合优化后的所述模型分支，对所述学习模型进行测试。

2.根据权利要求1所述的一种支持模态增加的模型学习方法，其特征在于，所述计算所述训练数据的特征损失值，并根据所述特征损失值对所述模型分支进行优化，包括：计算多个所述配对数据的相似度；

根据所述配对数据的经过所述学习模型后的输出特征，获取所述模型分支的距离约束；

根据所述配对数据的相似度和所述距离约束，得到所述训练数据的特征损失值。

3.根据权利要求2所述的一种支持模态增加的模型学习方法，其特征在于，所述计算多个所述配对数据的相似度，包括：对多个所述配对数据进行伪标注处理，得到所述配对数据的独热编码；

根据所述配对数据的独热编码，通过格拉姆矩阵计算多个所述配对数据的相似度。

4.根据权利要求2所述的一种支持模态增加的模型学习方法，其特征在于，所述联合优化后的所述模型分支，对所述学习模型进行测试，包括：获取测试数据，并根据所述聚类中心，得到所述测试数据的模态特征；

把所述测试数据输入与所述测试数据的模态特征对应的所述模型分支中，输出测试结果。

5.根据权利要求4所述的一种支持模态增加的模型学习方法，其特征在于，所述获取测试数据，并根据所述聚类中心，得到所述测试数据的模态特征，包括：获取测试数据，并对所述测试数据进行特征嵌入处理，得到测试特征数据；

计算所述测试特征数据与所述聚类中心的距离值，得到所述测试数据的模态特征。

6.一种支持模态增加的模型学习装置，其特征在于，包括：

获取模块，用于获取具有不同模态特征的训练数据，所述模态特征包括但不限于文本信息、可见光图像和热红外图像，包括：配对所述训练数据和预设的原始数据，得到配对数据；预处理所述配对数据，并对所述配对数据进行特征嵌入处理，得到训练特征数据；对所述训练特征数据进行聚类处理，获取所述模态特征的聚类中心；

生成模块，用于将所述训练数据输入到预设的学习模型，生成与所述模态特征对应的模型分支，包括：在所述模型分支与所述配对数据的模态特征一致的情况下，将所述学习模型的最后一层的特征分类器替换为全连接层，对所述训练数据进行特征分类；在所述模型分支与所述配对数据的模态特征不一致的情况下，通过所述学习模型对所述配对数据进行特征分类，新增与所述配对数据的模态特征匹配的所述模型分支；

优化模块，用于计算所述训练数据的特征损失值，并根据所述特征损失值对所述模型分支进行优化；

测试模块，用于联合优化后的所述模型分支，对所述学习模型进行测试。

7.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至5任意一项所述的支持模态增加的模型学习方法。

8.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至5任意一项所述的支持模态增加的模型学习方法。

说明书

支持模态增加的模型学习方法及其装置

技术领域

[0001] 本发明涉及模型学习技术领域，尤其是一种支持模态增加的模型学习方法及其装置。

背景技术

[0002] 人工智能算法的快速发展，推动着各行各业的智能化转型。目前，单一模态的信息已逐渐不能满足差异化行业的应用需求，支持多种模态的信息处理方法的需求日益增大。应运而生的多模态预训练模型层出不穷，然而当前的多模态预训练模型均采用某些固定模态进行训练，无法满足不同行业的差异化模态增加的应用需求。如何有效利用当前的多模态预训练模型，以应对模态增加的多模态模型增量学习是当前亟需解决的问题。

发明内容

[0003] 为解决上述问题，本发明的目的在于提供一种支持模态增加的模型学习方法、装置及其存储介质，通过联合多个模态的模型分支，提高模型学习方法的准确率和兼容性。

[0004] 本发明解决其问题所采用的技术方案是：

[0005] 第一方面，本申请实施例提供一种支持模态增加的模型学习方法，所述方法包括：获取具有不同模态特征的训练数据，所述模态特征包括但不限于文本信息、可见光图像和热红外图像；将所述训练数据输入到预设的学习模型，生成与所述模态特征对应的模型分支；计算所述训练数据的特征损失值，并根据所述特征损失值对所述模型分支进行优化；联合优化后的所述模型分支，对所述学习模型进行测试。

[0006] 第二方面，本申请实施例提供一种支持模态增加的模型学习装置，包括：获取模块，用于获取具有不同模态特征的训练数据，所述模态特征包括但不限于文本信息、可见光图像和热红外图像；生成模块，用于将所述训练数据输入到预设的学习模型，生成与所述模态特征对应的模型分支；优化模块，用于计算所述训练数据的特征损失值，并根据所述特征损失值对所述模型分支进行优化；测试模块，用于联合优化后的所述模型分支，对所述学习模型进行测试。

[0007] 第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的支持模态增加的模型学习方法。

[0008] 第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的支持模态增加的模型学习方法。

[0009] 本申请实施例，通过获取具有不同模态特征的训练数据，模态特征包括但不限于文本信息、可见光图像和热红外图像；将训练数据输入到预设的学习模型，生成与模态特征对应的模型分支；计算训练数据的特征损失值，并根据特征损失值对模型分支进行优化；联合优化后的模型分支，对学习模型进行测试，能对少量的数据进行有效训练，并准确地处理不同模态的训练数据，提高模型学习方法的兼容性。

[0010] 本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

[0011] 图1为本发明实施例一种支持模态增加的模型学习方法的流程图；

[0012] 图2为图1中步骤S1000的流程图；

[0013] 图3为图1中步骤S2000的流程图；

[0014] 图4为图1中步骤S3000的流程图；

[0015] 图5为图4中步骤S3100的流程图;

[0016] 图6为图1中步骤S4000的流程图；

[0017] 图7为图6中步骤S4100的流程图；

[0018] 图8为本发明实施例一种支持模态增加的模型学习装置的结构图；

[0019] 图9是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0020] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0021] 在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

[0022] 在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

[0023] 本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

[0024] 本发明实施例涉及的支持模态增加的模型学习方法及其装置，是基于神经网络的模型学习方法。其中，变换器(Transformer)模型是目前已发布的一种性能优异的神经网络，它通过跟踪序列数据中的关系来学习上下文并因此学习含义。Transformer模型应用了一组不断发展的数学技术，称为注意力或自我注意力，以检测甚至是系列中遥远的数据元素相互影响和相互依赖的微妙方式。

[0025] 然而，在实际应用中，针对模态增加的情况，现有的模型学习方法没有对应的设计方案，主要采用联合训练和方法迁移等手段。其中，联合训练手段需采用增加模态和原始模态数据从头训练且受限于部分数据量稀少和训练成本高昂的问题，无法有效解决模态增加的模型学习需求；方法迁移手段主要将面向数据、任务或类别增加的增量学习方法迁移解决模态增加问题，该类方法一般针对单一模态数据设计，并不能有效解决多模态数据中各模态的异源和异构特点带来的语义对齐、特征表示空间差异等难题，无法有效处理训练过程中关于模态增加问题。

[0026] 基于以上，本发明实施例提供一种支持模态增加的模型学习方法及其装置，通过获取具有不同模态特征的训练数据，模态特征包括但不限于文本信息、可见光图像和热红外图像；将训练数据输入到预设的学习模型，生成与模态特征对应的模型分支；计算训练数据的特征损失值，并根据特征损失值对模型分支进行优化；联合优化后的模型分支，对学习模型进行测试，能对少量的数据进行有效训练，并准确地处理不同模态的训练数据，提高模型学习方法的兼容性。

[0027] 请参见图1，图1示出了本发明实施例提供的一种支持模态增加的模型学习方法的流程。如图1所示，本发明实施例的支持模态增加的模型学习方法包括以下步骤：

[0028] 步骤S1000、获取具有不同模态特征的训练数据，模态特征包括但不限于文本信息、可见光图像和热红外图像。

[0029] 可以理解的是，训练数据是指数据挖掘过程中用于训练数据挖掘模型的数据。训练数据的选择一般有以下要求：数据样本尽可能大，数据多样化，数据样本质量较高。比如，以人群计数任务为例，训练数据的模态特征包括但不限于文本信息、可见光图像和热红外图像。在实际应用中，训练数据的获取能通过直接导入现有的文本信息、可见光图像和热红外图像数据集进行训练，比如基于本文构建的面向人群计数的RGBT数据集等。

[0030] 可以理解的是，在训练过程中，现有的学习模型只能针对某一模态特征的训练数据进行分析处理，在输入不同模态特征的训练数据的情况下，学习模型往往不能进行模态特征的分类处理，并根据新增的模态特征进行训练。

[0031] 请参见图2，图2示出了上述步骤S1000的另一实施例的具体实现过程示意图。如图2所示，步骤S1000至少包括以下步骤：

[0032] 步骤S1100、配对训练数据和预设的原始数据，得到配对数据。

[0033] 可以理解的是，通过收集预设的原始数据和训练数据的配对数据，且配对数据无需任何标签标注。具体地，在Transformer模型的应用中，实现了无标签化，并具有更高的性能。在Transformer出现之前，用户必须使用大型的标记数据集来训练神经网络，这些数据集的生产成本高昂且耗时。通过在数学上找到元素之间的模式，Transformer消除了这种需求，在网络和企业数据库中提供了数万亿的图像和数PB的文本数据。

[0034] 具体地，配对数据能用如下公式表示：

[0035]

[0036] 其中， 为预设的原始数据， 为训练数据， 为配对数据的数量，为配对数据的序号。在对配对数据进行训练时无需采用真实的标签，仅需基于配对关系，缩短了数据处理的时间。

[0037] 步骤S1200、预处理配对数据，并对配对数据进行特征嵌入处理，得到训练特征数据。

[0038] 可以理解的是，特征嵌入层是深度学习中常用的一种层类型。它主要用于将输入数据(如图像、文本、音频等)转换为一组向量表示，称为特征嵌入这些向量表示通常具有一些良好的性质，如低维度、语义相关性、可学习性等，可以被用于后续的模型训练和应用中。具体地，特征嵌入层的实现方式有很多种，最常用的是基于神经网络的方法。在图像处理中，卷积神经网络(CNN)通常用于提取图像的特征嵌入，而在自然语言处理中，循环神经网络(RNN)和Transformer等模型则得到广泛的应用。

[0039] 可以理解的是，特征嵌入层的好处在于它可以将原始数据转换为更加适合模型处理的向量表示，从而提高模型的精度和效率。同时，特征嵌入层本身也可以通过反向传播进行优化，从而进一步提升模型的性能。

[0040] 步骤S1300、对训练特征数据进行聚类处理，获取模态特征的聚类中心。

[0041] 可以理解的是，聚类处理是运用形态学算子将临近的类似分类区域聚类并合并。分类图像经常缺少空间连续性（分类区域中斑点或洞的存在)。低通滤波虽然可以用来平滑这些图像，但是类别信息常常会被临近类别的编码干扰，聚类处理解决了这个问题。首先将被选的分类用一个扩大操作合并到一起，然后用参数对话框中指定了大小的变换核对分类图像进行侵蚀操作。

[0042] 可以理解的是，聚类就是按照某个特定标准把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。目前，常用的聚类算法可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法。

[0043] 步骤S2000、将训练数据输入到预设的学习模型，生成与模态特征对应的模型分支。

[0044] 可以理解的是，将训练数据输入到预设的学习模型的过程中，在已有的模型分支与训练数据的模态特征匹配的情况下，需要针对已有的模型分支进行学习和模型的优化，即进行模态内域的增量学习。在已有的模型分支无法与训练数据的模态特征匹配的情况下，需要根据模态特征新增模型分支，即进行跨模态域的增量学习。在面对具有不同模态特征的训练数据，学习模型需要根据实际情况，生成与模态特征对应的模型分支。

[0045] 请参见图3，图3示出了上述步骤S2000的另一实施例的具体实现过程示意图。如图3所示，步骤S2000至少包括以下步骤：

[0046] 步骤S2100、在模型分支与配对数据的模态特征一致的情况下，将学习模型的最后一层的特征分类器替换为全连接层，对训练数据进行特征分类。

[0047] 可以理解的是，在模型分支与配对数据的模态特征一致的情况下，已有的模型分支与训练数据的模态特征相匹配，则通过学习模型的全连接层对训练数据进行特征分类。其中，进行模态内域的增量学习属于现有技术，此处不再赘述。

[0048] 在实际应用中，学习模型中的可见光模型分支采用与Vision Transformer (ViT)模型相同的网络结构，由于ViT是在公开数据集进行训练的，与当前具体任务所需的分类器需求不同，因此需删除原始网络最后一层的特征分类器，并重新设置一层全连接层为当前任务相关的特征处理器。具体地，以可见光数据为训练数据，通过固定预训练参数的学习模型class token分类特征，并进行可见光模型分支的class token分类特征，实现模态内域增量学习。

[0049] 步骤S2200、在模型分支与配对数据的模态特征不一致的情况下，通过学习模型对配对数据进行特征分类，新增与配对数据的模态特征匹配的模型分支。

[0050] 可以理解的是，在模型分支与配对数据的模态特征不一致的情况下，已有的模型分支无法与训练数据的模态特征相匹配，则需要新增与配对数据的模态特征匹配的模型分支。

[0051] 在实际应用中，新增的模型分支同样采用Transformer的网络结构，在最后一层class token设置当前增加模态对应任务的特征分类器。具体地，以配对数据中的可见光‑增加模态数据为训练数据，通过固定预训练参数的通识模型class token得到可见光的分类特征，并进行增加模态模型分支特征分类器得到的分类特征，实现跨模态域的增量学习。

[0052] 步骤S3000、计算训练数据的特征损失值，并根据特征损失值对模型分支进行优化。

[0053] 可以理解的是，模型优化的选择直接关系到最终学习模型的性能。在训练过程中出现误差较大的情况，未必是特征的问题或者模型设计的问题很可能是优化算法的问题，而且好的优化算法还能够帮助加速训练模型。因此，在生成模型分支后还需要对模型分支进行优化。

[0054] 请参见图4，图4示出了上述步骤S3000的另一实施例的具体实现过程示意图。如图4所示，步骤S3000至少包括以下步骤：

[0055] 步骤S3100、计算多个配对数据的相似度。

[0056] 可以理解的是，由于Transformer模型的输入数据在进行训练时无需采用真实的标签，仅需基于配对关系。因此，为了对生成模型分支进行进一步的优化，需要计算多个配对数据的相似度。

[0057] 请参见图5，图5示出了上述步骤S3100的另一实施例的具体实现过程示意图。如图5所示，步骤S3100至少包括以下步骤：

[0058] 步骤S3110、对多个配对数据进行伪标注处理，得到配对数据的独热编码。

[0059] 可以理解的是，上述步骤中的模型分支在进行训练时无需采用真实的标签，仅需基于配对关系的配对数据。具体地，数据进行训练时一次读取的批处理大小为B，则对应学习模型和模型分支分别读取B个对应数据，依次根据对应关系，自适应给当前批数据根据其读取顺序生成当前序号对应标注为1其余为0 的独热编码 。其中 为输入数据在该批数据中的序号。

[0060] 步骤S3120、根据配对数据的独热编码，通过格拉姆矩阵计算多个配对数据的相似度。

[0061] 可以理解的是，根据上述步骤S3100中获取的独热编码，通过格拉姆矩阵计算获取当前批中学习模型和模型分支的训练数据的相互关系为：

[0062]

[0063] 其中，和 分别当前批数据中学习模型和模型分支训练数据的序号。

[0064] 步骤S3200、根据配对数据的经过学习模型后的输出特征，获取模型分支的距离约束。

[0065] 可以理解的是，距离约束即保证将两被约束面可以约束到指定的距离，这是一个柔性的约束，即可以设置最大和最下距离。其中，根据配对数据的经过学习模型后的输出特征，获取模型分支的距离约束属于现有技术，此处不再赘述。

[0066] 步骤S3300、根据配对数据的相似度和距离约束，得到训练数据的特征损失值。

[0067] 可以理解的是，假设学习模型为 ，模型分支为 。则输入数据 通过对应的网络输出的特征为 。进一步基于上述步骤S3100中的相似度对输出特征进行拟合，特征度量损失能用以下公式表示：

[0068]

[0069] 其中， 表示学习模型class token分类特征和模型分支class token分类特征的距离约束，设定为差值的均方和。 为预设的阈值，用以当特征距离过大时辅助网络优化。

[0070] 步骤S3400、根据训练数据的特征损失值对模型分支进行优化。

[0071] 可以理解的是，在获取训练数据的特征损失值后，能通过优化参数对模型分支进行优化，以提高学习模型的准确率。其中，通过特征损失值对模型分支进行优化属于现有技术，此处不再赘述。

[0072] 步骤S4000、联合优化后的模型分支，对学习模型进行测试。

[0073] 可以理解的是，联合上述步骤中获取的原始模态模型分支和增加模态模型分支，并在模型分支前部设置用于根据进行模态特征分类的模态切换开关，各模型分支和模态切换开关共同组成联合模型。当处于模型测试阶段时，输入数据通过模态切换开关后输入到对应的模态模型分支，从而获得任务相关的结果，对学习模型进行测试。

[0074] 请参见图6，图6示出了上述步骤S4000的另一实施例的具体实现过程示意图。如图5所示，步骤S4000至少包括以下步骤：

[0075] 步骤S4100、获取测试数据，并根据聚类中心，得到测试数据的模态特征。

[0076] 可以理解的是，上述步骤S1300已对配对数据进行特征嵌入处理，并对训练特征数据进行聚类处理，获取模态特征的聚类中心并存储于模态切换开关中。在测试过程中，测试数据输入至模态切换开关后，通过计算其与各模态聚类中心的距离，距离最近的聚类中心所属的模态即为当前测试数据所属的模态特征。

[0077] 请参见图7，图7示出了上述步骤S4100的另一实施例的具体实现过程示意图。如图6所示，步骤S4100至少包括以下步骤:

[0078] 步骤S4110、获取测试数据，并对测试数据进行特征嵌入处理，得到测试特征数据。

[0079] 可以理解的是，通过对测试数据进行特征嵌入处理，以便于计算测试数据的特征嵌入与聚类中心的距离，提高模态切换开关的分类精准性。其中，通过学习模型测试数据进行特征嵌入处理属于现有技术，此处不再赘述。

[0080] 步骤S4120、计算测试特征数据与聚类中心的距离值，得到测试数据的模态特征。

[0081] 可以理解的是，输入数据的特征嵌入输入至模态切换开关后，计算其与各个模态聚类中心的距离值。在实际应用中，距离值最小的聚类中心所属的模态特征即为当前测试数据所属的模态特征。通过计算测试特征数据与聚类中心的距离值，能精准地确定测试数据的模态特征，提高学习模型的测试效率和准确率。

[0082] 可以理解的是也能通过设置距离阈值，并对比测试特征数据与聚类中心的距离值和距离阈值。在测试特征数据与聚类中心的距离值小于等于距离阈值的情况下，测试数据的模态特征在学习模型中具有与之匹配的模型分支；在测试特征数据与聚类中心的距离值大于距离阈值的情况下，在学习模型中不具有与之匹配的模型分支，并通过学习模型新增与之匹配的模型分支，实现跨模态域的增量学习。

[0083] 步骤S4200、把测试数据输入与测试数据的模态特征对应的模型分支中，输出测试结果。

[0084] 可以理解的是，把测试数据输入到与之匹配的模型分支中，便于学习模型能精准地对测试数据进行处理和分析，以提高学习模型的测试效率和测试精准性。

[0085] 在实际应用中，本申请实施例以人群计数任务为例，在可见光‑热红外数据集RGBT‑CC上进行实验。独立可见光模型采用与本申请实施例提供的可见光分支相同的网络结构，以随机参数为初始化状态，仅使用任务损失函数，使用配对数据中的可见光模态数据作为输入训练得到。独立热红外模型采用与申请实施例提供的热红外分支相同的网络结构，以随机参数为初始化状态，仅使用任务损失函数，使用配对数据中的热红外模态数据作为输入训练得到。基于当前Transformer的快速发展，本申请选择目前已发布的性能优异的ViT模型作为学习模型。具体地，本申请实施例提供的学习模型采用预训练的“vit_base_patch16_224”模型结构并进行参数固定，联合模型可见光分支和热红外分支采用相同的模型结构，随机初始化参数后进行参数优化。

[0086] 具体地，独立可见光模型、独立热红外模型和本申请实施例的学习模型结果对比如下表1所示，可以看出：本申请实施例提供的支持模态增加的模型学习方法性能优异,对可见光和热红模态进行处理时，联合模型性能指标RMSE均值相比独立可见光模型提升18.56%，相比独立热红外模型提升35.88%；联合模型性能指标MAE均值相比独立可见光模型提升18.57%，相比独立热红外模型提升38.89%。本申请实施例提供的学习模型对可见光输入图像和热红外输入图像的性能均分别优于上述独立可见光模型和独立热红外模型对两个模型的性能表现，表明本申请实施例提供的学习模型具备同时有效处理可见光和热红外模态的能力，可有效应对模态增加问题。

[0087]

[0088] 表1

[0089] 参见图8，图8是本申请实施例提供的支持模态增加的模型学习装置500的结构示意图，本申请实施例提供的支持模态增加的模型学习方法的整个流程中涉及支持模态增加的模型学习装置中的以下模块：获取模块510、生成模块520、优化模块530和测试模块540。

[0090] 其中，获取模块510，用于获取具有不同模态特征的训练数据，模态特征包括但不限于文本信息、可见光图像和热红外图像；

[0091] 生成模块520，用于将训练数据输入到预设的学习模型，生成与模态特征对应的模型分支；

[0092] 优化模块530，用于计算训练数据的特征损失值，并根据特征损失值对模型分支进行优化；

[0093] 测试模块540，用于联合优化后的模型分支，对学习模型进行测试。

[0094] 需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

[0095] 图9示出了本申请实施例提供的电子设备600。该电子设备600包括但不限于：

[0096] 存储器601，用于存储程序；

[0097] 处理器602，用于执行存储器601存储的程序，当处理器602执行存储器601存储的程序时，处理器602用于执行上述的支持模态增加的模型学习方法。

[0098] 处理器602和存储器601可以通过总线或者其他方式连接。

[0099] 存储器601作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本申请任意实施例描述的支持模态增加的模型学习方法。处理器602通过运行存储在存储器601中的非暂态软件程序以及指令，从而实现上述的支持模态增加的模型学习方法。

[0100] 存储器601可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的支持模态增加的模型学习方法。此外，存储器601可以包括高速随机存取存储器，还可以包括非暂态存储器，比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器601可选包括相对于处理器602远程设置的存储器，这些远程存储器可以通过网络连接至该处理器602。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0101] 实现上述的支持模态增加的模型学习方法所需的非暂态软件程序以及指令存储在存储器601中，当被一个或者多个处理器602执行时，执行本申请任意实施例提供的支持模态增加的模型学习方法。

[0102] 本申请实施例还提供了一种存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的支持模态增加的模型学习方法。

[0103] 在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器602执行，比如，被上述电子设备600中的一个处理器602执行，可使得上述一个或多个处理器602执行本申请任意实施例提供的支持模态增加的模型学习方法。

[0104] 以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

[0105] 本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD‑ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。