多模态表示模型的训练方法、跨模态检索方法及装置

摘要

本公开提供了一种多模态表示模型的训练方法、跨模态检索方法及装置，涉及人工智能技术领域，尤其涉及深度学习、智能搜索技术领域。实现方案为：获取样本元组，样本元组包括第一数据模态的第一样本、第二样本和第二数据模态的第三样本第四样本；将四个样本分别输入相应的表示模块，得到第一表示、第二表示、第三表示和第四表示；基于第一表示和第二表示，确定第一单模态损失；基于第三表示和第四表示，确定第二单模态损失；基于第一目标表示和第二目标表示，确定第一跨模态损失和第二跨模态损失；基于第一单模态损失、第二单模态损失、第一跨模态损失和第二跨模态损失，确定多模态表示模型的整体损失；基于整体损失，调整多模态表示模型的参数。

权利要求

1.一种多模态表示模型的训练方法，其中，所述多模态表示模型包括对应于第一数据模态的第一表示模块和对应于第二数据模态的第二表示模块，所述方法包括：获取原始数据对，所述原始数据对包括所述第一数据模态的未经标注的第一原始数据和所述第二数据模态的未经标注的第二原始数据，所述第一原始数据和所述第二原始数据的语义相匹配；

对所述第一原始数据进行数据增强处理，以生成所述第一数据模态的第一样本和第二样本，其中，所述第一样本的语义和所述第二样本的语义与所述第一原始数据的语义相似；

对所述第二原始数据进行数据增强处理，以生成所述第二数据模态的第三样本和第四样本，其中，所述第三样本的语义和所述第四样本的语义与所述第二原始数据的语义相似；

获取样本元组，所述样本元组包括所述第一样本、所述第二样本、所述第三样本和所述第四样本，其中，所述样本元组所包括的各个样本的语义相匹配，所述样本元组为所述多模态表示模型的训练样本；

将所述第一样本和所述第二样本分别输入所述第一表示模块，以得到所述第一样本的第一表示和所述第二样本的第二表示；

将所述第三样本和所述第四样本分别输入所述第二表示模块，以得到所述第三样本的第三表示和所述第四样本的第四表示；

基于所述第一表示与所述第二表示的第一相似度，以及所述第一表示与其他样本元组的第二表示的第二相似度，确定所述第一数据模态的第一单模态损失，其中，所述第一单模态损失与所述第一相似度负相关并且与所述第二相似度正相关；

基于所述第三表示和所述第四表示，确定所述第二数据模态的第二单模态损失；

基于第一目标表示和第二目标表示，确定由所述第一数据模态到所述第二数据模态的第一跨模态损失和由所述第二数据模态到所述第一数据模态的第二跨模态损失，其中，所述第一目标表示为所述第一表示和所述第二表示中的任一者，所述第二目标表示为所述第三表示和所述第四表示中的任一者；

基于所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失，确定所述多模态表示模型的整体损失；以及基于所述整体损失，调整所述多模态表示模型的参数。

2.根据权利要求1所述的方法，其中，对所述第一原始数据进行数据增强处理，以生成所述第一数据模态的第一样本和第二样本包括：对所述第一原始数据进行第一数据增强处理，以生成所述第一样本；以及对所述第一原始数据进行第二数据增强处理，以生成所述第二样本，其中，所述第一样本与所述第二样本不同。

3.根据权利要求1所述的方法，其中，所述第一样本和所述第二样本与所述第一原始数据相同，所述第一表示模块被配置为添加随机噪声，以使所述第一表示与所述第二表示不同。

4.根据权利要求3所述的方法，其中，所述第一数据模态为文本模态，所述第一表示模块为包括dropout处理层的文本编码器，所述dropout处理层的丢弃概率小于预设阈值。

5.根据权利要求1‑4中任一项所述的方法，其中，基于第一目标表示和第二目标表示，确定由所述第一数据模态到所述第二数据模态的第一跨模态损失包括：基于所述第一目标表示和所述第二目标表示的第三相似度，以及所述第一目标表示与其他样本元组的第二目标表示的第四相似度，确定所述第一跨模态损失，其中，所述第一跨模态损失与所述第三相似度负相关并且与所述第四相似度正相关。

6.根据权利要求1‑4中任一项所述的方法，其中，基于第一目标表示和第二目标表示，确定由所述第二数据模态到所述第一数据模态的第二跨模态损失包括：基于所述第一目标表示和所述第二目标表示的第三相似度，以及所述第二目标表示与其他样本元组的第一目标表示的第五相似度，确定所述第二跨模态损失，其中，所述第二跨模态损失与所述第三相似度负相关并且与所述第五相似度正相关。

7.根据权利要求1‑4中任一项所述的方法，其中，所述整体损失为所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失的加权和。

8.根据权利要求1‑4中任一项所述的方法，还包括：

基于预设应用场景下的匹配数据对，对所述多模态表示模型进行微调。

9.根据权利要求8所述的方法，其中，所述匹配数据对包括目标数据模态的第一数据和第二数据，所述第一数据和所述第二数据的语义相匹配，并且其中，基于预设应用场景下的匹配数据对，对所述多模态表示模型进行微调包括：基于所述匹配数据对，对所述目标数据模态对应的表示模块进行微调。

10.根据权利要求8所述的方法，其中，所述匹配数据对包括第一数据模态的第一数据和第二数据模态的第二数据，所述第一数据和所述第二数据的语义相匹配，并且其中，基于预设应用场景下的匹配数据对，对所述多模态表示模型进行微调包括：基于所述第一数据，生成所述第一数据模态的第一数据样本和第二数据样本；

基于所述第二数据，生成所述第二数据模态的第三数据样本和第四数据样本；

基于所述第一数据样本、所述第二数据样本、所述第三数据样本、所述第四数据样本，构造数据样本元组；以及基于所述数据样本元组，对所述多模态表示模型进行微调。

11.根据权利要求1‑4中任一项所述的方法，其中，所述第一数据模态和所述第二数据模态为以下任意两者：文本模态、图像模态、视频模态、音频模态。

12.一种跨模态检索方法，包括：

获取第一数据模态的检索对象；

将所述检索对象输入多模态表示模型，以得到所述检索对象对应的第一表示；

获取第二数据模态的多个候选对象各自的第二表示，其中，所述第二表示是通过将相应的候选对象输入所述多模态表示模型而得到的；以及基于所述第一表示与每个第二表示的相似度，从所述多个候选对象中确定与所述检索对象相匹配的目标对象，其中，所述多模态表示模型是根据权利要求1‑11中任一项所述的方法训练得到的。

13.一种多模态表示模型的训练装置，其中，所述多模态表示模型包括对应于第一数据模态的第一表示单元和对应于第二数据模态的第二表示单元，所述装置包括：第二获取单元，被配置为获取原始数据对，所述原始数据对包括所述第一数据模态的未经标注的第一原始数据和所述第二数据模态的未经标注的第二原始数据，所述第一原始数据和所述第二原始数据的语义相匹配；

第一生成单元，被配置为对所述第一原始数据进行数据增强处理，以生成所述第一数据模态的第一样本和第二样本，其中，所述第一样本的语义和所述第二样本的语义与所述第一原始数据的语义相似；

第二生成单元，被配置为对所述第二原始数据进行数据增强处理，以生成所述第二数据模态的第三样本和第四样本，其中，所述第三样本的语义和所述第四样本的语义与所述第二原始数据的语义相似；

第一获取单元，被配置为获取样本元组，所述样本元组包括所述第一样本、所述第二样本、所述第三样本和所述第四样本，其中，所述样本元组所包括的各个样本的语义相匹配，所述样本元组为所述多模态表示模型的训练样本；

第一输入单元，被配置为将所述第一样本和所述第二样本分别输入所述第一表示单元，以得到所述第一样本的第一表示和所述第二样本的第二表示；

第二输入单元，被配置为将所述第三样本和所述第四样本分别输入所述第二表示单元，以得到所述第三样本的第三表示和所述第四样本的第四表示；

第一损失单元，被配置为基于所述第一表示与所述第二表示的第一相似度，以及所述第一表示与其他样本元组的第二表示的第二相似度，确定所述第一数据模态的第一单模态损失，其中，所述第一单模态损失与所述第一相似度负相关并且与所述第二相似度正相关；

第二损失单元，被配置为基于所述第三表示和所述第四表示，确定所述第二数据模态的第二单模态损失；

第三损失单元，被配置为基于第一目标表示和第二目标表示，确定由所述第一数据模态到所述第二数据模态的第一跨模态损失和由所述第二数据模态到所述第一数据模态的第二跨模态损失，其中，所述第一目标表示为所述第一表示和所述第二表示中的任一者，所述第二目标表示为所述第三表示和所述第四表示中的任一者；

第四损失单元，被配置为基于所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失，确定所述多模态表示模型的整体损失；以及调整单元，被配置为基于所述整体损失，调整所述多模态表示模型的参数。

14.根据权利要求13所述的装置，其中，所述第一生成单元包括：

第一增强子单元，被配置为对所述第一原始数据进行第一数据增强处理，以生成所述第一样本；以及第二增强子单元，被配置为对所述第一原始数据进行第二数据增强处理，以生成所述第二样本，其中，所述第一样本与所述第二样本不同。

15.根据权利要求13所述的装置，其中，所述第一样本和所述第二样本与所述第一原始数据相同，所述第一表示单元被配置为添加随机噪声，以使所述第一表示与所述第二表示不同。

16.根据权利要求15所述的装置，其中，所述第一数据模态为文本模态，所述第一表示单元为包括dropout处理层的文本编码器，所述dropout处理层的丢弃概率小于预设阈值。

17.根据权利要求13‑16中任一项所述的装置，其中，所述第三损失单元进一步被配置为：基于所述第一目标表示和所述第二目标表示的第三相似度，以及所述第一目标表示与其他样本元组的第二目标表示的第四相似度，确定所述第一跨模态损失，其中，所述第一跨模态损失与所述第三相似度负相关并且与所述第四相似度正相关。

18.根据权利要求13‑16中任一项所述的装置，其中，所述第三损失单元进一步被配置为：基于所述第一目标表示和所述第二目标表示的第三相似度，以及所述第二目标表示与其他样本元组的第一目标表示的第五相似度，确定所述第二跨模态损失，其中，所述第二跨模态损失与所述第三相似度负相关并且与所述第五相似度正相关。

19.根据权利要求13‑16中任一项所述的装置，其中，所述整体损失为所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失的加权和。

20.根据权利要求13‑16中任一项所述的装置，还包括：

微调单元，被配置为基于预设应用场景下的匹配数据对，对所述多模态表示模型进行微调。

21.根据权利要求20所述的装置，其中，所述匹配数据对包括目标数据模态的第一数据和第二数据，所述第一数据和所述第二数据的语义相匹配，并且其中，所述微调单元进一步被配置为：基于所述匹配数据对，对所述目标数据模态对应的表示单元进行微调。

22.根据权利要求20所述的装置，其中，所述匹配数据对包括第一数据模态的第一数据和第二数据模态的第二数据，所述第一数据和所述第二数据的语义相匹配，并且其中，所述微调单元包括；

第一生成子单元，被配置为基于所述第一数据，生成所述第一数据模态的第一数据样本和第二数据样本；

第二生成子单元，被配置为基于所述第二数据，生成所述第二数据模态的第三数据样本和第四数据样本；

第三生成子单元，被配置为基于所述第一数据样本、所述第二数据样本、所述第三数据样本、所述第四数据样本，构造数据样本元组；以及微调子单元，被配置为基于所述数据样本元组，对所述多模态表示模型进行微调。

23.根据权利要求13‑16中任一项所述的装置，其中，所述第一数据模态和所述第二数据模态为以下任意两者：文本模态、图像模态、视频模态、音频模态。

24.一种跨模态检索装置，包括：

第一获取单元，被配置为获取第一数据模态的检索对象；

表示单元，被配置为将所述检索对象输入多模态表示模型，以得到所述检索对象对应的第一表示；

第二获取单元，被配置为获取第二数据模态的多个候选对象各自的第二表示，其中，所述第二表示是通过将相应的候选对象输入所述多模态表示模型而得到的；以及确定单元，被配置为基于所述第一表示与每个第二表示的相似度，从所述多个候选对象中确定与所述检索对象相匹配的目标对象，其中，所述多模态表示模型是根据权利要求13‑23中任一项所述的装置训练得到的。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1‑12中任一项所述的方法。

说明书

多模态表示模型的训练方法、跨模态检索方法及装置

技术领域

[0001] 本公开涉及人工智能技术领域，尤其涉及深度学习、智能搜索技术领域，具体涉及一种多模态表示模型的训练方法及装置、跨模态检索方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

[0002] 数据模态指的是数据的存在形式，例如文本、图像、视频、音频等。同一个对象或事件可以采用不同模态的数据进行描述。换言之，不同模态的数据可以具有相同或相似的语义。

[0003] 在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

[0004] 本公开提供了一种多模态表示模型的训练方法及装置、跨模态检索方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

[0005] 根据本公开的一方面，提供了一种多模态表示模型的训练方法，所述多模态表示模型包括对应于第一数据模态的第一表示模块和对应于第二数据模态的第二表示模块，所述方法包括：获取样本元组，所述样本元组包括所述第一数据模态的第一样本和第二样本，以及所述第二数据模态的第三样本和第四样本，所述样本元组所包括的各个样本的语义相匹配；将所述第一样本和所述第二样本分别输入所述第一表示模块，以得到所述第一样本的第一表示和所述第二样本的第二表示；将所述第三样本和所述第四样本分别输入所述第二表示模块，以得到所述第三样本的第三表示和所述第四样本的第四表示；基于所述第一表示和所述第二表示，确定所述第一数据模态的第一单模态损失；基于所述第三表示和所述第四表示，确定所述第二数据模态的第二单模态损失；基于第一目标表示和第二目标表示，确定由所述第一数据模态到所述第二数据模态的第一跨模态损失和由所述第二数据模态到所述第一数据模态的第二跨模态损失，所述第一目标表示为所述第一表示和所述第二表示中的任一者，所述第二目标表示为所述第三表示和所述第四表示中的任一者；基于所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失，确定所述多模态表示模型的整体损失；以及基于所述整体损失，调整所述多模态表示模型的参数。

[0006] 根据本公开的一方面，提供了一种跨模态检索方法，包括：获取第一数据模态的检索对象；将所述检索对象输入多模态表示模型，以得到所述检索对象对应的第一表示；获取第二数据模态的多个候选对象各自的第二表示，所述第二表示是通过将相应的候选对象输入所述多模态表示模型而得到的；以及基于所述第一表示与每个第二表示的相似度，从所述多个候选对象中确定与所述检索对象相匹配的目标对象，所述多模态表示模型是根据上述多模态表示模型的训练方法训练得到的。

[0007] 根据本公开的一方面，提供了一种多模态表示模型的训练装置，所述多模态表示模型包括对应于第一数据模态的第一表示单元和对应于第二数据模态的第二表示单元，所述装置包括：第一获取单元，被配置为获取样本元组，所述样本元组包括所述第一数据模态的第一样本和第二样本，以及所述第二数据模态的第三样本和第四样本，所述样本元组所包括的各个样本的语义相匹配；第一输入单元，被配置为将所述第一样本和所述第二样本分别输入所述第一表示单元，以得到所述第一样本的第一表示和所述第二样本的第二表示；第二输入单元，被配置为将所述第三样本和所述第四样本分别输入所述第二表示单元，以得到所述第三样本的第三表示和所述第四样本的第四表示；第一损失单元，被配置为基于所述第一表示和所述第二表示，确定所述第一数据模态的第一单模态损失；第二损失单元，被配置为基于所述第三表示和所述第四表示，确定所述第二数据模态的第二单模态损失；第三损失单元，被配置为基于第一目标表示和第二目标表示，确定由所述第一数据模态到所述第二数据模态的第一跨模态损失和由所述第二数据模态到所述第一数据模态的第二跨模态损失，所述第一目标表示为所述第一表示和所述第二表示中的任一者，所述第二目标表示为所述第三表示和所述第四表示中的任一者；第四损失单元，被配置为基于所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失，确定所述多模态表示模型的整体损失；以及调整单元，被配置为基于所述整体损失，调整所述多模态表示模型的参数。

[0008] 根据本公开的一方面，提供了一种跨模态检索装置，包括：第一获取单元，被配置为获取第一数据模态的检索对象；表示单元，被配置为将所述检索对象输入多模态表示模型，以得到所述检索对象对应的第一表示；第二获取单元，被配置为获取第二数据模态的多个候选对象各自的第二表示，所述第二表示是通过将相应的候选对象输入所述多模态表示模型而得到的；以及确定单元，被配置为基于所述第一表示与每个第二表示的相似度，从所述多个候选对象中确定与所述检索对象相匹配的目标对象，所述多模态表示模型是根据上述多模态表示模型的训练装置训练得到的。

[0009] 根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器，该存储器存储有可被上述至少一个处理器执行的指令，该指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述任一方面的方法。

[0010] 根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行上述任一方面的方法。

[0011] 根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述任一方面的方法。

[0012] 根据本公开的一个或多个实施例，能够引导多模态表示模型同时学习模态内和模态间的语义关联性，提高多模态表示模型的泛化性和鲁棒性，使得多模态表示模型能够生成不同模态数据的统一的语义表示。

[0013] 应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

[0014] 附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

[0015] 图1示出了根据本公开的一些实施例的多模态表示模型的训练方法的流程图；

[0016] 图2示出了根据本公开的一些实施例的多模态表示模型的结构框图；

[0017] 图3示出了根据本公开的一些实施例的多模态表示模型的训练过程的示意图；

[0018] 图4示出了根据本公开的一些实施例的跨模态检索方法的流程图；

[0019] 图5示出了根据本公开实施例的多模态表示模型的图文跨模态检索效果的示意图；

[0020] 图6示出了根据本公开的一些实施例的跨模态推理方法的流程图；

[0021] 图7示出了根据本公开的一些实施例的多模态表示模型的训练装置的结构框图；

[0022] 图8示出了根据本公开的一些实施例的跨模态检索装置的结构框图；

[0023] 图9示出了根据本公开的一些实施例的跨模态推理装置的结构框图；以及[0024] 图10示出了能够用于实现本公开的一些实施例的示例性电子设备的结构框图。

具体实施方式

[0025] 以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

[0026] 在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

[0027] 在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

[0028] 在一些场景中，用户可能具有跨模态数据处理的需求。例如，用户可能具有跨模态检索的需求。跨模态检索指的是输入数据的模态与所获得的数据的模态不同的检索场景。例如，在图文跨模态检索场景中，用户输入检索文本“狗”，希望获得画面中包含狗的图像。

[0029] 相关技术中，可以采用多模态语义表示模型(下文简称为“多模态表示模型”)，将不同模态的数据转化为共同语义空间内的语义表示(下文简称为“表示”)，然后基于该表示来执行跨模态检索、跨模态推理(例如视觉推理，Visual Entailment)等跨模态数据处理任务。但是，相关技术中的多模态表示模型的泛化性和鲁棒性较差，难以生成多模态数据的统一表示。

[0030] 针对上述问题，本公开的实施例提供一种多模态表示模型的训练方法，以提高多模态表示模型的泛化性和鲁棒性，使得多模态表示模型能够生成多模态数据的统一表示。

[0031] 下面将结合附图详细描述本公开的实施例。

[0032] 图1示出了根据本公开实施例的多模态表示模型的训练方法100的流程图。方法100可以在服务器处执行，也可以在客户端设备处执行。也即，方法100的各个步骤的执行主体可以是服务器，也可以是客户端设备。

[0033] 在本公开的实施例中，多模态表示模型包括对应于第一数据模态的第一表示模块和对应于第二数据模态的第二表示模块。

[0034] 如图1所示，方法100包括S110‑S180。

[0035] 在步骤S110中，获取样本元组，样本元组包括第一数据模态的第一样本和第二样本，以及第二数据模态的第三样本和第四样本，其中，样本元组所包括的各个样本的语义相匹配。

[0036] 在步骤S120中，将第一样本和第二样本分别输入第一表示模块，以得到第一样本的第一表示和第二样本的第二表示。

[0037] 在步骤S130中，将第三样本和第四样本分别输入第二表示模块，以得到第三样本的第三表示和第四样本的第四表示。

[0038] 在步骤S140中，基于第一表示和第二表示，确定第一数据模态的第一单模态损失。

[0039] 在步骤S150中，基于第三表示和第四表示，确定第二数据模态的第二单模态损失。

[0040] 在步骤S160中，基于第一目标表示和第二目标表示，确定由第一数据模态到第二数据模态的第一跨模态损失和由第二数据模态到第一数据模态的第二跨模态损失，其中，第一目标表示为第一表示和第二表示中的任一者，第二目标表示为第三表示和第四表示中的任一者。

[0041] 在步骤S170中，基于第一单模态损失、第二单模态损失、第一跨模态损失和第二跨模态损失，确定多模态表示模型的整体损失。

[0042] 在步骤S180中，基于整体损失，调整多模态表示模型的参数。

[0043] 根据本公开的实施例，采用样本元组来训练多模态表示模型，样本元组包括每种数据模态的两个样本，并且样本元组中的各个样本的语义相匹配。基于上述样本元组，在训练过程中，既计算了每个数据模态的单模态损失，又计算了不同模态之间的跨模态损失，从而能够引导多模态表示模型同时学习模态内和模态间的语义关联性，提高模型的泛化性和鲁棒性，使模型能够生成多模态数据的统一表示。

[0044] 通常地，可以基于各种应用场景下的大量的样本元组来训练多模态表示模型，相应地，经训练的多模态表示模型是能够适用于多种应用场景的、不对应于特定下游任务的预训练模型。

[0045] 数据模态指的是数据的物理存在形式，例如文本、图像、视频、音频等。本公开实施例的多模态表示模型涉及多种(两种及两种以上)数据模态，其训练样本(即样本元组)包括多种数据模态的数据。在本公开的实施例中，通过对包括多模态数据的样本元组进行处理，能够学习多种数据模态之间的语义关联性，生成预训练的多模态表示模型。相应地，本公开实施例的多模态表示模型的训练方法是一种用于处理多模态数据的数据处理方法。

[0046] 例如，在多模态表示模型涉及图像模态和文本模态的情况下，其样本元组包括图像数据和文本数据，多模态表示模型的训练方法既是图像处理方法，也是自然语言处理方法。在多模态表示模型涉及图像模态和音频模态的情况下，其样本元组包括图像数据和音频数据，多模态表示模型的训练方法既是图像处理方法，也是音频处理方法。

[0047] 在本公开的实施例中，多模态表示模型包括对应于第一数据模态的第一表示模块和对应于第二数据模态的第二表示模块。

[0048] 需要说明的是，在本说明书中，以多模态表示模型仅包括两种数据模态的表示模块为例来说明本公开实施例的多模态表示模型的训练方法。本领域技术人员应当理解，本公开实施例的多模态表示模型的训练方法同样适用于多模态表示模型包括三种及以上数据模态的表示模块的情况中。

[0049] 在本公开的实施例中，第一数据模态和第二数据模态是任意两个不相同的数据模态。

[0050] 根据一些实施例，第一数据模态和第二数据模态可以是文本模态、图像模态、视频模态、音频模态中的任意两者。例如，第一数据模态可以是文本模态(或图像模态)，第二数据模态可以是图像模态(或文本模态)。

[0051] 在另一些实施例中，第一数据模态或第二数据模态也可以是工业场景下的数据模态，例如电信号、红外信号、传感器数据等。

[0052] 第一表示模块用于对第一数据模态的数据进行编码(或者进行编码和解码)，以生成该数据的表示。第二表示模块用于对第二数据模态的数据进行编码(或者进行编码和解码)，以生成该数据的表示。在本公开的实施例中，数据的表示可以是向量、矩阵、二进制码等任意形式。

[0053] 根据一些实施例，第一表示模块和第二表示模块可以是相互独立的两个模块，在生成相应数据模态的数据的表示时，不会受到对方的影响。例如，在图2所示的实施例中，多模态表示模型200包括第一表示模块210和第二表示模块220，第一表示模块210和第二表示模块220相互独立。

[0054] 根据另一些实施例，第一表示模块和第二表示模块可以是具有交互关系的两个模块，在生成相应数据模态的数据的表示时，会受到对方的影响。例如，第一表示模块和第二表示模块可以通过交叉注意力机制实现交互。

[0055] 第一表示模块和第二表示模块可以实现为任意结构，并且第一表示模块和第二表示模块的结构可以不同。例如，第一表示模块和第二表示模块可以实现为结构不同的神经网络，例如卷积神经网络(Convolutional Neural Networks，CNN)、变换器(Transformer)、编码器(Encoder)、编码器‑解码器(Encoder‑decoder)等。

[0056] 根据一些实施例，为了提高多模态表示模型的训练效率，第一表示模块和第二表示模块可以采用相应数据模态的预训练模型。例如，第一数据模态可以是文本，相应地，第一表示模块可以采用预训练的文本表示模型，例如ERNIE(文心模型)、BERT(Bidirectional Encoder Representations from Transformers)等。第二数据模态可以是图像，相应地，第二表示模块可以采用预训练的视觉表示模型，例如ViT(Vision Transformer)、DeiT(Data‑efficient image Transformers)等。

[0057] 在本公开的实施例中，采用样本元组来训练多模态表示模型。每个样本元组包括第一数据模态的第一样本和第二样本，以及第二数据模态的第三样本和第四样本。第一样本、第二样本、第三样本、第四样本的语义相匹配。

[0058] 根据一些实施例，样本元组可以是基于语义相匹配的原始数据对生成的。即，本公开实施例的训练方法100还可以包括以下用于生成样本元组的步骤：获取原始数据对，原始数据对包括第一数据模态的第一原始数据和第二数据模态的第二原始数据，第一原始数据和第二原始数据的语义相匹配。例如，第一原始数据可以是图像，第二原始数据可以是该图像的描述文本。随后，可以基于第一原始数据，生成第一样本和第二样本。以及基于第二原始数据，生成第三样本和第四样本。

[0059] 根据上述实施例，可以基于跨模态的语义相匹配的原始数据对，自动生成样本元组，无需进行额外的数据标注处理，从而提高了获取训练样本(即样本元组)的效率。

[0060] 应当理解，在根据上述实施例生成样本元组的过程中，对原始数据的处理不会改变(或仅有微小改变)原始数据的语义，即，所生成的第一样本和第二样本的语义与第一原始数据基本相同，所生成的第三样本和第四样本的语义与第二原始数据基本相同。由于第一原始数据和第二原始数据的语义相匹配，因此，所生成的第一样本、第二样本、第三样本和第四样本四者的语义也相互匹配。

[0061] 根据一些实施例，上述“基于第一原始数据，生成第一样本和第二样本”的步骤包括：对第一原始数据进行第一数据增强处理，以生成第一样本；以及对第一原始数据进行第二数据增强处理，以生成第二样本，第一样本与第二样本不同。

[0062] 数据增强(Data Augmentation)处理指的是在保持原数据(例如第一原始数据)的语义不变的前提下，对原数据进行处理，以生成与原数据语义相同的新数据(例如第一样本、第二样本)。

[0063] 第一数据增强处理和第二数据增强处理的具体处理方式是基于第一原始数据的模态，即第一数据模态来确定的。例如，在第一数据模态为图像的情况下，第一数据增强处理和第二数据增强处理可以是添加随机噪声、旋转、裁剪、遮挡、改变颜色等处理。在第一数据模态为文本的情况下，第一数据增强处理和第二数据增强处理可以是同义词替换、随机插入、随机交换、随机删除、回译(back‑translation，指的是采用机器翻译模型将原文本翻译为另一语言的文本，然后再用机器翻译模型翻译回来)等处理。在第一数据模态为音频的情况下，第一数据增强处理和第二数据增强处理可以是添加随机噪声、改变音速、改变音量等处理。

[0064] 第一数据增强处理与第二数据增强处理可以是相同的数据增强方式，也可以是不同的数据增强方式，但第一数据增强处理与第二数据增强处理应当使得所生成的第一样本与第二样本不同，从而使后续生成的第一表示和第二表示不同，以便提高多模态表示模型的学习效果。

[0065] 根据另一些实施例，第一样本和第二样本均与第一原始数据相同，第一表示模块被配置为添加随机噪声，以使生成的第一表示与第二表示不同。第一表示模块例如可以实现为添加了随机噪声的神经网络模型。

[0066] 例如，第一数据模态可以是文本模态，第一表示模块可以是包括dropout处理层的文本编码器。该dropout处理层的丢弃概率小于预设阈值(例如20％)，从而保证第一表示模块不会改变其输入数据的语义。

[0067] “基于第二原始数据，生成第三样本和第四样本”的实施步骤与上述“基于第一原始数据，生成第一样本和第二样本”的实施步骤类似。

[0068] 具体地，根据一些实施例，“基于第二原始数据，生成第三样本和第四样本”可以包括：对第二原始数据进行第三数据增强处理，以生成第三样本；以及对第二原始数据进行第四数据增强处理，以生成第四样本。第三样本与第四样本不同，从而使后续生成的第三表示和第四表示不同，以便提高多模态表示模型的学习效果。

[0069] 根据另一些实施例，第三样本和第四样本与第二原始数据相同，第二表示模块被配置为添加随机噪声，以使第三表示与第四表示不同。第二数据模态例如可以是文本模态，第二表示模块可以是包括dropout处理层的文本编码器。该dropout处理层的丢弃概率小于预设阈值(例如20％)，从而保证第一表示模块不会改变其输入数据的语义。

[0070] “基于第二原始数据，生成第三样本和第四样本”的其他细节可以参考上文关于“基于第一原始数据，生成第一样本和第二样本”的描述，此处不再赘述。

[0071] 将第一样本和第二样本分别输入第一表示模块，将第三样本和第四样本分别输入第二表示模块，即可得到相应的第一表示、第二表示、第三表示和第四表示四个表示。

[0072] 基于第一表示和第二表示，可以计算第一数据模态的第一单模态损失。基于第三表示和第四表示，可以计算第二数据模态的第二单模态损失。基于第一目标表示和第二目标表示，可以计算由第一数据模态到第二数据模态的第一跨模态损失和由第二数据模态到第一数据模态的第二跨模态损失。其中，第一目标表示为第一表示和第二表示中的任一者，第二目标表示为第三表示和第四表示中的任一者。

[0073] 根据一些实施例，第一单模态损失可以按照以下步骤确定：基于第一表示与第二表示的第一相似度，以及第一表示与其他样本元组的第二表示的第二相似度，确定第一单模态损失，其中，第一单模态损失与第一相似度负相关并且与第二相似度正相关。第一相似度、第二相似度例如可以是两个表示的点积。

[0074] 根据上述实施例，第一单模态损失能够使语义相匹配的两个数据(即第一样本和第二样本)的表示(即第一表示和第二表示)相似，使语义不匹配的两个数据(即第一样本和其他样本元组的第二样本)的表示(即第一表示和其他样本元组的第二表示)不相似，从而引导多模态表示模型学习第一数据模态内的语义关联性。

[0075] 具体地，第一单模态损失可以按照以下公式(1)计算：

[0076]

[0077] 式(1)中，L1表示第一单模态损失，N表示每批次参与训练的样本元组的数量(即batchsize)， 分别表示第i个样本元组的第一表示、第二表示， 表示第j个样本元组的第二表示，τ为可训练的参数。

[0078] 根据一些实施例，第二单模态损失可以按照以下步骤确定：基于第三表示与第四表示的第六相似度，以及第三表示与其他样本元组的第四表示的第七相似度，确定第二单模态损失，其中，第二单模态损失与第六相似度负相关并且与第七相似度正相关。第六相似度、第七相似度例如可以是两个表示的点积。

[0079] 根据上述实施例，第二单模态损失能够使语义相匹配的两个数据(即第三样本和第四样本)的表示(即第三表示和第四表示)相似，使语义不匹配的两个数据(即第三样本和其他样本元组的第四样本)的表示(即第三表示和其他样本元组的第四表示)不相似，从而引导多模态表示模型学习第二数据模态内的语义关联性。

[0080] 具体地，第二单模态损失可以按照以下公式(2)计算：

[0081]

[0082] 式(2)中，L2表示第二单模态损失，N表示每批次参与训练的样本元组的数量(即batchsize)， 分别表示第i个样本元组的第三表示、第四表示， 表示第j个样本元组的第四表示，τ为可训练的参数。

[0083] 根据一些实施例，第一跨模态损失可以按照以下步骤确定：基于第一目标表示和第二目标表示的第三相似度，以及第一目标表示与其他样本元组的第二目标表示的第四相似度，确定第一跨模态损失，其中，第一跨模态损失与第三相似度负相关并且与第四相似度正相关。第三相似度、第四相似度例如可以是两个表示的点积。

[0084] 根据上述实施例，第一跨模态损失能够使语义相匹配的两个数据的表示(即第一目标表示和第二目标表示)相似，使语义不匹配的两个数据的表示(即第一目标表示和其他样本元组的第二目标表示)不相似，从而引导多模态表示模型学习由第一数据模态到第二数据模态的跨模态的语义关联性。

[0085] 具体地，以第一目标表示为第二表示、第二目标表示为第三表示为例，第一跨模态损失可以按照以下公式(3)计算：

[0086]

[0087] 式(3)中，L3表示第一跨模态损失，N表示每批次参与训练的样本元组的数量(即batchsize)， 分别表示第i个样本元组的第二表示(即第一目标表示)、第三表示(即第二目标表示)， 表示第j个样本元组的第三表示(即第二目标表示)，τ为可训练的参数。

[0088] 根据一些实施例，第二跨模态损失可以按照以下步骤确定：基于第一目标表示和第二目标表示的第三相似度，以及第二目标表示与其他样本元组的第一目标表示的第五相似度，确定第二跨模态损失，其中，第二跨模态损失与第三相似度负相关并且与第五相似度正相关。第三相似度、第五相似度例如可以是两个表示的点积。

[0089] 根据上述实施例，第二跨模态损失能够使语义相匹配的两个数据的表示(即第一目标表示和第二目标表示)相似，使语义不匹配的两个数据的表示(即第二目标表示和其他样本元组的第一目标表示)不相似，从而引导多模态表示模型学习由第二数据模态到第一数据模态的跨模态的语义关联性。

[0090] 具体地，以第一目标表示为第二表示、第二目标表示为第三表示为例，第二跨模态损失可以按照以下公式(4)计算：

[0091]

[0092] 式(4)中，L4表示第二跨模态损失，N表示每批次参与训练的样本元组的数量(即batchsize)， 分别表示第i个样本元组的第二表示(即第一目标表示)、第三表示(即第二目标表示)， 表示第j个样本元组的第二表示(即第一目标表示)，τ为可训练的参数。

[0093] 基于第一单模态损失L1、第二单模态损失L2、第一跨模态损失L3和第二跨模态损失L4，可以确定多模态表示模型的整体损失L。

[0094] 根据一些实施例，多模态表示模型的整体损失L为第一单模态损失L1、第二单模态损失L2、第一跨模态损失L3和第二跨模态损失L4的加权和，即：

[0095]

[0096] 式(5)中，wi为第i个损失Li的权重。通过灵活设置wi的值，能够灵活调整多模态表示模型的学习方向，提高多模态表示模型与实际应用场景的适配性。

[0097] 在确定了多模态表示模型的整体损失后，可以基于该整体损失，调整多模态表示模型的参数。

[0098] 应当理解，上述步骤S110‑S180可以循环执行多次，直至满足预设的终止条件(例如，整体损失小于预设值、循环次数达到预设的最大循环次数等)时，结束模型的训练过程，得到经预训练的多模态表示模型。

[0099] 如上文所述，第一数据模态和第二数据模态可以是文本模态、图像模态、视频模态、音频模态中的任意两者。

[0100] 例如，第一数据模态可以是图像模态，第二数据模态可以是文本模态。相应地，多模态表示模型为图文多模态表示模型，该图文多模态表示模型包括对应于图像模态的图像表示模块(即第一表示模块)和对应于文本模态的文本表示模块(即第二表示模块)，图文多模态表示模型的训练方法包括以下步骤S110’‑S180’。

[0101] 在步骤S110’中，获取图文样本元组，图文样本元组包括图像模态的第一图像样本(即第一样本)和第二图像样本(即第二样本)，以及文本模态的第一文本样本(即第三样本)和第二文本样本(即第四样本)。图文样本元组所包括的各个样本的语义相匹配。

[0102] 在步骤S120’中，将第一图像样本和第二图像样本分别输入图像表示模块，以得到第一图像样本的第一图像表示(即第一表示)和第二图像样本的第二图像表示(即第二表示)。

[0103] 在步骤S130’中，将第一文本样本和第二文本样本分别输入文本表示模块，以得到第一文本样本的第一文本表示(即第三表示)和第二文本样本的第二文本表示(即第四表示)。

[0104] 在步骤S140’中，基于第一图像表示和第二图像表示，确定图像模态的第一单模态损失。

[0105] 在步骤S150’中，基于第一文本表示和第二文本表示，确定文本模态的第二单模态损失。

[0106] 在步骤S160’中，基于目标图像表示(即第一目标表示)和目标文本表示(即第二目标表示)，确定由图像模态到文本模态的第一跨模态损失和由文本模态到图像模态的第二跨模态损失，其中，目标图像表示为第一图像表示和第二图像表示中的任一者，目标文本表示为第一文本表示和第二文本表示中的任一者。

[0107] 在步骤S170’中，基于第一单模态损失、第二单模态损失、第一跨模态损失和第二跨模态损失，确定多模态表示模型的整体损失。

[0108] 在步骤S180’中，基于整体损失，调整多模态表示模型的参数。

[0109] 根据上述实施例，采用图文样本元组来训练图文多模态表示模型，图文样本元组包括图像模态的两个图像样本和文本模态的两个文本样本，并且图文样本元组中的各个样本的语义相匹配。在模型训练过程中，既计算了图像模态、文本模态各自的单模态损失，又计算了图像、文本模态之间的跨模态损失，从而能够引导图文多模态表示模型同时学习模态内和模态间的语义关联性，提高模型的泛化性和鲁棒性，使模型能够生成图文多模态数据的统一表示。基于该统一表示，可以提高下游图文跨模态任务(例如图文跨模态检索、图文语义匹配等)的准确性。

[0110] 应当理解，步骤S110’‑S180’与上文描述的步骤S110‑S180相对应。步骤S110’‑S180’的具体实施方式可以参考上文关于步骤S110‑S180的描述，此处不再赘述。

[0111] 图3示出了根据本公开一些实施例的图文多模态表示模型的训练过程的示意图。如图3所示，首先获取图像331和文本332，图像331和文本332的语义相匹配。

[0112] 对图像331进行两次不改变语义的数据增强处理，得到图像341、图像342。对文本332进行两次不改变语义的数据增强处理，得到文本343、文本344。

[0113] 将图像341、图像342输入图像表示模块310，得到图像表示351、图像表示352。将文本343、文本344输入文本表示模块320，得到文本表示353、文本表示354。

[0114] 基于图像表示351和图像表示352，可以计算出图像模态的单模态损失361。基于文本表示353和文本表示354，可以计算出文本模态的单模态损失362。基于图像表示352和文本表示353，可以计算出由图像模态到文本模态的跨模态损失363和文本模态到图像模态的跨模态损失364。

[0115] 对单模态损失361、单模态损失362、跨模态损失363、跨模态损失364进行加权求和，以得到整体损失370。基于整体损失370，采用诸如反向传播等算法来调整图像表示模块310和文本表示模块320的参数。

[0116] 根据一些实施例，在基于步骤S110‑S180得到经过预训练的多模态表示模型后，还可以基于预设应用场景中的匹配数据对(例如图文检索场景中的图文匹配对)，对多模态表示模型进行微调(fine‑tune)，以提高多模态表示模型在具体应用场景中的表示效果。

[0117] 具体地，根据一些实施例，匹配数据对包括目标数据模态的第一数据和第二数据，第一数据和第二数据的语义相匹配，并且“基于预设应用场景下的匹配数据对，对多模态表示模型进行微调”包括：基于该匹配数据对，对目标数据模态对应的表示模块进行微调。

[0118] 根据另一些实施例，匹配数据对包括第一数据模态的第一数据和第二数据模态的第二数据，第一数据和第二数据的语义相匹配，并且“基于预设应用场景下的匹配数据对，对多模态表示模型进行微调”包括：基于第一数据，生成第一数据模态的第一数据样本和第二数据样本；基于第二数据，生成第二数据模态的第三数据样本和第四数据样本；基于第一数据样本、第二数据样本、第三数据样本、第四数据样本，构造数据样本元组；以及基于数据样本元组，对多模态表示模型进行微调。

[0119] 基于数据样本元组对多模态表示模型进行微调的实施方式与步骤S110‑S180的基于样本元组对多模态表示模型进行训练的实施方式类似，此处不再赘述。

[0120] 根据本公开实施例的多模态表示模型的训练方法100，可以得到经预训练的(或者经预训练并经微调的)多模态表示模型。经预训练的(或者经预训练并经微调的)多模态表示模型可以被应用于多种跨模态数据处理任务中，例如跨模态检索任务、跨模态推理任务等。应当理解，经预训练的(或者经预训练并经微调的)多模态表示模型也可以被应用于单模态的数据处理任务中。

[0121] 根据本公开的实施例，还提供了一种跨模态检索方法。图4示出了根据本公开实施例的跨模态检索方法400的流程图。方法400可以在服务器处执行，也可以在客户端设备处执行。也即，方法400的各个步骤的执行主体可以是服务器，也可以是客户端设备。

[0122] 如图4所示，方法400包括S410‑S440。

[0123] 在步骤S410中，获取第一数据模态的检索对象。

[0124] 在步骤S420中，将检索对象输入多模态表示模型，以得到检索对象对应的第一表示。多模态表示模型是根据上述实施例的多模态表示模型的训练方法训练得到的。

[0125] 在步骤S430中，获取第二数据模态的多个候选对象各自的第二表示，其中，第二表示是通过将相应的候选对象输入多模态表示模型而得到的。

[0126] 在步骤440中，基于第一表示与每个第二表示的相似度，从多个候选对象中确定与检索对象相匹配的目标对象。

[0127] 根据本公开的实施例，能够实现准确的跨模态检索。

[0128] 根据一些实施例，第一数据模态、第二数据模态可以是图像模态和文本模态，相应地，方法400可以实现准确的图文跨模态检索。

[0129] 第一表示与第二表示的相似度例如可以是余弦相似度。

[0130] 根据一些实施例，目标对象例如可以是相似度最大的一个或多个候选对象。根据另一些实施例，目标对象也可以是相似度大于阈值的一个或多个候选对象。

[0131] 图5出了本公开实施例的多模态表示模型(即，本模型)与现有技术的多模态表示模型在公开数据集Flickr30K和MSCOCO上的图文跨模态检索效果的对比图。其中，R@K表示正确答案出现在前K个返回结果的样例占总测试样例的比例，*表示模型在MSCOCO数据集上进行了微调。

[0132] 根据本公开的实施例，还提供了一种跨模态推理方法。图6示出了根据本公开实施例的跨模态推理方法600的流程图。方法600可以在服务器处执行，也可以在客户端设备处执行。也即，方法600的各个步骤的执行主体可以是服务器，也可以是客户端设备。

[0133] 如图6所示，方法600包括S610‑S630。

[0134] 在步骤S610中，获取第一数据模态的第一对象和第二数据模态的第二对象。

[0135] 在步骤S620中，将第一对象和第二对象分别输入多模态表示模型，以得到第一对象对应的第一表示和第二对象对应的第二表示。多模态表示模型是根据上述实施例的多模态表示模型的训练方法训练得到的。

[0136] 在步骤S630中，基于第一表示与第二表示的相似度，确定第一对象与第二对象的推理标签。

[0137] 根据本公开的实施例，能够实现准确的跨模态推理。

[0138] 根据一些实施例，推理标签例如包括导出(Entailment)、中立(Neutral)和矛盾(Contradiction)。

[0139] 根据本公开的实施例，还提供了一种多模态表示模型的训练装置。图7示出了根据本公开实施例的多模态表示模型的训练装置700的结构框图。如图7所示，装置700包括：

[0140] 第一获取单元710，被配置为获取样本元组，所述样本元组包括所述第一数据模态的第一样本和第二样本，以及所述第二数据模态的第三样本和第四样本，其中，所述样本元组所包括的各个样本的语义相匹配；

[0141] 第一输入单元720，被配置为将所述第一样本和所述第二样本分别输入所述第一表示单元，以得到所述第一样本的第一表示和所述第二样本的第二表示；

[0142] 第二输入单元730，被配置为将所述第三样本和所述第四样本分别输入所述第二表示单元，以得到所述第三样本的第三表示和所述第四样本的第四表示；

[0143] 第一损失单元740，被配置为基于所述第一表示和所述第二表示，确定所述第一数据模态的第一单模态损失；

[0144] 第二损失单元750，被配置为基于所述第三表示和所述第四表示，确定所述第二数据模态的第二单模态损失；

[0145] 第三损失单元760，被配置为基于第一目标表示和第二目标表示，确定由所述第一数据模态到所述第二数据模态的第一跨模态损失和由所述第二数据模态到所述第一数据模态的第二跨模态损失，其中，所述第一目标表示为所述第一表示和所述第二表示中的任一者，所述第二目标表示为所述第三表示和所述第四表示中的任一者；

[0146] 第四损失单元770，被配置为基于所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失，确定所述多模态表示模型的整体损失；以及[0147] 调整单元780，被配置为基于所述整体损失，调整所述多模态表示模型的参数。

[0148] 根据本公开的实施例，采用样本元组来训练多模态表示模型，样本元组包括每种数据模态的两个样本，并且样本元组中的各个样本的语义相匹配。基于上述样本元组，在训练过程中，既计算了每个数据模态的单模态损失，又计算了不同模态之间的跨模态损失，从而能够引导多模态表示模型同时学习模态内和模态间的语义关联性，提高模型的泛化性和鲁棒性，使模型能够生成多模态数据的统一表示。

[0149] 根据一些实施例，装置700还包括：第二获取单元，被配置为获取原始数据对，所述原始数据对包括所述第一数据模态的第一原始数据和所述第二数据模态的第二原始数据，所述第一原始数据和所述第二原始数据的语义相匹配；第一生成单元，被配置为基于所述第一原始数据，生成所述第一样本和所述第二样本；以及第二生成单元，被配置为基于所述第二原始数据，生成所述第三样本和所述第四样本。

[0150] 根据一些实施例，所述第一生成单元包括：第一增强子单元，被配置为对所述第一原始数据进行第一数据增强处理，以生成所述第一样本；以及第二增强子单元，被配置为对所述第一原始数据进行第二数据增强处理，以生成所述第二样本，其中，所述第一样本与所述第二样本不同。

[0151] 根据一些实施例，所述第一样本和所述第二样本与所述第一原始数据相同，所述第一表示单元被配置为添加随机噪声，以使所述第一表示与所述第二表示不同。

[0152] 根据一些实施例，所述第一数据模态为文本模态，所述第一表示单元为包括dropout处理层的文本编码器，所述dropout处理层的丢弃概率小于预设阈值。

[0153] 根据一些实施例，所述第一损失单元740进一步被配置为：基于所述第一表示与所述第二表示的第一相似度，以及所述第一表示与其他样本元组的第二表示的第二相似度，确定所述第一单模态损失，其中，所述第一单模态损失与所述第一相似度负相关并且与所述第二相似度正相关。

[0154] 根据一些实施例，所述第三损失单元760进一步被配置为：基于所述第一目标表示和所述第二目标表示的第三相似度，以及所述第一目标表示与其他样本元组的第二目标表示的第四相似度，确定所述第一跨模态损失，其中，所述第一跨模态损失与所述第三相似度负相关并且与所述第四相似度正相关。

[0155] 根据一些实施例，所述第三损失单元760进一步被配置为：基于所述第一目标表示和所述第二目标表示的第三相似度，以及所述第二目标表示与其他样本元组的第一目标表示的第五相似度，确定所述第二跨模态损失，其中，所述第二跨模态损失与所述第三相似度负相关并且与所述第五相似度正相关。

[0156] 根据一些实施例，所述整体损失为所述第一单模态损失、所述第二单模态损失、所述第一跨模态损失和所述第二跨模态损失的加权和。

[0157] 根据一些实施例，装置700还包括：微调单元，被配置为基于预设应用场景下的匹配数据对，对所述多模态表示模型进行微调。

[0158] 根据一些实施例，所述匹配数据对包括目标数据模态的第一数据和第二数据，所述第一数据和所述第二数据的语义相匹配，并且其中，所述微调单元进一步被配置为：基于所述匹配数据对，对所述目标数据模态对应的表示单元进行微调。

[0159] 根据一些实施例，所述匹配数据对包括第一数据模态的第一数据和第二数据模态的第二数据，所述第一数据和所述第二数据的语义相匹配，并且其中，所述微调单元包括；第一生成子单元，被配置为基于所述第一数据，生成所述第一数据模态的第一数据样本和第二数据样本；第二生成子单元，被配置为基于所述第二数据，生成所述第二数据模态的第三数据样本和第四数据样本；第三生成子单元，被配置为基于所述第一数据样本、所述第二数据样本、所述第三数据样本、所述第四数据样本，构造数据样本元组；以及微调子单元，被配置为基于所述数据样本元组，对所述多模态表示模型进行微调。

[0160] 根据一些实施例，所述第一数据模态和所述第二数据模态为以下任意两者：文本模态、图像模态、视频模态、音频模态。

[0161] 根据本公开的实施例，还提供了一种跨模态检索装置。图8示出了根据本公开实施例的跨模态检索装置800的结构框图。如图8所示，装置800包括：

[0162] 第一获取单元810，被配置为获取第一数据模态的检索对象；

[0163] 表示单元820，被配置为将所述检索对象输入多模态表示模型，以得到所述检索对象对应的第一表示；

[0164] 第二获取单元830，被配置为获取第二数据模态的多个候选对象各自的第二表示，其中，所述第二表示是通过将相应的候选对象输入所述多模态表示模型而得到的；以及[0165] 确定单元840，被配置为基于所述第一表示与每个第二表示的相似度，从所述多个候选对象中确定与所述检索对象相匹配的目标对象，其中，所述多模态表示模型是根据上述多模态表示模型的训练装置训练得到的。

[0166] 根据本公开的实施例，能够实现准确的跨模态检索。

[0167] 根据本公开的实施例，还提供了一种跨模态推理装置。图9示出了根据本公开实施例的跨模态推理装置900的结构框图。如图9所示，装置900包括：

[0168] 获取单元910，被配置为获取第一数据模态的第一对象和第二数据模态的第二对象；

[0169] 表示单元920，被配置为将所述第一对象和所述第二对象分别输入多模态表示模型，以得到所述第一对象对应的第一表示和所述第二对象对应的第二表示；以及[0170] 确定单元930，被配置为基于所述第一表示与所述第二表示的相似度，确定所述第一对象与所述第二对象的推理标签，其中，所述多模态表示模型是根据上述多模态表示模型的训练装置训练得到的。

[0171] 根据本公开的实施例，能够实现准确的跨模态推理。

[0172] 应当理解，图7中所示装置700的各个单元可以与参考图1描述的方法100中的各个步骤相对应，图8中所示装置800的各个单元可以与参考图4描述的方法400中的各个步骤相对应，图9中所示装置900的各个单元可以与参考图6描述的方法600中的各个步骤相对应。由此，上面针对方法100描述的操作、特征和优点同样适用于装置700及其包括的单元，上面针对方法400描述的操作、特征和优点同样适用于装置800及其包括的单元，上面针对方法
600描述的操作、特征和优点同样适用于装置900及其包括的单元。为了简洁起见，某些操作、特征和优点在此不再赘述。

[0173] 虽然上面参考特定单元讨论了特定功能，但是应当注意，本文讨论的各个单元的功能可以分为多个单元，和/或多个单元的至少一些功能可以组合成单个单元。例如，上面描述的第一输入单元720和第二输入单元730在一些实施例中可以组合成单个单元。

[0174] 还应当理解，本文可以在软件硬件元件或程序单元的一般上下文中描述各种技术。上面关于图7‑图9描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些单元可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些单元可以被实现为硬件逻辑/电路。例如，在一些实施例中，单元710‑930中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。

[0175] 根据本公开的实施例，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器，该存储器存储有可被上述至少一个处理器执行的指令，该指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行根据本公开实施例的多模态表示模型的训练方法、跨模态检索方法、跨模态推理方法中的至少之一。

[0176] 根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开实施例的多模态表示模型的训练方法、跨模态检索方法、跨模态推理方法中的至少之一。

[0177] 根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例的多模态表示模型的训练方法、跨模态检索方法、跨模态推理方法中的至少之一。

[0178] 参考图10，现将描述可以作为本公开的服务器或客户端的电子设备1000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

[0179] 如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

[0180] 电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1008可以包括但不限于磁盘、光盘。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调TM
器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙 设备、802.11设备、Wi‑Fi设备、WiMAX设备、蜂窝通信设备和/或类似物。

[0181] 计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如方法100、400和600。例如，在一些实施例中，方法100、400和600可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的方法100、400或600的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法100、400、600中的至少之一。

[0182] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0183] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0184] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0185] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

[0186] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

[0187] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

[0188] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

[0189] 虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。