基于多模态数据融合的文本处理系统及其方法

摘要

本申请涉及多模态智能检索的领域，其具体地公开了一种基于多模态数据融合的文本处理系统及其方法，其通过深度神经网络模型分别对于所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行特征提取，并在融合上述两者不同模态数据的特征表示后将融合得到的多模态需求表达矩阵通过多标签分类器以得到用于表示用户输入的知识产权检索请求对应的主题标签的分类结果，这样通过多模态数据融合的方式对用户输入的知识产权检索请求进行更为准确地语义理解，以提高后续检索结果的适配度。

权利要求

1.一种基于多模态数据融合的文本处理系统，其特征在于，包括：检索请求接收模块，用于获取用户输入的知识产权检索请求；

文本语义编码模块，用于将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；

文本多尺度语义关联编码模块，用于将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；

图像特征提取模块，用于将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；

多模态关联编码模块，用于计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；

多模态表达校正模块，用于基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；以及文本处理结果生成模块，用于将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签；

其中，所述多模态表达校正模块，包括：

位置特征矩阵计算单元，用于将所述多模态需求表达矩阵中各个位置的二维坐标映射为一维数值以得到位置特征矩阵，其中，所述一维数值为位置特征值；

全局特征语义推理单元，用于对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到全局语义推理特征矩阵；以及位置信息作用单元，用于计算所述位置特征矩阵和所述全局语义推理特征矩阵的按位置点乘以得到所述校正后多模态需求表达矩阵；

其中，所述全局特征语义推理单元，进一步用于：以如下公式对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到所述全局语义推理特征矩阵；

其中，所述公式为：

T

其中，M表示所述多模态需求表达矩阵，M 表示所述多模态需求表达矩阵的转置矩阵，Mc表示所述全局语义推理特征矩阵，Cov1()和Cov2()均为单个卷积层，表示矩阵的按位置加法。

2.根据权利要求1所述的基于多模态数据融合的文本处理系统，其特征在于，所述文本语义编码模块，包括：词序列转化单元，用于对所述知识产权检索请求中的文本数据进行分词处理以将所述知识产权检索请求中的文本数据分别转化为由多个词组成的词序列；

嵌入编码单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及上下文全局编码单元，用于使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个语义特征向量。

3.根据权利要求2所述的基于多模态数据融合的文本处理系统，其特征在于，所述文本多尺度语义关联编码模块，包括：第一片语维度编码单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度文本理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

第二片语维度编码单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度文本理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及级联单元，用于将所述第一邻域尺度文本理解特征向量和所述第二邻域尺度文本理解特征向量进行级联以得到所述多尺度文本理解特征向量。

4.根据权利要求3所述的基于多模态数据融合的文本处理系统，其特征在于，所述第一片语维度编码单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一邻域尺度文本理解特征向量；

其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x‑a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示一维特征向量。

5.根据权利要求4所述的基于多模态数据融合的文本处理系统，其特征在于，所述第二片语维度编码单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二邻域尺度文本理解特征向量；

其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x‑b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述一维特征向量。

6.根据权利要求5所述的基于多模态数据融合的文本处理系统，其特征在于，所述图像特征提取模块，进一步用于：所述作为过滤器的第一卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述图像理解特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述知识产权检索请求中的图像数据。

7.根据权利要求6所述的基于多模态数据融合的文本处理系统，其特征在于，所述文本处理结果生成模块，进一步用于：使用所述多标签分类器以如下公式对所述校正后多模态需求表达矩阵进行处理以生成所述分类结果；

其中，所述公式为：

其中O为输出结果矩阵，Wi和bi分别为第i个分类对应的权重和偏置矩阵，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值。

8.一种基于多模态数据融合的文本处理方法，其特征在于，包括：获取用户输入的知识产权检索请求；

将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；

将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；

将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；

计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；

基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；以及将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签；

其中，所述基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵，包括：将所述多模态需求表达矩阵中各个位置的二维坐标映射为一维数值以得到位置特征矩阵，其中，所述一维数值为位置特征值；

对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到全局语义推理特征矩阵；以及计算所述位置特征矩阵和所述全局语义推理特征矩阵的按位置点乘以得到所述校正后多模态需求表达矩阵；

其中，所述对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到全局语义推理特征矩阵，包括：以如下公式对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到所述全局语义推理特征矩阵；

其中，所述公式为：

T

其中，M表示所述多模态需求表达矩阵，M 表示所述多模态需求表达矩阵的转置矩阵，Mc表示所述全局语义推理特征矩阵，Cov1()和Cov2()均为单个卷积层， 表示矩阵的按位置加法。

说明书

基于多模态数据融合的文本处理系统及其方法

技术领域

[0001] 本申请涉及多模态智能检索领域，且更为具体地，涉及一种基于多模态数据融合的文本处理系统及其方法。

背景技术

[0002] 知识产权检索是实现将用户的片段输入去检索，返回给用户最符合其需求的搜索结果的一种技术应用。现有的技术应用大多数是以文本搜文本的方式进行知识产权检索的。但是由于这种技术是单模态的，用户的片段输入往往很难准确表达出用户的检索需求。这时候就需要多模态的建模技术，来准确捕捉用户的真正意图。

[0003] 多模态知识检索是一种应用于知识产权检索的多模态检索技术，所谓的多模态检索，就是用户可以输入不同类型的数据进行检索，比如文本数据、图片数据、图像和文本数据等。但是受限于人工智能相关技术的发展，搜索引擎难以很好地将这两种不同类型的输入进行融合分析，返回的检索结果往往会带有一定的偏向性，会影响最终的检索结果。

[0004] 因此，期待一种优化的多模态数据融合的文本处理方案，其能够基于多模态数据融合对用户输入的检索需求进行更为准确地理解，以提高检索结果的适配度。

[0005] 目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

[0006] 近年来，深度学习尤其是神经网络的发展给多模态数据融合的文本处理提供了新的解决思路和方案。

发明内容

[0007] 为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多模态数据融合的文本处理系统及其方法，其通过深度神经网络模型分别对于所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行特征提取，并在融合上述两者不同模态数据的特征表示后将融合得到的多模态需求表达矩阵通过多标签分类器以得到用于表示用户输入的知识产权检索请求对应的主题标签的分类结果，这样通过多模态数据融合的方式对用户输入的知识产权检索请求进行更为准确地语义理解，以提高后续检索结果的适配度。

[0008] 根据本申请的一个方面，提供了一种基于多模态数据融合的文本处理系统，其包括：检索请求接收模块，用于获取用户输入的知识产权检索请求；文本语义编码模块，用于将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；文本多尺度语义关联编码模块，用于将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；图像特征提取模块，用于将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；多模态关联编码模块，用于计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；多模态表达校正模块，用于基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；以及文本处理结果生成模块，用于将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0009] 在上述基于多模态数据融合的文本处理系统中，所述文本语义编码模块，包括：词序列转化单元，用于对所述知识产权检索请求中的文本数据进行分词处理以将所述知识产权检索请求中的文本数据分别转化为由多个词组成的词序列；嵌入编码单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及，上下文全局编码单元，用于使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个语义特征向量。

[0010] 在上述基于多模态数据融合的文本处理系统中，所述文本多尺度语义关联编码模块，包括：第一片语维度编码单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度文本理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二片语维度编码单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度文本理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，级联单元，用于将所述第一邻域尺度文本理解特征向量和所述第二邻域尺度文本理解特征向量进行级联以得到所述多尺度文本理解特征向量。

[0011] 在上述基于多模态数据融合的文本处理系统中，所述第一片语维度编码单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一邻域尺度文本理解特征向量；其中，所述公式为：

[0012]

[0013] 其中，  为第一卷积核在 方向上的宽度、 为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵， 为第一卷积核的尺寸，表示一维特征
向量。

[0014] 在上述基于多模态数据融合的文本处理系统中，所述第二片语维度编码单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二邻域尺度文本理解特征向量；其中，所述公式为：

[0015]

[0016] 其中， 为第二卷积核在 方向上的宽度、 为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵， 为第二卷积核的尺寸，表示所述一维特征向量。

[0017] 在上述基于多模态数据融合的文本处理系统中，所述图像特征提取模块，进一步用于：使用所述作为过滤器的第一卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述图像理解特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述知识产权检索请求中的图像数据。

[0018] 在上述基于多模态数据融合的文本处理系统中，所述多模态表达校正模块，包括：位置特征矩阵计算单元，用于将所述多模态需求表达矩阵中各个位置的二维坐标映射为一维数值以得到位置特征矩阵，其中，所述一维数值为位置特征值；全局特征语义推理单元，用于对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到全局语义推理特征矩阵；以及，位置信息作用单元，用于计算所述位置特征矩阵和所述全局语义推理特征矩阵的按位置点乘以得到所述校正后多模态需求表达矩阵。

[0019] 在上述基于多模态数据融合的文本处理系统中，所述全局特征语义推理单元，进一步用于：以如下公式对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到所述全局语义推理特征矩阵；其中，所述公式为：

[0020]

[0021] 其中， 表示所述多模态需求表达矩阵， 表示所述多模态需求表达矩阵的转置矩阵， 表示所述全局语义推理特征矩阵， 和 均为单个卷积层， 表示矩阵的按位置加法。

[0022] 在上述基于多模态数据融合的文本处理系统中，所述文本处理结果生成模块，进一步用于：使用所述多标签分类器以如下公式对所述校正后多模态需求表达矩阵进行处理以生成所述分类结果；其中，所述公式为：

[0023]

[0024] 其中 为输出结果矩阵， 和 分别为第 个分类对应的权重和偏置矩阵，表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值。

[0025] 根据本申请的另一方面，提供了一种基于多模态数据融合的文本处理方法，其包括：获取用户输入的知识产权检索请求；将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；以及将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0026] 根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的特征联合编码的手势识别方法。

[0027] 根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于多模态数据融合的文本处理方法。

[0028] 与现有技术相比，本申请提供的一种基于多模态数据融合的文本处理系统及其方法，其通过深度神经网络模型分别对于所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行特征提取，并在融合上述两者不同模态数据的特征表示后将融合得到的多模态需求表达矩阵通过多标签分类器以得到用于表示用户输入的知识产权检索请求对应的主题标签的分类结果，这样通过多模态数据融合的方式对用户输入的知识产权检索请求进行更为准确地语义理解，以提高后续检索结果的适配度。

附图说明

[0029] 通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

[0030] 图1为根据本申请实施例的基于多模态数据融合的文本处理系统的框图；

[0031] 图2为根据本申请实施例的基于多模态数据融合的文本处理系统的系统架构图；

[0032] 图3为根据本申请实施例的基于多模态数据融合的文本处理系统中文本语义编码模块的框图；

[0033] 图4为根据本申请实施例的基于多模态数据融合的文本处理系统中文本多尺度语义关联编码模块的框图；

[0034] 图5为根据本申请实施例的基于多模态数据融合的文本处理系统中卷积神经网络编码的流程图；

[0035] 图6为根据本申请实施例的基于多模态数据融合的文本处理方法的流程图；

[0036] 图7为根据本申请实施例的电子设备的框图。

具体实施方式

[0037] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

[0038] 场景概述：多模态知识检索是一种应用于知识产权检索的多模态检索技术，所谓的多模态检索，就是用户可以输入不同类型的数据进行检索，比如文本数据、图片数据、图像和文本数据等。但是受限于人工智能相关技术的发展，搜索引擎难以很好地将这两种不同类型的输入进行融合分析，返回的检索结果往往会带有一定的偏向性，会影响最终的检索结果。

[0039] 相应地，本申请发明人发现在多模态知识检索中，当用户输入不同类型的数据，比如文本、图片和图像等进行检索时，现有的检索方式难以很好地将这些不同类型的输入数据进行融合分析以进行更为准确地检索。并且，本申请发明人还考虑到对于用户输入的知识产权检索请求进行理解从而进行多模态知识检索这本质上也是一个多标签分类匹配的问题。也就是，通过深度神经网络模型分别对于所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行特征提取，并在融合这两者的隐含特征信息后通过多标签分类器中进行分类处理，以进行所述用户输入的知识产权检索请求对应的主题标签分类，进而提高了所述检索请求的语义理解的准确性，也能够提高检索结果的适配度。

[0040] 具体地，在本申请的技术方案中，首先，获取用户输入的知识产权检索请求。应可以理解，由于所述用户输入的知识产权检索请求中具有文本数据和图像数据，为了更好地提取出所述文本数据以及所述图像数据中的全局语义关联特征信息，进而来提高对于所述知识产权检索请求的语义理解，选择将所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行深层特征的挖掘。

[0041] 也就是，对于所述用户输入的知识产权检索请求中的文本数据，考虑到所述文本数据的上下文之间存在着语义关联，因此，为了能够准确地提取出所述文本数据的全局语义特征信息，进一步使用包含嵌入层的上下文编码器对所述文本数据进行编码，以提取出所述文本数据的基于全局的高维语义特征，从而获得多个语义特征向量。

[0042] 进一步地，考虑到在所述文本数据中，不仅会在各个相邻的词之间存在着相互的关联性，不相邻的词和语句以及不同跨度的语句之间也会存在着关联性，也就是说，在对于所述文本数据的语义特征进行提取时，不仅需要提取出基于全局性的高维语义特征信息，还需要根据不同的尺度跨度来提取出所述文本数据中的多尺度领域关联特征。具体地，在将所述多个语义特征向量排列为一维特征向量以整合所述多个全局性高维语义特征后，通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量。在本申请的一个具体示例中，所述多尺度邻域特征提取模块能够使用具有不同尺度的一维卷积核的卷积层分别对所述一维特征向量进行一维卷积编码，再将得到的对应于两个所述不同尺度的一维卷积核的特征向量进行级联以得到所述多尺度文本理解特征向量。这样，能够提取到所述文本数据的全局性语义特征之间的多尺度邻域关联。值得一提的是，在本申请的其他示例中，所述多尺度邻域特征提取模块还可以包含更多数量的一维卷积层，其使用不同长度的一维卷积核进行所述文本数据的不同尺度的片语粒度关联语义特征提取，对此，并不为本申请所局限。对于所述知识产权检索请求中的图像数据来说，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对其进行特征挖掘。也就是，将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络中进行处理，以提取出所述图像数据中的局部特征在高维空间中的特征分布表示，从而得到图像理解特征向量。

[0043] 然后，计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积，就可以融合所述文本数据的语义关联特征与所述图像数据的隐含特征从而得到多模态需求表达矩阵。进一步地，再将所述多模态需求表达矩阵通过多标签分类器中进行分类处理，以得到用于表示用户输入的知识产权检索请求对应的主题标签的分类结果。

[0044] 特别地，在本申请的技术方案中，在计算所述图像理解特征向量的转置向量与所述文本理解特征向量之间的乘积以得到多模态需求表达矩阵时，所述多模态需求表达矩阵的每个位置的值作为所述图像理解特征向量与所述文本理解特征向量的预定位置的特征值之间的乘积，能够很好地表达图像理解特征与文本理解特征之间的局部关联语义，但是，由于作为过滤器的第二卷积神经网络模型所提取的仍然是局部特征，这就使得多模态需求理解特征向量所具有的全局性相对于所述多尺度多模态需求理解特征向量具有偏差，影响了融合度。

[0045] 因此，优选地，对所述多模态需求表达矩阵进行全局性优化，具体为：

[0046]

[0047] 和 均为单个卷积层， ，用于将二维位置坐标映射为一维数值， 表示矩阵 的 坐标矩阵。

[0048] 也就是，通过能够使用所述多模态需求表达矩阵的各个位置的特征值的位置信息作为提议，来通过卷积层的局部感知场与所述多模态需求表达矩阵的特征场景的全局正交变换做叠加，从而对全局特征场景进行语义推理，以全面融合所捕获的局部关联语义和进一步衍生全局关联语义，这样，就实现了局部关联语义的全局性优化，同时，通过全局关联语义的推理预测来进一步提升所述多模态需求表达矩阵的全局性表达效果，进而，也能够提高分类的准确性。这样，就能够基于多模态数据融合对所述用户输入的检索需求进行更为准确地理解，以提高检索结果的适配度。

[0049] 基于此，本申请提出了一种基于监测数据的风力发电机组的故障诊断系统，其包括：检索请求接收模块，用于获取用户输入的知识产权检索请求；

[0050] 文本语义编码模块，用于将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；文本多尺度语义关联编码模块，用于将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；图像特征提取模块，用于将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；多模态关联编码模块，用于计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；多模态表达校正模块，用于基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；以及，文本处理结果生成模块，用于将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0051] 在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

[0052] 示例性系统

[0053] 图1为根据本申请实施例的基于多模态数据融合的文本处理系统的框图。如图1所示，根据本申请实施例的基于多模态数据融合的文本处理系统300，包括：检索请求接收模块310、文本语义编码模块320、文本多尺度语义关联编码模块330、图像特征提取模块340、多模态关联编码模块350、多模态表达校正模块360、文本处理结果生成模块370。

[0054] 其中，所述检索请求接收模块310，用于获取用户输入的知识产权检索请求；所述文本语义编码模块320，用于将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；所述文本多尺度语义关联编码模块330，用于将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；所述图像特征提取模块340，用于将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；所述多模态关联编码模块350，用于计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；所述多模态表达校正模块360，用于基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；所述文本处理结果生成模块370，用于将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0055] 图2为根据本申请实施例的基于多模态数据融合的文本处理系统300的系统架构图。如图2所示，在所述基于多模态数据融合的文本处理系统300的系统架构中，首先通过所述检索请求接收模块310获取用户输入的知识产权检索请求。然后，通过所述文本语义编码模块320将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；所述文本多尺度语义关联编码模块330将所述文本语义编码模块320获得的多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；同时，所述图像特征提取模块340将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；接着，所述多模态关联编码模块350计算所述图像特征提取模块340得到的图像理解特征向量的转置向量与所述文本多尺度语义关联编码模块330得到的多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；进一步地，所述多模态表达校正模块360用于基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；进而，所述文本处理结果生成模块370将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0056] 具体地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述检索请求接收模块310，用于获取用户输入的知识产权检索请求。应可以理解，由于所述用户输入的知识产权检索请求中具有文本数据和图像数据，为了更好地提取出所述文本数据以及所述图像数据中的全局语义关联特征信息，进而来提高对于所述知识产权检索请求的语义理解，选择将所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行深层特征的挖掘。在本申请的一个具体示例中，可通过多个检索请求接收器获取用户输入的文本数据和图像数据。

[0057] 进一步地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述文本语义编码模块320，用于将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量。也就是，对于所述用户输入的知识产权检索请求中的文本数据，考虑到所述文本数据的上下文之间存在着语义关联，因此，为了能够准确地提取出所述文本数据的全局语义特征信息，进一步使用包含嵌入层的上下文编码器对所述文本数据进行编码，以提取出所述文本数据的基于全局的高维语义特征，从而获得多个语义特征向量。

[0058] 图3为根据本申请实施例的基于多模态数据融合的文本处理系统中文本语义编码模块320的框图。如图3所示，根据本申请实施例的基于多模态数据融合的文本处理系统的所述文本语义编码模块320，包括：词序列转化单元321，用于对所述知识产权检索请求中的文本数据进行分词处理以将所述知识产权检索请求中的文本数据分别转化为由多个词组成的词序列；嵌入编码单元322，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及，上下文全局编码单元323，用于使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个语义特征向量。

[0059] 进一步地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述文本多尺度语义关联编码模块330，用于将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量。考虑到在所述文本数据中，不仅会在各个相邻的词之间存在着相互的关联性，不相邻的词和语句以及不同跨度的语句之间也会存在着关联性，也就是说，在对于所述文本数据的语义特征进行提取时，不仅需要提取出基于全局性的高维语义特征信息，还需要根据不同的尺度跨度来提取出所述文本数据中的多尺度领域关联特征。具体地，在将所述多个语义特征向量排列为一维特征向量以整合所述多个全局性高维语义特征后，通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量。

[0060] 图4为根据本申请实施例的基于多模态数据融合的文本处理系统中文本多尺度语义关联编码模块330的框图。如图4所示，根据本申请实施例的基于多模态数据融合的文本处理系统的所述文本多尺度语义关联编码模块330，包括：第一片语维度编码单元331，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度文本理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二片语维度编码单元332，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度文本理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，级联单元333，用于将所述第一邻域尺度文本理解特征向量和所述第二邻域尺度文本理解特征向量进行级联以得到所述多尺度文本理解特征向量。

[0061] 具体地，所述第一片语维度编码单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一邻域尺度文本理解特征向量；其中，所述公式为：

[0062]

[0063] 其中， 为第一卷积核在 方向上的宽度、 为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵， 为第一卷积核的尺寸， 表示一维特征
向量。所述第二片语维度编码单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二邻域尺度文本理解特征向量；其中，所述公式为：

[0064]

[0065] 其中， 为第二卷积核在 方向上的宽度、 为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵， 为第二卷积核的尺寸，表示所述一维特征向量。

[0066] 在本申请的一个具体示例中，所述多尺度邻域特征提取模块能够使用具有不同尺度的一维卷积核的卷积层分别对所述一维特征向量进行一维卷积编码，再将得到的对应于两个所述不同尺度的一维卷积核的特征向量进行级联以得到所述多尺度文本理解特征向量。这样，能够提取到所述文本数据的全局性语义特征之间的多尺度邻域关联。

[0067] 值得一提的是，在本申请的其他示例中，所述多尺度邻域特征提取模块还可以包含更多数量的一维卷积层，其使用不同长度的一维卷积核进行所述文本数据的不同尺度的片语粒度关联语义特征提取，对此，并不为本申请所局限。

[0068] 进一步地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述图像特征提取模块340，用于将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量。对于所述知识产权检索请求中的图像数据来说，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对其进行特征挖掘。也就是，将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络中进行处理，以提取出所述图像数据中的局部特征在高维空间中的特征分布表示，从而得到图像理解特征向量。

[0069] 图5为根据本申请实施例的基于多模态数据融合的文本处理系统中卷积神经网络编码的流程图。如图5所示，在第一卷积神经网络编码的过程中，使用所述作为过滤器的第一卷积神经网络的各层在层的正向传递中分别进行：S210，对输入数据进行卷积处理以得到卷积特征图；S220，对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，S230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述图像理解特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述知识产权检索请求中的图像数据。

[0070] 进一步地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述多模态关联编码模块350，用于计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵。

[0071] 特别地，在本申请的技术方案中，在计算所述图像理解特征向量的转置向量与所述文本理解特征向量之间的乘积以得到多模态需求表达矩阵时，所述多模态需求表达矩阵的每个位置的值作为所述图像理解特征向量与所述文本理解特征向量的预定位置的特征值之间的乘积，能够很好地表达图像理解特征与文本理解特征之间的局部关联语义，但是，由于作为过滤器的第二卷积神经网络模型所提取的仍然是局部特征，这就使得多模态需求理解特征向量所具有的全局性相对于所述多尺度多模态需求理解特征向量具有偏差，影响了融合度。

[0072] 进一步地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述多模态表达校正模块360，用于基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵。也就是，通过能够使用所述多模态需求表达矩阵的各个位置的特征值的位置信息作为提议，来通过卷积层的局部感知场与所述多模态需求表达矩阵的特征场景的全局正交变换做叠加，从而对全局特征场景进行语义推理，以全面融合所捕获的局部关联语义和进一步衍生全局关联语义，这样，就实现了局部关联语义的全局性优化。同时，通过全局关联语义的推理预测来进一步提升所述多模态需求表达矩阵的全局性表达效果，进而，也能够提高分类的准确性。这样，就能够基于多模态数据融合对所述用户输入的检索需求进行更为准确地理解，以提高检索结果的适配度。

[0073] 优选地，对所述多模态需求表达矩阵进行全局性优化，具体为：

[0074]

[0075] 和 均为单个卷积层， ，用于将二维位置坐标映射为一维数值， 表示矩阵 的 坐标矩阵。

[0076] 在本申请的一个具体示例中，所述多模态表达校正模块，包括：位置特征矩阵计算单元，用于将所述多模态需求表达矩阵中各个位置的二维坐标映射为一维数值以得到位置特征矩阵，其中，所述一维数值为位置特征值；全局特征语义推理单元，用于对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到全局语义推理特征矩阵；以及，位置信息作用单元，用于计算所述位置特征矩阵和所述全局语义推理特征矩阵的按位置点乘以得到所述校正后多模态需求表达矩阵。

[0077] 进一步地，在所述基于多模态数据融合的文本处理系统300的运行过程中，所述文本处理结果生成模块370，用于将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0078] 在本申请技术方案中，所述文本处理结果生成模块，进一步用于：使用所述多标签分类器以如下公式对所述校正后多模态需求表达矩阵进行处理以生成所述分类结果；其中，所述公式为：

[0079]

[0080] 其中 为输出结果矩阵， 和 分别为第 个分类对应的权重和偏置矩阵，表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值。

[0081] 综上，根据本申请实施例的基于多模态数据融合的文本处理系统300被阐明，其通过深度神经网络模型分别对于所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行特征提取，并在融合上述两者不同模态数据的特征表示后将融合得到的多模态需求表达矩阵通过多标签分类器以得到用于表示用户输入的知识产权检索请求对应的主题标签的分类结果，这样通过多模态数据融合的方式对用户输入的知识产权检索请求进行更为准确地语义理解，以提高后续检索结果的适配度。

[0082] 如上所述，根据本申请实施例的基于多模态数据融合的文本处理系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的基于多模态数据融合的文本处理系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于多模态数据融合的文本处理系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该多模态数据融合的文本处理系统300同样可以是该终端设备的众多硬件模块之一。

[0083] 替换地，在另一示例中，该基于多模态数据融合的文本处理系统300与该终端设备也可以是分立的设备，并且该基于多模态数据融合的文本处理系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

[0084] 示例性方法

[0085] 图6为根据本申请实施例的基于多模态数据融合的文本处理方法的流程图。如图6所示，根据本申请实施例的基于多模态数据融合的文本处理方法，包括步骤：S110，用于获取用户输入的知识产权检索请求；S120，将所述知识产权检索请求中的文本数据通过包含嵌入层的上下文编码器以得到多个语义特征向量；S130，将所述多个语义特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到多尺度文本理解特征向量；S140，将所述知识产权检索请求中的图像数据通过作为过滤器的第一卷积神经网络以得到图像理解特征向量；S150，计算所述图像理解特征向量的转置向量与所述多尺度文本理解特征向量之间的乘积以得到多模态需求表达矩阵；S160，基于所述多模态需求表达矩阵中各个位置的位置特征值，分别对所述多模态需求表达矩阵中各个位置的特征值进行校正以得到校正后多模态需求表达矩阵；以及，S170，将所述校正后多模态需求表达矩阵通过多标签分类器以得到分类结果，所述分类结果用于表示用户输入的知识产权检索请求对应的主题标签。

[0086] 在一个示例中，在上述基于多模态数据融合的文本处理方法中，所述步骤S120，包括：对所述知识产权检索请求中的文本数据进行分词处理以将所述知识产权检索请求中的文本数据分别转化为由多个词组成的词序列；使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及，使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个语义特征向量。

[0087] 在一个示例中，在上述基于多模态数据融合的文本处理方法中，所述步骤S130，包括：使用所述作为过滤器的第一卷积神经网络的各层在层的正向传递中分别进行：将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度文本理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度文本理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，将所述第一邻域尺度文本理解特征向量和所述第二邻域尺度文本理解特征向量进行级联以得到所述多尺度文本理解特征向量。

[0088] 在一个示例中，在上述基于多模态数据融合的文本处理方法中，所述步骤S140，包括：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络的最后一层的输出为所述图像理解特征向量，所述作为过滤器的第一卷积神经网络的第一层的输入为所述知识产权检索请求中的图像数据。

[0089] 在一个示例中，在上述基于多模态数据融合的文本处理方法中，所述步骤S160，包括：将所述多模态需求表达矩阵中各个位置的二维坐标映射为一维数值以得到位置特征矩阵，其中，所述一维数值为位置特征值；对所述多模态需求表达矩阵进行通过卷积层的局部感知场和全局正交变换以得到全局语义推理特征矩阵；以及，计算所述位置特征矩阵和所述全局语义推理特征矩阵的按位置点乘以得到所述校正后多模态需求表达矩阵。

[0090] 在一个示例中，在上述基于多模态数据融合的文本处理方法中，所述步骤S170，包括：使用所述多标签分类器以如下公式对所述校正后多模态需求表达矩阵进行处理以生成所述分类结果；其中，所述公式为：

[0091]

[0092] 其中 为输出结果矩阵， 和 分别为第 个分类对应的权重和偏置矩阵，表示矩阵的指数运算，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值。

[0093] 综上，根据本申请实施例的基于多模态数据融合的文本处理方法被阐明，其通过深度神经网络模型分别对于所述用户输入的知识产权检索请求中的文本数据和图像数据分别进行特征提取，并在融合这两者的隐含特征信息后通过多标签分类器中进行分类处理，以进行所述用户输入的知识产权检索请求对应的主题标签分类，进而提高了所述检索请求的语义理解的准确性，也能够提高检索结果的适配度。

[0094] 示例性电子设备

[0095] 下面，参考图7来描述根据本申请实施例的电子设备。

[0096] 图7为根据本申请实施例的电子设备的框图。

[0097] 如图7所示，电子设备10包括一个或多个处理器11和存储器12。

[0098] 处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

[0099] 存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于多模态数据融合的文本处理系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如语义特征向量等各种内容。

[0100] 在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

[0101] 该输入装置13可以包括例如键盘、鼠标等等。

[0102] 该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

[0103] 当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

[0104] 示例性计算机程序产品和计算机可读存储介质

[0105] 除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的基于多模态数据融合的文本处理方法中的功能中的步骤。

[0106] 所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

[0107] 此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的基于多模态数据融合的文本处理方法中的功能中的步骤。

[0108] 所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

[0109] 以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

[0110] 本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

[0111] 还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

[0112] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

[0113] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。