智慧大屏广告智能推荐系统及其推荐方法

摘要

本申请公开了一种智慧大屏广告智能推荐系统及其推荐方法，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

权利要求

1.一种智慧大屏广告智能推荐系统，其特征在于，包括：

源数据获取单元，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；

图编码器单元，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；

文本编码单元，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；

第一融合单元，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；

时序编码器单元，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；

第二融合单元，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；

分类单元，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及推荐结果生成单元，用于基于所述多个概率值，生成广告推荐结果。

2.根据权利要求1所述的智慧大屏广告智能推荐系统，其中，所述图编码器单元，进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。

3.根据权利要求2所述的智慧大屏广告智能推荐系统，其中，所述文本编码单元，进一步用于：对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；

使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；

使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及将所述多个文本特征向量进行级联以获得第二特征向量。

4.根据权利要求3所述的智慧大屏广告智能推荐系统，其中，所述第一融合单元，进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。

5.根据权利要求4所述的智慧大屏广告智能推荐系统，其中，所述时序编码器单元，进一步用于：将所述第一交互数据按照时间维度排列为一维的输入向量；

使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为： ，其中 是输入向量，是输出向量， 是权重矩阵，是偏置向量， 表示矩阵乘；

使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

6.根据权利要求5所述的智慧大屏广告智能推荐系统，其中，所述推荐结果生成单元，进一步用于将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

7.一种智慧大屏广告智能推荐系统的推荐方法，其特征在于，包括：

获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；

将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；

将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；

使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；

将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；

计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；

将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及基于所述多个概率值，生成广告推荐结果。

8.根据权利要求7所述的智慧大屏广告智能推荐系统的推荐方法，其中，将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量，包括：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。

9.根据权利要求8所述的智慧大屏广告智能推荐系统的推荐方法，其中，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，包括：对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；

使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；

使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及将所述多个文本特征向量进行级联以获得第二特征向量。

说明书

智慧大屏广告智能推荐系统及其推荐方法

技术领域

[0001] 本发明涉及智慧大屏广告的领域，且更为具体地，涉及一种智慧大屏广告智能推荐系统及其推荐方法。

背景技术

[0002] 相较于传统的屏幕，智慧大屏具有更多的功能， 智能大屏实现了远程异地多人多屏之间基于数据操作的精确互动交流，应用于高端办公室、高端住宅、高端交通工具、远程会议、远程教育、远程医疗等领域，智能交互体验系统将人与数码化的内容高度融合，为人们提供高品质的数字生活体验。

[0003] 并且，智慧屏不仅能够与各种智能设备进行交互，还能够直接与用户直接进行交互。因此，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容的推荐的精准度和有效性。因此，需要一种智慧大屏广告智能推荐系统。

[0004] 目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

[0005] 近年来，深度学习以及神经网络的发展，为智慧大屏的广告智能推荐提供了解决思路和方案。

发明内容

[0006] 为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智慧大屏广告智能推荐系统及其推荐方法，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

[0007] 根据本申请的一个方面，提供了一种智慧大屏广告智能推荐系统，其包括：

[0008] 源数据获取单元，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；

[0009] 图编码器单元，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；

[0010] 文本编码单元，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；

[0011] 第一融合单元，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；

[0012] 时序编码器单元，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；

[0013] 第二融合单元，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；

[0014] 分类单元，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及推荐结果生成单元，用于基于所述多个概率值，生成广告推荐结果。

[0015] 在上述智慧大屏广告智能推荐系统中，所述图编码器单元，进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。

[0016] 在上述智慧大屏广告智能推荐系统中，所述文本编码单元，进一步用于：对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及，将所述多个文本特征向量进行级联以获得第二特征向量。

[0017] 在上述智慧大屏广告智能推荐系统中，所述第一融合单元，进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。

[0018] 在上述智慧大屏广告智能推荐系统中，所述时序编码器单元，进一步用于：将所述第一交互数据按照时间维度排列为一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为： ，其中 是输入向量，是输出向量， 是权重矩阵，是偏置向量， 表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：

[0019]

[0020] 其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

[0021] 在上述智慧大屏广告智能推荐系统中，所述第二融合单元，包括：矩阵分解子单元，用于：对所述矩阵 以如下公式进行特征值分解；其中，所述公式为：，其中 为所述本征值，且 为
对应于 的本征向量；类概率联合融合子单元，用于：基于第三特征向量 和第
一特征矩阵 以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：

[0022]

[0023] 其中 表示矩阵 经过本征值分解后，其中的最大本征值对应的本征向量，且 和 分别表示向量乘法和向量点乘。

[0024] 在上述智慧大屏广告智能推荐系统中，所述推荐结果生成单元，进一步用于将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

[0025] 根据本申请的另一方面，一种智慧大屏广告智能推荐系统的推荐方法，其包括：

[0026] 获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；

[0027] 将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；

[0028] 将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；

[0029] 使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；

[0030] 将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；

[0031] 计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；

[0032] 将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及基于所述多个概率值，生成广告推荐结果。

[0033] 在上述智慧大屏广告智能推荐系统的推荐方法中，将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量，包括：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。

[0034] 在上述智慧大屏广告智能推荐系统的推荐方法中，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，包括：对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列；使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量；以及，将所述多个文本特征向量进行级联以获得第二特征向量。

[0035] 在上述智慧大屏广告智能推荐系统的推荐方法中，所述第一融合单元，进一步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第一特征矩阵。

[0036] 在上述智慧大屏广告智能推荐系统的推荐方法中，将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量，包括：将所述第一交互数据按照时间维度排列为一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为： ，其中 是输入向量，是输出向量， 是权重矩阵，是偏置向量， 表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：

[0037]

[0038] 其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

[0039] 在上述智慧大屏广告智能推荐系统的推荐方法中，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，包括：对所述矩阵 以如下公式进行特征值分解；其中，所述公式为： ，其中为所述本征值，且 为对应于
的本征向量；基于第三特征向量 和第一特征矩阵 以如下公式计算基于类
概率联合相关的融合向量作为分类向量；其中，所述公式为：

[0040]

[0041] 其中 表示矩阵 经过本征值分解后，其中的最大本征值对应的本征向量，且 和 分别表示向量乘法和向量点乘。

[0042] 在上述智慧大屏广告智能推荐系统的推荐方法中，所述基于所述多个概率值，生成广告推荐结果，包括：将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

[0043] 与现有技术相比，本申请提供的智慧大屏广告智能推荐系统、智慧大屏广告智能推荐系统的推荐方法，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

附图说明

[0044] 通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

[0045] 图1为根据本申请实施例的智慧大屏广告智能推荐系统的应用场景图。

[0046] 图2为根据本申请实施例的智慧大屏广告智能推荐系统的框图。

[0047] 图3为根据本申请实施例的智慧大屏广告智能推荐系统中第二融合单元的框图。

[0048] 图4为根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的流程图。

[0049] 图5为根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的架构示意图。

具体实施方式

[0050] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

[0051] 场景概述

[0052] 如前所述，相较于传统的屏幕，智慧大屏具有更多的功能， 智能大屏实现了远程异地多人多屏之间基于数据操作的精确互动交流，应用于高端办公室、高端住宅、高端交通工具、远程会议、远程教育、远程医疗等领域，智能交互体验系统将人与数码化的内容高度融合，为人们提供高品质的数字生活体验。

[0053] 并且，智慧屏不仅能够与各种智能设备进行交互，还能够直接与用户直接进行交互。因此，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容的推荐的精准度和有效性。因此，需要一种智慧大屏广告智能推荐系统。

[0054] 目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

[0055] 近年来，深度学习以及神经网络的发展，为智慧大屏的广告智能推荐提供了解决思路和方案。

[0056] 相应地，在本申请的技术方案中，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性，这本质上是一个多标签分类的问题，也就是，基于注册用户与智慧大屏的交互数据以及注册用户与其他智能终端的交互数据来综合进行多标签的分类，以生成广告的推荐结果。

[0057] 基于此，本申请的申请人使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息，并通过回归分类来生成广告的推荐结果。

[0058] 具体地，首先，通过云端获取智慧大屏的注册用户与智慧大屏的第一交互数据以及注册用户与其他智能终端的第二交互数据。然后，为了更好地提取出第二交互数据中数据间的高维隐含关联性特征，进一步将第二交互数据分成图片数据和文本数据来分别进行处理。

[0059] 也就是，先将第二交互数据中的图片数据通过Clip模型的第一卷积神经网络中进行特征提取，以挖掘出第二交互数据中的图片数据的局部特征在高维空间中的特征分布，从而获得第一特征向量。再将第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理，以提取出第二交互数据中的文本数据的全局性关联特征信息，从而获得多个文本特征向量，这样再将多个文本特征向量进行级联以获得第二特征向量。进一步计算第一特征向量的转置与第二特征向量之间的向量乘积，以使用Clip模型来融合第一特征向量和第二特征向量，进而生成第一特征矩阵。

[0060] 并且，将第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出第一交互数据在时间维度上的高维关联特征，从而生成第三特征向量。

[0061] 应可以理解，考虑到对于由CLIP模型得到的第一特征矩阵和由时序编码器得到的第三特征向量，如果在融合过程中能够尽可能地进行维度对齐，则能够提高融合后的特征表达的分类能力。

[0062] 并且，还考虑到第一特征矩阵为作为文本数据的上下文编码表达的第二特征向量与作为图像语义特征的第一特征向量的关联特征矩阵，其作为上下文编码表达的第二特征向量与通过时序编码器的时序关联编码得到的第三特征向量在维度上较为类似，因此基于第三特征向量 和第一特征矩阵 计算基于类概率联合相关的融合向量作为分类特征向量，表示为：

[0063]

[0064] 其中 表示矩阵 经过本征值分解后，其中的最大本征值对应的本征向量，且 和 分别表示向量乘法和向量点乘。

[0065] 并且，对向量的与实数相关的函数运算 为对向量的每个位置进行该函数运算再排列为向量形式，可以表示为：

[0066]

[0067] 其中R表示实数域，且 表示向量 对应的集合。

[0068] 进一步地，就可以将分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

[0069] 这样，通过计算第三特征向量 和第一特征矩阵 的基于类概率联合相关的融合向量，可以实现第三特征向量 与第一特征矩阵 的联合相关到第一特征矩阵 在高维特征空间内的主维度的联立投影，提升了第三特征向量 和第一特征矩阵 的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量 和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

[0070] 基于此，本申请提出了一种智慧大屏广告智能推荐系统，其包括：源数据获取单元，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；图编码器单元，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；文本编码单元，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；第一融合单元，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；时序编码器单元，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；第二融合单元，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；分类单元，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，推荐结果生成单元，用于基于所述多个概率值，生成广告推荐结果。

[0071] 图1图示了根据本申请实施例的智慧大屏广告智能推荐系统的应用场景图。如图1所示，在该应用场景中，首先，获取智慧大屏的注册用户（例如，如图1中所示意的P）与所述智慧大屏（例如，如图1中所示意的H）的第一交互数据以及所述注册用户与其他智能终端（例如，如图1中所示意的T）的第二交互数据。这里，所述其他智能终端包括但不局限于智能手机、电脑、平板等。然后，将所述第一交互数据和所述第二交互数据输入至部署有智慧大屏广告智能推荐算法的服务器中（例如，如图1中所示意的云服务器S），其中，所述服务器能够以智慧大屏广告智能推荐算法对所述第一交互数据和所述第二交互数据进行处理，以生成分类特征向量归属于所述分类器的多个标签的多个概率值。进而，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

[0072] 在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

[0073] 示例性系统

[0074] 图2图示了根据本申请实施例的智慧大屏广告智能推荐系统的框图。如图2所示，根据本申请实施例的智慧大屏广告智能推荐系统 200，包括：源数据获取单元 210，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；图编码器单元 220，用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；文本编码单元 230，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；第一融合单元 240，用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；时序编码器单元 250，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；第二融合单元 260，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；分类单元 270，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，推荐结果生成单元 280，用于基于所述多个概率值，生成广告推荐结果。

[0075] 具体地，在本申请实施例中，所述源数据获取单元 210和所述图编码器单元 220，用于获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据，并将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量。应可以理解，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性，这本质上是一个多标签分类的问题，也就是，基于注册用户与智慧大屏的交互数据以及所述注册用户与其他智能终端的交互数据来综合进行多标签的分类，以生成广告的推荐结果。因此，在本申请的技术方案中，使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息，并通过回归分类来生成广告的推荐结果。

[0076] 也就是，在本申请的技术方案中，首先，通过云端获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据。这里，所述其他智能终端包括但不局限于智能手机、电脑、平板等。应可以理解，由于图像数据与文本数据具有不同的维度特征，为了更好地提取出所述第二交互数据中数据间的高维隐含关联性特征，进一步将所述第二交互数据分成图片数据和文本数据来分别进行处理。

[0077] 具体地，首先将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络中进行特征提取，以挖掘出所述第二交互数据中的图片数据的局部特征在高维空间中的特征分布，从而获得第一特征向量。相应地，在一个具体示例中，使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征向量，其中，所述第一卷积神经网络的第一层的输入为所述第二交互数据中的图片数据。

[0078] 具体地，在本申请实施例中，所述文本编码单元 230和所述第一融合单元 240，用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，并使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵。也就是，在本申请的技术方案中，在对所述第二交互数据中的图像数据进行特征挖掘后，进一步再将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理，以提取出所述第二交互数据中的文本数据的全局性关联特征信息，从而获得多个文本特征向量，这样再将所述多个文本特征向量进行级联，以整合多个所述文本特征向量的特征信息以获得第二特征向量。然后，进一步计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积，以使用Clip模型来融合所述第一特征向量和所述第二特征向量中的特征信息，进而生成第一特征矩阵。

[0079] 更具体地，在本申请实施例中，所述文本编码单元，进一步用于：首先，对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数据转化为由多个词组成的词序列。接着，使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列。然后，使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个文本特征向量。应可以理解，使用基于转化器的上下文编码器对所述词向量进行编码，可以使得获得的文本特征向量具有全局性的文本特征关联信息。值得一提的是，在别的示例中还可以采用其他的模型来进行处理，例如双向LSTM模型。最后，将所述多个文本特征向量进行级联以获得第二特征向量。

[0080] 具体地，在本申请实施例中，所述时序编码器单元 250，用于将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量。应可以理解，在对所述第二交互数据进行高维隐含关联特征挖掘后，进一步将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出所述第一交互数据在时间维度上的高维关联特征，从而生成第三特征向量。

[0081] 更具体地，在本申请实施例中，所述时序编码器单元，进一步用于：将所述第一交互数据按照时间维度排列为一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为： ，其中 是输入向量，是输出向量， 是权重矩阵，是偏置向量， 表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：

[0082]

[0083] 其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

[0084] 具体地，在本申请实施例中，所述第二融合单元 260，用于计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成。应可以理解，考虑到对于由所述CLIP模型得到的所述第一特征矩阵和由所述时序编码器得到的所述第三特征向量，如果在融合过程中能够尽可能地进行维度对齐，则能够提高融合后的特征表达的分类能力。

[0085] 并且，还考虑到所述第一特征矩阵为作为文本数据的上下文编码表达的所述第二特征向量与作为图像语义特征的所述第一特征向量的关联特征矩阵，其作为上下文编码表达的所述第二特征向量与通过时序编码器的时序关联编码得到的所述第三特征向量在维度上较为类似。因此，在本申请的技术方案中，基于所述第三特征向量 和所述第一特征矩阵 计算基于类概率联合相关的融合向量作为分类特征向量，表示为：

[0086]

[0087] 其中 表示矩阵 经过本征值分解后，其中的最大本征值对应的本征向量，且 和 分别表示向量乘法和向量点乘。

[0088] 并且，对向量的与实数相关的函数运算 为对向量的每个位置进行该函数运算再排列为向量形式，可以表示为：

[0089]

[0090] 其中R表示实数域，且 表示向量 对应的集合。

[0091] 应可以理解，这样，通过计算所述第三特征向量 和所述第一特征矩阵 的基于类概率联合相关的融合向量，可以实现所述第三特征向量 与所述第一特征矩阵 的联合相关到所述第一特征矩阵 在高维特征空间内的主维度的联立投影，提升了所述第三特征向量 和所述第一特征矩阵 的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对所述第三特征向量 和所述第一特征矩阵 进行维度对齐来提高融合后的分类特征向量的分类能力。

[0092] 更具体地，在本申请实施例中，所述第二融合单元，包括：首先，对所述矩阵以如下公式进行特征值分解；其中，所述公式为： ，其中为所述本征值，且 为对应于 的本征向量。然
后，基于第三特征向量 和第一特征矩阵 以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：

[0093]

[0094] 其中 表示矩阵 经过本征值分解后，其中的最大本征值对应的本征向量，且 和 分别表示向量乘法和向量点乘。

[0095] 图3图示了根据本申请实施例的智慧大屏广告智能推荐系统中第二融合单元的框图。如图3所示，所述第二融合单元 260，包括：矩阵分解子单元 261，用于：对所述矩阵以如下公式进行特征值分解；其中，所述公式为： ，其中为所述本征值，且 为对应于
的本征向量；类概率联合融合子单元 262，用于：基于第三特征向量 和第一
特征矩阵 以如下公式计算基于类概率联合相关的融合向量作为分类向量；其中，所述公式为：

[0096]

[0097] 其中 表示矩阵 经过本征值分解后，其中的最大本征值对应的本征向量，且 和 分别表示向量乘法和向量点乘。

[0098] 具体地，在本申请实施例中，所述分类单元 270和所述推荐结果生成单元 280，用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值，并基于所述多个概率值，生成广告推荐结果。也就是，在本申请的技术方案中，进一步地，就可以将所述分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

[0099] 综上，基于本申请实施例的所述智慧大屏广告智能推荐系统 200被阐明，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

[0100] 如上所述，根据本申请实施例的智慧大屏广告智能推荐系统 200可以实现在各种终端设备中，例如智慧大屏广告智能推荐算法的服务器等。在一个示例中，根据本申请实施例的智慧大屏广告智能推荐系统 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智慧大屏广告智能推荐系统 200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智慧大屏广告智能推荐系统 200同样可以是该终端设备的众多硬件模块之一。

[0101] 替换地，在另一示例中，该智慧大屏广告智能推荐系统 200与该终端设备也可以是分立的设备，并且该智慧大屏广告智能推荐系统 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

[0102] 示例性方法

[0103] 图4图示了智慧大屏广告智能推荐系统的推荐方法的流程图。如图4所示，根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法，包括步骤：S110，获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据；S120，将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量；S130，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量；S140，使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵；S150，将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量；S160，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成；S170，将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，S180，基于所述多个概率值，生成广告推荐结果。

[0104] 图5图示了根据本申请实施例的智慧大屏广告智能推荐系统的推荐方法的架构示意图。如图5所示，在所述智慧大屏广告智能推荐系统的推荐方法的网络架构中，首先，将获得的所述第二交互数据（例如，如图5中所示意的P）中的图片数据（例如，如图5中所示意的P1）通过Clip模型的第一卷积神经网络（例如，如图5中所示意的CNN）以获得第一特征向量（例如，如图5中所示意的VF1）；接着，将所述第二交互数据中的文本数据（例如，如图5中所示意的P2）通过所述Clip模型的包含嵌入层的上下文编码器模型（例如，如图5中所示意的E1）以获得多个文本特征向量（例如，如图5中所示意的VF），将所述多个文本特征向量进行级联以获得第二特征向量（例如，如图5中所示意的VF2）；然后，使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵（例如，如图5中所示意的MF1）；接着，将获得的所述第一交互数据（例如，如图5中所示意的Q）按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器（例如，如图5中所示意的E2）以生成第三特征向量（例如，如图5中所示意的VF3）；然后，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量（例如，如图5中所示意的V）；
接着，将所述分类特征向量通过具有多标签的分类器（例如，如图5中所示意的圈S）以获得所述分类特征向量属于所述分类器的多个标签的多个概率值；以及，最后，基于所述多个概率值，生成广告推荐结果。

[0105] 更具体地，在步骤S110和S120中，获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据，并将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特征向量。应可以理解，基于智慧屏所采集的数据来进行广告或视频内容的智能推荐有利于提高广告或视频内容推荐的精准度和有效性，这本质上是一个多标签分类的问题，也就是，基于注册用户与智慧大屏的交互数据以及所述注册用户与其他智能终端的交互数据来综合进行多标签的分类，以生成广告的推荐结果。因此，在本申请的技术方案中，使用Clip模型的卷积神经网络以及编码器来从这两个交互数据中挖掘出其在统计学意义上的关联信息，并通过回归分类来生成广告的推荐结果。

[0106] 也就是，在本申请的技术方案中，首先，通过云端获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他智能终端的第二交互数据。这里，所述其他智能终端包括但不局限于智能手机、电脑、平板等。应可以理解，由于图像数据与文本数据具有不同的维度特征，为了更好地提取出所述第二交互数据中数据间的高维隐含关联性特征，进一步将所述第二交互数据分成图片数据和文本数据来分别进行处理。

[0107] 更具体地，在步骤S130和步骤S140中，将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文本特征向量，将所述多个文本特征向量进行级联以获得第二特征向量，并使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩阵。也就是，在本申请的技术方案中，在对所述第二交互数据中的图像数据进行特征挖掘后，进一步再将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型中进行编码处理，以提取出所述第二交互数据中的文本数据的全局性关联特征信息，从而获得多个文本特征向量，这样再将所述多个文本特征向量进行级联，以整合多个所述文本特征向量的特征信息以获得第二特征向量。然后，进一步计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积，以使用Clip模型来融合所述第一特征向量和所述第二特征向量中的特征信息，进而生成第一特征矩阵。

[0108] 更具体地，在步骤S150中，将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以生成第三特征向量。应可以理解，在对所述第二交互数据进行高维隐含关联特征挖掘后，进一步将所述第一交互数据按照时间维度排列为输入向量后通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出所述第一交互数据在时间维度上的高维关联特征，从而生成第三特征向量。

[0109] 更具体地，在步骤S160中，计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量作为分类特征向量，其中，所述基于类概率联合相关的融合向量基于所述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得的特征矩阵的二范数之间的乘积生成。应可以理解，考虑到对于由所述CLIP模型得到的所述第一特征矩阵和由所述时序编码器得到的所述第三特征向量，如果在融合过程中能够尽可能地进行维度对齐，则能够提高融合后的特征表达的分类能力。并且，还考虑到所述第一特征矩阵为作为文本数据的上下文编码表达的所述第二特征向量与作为图像语义特征的所述第一特征向量的关联特征矩阵，其作为上下文编码表达的所述第二特征向量与通过时序编码器的时序关联编码得到的所述第三特征向量在维度上较为类似。因此，在本申请的技术方案中，基于所述第三特征向量 和所述第一特征矩阵 计算基于类概率联合相关的融合向量作为分类特征向量。这样，通过计算所述第三特征向量 和所述第一特征矩阵 的基于类概率联合相关的融合向量，可以实现所述第三特征向量 与所述第一特征矩阵 的联合相关到所述第一特征矩阵 在高维特征空间内的主维度的联立投影，提升了所述第三特征向量 和所述第一特征矩阵 的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对所述第三特征向量 和所述第一特征矩阵 进行维度对齐来提高融合后的分类特征向量的分类能力。

[0110] 更具体地，在步骤S170和步骤S180中，将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分类器的多个标签的多个概率值，并基于所述多个概率值，生成广告推荐结果。也就是，在本申请的技术方案中，进一步地，就可以将所述分类特征向量通过具有多标签的分类器以获得其归属于分类器的多个标签的多个概率值。然后，将与所述多个概率值中最大者对应的标签相关的广告推送至所述智慧大屏。

[0111] 综上，基于本申请实施例的所述智慧大屏广告智能推荐系统的推荐方法被阐明，其通过Clip模型的卷积神经网络和上下文编码器来提取出智慧大屏的注册用户与其他智能终端的交互数据的高维关联特征分布以获得第一特征矩阵，并通过时序编码器来挖掘出所述注册用户与智慧大屏的交互数据的隐含关联特征以获得第三特征向量，这样通过计算所述第三特征向量和所述第一特征矩阵的基于类概率联合相关的融合向量，可以实现特征的联合相关到第一特征矩阵在高维特征空间内的主维度的联立投影，提升了这两个特征的基于类概率表征的特征分布的维度对齐，从而通过尽可能地对第三特征向量和第一特征矩阵进行维度对齐来提高融合后的分类向量的分类能力。

[0112] 以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

[0113] 本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

[0114] 还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

[0115] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

[0116] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。