基于级联转换网络架构的情绪识别方法和系统专利检索-情感识别人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

基于级联转换网络架构的情绪识别方法和系统

阅读：188发布：2021-02-12

IPRDB可以提供基于级联转换网络架构的情绪识别方法和系统专利检索，专利查询，专利分析的服务。并且本发明属于计算机机器学习技术领域，具体涉及一种基于级联转换网络架构的情绪识别方法和系统，包括：获取图像信息；将所述图像信息输入人脸检测模型，输出人脸图像信息；将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。本发明的级联转换架构在堆叠式排列架构的基础上做了一定的改进，加上捷径连结的方式，从而改善了现有模型的缺点，其情绪识别的结果在速度和精度上均获得更好的效果。，下面是基于级联转换网络架构的情绪识别方法和系统专利的具体信息内容。

权利要求

1.基于级联转换网络架构的情绪识别方法，其特征在于，包括：

获取图像信息；

将所述图像信息输入人脸检测模型，输出人脸图像信息；

将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；

从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。

2.根据权利要求1所述的基于级联转换网络架构的情绪识别方法，其特征在于，所述人脸检测模型和所述情感识别模型均采用级联转换网络架构。

3.根据权利要求2所述的基于级联转换网络架构的情绪识别方法，其特征在于，所述级联转换网络架构包括输入层、隐含层和输出层，所述隐含层包括第一卷积层至第N卷积层的若干个卷积层，所述N为大于等于2的正整数，所述第一卷积层的输入值为输入层的初始输入值，其余卷积层的输入值为上一级卷积层的输出值，所述输出层的多个输入值分别为所述输入层的初始输入值和每个所述卷积层的输出值。

4.根据权利要求3所述的基于级联转换网络架构的情绪识别方法，其特征在于，设所述输入层的初始输入值为x，所述输出层的输出值为Y，所述若干个卷积层的输出值分别为f(x)1、f(x)2……f(x)N，则所述输出层的输出值Y＝x+f(x)1+f(x)2……f(x)N。

5.基于权利要求1所述方法的基于级联转换网络架构的情绪识别系统，其特征在于，包括：输入模块，用于获取图像信息；

人脸检测模块，用于将所述图像信息输入人脸检测模型，输出人脸图像信息；

情感识别模块，用于将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；

输出模块，用于从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。

6.根据权利要求5所述的基于级联转换网络架构的情绪识别系统，其特征在于，所述人脸检测模型和所述情感识别模型均采用级联转换网络架构。

7.根据权利要求6所述的基于级联转换网络架构的情绪识别系统，其特征在于，所述级联转换网络架构包括输入层、隐含层和输出层，所述隐含层包括第一卷积层至第N卷积层的若干个卷积层，所述N为大于等于2的正整数，所述第一卷积层的输入值为输入层的初始输入值，其余卷积层的输入值为上一级卷积层的输出值，所述输出层的多个输入值分别为所述输入层的初始输入值和每个所述卷积层的输出值。

8.根据权利要求7所述的基于级联转换网络架构的情绪识别系统，其特征在于，设所述输入层的初始输入值为x，所述输出层的输出值为Y，所述若干个卷积层的输出值分别为f(x)1、f(x)2……f(x)N，则所述输出层的输出值Y＝x+f(x)1+f(x)2……f(x)N。

说明书全文

基于级联转换网络架构的情绪识别方法和系统

技术领域

[0001] 本发明属于计算机机器学习技术领域，具体涉及一种基于级联转换网络架构的情绪识别方法和系统。

背景技术

[0002] 随着深度学习技术的引入，图像辨识取得了大幅的进展，而此领域的核心技术便是卷积神经网络。传统的神经网络的架构由多层卷积堆叠而成(如图1)，而现行的顶尖网络单元模组为谷歌提出的Inception module，采用平行且多尺度的卷积层(如图2)，以及微软亚洲研究院所提出的残差神经网络，以增加捷径连结的方式，加快网络的训练的速度。

[0003] 在现行的研究当中，有三个学派的研究是针对有效率与高效能的网络结构化设计：

[0004] 1.讲求网络结构的深度(如Residual Networks,ResNet)，越深层的网络结构能提升识别的准确度。但在资料的有限性之下，网络一味的加深会造成网络模型参数大增与越慢的辨识速度，而准确度却无法呈现线性的提升。

[0005] 2.讲求网络结构的广度(如Wider Residual Networks)，在架构上往每层多加几层不同类型的建构区块(即采用不同卷积层的连接方式)，让网络的广度增加而不需太深的网络，也可以达到相似的辨识效果。

[0006] 3.针对每一层的建构区块结合(如Inception module或简单的卷积层等)以平行架构的分散式结构设计为主轴，在此架构下追求模型大小与效能下的最大优化，此架构可依照装置的需求限制来设计。本发明是建构在此类的模型设计原理与概念所开发的网络架构。

[0007] 平行(Parallel)排列架构(如图2)，虽能同时进行多种特征转换，但由于输入来源相同，转换后的特征也会是在同一个特征等级上。而若采用堆叠式排列架构(如图1)，虽理想上可以得到更高层次的特征，但由于连续进行多个非线性转换，会造成训练收敛困难，延长训练时间，以及对参数初始值敏感等问题，因而采用堆叠式排列架构的模型，其人脸图像识别和情绪识别的速度和精度均不理想。

发明内容

[0008] 针对以上问题的不足，本发明提供了一种基于级联转换网络架构的情绪识别方法和系统，本发明的级联转换架构在堆叠式排列架构的基础上做了一定的改进，加上捷径连结的方式，从而改善了现有模型的缺点，其情绪识别的结果在速度和精度上均获得更好的效果。

[0009] 为实现上述目的，本发明提供的一种基于级联转换网络架构的情绪识别方法，包括：

[0010] 获取图像信息；

[0011] 将所述图像信息输入人脸检测模型，输出人脸图像信息；

[0012] 将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；

[0013] 从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。

[0014] 优先地，所述人脸检测模型和所述情感识别模型均采用级联转换网络架构。

[0015] 优选地，所述级联转换网络架构包括输入层、隐含层和输出层，所述隐含层包括第一卷积层至第N卷积层的若干个卷积层，所述N为大于等于2的正整数，所述第一卷积层的输入值为输入层的初始输入值，其余卷积层的输入值为上一级卷积层的输出值，所述输出层的多个输入值分别为所述输入层的初始输入值和每个所述卷积层的输出值。

[0016] 优先地，设所述输入层的初始输入值为x，所述输出层的输出值为Y，所述若干个卷积层的输出值分别为f(x)1、f(x)2……f(x)N，则所述输出层的输出值Y＝x+f(x)1+f(x)2……f(x)N。

[0017] 基于级联转换网络架构的情绪识别系统，包括：

[0018] 输入模块，用于获取图像信息；

[0019] 人脸检测模块，用于将所述图像信息输入人脸检测模型，输出人脸图像信息；

[0020] 情感识别模块，用于将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；

[0021] 输出模块，用于从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。

[0022] 由上述方案可知，本发明的有益效果为：本发明的级联转换架构在堆叠式排列架构的基础上做了一定的改进，加上捷径连结的方式，从而改善了现有模型的缺点，其情绪识别的结果在速度和精度上均获得更好的效果。

附图说明

[0023] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

[0024] 图1为本实施例中基于级联转换网络架构的情绪识别方法的流程图；

[0025] 图2为背景技术中堆叠式排列架构的结构示意图；

[0026] 图3为背景技术中平行排列架构的结构示意图；

[0027] 图4为本实施例中级联转换网络架构的结构示意图；

[0028] 图5为本实施例中基于级联转换网络架构的情绪识别系统的结构示意图。

具体实施方式

[0029] 下面将结合附图对本发明的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的产品，因此只是作为示例，而不能以此来限制本发明的保护范围。

[0030] 实施例：

[0031] 本发明的实施例提供了一种基于级联转换网络架构的情绪识别方法，如图1所示，包括：

[0032] 获取图像信息；

[0033] 将所述图像信息输入人脸检测模型，输出人脸图像信息；

[0034] 将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；

[0035] 从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。

[0036] 所述人脸检测模型和所述情感识别模型均采用级联转换网络架构。

[0037] 所述级联转换网络架构包括输入层、隐含层和输出层，所述隐含层包括第一卷积层至第N卷积层的若干个卷积层，所述N为大于等于2的正整数，所述第一卷积层的输入值为输入层的初始输入值，其余卷积层的输入值为上一级卷积层的输出值，所述输出层的多个输入值分别为所述输入层的初始输入值和每个所述卷积层的输出值。

[0038] 设所述输入层的初始输入值为x，所述输出层的输出值为Y，所述若干个卷积层的输出值分别为f(x)1、f(x)2……f(x)N，则所述输出层的输出值Y＝x+f(x)1+f(x)2……f(x)N。

[0039] 基于级联转换网络架构的情绪识别系统，如图5所示，包括：

[0040] 输入模块，用于获取图像信息；

[0041] 人脸检测模块，用于将所述图像信息输入人脸检测模型，输出人脸图像信息；

[0042] 情感识别模块，用于将所述人脸图像信息输入情感识别模型，输出每种情感的概率值；

[0043] 输出模块，用于从所述每种情感的概率值中选择出最大概率值，输出所述最大概率值所对应的情感。

[0044] 如图4所示，本实施例为一个具有两层卷积层的级联转换网络架构范例，即在多层堆叠架构上引入捷径连结，除最后一个卷积层的输出连线直接接至输出层，其余的每一层除了有一条连线输出至输出层亦同时有另外一条连线输出至下一个卷积层。更明确以函示来表示网络架构中的关联性：假设所述输入层的初始输入值为x，则第一层卷积层输出值表示为f(x)1，那么第二卷积层的输出值表示为f(x)2，最后的输出层的输出值表示为Y，则Y＝x+f(x)1+f(x)2。因此这种级联转换网络架构可以使用一个多项式式来表示输入与输出之间的对应关系。此联级转换架构可以扩充至三层、四层…以及至于无穷层的多项式表示方式。与PolyNet的架构不同之处，此级联转换网络架构单纯使用卷积层建构网络，而PolyNet采用Inception module区块做连结，在模型大小与速度上皆不及浓缩版本的级联转换网络架构于硬件上部署的实用性与执行效率。再者，将每个卷积转换后的结果贡献于输出，亦有Inception module(起始模块)所提供可观察不同尺度特征图细节的功效。

[0045] 另外从架构上来看，级联转换网络架构中最长的路径代表深度堆叠的高层特征学习，而不同的卷积层的连接代表平行架构中不同尺度特征的学习。因此在架构中同时拥有不同维度(深度网络学习与不同尺度的平行化学习)的特征学习，因而能提供与现行网络架构(如前述提到的Google Inception module,ResNet,PolyNet,Wider Residual Net)接近的识别效果，但因是全卷积的网络架构，在模型的训练与测试速度上更快于前述网络架构且模型也更小以及更快速的执行速度。

[0046] 本实施例的级联转换网络架构具有架构设计上的结构多样性，能够提升学习效率与识别的效果，此结构多样性使得不同图像细节可以被加强网络学习与识别的能力。而级联转换网络架构又同时具有残差网络在深层的网络学习中，可以保留网络权值的更新资讯。在此两者优点下，级联转换网络架构的设计可以更加富有弹性并且能应用在实际的问题中与实体装置中(如手机、IOT装置、机器人开发硬件等)。实验中显示同等的记忆体使用下，级联转换网络架构能够提供更准确与高效的识别成果，而此研究成果更可使得我们所发明的人脸情感识别系统能够更轻易的部署在实际的应用当中。

[0047] 实际运作场景范例以公共区域安防场景为说明，例如在公共场所(如机场)上设置的多个摄像头，以能清楚的捕捉到行人的人脸图像为主要目标，随后可以透过本发明的系统架构，于后台分析特定行人的异常情绪表现(如可能是恐怖分子或在逃犯人等)，并由后台发讯号给现场维安人员注意此人的状况。而此分析需要透过即时的运算与回馈，因此在模型的运算速度与准确度都需要达到一定的标准。

[0048] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

标题	发布/更新时间	阅读量
语音情感识别装置-专利编号CN108682432A	2020-05-12	372
一种建立语音情感识别模型的方法及语音情感识别方法-专利编号CN110910904A	2020-05-14	632
语音情感识别设备和进行语音情感识别的方法-专利编号CN101930735B	2020-05-13	288
视觉情感识别方法-专利编号CN110705490A	2020-05-11	688
一种语音情感识别方法-专利编号CN106847309A	2020-05-11	108
一种语音情感识别系统及语音情感识别方法-专利编号CN110534133A	2020-05-12	311
语音情感识别方法-专利编号CN109036465A	2020-05-12	410
一种情感识别方法和情感识别系统-专利编号CN107945790A	2020-05-11	122
情感识别模型生成装置及其生成情感识别模型的方法-专利编号CN103892792A	2020-05-13	1041
语音情感识别设备和进行语音情感识别的方法-专利编号CN101930735A	2020-05-13	413

基于级联转换网络架构的情绪识别方法和系统

基于级联转换网络架构的情绪识别方法和系统

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式