基于图像处理的婴幼儿人际沟通拼图训练系统及方法

摘要

本发明涉及图像处理技术领域，具体涉及一种基于图像处理的婴幼儿人际沟通拼图训练系统及方法，该方法采集婴幼儿在拼图过程中的静态帧图像，得到对应的灰度图像；获取存在运动模糊的灰度图像作为目标灰度图像，获取目标灰度图像的频谱图像，对频谱图像中心化得到目标频谱图像；将目标频谱图像划分为低频区域和高频区域；基于低频区域获取第一低频区域和第一高频区域；根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数；利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像；基于去模糊静态帧图像进行婴幼儿的拼图训练。本发明通过提高监测影像的质量需求，提高了智能伴玩系统的实用性和稳定性。

权利要求

1.基于图像处理的婴幼儿人际沟通拼图训练方法，其特征在于，该方法包括以下步骤：

采集婴幼儿在拼图过程中的静态帧图像，得到对应的灰度图像；

获取存在运动模糊的灰度图像作为目标灰度图像，获取目标灰度图像的频谱图像，对频谱图像中心化得到目标频谱图像；通过分割阈值将目标频谱图像划分为低频区域和高频区域；

对低频区域上的每个边缘点与目标频谱图像的中心点作连接线，根据连接线上每个点的亮度获取对应连接线的分割节点，将所有连接线的分割节点连接得到一个闭合边缘，闭合边缘对应的区域作为第一低频区域；将目标频谱图像中除第一低频区域外的区域作为第一高频区域；

根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数；基于目标灰度图像中每个像素点与其周围像素点之间的灰度差异，利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像；

基于去模糊静态帧图像进行婴幼儿的拼图训练；

所述根据连接线上每个点的亮度获取对应连接线的分割节点的方法，包括：

对连接线上每个点的亮度分别进行至少两次曲线拟合得到对应的亮度变化曲线函数，利用亮度变化曲线函数获取连接线上每个点的拟合亮度，计算连接线上每个点的亮度与对应拟合亮度的差值平方，得到差值平方的相加结果，取相加结果最小所对应的亮度变化曲线函数为最佳亮度变化曲线函数；基于连接线的最佳亮度变化曲线函数，利用拉格朗日中值定理得到对应连接线的分割节点；

所述根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数的方法，包括：分别获取低频区域、高频区域、第一低频区域和第一高频区域的面积；以第一高频区域的面积为分母，第一低频区域的面积为分子得到对应的比值作为第一比值，以高频区域的面积为分子，低频区域的面积为分母得到对应的比值作为第二比值，第一比值和第二比值的乘积作为模糊系数；

所述去模糊静态帧图像的获取方法，包括：

对于目标灰度图像中的任意一个像素点，以像素点为中心设置预设尺寸的窗口，统计窗口内的灰度值类型，计算每个灰度值类型下的像素点数量在窗口内的像素点总数量的占比，根据占比计算熵值，对熵值进行归一化得到归一化熵值，将归一化熵值与模糊系数的乘积作为分母、像素点的灰度值作为分子得到对应的比值，将比值作为像素点的去模糊灰度值；

获取目标灰度图像中每个像素点的去模糊灰度值，得到对应的去模糊静态帧图像。

2.如权利要求1所述的基于图像处理的婴幼儿人际沟通拼图训练方法，其特征在于，所述获取存在运动模糊的灰度图像作为目标灰度图像的方法，包括：利用设定尺寸的拉普拉斯卷积核对灰度图像进行卷积运算，对每次卷积运算的结果计算方差，对方差进行归一化处理得到归一化方差，当归一化方差小于方差阈值时，确认灰度图像存在运动模糊，将灰度图像作为目标灰度图像。

3.基于图像处理的婴幼儿人际沟通拼图训练系统，其特征在于，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现权利要求1‑2的任意一项所述基于图像处理的婴幼儿人际沟通拼图训练方法。

说明书

基于图像处理的婴幼儿人际沟通拼图训练系统及方法

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及一种基于图像处理的婴幼儿人际沟通拼图训练系统及方法。

背景技术

[0002] 通过拼图游戏来发展幼儿的多元智能，提高幼儿的协调能力、社交能力以及探索、观察、辨别能力。当前手机、平板电脑上的益智游戏屡见不鲜，但电子产品对幼儿身体、视力存在一定危害，且不利于培养孩子的动手能力，因此出现了拼图玩具与人工智能相结合的伴玩式幼儿益智类应用，即智能伴玩系统给出场景指令，幼儿根据系统提示逐步将目标拼图放置在匹配的场景拼图中，来培养幼儿的沟通、理解能力，解决了大部分时间紧张、沟通能力差、缺乏引导意识家长的育儿难题。

[0003] 智能伴玩系统需要识别幼儿在拼图过程中的行为以及拼图结果，来对其进行引导、激励和矫错。一般需要连接家庭监控或手机等设备来对幼儿拼图过程进行实时监测，实时监测过程中，无论对于不同拼图玩具还是幼儿的行为都需要较高的识别能力，系统才能及时、准确的对其进行引导和激励，常规拼图识别均采用图像边缘匹配的方式，但家用监控或手机等设备配置有限，在幼儿做出抓取、拼接拼图的动作时，光线环境较差、相机设备卡顿以及桌面支架抖动等因素都可能会使图像出现运动模糊，导致采集的图像无法准确识别目标信息。

[0004] 目前，常规利用变分贝叶斯算法来估测模糊核，利用估测的模糊核对出现运动模糊的图像进行去模糊，得到清晰图像，但该方法基于估测模糊核的后验概率最大的原理实现的，需要大量的迭代计算，显然在幼儿拼图的实时监测过程，达不到及时性且计算量大，进而导致智能伴玩系统不能及时且准确地对幼儿进行拼图引导，实用性差。

发明内容

[0005] 为了解决现有利用变分贝叶斯算法估测的模糊核对运行模糊图像进行去模糊，而导致不能及时且准确地对幼儿进行拼图引导的问题，本发明的目的在于提供一种基于图像处理的婴幼儿人际沟通拼图训练系统及方法，所采用的技术方案具体如下：

[0006] 第一方面，本发明一个实施例提供了一种基于图像处理的婴幼儿人际沟通拼图训练方法，该方法包括：

[0007] 采集婴幼儿在拼图过程中的静态帧图像，得到对应的灰度图像；

[0008] 获取存在运动模糊的灰度图像作为目标灰度图像，获取目标灰度图像的频谱图像，对频谱图像中心化得到目标频谱图像；通过分割阈值将目标频谱图像划分为低频区域和高频区域；

[0009] 对低频区域上的每个边缘点与目标频谱图像的中心点作连接线，根据连接线上每个点的亮度获取对应连接线的分割节点，将所有连接线的分割节点连接得到一个闭合边缘，闭合边缘对应的区域作为第一低频区域；将目标频谱图像中除第一低频区域外的区域作为第一高频区域；

[0010] 根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数；基于目标灰度图像中每个像素点与其周围像素点之间的灰度差异，利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像；

[0011] 基于去模糊静态帧图像进行婴幼儿的拼图训练。

[0012] 进一步的，所述根据连接线上每个点的亮度获取对应连接线的分割节点的方法，包括：

[0013] 对连接线上每个点的亮度分别进行至少两次曲线拟合得到对应的亮度变化曲线函数，利用亮度变化曲线函数获取连接线上每个点的拟合亮度，计算连接线上每个点的亮度与对应拟合亮度的差值平方，得到差值平方的相加结果，取相加结果最小所对应的亮度变化曲线函数为最佳亮度变化曲线函数；基于连接线的最佳亮度变化曲线函数，利用拉格朗日中值定理得到对应连接线的分割节点。

[0014] 进一步的，所述根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数的方法，包括：

[0015] 分别获取低频区域、高频区域、第一低频区域和第一高频区域的面积；以第一高频区域的面积为分母，第一低频区域的面积为分子得到对应的比值作为第一比值，以高频区域的面积为分子，低频区域的面积为分母得到对应的比值作为第二比值，第一比值和第二比值的乘积作为模糊系数。

[0016] 进一步的，所述基于目标灰度图像中每个像素点与其周围像素点之间的灰度差异，利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像的方法，包括：

[0017] 对于目标灰度图像中的任意一个像素点，以像素点为中心设置预设尺寸的窗口，统计窗口内的灰度值类型，计算每个灰度值类型下的像素点数量在窗口内的像素点总数量的占比，根据占比计算熵值，对熵值进行归一化得到归一化熵值，将归一化熵值与模糊系数的乘积作为分母、像素点的灰度值作为分子得到对应的比值，将比值作为像素点的去模糊灰度值；

[0018] 获取目标灰度图像中每个像素点的去模糊灰度值，得到对应的去模糊静态帧图像。

[0019] 进一步的，所述获取存在运动模糊的灰度图像作为目标灰度图像的方法，包括：

[0020] 利用设定尺寸的拉普拉斯卷积核对灰度图像进行卷积运算，对每次卷积运算的结果计算方差，对方差进行归一化处理得到归一化方差，当归一化方差小于方差阈值时，确认灰度图像存在运动模糊，将灰度图像作为目标灰度图像。

[0021] 第二方面，本发明一个实施例提供了一种基于图像处理的婴幼儿人际沟通拼图训练系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述任意一项方法中的步骤。

[0022] 本发明具有如下有益效果：

[0023] 本发明通过采集婴幼儿在拼图过程中的静态帧图像，得到对应的灰度图像，为了避免监测时可能发生监测图像模糊，导致无法识别幼儿行为以及拼图信息，进而无法进行及时、准确的矫正、引导，首先获取存在运动模糊的灰度图像作为目标灰度图像，获取目标灰度图像的频谱图像，对频谱图像中心化得到目标频谱图像，以从空间域转换为频域，更加能够直观体现运动模糊情况；考虑到运动模糊会削弱原本清晰的边缘轮廓，导致部分被削弱的高频信息变为低频信息，进而一起与原本清晰图像中的原低频信息都出现在目标频谱图像中已分割的低频区域中，则将目标频谱图像划分为低频区域和高频区域，进而根据低频区域的边缘点与目标频谱图像的中心点的连接线上，每个点的亮度获取第一低频区域和第一高频区域，用于表征不发生运动模糊时，图像中实际对应的高频区域和低频区域分布情况；然后基于图像运动模糊前后的变化，根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数，进而为了能够提高去模糊的效果，基于目标灰度图像中每个像素点与其周围像素点之间的灰度差异，利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像，相较于变分贝叶斯算法的去模糊，该方法运行简单、鲁棒性好、计算量少、实时性高、且模糊核的估测结果更贴合实际图像，进而基于去模糊静态帧图像进行婴幼儿的拼图训练，能够在完全满足监测系统对于监测影像的质量需求的前提下，提高智能伴玩系统的实用性和稳定性。

附图说明

[0024] 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

[0025] 图1为本发明一个实施例所提供的一种基于图像处理的婴幼儿人际沟通拼图训练方法的步骤流程图；

[0026] 图2为本发明实施例中提供的拟合曲线的示意图。

具体实施方式

[0027] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的婴幼儿人际沟通拼图训练系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

[0028] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

[0029] 本发明所针对的情景为：智能伴玩系统需要识别幼儿在拼图过程中的行为以及拼图结果，以对其进行引导、激励和矫错，一般需要连接家庭监控或手机等设备来对幼儿拼图过程进行实时监测。实时监测过程中无论对于不同拼图玩具还是幼儿的行为都需要较高的识别能力，系统才能及时、准确的对其进行引导和激励，常规拼图识别均采用图像边缘匹配的方式，但家用监控或手机等设备配置有限，在幼儿做出抓取、拼接拼图的动作时，光线环境较差、相机设备卡顿、以及桌面支架抖动等因素都可能会使图像出现运动模糊，导致其所采集图像无法识别目标信息，进而无法进行正确引导。

[0030] 下面结合附图具体的说明本发明所提供的一种基于图像处理的婴幼儿人际沟通拼图训练系统及方法的具体方案。

[0031] 请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的婴幼儿人际沟通拼图训练方法的步骤流程图，该方法包括：

[0032] 步骤S001，采集婴幼儿在拼图过程中的静态帧图像，得到对应的灰度图像。

[0033] 具体的，智能伴玩系统与拼图箱配套，手机安装的智能伴玩系统可以直接获取相机权限或者连接监控对幼儿进行监测。利用支架固定手机调整合适的拍摄角度，然后智能伴玩系统发出拼图指令时，例如：小明在厨房玩玩具；幼儿听到指令后需要找到厨房场景卡插入拼图底板，然后再找到小明、玩具的拼图，并将其贴在背景板上，其中指令包括人物、情绪、动作、物体、语言（气泡）等，在拼图箱内均有对应的拼图，幼儿需要理解指令的含义，然后执行指令，而智能伴玩系统通过监测幼儿抓取、选择拼图，以及在拼图板上拼接、粘贴的过程，来对其进行相应引导、激励和纠错。

[0034] 采集幼儿在执行指令过程中的静态帧图像，并进行灰度化处理得到对应的灰度图像，以更好的捕捉图像边缘信息，减少运算量。其中灰度化处理为公知技术，本方案不再赘述。

[0035] 步骤S002，获取存在运动模糊的灰度图像作为目标灰度图像，获取目标灰度图像的频谱图像，对频谱图像中心化得到目标频谱图像；通过分割阈值将目标频谱图像划分为低频区域和高频区域。

[0036] 具体的，在夜晚或光线不良的环境下，相机会优先识别周围光线并进行图像处理，所以在手机拍摄过程中手机抖动或镜头中目标单位发生运动，则会出现轻微卡顿导致所采集图像存在运动模糊，这是属于正常现象。但智能伴玩系统在监测幼儿拼图行为时，无法保证光线环境总是良好，也不可能由于图像问题而去配备高端的相机设备，因此在智能伴玩系统识别、分析图像时，增加一个去模糊模块，这对提高智能伴玩软件、应用的实用性以及人工智能引导的及时性具有重要意义。

[0037] 首先，对采集的图像确认是否存在运动模糊，将存在运动模糊的图像作为目标图像，用于后续的去模糊处理，则目标图像的获取方法为：利用设定尺寸的拉普拉斯卷积核对灰度图像进行卷积运算，对每次卷积运算的结果计算方差，对方差进行归一化处理得到归一化方差，当归一化方差小于方差阈值时，确认灰度图像存在运动模糊，将灰度图像作为目标灰度图像。

[0038] 作为一个示例，利用3*3的拉普拉斯卷积核与灰度图像进行卷积运算，拉普拉斯算子可以突出显示灰度图像中梯度快速变化的区域，若发生运动模糊，则灰度图像中的边缘越少，因此将每次拉普拉斯卷积核的卷积结果计算方差，若方差很低，则代表灰度图像几乎没有边缘，故设置方差阈值为0.3，对方差进行归一化处理得到归一化方差，当归一化方差小于方差阈值时，确定灰度图像存在运动模糊。其中归一化处理为公知技术，本方案不再赘述。

[0039] 去运动模糊的过程是一个反卷积的过程，即假设当前存在运动模糊的图像是由原图像与一个模糊核卷积后形成的，那么只需要估测出这个模糊核，就可以通过对当前存在运动模糊的图像进行反卷积来去除运动模糊。因此，本方案基于目标灰度图像的频谱图像进行去模糊处理，则先利用傅里叶变换将目标灰度图像从空间域转化为频域，然后利用最大类间方差法获取高亮区域和低亮区域，具体为：对目标灰度图像进行离散傅里叶变换，将目标灰度图像从空间域转换为频域，得到频谱图像；对频谱图像中心化得到目标频谱图像，也即是对频谱图像进行中心平移，将低频移到中心位置；已知频谱图像中每个点的亮度所描述的是目标灰度图像中能量的大小，即空域中梯度越小的像素点，能量越大，在频谱图像中越高亮越低频；梯度越大的像素点，能量衰减越多，在频谱图像中越低亮越高频，由于运动模糊会使原本边缘信息被削弱，发生运动模糊的图像必然使低频信息增多，因此对目标频谱图像中每个点的亮度进行归一化处理，得到归一化亮度，基于目标频谱图像中的归一化亮度，利用最大类间方差法得到目标频谱图像上类间方差最大的低频信息和高频信息对应亮度的分割阈值，然后基于分割阈值将目标频谱图像中的点划分为两类，进而将目标频谱图像划分为高频区域和低频区域。

[0040] 步骤S003，对低频区域上的每个边缘点与目标频谱图像的中心点作连接线，根据连接线上每个点的亮度获取对应连接线的分割节点，将所有连接线的分割节点连接得到一个闭合边缘，闭合边缘对应的区域作为第一低频区域；将目标频谱图像中除第一低频区域外的区域作为第一高频区域。

[0041] 具体的，运动模糊是桌面抖动或人物运动时的速度大于相机曝光时间所导致的，使原本人物、物体的边缘出现拖影，削弱原本清晰的边缘轮廓，导致部分被削弱的高频信息变为低频信息，进而一起与原本图像中的原低频信息都出现在目标频谱图像中已分割的低频区域中，因此为了估测模糊核，首先需要在目标频谱图像中估测由于高频信息被削弱所形成的部分低频信息在低频区域中的占比，具体为：对低频区域上的每个边缘点与目标频谱图像的中心点作连接线，对连接线上每个点的亮度分别进行至少两次曲线拟合得到对应的亮度变化曲线函数，利用亮度变化曲线函数获取连接线上每个点的拟合亮度，计算连接线上每个点的亮度与对应拟合亮度的差值平方，得到差值平方的相加结果，取相加结果最小所对应的亮度变化曲线函数为最佳亮度变化曲线函数；基于连接线的最佳亮度变化曲线函数，利用拉格朗日中值定理得到对应连接线的分割节点；将所有连接线的分割节点连接得到一个闭合边缘，闭合边缘对应的区域作为第一低频区域。

[0042] 作为一个示例，目标频谱图像的中心点处能量最大，亮度由中心向外递减，从低频区域边缘上的每个边缘点向目标频谱图像的中心点作连接线，获取每条由边缘点至中心点沿线上的所有亮度；对于任意一个连接线，根据连接线上所有点的亮度进行曲线拟合，根据每次曲线拟合的结果获取最佳亮度变化曲线函数的公式为：

[0043]

[0044] 其中， 为最佳亮度变化曲线函数； 为最小值函数；为连接线上第c个点的亮度；为连接线上第c个点在对应拟合曲线上的亮度，即拟合亮度；为连接线上的点的数量。

[0045] 需要说明的是， 代表连接线上第c个点的亮度残差的平方，也即是实际亮度与拟合亮度之间的差异，差异越大，说明对应拟合曲线越不合适；计算连接线上所有点的亮度残差的平方和 ，当 的值越小，说明拟合曲线越合适，因此取的值最小时所对应的拟合曲线为最佳拟合曲线，进而最佳拟合曲线对应的亮度变化曲线函数也为最佳亮度变化曲线函数。

[0046] 利用上述最佳亮度变化曲线函数的公式获取每个连接线对应的最佳亮度变化曲线函数。

[0047] 虽然由于抖动产生的运动模糊使得部分高频信息转化为了低频信息，但仅仅是削弱了图像中原本的梯度，而不是完全消失变为一个均匀区域，因此低频区域应该还可以分割为原始低频区域，以及由部分高频信息削弱后形成的低频区域。那么后者几乎都分布在靠近高频区域和低频区域的边界处，因此利用每个连接线对应的最佳亮度变化曲线函数，对最佳亮度变化曲线函数进行求导，并根据拉格朗日中值定理获取每个连接线上的分割节点，则分割节点的计算公式为：

[0048]

[0049] 其中， F´(ε)为连接线的最佳亮度变化曲线函数在第ε个点处的导数； 代表目标频谱图像的中心点的亮度；代表连接线对应的边缘点的亮度， 代表连接线的两个端点的亮度差值；m为连接线上的点的数量。

[0050] 需要说明的是，  为连接线对应的拟合曲线的两个端点的斜率，根据拉格朗日中值定理，当  时，第ε个点则为拟合曲线的变化趋势的变化节点，如图2所示，该变化节点前为由高频信息削弱而变为低频信息的部分，变化节点后则为图像中存在的原始低频信息部分，因此前段亮度变化较快，后段亮度则比较平稳、缓慢，因此将该变化节点作为对应连接线上的分割节点，以分割原始低频区域和由部分高频信息削弱后形成的低频区域。

[0051] 利用上述分割节点的方法，获取每个连接线上的分割节点，然后将这些分割节点连接起来得到一个闭合边缘，该闭合边缘则为目标频谱图像上估测的原清晰图像中的原始低频信息边缘，则将闭合边缘对应的区域作为第一低频区域，进而将目标频谱图像中除第一低频区域外的剩余区域作为第二高频区域，也即是目标频谱图像上估测的原清晰图像中的原始高频信息对应的区域。

[0052] 步骤S004，根据低频区域、高频区域、第一低频区域和第一高频区域获取模糊核的模糊系数；基于目标灰度图像中每个像素点与其周围像素点之间的灰度差异，利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像。

[0053] 具体的，尽管频域与空间域的点并不互相对应，但高频信息和低频信息的占比关系，必然一致，因此可以根据步骤S002得到的目标频谱图像的高频区域与低频区域之间的比例关系，以及步骤S003估测得到对应原清晰图像的第一高频区域和第一低频区域之间的比例关系得到模糊核的模糊系数，具体为：分别获取低频区域、高频区域、第一低频区域和第一高频区域的面积；以第一高频区域的面积为分母、第一低频区域的面积为分子得到对应的比值作为第一比值，以高频区域的面积为分子、低频区域的面积为分母得到对应的比值作为第二比值，第一比值和第二比值的乘积作为模糊系数。

[0054] 作为一个示例，由于清晰图像A•模糊核=运动模糊图B，其中•代表点乘，那么可以将其转化为：清晰图像A的高频与低频之比×模糊系数=运动模糊图像B的高频与低频之比，进而得到模糊系数的计算公式为：

[0055]

[0056] 其中，ω为模糊系数；B代表发生运动模糊的模糊图像；A代表清晰图像；p代表高频信息； q代表低频信息，  代表模糊图像上高频信息的含量，也即是高频区域的面积； 代表模糊图像上低频信息的含量，也即是低频区域的面积； 为清晰图像的低频区域的面积，也即是第一低频区域的面积； 为清晰图像的高频区域的面积，也即是第一高频区域的面积。

[0057] 需要说明的是，  为模糊图像上高频信息含量与低频信息含量之比，同理，代表清晰图像上低频信息和高频信息含量之比，那么  能够得到清晰图像与模糊图像之间的转化关系，即模糊核的模糊系数 。

[0058] 模糊系数可以看作是对于整张图像的整体模糊系数，而实际模糊核在边缘处与灰度均匀区域的模糊程度并不相同，前者受到的模糊程度较大，后者较小，因此需要在模糊系数 的基础上，根据目标灰度图像上不同区域的纹理复杂度来获取每个像素点的自适应局部模糊系数，即将模糊核分离为窗口和模糊系数两部分，然后基于目标灰度图像中每个像素点与其周围像素点之间的灰度差异，利用模糊系数对目标灰度图像进行去模糊，得到去模糊静态帧图像，具体过程为：对于目标灰度图像中的任意一个像素点，以像素点为中心设置预设尺寸的窗口，统计窗口内的灰度值类型，计算每个灰度值类型下的像素点数量在窗口内的像素点总数量的占比，根据占比计算熵值，对熵值进行归一化得到归一化熵值，将归一化熵值与模糊系数的乘积作为分母、像素点的灰度值作为分子得到对应的比值，将比值作为像素点的去模糊灰度值；获取目标灰度图像中每个像素点的去模糊灰度值，得到对应的去模糊静态帧图像。

[0059] 作为一个示例，设置 的窗口对目标灰度图像进行遍历，且n为奇数，本方案中n为9，以目标灰度图像中的第r个像素点为中心获取9*9大小的窗口，根据窗口内每个像素点的灰度值计算第r个像素点的去模糊灰度值，则去模糊灰度值的计算公式为：

[0060]

[0061] 其中， 为第r个像素点的去模糊灰度值；  为第r个像素点在目标灰度图像中的灰度值；为双曲正切函数；代表窗口内第v个灰度值类型下的像素点数量；M为窗口内像素点的总数量；为以自然常数为底的对数函数；为模糊系数；为窗口内灰度值类型的数量。

[0062] 需要说明的是，代表窗口内第v个灰度值类型下的像素点数量在窗口中的像素点总数量的占比，  为窗口内的灰度信息熵，熵值可以体现该窗口内的灰度混乱性，同时可以代表窗口的中心像素点所在局部区域的纹理复杂度，熵值越高则该部分纹理越复杂； 代表利用双曲正切函数th对熵值进行正比例归一化，熵值越大，则的值在0‑1之间越大，那么 作为不同纹理区域受到模糊程度不同，对模糊系数赋予的自适应权重系数也不同；假设原清晰图像中第r个像素点被模糊核卷积之后 ，其灰 度信息被 模糊核削 弱后为 ，那 么 
。

[0063] 利用去模糊灰度值的计算公式获取目标灰度图像中每个像素点的去模糊灰度值，实现去模糊处理，进而得到去模糊静态帧图像。

[0064] 步骤S005，基于去模糊静态帧图像进行婴幼儿的拼图训练。

[0065] 具体的，通过去模糊处理，得到去模糊静态帧图像，以最大程度保证了监测过程中采集图像的清晰度，也避免了人物或手机、相机抖动导致的运动模糊，当智能伴玩系统下达场景指令时，系统对去模糊静态帧图像进行目标信息识别，即通过现有人体动作识别模块，以及边缘分割幼儿所抓取的拼图图像，并将分割后的图像与预存模板库进行模板匹配，可以基于matchTemplate+旋转+图像金字塔实现多角度的模板匹配，模板匹配为公知技术，本方案不再赘述。若幼儿抓取拼图与指令拼图一致，则进行语音激励，若不一致，则进行相关引导，具体引导方式非本发明重点，不再说明，进而实现对幼儿的拼图训练。

[0066] 作为一个示例，由于智能伴玩系统与拼图玩具配套，智能伴玩系统内本身含有拼图模板，因此均可以利用模板匹配的方式进行验证，模板匹配方法为目标图像（去模糊静态帧图像）与模板图像计算结构相似度，结构相似度为公知算法，其取值在0‑1之间，结构相似度的值越大越相似。由于经过预处理阶段，图像清晰度有了保证，因此影响模板匹配结果的因素仅有遮挡和角度等问题，后者可以基于matchTemplate+旋转+图像金字塔实现多角度的模板匹配，考虑到遮挡，设置结构相似度阈值0.7，给予容错，结构相似度大于等于0.7认为匹配成功，若结构相似度小于0.7认为匹配失败，则幼儿的拼图训练的具体过程如下：

[0067] 1.利用在Human Pose Evaluator人体轮廓影像数据库中训练好的Openpose网络对去模糊后的幼儿监测图像（去模糊静态帧图像）进行人体骨架轮廓识别，Openpose网络的输入为：去模糊后的幼儿监测图像，输出为：婴幼儿头部、躯干、左右大小臂等6个关键点的连通骨架，由于Openpose网络为现有常用的识别多人或单人的姿态识别网络，其训练过程以及训练过程中的损失函数为公知内容，此处不再赘述。

[0068] 2.由于幼儿执行指令时需要进行引导，因此需要节省智能伴玩系统的运行时间，提高实时性，故在小臂与手部连通骨架对应的向量末端进行目标物检测范围框的选取，检测范围框为圆形，根据人体比例经验，设定检测范围框的半径为小臂对应的标记线段长度的1/4，在该检测范围框内进行目标物检测。其检测方式采用指令对应模板在检测范围框内进行滑动模板匹配的方式，模板匹配方法如上所述。在抓取目标物向背景板移动的过程中，只需要监测过程中有3帧以上匹配成功即可确定抓取拼图为目标拼图。

[0069] 3.同样的，通过模板匹配的方式提前识别背景板，模板匹配方法同上，已知语音指令对应背景板上的图槽区域，将其进行标记，确定抓取成功后，再根据小臂与手部连通骨架对应的向量的延伸方向确定幼儿抓取目标拼图后拼接在背景板上对应的目标图槽是否正确，以在该抓取移动过程中对幼儿行为进行激励、纠正、引导。

[0070] 4.在抓取移动过程中，利用光流法进行连续帧光流场识别，手部抓取目标拼图移动时，其相邻帧之间存在光流场，动态标记每相邻连续帧的检测范围框内的光流场区域，光流法为公知技术，此处不再赘述。

[0071] 5.当光流场区域与已标记的图槽区域相交时，即两个区域中任意点的坐标出现相同、重合时，延迟2‑3秒后，再次识别背景板上已标记的图槽区域，与拼接结果模板进行模板匹配，模板匹配方式同上，判断拼接结果是否正确。

[0072] 需要说明的是，以上所述的Human Pose Evaluator、Openpose网络的训练方法为公知技术，仅需要自行调整训练数据体量，训练数据越大，Openpose网络的标记结果更准确，根据需求自行调整即可不多赘述。

[0073] 基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于图像处理的婴幼儿人际沟通拼图训练系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于图像处理的婴幼儿人际沟通拼图训练方法实施例中的步骤，例如图1所示的步骤。该一种基于图像处理的婴幼儿人际沟通拼图训练方法在上述实施例中已经详细说明，不再赘述。

[0074] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

[0075] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

[0076] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。