一种教学辅助系统

摘要

本发明公开了一种教学辅助系统，包括图像获取模块、图像处理模块、云服务器模块和显示模块；图像获取模块用于获取学生的面部图像；图像处理模块用于获取面部图像中包含的特征信息；云服务器模块用于根据特征信息判断面部图像中包含的脸部表情的类型，以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比；显示模块用于对理解百分比进行展示。本发明通过理解系数来表示学生的理解程度，有效地辅助了老师对学生的理解程度进行了解，使得老师能够充分了解所有学生整体的理解情况。

权利要求

1.一种教学辅助系统，其特征在于，包括图像获取模块、图像处理模块、云服务器模块和显示模块；

图像获取模块用于获取学生的面部图像；

图像处理模块用于获取面部图像中包含的特征信息，以及用于将特征信息发送至云服务器模块；

云服务器模块用于根据特征信息判断面部图像中包含的脸部表情的类型，以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比，并将理解百分比发送至显示模块；

显示模块用于对理解百分比进行展示；

所述图像获取模块包括拍照单元、判断单元；

所述拍照单元用于获取学生的面部图像；

判断单元用于计算面部图像的图像系数，以及用于在图像系数大于设定的系数阈值时，将面部图像传输至图像处理模块；

所述拍照单元还用于在图像系数小于等于设定的系数阈值时，再次获取学生的面部图像；

所述计算面部图像的图像系数，包括：

通过下述公式计算面部图像的图像系数：

式中，phoids表示面部图像的图像系数，w1、w2、w3表示预设的权重系数，num1表示面部图像中符合设定的筛选条件的像素点的数量，numall表示面部图像中包含的像素点的总数，LU表示图像G中的像素点的集合，图像G为面部图像在RGB颜色空间中的红色分量的图像，G(i)表示LU中的像素点i在图像G中的像素值，num2表示图像G中包含的像素点的总数，kdG表示预设的像素值方差标准系数，M和N分别表示面部图像的行数和列数，fl(j,k)表示第j行第k列的像素点的水平梯度值，fl(j,k+1)表示第j行第k+1列的像素点的水平梯度值，kdS表示设定的水平梯度值比较值。

2.根据权利要求1所述的一种教学辅助系统，其特征在于，所述图像处理模块包括处理单元和第一通信单元；

处理单元用于获取面部图像中包含的特征信息；

第一通信单元用于将特征信息发送至云服务器模块。

3.根据权利要求1所述的一种教学辅助系统，其特征在于，所述云服务器模块包括存储单元、计算单元和第二通信单元；

存储单元用于存储预设的Q种类型的脸部表情的特征信息；

计算单元用于将第一通信单元发送过来的特征信息与存储单元中存储的特征信息进行匹配，判断面部图像中包含的脸部表情的类型；

以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比；

第二通信单元用于将理解百分比发送至显示模块。

4.根据权利要求1所述的一种教学辅助系统，其特征在于，所述设定的筛选条件包括：式中，R(u)、G(u)、B(u)分别表示面部图像中的像素点u在图像R、图像G、图像B中的像素值，图像G和图像B分别为面部图像在RGB颜色空间中的绿色分量和蓝色分量的图像。

5.根据权利要求1所述的一种教学辅助系统，其特征在于，所述获取面部图像中包含的特征信息，包括：对面部图像进行倾斜校正处理，获得校正图像；

对校正图像进行灰度化处理，获得灰度图像；

对灰度图像进行降噪处理，获得降噪图像；

使用图像特征获取算法获取降噪图像中包含的特征信息。

6.根据权利要求5所述的一种教学辅助系统，其特征在于，所述对校正图像进行灰度化处理，获得灰度图像，包括：使用如下公式对校正图像进行灰度化处理：

GR(v)＝0.38R(v)+0.49G(v)+0.11B(v)式中，GR表示灰度图像，GR(v)表示校正图像中的像素点v在GR中的像素值，R(v)、G(v)、B(v)分别表示校正图像中的像素点v在图像R、图像G、图像B中的像素值，图像R、图像G、图像B分别为面部图像在RGB颜色空间中的红色分量、绿色分量、蓝色分量的图像。

说明书

一种教学辅助系统

技术领域

[0001] 本发明涉及教育领域，尤其涉及一种教学辅助系统。

背景技术

[0002] 现有的教学方式，一个老师需要面对多个学生，在进行课堂讲解时，老师需要根据学生的反馈来判断学生是否理解讲解的内容。但是，由于课室比较大，老师只能观察到少数学生的表情反馈，这样就导致对于学生是否理解了讲解的内容进行判断时，不能充分了解学生的理解情况。

发明内容

[0003] 本发明的目的在于公开一种教学辅助系统，解决现有技术中，老师讲课时不能充分了解所有学生整体的理解情况的问题。

[0004] 为了达到上述目的，本发明采用如下技术方案：

[0005] 一种教学辅助系统，包括图像获取模块、图像处理模块、云服务器模块和显示模块；

[0006] 图像获取模块用于获取学生的面部图像；

[0007] 图像处理模块用于获取面部图像中包含的特征信息，以及用于将特征信息发送至云服务器模块；

[0008] 云服务器模块用于根据特征信息判断面部图像中包含的脸部表情的类型，以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比，并将理解百分比发送至显示模块；

[0009] 显示模块用于对理解百分比进行展示。

[0010] 优选地，所述图像获取模块包括拍照单元、判断单元；

[0011] 所述拍照单元用于获取学生的面部图像；

[0012] 判断单元用于计算面部图像的图像系数，以及用于在图像系数大于设定的系数阈值时，将面部图像传输至图像处理模块；

[0013] 所述拍照单元还用于在图像系数小于等于设定的系数阈值时，再次获取学生的面部图像。

[0014] 优选地，所述图像处理模块包括处理单元和第一通信单元；

[0015] 处理单元用于获取面部图像中包含的特征信息；

[0016] 第一通信单元用于将特征信息发送至云服务器模块。

[0017] 优选地，所述云服务器模块包括存储单元、计算单元和第二通信单元；

[0018] 存储单元用于存储预设的Q种类型的脸部表情的特征信息；

[0019] 计算单元用于将第一通信单元发送过来的特征信息与存储单元中存储的特征信息进行匹配，判断面部图像中包含的脸部表情的类型；

[0020] 以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比；

[0021] 第二通信单元用于将理解百分比发送至显示模块。

[0022] 优选地，所述计算面部图像的图像系数，包括：

[0023] 通过下述公式计算面部图像的图像系数：

[0024]

[0025] 式中，phoids表示面部图像的图像系数，w1、w2、w3表示预设的权重系数，num1表示面部图像中符合设定的筛选条件的像素点的数量，numall表示面部图像中包含的像素点的总数，LU表示图像G中的像素点的集合，图像G为面部图像在RGB颜色空间中的红色分量的图像，G(i)表示LU中的像素点i在图像G中的像素值，num2表示图像G中包含的像素点的总数，kdG表示预设的像素值方差标准系数，M和N分别表示面部图像的行数和列数，fl(j,k)表示第j行第k列的像素点的水平梯度值，fl(j,k+1)表示第j行第k+1列的像素点的水平梯度值，kdS表示设定的水平梯度值比较值。

[0026] 优选地，所述设定的筛选条件包括：

[0027]

[0028] 式中，R(u)、G(u)、B(u)分别表示面部图像中的像素点u在图像R、图像G、图像B中的像素值，图像G和图像B分别为面部图像在RGB颜色空间中的绿色分量和蓝色分量的图像。

[0029] 优选地，所述获取面部图像中包含的特征信息，包括：

[0030] 对面部图像进行倾斜校正处理，获得校正图像；

[0031] 对校正图像进行灰度化处理，获得灰度图像；

[0032] 对灰度图像进行降噪处理，获得降噪图像；

[0033] 使用图像特征获取算法获取降噪图像中包含的特征信息。

[0034] 优选地，所述对校正图像进行灰度化处理，获得灰度图像，包括：

[0035] 使用如下公式对校正图像进行灰度化处理：

[0036] GR(v)＝0.38R(v)+0.49G(v)+0.11B(v)

[0037] 式中，GR表示灰度图像，GR(v)表示校正图像中的像素点v在GR中的像素值，R(v)、G(v)、B(v)分别表示校正图像中的像素点v在图像R、图像G、图像B中的像素值，图像R、图像G、图像B分别为面部图像在RGB颜色空间中的红色分量、绿色分量、蓝色分量的图像。

[0038] 本发明通过在老师讲课的过程中获取包含学生的面部表情的面部图像，然后再分别获取每个学生的面部图像所代表的表情的类型，最后根据所有的学生的表情的类型来计算理解系数，通过理解系数来表示学生的理解程度，有效地辅助了老师对学生的理解程度的了解，使得老师能够充分了解所有学生整体的理解情况。

附图说明

[0039] 利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

[0040] 图1，为本发明一种教学辅助系统的一种示例性实施例图。

[0041] 图2，为本发明8邻域像素点的一种示例性实施例图。

具体实施方式

[0042] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0043] 如图1所示的一种实施例，本发明提供了一种教学辅助系统，包括图像获取模块、图像处理模块、云服务器模块和显示模块；

[0044] 图像获取模块用于获取学生的面部图像；

[0045] 图像处理模块用于获取面部图像中包含的特征信息，以及用于将特征信息发送至云服务器模块；

[0046] 云服务器模块用于根据特征信息判断面部图像中包含的脸部表情的类型，以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比，并将理解百分比发送至显示模块；

[0047] 显示模块用于对理解百分比进行展示。

[0048] 发明通过在老师讲课的过程中获取包含学生的面部表情的面部图像，然后再分别获取每个学生的面部图像所代表的表情的类型，最后根据所有的学生的表情的类型来计算理解系数，通过理解系数来表示学生的理解程度，有效地辅助了老师对学生的理解程度的了解，使得老师能够充分了解所有学生整体的理解情况。

[0049] 优选地，所述基于所有面部图像的脸部表情的类型计算学生的理解百分比，包括：

[0050] 将学生的总人数记为H，将符合设定类型的脸部表情的学生的人数记为h，则理解百分比通过如下方式计算：

[0051]

[0052] 式中，knwidx表示理解百分比。

[0053] 具体的，设定类型的脸部表情可以包括思考、皱眉、疑惑等类型的脸部表情。

[0054] 优选地，所述图像获取模块包括拍照单元、判断单元；

[0055] 所述拍照单元用于获取学生的面部图像；

[0056] 判断单元用于计算面部图像的图像系数，以及用于在图像系数大于设定的系数阈值时，将面部图像传输至图像处理模块；

[0057] 所述拍照单元还用于在图像系数小于等于设定的系数阈值时，再次获取学生的面部图像。

[0058] 在上述实施例中，通过设置系数阈值，能够避免面部图像中低于预期的图像被传输至图像处理模块，这样设置，能够提高进入图像处理模块的面部图像的正确信息的含量，从而有利于提高最终的表情识别的准确率。

[0059] 优选地，所述图像处理模块包括处理单元和第一通信单元；

[0060] 处理单元用于获取面部图像中包含的特征信息；

[0061] 第一通信单元用于将特征信息发送至云服务器模块。

[0062] 优选地，所述云服务器模块包括存储单元、计算单元和第二通信单元；

[0063] 存储单元用于存储预设的Q种类型的脸部表情的特征信息；

[0064] 计算单元用于将第一通信单元发送过来的特征信息与存储单元中存储的特征信息进行匹配，判断面部图像中包含的脸部表情的类型；

[0065] 以及用于基于所有面部图像的脸部表情的类型计算学生的理解百分比；

[0066] 第二通信单元用于将理解百分比发送至显示模块。

[0067] 优选地，所述计算面部图像的图像系数，包括：

[0068] 通过下述公式计算面部图像的图像系数：

[0069]

[0070] 式中，phoids表示面部图像的图像系数，w1、w2、w3表示预设的权重系数，num1表示面部图像中符合设定的筛选条件的像素点的数量，numall表示面部图像中包含的像素点的总数，LU表示图像G中的像素点的集合，图像G为面部图像在YCrCb颜色空间中对应的Cr分量的图像，G(i)表示LU中的像素点i在图像G中的像素值，num2表示图像G中包含的像素点的总数，kdG表示预设的像素值方差标准系数，M和N分别表示面部图像的行数和列数，fl(j,k)表示第j行第k列的像素点的水平梯度值，fl(j,k+1)表示第j行第k+1列的像素点的水平梯度值，kdS表示设定的水平梯度值比较值。

[0071] 本发明在计算过程中，分别从符合筛选条件的像素点的数量、像素点在Cr分量中的像素值的方差、相邻的像素点在水平梯度值中的差异这几方面来进行考虑。符合筛选条件的像素点的数量越大，图像G中像素点之间的像素值差异越小，相邻像素点的视屏梯度差异平均值越大，则表明图像中的脸部皮肤区域的像素点比例越大、脸部皮肤区域的像素点中的差异越小、图像中的信息含量越丰富，即图像正确信息的含量越大。

[0072] 优选地，所述设定的筛选条件包括：

[0073]

[0074] 式中，R(u)、G(u)、B(u)分别表示面部图像中的像素点u在图像R、图像G、图像B中的像素值，图像G和图像B分别为面部图像在RGB颜色空间中的绿色分量和蓝色分量的图像。

[0075] 上述筛选条件仅在同一种颜色模型中便实现了对脸部皮肤区域的像素点的筛选，能够有效地提高筛选的速度。

[0076] 优选地，所述获取面部图像中包含的特征信息，包括：

[0077] 对面部图像进行倾斜校正处理，获得校正图像；

[0078] 对校正图像进行灰度化处理，获得灰度图像；

[0079] 对灰度图像进行降噪处理，获得降噪图像；

[0080] 使用图像特征获取算法获取降噪图像中包含的特征信息。

[0081] 由于不可能在每个学生的正前方设置摄像头来获取学生的面部图像，因此，从其它的角度获取学生的面部图像后，先进行倾斜校正，能够提高校正图像中的脸部器官之间分布的正确性，避免由于倾斜摄影带来错误的器官之间的相对位置关系。影响后续获取的特征信息的正确性。降噪处理则是能降低噪声对特征信息的正确性的影响。

[0082] 优选地，所述对校正图像进行灰度化处理，获得灰度图像，包括：

[0083] 使用如下公式对校正图像进行灰度化处理：

[0084] GR(v)＝0.38R(v)+0.49G(v)+0.11B(v)

[0085] 式中，GR表示灰度图像，GR(v)表示校正图像中的像素点v在GR中的像素值，R(v)、G(v)、B(v)分别表示校正图像中的像素点v在图像R、图像G、图像B中的像素值，图像R、图像G、图像B分别为面部图像在RGB颜色空间中的红色分量、绿色分量、蓝色分量的图像。

[0086] 优选地，所述对灰度图像进行降噪处理，获得降噪图像，包括：

[0087] 使用非局部均值降噪算法对灰度图像进行降噪处理，获得中间图像；

[0088] 对中间图像进行增强处理，获得降噪图像。

[0089] 优选地，所述对中间图像进行增强处理，获得降噪图像，包括：

[0090] 获取中间图像中的边缘像素点的集合U；

[0091] 如图2所示，对于中间图像中不属于U中的像素点k，将其8邻域中的像素点按照从左到右，从上到下的顺序分别记为p1、p2、p3、p4、p5、p6、p7、p8；

[0092] 将像素点k的8邻域中的像素点存入集合S；

[0093] 若集合S中的像素点k满足预设的判定条件，则对像素点k进行如下增强处理：

[0094]

[0095] 式中，Fk和aFk分别表示对像素点k进行增强处理前和增强处理后的像素值，u∈{1,2,3,4}，当u＝1时，v＝8，当u＝2时，v＝7，当u＝3时，v＝6，当u＝4时，v＝5；Φ表示比例系数，Φ的取值范围为(0,1)，F(pu)和F(pv)分别表示像素点pu和pv的像素值；

[0096] 预设的判定条件包括：

[0097] 条件1：p1和p8均属于U且S中除了p1和p8之外的像素点均不属于U；

[0098] 条件2：p3和p6均属于U且S中除了p3和p6之外的像素点均不属于U；

[0099] 条件3：p4和p5均属于U且S中除了p4和p5之外的像素点均不属于U；

[0100] 条件4：p2和p7均属于U且S中除了p2和p7之外的像素点均不属于U；

[0101] 条件1、条件2、条件3、条件4任意一个成立，则像素点满足预设的判定条件。

[0102] 在上述实施例中，本发明通过先对像素点k进行是否满足判定条件的判断，然后再在像素点k满足设定的判断条件时，对像素点k进行增强处理，这样的设置方式，能够有效地对中间图像进行边缘增强处理。判定条件的设置可以选出处于两个边缘像素点之间的像素点，然后对其进行边缘点延续性修复。从而提高获得的降噪图像中的边缘信息的含量。

[0103] 尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。

[0104] 需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。

[0105] 通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。

[0106] 实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD‑ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。