在线教育平台用的学习状态检测系统及方法转让专利

申请号 : CN202210559893.8

文献号 : CN114724229B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨剑宁李超赵勰范仁龙

申请人 : 北京英华在线科技有限公司

摘要 :

本发明涉及在线教育技术领域,提供了一种在线教育平台用的学习状态检测系统及方法,包括:采集模块,用于采集学生在学习时的实时图像数据,以及学生的正面图像数据和侧面图像数据;特征信息获取模块,用于获取实时图像数据、正面图像数据和侧面图像数据中的特征信息;数据处理模块,用于根据实时面部占比△S与正面面部占比Sa和侧面面部占比Sb之间的关系判断学生实时的学习状态;报警模块,用于输出提示信息和报警信息。本方明将实时面部位置变化后的面部占比与正面面部占比和侧面面部占比进行比对,根据比对结果判断学生当前的学习状态,从而在学生进行线上课程学习时,及时的根据学生的实时学习状态进行警示和提醒,使其能够专心的进行学习。

权利要求 :

1.一种在线教育平台用的学习状态检测系统,其特征在于,包括:

采集模块,用于实时采集学生在学习时的实时图像数据,还用于采集所述学生的正面图像数据和侧面图像数据;

特征信息获取模块,用于获取所述实时图像数据、正面图像数据和侧面图像数据中的特征信息;其中,所述特征信息获取模块还用于在获取所述特征信息时,分别从所述实时图像数据、正面图像数据和侧面图像数据中提取一图像帧,确定每一所述图像帧中的面部区域,并在所述图像帧中设置一包含所述面部区域的矩形框,所述矩形框的宽度与所述面部区域的最大宽度相等,所述矩形框的高度与所述面部区域的最大高度相等,确定每一所述矩形框中的面部区域的面积占比,以获取所述实时图像数据中的实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb;

数据处理模块,用于根据所述实时面部占比△S与所述正面面部占比Sa和侧面面部占比Sb之间的关系判断所述学生实时的学习状态:当△S=Sa时,则判断所述学生当前为正常学习状态;

当(Sa+Sb)/2≤△S<Sa时,则判断所述学生为待确认学习状态,并在间隔预设时长后,再次判断所述学生当前的学习状态;

当Sb≤△S<(Sa+Sb)/2时,则判断所述学生为异常学习状态;

当△S<Sb时,则判断所述学生为未学习状态;

报警模块,用于在判断所述学生为异常学习状态时,输出提示信息;还用于在判断所述学生为未学习状态时,输出报警信息;

所述数据处理模块还用于设定第一预设面部占比S1、第二预设面部占比S2、第三预设面部占比S3和第四预设面部占比S4,且(Sa+Sb)/2<S1<S2<S3<S4<Sa;所述数据处理模块还用于设定第一预设时长T1、第二预设时长T2、第三预设时长T3、第一预设时长T4和第五预设时长T5,且T1<T2<T3<T4<T5;

所述数据处理模块还用于当(Sa+Sb)/2≤△S<Sa,判断所述学生为待确认学习状态,并在间隔预设时长,再次判断所述学生当前的学习状态时,根据所述实时面部占比△S与各预设时长之间的关系设定再次判断所述学生当前的学习状态时的间隔时长:当△S≤S1时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第一预设时长T1;

当S1<△S≤S2时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第二预设时长T2;

当S2<△S≤S3时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第三预设时长T3;

当S3<△S≤S4时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第四预设时长T4;

当S4<△S<Sa时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第五预设时长T5,且T5=T1+T4;

在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx后,x=1,

2,3,4,5,则在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态;

所述特征信息获取模块还用于在确定所述图像帧中的面部区域后,分别确定面部区域的左眼、右眼和鼻尖的中心点位置,并分别获取双眼之间的间距、左眼与鼻尖之间的间距、右眼与鼻尖之间的间距、左眼与图像帧右侧边缘之间的间距以及右眼与图像帧左侧边缘之间的间距;

所述数据处理模块还用于根据所述正面图像数据建立正面图像距离信息矩阵L0,设定L0(L1,L2,L3,L4,L5),其中,L1为正面图像数据中双眼之间的间距,L2为正面图像数据中右眼与鼻尖之间的间距,L3为正面图像数据中左眼与鼻尖之间的间距,L4为正面图像数据中右眼与图像帧左侧边缘之间的间距,L5为正面图像数据中左眼与图像帧右侧边缘之间的间距;

所述数据处理模块还用于根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn,设定Pn(Pn1,Pn2,Pn3,Pn4,Pn5),其中,Pn1为第n时刻双眼之间的间距,Pn2为第n时刻右眼与鼻尖之间的间距,Pn3为第n时刻左眼与鼻尖之间的间距,Pn4为第n时刻右眼与第n图像帧左侧边缘之间的间距,Pn5为第n时刻左眼与第n图像帧右侧边缘之间的间距;

所述数据处理模块还用于设定第一预设距离差值A1、第二预设距离差值A2、第三预设距离差值A3和第四预设距离差值A4,且A1<A2<A3<A4;

所述数据处理模块还用于在判断所述学生为待确认学习状态,并在间隔所述第x预设时长Tx后,再次判断所述学生当前的学习状态时,根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态,并在根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态时,将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,根据比对结果确定所述学生当前的学习状态:当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A1时,则判断所述学生当前为正常学习状态;

当A1≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A2时,则判断所述学生当前为待确认学习状态;

当A2≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A3时,则判断所述学生当前为异常学习状态;

当A3≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A4时,则判断所述学生当前为未学习状态。

2.根据权利要求1所述的在线教育平台用的学习状态检测系统,其特征在于,所述特征信息获取模块还用于在获取所述实时图像数据时,获取第n时刻的实时图像数据,并从所述第n时刻的实时图像数据中获取第n时刻实时面部占比△Sn;

所述数据处理模块还用于在将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,并根据比对结果确定学习状态时,根据所述第n时刻实时面部占比△Sn与第n‑1时刻实时面部占比△Sn‑1之间的差值对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;其中,所述数据处理模块还用于设定第一预设占比差值m1、第二预设占比差值m2、第三预设占比差值m3和第四预设占比差值m4,且m1<m2<m3<m4;所述数据处理模块还用于设定第一预设修正系数q1、第二预设修正系数q2、第三预设修正系数q3和第四预设修正系数q4,且

1<q1<q2<q3<q4<1.2,q1 q4依次等差排列;

~

所述数据处理模块还用于根据△Sn与△Sn‑1之间的差值与各预设占比差值之间的关系选定修正系数,以对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正:当△Sn‑△Sn‑1≤m1时,无需对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m1<△Sn‑△Sn‑1≤m2时,选定所述第一预设修正系数q1对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m2<△Sn‑△Sn‑1≤m3时,选定所述第二预设修正系数q2对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m3<△Sn‑△Sn‑1≤m4时,选定所述第三预设修正系数q3对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m4<△Sn‑△Sn‑1时,选定所述第四预设修正系数q4对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

所述数据处理模块还用于在选定第i预设修正系数qi对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正后,根据修正后的差值[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]*qi进行学习状态的判断,其中,i=1,2,3,4。

3.根据权利要求1所述的在线教育平台用的学习状态检测系统,其特征在于,所述数据处理模块还用于获取所述学生的历史测试成绩,并根据所述历史测试成绩确定所述学生的优秀成绩次数W0;

所述数据处理模块还用于设定第一预设优秀成绩次数W1、第二预设优秀成绩次数W2、第三预设优秀成绩次数W3和第四预设优秀成绩次数W4,且0<W1<W2<W3<W4;所述数据处理模块还用于设定第一预设间隔时长修正系数y1、第二预设间隔时长修正系数y2、第三预设间隔时长修正系数y3、第四预设间隔时长修正系数y4和第五预设间隔时长修正系数y5,且1<y1<y2<y3<y4<y5<2;

所述数据处理模块还用于在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx,x=1,2,3,4,5,并在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态时,根据所述学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的所述第x预设时长Tx进行修正:当W0≤W1时,则选定所述第一预设间隔时长修正系数y1对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1作为再次判断所述学生当前的学习状态时的间隔时长;

当W1<W0≤W2时,则选定所述第二预设间隔时长修正系数y2对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y2作为再次判断所述学生当前的学习状态时的间隔时长;

当W2<W0≤W3时,则选定所述第三预设间隔时长修正系数y3对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y3作为再次判断所述学生当前的学习状态时的间隔时长;

当W3<W0≤W4时,则选定所述第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y4作为再次判断所述学生当前的学习状态时的间隔时长;

当W4<W0时,则选定所述第一预设间隔时长修正系数y1和第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1*y4作为再次判断所述学生当前的学习状态时的间隔时长。

4.一种在线教育平台用的学习状态检测方法,其特征在于,包括:

实时采集学生在学习时的实时图像数据,以及采集所述学生的正面图像数据和侧面图像数据;

获取所述实时图像数据、正面图像数据和侧面图像数据中的特征信息;其中,在获取所述特征信息时,分别从所述实时图像数据、正面图像数据和侧面图像数据中提取一图像帧,确定每一所述图像帧中的面部区域,并在所述图像帧中设置一包含所述面部区域的矩形框,所述矩形框的宽度与所述面部区域的最大宽度相等,所述矩形框的高度与所述面部区域的最大高度相等,确定每一所述矩形框中的面部区域的面积占比,以获取所述实时图像数据中的实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb;

根据所述实时面部占比△S与所述正面面部占比Sa和侧面面部占比Sb之间的关系判断所述学生实时的学习状态:当△S=Sa时,则判断所述学生当前为正常学习状态;

当(Sa+Sb)/2≤△S<Sa时,则判断所述学生为待确认学习状态,并在间隔预设时长后,再次判断所述学生当前的学习状态;

当Sb≤△S<(Sa+Sb)/2时,则判断所述学生为异常学习状态;

当△S<Sb时,则判断所述学生为未学习状态;

在判断所述学生为异常学习状态时,进行异常学习状态提示;在判断所述学生为未学习状态时,进行未学习状态报警;

预先设定第一预设面部占比S1、第二预设面部占比S2、第三预设面部占比S3和第四预设面部占比S4,且(Sa+Sb)/2<S1<S2<S3<S4<Sa;预先设定第一预设时长T1、第二预设时长T2、第三预设时长T3、第一预设时长T4和第五预设时长T5,且T1<T2<T3<T4<T5;

当(Sa+Sb)/2≤△S<Sa,判断所述学生为待确认学习状态,并在间隔预设时长,再次判断所述学生当前的学习状态时,根据所述实时面部占比△S与各预设时长之间的关系设定再次判断所述学生当前的学习状态时的间隔时长:当△S≤S1时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第一预设时长T1;

当S1<△S≤S2时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第二预设时长T2;

当S2<△S≤S3时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第三预设时长T3;

当S3<△S≤S4时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第四预设时长T4;

当S4<△S<Sa时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第五预设时长T5,且T5=T1+T4;

在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx后,x=1,

2,3,4,5,则在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态;

在确定所述图像帧中的面部区域后,分别确定面部区域的左眼、右眼和鼻尖的中心点位置,并分别获取双眼之间的间距、左眼与鼻尖之间的间距、右眼与鼻尖之间的间距、左眼与图像帧右侧边缘之间的间距以及右眼与图像帧左侧边缘之间的间距;

根据所述正面图像数据建立正面图像距离信息矩阵L0,设定L0(L1,L2,L3,L4,L5),其中,L1为正面图像数据中双眼之间的间距,L2为正面图像数据中右眼与鼻尖之间的间距,L3为正面图像数据中左眼与鼻尖之间的间距,L4为正面图像数据中右眼与图像帧左侧边缘之间的间距,L5为正面图像数据中左眼与图像帧右侧边缘之间的间距;

根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn,设定Pn(Pn1,Pn2,Pn3,Pn4,Pn5),其中,Pn1为第n时刻双眼之间的间距,Pn2为第n时刻右眼与鼻尖之间的间距,Pn3为第n时刻左眼与鼻尖之间的间距,Pn4为第n时刻右眼与第n图像帧左侧边缘之间的间距,Pn5为第n时刻左眼与第n图像帧右侧边缘之间的间距;

预先设定第一预设距离差值A1、第二预设距离差值A2、第三预设距离差值A3和第四预设距离差值A4,且A1<A2<A3<A4;

在判断所述学生为待确认学习状态,并在间隔所述第x预设时长Tx后,再次判断所述学生当前的学习状态时,根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态,并在根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态时,将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,根据比对结果确定所述学生当前的学习状态:当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A1时,则判断所述学生当前为正常学习状态;

当A1≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A2时,则判断所述学生当前为待确认学习状态;

当A2≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A3时,则判断所述学生当前为异常学习状态;

当A3≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A4时,则判断所述学生当前为未学习状态。

5.根据权利要求4所述的在线教育平台用的学习状态检测方法,其特征在于,在获取所述实时图像数据时,获取第n时刻的实时图像数据,并从所述第n时刻的实时图像数据中获取第n时刻实时面部占比△Sn;

在将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,并根据比对结果确定学习状态时,根据所述第n时刻实时面部占比△Sn与第n‑

1时刻实时面部占比△Sn‑1之间的差值对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;其中,预先设定第一预设占比差值m1、第二预设占比差值m2、第三预设占比差值m3和第四预设占比差值m4,且m1<m2<m3<m4;预先设定第一预设修正系数q1、第二预设修正系数q2、第三预设修正系数q3和第四预设修正系数q4,且1<q1<q2<q3<q4<1.2,q1 q4依次等差~排列;

根据△Sn与△Sn‑1之间的差值与各预设占比差值之间的关系选定修正系数,以对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正:当△Sn‑△Sn‑1≤m1时,无需对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m1<△Sn‑△Sn‑1≤m2时,选定所述第一预设修正系数q1对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m2<△Sn‑△Sn‑1≤m3时,选定所述第二预设修正系数q2对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m3<△Sn‑△Sn‑1≤m4时,选定所述第三预设修正系数q3对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

当m4<△Sn‑△Sn‑1时,选定所述第四预设修正系数q4对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;

在选定第i预设修正系数qi对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正后,根据修正后的差值[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]*qi进行学习状态的判断,其中,i=1,2,3,4。

6.根据权利要求4所述的在线教育平台用的学习状态检测方法,其特征在于,获取所述学生的历史测试成绩,并根据所述历史测试成绩确定所述学生的优秀成绩次数W0;其中,预先设定第一预设优秀成绩次数W1、第二预设优秀成绩次数W2、第三预设优秀成绩次数W3和第四预设优秀成绩次数W4,且0<W1<W2<W3<W4;预先设定第一预设间隔时长修正系数y1、第二预设间隔时长修正系数y2、第三预设间隔时长修正系数y3、第四预设间隔时长修正系数y4和第五预设间隔时长修正系数y5,且1<y1<y2<y3<y4<y5<2;

在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx,x=1,2,

3,4,5,并在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态时,根据所述学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的所述第x预设时长Tx进行修正:当W0≤W1时,则选定所述第一预设间隔时长修正系数y1对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1作为再次判断所述学生当前的学习状态时的间隔时长;

当W1<W0≤W2时,则选定所述第二预设间隔时长修正系数y2对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y2作为再次判断所述学生当前的学习状态时的间隔时长;

当W2<W0≤W3时,则选定所述第三预设间隔时长修正系数y3对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y3作为再次判断所述学生当前的学习状态时的间隔时长;

当W3<W0≤W4时,则选定所述第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y4作为再次判断所述学生当前的学习状态时的间隔时长;

当W4<W0时,则选定所述第一预设间隔时长修正系数y1和第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1*y4作为再次判断所述学生当前的学习状态时的间隔时长。

说明书 :

在线教育平台用的学习状态检测系统及方法

技术领域

[0001] 本发明涉及在线教育技术领域,具体而言,涉及一种在线教育平台用的学习状态检测系统及方法。

背景技术

[0002] 目前,以互联网为核心的信息技术在全球教育领域得到广泛的应用,基于互联网的信息化教学已经显示出其独特的优势,实现了网络化在线教学模式,让课堂受不再受时间、空间限制,同时也为老师和学生的沟通提供了大量最新、最丰富的在线学习资源和新的互动交流渠道。
[0003] 现有技术的在线教育平台主要包括实时在线教学和录播课程教学两种教学方式,即是,在线教育平台主要是通过线上教学的方式授课。而在线上教学时,学生通过电脑登陆在线教育平台进行学习,通常情况下,由于学生缺少老师和家长的看管,一部分小动作较多或者注意力不集中的同学,极易在线上学习过程中专心及完整的学习线上课程,从而导致学生无法及时且有效地进行学习。
[0004] 由于现有的在线教育平台在进行线上课程教学时,缺少对学生学习过程中的学习状态进行检测的手段,从而使得现有的在线教育平台无法及时地获知学生在线上课程学习过程的学习状态,更无法进行有效的警示和提醒,从而无法使学生在线上学习时专心及完整的学习线上课程。

发明内容

[0005] 鉴于此,本发明提出了一种在线教育平台用的学习状态检测系统及方法,旨在解决学生在线教育平台进行线上课程学习时,如何及时地获知学生在线上课程学习过程的学习状态,以进行有效的警示和提醒,从而使学生在线上学习时专心及完整的学习线上课程的问题。
[0006] 一个方面,本发明提出了一种在线教育平台用的学习状态检测系统,包括:
[0007] 采集模块,用于实时采集学生在学习时的实时图像数据,还用于采集所述学生的正面图像数据和侧面图像数据;
[0008] 特征信息获取模块,用于获取所述实时图像数据、正面图像数据和侧面图像数据中的特征信息;其中,
[0009] 所述特征信息获取模块还用于在获取所述特征信息时,分别从所述实时图像数据、正面图像数据和侧面图像数据中提取一图像帧,确定每一所述图像帧中的面部区域,并在所述图像帧中设置一包含所述面部区域的矩形框,所述矩形框的宽度与所述面部区域的最大宽度相等,所述矩形框的高度与所述面部区域的最大高度相等,确定每一所述矩形框中的面部区域的面积占比,以获取所述实时图像数据中的实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb;
[0010] 数据处理模块,用于根据所述实时面部占比△S与所述正面面部占比Sa和侧面面部占比Sb之间的关系判断所述学生实时的学习状态:
[0011] 当△S=Sa时,则判断所述学生当前为正常学习状态;
[0012] 当(Sa+Sb)/2≤△S<Sa时,则判断所述学生为待确认学习状态,并在间隔预设时长后,再次判断所述学生当前的学习状态;
[0013] 当Sb≤△S<(Sa+Sb)/2时,则判断所述学生为异常学习状态;
[0014] 当△S<Sb时,则判断所述学生为未学习状态;
[0015] 报警模块,用于在判断所述学生为异常学习状态时,输出提示信息;还用于在判断所述学生为未学习状态时,输出报警信息。
[0016] 进一步地,所述数据处理模块还用于设定第一预设面部占比S1、第二预设面部占比S2、第三预设面部占比S3和第四预设面部占比S4,且(Sa+Sb)/2<S1<S2<S3<S4<Sa;所述数据处理模块还用于设定第一预设时长T1、第二预设时长T2、第三预设时长T3、第一预设时长T4和第五预设时长T5,且T1<T2<T3<T4<T5;
[0017] 所述数据处理模块还用于当(Sa+Sb)/2≤△S<Sa,判断所述学生为待确认学习状态,并在间隔预设时长,再次判断所述学生当前的学习状态时,根据所述实时面部占比△S与各预设时长之间的关系设定再次判断所述学生当前的学习状态时的间隔时长:
[0018] 当△S≤S1时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第一预设时长T1;
[0019] 当S1<△S≤S2时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第二预设时长T2;
[0020] 当S2<△S≤S3时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第三预设时长T3;
[0021] 当S3<△S≤S4时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第四预设时长T4;
[0022] 当S4<△S<Sa时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第五预设时长T5,且T5=T1+T4;
[0023] 在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx后,x=1,2,3,4,5,则在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态。
[0024] 进一步地,所述特征信息获取模块还用于在确定所述图像帧中的面部区域后,分别确定面部区域的左眼、右眼和鼻尖的中心点位置,并分别获取双眼之间的间距、左眼与鼻尖之间的间距、右眼与鼻尖之间的间距、左眼与图像帧右侧边缘之间的间距以及右眼与图像帧左侧边缘之间的间距;
[0025] 所述数据处理模块还用于根据所述正面图像数据建立正面图像距离信息矩阵L0,设定L0(L1,L2,L3,L4,L5),其中,L1为正面图像数据中双眼之间的间距,L2为正面图像数据中右眼与鼻尖之间的间距,L3为正面图像数据中左眼与鼻尖之间的间距,L4为正面图像数据中右眼与图像帧左侧边缘之间的间距,L5为正面图像数据中左眼与图像帧右侧边缘之间的间距;
[0026] 所述数据处理模块还用于根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn,设定Pn(Pn1,Pn2,Pn3,Pn4,Pn5),其中,Pn1为第n时刻双眼之间的间距,Pn2为第n时刻右眼与鼻尖之间的间距,Pn3为第n时刻左眼与鼻尖之间的间距,Pn4为第n时刻右眼与第n图像帧左侧边缘之间的间距,Pn5为第n时刻左眼与第n图像帧右侧边缘之间的间距;
[0027] 所述数据处理模块还用于设定第一预设距离差值A1、第二预设距离差值A2、第三预设距离差值A3和第四预设距离差值A4,且A1<A2<A3<A4;
[0028] 所述数据处理模块还用于在判断所述学生为待确认学习状态,并在间隔所述第x预设时长Tx后,再次判断所述学生当前的学习状态时,根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态,并在根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态时,将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,根据比对结果确定所述学生当前的学习状态:
[0029] 当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A1时,则判断所述学生当前为正常学习状态;
[0030] 当A1≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A2时,则判断所述学生当前为待确认学习状态;
[0031] 当A2≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A3时,则判断所述学生当前为异常学习状态;
[0032] 当A3≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A4时,则判断所述学生当前为未学习状态。
[0033] 进一步地,所述特征信息获取模块还用于在获取所述实时图像数据时,获取第n时刻的实时图像数据,并从所述第n时刻的实时图像数据中获取第n时刻实时面部占比△Sn;
[0034] 所述数据处理模块还用于在将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,并根据比对结果确定学习状态时,根据所述第n时刻实时面部占比△Sn与第n‑1时刻实时面部占比△Sn‑1之间的差值对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;其中,
[0035] 所述数据处理模块还用于设定第一预设占比差值m1、第二预设占比差值m2、第三预设占比差值m3和第四预设占比差值m4,且m1<m2<m3<m4;所述数据处理模块还用于设定第一预设修正系数q1、第二预设修正系数q2、第三预设修正系数q3和第四预设修正系数q4,且1<q1<q2<q3<q4<1.2,q1 q4依次等差排列;~
[0036] 所述数据处理模块还用于根据△Sn与△Sn‑1之间的差值与各预设占比差值之间的关系选定修正系数,以对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正:
[0037] 当△Sn‑△Sn‑1≤m1时,无需对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0038] 当m1<△Sn‑△Sn‑1≤m2时,选定所述第一预设修正系数q1对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0039] 当m2<△Sn‑△Sn‑1≤m3时,选定所述第二预设修正系数q2对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0040] 当m3<△Sn‑△Sn‑1≤m4时,选定所述第三预设修正系数q3对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0041] 当m4<△Sn‑△Sn‑1时,选定所述第四预设修正系数q4对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0042] 所述数据处理模块还用于在选定第i预设修正系数qi对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正后,根据修正后的差值[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]*qi进行学习状态的判断,其中,i=1,2,3,4。
[0043] 进一步地,所述数据处理模块还用于获取所述学生的历史测试成绩,并根据所述历史测试成绩确定所述学生的优秀成绩次数W0;
[0044] 所述数据处理模块还用于设定第一预设优秀成绩次数W1、第二预设优秀成绩次数W2、第三预设优秀成绩次数W3和第四预设优秀成绩次数W4,且0<W1<W2<W3<W4;所述数据处理模块还用于设定第一预设间隔时长修正系数y1、第二预设间隔时长修正系数y2、第三预设间隔时长修正系数y3、第四预设间隔时长修正系数y4和第五预设间隔时长修正系数y5,且1<y1<y2<y3<y4<y5<2;
[0045] 所述数据处理模块还用于在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx,x=1,2,3,4,5,并在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态时,根据所述学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的所述第x预设时长Tx进行修正:
[0046] 当W0≤W1时,则选定所述第一预设间隔时长修正系数y1对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1作为再次判断所述学生当前的学习状态时的间隔时长;
[0047] 当W1<W0≤W2时,则选定所述第二预设间隔时长修正系数y2对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y2作为再次判断所述学生当前的学习状态时的间隔时长;
[0048] 当W2<W0≤W3时,则选定所述第三预设间隔时长修正系数y3对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y3作为再次判断所述学生当前的学习状态时的间隔时长;
[0049] 当W3<W0≤W4时,则选定所述第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y4作为再次判断所述学生当前的学习状态时的间隔时长;
[0050] 当W4<W0时,则选定所述第一预设间隔时长修正系数y1和第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1*y4作为再次判断所述学生当前的学习状态时的间隔时长。
[0051] 与现有技术相比,本发明的有益效果在于,通过实时采集学生在学习时的实时图像数据,以及预先采集学生的正面图像数据和侧面图像数据,并从实时图像数据、正面图像数据和侧面图像数据中的特征信息中获取实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb,根据实时面部占比△S与正面面部占比Sa和侧面面部占比Sb之间的关系判断学生实时的学习状态,具体通过采集学生在学习时的实时面部位置变化,并将实时面部位置变化后的面部占比与正面面部占比和侧面面部占比进行比对,根据比对结果判断学生当前的学习状态,并根据学习状态的判断结果进行异常提示和报警信息输出,从而能够在学生进行线上课程学习时,及时的根据学生的实时学习状态进行警示和提醒,使其能够专心的进行学习,提高学生的学习专注度和学习效率。
[0052] 进一步地,通过预先采集的学生的正面图像数据和侧面图像数据中的特征信息,将正面图像数据中的正面面部占比和侧面图像数据中的侧面面部占比作为学习状态的判断依据,以将学生实时学习时的面部占比与正面面部占比和侧面面部占比进行对比,从而能够判断当前学生在学习时的面部位置变化情况,并基于此进行学习状态判断,能够准确的进行学生学习状态的判断,提高了学习状态判断结果的准确性。
[0053] 另一方面,本发明还提出了一种在线教育平台用的学习状态检测方法,包括:
[0054] 实时采集学生在学习时的实时图像数据,以及采集所述学生的正面图像数据和侧面图像数据;
[0055] 获取所述实时图像数据、正面图像数据和侧面图像数据中的特征信息;其中,[0056] 在获取所述特征信息时,分别从所述实时图像数据、正面图像数据和侧面图像数据中提取一图像帧,确定每一所述图像帧中的面部区域,并在所述图像帧中设置一包含所述面部区域的矩形框,所述矩形框的宽度与所述面部区域的最大宽度相等,所述矩形框的高度与所述面部区域的最大高度相等,确定每一所述矩形框中的面部区域的面积占比,以获取所述实时图像数据中的实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb;
[0057] 根据所述实时面部占比△S与所述正面面部占比Sa和侧面面部占比Sb之间的关系判断所述学生实时的学习状态:
[0058] 当△S=Sa时,则判断所述学生当前为正常学习状态;
[0059] 当(Sa+Sb)/2≤△S<Sa时,则判断所述学生为待确认学习状态,并在间隔预设时长后,再次判断所述学生当前的学习状态;
[0060] 当Sb≤△S<(Sa+Sb)/2时,则判断所述学生为异常学习状态;
[0061] 当△S<Sb时,则判断所述学生为未学习状态;
[0062] 在判断所述学生为异常学习状态时,进行异常学习状态提示;在判断所述学生为未学习状态时,进行未学习状态报警。
[0063] 进一步地,预先设定第一预设面部占比S1、第二预设面部占比S2、第三预设面部占比S3和第四预设面部占比S4,且(Sa+Sb)/2<S1<S2<S3<S4<Sa;预先设定第一预设时长T1、第二预设时长T2、第三预设时长T3、第一预设时长T4和第五预设时长T5,且T1<T2<T3<T4<T5;
[0064] 当(Sa+Sb)/2≤△S<Sa,判断所述学生为待确认学习状态,并在间隔预设时长,再次判断所述学生当前的学习状态时,根据所述实时面部占比△S与各预设时长之间的关系设定再次判断所述学生当前的学习状态时的间隔时长:
[0065] 当△S≤S1时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第一预设时长T1;
[0066] 当S1<△S≤S2时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第二预设时长T2;
[0067] 当S2<△S≤S3时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第三预设时长T3;
[0068] 当S3<△S≤S4时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第四预设时长T4;
[0069] 当S4<△S<Sa时,则将再次判断所述学生当前的学习状态时的间隔时长设定为第五预设时长T5,且T5=T1+T4;
[0070] 在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx后,x=1,2,3,4,5,则在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态。
[0071] 进一步地,在确定所述图像帧中的面部区域后,分别确定面部区域的左眼、右眼和鼻尖的中心点位置,并分别获取双眼之间的间距、左眼与鼻尖之间的间距、右眼与鼻尖之间的间距、左眼与图像帧右侧边缘之间的间距以及右眼与图像帧左侧边缘之间的间距;
[0072] 根据所述正面图像数据建立正面图像距离信息矩阵L0,设定L0(L1,L2,L3,L4,L5),其中,L1为正面图像数据中双眼之间的间距,L2为正面图像数据中右眼与鼻尖之间的间距,L3为正面图像数据中左眼与鼻尖之间的间距,L4为正面图像数据中右眼与图像帧左侧边缘之间的间距,L5为正面图像数据中左眼与图像帧右侧边缘之间的间距;
[0073] 根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn,设定Pn(Pn1,Pn2,Pn3,Pn4,Pn5),其中,Pn1为第n时刻双眼之间的间距,Pn2为第n时刻右眼与鼻尖之间的间距,Pn3为第n时刻左眼与鼻尖之间的间距,Pn4为第n时刻右眼与第n图像帧左侧边缘之间的间距,Pn5为第n时刻左眼与第n图像帧右侧边缘之间的间距;
[0074] 预先设定第一预设距离差值A1、第二预设距离差值A2、第三预设距离差值A3和第四预设距离差值A4,且A1<A2<A3<A4;
[0075] 在判断所述学生为待确认学习状态,并在间隔所述第x预设时长Tx后,再次判断所述学生当前的学习状态时,根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态,并在根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态时,将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,根据比对结果确定所述学生当前的学习状态:
[0076] 当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A1时,则判断所述学生当前为正常学习状态;
[0077] 当A1≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A2时,则判断所述学生当前为待确认学习状态;
[0078] 当A2≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A3时,则判断所述学生当前为异常学习状态;
[0079] 当A3≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A4时,则判断所述学生当前为未学习状态。
[0080] 进一步地,在获取所述实时图像数据时,获取第n时刻的实时图像数据,并从所述第n时刻的实时图像数据中获取第n时刻实时面部占比△Sn;
[0081] 在将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,并根据比对结果确定学习状态时,根据所述第n时刻实时面部占比△Sn与第n‑1时刻实时面部占比△Sn‑1之间的差值对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;其中,
[0082] 预先设定第一预设占比差值m1、第二预设占比差值m2、第三预设占比差值m3和第四预设占比差值m4,且m1<m2<m3<m4;预先设定第一预设修正系数q1、第二预设修正系数q2、第三预设修正系数q3和第四预设修正系数q4,且1<q1<q2<q3<q4<1.2,q1 q4依次~等差排列;
[0083] 根据△Sn与△Sn‑1之间的差值与各预设占比差值之间的关系选定修正系数,以对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正:
[0084] 当△Sn‑△Sn‑1≤m1时,无需对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0085] 当m1<△Sn‑△Sn‑1≤m2时,选定所述第一预设修正系数q1对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0086] 当m2<△Sn‑△Sn‑1≤m3时,选定所述第二预设修正系数q2对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0087] 当m3<△Sn‑△Sn‑1≤m4时,选定所述第三预设修正系数q3对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0088] 当m4<△Sn‑△Sn‑1时,选定所述第四预设修正系数q4对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0089] 在选定第i预设修正系数qi对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正后,根据修正后的差值[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]*qi进行学习状态的判断,其中,i=1,2,3,4。
[0090] 进一步地,获取所述学生的历史测试成绩,并根据所述历史测试成绩确定所述学生的优秀成绩次数W0;其中,
[0091] 预先设定第一预设优秀成绩次数W1、第二预设优秀成绩次数W2、第三预设优秀成绩次数W3和第四预设优秀成绩次数W4,且0<W1<W2<W3<W4;预先设定第一预设间隔时长修正系数y1、第二预设间隔时长修正系数y2、第三预设间隔时长修正系数y3、第四预设间隔时长修正系数y4和第五预设间隔时长修正系数y5,且1<y1<y2<y3<y4<y5<2;
[0092] 在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx,x=1,2,3,4,5,并在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断所述学生当前的学习状态时,根据所述学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的所述第x预设时长Tx进行修正:
[0093] 当W0≤W1时,则选定所述第一预设间隔时长修正系数y1对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1作为再次判断所述学生当前的学习状态时的间隔时长;
[0094] 当W1<W0≤W2时,则选定所述第二预设间隔时长修正系数y2对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y2作为再次判断所述学生当前的学习状态时的间隔时长;
[0095] 当W2<W0≤W3时,则选定所述第三预设间隔时长修正系数y3对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y3作为再次判断所述学生当前的学习状态时的间隔时长;
[0096] 当W3<W0≤W4时,则选定所述第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y4作为再次判断所述学生当前的学习状态时的间隔时长;
[0097] 当W4<W0时,则选定所述第一预设间隔时长修正系数y1和第四预设间隔时长修正系数y4对所述第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1*y4作为再次判断所述学生当前的学习状态时的间隔时长。
[0098] 可以理解的是,上述在线教育平台用的学习状态检测系统与上述在线教育平台用的学习状态检测方法具有相同的有益效果,在此不再赘述。

附图说明

[0099] 通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
[0100] 图1为本发明实施例提供的在线教育平台用的学习状态检测系统的功能框图;
[0101] 图2为本发明实施例提供的图像处理示意图;
[0102] 图3为本发明实施例提供的报警模块的功能框图;
[0103] 图4为本发明实施例提供的在线教育平台用的学习状态检测方法的流程图。

具体实施方式

[0104] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整地传达给本领域的技术人员。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0105] 本发明中的实施例基于在线教育平台进行实施,现有的在线教育平台是以互联网为核心的信息技术,即,现有的在线教育平台是基于互联网搭建的,从而实现在线教学的目的。
[0106] 本发明中的实施例中提供了一种在线教育平台用的学习状态检测系统及方法,以检测学生在在线平台上进行线上学习的学习状态,本实施例通过检测学生在线上学习过程中的面部位置变化,对学生的学习状态进行检测和判断,并根据检测和判断的结果输出异常提示和报警信息,以及时的提醒学生专心学习,能够提高学生的学习效率。
[0107] 在本实施例中,学生的实时学习状态监测结果还实时地反馈至学生家长和老师的所使用的终端中,从而使得学生家长和老师能够及时地掌握学生的学习状态,从而能够有效地对学生进行及时有效的监督。
[0108] 在本实施例中,学生的实时学习状态还记录在在线教育平台的后台服务器内,便于学生家长和老师进行读取和查看,使得学生家长和老师能够根据学生在进行线上学习时的学习状态数据,清楚地知晓学生在学习过程中是否完整地学习了课程,从而能够及时地掌握学生的学习进度,以便于及时的根据学生的学习进度,调整及安排学生后续的学习课程。
[0109] 参阅图1所示,本实施例提供的一种在线教育平台用的学习状态检测系统,包括采集模块、特征信息获取模块、数据处理模块和报警模块。
[0110] 具体而言,采集模块用于实时采集学生在学习时的实时图像数据,采集模块还用于采集学生的正面图像数据和侧面图像数据。
[0111] 具体而言,学生在需要进行在线课程学习时,首先登陆在线教育平台,且在登陆在线教育平台的后台服务器时,根据在线教育平台提供的账号密码进行登陆,即,在学生通过在线教育平台的后台服务器的认证系统的身份认证后,方可登录到在线教育平台内进行选课学习。在学生通过身份认证后,在后台服务器内生成与其对应且唯一身份标识信息,以便于后续对该学生的相关数据进行存储和读取。
[0112] 具体而言,学生在进行在线学习时,可通过PC或者移动终端登陆,通过PC或者移动终端自带的摄像头进行实时图像数据的采集。具体的,在学生通过PC或者移动终端登陆在线平台后,提示用户在登陆在线平台后不要移动PC的摄像头以及不要移动移动终端,使得PC的摄像头或者移动终端始终保持一个位置进行图像采集。
[0113] 具体而言,采集模块在采集学生的正面图像数据和侧面图像数据时,提示用户正视摄像头,当采集侧面图像数据时,提示用户头部转动90度,以采集用户侧脸的完整图像信息,以获取准确的正面和侧面图像数据。
[0114] 具体而言,如果当PC或者移动终端的位置发生改变,则重新采集用户的正面和侧面图像数据。
[0115] 具体而言,特征信息获取模块用于获取实时图像数据、正面图像数据和侧面图像数据中的特征信息。
[0116] 具体而言,特征信息获取模块还用于在获取特征信息时,分别从实时图像数据、正面图像数据和侧面图像数据中提取一图像帧,确定每一图像帧中的面部区域,并在图像帧中设置一包含面部区域的矩形框,矩形框的宽度与面部区域的最大宽度相等,矩形框的高度与面部区域的最大高度相等,确定每一矩形框中的面部区域的面积占比,以获取实时图像数据中的实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb。
[0117] 具体而言,采集模块还用于获取学生在登陆在线教育平台时的正面和侧面图像数据,以及学生在学习时的第n时刻的第n图像数据,其中,n=1,2,3,...,n。学生在选定课程进行学习后,可通过采集模块实时的对学生进行图像数据采集。
[0118] 具体而言,由于在线课程或线上课程均为预设的时长,因此,在学生进行在线课程或线上课程学习时,可每间隔预设时间就进行一次面部特征信息的采集,根据在第n时刻采集的第n图像数据,确定学生在第n时刻的学习状态。
[0119] 具体而言,上述图像数据可以为预设时长的视频数据,也可以为若干张图片数据。
[0120] 参阅图2所示,具体而言,在确定初始面部特征信息时,确定图像数据中的学生面部的双眼的中心点以及鼻尖中心点,并分别获取双眼之间的间距L1、右眼与鼻尖之间的间距L2、左眼与鼻尖之间的间距L3、右眼与图像数据左侧边缘之间的间距L4以及左眼与图像数据右侧边缘之间的间距L5。同时,还获取学生面部区域的面积S01,以及矩形框的面积S00。
[0121] 具体而言,特征信息获取模块在生成图像数据中的面部占比时,将S01/S00作为上述面部占比。
[0122] 继续参阅图2所示,具体而言,特征信息获取模块在获取到学生的图像数据后,从该图像数据中随机选取一图像帧。采集的图像数据为固定尺寸的矩形图像,图像帧为矩形。
[0123] 具体而言,特征信息获取模块在确定图像帧后,在该图像帧中标记出面部双眼的中心点,以及鼻尖处的中心。即,在右眼中心点处标记点x,在左眼中心点处标记点y,在鼻尖中心点处标记点z。
[0124] 具体而言,特征信息获取模块在图像帧中标记出x、y和z三个点后,分别获取点x与点y之间的间距L1、点x与点z之间的间距L2以及点z与点y之间的间距L3。
[0125] 具体而言,特征信息获取模块还获取点x与图像帧左侧边缘之间的间距L4,以及点y与图像帧右侧边缘之间的间距L5。
[0126] 继续参阅图2所示,具体而言,特征信息获取模块同时还在图像帧中框选出面部区域,得到选取框w,选取框w即为上述矩形框。获取选取框w中面部区域的面积S01。同时,还获取整个选取框w的面积S00。
[0127] 具体而言,在线课程播放过程中,特征信息获取模块每间隔预设的时长采集一次图像数据,并进行一次图像处理,从每一次采集的图像数据中获取一次学生的面部特征信息,共获取n个时刻的面部图像数据,可记为第n时刻图像数据,n=1,2,3,...,n。
[0128] 具体而言,在线课程播放过程中,特征信息获取模块在第n时刻获取到学生学习在线课程的图像数据后,则在第n时刻获取的图像数据中随机选取一图像帧,记为第n图像帧。在确定第n图像帧后,在第n图像帧中的右眼中心点处标记点x、在左眼中心点处标记点y以及在鼻尖中心点处标记点z。
[0129] 具体而言,特征信息获取模块在第n图像帧中标记出x、y和z三个点后,分别获取点x与点y之间的间距Pn1、点x与点z之间的间距Pn2以及点z与点y之间的间距Pn3。
[0130] 具体而言,特征信息获取模块还获取点x与第n时刻的第n图像帧左侧边缘之间的间距Pn4,以及点y与第n时刻的第n图像帧右侧边缘之间的间距Pn5。
[0131] 具体而言,由于学生在课程学习时,头部会进行转动,从而可能在任意一次获取的图像帧中无法完整的获取x、y和z三个中心点,则在无法确定x、y和z中的任意一个或多个时,则将与该点所对应的距离数据记为0。例如,在第n图像帧中,由于此时图像帧的学生头部出现转动,并无法在第n图像帧中确定右眼的点x的位置,则将此时的Pn1、Pn2和Pn4记为0。
[0132] 具体而言,数据处理模块用于根据实时面部占比△S与正面面部占比Sa和侧面面部占比Sb之间的关系判断学生实时的学习状态:
[0133] 当△S=Sa时,则判断学生当前为正常学习状态;
[0134] 当(Sa+Sb)/2≤△S<Sa时,则判断学生为待确认学习状态,并在间隔预设时长后,再次判断学生当前的学习状态;
[0135] 当Sb≤△S<(Sa+Sb)/2时,则判断学生为异常学习状态;
[0136] 当△S<Sb时,则判断学生为未学习状态。
[0137] 具体而言,通过判断实时面部占比△S在正面面部占比Sa和侧面面部占比Sb之间的范围,能够确定面部位置的变化情况,通过根据学生在学习过程中的面部占比的变化,判断学生当前的学习状态,能够准确的进行学习状态的判断,提高判断结果的准确性。
[0138] 具体而言,报警模块用于在判断学生为异常学习状态时,输出提示信息;还用于在判断学生为未学习状态时,输出报警信息。
[0139] 参阅图3所示,具体而言,报警模块包括弹窗单元和报警单元。
[0140] 具体而言,弹窗单元用于输出提示信息,具体在终端的界面内进行弹窗提醒,即,在终端的在线课程学习的界面内进行弹窗,并在弹窗内附带提醒文字,以提示学生认真学习。报警单元用于输出报警信息。报警信息可以为声光报警信息,即是,声光报警信息通过终端的音频以及显示器屏幕的闪动进行提醒。
[0141] 具体而言,通过及时的输出报警信息,能够及时地提醒学生,以纠正学生的异常学习状态,使其认证学习,以提高学习效率。
[0142] 可以看出,上述实施例通过实时采集学生在学习时的实时图像数据,以及预先采集学生的正面图像数据和侧面图像数据,并从实时图像数据、正面图像数据和侧面图像数据中的特征信息中获取实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb,根据实时面部占比△S与正面面部占比Sa和侧面面部占比Sb之间的关系判断学生实时的学习状态,具体通过采集学生在学习时的实时面部位置变化,并将实时面部位置变化后的面部占比与正面面部占比和侧面面部占比进行比对,根据比对结果判断学生当前的学习状态,并根据学习状态的判断结果进行异常提示和报警信息输出,从而能够在学生进行线上课程学习时,及时的根据学生的实时学习状态进行警示和提醒,使其能够专心的进行学习,提高学生的学习专注度和学习效率。
[0143] 进一步地,通过预先采集的学生的正面图像数据和侧面图像数据中的特征信息,将正面图像数据中的正面面部占比和侧面图像数据中的侧面面部占比作为学习状态的判断依据,以将学生实时学习时的面部占比与正面面部占比和侧面面部占比进行对比,从而能够判断当前学生在学习时的面部位置变化情况,并基于此进行学习状态判断,能够准确的进行学生学习状态的判断,提高了学习状态判断结果的准确性。
[0144] 具体而言,数据处理模块还用于设定第一预设面部占比S1、第二预设面部占比S2、第三预设面部占比S3和第四预设面部占比S4,且(Sa+Sb)/2<S1<S2<S3<S4<Sa;数据处理模块还用于设定第一预设时长T1、第二预设时长T2、第三预设时长T3、第一预设时长T4和第五预设时长T5,且T1<T2<T3<T4<T5;
[0145] 数据处理模块还用于当(Sa+Sb)/2≤△S<Sa,判断学生为待确认学习状态,并在间隔预设时长,再次判断学生当前的学习状态时,根据实时面部占比△S与各预设时长之间的关系设定再次判断学生当前的学习状态时的间隔时长:
[0146] 当△S≤S1时,则将再次判断学生当前的学习状态时的间隔时长设定为第一预设时长T1;
[0147] 当S1<△S≤S2时,则将再次判断学生当前的学习状态时的间隔时长设定为第二预设时长T2;
[0148] 当S2<△S≤S3时,则将再次判断学生当前的学习状态时的间隔时长设定为第三预设时长T3;
[0149] 当S3<△S≤S4时,则将再次判断学生当前的学习状态时的间隔时长设定为第四预设时长T4;
[0150] 当S4<△S<Sa时,则将再次判断学生当前的学习状态时的间隔时长设定为第五预设时长T5,且T5=T1+T4;
[0151] 在将再次判断学生当前的学习状态时的间隔时长设定为第x预设时长Tx后,x=1,2,3,4,5,则在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断学生当前的学习状态。
[0152] 可以看出,通过根据学生的实时面部占比,设定检测时间间隔,能够有效地根据学生的实时状态进行后续检测,能够有效地提高检测效率,避免频繁检测导致数据量的增加。
[0153] 具体而言,数据处理模块还用于获取学生的历史测试成绩,并根据历史测试成绩确定学生的优秀成绩次数W0;
[0154] 数据处理模块还用于设定第一预设优秀成绩次数W1、第二预设优秀成绩次数W2、第三预设优秀成绩次数W3和第四预设优秀成绩次数W4,且0<W1<W2<W3<W4;数据处理模块还用于设定第一预设间隔时长修正系数y1、第二预设间隔时长修正系数y2、第三预设间隔时长修正系数y3、第四预设间隔时长修正系数y4和第五预设间隔时长修正系数y5,且1<y1<y2<y3<y4<y5<2;
[0155] 数据处理模块还用于在将再次判断学生当前的学习状态时的间隔时长设定为第x预设时长Tx,x=1,2,3,4,5,并在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断学生当前的学习状态时,根据学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的第x预设时长Tx进行修正:
[0156] 当W0≤W1时,则选定第一预设间隔时长修正系数y1对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1作为再次判断学生当前的学习状态时的间隔时长;
[0157] 当W1<W0≤W2时,则选定第二预设间隔时长修正系数y2对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y2作为再次判断学生当前的学习状态时的间隔时长;
[0158] 当W2<W0≤W3时,则选定第三预设间隔时长修正系数y3对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y3作为再次判断学生当前的学习状态时的间隔时长;
[0159] 当W3<W0≤W4时,则选定第四预设间隔时长修正系数y4对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y4作为再次判断学生当前的学习状态时的间隔时长;
[0160] 当W4<W0时,则选定第一预设间隔时长修正系数y1和第四预设间隔时长修正系数y4对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1*y4作为再次判断学生当前的学习状态时的间隔时长。
[0161] 可以看出,通过根据学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的第x预设时长Tx进行修正,即是,通过根据学生的历史成绩对学生学习状态的检测频率进行调整,进而对于以往认真学习的学生,无需过多的进行学习状态的检测,对于历史成绩不好的学生,进行多频次的学生状态检测,从而能够有效地提醒其认证学习,并且,还避免冗余数据的生成,降低系统的数据存储压力。
[0162] 具体而言,特征信息获取模块还用于在确定图像帧中的面部区域后,分别确定面部区域的左眼、右眼和鼻尖的中心点位置,并分别获取双眼之间的间距、左眼与鼻尖之间的间距、右眼与鼻尖之间的间距、左眼与图像帧右侧边缘之间的间距以及右眼与图像帧左侧边缘之间的间距。
[0163] 具体而言,数据处理模块还用于根据正面图像数据建立正面图像距离信息矩阵L0,设定L0(L1,L2,L3,L4,L5),其中,L1为正面图像数据中双眼之间的间距,L2为正面图像数据中右眼与鼻尖之间的间距,L3为正面图像数据中左眼与鼻尖之间的间距,L4为正面图像数据中右眼与图像帧左侧边缘之间的间距,L5为正面图像数据中左眼与图像帧右侧边缘之间的间距。
[0164] 具体而言,数据处理模块还用于根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn,设定Pn(Pn1,Pn2,Pn3,Pn4,Pn5),其中,Pn1为第n时刻双眼之间的间距,Pn2为第n时刻右眼与鼻尖之间的间距,Pn3为第n时刻左眼与鼻尖之间的间距,Pn4为第n时刻右眼与第n图像帧左侧边缘之间的间距,Pn5为第n时刻左眼与第n图像帧右侧边缘之间的间距。
[0165] 具体而言,数据处理模块还用于设定第一预设距离差值A1、第二预设距离差值A2、第三预设距离差值A3和第四预设距离差值A4,且A1<A2<A3<A4。
[0166] 具体而言,数据处理模块还用于在判断学生为待确认学习状态,并在间隔第x预设时长Tx后,再次判断学生当前的学习状态时,根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时学生的学习状态,并在根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时学生的学习状态时,将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,根据比对结果确定学生当前的学习状态:
[0167] 当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A1时,则判断学生当前为正常学习状态;
[0168] 当A1≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A2时,则判断学生当前为待确认学习状态;
[0169] 当A2≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A3时,则判断学生当前为异常学习状态;
[0170] 当A3≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A4时,则判断学生当前为未学习状态。
[0171] 具体而言,特征信息获取模块还用于在获取实时图像数据时,获取第n时刻的实时图像数据,并从第n时刻的实时图像数据中获取第n时刻实时面部占比△Sn。
[0172] 具体而言,数据处理模块还用于在将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,并根据比对结果确定学习状态时,根据第n时刻实时面部占比△Sn与第n‑1时刻实时面部占比△Sn‑1之间的差值对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正。
[0173] 具体而言,数据处理模块还用于设定第一预设占比差值m1、第二预设占比差值m2、第三预设占比差值m3和第四预设占比差值m4,且m1<m2<m3<m4;数据处理模块还用于设定第一预设修正系数q1、第二预设修正系数q2、第三预设修正系数q3和第四预设修正系数q4,且1<q1<q2<q3<q4<1.2,q1 q4依次等差排列。~
[0174] 具体而言,数据处理模块还用于根据△Sn与△Sn‑1之间的差值与各预设占比差值之间的关系选定修正系数,以对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正:
[0175] 当△Sn‑△Sn‑1≤m1时,无需对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0176] 当m1<△Sn‑△Sn‑1≤m2时,选定第一预设修正系数q1对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0177] 当m2<△Sn‑△Sn‑1≤m3时,选定第二预设修正系数q2对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0178] 当m3<△Sn‑△Sn‑1≤m4时,选定第三预设修正系数q3对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0179] 当m4<△Sn‑△Sn‑1时,选定第四预设修正系数q4对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正。
[0180] 具体而言,数据处理模块还用于在选定第i预设修正系数qi对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正后,根据修正后的差值[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]*qi进行学习状态的判断,其中,i=1,2,3,4。
[0181] 可以看出,通过预先采集的学生的正面图像数据和侧面图像数据中的特征信息,将正面图像数据中的正面面部占比和侧面图像数据中的侧面面部占比作为学习状态的判断依据,以将学生实时学习时的面部占比与正面面部占比和侧面面部占比进行对比,从而能够判断当前学生在学习时的面部位置变化情况,并基于此进行学习状态判断,能够准确的进行学生学习状态的判断,提高了学习状态判断结果的准确性。
[0182] 基于上述实施例的另一种优选的实施方式中,本实施方式提供了一种在线教育平台用的学习状态检测方法,本实施方式的方法采用上述实施例的系统进行实施。
[0183] 参阅图4所示,本实施例的优选的实施方式中提供了一种在线教育平台用的学习状态检测方法,包括以下步骤:
[0184] 步骤S101:实时采集学生在学习时的实时图像数据,以及采集学生的正面图像数据和侧面图像数据;
[0185] 步骤S102:获取实时图像数据、正面图像数据和侧面图像数据中的特征信息;其中,
[0186] 在获取特征信息时,分别从实时图像数据、正面图像数据和侧面图像数据中提取一图像帧,确定每一图像帧中的面部区域,并在图像帧中设置一包含面部区域的矩形框,矩形框的宽度与面部区域的最大宽度相等,矩形框的高度与面部区域的最大高度相等,确定每一矩形框中的面部区域的面积占比,以获取实时图像数据中的实时面部占比△S、正面图像数据中的正面面部占比Sa和侧面图像数据中的侧面面部占比Sb;
[0187] 步骤S103:根据实时面部占比△S与正面面部占比Sa和侧面面部占比Sb之间的关系判断学生实时的学习状态:
[0188] 当△S=Sa时,则判断学生当前为正常学习状态;
[0189] 当(Sa+Sb)/2≤△S<Sa时,则判断学生为待确认学习状态,并在间隔预设时长后,再次判断学生当前的学习状态;
[0190] 当Sb≤△S<(Sa+Sb)/2时,则判断学生为异常学习状态;
[0191] 当△S<Sb时,则判断学生为未学习状态;
[0192] 步骤S104:在判断学生为异常学习状态时,进行异常学习状态提示;在判断学生为未学习状态时,进行未学习状态报警。
[0193] 具体而言,预先设定第一预设面部占比S1、第二预设面部占比S2、第三预设面部占比S3和第四预设面部占比S4,且(Sa+Sb)/2<S1<S2<S3<S4<Sa;预先设定第一预设时长T1、第二预设时长T2、第三预设时长T3、第一预设时长T4和第五预设时长T5,且T1<T2<T3<T4<T5。
[0194] 具体而言,当(Sa+Sb)/2≤△S<Sa,判断学生为待确认学习状态,并在间隔预设时长,再次判断学生当前的学习状态时,根据实时面部占比△S与各预设时长之间的关系设定再次判断学生当前的学习状态时的间隔时长:
[0195] 当△S≤S1时,则将再次判断学生当前的学习状态时的间隔时长设定为第一预设时长T1;
[0196] 当S1<△S≤S2时,则将再次判断学生当前的学习状态时的间隔时长设定为第二预设时长T2;
[0197] 当S2<△S≤S3时,则将再次判断学生当前的学习状态时的间隔时长设定为第三预设时长T3;
[0198] 当S3<△S≤S4时,则将再次判断学生当前的学习状态时的间隔时长设定为第四预设时长T4;
[0199] 当S4<△S<Sa时,则将再次判断学生当前的学习状态时的间隔时长设定为第五预设时长T5,且T5=T1+T4。
[0200] 具体而言,在将再次判断学生当前的学习状态时的间隔时长设定为第x预设时长Tx后,x=1,2,3,4,5,则在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断学生当前的学习状态。
[0201] 具体而言,获取学生的历史测试成绩,并根据历史测试成绩确定学生的优秀成绩次数W0。
[0202] 具体而言,预先设定第一预设优秀成绩次数W1、第二预设优秀成绩次数W2、第三预设优秀成绩次数W3和第四预设优秀成绩次数W4,且0<W1<W2<W3<W4;预先设定第一预设间隔时长修正系数y1、第二预设间隔时长修正系数y2、第三预设间隔时长修正系数y3、第四预设间隔时长修正系数y4和第五预设间隔时长修正系数y5,且1<y1<y2<y3<y4<y5<2。
[0203] 具体而言,在将再次判断学生当前的学习状态时的间隔时长设定为第x预设时长Tx,x=1,2,3,4,5,并在间隔第x预设时长Tx后,再次获取实时面部占比△S,以根据再次获取的实时面部占比△S判断学生当前的学习状态时,根据学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的第x预设时长Tx进行修正:
[0204] 当W0≤W1时,则选定第一预设间隔时长修正系数y1对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1作为再次判断学生当前的学习状态时的间隔时长;
[0205] 当W1<W0≤W2时,则选定第二预设间隔时长修正系数y2对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y2作为再次判断学生当前的学习状态时的间隔时长;
[0206] 当W2<W0≤W3时,则选定第三预设间隔时长修正系数y3对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y3作为再次判断学生当前的学习状态时的间隔时长;
[0207] 当W3<W0≤W4时,则选定第四预设间隔时长修正系数y4对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y4作为再次判断学生当前的学习状态时的间隔时长;
[0208] 当W4<W0时,则选定第一预设间隔时长修正系数y1和第四预设间隔时长修正系数y4对第x预设时长Tx进行修正,并将修正后的预设间隔时长Tx*y1*y4作为再次判断学生当前的学习状态时的间隔时长。
[0209] 可以看出,通过根据学生的优秀成绩次数W0与各预设优秀成绩次数之间的关系对间隔的第x预设时长Tx进行修正,即是,通过根据学生的历史成绩对学生学习状态的检测频率进行调整,进而对于以往认真学习的学生,无需过多的进行学习状态的检测,对于历史成绩不好的学生,进行多频次的学生状态检测,从而能够有效地提醒其认证学习,并且,还避免冗余数据的生成,降低系统的数据存储压力。
[0210] 具体而言,在确定图像帧中的面部区域后,分别确定面部区域的左眼、右眼和鼻尖的中心点位置,并分别获取双眼之间的间距、左眼与鼻尖之间的间距、右眼与鼻尖之间的间距、左眼与图像帧右侧边缘之间的间距以及右眼与图像帧左侧边缘之间的间距。
[0211] 具体而言,根据正面图像数据建立正面图像距离信息矩阵L0,设定L0(L1,L2,L3,L4,L5),其中,L1为正面图像数据中双眼之间的间距,L2为正面图像数据中右眼与鼻尖之间的间距,L3为正面图像数据中左眼与鼻尖之间的间距,L4为正面图像数据中右眼与图像帧左侧边缘之间的间距,L5为正面图像数据中左眼与图像帧右侧边缘之间的间距。
[0212] 具体而言,根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn,设定Pn(Pn1,Pn2,Pn3,Pn4,Pn5),其中,Pn1为第n时刻双眼之间的间距,Pn2为第n时刻右眼与鼻尖之间的间距,Pn3为第n时刻左眼与鼻尖之间的间距,Pn4为第n时刻右眼与第n图像帧左侧边缘之间的间距,Pn5为第n时刻左眼与第n图像帧右侧边缘之间的间距。
[0213] 具体而言,预先设定第一预设距离差值A1、第二预设距离差值A2、第三预设距离差值A3和第四预设距离差值A4,且A1<A2<A3<A4。
[0214] 具体而言,在判断学生为待确认学习状态,并在间隔第x预设时长Tx后,再次判断学生当前的学习状态时,根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时学生的学习状态,并在根据L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和确定第n时刻时学生的学习状态时,将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,根据比对结果确定学生当前的学习状态:
[0215] 当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A1时,则判断学生当前为正常学习状态;
[0216] 当A1≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A2时,则判断学生当前为待确认学习状态;
[0217] 当A2≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A3时,则判断学生当前为异常学习状态;
[0218] 当A3≤[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]<A4时,则判断学生当前为未学习状态。
[0219] 具体而言,在获取实时图像数据时,获取第n时刻的实时图像数据,并从第n时刻的实时图像数据中获取第n时刻实时面部占比△Sn。
[0220] 具体而言,在将L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和与各预设距离差值进行比对,并根据比对结果确定学习状态时,根据第n时刻实时面部占比△Sn与第n‑1时刻实时面部占比△Sn‑1之间的差值对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正。
[0221] 具体而言,预先设定第一预设占比差值m1、第二预设占比差值m2、第三预设占比差值m3和第四预设占比差值m4,且m1<m2<m3<m4;预先设定第一预设修正系数q1、第二预设修正系数q2、第三预设修正系数q3和第四预设修正系数q4,且1<q1<q2<q3<q4<1.2,q1q4依次等差排列。~
[0222] 具体而言,根据△Sn与△Sn‑1之间的差值与各预设占比差值之间的关系选定修正系数,以对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正:
[0223] 当△Sn‑△Sn‑1≤m1时,无需对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0224] 当m1<△Sn‑△Sn‑1≤m2时,选定第一预设修正系数q1对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0225] 当m2<△Sn‑△Sn‑1≤m3时,选定第二预设修正系数q2对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0226] 当m3<△Sn‑△Sn‑1≤m4时,选定第三预设修正系数q3对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正;
[0227] 当m4<△Sn‑△Sn‑1时,选定第四预设修正系数q4对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正。
[0228] 具体而言,在选定第i预设修正系数qi对L1、L2、L3、L4和L5分别与Pn1、Pn2、Pn3、Pn4和Pn5之间的差值之和进行修正后,根据修正后的差值[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]*qi进行学习状态的判断,其中,i=1,2,3,4。
[0229] 可以看出,通过预先采集的学生的正面图像数据和侧面图像数据中的特征信息,将正面图像数据中的正面面部占比和侧面图像数据中的侧面面部占比作为学习状态的判断依据,以将学生实时学习时的面部占比与正面面部占比和侧面面部占比进行对比,从而能够判断当前学生在学习时的面部位置变化情况,并基于此进行学习状态判断,能够准确的进行学生学习状态的判断,提高了学习状态判断结果的准确性。
[0230] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0231] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0232] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0233] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0234] 最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。