用于智能教学的互动投影系统转让专利

申请号 : CN202010269034.6

文献号 : CN111491146B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王鑫

申请人 : 上海松鼠课堂人工智能科技有限公司

摘要 :

本发明提供了一种用于智能教学的互动投影系统,该用于智能教学的互动投影系统通过教学场景环境标定模块获取当前教学环境对应的场景空间图像,以此对当前教学环境进行三维空间的标定,以及通过教学场景相关人员标定模块用于获取当前教学环境中存在的人员图像,并根据经过标定的教学环境三维空间,对其中存在的相关人员进行关于教学关联程度的标定,再通过教学投影模块根据初始投影模式,执行相应的教学投影动作,并且还通过目标人员互动识别模块用于对关于教学关联程度的标定得到的至少一个目标人员进行识别追踪,最后通过投影动作调整模块用于根据识别追踪的结果,调整教学投影模块当前的教学投影动作。

权利要求 :

1.一种用于智能教学的互动投影系统,其特征在于:所述用于智能教学的互动投影系统包括教学场景环境标定模块、教学场景相关人员标定模块、教学投影模块、目标人员互动识别模块和投影动作调整模块;其中,所述教学场景环境标定模块用于获取当前教学环境对应的场景空间图像,以此对当前教学环境进行三维空间的标定;

所述教学场景相关人员标定模块用于获取当前教学环境中存在的人员图像,并根据经过标定的教学环境三维空间,对其中存在的相关人员进行关于教学关联程度的标定;

所述教学投影模块用于根据初始投影模式,执行相应的教学投影动作;所述目标人员互动识别模块用于对所述关于教学关联程度的标定得到的至少一个目标人员进行识别追踪;

所述投影动作调整模块用于根据所述识别追踪的结果,调整所述教学投影模块当前的教学投影动作;

其中,所述教学场景环境标定模块包括多目图像记录子模块、教学场景空间重构子模块和三维空间标定子模块;其中,所述多目图像记录子模块用于拍摄关于当前教学环境的若干原始多目图像,并将所述若干原始多目图像转换为具有部分重叠图像区域的多目图像序列;

所述教学场景空间重构子模块用于根据所述多目图像序列,重构关于当前教学环境的虚拟三维空间;

所述三维空间标定子模块用于根据期望教学投影需求模型,对所述虚拟三维空间进行关于最优投影位置和/或最优投影方向的标定;其中,所述投影动作调整模块用于根据所述识别追踪的结果,调整所述教学投影模块当前的教学投影动作;其具体实现步骤如下:步骤A1、根据所述多目图像记录子模块采集当前教学环境的若干原始多目图像,并进行逐帧拆分预处理获取原始单目图像,经公式(1)迭代收敛,获取当前互动投影系统中教学环境的三维空间标定信息;

其中,arctan为反正切函数,h为所述当前教学场景的预设高度参数,l为所述当前教学场景的预设长度参数,w为所述当前教学场景的预设宽度参数,x为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置,x0为所述原始单目图像中目标人员的初始横坐标值,sx为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置为x,方向向左的横坐标空间向量信息,y为所述原始单目图像中目标人员在所述教学场景中所处的纵坐标位置,y0为所述原始单目图像中目标人员的初始纵坐标值,gy为所述原始单目图像中目标人员在所述教学场景中所处的纵坐标位置为y,方向向前的纵坐标空间向量信息,z为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置,z0为所述原始单目图像中目标人员的初始垂直坐标值,rz为所述原始单目图像中目标人员在所述教学场景中所处的垂直坐标位置为z,方向向上的垂直坐标空间向量信息,F(s,g,r)为所述目标人员在当前教学场景朝向方位信息, 为获取目标人员空间位置信息,V(sx,gy,rz)为获取当前互动投影系统中教学环境的三维空间标定信息;

步骤A2、根据获取的当前互动投影系统中教学环境的三维空间标定信息,对若干原始多目图像中目标人员动作趋势进行分析,并通过公式(2)进行高斯函数运算,以获取教学投影趋势动作信息;

其中,π为圆周率,exp为以自然常数e为底的指数函数,N为所述原始多目图像的数量,t为所述各原始多目图像的时间标签,t0为体现目标人员初始行为动作的多目图像的时间标签,i为所述原始多目图像目标人员动作的偏差比例,Ai为所述原始多目图像目标人员动作的偏差比例为i所对应的目标人员趋势动作信息,g(Δt)为时间间隔为Δt时目标人员的动作趋势变化信息, 为经高斯函数运算获取的目标人员在一定时间间隔内动作趋势变化信息,Sim(Ai)表示获取教学投影趋势动作信息;

步骤A3、将步骤A2获取的教学投影趋势动作信息与初始投影模式进行比对,根据公式(3)获取比对结果,执行调整当前教学投影动作的操作;

其中,m为教学投影趋势动作信息与初始投影模式的比对值,k为当前教学场景中所述原始多目图像的初始编号,O`(k,Ts)为初始投影模式进行求导变换后的输出值,Com(m)为教学投影趋势动作信息与初始投影模式进行比对的结果,当Com(m)不为0,则表示当前教学投影趋势动作信息与初始投影模式不匹配,执行调整当前教学投影动作的操作。

2.如权利要求1所述的用于智能教学的互动投影系统,其特征在于:所述多目图像记录子模块包括多目图像拍摄单元和多目图像序列生成单元;其中,所述多目图像拍摄单元用于按照预定扫描频率对当前教学环境进行连续式多目图像拍摄,以此获得所述若干原始多目图像;

所述多目图像序列生成单元用于计算所述若干原始多目图像相互之间的图像相似度,并根据所述图像相似度将所述若干原始多目图像转换为具有部分重叠图像区域的所述多目图像序列;

或者,

所述三维空间标定子模块包括教学投影质量计算单元和最优教学投影布局标定单元;

其中,

所述教学投影质量计算单元用于根据所述期望教学投影需求模型,计算在所述虚拟三维空间中的不同位置处的教学投影像差值,以此作为教学投影质量评判值;

所述最优教学投影布局标定单元用于根据所述教学投影质量评判值,标定得到所述虚拟三维空间的最优投影位置和/或最优投影方向。

3.如权利要求1所述的用于智能教学的互动投影系统,其特征在于:所述教学场景相关人员标定模块包括单目图像记录子模块、场景人员存在状态确定子模块和教学关联程度标定子模块;其中,所述单目图像记录子模块用于对当前教学环境进行扫描式的单目图像拍摄,以此获得关于当前教学环境的全景单目图像;

所述场景人员存在状态确定子模块用于确定所述全景单目图像中的人员存在位置和/或人员存在数量;

所述教学关联程度标定子模块用于将所述人员存在位置和/或所述人员存在数量叠置到所述经过标定的教学环境三维空间中,以此标定得到存在的相关人员的教学关联程度。

4.如权利要求3所述的用于智能教学的互动投影系统,其特征在于:所述单目图像记录子模块包括单目图像拍摄单元和全景单目图像生成单元;其中,所述单目图像拍摄单元用于按照预定扫描频率对当前教学环境进行单目图像拍摄,以此获得若干原始单目图像;

所述全景单目图像生成单元用于将所述若干原始单目图像按照扫描拍摄的时间顺序拼接形成所述全景单目图像。

5.如权利要求1所述的用于智能教学的互动投影系统,其特征在于:所述教学投影模块包括教学资源数据存储模块、可视化教学图像信息转换子模块和投影播放子模块;其中,

所述教学资源数据存储模块用于存储关于不同教学课程的资源数据;所述可视化教学图像信息转换子模块用于将所述关于不同教学课程的资源数据转换为静态形式或者动态形式的投影源图像信息;

所述投影播放子模块用于根据所述投影源图像信息和所述初始投影模式,执行所述教学投影动作。

6.如权利要求1所述的用于智能教学的互动投影系统,其特征在于:所述目标人员互动识别模块包括互动优先级别确定子模块、目标人员确定子模块和识别追踪子模块;其中,

所述互动优先级别确定子模块用于根据所述关于教学关联程度的标定结果,确定当前教学环境存在的所有人员的互动优先级别;

所述目标人员确定子模块用于根据所述互动优先级别的确定结果,从所述所有人员中选定至少一个作为所述目标人员;

所述识别追踪子模块用于对所述至少一个目标人员进行肢体动作和/或脸部表情的识别追踪。

7.如权利要求6所述的用于智能教学的互动投影系统,其特征在于:所述互动优先级别确定子模块确定当前教学环境存在的所有人员的互动优先级别具体为,

将当前教学环境存在的每一个人员的关于教学关联程度的标定结果按照由高至低的顺序进行排列,以此确定所有人员的互动优先级别;

或者,

所述识别追踪子模块包括图像识别追踪单元和红外识别追踪单元;其中,所述图像识别追踪单元用于对所述至少一个目标人员进行定向连续拍摄,以此实现对所述至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;

所述红外识别追踪单元用于对所述至少一个目标人员进行定向红外投射,以此实现对所述至少一个目标人员进行肢体动作和/或脸部表情的识别追踪。

8.如权利要求1所述的用于智能教学的互动投影系统,其特征在于:所述投影动作调整模块包括投影效果差异确定子模块和投影参数调整子模块;其中,所述投影效果差异确定子模块用于确定所述初始投影模式对应的初始投影效果与期望投影效果之间在投影失真度差异;

所述投影参数调整子模块用于根据所述识别追踪的结果和所述投影失真度差异,调整所述教学投影模块的投影参数;

所述投影参数调整子模块包括投影焦距调整单元、投影视场角调整单元、投影方向调整单元、投影倍率调整单元和投影亮度调整单元;其中,所述投影焦距调整单元用于调整所述教学投影模块的投影焦距;

所述投影视场调整单元用于调整所述教学投影模块的投影视场;

所述投影方向调整单元用于调整所述教学投影模块的投影方向;

所述投影倍率调整单元用于调整所述教学投影模块的投影倍率;

所述投影亮度调整单元用于调整所述教学投影模块的投影亮度。

说明书 :

用于智能教学的互动投影系统

技术领域

[0001] 本发明涉及智能教学的技术领域,特别涉及用于智能教学的互动投影系统。

背景技术

[0002] 智能教学中通常会利用相应的投影装置来进行课程资料的可视化动态显示,以便于教师和学生能够在教学过程中及时地掌握教学进度和提高教学过程的趣味性。现有技术
的教学投影都是按照预先准备的教学图像资源来进行既定程序的投影操作,在教学过程中
只能按照相应模式投影显示该教学图像资源,其并不能根据教学场景的改变或者教学相关
人员的指示进行适应性的调整,这会降低教学投影的质量,以及不利于提高智能教学的互
动性和教学质量。

发明内容

[0003] 针对现有技术存在的缺陷,本发明提供用于智能教学的互动投影系统,该用于智能教学的互动投影系统通过教学场景环境标定模块获取当前教学环境对应的场景空间图
像,以此对当前教学环境进行三维空间的标定,以及通过教学场景相关人员标定模块用于
获取当前教学环境中存在的人员图像,并根据经过标定的教学环境三维空间,对其中存在
的相关人员进行关于教学关联程度的标定,再通过教学投影模块根据初始投影模式,执行
相应的教学投影动作,并且还通过目标人员互动识别模块用于对关于教学关联程度的标定
得到的至少一个目标人员进行识别追踪,最后通过投影动作调整模块用于根据识别追踪的
结果,调整教学投影模块当前的教学投影动作;可见,该用于智能教学的互动投影系统能够
根据教学场景环境的变化或者教学相关人员的指示来实时调整教学投影动作,这样保证该
教学投影能够实现与教学场景和/或教学相关人员的互动,以保证该教学投影能够根据不
同投影实际需求来变化,从而有效地提高智能教学的互动性和教学质量。
[0004] 本发明提供一种用于智能教学的互动投影系统,其特征在于:
[0005] 所述用于智能教学的互动投影系统包括教学场景环境标定模块、教学场景相关人员标定模块、教学投影模块、目标人员互动识别模块和投影动作调整模块;其中,
[0006] 所述教学场景环境标定模块用于获取当前教学环境对应的场景空间图像,以此对当前教学环境进行三维空间的标定;
[0007] 所述教学场景相关人员标定模块用于获取当前教学环境中存在的人员图像,并根据经过标定的教学环境三维空间,对其中存在的相关人员进行关于教学关联程度的标定;
[0008] 所述教学投影模块用于根据初始投影模式,执行相应的教学投影动作;
[0009] 所述目标人员互动识别模块用于对所述关于教学关联程度的标定得到的至少一个目标人员进行识别追踪;
[0010] 所述投影动作调整模块用于根据所述识别追踪的结果,调整所述教学投影模块当前的教学投影动作;
[0011] 进一步,所述教学场景环境标定模块包括多目图像记录子模块、教学场景空间重构子模块和三维空间标定子模块;其中,
[0012] 所述多目图像记录子模块用于拍摄关于当前教学环境的若干原始多目图像,并将所述若干原始多目图像转换为具有部分重叠图像区域的多目图像序列;
[0013] 所述教学场景空间重构子模块用于根据所述多目图像序列,重构关于当前教学环境的虚拟三维空间;
[0014] 所述三维空间标定子模块用于根据期望教学投影需求模型,对所述虚拟三维空间进行关于最优投影位置和/或最优投影方向的标定;
[0015] 进一步,所述多目图像记录子模块包括多目图像拍摄单元和多目图像序列生成单元;其中,
[0016] 所述多目图像拍摄单元用于按照预定扫描频率对当前教学环境进行连续式多目图像拍摄,以此获得所述若干原始多目图像;
[0017] 所述多目图像序列生成单元用于计算所述若干原始多目图像相互之间的图像相似度,并根据所述图像相似度将所述若干原始多目图像转换为具有部分重叠图像区域的所
述多目图像序列;
[0018] 或者,
[0019] 所述三维空间标定子模块包括教学投影质量计算单元和最优教学投影布局标定单元;其中,
[0020] 所述教学投影质量计算单元用于根据所述期望教学投影需求模型,计算在所述虚拟三维空间中的不同位置处的教学投影像差值,以此作为教学投影质量评判值;
[0021] 所述最优教学投影布局标定单元用于根据所述教学投影质量评判值,标定得到所述虚拟三维空间的最优投影位置和/或最优投影方向;
[0022] 进一步,所述教学场景相关人员标定模块包括单目图像记录子模块、场景人员存在状态确定子模块和教学关联程度标定子模块;其中,
[0023] 所述单目图像记录子模块用于对当前教学环境进行扫描式的单目图像拍摄,以此获得关于当前教学环境的全景单目图像;
[0024] 所述场景人员存在状态确定子模块用于确定所述全景单目图像中的人员存在位置和/或人员存在数量;
[0025] 所述教学关联程度标定子模块用于将所述人员存在位置和/或所述人员存在数量叠置到所述经过标定的教学环境三维空间中,以此标定得到存在的相关人员的教学关联程
度;
[0026] 进一步,所述单目图像记录子模块包括单目图像拍摄单元和全景单目图像生成单元;其中,
[0027] 所述单目图像拍摄单元用于按照预定扫描频率对当前教学环境进行单目图像拍摄,以此获得若干原始单目图像;
[0028] 所述全景单目图像生成单元用于将所述若干原始单目图像按照扫描拍摄的时间顺序拼接形成所述全景单目图像;
[0029] 进一步,所述教学投影模块包括教学资源数据存储模块、可视化教学图像信息转换子模块和投影播放子模块;其中,
[0030] 所述教学资源数据存储模块用于存储关于不同教学课程的资源数据;
[0031] 所述可视化教学图像信息转换子模块用于将所述关于不同教学课程的资源数据转换为静态形式或者动态形式的投影源图像信息;
[0032] 所述投影播放子模块用于根据所述投影源图像信息和所述初始投影模式,执行所述教学投影动作;
[0033] 进一步,所述目标人员互动识别模块包括互动优先级别确定子模块、目标人员确定子模块和识别追踪子模块;其中,
[0034] 所述互动优先级别确定子模块用于根据所述关于教学关联程度的标定结果,确定当前教学环境存在的所有人员的互动优先级别;
[0035] 所述目标人员确定子模块用于根据所述互动优先级别的确定结果,从所述所有人员中选定至少一个作为所述目标人员;
[0036] 所述识别追踪子模块用于对所述至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;
[0037] 进一步,所述互动优先级别确定子模块确定当前教学环境存在的所有人员的互动优先级别具体为,
[0038] 将当前教学环境存在的每一个人员的关于教学关联程度的标定结果按照由高至低的顺序进行排列,以此确定所有人员的互动优先级别;
[0039] 或者,
[0040] 所述识别追踪子模块包括图像识别追踪单元和红外识别追踪单元;其中,
[0041] 所述图像识别追踪单元用于对所述至少一个目标人员进行定向连续拍摄,以此实现对所述至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;
[0042] 所述红外识别追踪单元用于对所述至少一个目标人员进行定向红外投射,以此实现对所述至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;
[0043] 进一步,所述投影动作调整模块包括投影效果差异确定子模块和投影参数调整子模块;其中,
[0044] 所述投影效果差异确定子模块用于确定所述初始投影模式对应的初始投影效果与期望投影效果之间在投影失真度差异;
[0045] 所述投影参数调整子模块用于根据所述识别追踪的结果和所述投影失真度差异,调整所述教学投影模块的投影参数;
[0046] 进一步,所述投影参数调整子模块包括投影焦距调整单元、投影视场角调整单元、投影方向调整单元、投影倍率调整单元和投影亮度调整单元;其中,
[0047] 所述投影焦距调整单元用于调整所述教学投影模块的投影焦距;
[0048] 所述投影视场调整单元用于调整所述教学投影模块的投影视场;
[0049] 所述投影方向调整单元用于调整所述教学投影模块的投影方向;
[0050] 所述投影倍率调整单元用于调整所述教学投影模块的投影倍率;
[0051] 所述投影亮度调整单元用于调整所述教学投影模块的投影亮度。
[0052] 进一步,所述投影动作调整模块用于根据所述识别追踪的结果,调整所述教学投影模块当前的教学投影动作;其具体实现步骤如下:
[0053] 步骤A1、根据所述多目图像记录子模块采集当前教学环境的若干原始多目图像,并进行逐帧拆分预处理获取原始单目图像,经公式(1)迭代收敛,获取当前互动投影系统中
教学环境的三维空间标定信息;
[0054]
[0055] 其中,arctan为反正切函数,h为所述当前教学场景的预设高度参数,l为所述当前教学场景的预设长度参数,w为所述当前教学场景的预设宽度参数,x为所述原始单目图像
中目标人员在所述教学场景中所处的横坐标位置,x0为所述原始单目图像中目标人员的初
始横坐标值,sx为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置为x,
方向向左的横坐标空间向量信息,y为所述原始单目图像中目标人员在所述教学场景中所
处的纵坐标位置,y0为所述原始单目图像中目标人员的初始纵坐标值,gy为所述原始单目图
像中目标人员在所述教学场景中所处的纵坐标位置为y,方向向前的纵坐标空间向量信息,
z为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置,z0为所述原始单
目图像中目标人员的初始垂直坐标值,rz为所述原始单目图像中目标人员在所述教学场景
中所处的垂直坐标位置为z,方向向上的垂直坐标空间向量信息,F(s,g,r)为所述目标人员
在当前教学场景朝向方位信息, 为获取目标人
员空间位置信息,V(sx,gy,rz)为获取当前互动投影系统中教学环境的三维空间标定信息;
[0056] 步骤A2、根据获取的当前互动投影系统中教学环境的三维空间标定信息,对若干原始多目图像中目标人员动作趋势进行分析,并通过公式(2)进行高斯函数运算,以获取教
学投影趋势动作信息;
[0057]
[0058] 其中,π为圆周率,exp为以自然常数e为底的指数函数,N为所述原始多目图像的数量,t为所述各原始多目图像的时间标签,t0为体现目标人员初始行为动作的多目图像的时
间标签,i为所述原始多目图像目标人员动作的偏差比例,Ai为所述原始多目图像目标人员
动作的偏差比例为i所对应的目标人员趋势动作信息,g(Δt)为时间间隔为Δt时目标人员
的动作趋势变化信息, 为经高斯函数运算获取的目标人员在一定
时间间隔内动作趋势变化信息,Sim(Ai)表示获取教学投影趋势动作信息;
[0059] 步骤A3、将步骤A2获取的教学投影趋势动作信息与初始投影模式进行比对,根据公式(3)获取比对结果,执行调整当前教学投影动作的操作;
[0060]
[0061] 其中,m为教学投影趋势动作信息与初始投影模式的比对值,k为当前教学场景中所述原始多目图像的初始编号,O`(k,Ts)为初始投影模式进行求导变换后的输出值,Com
(m)为教学投影趋势动作信息与初始投影模式进行比对的结果,当Com(m)不为0,则表示当
前教学投影趋势动作信息与初始投影模式不匹配,执行调整当前教学投影动作的操作。
[0062] 相比于现有技术,该用于智能教学的互动投影系统通过教学场景环境标定模块获取当前教学环境对应的场景空间图像,以此对当前教学环境进行三维空间的标定,以及通
过教学场景相关人员标定模块用于获取当前教学环境中存在的人员图像,并根据经过标定
的教学环境三维空间,对其中存在的相关人员进行关于教学关联程度的标定,再通过教学
投影模块根据初始投影模式,执行相应的教学投影动作,并且还通过目标人员互动识别模
块用于对关于教学关联程度的标定得到的至少一个目标人员进行识别追踪,最后通过投影
动作调整模块用于根据识别追踪的结果,调整教学投影模块当前的教学投影动作;可见,该
用于智能教学的互动投影系统能够根据教学场景环境的变化或者教学相关人员的指示来
实时调整教学投影动作,这样保证该教学投影能够实现与教学场景和/或教学相关人员的
互动,以保证该教学投影能够根据不同投影实际需求来变化,从而有效地提高智能教学的
互动性和教学质量。
[0063] 本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明
书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0064] 下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

[0065] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
[0066] 图1为本发明提供的一种用于智能教学的互动投影系统的结构示意图。

具体实施方式

[0067] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于
本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
[0068] 参阅图1,为本发明实施例提供的一种用于智能教学的互动投影系统的结构示意图。该用于智能教学的互动投影系统包括教学场景环境标定模块、教学场景相关人员标定
模块、教学投影模块、目标人员互动识别模块和投影动作调整模块;其中,
[0069] 该教学场景环境标定模块用于获取当前教学环境对应的场景空间图像,以此对当前教学环境进行三维空间的标定;
[0070] 该教学场景相关人员标定模块用于获取当前教学环境中存在的人员图像,并根据经过标定的教学环境三维空间,对其中存在的相关人员进行关于教学关联程度的标定;
[0071] 该教学投影模块用于根据初始投影模式,执行相应的教学投影动作;
[0072] 该目标人员互动识别模块用于对该关于教学关联程度的标定得到的至少一个目标人员进行识别追踪;
[0073] 该投影动作调整模块用于根据该识别追踪的结果,调整该教学投影模块当前的教学投影动作。
[0074] 该用于智能教学的互动投影系统将教学场景环境和教学场景相关人员作为教学投影动作调整的互动因素,这样能够极大地提高教学投影动作调整的响应速度和响应准确
性,从而改善互动投影系统的互动有效性。
[0075] 优选地,该教学场景环境标定模块包括多目图像记录子模块、教学场景空间重构子模块和三维空间标定子模块;其中,
[0076] 该多目图像记录子模块用于拍摄关于当前教学环境的若干原始多目图像,并将该若干原始多目图像转换为具有部分重叠图像区域的多目图像序列;
[0077] 该教学场景空间重构子模块用于根据该多目图像序列,重构关于当前教学环境的虚拟三维空间;
[0078] 该三维空间标定子模块用于根据期望教学投影需求模型,对该虚拟三维空间进行关于最优投影位置和/或最优投影方向的标定;
[0079] 该教学场景环境标定模块通过该若干原始多目图像转换得到该多目图像序列,以此重构关于当前教学环境的虚拟三维空间,这样能够保证该虚拟三维空间准确地和真实地
反映该当前教学环境的空间布局情况,从而提高后续关于最优投影位置和/或最优投影方
向的标定的准确性。
[0080] 优选地,该多目图像记录子模块包括多目图像拍摄单元和多目图像序列生成单元;其中,
[0081] 该多目图像拍摄单元用于按照预定扫描频率对当前教学环境进行连续式多目图像拍摄,以此获得该若干原始多目图像;
[0082] 该多目图像序列生成单元用于计算该若干原始多目图像相互之间的图像相似度,并根据该图像相似度将该若干原始多目图像转换为具有部分重叠图像区域的该多目图像
序列;
[0083] 该多目图像记录子模块通过拍摄多目图像来获得关于当前教学环境的全局景深图像,从而有效地避免无法全面覆盖当前教学环境区域的情况出现,并且该多目图像序列
的生成也能够有效的降低不同多目图像之间数据重复度,从而降低后续对多目图像序列的
计算处理量。
[0084] 优选地,该三维空间标定子模块包括教学投影质量计算单元和最优教学投影布局标定单元;其中,
[0085] 该教学投影质量计算单元用于根据该期望教学投影需求模型,计算在该虚拟三维空间中的不同位置处的教学投影像差值,以此作为教学投影质量评判值;
[0086] 该最优教学投影布局标定单元用于根据该教学投影质量评判值,标定得到该虚拟三维空间的最优投影位置和/或最优投影方向;
[0087] 该三维空间标定子模块以教学投影像差值作为教学投影质量评判值,这样能够有效地提高该最优投影位置和/或该最优投影方向的标定可靠度。
[0088] 优选地,该教学场景相关人员标定模块包括单目图像记录子模块、场景人员存在状态确定子模块和教学关联程度标定子模块;其中,
[0089] 该单目图像记录子模块用于对当前教学环境进行扫描式的单目图像拍摄,以此获得关于当前教学环境的全景单目图像;
[0090] 该场景人员存在状态确定子模块用于确定该全景单目图像中的人员存在位置和/或人员存在数量;
[0091] 该教学关联程度标定子模块用于将该人员存在位置和/或该人员存在数量叠置到该经过标定的教学环境三维空间中,以此标定得到存在的相关人员的教学关联程度;
[0092] 该教学场景相关人员标定模块通过该全景单目图像来确定人员存在位置和/或人员存在数量,能够有效避免出现人员确定遗漏的情况,此外,通过将该人员存在位置和/或
该人员存在数量叠置到该经过标定的教学环境三维空间中,能够更加准确地标定得到相关
人员的教学关联程度。
[0093] 优选地,该单目图像记录子模块包括单目图像拍摄单元和全景单目图像生成单元;其中,
[0094] 该单目图像拍摄单元用于按照预定扫描频率对当前教学环境进行单目图像拍摄,以此获得若干原始单目图像;
[0095] 该全景单目图像生成单元用于将该若干原始单目图像按照扫描拍摄的时间顺序拼接形成该全景单目图像;
[0096] 该单目图像记录子模块能够对当前教学环境进行全范围无死角的扫描拍摄,从而进一步提高该全景单目图像的可靠性。
[0097] 优选地,该教学投影模块包括教学资源数据存储模块、可视化教学图像信息转换子模块和投影播放子模块;其中,
[0098] 该教学资源数据存储模块用于存储关于不同教学课程的资源数据;
[0099] 该可视化教学图像信息转换子模块用于将该关于不同教学课程的资源数据转换为静态形式或者动态形式的投影源图像信息;
[0100] 该投影播放子模块用于根据该投影源图像信息和该初始投影模式,执行该教学投影动作;
[0101] 该教学投影模块能够有效将不同教学课程的资源数据进行教学投影转换,从而提高该资源数据的投影可控性。
[0102] 优选地,该目标人员互动识别模块包括互动优先级别确定子模块、目标人员确定子模块和识别追踪子模块;其中,
[0103] 该互动优先级别确定子模块用于根据该关于教学关联程度的标定结果,确定当前教学环境存在的所有人员的互动优先级别;
[0104] 该目标人员确定子模块用于根据该互动优先级别的确定结果,从该所有人员中选定至少一个作为该目标人员;
[0105] 该识别追踪子模块用于对该至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;
[0106] 该目标人员互动识别模块通过互动优先级别的确定结果选定该目标人员,能够有效避免当前教学环境中存在多个人员时,无法唯一地和快速地对相应人员进行识别追踪,
从而提高该识别追踪的响应准确性。
[0107] 优选地,该互动优先级别确定子模块确定当前教学环境存在的所有人员的互动优先级别具体为,
[0108] 将当前教学环境存在的每一个人员的关于教学关联程度的标定结果按照由高至低的顺序进行排列,以此确定所有人员的互动优先级别;
[0109] 优选地,该识别追踪子模块包括图像识别追踪单元和红外识别追踪单元;其中,
[0110] 该图像识别追踪单元用于对该至少一个目标人员进行定向连续拍摄,以此实现对该至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;
[0111] 该红外识别追踪单元用于对该至少一个目标人员进行定向红外投射,以此实现对该至少一个目标人员进行肢体动作和/或脸部表情的识别追踪;
[0112] 通过将图像识别追踪和红外识别追踪两种方式相结合能够避免单一识别追踪方式导致识别追踪误差较大情况的出现,从而提高对目标人员识别追踪的准确性。
[0113] 优选地,该投影动作调整模块包括投影效果差异确定子模块和投影参数调整子模块;其中,
[0114] 该投影效果差异确定子模块用于确定该初始投影模式对应的初始投影效果与期望投影效果之间在投影失真度差异;
[0115] 该投影参数调整子模块用于根据该识别追踪的结果和该投影失真度差异,调整该教学投影模块的投影参数。
[0116] 优选地,该投影参数调整子模块包括投影焦距调整单元、投影视场角调整单元、投影方向调整单元、投影倍率调整单元和投影亮度调整单元;其中,
[0117] 该投影焦距调整单元用于调整该教学投影模块的投影焦距;
[0118] 该投影视场调整单元用于调整该教学投影模块的投影视场;
[0119] 该投影方向调整单元用于调整该教学投影模块的投影方向;
[0120] 该投影倍率调整单元用于调整该教学投影模块的投影倍率;
[0121] 该投影亮度调整单元用于调整该教学投影模块的投影亮度。
[0122] 优选地,所述投影动作调整模块用于根据所述识别追踪的结果,调整所述教学投影模块当前的教学投影动作;其具体实现步骤如下:
[0123] 步骤A1、根据所述多目图像记录子模块采集当前教学环境的若干原始多目图像,并进行逐帧拆分预处理获取原始单目图像,经公式(1)迭代收敛,获取当前互动投影系统中
教学环境的三维空间标定信息;
[0124]
[0125] 其中,arctan为反正切函数,h为所述当前教学场景的预设高度参数,l为所述当前教学场景的预设长度参数,w为所述当前教学场景的预设宽度参数,x为所述原始单目图像
中目标人员在所述教学场景中所处的横坐标位置,x0为所述原始单目图像中目标人员的初
始横坐标值,sx为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置为x,
方向向左的横坐标空间向量信息,y为所述原始单目图像中目标人员在所述教学场景中所
处的纵坐标位置,y0为所述原始单目图像中目标人员的初始纵坐标值,gy为所述原始单目图
像中目标人员在所述教学场景中所处的纵坐标位置为y,方向向前的纵坐标空间向量信息,
z为所述原始单目图像中目标人员在所述教学场景中所处的横坐标位置,z0为所述原始单
目图像中目标人员的初始垂直坐标值,rz为所述原始单目图像中目标人员在所述教学场景
中所处的垂直坐标位置为z,方向向上的垂直坐标空间向量信息,F(s,g,r)为所述目标人员
在当前教学场景朝向方位信息, 为获取目标人
员空间位置信息,V(sx,gy,rz)为获取当前互动投影系统中教学环境的三维空间标定信息;
[0126] 步骤A2、根据获取的当前互动投影系统中教学环境的三维空间标定信息,对若干原始多目图像中目标人员动作趋势进行分析,并通过公式(2)进行高斯函数运算,以获取教
学投影趋势动作信息;
[0127]
[0128] 其中,π为圆周率,exp为以自然常数e为底的指数函数,N为所述原始多目图像的数量,t为所述各原始多目图像的时间标签,t0为体现目标人员初始行为动作的多目图像的时
间标签,i为所述原始多目图像目标人员动作的偏差比例,Ai为所述原始多目图像目标人员
动作的偏差比例为i所对应的目标人员趋势动作信息,g(Δt)为时间间隔为Δt时目标人员
的动作趋势变化信息, 为经高斯函数运算获取的目标人员在一定
时间间隔内动作趋势变化信息,Sim(Ai)表示获取教学投影趋势动作信息;
[0129] 步骤A3、将步骤A2获取的教学投影趋势动作信息与初始投影模式进行比对,根据公式(3)获取比对结果,执行调整当前教学投影动作的操作;
[0130]
[0131] 其中,m为教学投影趋势动作信息与初始投影模式的比对值,k为当前教学场景中所述原始多目图像的初始编号,O`(k,Ts)为初始投影模式进行求导变换后的输出值,Com
(m)为教学投影趋势动作信息与初始投影模式进行比对的结果,当Com(m)不为0,则表示当
前教学投影趋势动作信息与初始投影模式不匹配,执行调整当前教学投影动作的操作。
[0132] 上述技术方案的有益效果是:该技术方案可支持通过对当前教学场景的目标人员动作趋势进行分析,以便及时检测其动作变化趋势是否与预设的教学动作一致,若存在偏
差,将及时进行分析并预警,以确保当前教学互动投影与目标对象的需求相匹配,并且本技
术方案可根据对教学环境的三维空间进行预设标定,相关人员动作趋势产生变化时可具体
到对每个动作坐标变化进行精确检测,以便智能教学系统动态调整教学投影模块当前的教
学投影动作,提高了互动投影系统的准确性。
[0133] 从上述实施例的内容可知,该用于智能教学的互动投影系统通过教学场景环境标定模块获取当前教学环境对应的场景空间图像,以此对当前教学环境进行三维空间的标
定,以及通过教学场景相关人员标定模块用于获取当前教学环境中存在的人员图像,并根
据经过标定的教学环境三维空间,对其中存在的相关人员进行关于教学关联程度的标定,
再通过教学投影模块根据初始投影模式,执行相应的教学投影动作,并且还通过目标人员
互动识别模块用于对关于教学关联程度的标定得到的至少一个目标人员进行识别追踪,最
后通过投影动作调整模块用于根据识别追踪的结果,调整教学投影模块当前的教学投影动
作;可见,该用于智能教学的互动投影系统能够根据教学场景环境的变化或者教学相关人
员的指示来实时调整教学投影动作,这样保证该教学投影能够实现与教学场景和/或教学
相关人员的互动,以保证该教学投影能够根据不同投影实际需求来变化,从而有效地提高
智能教学的互动性和教学质量。
[0134] 显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围
之内,则本发明也意图包含这些改动和变型在内。