本发明属于虚拟现实技术的教学应用领域，提供一种翻转讲台的立体综合教学场系统及其工作方法。该系统包括设备部署模块、教学资源适配模块、采集处理模块、边缘计算模块，该方法包括立体综合教学场系统在线下教室的空间划分、设备部署、边缘计算、全息显示、数据采集、动作定位、教学互动环境的构建。本发明构建的教学系统，实现真人教师与虚拟资源的全息叠加显示、提升教室环境下虚实融合的真实感效果，支持多模态交互支持下的虚实同步。本发明有助于立体综合教学场系统在线下教室的建设和应用，促进新一代教室与教育教学的深度融合。
1.翻转讲台的立体综合教学场系统，其特征在于：包括设备部署模块、教学资源适配模块、采集处理模块、边缘计算模块；
所述设备部署模块，在教室教师活动区域部署显示、采集、计算、交互设备和灯光系统，支撑立体综合教学场系统；
所述教学资源适配模块，根据用户请求的指令，按照参数的权重顺序，匹配合适的教学资源，沿着云‑边‑端链路，依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现虚拟教学资源加载服务；所述采集处理模块，使用RGB‑D摄像机采集教师活动区域的环境、教师的点云数据，在边缘计算服务器，利用Mask R‑CNN技术，提取教师的骨骼数据，回传到本地处理模块提取教师骨骼及其关节点坐标，实现关节点分组；
所述边缘计算模块，接收采集处理模块获取的点云序列数据，计算并标注教师的骨骼关节点，分析骨骼关节点的运动轨迹，检测教学活动区域中教师的状态，追踪教师的教学行为及其变化；具体包括：边缘计算，采用MEC架构，边缘计算服务器接收到教室端采集模块获取的点云序列数据，采用随机决策树和随机森林算法搜索、定位点云数据中教师的骨骼数据，利用Mask R‑CNN神经网络算法，分割点云序列中教师的骨骼关节，使用非线性解算器计算并标注教师的骨骼关节点；
教学动作分析，按照完备属性实现骨骼关节点运动的教学动作意义，定义常见教学动作的编码；根据时间轴上不同时刻教师的骨骼关节点，确定教师的身体动作、面部表情或手部姿态的运动速度和角度，使用神经网络算法分析教学过程中教师骨骼关节点的运动轨迹；
教师行为追踪，采用三维映射与人体跟踪技术，结合反向运动学骨骼模型的位置和连接关系，检测时间轴上不同时刻教学活动区域中教师状态，计算和检验相邻关节的自由度，根据形成的特征，判别和检验教师的行为，追踪教师的教学行为变化。
2.根据权利要求1所述的翻转讲台的立体综合教学场系统，其特征在于：包括定位模块，所述定位模块构建虚实融合坐标系，确定全息显示内容的位置、姿态和缩放转换系数，定位教师骨骼的位置、姿态信息，依据采集到的教师骨骼关节点的运动轨迹，定位交互命令。
3.根据权利要求1所述的翻转讲台的立体综合教学场系统，其特征在于：包括显示模块，所述显示模块将边缘计算服务器端渲染的虚拟教学内容画面推送到本地，根据教师的观察参数，更新全息屏幕上虚拟教学资源的画面，依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示。
4.根据权利要求1所述的翻转讲台的立体综合教学场系统，其特征在于：包括互动模块，所述互动模块依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格，识别教师输入的多感官动作，转换为交互命令，驱动虚拟教学资源执行操作，更新全息显示内容画面。
5.一种如权利要求1所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于该方法包括以下步骤：
(1)教室环境部署，使用内嵌贴有全息膜的玻璃屏和进出门的分隔墙，将教室划分为教师与学生活动区域；使用电子沙盘、边缘计算服务器、全息成像设备和灯光构建教室的立体教学场系统；在教师活动区域布设深度、声音、动捕和触控传感设备；
(2)教学资源适配，根据用户请求的学科、年级、教材版本和知识点，按照终端、分辨率和比例的权重顺序，匹配合适的教学资源；构建云‑边‑端链路，依据用户的请求，下载虚拟教学资源；依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现教学资源加载服务；
(3)信息采集处理，使用RGB摄像机采集教师活动区域的背景、纹理、深度、点云；上传到边缘计算服务器，利用Mask R‑CNN神经网络技术，提取教师的骨骼数据；在本地处理模块运用分割策略提取回传的教师骨骼及其关节点的3D坐标，利用层级控制原则，实现关节点分组；
(4)边缘计算，边缘计算服务器接收到教室端采集模块获取的点云序列数据，使用非线性解算器计算并标注教师的骨骼关节点；根据骨骼关节点的运动速度和角度，使用神经网络算法分析骨骼关节点的运动轨迹；检测教学活动区域中教师的状态，追踪教师的教学行为及其变化；具体包括以下步骤：(4‑1)边缘计算，采用MEC架构，边缘计算服务器接收到教室端采集模块获取的点云序列数据，采用随机决策树和随机森林算法搜索、定位点云数据中教师的骨骼数据，利用Mask R‑CNN神经网络算法，分割点云序列中教师的骨骼关节，使用非线性解算器计算并标注教师的骨骼关节点；
(4‑2)教学动作分析，按照完备属性实现骨骼关节点运动的教学动作意义，定义常见教学动作的编码；根据时间轴上不同时刻教师的骨骼关节点，确定教师的身体动作、面部表情或手部姿态的运动速度和角度，使用神经网络算法分析教学过程中教师骨骼关节点的运动轨迹；
(4‑3)教师行为追踪，采用三维映射与人体跟踪技术，结合反向运动学骨骼模型的位置和连接关系，检测时间轴上不同时刻教学活动区域中教师状态，计算和检验相邻关节的自由度，根据形成的特征，判别和检验教师的行为，追踪教师的教学行为变化；
(5)定位处理，构建虚实融合坐标系，根据全息投影机的内外参数，确定全息显示内容的位置、姿态和缩放转换系数；结合逆透视变换方程，重新定位虚实融合坐标系中教师骨骼的位置、姿态信息；依据处理得到的教师骨骼关节点的运动轨迹，确定点击、拖、拽、推和拉交互命令；
(6)融合显示，采用云渲染教学服务模式，在边缘计算服务器上完成全息显示内容的渲染；依据教师的身体站位、头部姿态和视线方向，更新全息屏幕上虚拟教学资源的画面；依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示；
(7)互动处理，依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格；识别输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令；驱动虚拟教学资源执行移动、缩放和旋转操作，实现全息显示内容画面的更新。
6.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(1)中所述教室环境部署具体包括以下步骤：(1‑1)功能区域划分，在传统教室的黑板或电子白板前方3米处添加分隔墙，内嵌贴有全息膜的玻璃屏和进出门，将教室划分为2个区域，即分隔墙内、靠近黑板的教师教学活动区域，分隔墙外为学生活动区域，通过进出门，教师从教师活动区域走到学生活动区域，与学生面对面交流；
(1‑2)全息显示环境构建，分隔墙中内嵌贴有全息膜的玻璃屏，用于呈现虚拟教学资源和真实教师的融合效果，超短焦全息投影机安装在学生活动区域的中间顶部，初始位置设置在移动导轨的正中间；根据教师活动区域、学生活动区域的教师操作与学生观看的需要，分别采用亮度不同的LED白炽灯和LED平板柔光灯，作为全息环境的光源；
(1‑3)交互设备布设，在教师活动区域，布设边缘计算服务器、电子沙盘和网络环境，教学过程中使用电子沙盘加载、控制教学资源，在分隔墙教师活动区域侧的顶部，安装集成TOF深度、麦克风圆形阵列、惯性测量单元的RGB‑D摄像机，采集教学环境和活动过程中教师的语音、口型和体态动作。
7.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(2)中所述教学资源适配具体包括以下步骤：(2‑1)教学资源匹配，按照学科、年级、教材版本、章节、知识点建立教学资源的知识树模型，按照媒体类型将教学资源挂接在知识树上，并将适配终端、画面尺寸、长宽比例属性赋给教学资源，依据用户的请求，按照终端、分辨率、比例属性的权重顺序，确定最匹配的教学资源；
(2‑2)云‑边‑端链路构建，采用MEC架构构建云边端的系统架构，在云端部署立体综合教学场的渲染和教学服务模块，实现用户信息、资源匹配和功能验证服务；在教室所属的学校部署边缘计算服务器，实现画面渲染、边缘计算、资源更新服务；在教室端的根据教师发出的指令请求，下载虚拟教学资源；
(2‑3)教学资源加载服务，根据教学目标和教学内容要求，电子沙盘终端上教学应用程序发出加载教学资源的请求，在电子沙盘上加载该教学资源。
8.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(3)中所述信息采集处理具体包括以下步骤：(3‑1)教学信息采集，将RGB‑D摄像机的视场模式设置为窄视野，中心视场区域设置在电子沙盘的前方位置，精确采集教学过程中教师活动区域的背景环境和教师的纹理图像与深度点云数据，通过蓝牙、WIFI和USB 3.0传输方式，传给电子沙盘上的采集处理模块；
(3‑2)提取教师数据，本地采集处理模块按照时间序列将RGB‑D摄像机捕获的深度点云数据发送到边缘计算服务器，利用Mask R‑CNN神经网络技术提取置图像的2D置信度图和关联字段，采用图论中的偶匹配求出两者的联系，定位、提取点云数据中教师的骨骼数据；经边缘计算点云序列数据的点的RGB和深度数据的变化，提取教授课过程中教师的骨骼关节点变化；
(3‑3)教师动作确定，接收边缘计算服务器传回的教师骨骼数据，采用分割策略提取各个关节点的3D坐标，计算相邻关节点之间的距离及其水平分量，依据教师骨架的矢量性，使用匈牙利算法连接和合并教师整体骨架的关键节点。
9.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(5)中所述定位处理具体包括以下步骤：
(5‑1)构建虚实融合坐标系，以分隔墙、教室墙壁和地板三者的交点为坐标轴原点，两两交线为坐标轴，向上方向为Z轴正方向，采用左手坐标系构建教室中虚实融合坐标系统，参照全息投影机的内外参数，结合教师骨骼关节点坐标以及点对姿态，实现教师骨骼与电子沙盘屏幕上呈现的虚拟教学资源的对象模型的叠加；
(5‑2)教师骨骼定位，根据采集处理模块获得的教师骨骼各个关节点的3D坐标，结合逆透视变换方程，确定各个关节点在虚拟空间中的位置，在虚实融合坐标系中重新定向结合步骤(5‑1)中所获得的位置、姿态和缩放转换系数，确定教师骨骼关节点在虚实融合坐标系中的位置、姿态和缩放参数；
(5‑3)交互命令确定，依据追踪获取到的教师手部、身体和面部关节点的运动轨迹，与AI训练的手势数据集、骨架数据集和表情数据集匹配，识别教师的手部动作、身体姿态和面部表情，根据手部与肘部关节的变化，以及与虚拟教学资源模型的远近、部件层次关系，定位点击、拖、拽、推和拉交互命令。
10.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(6)中所述融合显示具体包括以下步骤：
(6‑1)采用云渲染的教学资源生成，基于云‑边‑端网络架构，教室端应用程序发出渲染请求后，经5G WIFI/CPE，向边缘计算服务器上渲染模块发送教学资源的画面、分辨率、长宽比例和适配终端的信息，渲染模块完成渲染后，经下行链路将信息发生到本地端，供教师和学生观看；
(6‑2)全息画面刷新，根据采集处理模块确定的教师在虚实融合坐标系中的位置、姿态和缩放参数，使用图形学中观察点‑中心点模型，实时计算教师当前的头部姿态、视点位置和视线方向，响应教师的多模态交互方式，更新全息屏幕上虚拟教学资源的画面；
(6‑3)真实教师与虚拟教学资源融合显示，依据全息屏上显示内容在虚实融合坐标系中的位置、姿态和缩放比例，与教师活动区域中教师进行叠加显示，结合教师的头部姿态、视线观察方向和视点位置，以及多模态交互行为，实现真实教师与虚拟教学资源在全息膜上的融合显示。
11.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(7)中所述互动处理具体包括以下步骤：
(7‑1)确定教师的教学风格，依据定位模块确定的教学活动过程中教师骨骼关节点的运动轨迹、连接关系和变化序列，依据教学动作编码，精确判断该教师的教学特征，结合结构认知、自主探究和知识拓展课程类型，识别其教学风格；
(7‑2)识别教师的交互动作，教学过程中，基于采集处理模块追踪教师的头部姿势和视线方向，确定真实教师与虚拟教学资源的位置和关系，结合教师的教学风格，识别其输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令；
(7‑3)虚实联动，根据教师的点击、拖、拽、推和拉交互命令，驱动虚拟教学资源执行移动、缩放和旋转操作，完成全息显示内容画面的更新，教师可沿固定路径或随意飞行、绕行或步行，进入虚拟教学资源内部或外部探究资源表面的纹理细节和特征分布。
翻转讲台的立体综合教学场系统及其工作方法
技术领域
[0001] 本发明属于虚拟现实技术的教学应用领域，更具体地，涉及一种翻转讲台的立体综合教学场系统及其工作方法。
背景技术
[0002] 立体综合教学场能够实现“人‑机‑场”的深度融合，支持师生在真实物理空间与虚拟教学资源相融合的环境中开展教学活动。随着5G、人工智能、全息显示、虚拟现实等新型技术在教育场景的深入应用，基于多种采集传感器、显示终端、交互设备等协同工作，教师利用手势、体感、触控等多模态交互方式操纵虚拟教学资源，真实教师与虚拟资源的交互结果呈现在全息屏幕上。立体综合教学场系统部署到线下实体教室已成为可能，将会翻转传统讲台，创造出真实教师、虚拟教学资源与教室环境的叠加与融合，能够提升教学过程中学生的专注度与参与感，将会创造出信息技术与课程教学的新型整合形式，推动智慧教室环境下混合式教学模式的进一步发展。
[0003] 目前在线下教室构建立体综合教学场系统还存在着如下不足：(1)真人教师与虚拟资源的全息呈现效果不佳：身处全息屏幕两侧师生观看到虚拟教学内容是旋转180°，为保证教学效果，教学过程中多要求教师逆向操作虚拟教学资源，对教师的心理映像、心理旋转的能力要求较高，增加认知难度；(2)虚实融合叠加的真实感效果有待提升：当前实时建模、全息显示等单项技术趋于成熟，但真实教师与虚拟资源的融合显示在集成上仍存在障碍，直接影响显示效果的真实感；(3)多模态的数据处理模块需要精心设计：为满足教学隐私保护需要，应在学校部署边缘计算服务器，确保教学视频、视频动作数据不出学校。这些缺陷限制立体综合教学场系统在线下教室的应用。
发明内容
[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种翻转讲台的立体综合教学场系统及其工作方法。为立体综合教学场系统在线下教室的空间划分、设备部署、边缘计算、全息显示、数据采集、动作定位、教学互动环境的构建提供一种新的、真实感更强的方法。
[0005] 本发明的目的是通过以下技术措施实现的。
[0006] 本发明提供一种翻转讲台的立体综合教学场系统，包括设备部署模块、教学资源适配模块、采集处理模块、边缘计算模块。
[0007] 设备部署模块：在教室教师活动区域部署显示、采集、计算、交互设备和灯光系统，支撑立体综合教学场系统。
[0008] 教学资源适配模块：根据用户请求的指令，按照参数的权重顺序，匹配合适的教学资源，沿着云‑边‑端链路，依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现虚拟教学资源加载服务。
[0009] 采集处理模块：使用RGB‑D摄像机采集教师活动区域的环境、教师的点云数据，在边缘计算服务器，利用Mask R‑CNN技术，提取教师的骨骼数据，回传到本地处理模块提取教师骨骼及其关节点坐标，实现关节点分组。
[0010] 边缘计算模块：接收采集模块获取的点云序列数据，计算并标注教师的骨骼关节点，分析骨骼关节点的运动轨迹，检测教学活动区域中教师的状态，追踪教师的教学行为及其变化。
[0011] 在上述技术方案中，还包括定位模块，定位模块：构建虚实融合坐标系，确定全息显示内容的位置、姿态和缩放转换系数，定位教师骨骼的位置、姿态信息，依据采集到的教师骨骼关节点的运动轨迹，定位交互命令。
[0012] 在上述技术方案中，还包括显示模块，显示模块：将边缘计算服务器端渲染的虚拟教学内容画面推送到本地，根据教师的观察参数，更新全息屏幕上虚拟教学资源的画面，依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示。
[0013] 在上述技术方案中，还包括互动模块，互动模块：依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学特风格，识别教师输入的多感官动作，转换为交互命令，驱动虚拟教学资源执行操作，更新全息显示内容画面。
[0014] 本发明还提供一种上述的翻转讲台的立体综合教学场系统的工作方法，包括以下步骤：
[0015] (1)教室环境部署，使用内嵌贴有全息膜的玻璃屏和进出门的分隔墙，将教室划分为教师与学生活动区域；使用电子沙盘、边缘计算服务器、全息成像设备和灯光构建教室的立体教学场系统；在教师活动区域布设深度、声音、动捕和触控传感设备；
[0016] (2)教学资源适配，根据用户请求的学科、年级、教材版本和知识点，按照终端、分辨率和比例的权重顺序，匹配合适的教学资源；构建云‑边‑端链路，依据用户的请求，下载虚拟教学资源；依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现教学资源加载服务；
[0017] (3)信息采集处理，使用RGB摄像机采集教师活动区域的背景、纹理、深度、点云；上传到边缘计算服务器，利用Mask R‑CNN神经网络技术，提取教师的骨骼数据；在本地处理模块运用分割策略提取回传的教师骨骼及其关节点的3D坐标，利用层级控制原则，实现关节点分组；
[0018] (4)边缘计算，边缘计算服务器接收到教室端采集模块获取的点云序列数据，使用非线性解算器计算并标注教师的骨骼关节点；根据骨骼关节点的运动速度和角度，使用神经网络算法分析骨骼关节点的运动轨迹；检测教学活动区域中教师的状态，追踪教师的教学行为及其变化；
[0019] (5)定位处理，构建虚实融合坐标系，根据全息投影机的内外参数，确定全息显示内容的位置、姿态和缩放转换系数；结合拟透视变换方程，重新定位虚实融合坐标系中教师骨骼的位置、姿态信息；依据处理得到的教师骨骼关节点的运动轨迹，确定点击、拖、拽、推和拉交互命令；
[0020] (6)融合显示，采用云渲染教学服务模式，在边缘计算服务器上完成全息显示内容的渲染；依据教师的身体站位、头部姿态和视线方向，更新全息屏幕上虚拟教学资源的画面；依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示；
[0021] (7)互动处理，依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格；识别输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令；驱动虚拟教学资源执行移动、缩放和旋转操作，实现全息显示内容画面的更新。
[0022] 本发明的有益效果在于：
[0023] 构建翻转讲台的立体综合教学场系统，应用内嵌全息膜的分隔墙将教室划分为教师与学生活动区域，使用显示、采集、计算、交互设备和灯光系统构建教室立体教学场系统；根据用户请求的指令，按照参数的权重顺序，沿着云‑边‑端链路，依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现虚拟教学资源加载服务；使用RGB‑D摄像机采集教师活动区域的环境、教师的点云数据，在边缘计算服务器利用Mask R‑CNN技术，提取教师的骨骼数据，回传到本地处理模块提取教师骨骼及其关节点坐标，实现关节点分组；接收采集模块获取点云序列数据，计算并标注教师的骨骼关节点，分析骨骼关节点的运动轨迹，检测教学活动区域中教师的状态，追踪教师的教学行为及其变化；构建虚实融合坐标系，确定全息显示内容的位置、姿态和缩放转换系数，定位教师骨骼的位置、姿态信息，依据采集到的教师骨骼关节点的运动轨迹，定位交互命令；将边缘计算服务器端渲染的虚拟教学内容画面推送到本地，根据教师的观察参数，更新全息屏幕上虚拟教学资源的画面，依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示；依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格，识别教师输入的多感官动作，转换为交互命令，驱动虚拟教学资源执行操作，更新全息显示内容画面。随着教育新基建的推进，5G教育专网在高校、职业学校、中小学的部署和实施，线下教室立体综合教学场能够满足个性化、情境化的教学需要，有助于新型智能教学环境在实体教室中的实施。
附图说明
[0024] 图1是本发明实施例中翻转讲台的立体教学场系统架构图。
[0025] 图2是本发明实施例中立体教学场教室环境部署示意图。其中，200‑教师教学活动区域、201‑学生活动区域、202‑电子沙盘、203‑全息膜、204‑全息投影机、205‑LED白炽灯、206‑平板柔光灯、207‑进出门、208‑RGB‑D摄像机。
[0026] 图3是本发明实施例中的红外动捕设备定位教师位置的示意图。其中，301‑教室侧墙、302‑教室地面、303‑红外动捕设备、304‑电子沙盘。
[0027] 图4是本发明实施例中教师分组骨骼示意图。其中，400‑鼻子、401‑脖子、402‑右肩、403‑右肘、404‑右腕、405‑左肩、406‑左肘、407‑左腕、408‑右臀、409‑右膝、410‑右脚踝、411‑左臀、412‑左膝、413‑左脚踝、414‑右眼、415‑左眼、416‑右耳、417‑左耳。
[0028] 图5是本发明实施例中教学行为判别示意图。其中，500‑鼻子、501‑脖子、502‑右肩、503‑右肘、504‑右腕、505‑左肩、506‑左肘、507‑左腕、508‑左眼、509‑右眼。
具体实施方式
[0029] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0030] 如图1所示，本实施例提供翻转讲台的立体综合教学场系统，包括设备部署模块、显示模块、采集模块、定位模块、互动模块和边缘计算模块。
[0031] 上述翻转讲台的立体综合教学场系统的工作方法，包括如下步骤：(以下具体说明系统中各模块的工作方法)
[0032] (1)教室环境部署。使用内嵌贴有全息膜的玻璃屏和进出门的分隔墙，将教室划分为教师与学生活动区域；使用电子沙盘、边缘计算服务器、全息成像设备和灯光构建教室的立体教学场系统；在教师活动区域布设深度、声音、动捕和触控传感设备。
[0033] (1‑1)功能区域的划分。如图2所示，在传统教室的黑板或电子白板前方3米处添加分隔墙，内嵌贴有全息膜203的玻璃屏和进出门207，将教室划分为2个区域，即分隔墙内、靠近黑板的教师教学活动区域200，分隔墙外为学生活动区域201，通过进出门，教师可从教师活动区域走到学生活动区域，与学生面对面交流。
[0034] (1‑2)全息显示环境的构建。分隔墙中内嵌贴有全息膜的玻璃屏，用于呈现虚拟教学资源和真实教师的融合效果，全息膜采用接近隐身的分光薄膜，透光率大于98.8％，反射率在92％以上，与光源面板组合使用后，可实现虚拟成像，并保持光源亮度和色彩还原度；超短焦全息投影机204安装在学生活动区域的中间顶部，初始位置设置在移动导轨的正中间，配合收音、扩音模组，可实现声音/视频的全息采集和播放；根据教师活动区域、学生活动区域的教师操作与学生观看的需要，分别采用亮度不同的LED白炽灯205和LED平板柔光灯206，作为全息环境的光源。
[0035] (1‑3)交互设备布设。在教师活动区域，布设边缘计算服务器、电子沙盘和网络环境，教学过程中使用电子沙盘202加载、控制教学资源，在分隔墙教师活动区域侧的顶部，安装集成TOF深度、麦克风圆形阵列、惯性测量单元的RGB‑D摄像机208，采集教学环境和活动过程中教师的语音、口型和体态动作。
[0036] (2)教学资源适配。根据用户请求的学科、年级、教材版本和知识点，按照终端、分辨率和比例的权重顺序，匹配合适的教学资源；构建云‑边‑端链路，依据用户的请求，下载虚拟教学资源；依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现教学资源加载服务。
[0037] (2‑1)教学资源匹配。按照学科、年级、教材版本、章节、知识点建立教学资源的知识树模型，按照媒体类型将教学资源挂接在知识树上，并将适配终端、画面尺寸、长宽比例属性赋给教学资源，依据用户的请求，按照终端、分辨率、比例属性的权重顺序，确定最匹配的教学资源。
[0038] (2‑2)云‑边‑端链路构建。采用MEC架构，构建边缘计算服务器，在云端部署立体综合教学场的渲染和教学服务模块，实现用户信息、资源匹配和功能验证服务；在教室所属的学校部署边缘计算服务器，实现画面渲染、边缘计算、资源更新服务；在教室端的根据教师发出的指令请求，下载虚拟教学资源。
[0039] (2‑3)教学资源加载服务。根据教学目标和教学内容要求，电子沙盘终端上教学应用程序发出加载教学资源的请求，执行步骤如下：
[0040] I：依据步骤(2‑1)，获取最相匹配的虚拟教学资源；
[0041] II：根据虚拟教学资源的名称，采用数据字典映射方式查找本地缓存是否存在：若存在，则转步骤IV；若不存在，则转到步骤III；
[0042] III：使用热更新的方式从边缘计算服务器上加载该资源，若资源不存在，则从虚拟教学资源库中调取对应学科的课程教学资源；
[0043] IV：在电子沙盘上加载该教学资源。
[0044] (3)采集处理。使用RGB摄像机采集教师活动区域的背景、纹理、深度、点云；上传到边缘计算服务器，利用Mask R‑CNN神经网络技术，提取教师的骨骼数据；在本地处理模块运用分割策略提取回传的教师骨骼及其关节点的3D坐标，利用层级控制原则，实现关节点分组。
[0045] (3‑1)教学信息采集。如图3所示，将RGB‑D摄像机的视场模式设置为窄视野，中心视场区域设置在电子沙盘的前方位置，精确采集教学过程中教师活动区域的背景环境和教师的纹理图像与深度点云数据，通过蓝牙、WIFI和USB 3.0传输方式，传给电子沙盘上的采集处理模块。
[0046] (3‑2)提取教师数据。本地采集处理模块按照时间序列将RGB‑D摄像机捕获的深度点云数据发送到边缘计算服务器，利用Mask R‑CNN神经网络技术提取置图像的2D置信度图和关联字段，采用图论中的偶匹配求出两者的联系，定位、提取点云数据中教师的骨骼数据，确定如图4所示的教师身体关节点：鼻子400、脖子401、右肩402、右肘403、右腕404、左肩405、左肘406、左腕407、右臀408、右膝409、右脚踝410、左臀411、左膝412、左脚踝413、右眼
414、左眼415、右耳416、左耳417。
[0047] 具体实现步骤如下：
[0048] I：建立相邻部位的姿态对，分别为：脖子‑右肩、脖子‑左肩、右肩‑右肘、右肘‑右腕、左肩‑左肘、左肘‑左腕、脖子‑右臀、右臀‑右膝、右膝‑右脚踝、脖子‑左臀、左臀‑左膝、左膝‑左脚踝、脖子‑鼻子、鼻子‑右眼、右眼‑右耳、鼻子‑左眼、左眼‑左耳。
[0049] II：采用VGGNet，其前10层用于为输入的点云数据，创建特征映射；使用2分支多阶段CNN，其中第一分支预测教师的身体部位，得到教师身体部位的2D置信度图；第二分支预测图像中教师亲和力的2D矢量场，依照身体部位编码，采用图论中的偶匹配求解相邻部位姿态之间的关联度。
[0050] III：通过贪心推理算法解析步骤II获得的置信度图与亲和力图，获取教师的身体部位关键点。
[0051] 经边缘计算点云序列数据的点的RGB和深度数据的变化，提取教授课过程中教师的骨骼关节点变化。
[0052] (3‑3)教师动作确定。接收边缘计算服务器传回的教师骨骼数据，采用分割策略提取各个关节点的3D坐标，计算相邻关节点之间的距离及其水平分量，依据教师骨架的矢量性，使用匈牙利算法连接和合并教师整体骨架的关键节点，具体实现步骤如下：
[0053] 第一步，计算对应骨骼关节点及其相同函数的特征点域，以特征点域内各相同层的表示集为依据，获取骨骼关节点序列，拓扑划分整体骨骼关节点，建立关节点分布邻接矩阵。
[0054] 第二步，若关节点G，满足公式(1)，则为同一骨骼层级，求得最多对数骨骼节点两两匹配，提炼形成以轴心为对称点的骨骼类别。
[0055] G＝{vn|f(vn)＝g(vfn)，n∈(0，N)} (1)
[0056] 其中，vn为骨骼预测值索引，vfn为某一骨骼特征点；f、g分别是以vn和vfn为变量的函数，N为骨骼的总数。
[0057] 利用层级控制的枚举值，确定关节点分组关系，聚合成头部、颈部、肩膀、手肘、手部、髋部、臀部、膝盖、脚踝和脚部骨骼。
[0058] (4)边缘计算。边缘计算服务器接收到教室端采集模块获取的点云序列数据，使用非线性解算器计算并标注教师的骨骼关节点；根据骨骼关节点的运动速度和角度，使用神经网络算法分析骨骼关节点的运动轨迹；检测教学活动区域中教师的状态，追踪教师的教学行为及其变化。
[0059] (4‑1)边缘计算。采用MEC架构的边缘计算服务器接收到教室端采集模块获取的点云序列数据，采用随机决策树和随机森林算法搜索、定位点云数据中教师的骨骼数据，利用Mask R‑CNN神经网络算法，分割点云序列中教师的骨骼关节，使用非线性解算器计算并标注教师的骨骼关节点。其算法的具体步骤如下：
[0060] I：引入bottlenect结构提取候选骨骼关节点，将点云序列数据输入到ResNet网络中进行卷积，再通过特征融合获得多层feature map，将其统一输入到候选区域网络中，获得骨骼关节点兴趣区域，采用双线程插值方法，实现feature map与原点云的像素对应；
[0061] II：采用Mask R‑CNN，通过反卷积提高候选区域网络传输中骨骼关节点兴趣区域的分辨率，并根据候选骨骼关节点的类型和位置，为关节点兴趣区域中的骨骼点生成独立的对应掩码，解耦骨骼关节点的掩码和种类的预测，实现点云像素分割掩码在内的多分支输出。
[0062] (4‑2)教学动作分析。按照完备属性实现骨骼关节点运动的教学动作意义，定义常见教学动作的编码，比如将比出OK手势、展开大拇指、握拳等动作，映射为确定、点赞、加油等指令类型；根据时间轴上不同时刻教师的骨骼关节点，确定教师的身体动作、面部表情或手部姿态的运动速度和角度，使用神经网络算法分析教学过程中教师骨骼关节点的运动轨迹。
[0063] (4‑3)教师行为追踪。采用三维映射与人体跟踪技术，结合反向运动学骨骼模型的位置和连接关系，检测时间轴上不同时刻教学活动区域中教师状态，计算和检验相邻关节的自由度，根据形成的特征，判别和检验教师的行为，追踪教师的教学行为变化。教学行为特征的判别算法具体步骤如下：
[0064] I：根据骨骼特征间欧式距离识别特征：
[0065] 计算骨骼关节点G1(x1，y1)与骨骼关节点G2(x2，y2)之间的欧式距离，
[0066]
[0067] 使用N1(xn1，yn1)和N2(xn2，yn2)分别表示左右眼骨骼关节点构成线段N1N2，利用公式(2)计算其标准长度Ln，使用公式(3)获取比值K。由于标准长度Ln为双眼间距，相对于其他骨骼关节，双眼间距差异较小，两者所受的身高、物距的影响是相同的，可以校正欧式距离数值。
[0068]
[0069] II：骨骼关节特征的提取，如图5所示，建构手腕(左腕507)关节点H1及其手肘(左肘506)关节点J1，构建向量 并计算其向量方向w，得到手掌的朝向。
[0070] III：根据手肘关节点J1及肩部(左肩505)关节点K1组成向量 计算其与向量的夹角∠K1J1H1，利用公式(2)，计算K1J1、J1H1、H1K1的长度，依次为LK1J1、LJ1H1、LH1K1，根据公式(4)，计算得到向量夹角的值，获取向量角度特征：
[0071]
[0072] IV：依据骨骼关节点、动作方向以及夹角，判别教学行为。
[0073] (5)定位处理。构建虚实融合坐标系，根据全息投影机的内外参数，确定全息显示内容的位置、姿态和缩放转换系数；结合拟透视变换方程，重新定位虚实融合坐标系中教师骨骼的位置、姿态信息；依据处理得到的教师骨骼关节点的运动轨迹，确定点击、拖、拽、推和拉交互命令。
[0074] (5‑1)构建虚实融合坐标系。以分隔墙、教室墙壁和地板三者的交点为坐标轴原点，两两交线为坐标轴，向上方向为Z轴正方向，采用左手坐标系构建教室中虚实融合坐标系统，如图3，参照全息投影机的内外参数，结合教师骨骼关节点坐标以及点对姿态，实现教师骨骼与电子沙盘屏幕上呈现的虚拟教学资源的对象模型的叠加，具体步骤如下：
[0075] I：电子沙盘主机检测连接的RGB‑D摄像机的设备序列号，测试摄像机设备是否正常工作；
[0076] II：创建人体跟踪器，调用传感器校准结构，依据边缘处理模块计算结果校准RGB‑D摄像机采集的人体帧，包含骨架关节点、人体关节索引映射和输入数据流；
[0077] III：在虚实融合空间中定位教师骨骼的输入/输出队列，将新获取的教师骨骼加入到输入队列，处理完的结果弹出队列；使用超时值控制排队等待时间。
[0078] IV：提取环境背景和教师点云图像，实现它们与全息显示内容的位置和姿态叠加。
[0079] (5‑2)教师骨骼定位。根据采集处理模块获得的教师骨骼各个关节点的3D坐标，结合逆透视变换方程，确定各个关节点在虚拟空间中的位置，在虚实融合坐标系中重新定向结合(5‑1)中所获得的位置、姿态和缩放转换系数，确定教师骨骼关节点在虚实融合坐标系中的位置、姿态和缩放参数。
[0080] (5‑3)交互命令确定。依据追踪获取到的教师手部、身体和面部关节点的运动轨迹，与AI训练的手势数据集、骨架数据集和表情数据集匹配，识别教师的手部动作、身体姿态和面部表情，根据手部与肘部关节的变化，以及与虚拟教学资源模型的远近、部件层次关系，定位点击、拖、拽、推和拉交互命令。
[0081] (6)融合显示。采用云渲染教学服务模式，在边缘计算服务器上完成全息显示内容的渲染；依据教师的身体站位、头部姿态和视线方向，更新全息屏幕上虚拟教学资源的画面；依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示。
[0082] (6‑1)采用云渲染的教学资源生成。基于云‑边‑端网络架构，教室端应用程序发出渲染请求后，经5G WIFI/CPE，向边缘计算服务器上渲染模块发送教学资源的画面、分辨率、长宽比例和适配终端的信息，渲染模块完成渲染后，经下行链路将信息发生到本地端，供教师和学生观看。虚拟教学内容全息显示的步骤：
[0083] I：选用采用eMBB网络，带宽达到100MB，连接时延要求达到1ms，支撑全息数据在云‑边‑端链路传输和计算；
[0084] II：云端响应边缘计算服务器传送的教室终端服务请求，根据画面、分辨率、长宽比例和适配终端的需求分配5G网络切片资源，实现全息内容存储、直播/点播/上传/分发服务；
[0085] III：边缘计算服务器上完成全息内容渲染后，通过编码器形成传输码流，经下行链路传输到教室端的电子沙盘上，再映射、投影到全息膜上。
[0086] (6‑2)全息画面的刷新。根据采集处理模块确定教师在虚实融合坐标系中的位置、姿态和缩放参数，使用图形学中观察点‑中心点模型，实时计算教师当前的头部姿态、视点位置和视线方向，响应教师的多模态交互方式，更新全息屏幕上虚拟教学资源的画面。
[0087] (6‑3)真实教师与虚拟教学资源的融合显示。依据全息屏上显示内容在虚实融合坐标系中的位置、姿态和缩放比例，与教师活动区域中教师进行叠加显示，结合教师的头部姿态、视线观察方向和视点位置，以及多模态交互行为，实现真实教师与虚拟教学资源在全息膜上的融合显示。
[0088] (7)互动处理。依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格；识别输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令；驱动虚拟教学资源执行移动、缩放和旋转操作，实现全息显示内容画面的更新。
[0089] (7‑1)确定教师的教学风格。依据定位模块确定教学活动过程中教师骨骼关节点的运动轨迹、连接关系和变化序列，依据教学动作编码，精确判断该教师的教学风格特征，如活跃型、序列型，结合结构认知、自主探究和知识拓展课程类型，识别其教学特征。
[0090] (7‑2)识别教师的交互动作。教学过程中，基于采集处理模块追踪教师的头部姿势和视线方向，确定真实教师与虚拟教学资源的位置和关系，结合教师的教学风格，识别其输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令。
[0091] (7‑3)虚实联动。根据教师的点击、拖、拽、推和拉交互命令，驱动虚拟教学资源执行移动、缩放和旋转操作，完成全息显示内容画面的更新，教师可沿固定路径或随意飞行、绕行或步行，进入虚拟教学资源内部或外部探究资源表面的纹理细节和特征分布。
[0092] 本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
[0093] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
