一种VR全景图像素材的教学重用方法转让专利
申请号 : CN202110548470.1
文献号 : CN113434035B
文献日 : 2022-03-29
发明人 : 吴砥 , 钟正 , 徐建
申请人 : 华中师范大学
摘要 :
权利要求 :
1.一种VR全景图像素材的教学重用方法,其特征在于该方法包括以下步骤:(1)素材重采集;依据等距圆柱投影原理,制定源VR全景图像的采集规范;采集源VR全景图像,依次使用投影变换、几何精确校正采集图像;检查、匹配和拼接采集图像,采用优化算法消除整体误差积累,生成新的VR全景图像;
具体包括:
(1‑1)制定采集规范;依据等距圆柱投影原理,制定源VR全景图像的采集基准,以VR全景图像球心所在屏幕位置为中心,制定横、纵方向采集图像的次序;根据拼接要求与显示分辨率参数,确定采集图像在横纵方向上的重叠度;
(1‑1‑1)确定采集基准:根据等距圆柱到球形转换关系,反演源VR全景图像的中心点坐标值(X,Y,Z)和球半径(R),基于透视成像原理,获取中心点和球面所对应的屏幕位置,与屏幕平行的最左边的面作为水平方向的0°经线,与屏幕垂直的面作为垂直方向的0°纬线;
(1‑1‑2)采集方向:根据采集基准,以源VR全景图像球心所在屏幕位置为中心,水平方向从0°经线出发,从左到右,以一定的速率移动源全景图像,绕360°采集图片;垂直方向从
0°纬线出发,先向上,再向下,180°采集源全景图像;
(1‑1‑3)重叠度要求:根据采集规范、源全景图像、显示器分辨率参数,确定单幅采集图像在横、纵方向的重叠度,相邻图像纵向重叠占比为26~45%;横向重叠区域占比为13~
25%;
(1‑2)采集图像的校正:依据采集规范,完成源VR全景图像的采集,按照规则命名对其命名,并记录它们角点坐标所对应的球面坐标;基于等距圆柱投影公式,采用投影变换校正图像;建立结果图像与源全景图像上对应点坐标间的映射关系,实现投影变换结果图像的几何精确校正;
(1‑2‑1)全景图像采集:设置好源VR全景图像的初始位置,依据采集规范,根据重叠度要求,依次完成横向、纵向的图像采集,在项目文件夹中按照全景名称、横纵方向的次序命名采集图像;依据透视成像的逆过程,计算采集图像的四个角点所对应源全景图像上的球面坐标;
(1‑2‑2)采集图像的投影变换:根据采集图像的角点坐标及其对应的球面坐标,基于等距圆柱投影公式,采用投影变换校正图像,将采集自源球面全景上的图像纠正成圆柱展开前的矩形形状;
(1‑2‑3)变换结果图像的几何校正:针对图像采集过程中截取角度、边缘变形误差较大情形,需对变换结果图像进行精确的几何校正,建立结果图像与源全景图像上对应点坐标间的映射关系,求解映射关系中的未知参赛,再校正变换结果图像上各个像素点坐标,确定各像素的灰度值;
(1‑3)新的VR全景图像生成:构建一个3D可视化检查工具,检查处理后的图像是否满足全景生成条件;若符合,则完成相邻图像的精确匹配、拼接,实现相邻图像之间的色调均衡;
将所有图像拼接生成完整的全局图像,采用整体优化生成算法,消除整体误差积累;将全局图像映射到球面,生成新的VR全景图像;
(1‑3‑1)检查工具生成:构建一个3D可视化检查工具,参照源VR全景图像的球心坐标和半径,创建一个球形表面,根据每幅图像角点所对应的球面坐标,将其映射到球面上;检查图像之间是否有空洞、重叠过大或过小问题;
(1‑3‑2)相邻图像的拼接:提取图像的Harris特征角点,计算相邻图像点集间点对的相关系数,提取每个角点的Hu矩特征,归一化并融合了点对的相似度,实现点对精确匹配,再经过图像对齐、匹配生成相邻图像的拼接;
(1‑3‑3)全局图像的优化:使用色调均衡处理算法实现相邻图像重叠区域的色调均衡,以及接缝线处鬼影的消除;通过两两拼接,将所有图像拼接生成完整的全局图像;采用全局优化生成算法,消除整体误差积累,长宽比符合2:1;
(1‑3‑4)新VR全景图像的生成:以源VR全景图像的圆心和半径为参照,构建一个3D球面;根据全局图像的长宽,利用等距圆柱投影原理,将全局图像作为纹理图像,从北到南映射到球面上,生成新的VR全景图像;
(2)教学对象标注的添加;使用几何图形、图标和声音方式标注教学对象,根据教学对象的形状、性质及其分布,确定其在全景球面内的空间位置;单独或批量导入添加教学对象的标注信息,实现标注点之间多种切换方式;
(3)教学标注的自动化生成;通过网络爬虫技术抓取含有目标教学对象的图片,在LabelImage中标注特征对象的位置及其名称,将它们作为多层神经网络的输入层训练神经网络算法,检测、筛选符合条件的教学对象,设计相关的练习题目,自动比对,评价学习者的作答结果。
2.根据权利要求1所述的VR全景图像素材的教学重用方法,其特征在于步骤(2)所述的“教学对象标注的添加”具体包括:
(2‑1)按类别标注教学对象:依据教学对象的分布特征,使用不同颜色、线型的轮廓线标注教学对象的几何形状;单独或组合使用文字、数字和图标的方式,标注教学对象的信息;通过关联环境背景声效、添加立体声效果,引导、播放教学对象的标注信息;
(2‑1‑1)几何图形标注:依据教学对象在全局图像中的分布特征,使用不同的颜色、线型标注教学对象的形状轮廓线,将轮廓线记录、存储到图层上;同一图层的属性相同,可以使用多个图层存储不同属性的图形标注信息;
(2‑1‑2)图标标注:单独或组合使用文字、数字和图标的方式,引导、介绍界面导航、教学信息、重要知识点教学信息标注,可以将数字、文字嵌入到图标中,也可采用并列组合的方式,画面色彩、明暗度、内容视觉差别不要过大;
(2‑1‑3)声音标注:通过为教学标注对象关联环境背景声效,引导学习者关注、浏览该标注点;采用高通滤波器过滤教学对象的解说内容,当参与者靠进标注位置时,将获取立体声效果;如触发声音标注,借助语音合成技术自动朗读指定的教学内容;
(2‑2)教学对象标注框的空间定位:采用透明、高亮的矩形或菱形标注框呈现教学知识点内容;依据教学对象的形状、性质及其分布,确定其标注点在全局图像上的位置;判断标注点在全局图像的上、下部分,确定其在全景球面内的空间位置;
(2‑2‑1)教学内容的标注形式:将数字、文本、图像、视频动画、富媒体网页,以单独或者组合的形式嵌入到标注框中,采用纹理映射或者动态纹理切换的形式,动态呈现知识点内容,标注框可采用透明、高亮的矩形或菱形形式;
(2‑2‑2)获取教学对象标注点的位置:依据待标注教学对象的形状、性质以及在全局图像中的分布,确定其标注点在全局图像上的位置,如为点状对象,则为该点所在位置;线状对象,则为其中心所在位置;面状对象则利用多边形重心计算方法获取其位置;
(2‑2‑3)确定教学对象标注框的空间位置:根据上述教学对象标注点的坐标,判断其处于全局图像的上半部或者下半部,进而确定其在VR全景图像的球面上的位置,如在上半球,则向下移动批注框;在下半球则向上移动标注框,令标注框整体位于全景图像的内部,以免穿透纹理表面;
(2‑3)教学对象标注的添加:根据标注点的位置,添加单个教学对象的标注信息,并克服重叠、遮挡和密集分布的情形;批量导入对象‑关系数据库中多条记录,生成多个教学对象标注信息;采用线性或者关系型方式组织标注点,实现不同标注点之间的切换;
(2‑3‑1)添加单个教学对象标注:根据教学对象在全局图像上的标注位置,使用高亮、透明的标注框呈现知识内容,如标注位置出现重叠或遮挡情形,应调整标注点位置,但尽可能接近该位置,如同一类型教学对象的标注点分布密集,应采用数据聚类的方式简化标注点;
(2‑3‑2)批量导入教学对象标注:在数据库表中,以标注点名称作为关键字段,通过对象‑关系数据库的方式,将标注名称、点位、多媒体属性信息关联起来,通过批量导入数据库中记录,生成多个教学对象标注信息,满足单个教学对象标注的相关原则;
(2‑3‑3)教学对象标注点的跳转:根据教学设计,采用线性或者关系型方式组织教学对象标注点,在新VR全景图像上采用文字引导、语音提示、图标闪烁方式引导参与者与教学对象标注点的交互,实现不同标注点之间的切换。
3.根据权利要求1所述的VR全景图像素材的教学重用方法,其特征在于步骤(3)所述的“教学标注的自动化生成”具体包括:
(3‑1)教学对象的预处理:采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片,手工剔除掉错误图片,将正确的图片保存在工程文件夹中;采用LabelImage工具标注图片中教学对象的特征位置及其名称;将上述采用LabelImage工具标注的图片中教学对象的特征位置及其名称作为多层神经网络的输入层,采用均方差和二分类交叉熵函数作为损失函数,通过循环训练获取较好的训练结果;
(3‑1‑1)收集教学对象的训练图片:采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片,经过手工选择,剔除掉无关、错误的图片,将正确的图片保存在工程文件夹中,文件名中不能出现两个".",不再建子文件夹;
(3‑1‑2)教学对象的图像标注:将工程文件夹中图片导入到LabelImage工具,标注图片中特征对象的坐标范围和像素大小,并为各类特征命名,将结果保存为与图片同名的XML文件,再将图片和XML文件传输给多层神经网络;
(3‑1‑3)教学对象的训练:根据多层神经网络输入信息的数据变换获取教学对象的网络预测值,采用均方差和二分类交叉熵函数作为损失函数,将网络预测值与真实目标值的差设为损失值,经过循环训练,降低损失值,更接近真实目标值,完成教学对象的检测训练;
(3‑2)自动添加教学对象标注点:基于Darknet网络结构预测教学对象的类型和边界,检测全局图像网格中的教学对象;根据检测结果的置信度,剔除低于阈值的检测结果,将符合条件的检测结果多边形输出到XML文件中;解析XML文件,将这些教学对象标注点批量添加到新VR全景图像;
(3‑2‑1)教学对象检测:根据教学目标和教学计划,教师确定需要标注的教学对象,采用基于回归思想的Yolo算法,将全局图像作为多层神经网络的输入层,并将其划分为S×S个网格,基于Darknet网络结构预测教学对象的类型和边界,检测网格中的教学对象目标;
(3‑2‑2)检测结果存储:全局图像中经常会存在因角度、遮挡导致模糊不清的区域,需设置检测结果的置信度,剔除掉低于阈值的检测结果;将符合条件的检测结果多边形输出到XML文件中,供后续教学对象自动标注使用;
(3‑2‑3)自动标注:解析XML中的教学对象多边形,根据教学用途,在全局图像上标注这些教学对象,或者将其存储在不同图层;根据圆柱等距投影原理,将这些教学对象标注点批量添加到新VR全景图像表面,并为它们关联知识点内容;
(3‑3)练习测试:根据教学设计,教师在新VR全景图像上,设计单个教学对象的寻找、识别练习,按照知识内在逻辑设计不同考察路线,有顺序地完成知识点串学习,或者组合单个教学对象识别认知、考察路线及其相关性的题目,将学习者的作答结果与存储在结果图层上的正确答案比对,并给出评分;
(3‑3‑1)对象认知练习:根据教学设计,教师在新VR全景图像上,设计具有某类特征的教学对象的寻找、识别练习,学习者通过点击、勾选教学对象,完成认知训练,通过与存储在对应图层中特征多边形的比对,判断学习者答题的正确性;
(3‑3‑2)考察路线设计:针对知识点较多的教学内容,在新VR全景图像上按照知识内在逻辑结构,设计不同的考察路线,通过高亮提示、闪烁引导、背景声效方式,引导学习者依次观看、选择教学内容标注,完成有先后次序的知识点串学习;
(3‑3‑3)组合练习:根据教学目标、知识相关性,教师在新VR全景图像上,设计有层次的教学对象识别认知、考察路线及其相关性的题目,学习者完成练习后,将回答结果与存储在结果图层上的正确答案比对,根据各题的分值给出总的测试分数。
说明书 :
一种VR全景图像素材的教学重用方法
技术领域
背景技术
的内容真实感问题,如可生动直观地展示的自然环境(如山川、水泽、气候等)、工业领域的
大型设备(如机床)和作业流程。通过VR全景图像,营造真实的学习情境,为学习者真正了解
知识的内涵和技能的应用状况,改变以往知识学习时剥离情境的弊端,强化学习者的认知,
令其有所感悟和顿悟,有利于学习者对知识点的意义建构。随着高分辨率、全视角、高沉浸
感的显示设备以及低成本拍摄方案的出现,VR全景图像在众多行业得到了大规模的应用,
如吃穿住行相关的行业网站、APP上已拥有丰富的高清全景素材,以旅游行业为例,包含大
量人文地理全景图,如风景名胜、古迹遗址等,非常适合语文、地理、历史等学科教学。针对
教学内容的定制化、个性化需求,每节课都去实地拍摄全景图像成本较高、制作周期较长,
较难满足教师备课、上课的需要,故重用已有全景图像素材是一种快速、有效满足教学需要
的方式,在5G网络环境下学科教学中具有广泛的应用前景。
图像上缺乏具体教学内容,需要根据教学设计,添加知识点标注内容;(3)在全景图像上手
动添加众多标注信息,存在工作量大,容易遗漏等问题。这些缺陷限制VR全景图像在常态化
教学中的应用。
发明内容
优化算法消除整体误差积累,生成新的VR全景图像。
对象的标注信息,实现标注点之间多种切换方式。
自动比对,评价学习者的作答结果。
示分辨率参数,确定采集图像在横纵方向上的重叠度;
与屏幕平行的最左边的面作为水平方向的0°经线,与屏幕垂直的面作为垂直方向的0°纬
线;
向从0°纬线出发,先向上,再向下,180°采集源全景图像;
~25%;
校正图像;建立结果图像与源全景图像上对应点坐标间的映射关系,实现投影变换结果图
像的几何精确校正;
序命名采集图像;依据透视成像的逆过程,计算采集图像的四个角点所对应源全景图像上
的球面坐标;
展开前的矩形形状;
坐标间的映射关系,求解映射关系中的未知参赛,再校正变换结果图像上各个像素点坐标,
确定各像素的灰度值;
均衡;将所有图像拼接生成完整的全局图像,采用整体优化生成算法,消除整体误差积累;
将全局图像映射到球面,生成新的VR全景图像;
检查图像之间是否有空洞、重叠过大或过小问题;
配,再经过图像对齐、匹配生成相邻图像的拼接;
用全局优化生成算法,消除整体误差积累,长宽比符合2:1;
映射到球面上,生成新的VR全景图像。
信息;通过关联环境背景声效、添加立体声效果,引导、播放教学对象的标注信息;
可以使用多个图层存储不同属性的图形标注信息;
合的方式,画面色彩、明暗度、内容视觉差别不要过大;
立体声效果;如触发声音标注,借助语音合成技术自动朗读指定的教学内容;
断标注点在全局图像的上、下部分,确定其在全景球面内的空间位置;
点内容,标注框可采用透明、高亮的矩形或菱形形式;
线状对象,则为其中心所在位置;面状对象则利用多边形重心计算方法获取其位置;
半球,则向下移动批注框;在下半球则向上移动标注框,令标注框整体位于全景图像的内
部,以免穿透纹理表面;
学对象标注信息;采用线性或者关系型方式组织标注点,实现不同标注点之间的切换;
尽可能接近该位置,如同一类型教学对象的标注点分布密集,应采用数据聚类的方式简化
标注点;
据库中记录,生成多个教学对象标注信息,满足单个教学对象标注的相关原则;
学对象标注点的交互,实现不同标注点之间的切换。
具标注图片中教学对象的特征位置及其名称;将上述标注结果作为多层神经网络的输入
层,采用均方差和二分类交叉熵函数作为损失函数,通过循环训练获取较好的训练结果;
文件夹中,文件名中不能出现两个".",不再建子文件夹;
XML文件,再将图片和XML文件传输给多层神经网络;
值的差设为损失值,经过循环训练,降低损失值,更接近真实目标值,完成教学对象的检测
训练;
将符合条件的检测结果多边形输出到XML文件中;解析XML文件,将这些教学对象标注点批
量添加到新VR全景图像;
S×S个网格,基于Darknet网络结构预测教学对象的类型和边界,检测网格中的教学对象目
标;
输出到XML文件中,供后续教学对象自动标注使用;
点批量添加到新VR全景图像表面,并为它们关联知识点内容;
合单个教学对象识别认知、考察路线及其相关性的题目,将学习者的作答结果与存储在结
果图层上的正确答案比对,并给出评分;
储在对应图层中特征多边形的比对,判断学习者答题的正确性;
依次观看、选择教学内容标注,完成有先后次序的知识点串学习;
储在结果图层上的正确答案比对,根据各题的分值给出总的测试分数。
除整体误差积累,生成新的VR全景图像;使用几何图形、图标和声音方式标注教学对象的信
息,采用透明、高亮的矩形或菱形等标注框呈现教学知识点内容,采用线性或关系型方式组
织、切换标注点;通过网络爬虫技术抓取含有教学对象的图片,标注其位置及其名称,将它
们作为多层神经网络的输入层,采用均方差和二分类交叉熵函数作为损失函数,获取较好
的训练结果,检测全局图像网格中的教学对象,剔除掉置信度低于阈值的检测结果,自动添
加符合条件的教学对象的标注,设计单个教学对象的识别练习、有顺序的知识点串考察路
线或者组合多项认知训练的题目,比对学习者的作答结果,自动给出评分。随着5G网络环境
的逐渐普及,VR全景图像跟学科教学将会越来越紧密,本发明有助于教师快速、低成本地获
取VR全景图像,减轻其上添加教学标注的工作量。
附图说明
具体实施方式
明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征
只要彼此之间未构成冲突就可以相互组合。
景图像的采集,按照规则命名对其命名,并记录它们角点坐标所对应的球面坐标,使用投影
变换、几何精确校正依次处理采集投影;创建一个3D可视化检查工具,检查处理后图像是否
满足全景生成条件,若符合,则完成相邻图像的精确匹配、拼接,将所有图像拼接生成完整
的全局图像,采用整体优化生成算法,消除整体误差积累,将全局图像映射到球面,生成新
的VR全景图像。
示分辨率等参数,确定采集图像在横纵方向上的重叠度。
位置,与屏幕平行的最左边的面作为水平方向的0°经线,与屏幕垂直的面作为垂直方向的
0°纬线。
片;垂直方向从0°纬线出发,先向上,再向下,180°采集源全景图像。
45%,最小不少于26%;横向重叠区域占比一般为20~25%,最小不少于13%。
校正图像;建立结果图像与源全景图像上对应点坐标间的映射关系,实现投影变换结果图
像的几何精确校正。
序命名采集图像;依据图形学透视成像的逆过程,计算采集图像的四个角点所对应源全景
图像上的球面坐标。具体计算球面坐标的步骤:
归一化处理,将采集图像变换到以源全景球面半径为半径的柱面上,再展开成平面图像。
均衡;将所有图像拼接生成完整的全局图像,采用整体优化生成算法,消除整体误差积累;
将全局图像映射到球面,生成新的VR全景图像。
坐标与纹理坐标之间的映射关系,
点对的相似度,实现点对精确匹配;采用启发式搜索A*算法搜索、确定最佳缝合线,平滑处
理拼接线两侧的目标,消除拼接裂缝,完成相邻图像的拼接。
数实现拼接图像的色彩均衡;通过优化相邻图像之间配准系数,实现拼接图像的全局优化,
消除整体误差积累;按照2:1的长宽比例生成、保存全局图象。
VR全景图像,图2的左侧就是一个VR全景图像的示例。
对象的标注信息,实现标注点之间多种切换方式。
象的信息;通过关联环境背景声效、添加立体声效果,引导、播放教学对象的标注信息。
类型的教学对象或者相同几何、属性的对象记录在同一图层上,组合运用多个图层存储不
同教学对象的几何图形标注。
并列组合的方式,画面色彩、明暗度、内容视觉差别不要过大。
远接近的立体声效果;如参与者触发声音标注,借助语音合成技术自动朗读指定的教学内
容。
判断标注点在全局图像的上、下部分,确定其在全景球面内的空间位置。
现知识点内容,标注框可采用透明、高亮的矩形或菱形等形式。
线状对象,则为其中心所在位置;面状对象则利用多边形重心计算方法获取其位置,具体步
骤如下:
半球,则向下移动批注框;在下半球则向上移动标注框,令标注框整体位于全景图像的内
部,以免穿透纹理表面。
学对象标注信息;采用线性或者关系型方式组织标注点,实现不同标注点之间的切换。
注点位置,但尽可能接近该位置,如同一类型教学对象的标注点分布密集,应采用数据聚类
的方式简化标注点。
数据库中记录,生成多个教学对象标注信息(图9展示的部分标注点示例),满足单个教学对
象标注的相关原则。
学对象标注点的交互,实现如图9所示不同标注点之间的切换。
动比对,评价学习者的作答结果。
具标注图片中特征对象的位置及其名称;将全局图像作为多层神经网络的输入层,检测教
学对象目标。
算法过滤与教学主题无关的URL,基于深度、宽度优先遍历策略跟踪爬取跟教学对象相关的
全景图片(如自然风光、人文景观、工业大型设备等),经过手工选择,剔除掉无关、错误的图
片,再将这些教学对象的特征图片保存在工程文件夹中,不要另建子文件夹,文件名中也不
能出现多个"."。
名,将结果保存为与图片同名的XML文件,下述XML片段描述了石笋的标注信息,包括其在图
片的宽、高,深度值和石笋类型,及其在图片中最小外接框的范围,包括X、Y方向的最小、最
大值(xmin,xmax)(ymin,ymax);将XML文件转换为TFRECORDS数据格式文件,适合神经网络
以串行方式大批量读取,再将图片和TFRECORDS文件传输给多层神经网络。
类交叉熵函数作为损失函数(如公式3所示),计算网络预测值与真实目标值的差,并将该差
设为损失值,基于反向传播算法多次微调反馈信号,调整权重值,降低损失值;通过循环训
练,获取令损失值最小的权重值,完成教学对象检测模型的训练,图11是以石笋为检测模型
的训练流程,其中损失函数为:
失,系数为2‑wi×hi,第三、第四行是置信度损失,分别代表存在与不存在目标的边界框置信
度误差, 代表参数置信度,最后一行是分类损失。
结果多边形输出到XML文件中;解析XML文件,将这些教学对象标注点批量添加到新VR全景
图像。
各个网格方格为中心,采用如图12所示的横纵交叉的Darknet‑53网络结构提取图片特征,
采用全卷积层和residual结构防止池化导致低级特征的丢失,使用多标签分类和多尺度融
合方式预测教学对象的类型和边界框,检测全局图像中教学对象目标(如自然风光、人文景
观、工业大型设备等)。
输出到XML文件中,供后续教学对象自动标注使用。
出到XML文件中,供后续自动标注使用。置信度为:
点批量添加到新VR全景图像表面,并为它们关联知识点内容。
者组合单个教学对象识别认知、考察路线及其相关性的题目,将学习者的作答结果与存储
在结果图层上的正确答案比对,并给出评分。
与存储在对应图层中特征多边形的比对,判断学习者答题的正确性。
如“请找出溶洞中石笋,通过点击全景图像中石笋来完成教学对象的认识。温馨提示:溶洞
中不止一个石笋哦!”学习者通过点击、勾选石笋,通过与存储在对应图层中石笋多边形的
比对,判断学习者答题的正确性,通过文字、语音给出答题正确与否的反馈,并讲解石笋的
相关知识。
即依次为石钟乳、石帘、石柱和石笋,在新VR全景图像上设计知识点认知考察路线(如图14
所示);通过箭头提醒、高亮提示、闪烁引导、背景声效等方式,引导学习者依次观看、选择教
学内容标注,完成有先后次序的知识点串学习。
与存储在结果图层上的正确答案比对,根据各题的分值给出总的测试分数。
本发明的保护范围之内。