实现多路视频融合的三维增强现实的系统、方法及设备转让专利
申请号 : CN201911145076.2
文献号 : CN110675506B
文献日 : 2021-07-09
发明人 : 石立阳 , 程远初 , 高星 , 徐建明 , 陈奇毅 , 朱文辉 , 华文 , 李德纮
申请人 : 佳都科技集团股份有限公司
摘要 :
权利要求 :
1.实现多路视频融合的三维增强现实的系统,其特征在于,包括三维场景系统、视频实时解算系统、影像投影系统、影像融合系统和虚拟三维渲染系统,其中:三维场景系统,保存有现场的三维场景;
视频实时解算系统,对接收到的视频流进行实时解算以得到视频帧;
影像投影系统,用于确定视频帧中的像素与三维场景中的三维点之间的映射关系,并根据所述映射关系将视频帧在三维场景中进行纹理映射,以完成视频帧的影像投影;
影像融合系统,用于确定纹理映射的重叠区域各三维点对应的纹理值,并根据所述纹理值重建纹理映射重叠区域的纹理,以完成纹理映射的融合,其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定;
虚拟三维渲染系统,对融合后的纹理和三维场景进行渲染。
2.根据权利要求1所述的实现多路视频融合的三维增强现实的系统,其特征在于,所述系统还包括数据同步系统,所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成,所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传;
所述数据同步系统对回传的视频流进行数据同步,所述数据同步具体为时间同步,使得回传的同批次的视频流位于同一时间切片空间。
3.根据权利要求1所述的实现多路视频融合的三维增强现实的系统,其特征在于,所述视频实时解算系统包括视频帧提取模块和硬件解码器,其中:视频帧提取模块,利用FFMPEG库从视频流中提取帧数据;
硬件解码器,用于对帧数据进行解算以获得视频帧。
4.根据权利要求1所述的实现多路视频融合的三维增强现实的系统,其特征在于,所述纹理映射重叠区域对应的投影机的纹理贡献的权值确定公式为r=p/(α×d);
其中r为投影机的纹理贡献的权值、p为投影机图像的像素分辨率、α为两直线的夹角、d为投影机位置到对应三维点的距离。
5.根据权利要求4所述的实现多路视频融合的三维增强现实的系统,其特征在于,纹理映射重叠区域各三维点对应的纹理值的确定公式为T=(∑Ii×ri)/∑ri,其中Ii为对应的投影机的纹理原始颜色值,ri为对应的投影机的纹理贡献的权值。
6.根据权利要求5所述的实现多路视频融合的三维增强现实的系统,其特征在于,所述影像融合系统还用于确定分割线,所述分割线用于对不同路的视频帧进行截取,并将截取后的视频帧进行融合,在所述分割线周边的三维点的纹理由截取后的视频帧对应的投影机的纹理贡献的权值加权获得。
7.根据权利要求6所述的实现多路视频融合的三维增强现实的系统,其特征在于,所述分割线的确定方式为:
将重叠区域对应的视频帧变换到同一视点下,利用GraphCut方法得到融合该重叠区域对应的视频帧的分割线。
8.根据权利要求7所述的实现多路视频融合的三维增强现实的系统,其特征在于,所述影像融合系统对不同路的视频帧进行截取时,其将所述分割线反投影回视频帧中,截取每个视频帧实际的使用区域,以获得对应的视频帧部分。
9.实现多路视频融合的三维增强现实的方法,其特征在于,包括:三维场景系统保存现场的三维场景;
视频实时解算系统对接收到的视频流进行实时解算以得到视频帧;
影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系,并根据所述映射关系将视频帧在三维场景中进行纹理映射,以完成视频帧的影像投影;
影像融合系统确定纹理映射的重叠区域各三维点对应的纹理值,并根据所述纹理值重建纹理映射重叠区域的纹理,以完成纹理映射的融合,其中纹理值根据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定;
虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。
10.一种实现多路视频融合的三维增强现实设备,其特征在于,包括:显示屏、存储器以及一个或多个处理器;
所述显示屏,用于进行融合多路视频的三维场景的显示;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求9所述的实现多路视频融合的三维增强现实的方法。
说明书 :
实现多路视频融合的三维增强现实的系统、方法及设备
技术领域
背景技术
的探讨与研究更是受到关注。
发明内容
发生投影区域重叠,而对场景的展示造成不良影响的情况
其中:
射的重叠区域对应的投影机的纹理贡献的权值确定;
回传控制系统进行回传;所述数据同步系统对回传的视频流进行数据同步,所述数据同步
具体为时间同步,使得回传的同批次的视频流位于同一时间切片空间。
后的视频帧对应的投影机的纹理贡献的权值加权获得。
叠区域对应的投影机的纹理贡献的权值确定;
流位于同一时间切片空间,并通过视频实时解算系统对回传的视频进行解算从而获得视频
帧,并由影像投影系统将视频流解算获取的视频帧纹理映射至三维场景,其中纹理映射的
重叠区域的纹理由影像融合系统按照投影机的纹理贡献的权值情况进行纹理重建,减少多
个投影机之间发生投影区域重叠的情况,再通过虚拟三维渲染系统对融合后的纹理和三维
场景进行渲染,提高渲染出的三维场景的展示效果。
附图说明
具体实施方式
而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关
的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实
施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序
的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序
可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中
的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实时解算系统140、影像投影系统150、影像融合系统160和虚拟三维渲染系统170。其中:
得到,在获得三维场景后将其保存在本地,并将三维场景作为数字融合的底图,作为基本分
析的出发点。
映射的重叠区域对应的投影机的纹理贡献的权值确定。具体的,影像融合系统160根据
GraphCut方法获得的分割线对视频帧进行切割。对不同路的视频帧进行截取时,影像融合
系统160将分割线反投影回视频帧中,截取每个视频帧实际的使用区域,以获得对应的视频
帧部分。其中,投影机应理解为视频采集装置(如摄像头、相机等)在虚拟场景中的表示。
纹理根据映射结果在三维场景中进行融合,并将融合后的三维场景渲染进行可视化展示。
用分割线对视频帧在纹理重叠区域进行切割,截取每个视频帧实际的使用区域,然后,影像
融合系统160对切割后的视频帧进行拼接融合,最后经虚拟三维渲染系统170进行渲染,完
成可视化直观展示。
110、数据同步系统120、视频实时解算系统140、影像投影系统150、影像融合系统160和虚拟
三维渲染系统170,其中数据同步系统120连接有多路影像实时回传控制系统130,多路影像
实时回传控制系统130连接有多路影像采集系统180。
实时解算,解算结果经由影像投影系统150、影像融合系统160在虚拟三维渲染系统170中和
三维场景映射、融合、可视化直观展示。
三维建模得到,在获得三维场景后将其保存在本地,并将三维场景作为数字融合的底图,作
为基本分析的出发点。
应包含所指向的区块用于更新的三维数据,三维场景系统110将对应区块的三维数据更换
成三维更新数据包中的三维数据,保证三维场景的时效性。
可根据实际需要选择以下功能:一体化ICR双滤光片日夜切换,透雾功能,电子防抖,多种白
平衡模式切换,视频自动光圈,支持H.264编码等。
台将视频流进行预处理后发送至多路影像实时回传控制系统130,多路影像实时回传控制
系统130将视频流回传至数据同步系统120进行同步处理。
通过无线进行连接时,若相互之间距离较近,可通过WiFi、ZigBee、蓝牙等近场通信模块进
行无线通讯,在距离较远时,可通过无线网桥、4G模块、5G模块等进行远距离无线通讯连接。
步具体为时间同步,使得回传的同批次的视频流位于同一时间切片空间。本实施例中数据
同步系统120应包含支持最大数量不少于100个视频采集装置回传视频流的数据同步。其中
时间切片空间可理解为若干固定大小的真实时间区间抽象。
提取帧数据的要求。
8K。
影像投影。
知道相机的内参和外参。相机在拍摄视频时相机的位置是清楚的,根据相机的空间位置和
姿态可以得出二维图片在三维场景中的信息,根据二维图片在三维场景中的对应信息可得
出对应的三维点。给定视频帧上的点(xi,yi)以及对应的三维点(Xi,Yi,Zi),存在一个3×4的
矩阵M,有如下关系:
不同方位姿态形成三角形,反算出深度信息,作为Zi的值。放缩因子w一般结合经验给出,平
移向量T是相机的真实绝对位置,是相机在场景坐标系下的坐标表示,f是相机的焦距,s是
相机的错切,通常为0,x0和y0表示视频帧的主点,一般为视频帧的中心点,3×4的矩阵M是实
体相机本身的姿态、位置变换,一般可通过相机厂商提供的SDK获取相机的这些参数。理论
上6组对应点就可以计算出矩阵M,但由于匹配时存在误差,因此需要寻找更多的对应点来
进行相机的标定。
相机的变换。本系统中投影纹理映射是基于OpenGL实现的,N可以分解为4×4的视图矩阵V
和4×4的投影矩阵P。给定空间三维点,其纹理坐标计算如下:
要将相机内参矩阵K变成4×4的矩阵,P和V的计算方式如下:
据纹理映射的重叠区域对应的投影机的纹理贡献的权值确定。
角、d为投影机位置到对应三维点的距离,其中两直线的夹角是指投影机投影所形成的锥形
区域两条相对的斜边所形成的夹角。
颜色值,ri为对应的投影机的纹理贡献的权值。
的视频帧对应的投影机的纹理贡献的权值加权获得。
虚拟视点的位置和方向的差异来确定,如果差异在阈值以内,则确定为主投影源。如果不存
在主投影源,换言之,多个视频的贡献率相仿,将重叠区域对应的视频帧变换到同一视点
下,利用GraphCut方法得到融合该重叠区域对应的视频帧的分割线。
帧实际的使用区域,以获得对应的视频帧部分。在后续的融合过程中,只需根据先前获得的
分割线获取视频帧的使用区域进行融合即可,减少融合过程的计算量,提高实时性。
融合后的纹理根据映射结果在三维场景中进行融合,并将融合后的三维场景渲染进行可视
化展示。
的视频流进行实时解算获取视频帧,由影像投影系统150确定视频帧的像素点在三维场景
中的映射关系,并由影像融合系统160利用分割线对视频帧在纹理重叠区域进行切割,截取
每个视频帧实际的使用区域,然后,影像融合系统160对切割后的视频帧进行拼接融合,最
后经虚拟三维渲染系统170进行渲染,完成可视化直观展示。
三维增强现实的系统来执行,该实现多路视频融合的三维增强现实的系统可通过硬件和/
或软件的方式实现,并集成在计算机等设备中。参考图3,该实现多路视频融合的三维增强
现实的方法包括:
图,作为基本分析的出发点。
含所指向的区块用于更新的三维数据,三维场景系统将对应区块的三维数据更换成三维更
新数据包中的三维数据,保证三维场景的时效性。
统进行数据同步。
射的重叠区域对应的投影机的纹理贡献的权值确定。
渲染进行可视化展示。
对视频帧在纹理重叠区域进行切割,截取每个视频帧实际的使用区域,然后,影像融合系统
对切割后的视频帧进行拼接融合,最后经虚拟三维渲染系统进行渲染,完成可视化直观展
示。
实设备可以为计算机,其包括:显示屏24、存储器22以及一个或多个处理器21;所述显示屏
24,用于进行融合多路视频的三维场景的显示;所述存储器22,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器21执行,使得所述一个或多个处理器21实
现如本申请实施例所提供的实现多路视频融合的三维增强现实的方法。
器22可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功
能所需的应用程序;存储数据区可存储根据实现多路视频融合的三维增强现实设备的使用
所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储
器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,
存储器22可进一步包括相对于处理器21远程设置的存储器,这些远程存储器可以通过网络
连接至实现多路视频融合的三维增强现实设备。上述网络的实例包括但不限于互联网、企
业内部网、局域网、移动通信网及其组合。
视频融合的三维增强现实的方法。
视频融合的三维增强现实的方法,该实现多路视频融合的三维增强现实的方法包括:三维
场景系统保存现场的三维场景;视频实时解算系统对接收到的视频流进行实时解算以得到
视频帧;影像投影系统确定视频帧中的像素与三维场景中的三维点之间的映射关系,并根
据所述映射关系将视频帧在三维场景中进行纹理映射,以完成视频帧的影像投影;影像融
合系统确定纹理映射的重叠区域各三维点对应的纹理值,并根据所述纹理值重建纹理映射
重叠区域的纹理,以完成纹理映射的融合,其中纹理值根据纹理映射的重叠区域对应的投
影机的纹理贡献的权值确定;虚拟三维渲染系统对融合后的纹理和三维场景进行渲染。
DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质
(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它
类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,
或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第
一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介
质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或
更多存储介质。存储介质可以存储可由一个或多个处理器21执行的程序指令(例如具体实
现为计算机程序)。
请任意实施例所提供的实现多路视频融合的三维增强现实的方法中的相关操作。
强现实的方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供
的实现多路视频融合的三维增强现实的系统和方法。
本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申
请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施
例,而本申请的范围由权利要求的范围决定。