波浪三维高度场的图像重构方法及图像重构试验系统转让专利
申请号 : CN202210584463.1
文献号 : CN114923665B
文献日 : 2023-02-21
发明人 : 王千 , 陆昊成 , 赵长泽 , 刘桦
申请人 : 上海交通大学
摘要 :
权利要求 :
1.一种波浪三维高度场的图像重构方法,其特征在于,包括如下步骤:步骤一,水面预处理,使用二氧化钛将目标试验区域的水面染成白色;
步骤二,对目标试验区域进行投影,随机生成迷彩图形,并利用投影仪将所述迷彩图形投影至所述目标试验区域的水面;
步骤三,制造波浪,使用两个重构相机从所述目标试验区域的上方采集所述目标试验区域的重构用图像,同时使用两个验证相机从所述目标试验区域的侧方采集所述目标试验区域的验证用图像;
步骤四,采用归一化互相关算法对所述重构用图像进行问询匹配,并计算匹配点的空间点坐标,得到在原始坐标系下的初步重构图像;
步骤五,坐标变换,将原始坐标系变换到目标坐标系,得到目标坐标系中的最终重构图像;
步骤六,重构结果验证,基于所述验证用图像得到目标坐标系中的最终验证图像,将所述最终重构图像与所述最终验证图像进行比较,确认图像重构的精度。
2.根据权利要求1所述的图像重构方法,其特征在于,在进行试验之前,对所述重构相机进行标定以获得相机内外参数和镜头畸变系数,对所述验证相机进行标定以得到所述验证用图像的比例尺。
3.根据权利要求2所述的图像重构方法,其特征在于,在所述步骤四之前,对所述重构用图像基于所述镜头畸变系数进行去除畸变操作,且基于所述相机内外参数进行极线校正操作。
4.根据权利要求1所述的图像重构方法,其特征在于,在所述步骤四之前,对所述重构用图像进行预处理以降低局部的亮度。
5.根据权利要求1所述的图像重构方法,其特征在于,在所述步骤四中,在进行所述问询匹配之前,对所述重构用图像中的明显特征点进行预匹配以获得预估计问询范围,所述问询匹配基于所述预估计问询范围进行。
6.根据权利要求1所述的图像重构方法,其特征在于,在所述问询匹配中,进行网格迭代多次问询匹配。
7.根据权利要求1所述的图像重构方法,其特征在于,在任意连续两帧的重构用图像的问询匹配中,后一帧重构用图像的首次问询匹配在以前一帧重构用图像的匹配位置为中心的预定范围内进行。
8.根据权利要求7所述的图像重构方法,其特征在于,所述预定范围为列向10个像素内、行向1个像素内。
9.根据权利要求1所述的图像重构方法,其特征在于,通过重构静水平面和重构特征标识物获得原始坐标系向目标坐标系变换的变换方式,且使得所述重构相机与所述验证相机两个测量系统能够共享目标坐标系。
10.用于实现权利要求1至9中任一项所述的图像重构方法的图像重构试验系统,其特征在于,所述图像重构试验系统包括:水池;
造波机构,用于在所述水池内产生波浪;
投影仪,用于将所述迷彩图形投影至所述水池的水面;
重构相机,设置于所述水池上方,用于获取所述重构用图像;
验证相机,设置于所述水池的侧面,用于获取所述验证用图像;
控制机构,包括数据处理单元,所述数据处理单元用于对所述重构用图像进行图像处理而得到所述最终重构图像,且用于对所述验证用图像进行图像处理而得到所述最终验证图像。
说明书 :
波浪三维高度场的图像重构方法及图像重构试验系统
技术领域
背景技术
要问题。传统的波浪高度测量仪器为浪高仪,浪高仪是单点式侵入测量,不仅不利于进行大
范围的波面高度测量,当波浪发生破碎时,由浪高仪的工作原理可知其无法测量不连续的
水面。作为非侵入式的全场测量技术,以双目视觉为代表的基于光学图像方法的图像三维
重构技术,无疑是波浪高度测量的一个可靠选择。
将水面变成乳白色,这样使得水中会悬浮大量汽泡而对波浪的传播造成无法忽视的影响,
此外,该专利中利用投影仪将黑白多边形网格图案投影到水面上,采用尺度不变特征
(sift)算法提取水面特征点,该方法的空间分辨率有限。因此,该专利中的图像三维重构方
法存在精度和空间分辨率相对不高的问题。
发明内容
率,且能够对重构结果进行重构精度验证。
试验区域的验证用图像;
问询范围进行。
目标坐标系。
验证图像。
泡对波浪的传播造成无法忽视的影响的情形;同时通过使用随机生成的迷彩图形进行投影
和归一化互相关算法进行图像匹配处理,能够提高重构的空间分辨率;最后,通过引入验证
相机拍摄验证用图像,并基于验证用图像生成最终验证图像,使用最终验证图像和最终重
构图像进行对比,可以准确地得到图像重构精度,对图像重构的有效性作出评估。
附图说明
具体实施方式
更加清楚的显示局部特征的细节;除非另有定义,本文所使用的技术和科学术语与本申请
所属的技术领域中的技术和科学术语的含义相同。
操作,即不能理解为对本发明的限制。
括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个;“若干个”的含义是至少
一个;另有明确具体的限定的除外。
是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是
两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以
根据具体情况理解上述术语在本发明中的具体含义。
和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可
以是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征的水平高度高于第二特征
的水平高度。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正
下方或斜下方,或仅仅表示第一特征的水平高度小于第二特征的水平高度。
3、重构相机4和验证相机5通讯连接,进而能够控制造波机构2、投影仪3、重构相机4和验证
相机5的动作。
部12上方时会发生波浪破碎,邻近斜坡部12的位置为目标试验区域13。其中,观察窗11大致
呈矩形,由高透光玻璃制成,但是本发明不限于此,观察窗11也可以是椭圆形或其它形状。
斜坡部12的坡度比可以为1:20,可以由水泥制成,但是本发明不限于此,斜坡部12也可以根
据实际需要设置其它的坡度比,也可以由其它材质制成。
以为7500流明,以使得能够产生足够明亮的投影图形。迷彩图形可以通过如下方式产生:在
1280×800的矩阵中用高斯随机生成值为0~1的点,将小于0.7的部分的RGB值置为0,其余
的部分的RGB 值置为255。
解,重构相机4是高速相机,两个重构相机4不需要平行设置,可以任意角度摆放,两个重构
相机4的重叠视场约为在水池的宽度方向上1.6米(大于水池的宽度),水池的长度方向上1
米,该重叠视场覆盖目标试验区域13。
证相机5是高速相机,两个验证相机5平行设置,每个验证相机5的视场约为竖向0.25米,流
向0.5米,且两个验证相机5的视场在流向上有大约10%的重叠。
试验区域的验证用图像;
镜头畸变系数,进而得到映射矩阵Rk,对验证相机 5进行标定获取验证用图像的比例尺。
于两个重构相机4 是从不同的角度拍摄,因此破碎波面的局部镜面反射使得其在两个重构
相机4 中所成的像并不相同,表现为其中一个会更亮。这样不利于进行后续的图案匹配。为
了降低此影响,需要对图像进行预处理来降低局部反射的亮度。具体方式结合图3进行说
明,如图3所示,对每张图片进行灰度值的直方统计(左纵轴),观察其灰度分布规律,若不近
似满足瑞利分布,则重新布置拍摄光源。若近似满足瑞利分布,则统计其概率密度函数(右
纵轴)。将90%灰度值的点保留,剩余10%的高亮点认为是由镜面反射导致,将其灰度归置
于90%处的灰度值。
即是利用上述获取的相机内外参对重构用图像进行校正,具体可以使用“bouguet极线校
正”法,这属于现有技术,此处不再赘述。
时,对其中一张图片中的一点,往往需要在另一张图片中全局搜寻匹配,耗时较长。而通过
预匹配,可以确定一个“预估计问询范围”,即对于一张图片中的一点,仅需要在另一张图片
中的对应点的预估计问询范围内进行搜寻匹配即可,无需进行全局搜寻匹配,可以大大降
低问询匹配时间,图像处理效率。其中,预匹配的方式如下:以一张图片中的明显特征点,确
定另一张图片中的对应点,将两者的坐标相减得到差值,重复操作统计多个明显特征点对
应的差值,即可得到预估计问询范围。图4示出了预估计问询范围的原理示意图,如图4所
示,预估计问询范围为上下1‑2行、左右40‑70列的范围,即对于一张图片中的任意一点,仅
需要在另一张图片中的对应位置的上下1‑2行、左右40‑70列范围内搜寻即可。
边长为64像素的正方形区域。对其中的一个区域I1,在另一张图像中基于上述确定的“预估
计问询范围”,问询查找该区域的匹配区域 I2。通过计算NCC=Cov(I1,I2)/[Var(I1)Var
1/2
(I2)] 来确定匹配区域。其中Cov为协方差,Var为方差,I1和I2代表区域内各像素点的灰
度值。NCC的最大值即为与I1区域最匹配的I2区域。
在64像素母区域问询结果的位置附近(例如,列向为10个像素内,行向为1个像素内)查找新
的匹配区域。得到匹配结果后,重复上述过程,继续将边长为32像素的正方形区域分割为边
长为16像素的正方形子区域,再次在32像素母区域问询结果的位置附近(例如,列向为5个
像素内,行向为1个像素内)查找新的匹配区域。以此类推,原则上可以最终达到每个像素的
灰度,但本发明中考虑到实际精度需求与计算效率,到边长为16像素即可终止。通过迭代多
次问询匹配,可以进一步提高匹配的空间分辨率。
用二维高斯插值来对最大值位置进行修正,即可获得亚像素的匹配位置。
像完成匹配后,保存匹配位置继承给下一帧。在下一帧的两张图像进行匹配时,在以前一帧
的匹配位置为中心、列向为10个像素内、行向为1个像素的范围内进行首次问询匹配。这样
可以进一步加快数据处理速度,提高图像处理效率。当然,本发明不限于上述的列向10个像
素、行向1个像素的范围,也可以设置其它的预定范围。
[Xi,Yi,Zi]的坐标。其中,i表示某个空间点,k表示两个重构相机4 中的“相机1”或“相机
2”,X、Y、Z是空间三维坐标,x、y是相机底片的像素坐标,Rk是映射矩阵,s是任意的尺度因
T T
子,M*i=[Xi,Yi,Zi,1]、m*ki= [xki,yki,1]分别是对原始点Mi和mki增填了1后的增广向量。
右。当局部匹配失败时,NCC值通常会小于0.4。因此,在上述的问询匹配过程中,设定阈值为
0.4,当NCC值小于0.4时则舍弃重构结果,并用周围有效点进行高斯插值来填充该位置。
获得原始坐标系向目标坐标系变换的变换方式。具体如下。
显特征点进行重构,可获得此平面的原始空间位置。由于静水面理应是Z=0的平面,所以利
用坐标变换将此原始平面变换至目标Z=0,即可获得绕原始X轴和原始Y轴的旋转矩阵,以
及在原始Z轴上的平移值,进而将拍摄图像所处的原始坐标系向目标坐标系变换。此时由于
验证相机与重构相机是同步拍摄,雪弗板6上表面的Z向位置也会被验证相机拍到,该位置
同样被定为验证相机Z=0的位置,从而实现重构相机和验证相机两个测量系统的坐标系在
Z向上的共享。由此可见,通过重构静水平面,可将重构获得的三维坐标中的Z向及其原点变
换至目标坐标系中的重力方向和静水面,另外可以联合验证相机在重力方向共享坐标位
置。
个角点作为目标坐标系流向X和横向Y的原点,则此时铝条7的长度方向即为Y向,与铝条长
度方向垂直的方向即为X向。然后用重构系统对该角点和铝条的方向进行重构。这里,先对
重构结果利用上述的重构静水平面过程中获得的“绕原始X轴和原始Y轴的旋转矩阵”进行
坐标变换后,再通过坐标变换将重构的角点坐标移至X=0和Y=0处,即可获得在X轴和Y轴
的平移值。随后通过坐标变换将Y向旋转至铝条7的长度方向,即可获得绕Z轴的旋转矩阵。
此时由于验证相机与重构相机是同步拍摄,而铝条7垂直于观察玻璃,所以铝条7的角点在
观察玻璃上投影点的X向位置也会被验证相机拍到,该位置同样被定为验证相机X=0的位
置。从而实现重构相机和验证相机两个测量系统的坐标系在X向上的共享。由此可见,通过
重构特征标识物,可以将重构获得的三维坐标系中的X向和Y向及其原点变换至目标坐标系
中的流向和水池横向及目标位置,另外可以联合验证相机在流向和横向共享坐标位置。
中,可以理解,目标坐标系的X向是水的流向, Y向是水池的横向,Z向是重力方向。XY原点在
铝条的角点,Z原点在静止漂浮的雪弗板的上表面。
标系,加上已经对验证相机进行了标定,得到了图像的比例尺,因此可以对验证相机拍摄到
的验证用图像进行变换处理得到目标坐标系下的最终验证图像,将最终验证图像与最终重
构图像进行对比得到图像重构的精度。其中,考虑到验证相机在水池一侧拍摄的透视误差
(近大远小)与波浪本身的三维形态(验证相机只能拍摄靠近玻璃观察窗的波浪面),对于最
终验证图像与最终重构图像的对比,可以进选取三维重构结果中位于玻璃观察窗30厘米以
内的部分投影至侧面以与最终验证图像进行对比。
致的水中悬浮大量汽泡对波浪的传播造成无法忽视的影响的情形。
迭代多次问询匹配,可以在不降低精度的同时进一步提高空间分辨率。
过匹配位置继承,即在任意连续两帧的重构用图像的问询匹配中,后一帧重构用图像的首
次问询匹配在以前一帧重构用图像的匹配位置为中心的预定范围内进行,这可以进一步加
快匹配时间,总体上大大提高了图像处理的效率。
图像重构精度,对图像重构的有效性作出评估。
变形和改变。同样的,也可以对以上实施方式的各个技术特征进行任意组合,以形成可能没
有被明确描述的本发明的另外的实施方式。因此,上述实施方式仅表达了本发明的几种实
施方式,不对本发明的保护范围进行限制。