一种RGB-D配准精度测试方法及设备

摘要

本发明公开了一种RGB‑D配准精度测试方法及设备，克服了现有技术配准、去畸变运算且测试数据庞杂导致的计算资源浪费、测试难度高的问题，包括获取拍摄对象平面孔洞测试卡配准后的深度图和配准后的彩色图；提取深度图和彩色图图像上的孔洞；根据孔洞的结构特点进行拟合，获取孔洞特征点，提取轮廓中心或顶点作为特征点的坐标；计算深度图和彩色图在每个孔洞特征点上的坐标的差异，计算当前配准值，当前配准值与配准精度成反比。本发明采用直接在配准后的深度图上提取特征点的方式，更直接，因此更有效，同时输出水平、垂直方向上的像素差异，对精度的描述更直观，简化计算过程和需要处理的数据量。

权利要求

1.一种RGB‑D配准精度测试方法，其特征是，包括以下步骤：S1、获取拍摄对象平面孔洞测试卡配准后的深度图和配准后的彩色图；

S2、提取深度图和彩色图图像上的孔洞；

S3、根据孔洞的结构特点进行拟合，获取孔洞特征点，提取轮廓中心或顶点的坐标作为特征点的坐标；

所述S3包括以下步骤：

S31、根据孔洞形状确定标准方程，采用最小二乘法拟合孔洞轮廓；

S32、判断彩色图与深度图的分辨率是否相同，若不同则通过图像缩放算法将大分辨率图像缩小或将小分辨率图像放大，获取相同分辨率的彩色图和深度图，若相同则进行下一步骤；

S33、分别获取深度图上的孔洞特征点坐标（Yd，Xd）和彩色图上的孔洞特征点坐标（Yc，Xc）；

S34、定义每个孔洞特征点行、列像素坐标，彩色图每个孔洞特征点行、列像素坐标定义为Pc(i,j)=(Yc(i,j),Xc(i,j))，深度图每个孔洞特征点行、列像素坐标定义为Pd(i,j)=(Yd(i,j),Xd(i,j))；

其中i表示第i个孔洞，j表示第i个孔洞的第j个特征点；

S4、计算深度图和彩色图在每个孔洞特征点上的坐标的差异，计算当前配准值，当前配准值与配准精度成反比；

所述S4包括以下步骤：

S41、定义水平方向差异为列坐标差异abs(Xd(i,j)‑Xc(i,j))，垂直方向差异为行坐标差异abs(Yd(i,j)‑Yc(i,j))；

S42、统计特征点间坐标差异的均值、方差、标准差、最大值、最小值作为当前配准值，当前配准值越大，配准精度越低。

2.根据权利要求1所述的一种RGB‑D配准精度测试方法，其特征是，所述S1获取包括以下方法：

在线获取，打开RGB‑D相机的配准功能，拍摄测试卡；

离线获取，采集深度图和彩色图后，在RGB‑D相机外配准。

3.根据权利要求1所述的一种RGB‑D配准精度测试方法，其特征是，所述S2包括以下步骤：

S21、在深度图上提取孔洞，孔洞的拍摄对象为背景板，深度值大于测试卡，通过深度差分割出孔洞；

S22、在彩色图上提取孔洞，孔洞的拍摄对象为背景板，背景板颜色与测试卡有差别，通过颜色差分割出孔洞。

4.根据权利要求3所述的一种RGB‑D配准精度测试方法，其特征是，所述S21中采用以下方法分割出孔洞：大于测试卡深度的像素值置1，否则置0，获得孔洞二值图；

所述S22采用以下方法分割出孔洞：与测试卡颜色不同的像素值置1，否则置0，获得孔洞二值图。

5.根据权利要求1所述的一种RGB‑D配准精度测试方法，其特征是，所述S32中图像缩放算法包括双线性插值、三线性插值和下采样。

6.一种RGB‑D配准精度测试设备，采用权利要求1‑5任意一项所述的RGB‑D配准精度测试方法，其特征是，包括测试卡（1）、背景板（2）和相机（3），相机（3）、测试卡（1）和背景板（2）依次设置，相机（3）拍摄方向垂直于测试卡（1），测试卡（1）与背景板（2）平行，测试卡（1）上涂有颜色，颜色为彩色相机与深度相机均可见，测试卡（1）为具有漫反射特性的平面。

7.根据权利要求6所述的一种RGB‑D配准精度测试设备，其特征是，所述测试卡（1）上设有均匀分布的孔洞（101）。

说明书

一种RGB‑D配准精度测试方法及设备

技术领域

[0001] 本发明涉及图像数据处理技术领域，尤其是涉及一种RGB‑D配准精度测试方法及设备。

背景技术

[0002] RGB‑D配准是RGB‑D相机的应用中的常用功能，而配准精度是RGB‑D相机性能评价的一个重要指标，直接决定了基于RGB‑D相机的应用开发效果，如在人脸三维重建上，如果
配准精度低，无法在正确三维位置贴上人脸的颜色和纹理，如将眼睛的颜色贴到了嘴巴的
位置上，则整个人脸重建失败，类似的应用还有对象检测与识别、定位与建图等。配准精度
由两方面决定，一是深度相机的测距精度，二是RGB‑D相机中RGB相机与Depth相机的（双目
相机）标定精度，一般精度高的价格也越高。因此，需要一种精度测试方法，一方面用于评价
相机的性能，另一方面作为开发者相机选型的指导。如三维重建对配准精度要求高，而对象
检测对精度要求低，通过配准精度的数值结果，应用开发人员可以选择出性价比最高的相
机。同时，RGB相机与Depth相机的双目相机标定算法也需要通过配准精度来测试其性能。然
而现有配准测试方法无法直接获取匹配特征点，除配准计算所需的彩色和深度图外还需要
采集其他信号的图像；在测试过程中需要额外的配准计算，需要使用相机内参和外参进行
去畸变和坐标映射，采集与计算过程繁杂。

[0003] 例如，一种在中国专利文献上公开的“一种图像对齐精度的检测方法及装置，设备，存储介质”，其公告号CN110378971A，所述方法包括：获取被检测设备对检测设备中的测
试图案的拍摄结果，其中，所述拍摄结果包括：红外IR图像、彩色RGB图像和深度图像，所述
测试图案上有预先设置的特征点；根据所述IR图像中的特征点和所述深度图像，确定所述
IR图像中的特征点映射到RGB像素坐标系中的三维坐标；根据所述RGB图像中的特征点的坐
标和所述IR图像中的特征点映射到RGB像素坐标系中的三维坐标，确定所述被检测设备的
图像对齐精度。配准误差定义为深度图与彩色图匹配点的三维坐标差异，匹配点的获得有
直接方法，即在深度图上直接提取特征点，也有间接方法，该方法属于间接方法。该方法需
要获取IR图像，仅部分RGB‑D相机具有IR图像，并对用户提供，测试人员可能获取不到；获取
彩色和深度相机带畸变参数的内参及两相机的外参，仅部分RGB‑D相机具有带畸变参数的
内参及外参，并对用户提供，测试人员可能获取不到；需要进行去畸变、坐标映射等图像处
理计算，RGB‑D相机提供的图像一般是去除畸变后的，难以获得畸变图像，计算复杂，测试人
员可能无法实现，同时坐标映射即是配准运算，因此现有方法在去畸变、坐标映射上等主要
计算上均与测试对象重复，严重浪费计算资源，并提高了测试难度；需要能发出可见光或红
外光的背光板照明，增加了检测设备的获得难度；精度定义为三维坐标差，测试工程师对配
准精度关注更多的是水平和垂直方向的二维像素差，因此三维坐标差异不直观、实用。

发明内容

[0004] 本发明是为了克服现有技术的配准、去畸变运算且测试数据庞杂导致的计算资源浪费、测试难度高的问题，提供一种RGB‑D配准精度测试方法及设备，直接在配准后的深度
图上提取特征点，不同于现有技术间接地获取深度图与彩色图对应特征点，更直接，因此更
有效，同时输出水平、垂直方向上的像素差异，对精度的描述更直观，简化了计算过程和需
要处理的数据量。

[0005] 为了实现上述目的，本发明采用以下技术方案：

[0006] 一种RGB‑D配准精度测试方法，其特征是，包括以下步骤：

[0007] S1、获取拍摄对象平面孔洞测试卡配准后的深度图和配准后的彩色图；

[0008] S2、提取深度图和彩色图图像上的孔洞；

[0009] S3、根据孔洞的结构特点进行拟合，获取孔洞特征点，提取轮廓中心或顶点的坐标作为特征点的坐标；

[0010] S4、计算深度图和彩色图在每个孔洞特征点上的坐标的差异，计算当前配准值，当前配准值与配准精度成反比。

[0011] 本发明直接在配准后的深度图上提取特征点，不同于现有技术间接地获取深度图与彩色图对应特征点，更直接，因此更有效，同时输出水平、垂直方向上的像素差异，对精度
的描述更直观，简化了计算过程和需要处理的数据量。

[0012] 作为优选，所述S1获取包括以下方法：

[0013] 在线获取，打开RGB‑D相机的配准功能，拍摄测试卡；

[0014] 离线获取，采集深度图和彩色图后，在RGB‑D相机外配准。

[0015] 本发明可以采用在线获取也可以采用离线获取。

[0016] 作为优选，所述S2包括以下步骤：

[0017] S21、在深度图上提取孔洞，孔洞的拍摄对象为背景板，深度值大于测试卡，通过深度差分割出孔洞；

[0018] S22、在彩色图上提取孔洞，孔洞的拍摄对象为背景板，背景板颜色与测试卡有差别，通过颜色差分割出孔洞。

[0019] 在深度图上由于孔洞处的拍摄对象为背景板，其深度值大于测试卡可以通过深度差分割出孔洞，彩色图像类似，背景板的颜色与测试卡差别大，可以通过颜色差分割出孔
洞。

[0020] 作为优选，所述S21中采用以下方法分割出孔洞：大于测试卡深度的像素值置1，否则置0，获得孔洞二值图；

[0021] 所述S22采用以下方法分割出孔洞：与测试卡颜色不同的像素值置1，否则置0，获得孔洞二值图。

[0022] 作为优选，所述S3包括以下步骤：

[0023] S31、根据孔洞形状确定标准方程，采用最小二乘法拟合孔洞轮廓；

[0024] S32、判断彩色图与深度图的分辨率是否相同，若不同则通过图像缩放算法将大分辨率图像缩小或将小分辨率图像放大，获取相同分辨率的彩色图和深度图，若相同则进行
下一步骤；

[0025] S33、分别获取深度图上的孔洞特征点坐标（Yd，Xd）和彩色图上的孔洞特征点坐标（Yc，Xc）；

[0026] S34、定义每个孔洞特征点行、列像素坐标，彩色图每个孔洞特征点行、列像素坐标定义为Pc(i,j)=(Yc(i,j),Xc(i,j))，深度图每个孔洞特征点行、列像素坐标定义为Pd(i,j)=
(Yd(i,j),Xd(i,j))；

[0027] 其中(i,j)表示第i个孔洞的第j个特征点。

[0028] 获得孔洞图像后，可直接取孔洞的中心或顶点作为特征点，也可以用拟合的方法，去除噪声在孔洞边缘引起的毛刺，获得更准确的特征点；拟合方法是根据孔洞的结构拟合
孔洞轮廓，圆形孔洞用椭圆拟合、以中心为特征点，多边形孔洞用直线拟合、以直线的交点
即多边形定点为特征点。

[0029] 作为优选，所述S32中图像缩放算法包括双线性插值、三线性插值和下采样。

[0030] 作为优选，所述S4包括以下步骤：

[0031] S41、定义水平方向差异为列坐标差异abs(Xd(i,j)‑Xc(i,j))，垂直方向差异为行坐标差异abs(Yd(i,j)‑Yc(i,j))；

[0032] S42、统计特征点间坐标差异的均值、方差、标准差、最大值、最小值作为当前配准值，当前配准值越大，配准精度越低。

[0033] 一种RGB‑D配准精度测试设备，包括测试卡、背景板和相机，相机、测试卡和背景板依次设置，相机拍摄方向垂直于测试卡，测试卡与背景板平行，测试卡上涂有颜色，颜色为
彩色相机与深度相机均可见，测试卡为具有漫反射特性的平面。

[0034] 作为优选，所述测试卡上设有均匀分布的孔洞。

[0035] 本发明的测试卡是一个平面，平面上均匀挖出规则形状的孔洞，可以是圆形也可以是多边形，测试卡面向相机的表面具有漫反射特性，在深度相机可见，相机拍摄方向指向
测试卡，在测试卡后面设置有背景板，测试卡、背景板与相机的距离均在深度相机的测量范
围，且背景板与测试卡之间的距离大于深度相机的最小测量深度；背景板可以是建筑墙体，
在彩色相机可见，且在彩色图像上与测试卡的颜色存在明显差异。

[0036] 因此，本发明具有如下有益效果：

[0037] 1. 本发明通过检测设备直接获取匹配特征点，除配准使用和输出的彩色和深度图外，不需要采集其他信号的图像；除相机具有的或代测试的配准算法外，在测试过程中不
需要额外的配准计算；不需要使用相机内参及外参去畸变和坐标映射；

[0038] 2. 本发明充分利用测试对象的运算结果，计算简单，易于实现。并且，检测设备简单，不需要额外光源，费用低易于构造。

附图说明

[0039] 图1是本发明的流程图。

[0040] 图2是实施例1配准精度计算流程图。

[0041] 图3是本发明设备的结构示意图。

[0042] 图4是本发明测试卡的结构示意图。

[0043] 图5是实施例2相机采集到的深度数据示意图。

[0044] 图6是实施例2相机采集到的深度数据的图像化显示图。

[0045] 图7是实施例2按照1m阈值提取孔洞的数据示意图。

[0046] 图8是实施例2按照1m阈值提取孔洞二值图。

[0047] 图9是实施例2深度图直线拟合提取特征点后图像。

[0048] 图10是实施例2相机采集到的彩色数据R通道数据示意图。

[0049] 图11是实施例2相机采集到的彩色数据G通道数据示意图。

[0050] 图12是实施例2相机采集到的彩色数据B通道数据示意图。

[0051] 图13是实施例2相机采集到的彩色数据图像化显示图。

[0052] 图14是实施例2按照白色提取孔洞的数据示意图。

[0053] 图15是实施例2按照白色提取孔洞二值图。

[0054] 图16是实施例2彩色图直线拟合提取特征点后图像。

[0055] 图中：1、测试卡  101、孔洞  2、背景板  3、相机。

具体实施方式

[0056] 下面结合附图与具体实施方式对本发明做进一步的描述。

[0057] 实施例1：

[0058] 本实施例提供了一种RGB‑D配准精度测试方法，如图1、图2所示，包括以下步骤：

[0059] S1、获取拍摄对象平面孔洞测试卡配准后的深度图和配准后的彩色图；

[0060] 所述S1获取包括以下方法：

[0061] 在线获取，打开RGB‑D相机的配准功能，拍摄测试卡；

[0062] 离线获取，采集深度图和彩色图后，在RGB‑D相机外配准。

[0063] S2、提取深度图和彩色图图像上的孔洞；

[0064] 所述S2包括以下步骤：

[0065] S21、在深度图上提取孔洞，孔洞的拍摄对象为背景板，深度值大于测试卡，通过深度差分割出孔洞；

[0066] S21中采用以下方法分割出孔洞：大于测试卡深度的像素值置1，否则置0，获得孔洞二值图；

[0067] S22、在彩色图上提取孔洞，孔洞的拍摄对象为背景板，背景板颜色与测试卡有差别，通过颜色差分割出孔洞；

[0068] S22采用以下方法分割出孔洞：与测试卡颜色不同的像素值置1，否则置0，获得孔洞二值图。

[0069] S3、根据孔洞的结构特点进行拟合，获取孔洞特征点，提取轮廓中心或顶点的坐标作为特征点的坐标；

[0070] 所述S3包括以下步骤：

[0071] S31、根据孔洞形状确定标准方程，采用最小二乘法拟合孔洞轮廓；

[0072] S32、判断彩色图与深度图的分辨率是否相同，若不同则通过图像缩放算法将大分辨率图像缩小或将小分辨率图像放大，获取相同分辨率的彩色图和深度图，若相同则进行
下一步骤；

[0073] 图像缩放算法包括双线性插值、三线性插值和下采样；

[0074] S33、分别获取深度图上的孔洞特征点坐标（Yd，Xd）和彩色图上的孔洞特征点坐标（Yc，Xc）；

[0075] S34、定义每个孔洞特征点行、列像素坐标，彩色图每个孔洞特征点行、列像素坐标定义为Pc(i,j)=(Yc(i,j),Xc(i,j))，深度图每个孔洞特征点行、列像素坐标定义为Pd(i,j)=
(Yd(i,j),Xd(i,j))；

[0076] 其中(i,j)表示第i个孔洞的第j个特征点。

[0077] S4、计算深度图和彩色图在每个孔洞特征点上的坐标的差异，计算当前配准值，当前配准值与配准精度成反比；

[0078] 所述S4包括以下步骤：

[0079] S41、定义水平方向差异为列坐标差异abs(Xd(i,j)‑Xc(i,j))，垂直方向差异为行坐标差异abs(Yd(i,j)‑Yc(i,j))；

[0080] S42、统计特征点间坐标差异的均值、方差、标准差、最大值、最小值作为当前配准值，当前配准值越大，配准精度越低。

[0081] 本实施例还相应的提供一种RGB‑D配准精度测试设备，采用RGB‑D配准精度测试方法，如图3、图4所示，包括测试卡1、背景板2和相机3，相机3、测试卡1和背景板2依次设置，相
机3拍摄方向垂直于测试卡1，测试卡1上设有均匀分布的孔洞101，测试卡1与背景板2平行，
测试卡1上涂有颜色，颜色为彩色相机与深度相机均可见，测试卡1为具有漫反射特性的平
面，测试卡1、背景板2与相机3的距离均在深度相机的测量范围，且背景板2与测试卡1之间
的距离大于深度相机的最小测量深度；背景板可以是建筑墙体，在彩色相机可见，且在彩色
图像上与测试卡的颜色存在明显差异。

[0082] 实施例2：

[0083] 本实施例提供了一种RGB‑D配准精度测试方法，其余步骤均与实施例1相同；本实施例以矩形孔洞、绿色测试卡和白色背景板作为检测设备，计算流程的数据如下：

[0084] 如图5、图6所示，相机在距测试卡1m、背景板1.2m采集到的深度数据，单位毫米，图5中存在噪声，出现“1100”数据；图6是实施例2相机采集到的深度数据的图像化显示图；

[0085] 如图7、图8所示为按照1m阈值提取孔洞二值图的数据与图像化显示；图7是数据示意图；图8是二值图像。

[0086] 如图9所示，深度图直线拟合并提取特征点，本实施例特征点为直线交点，

[0087] 左侧孔洞上、下、左、右边拟合的直线分别为：

[0088] 上：y=2

[0089] 下：y=4

[0090] 左：x=3

[0091] 右：x=5

[0092] 交点为：

[0093] 左上：Pd(1,1)=(2,3)

[0094] 右上：Pd(1,2)= (2,5)

[0095] 左下：Pd(1,3)= (4,3)

[0096] 右下：Pd(1,4)= (4,5)

[0097] 同理，右侧孔洞提取的特征点为：

[0098] Pd(2,1)=(4,9)、Pd(2,2)=(4,11)、Pd(2,3)=(6,9)、Pd(2,4)=(6,11)。

[0099] 图像化显示后包括拟合的直线，“*”为特征点。

[0100] 如图10‑图12所示，彩色图分为RGB三通道数据，分别显示R通道、G通道和B通道数据。

[0101] 如图13所示，为彩色图的图像显示化。

[0102] 如图14、图15所示，图14是数据示意图，按照白色提取孔洞二值图，三通道数据均为255的数据为1，否则为0；图15是二值图。

[0103] 如图16所示，彩色图直线拟合并提取特征点，Pc(1,1)=(3,3)、Pc(1,2)=(3,5)、Pc(1,3)=(5,3)、Pc(1,4)=(5,5)、Pc(2,1)=(3,8)、Pc(2,2)=(3,10)、Pc(2,3)=(5,8)、Pc(2,4)=(5,10)。

[0104] 图像化显示包括拟合的直线，“*”为特征点。

[0105] 之后计算配准精度：

[0106] 垂直方向的配准值dY(i,j)=abs(Yd(i,j)‑Yc(i,j))={abs(2‑3),abs(2‑3),abs(4‑5),abs(4‑5),abs(4‑3),abs(4‑3), abs(6‑5), abs(6‑5)}={1,1,1,1,1,1,1,1}

[0107] 水平方向的配准值dX(i,j)=abs(Xd(i,j)‑Xc(i,j))={abs(3‑3),abs(5‑5),abs(3‑3),abs(5‑5),abs(9‑8), abs(11‑10),abs(9‑8),abs(11‑10)}={0,0,0,0,1,1,1,1}

[0108] 均值：

[0109] mean(dY(i,j)) = (1+1+1+1+1+1+1+1)/8=1

[0110] mean(dX(i,j)) = (0+0+0+0+1+1+1+1)/8=0.5

[0111] 标准差：

[0112] std(dY(i,j)) =sqrt(((1‑1)2+(1‑1)2+(1‑1)2+(1‑1)2+(1‑1)2+(1‑1)2+(1‑1)2+(1‑2
1))/8)=0

[0113] std(dX(i,j)) =sqrt(((0‑1)2+(0‑1)2+(0‑1)2+(0‑1)2+(1‑1)2+(1‑1)2+(1‑1)2+(1‑2
1))/8)= 0.7071

[0114] 最大值：

[0115] Max(dY(i,j))=1

[0116] Max(dX(i,j))=1

[0117] 最小值：

[0118] Min(dY(i,j))=1

[0119] Min(dX(i,j))=0

[0120] 本发明中上述配准值越大，配准精度越低，反之，配准值越小，配准精度越高。

[0121] 上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非
本质的改进和调整均落入本发明的保护范围内。