一种用于视频监控系统中的自动定标方法

摘要

提供一种用于视频监控系统中的自动定标方法，所述系统包括：广角摄像机即枪机，用于拍摄大场景视域内的广角图像即枪机图像；以及PTZ摄像机即球机，用于拍摄大场景视域内的局部放大图像即球机图像。所述方法包括：粗定标步骤，利用枪机图像坐标和球机图像坐标的映射关系以及球机图像坐标和球机物理坐标的映射关系从而获得枪机图像坐标和球机物理坐标的映射关系；以及细定标步骤，利用球机光心图像坐标对粗定标结果进行修正。通过本发明的自动定标方法，可以将人从繁琐的定标操作中解放出来，实现了程序的自动化。整个定标时间控制在90s内，和一名熟练的人工去定标时间相当，定标精度甚至优于人工定标。

权利要求

1.一种用于视频监控系统中的自动定标方法，所述系统包括：广角摄像机即枪机，用于拍摄大场景视域内的广角图像即枪机图像；以及PTZ摄像机即球机，用于拍摄大场景视域内的局部放大图像即球机图像；其特征在于，包括：粗定标步骤，利用枪机图像坐标和球机图像坐标的映射关系以及球机图像坐标和球机物理坐标的映射关系从而获得枪机图像坐标和球机物理坐标的映射关系；以及细定标步骤，利用球机光心图像坐标对粗定标结果进行修正；

在所述粗定标步骤中，通过将球机扫描整个球机覆盖空间得到的球机图像序列与枪机图像进行匹配从而获得所述枪机图像坐标和球机姿态(ptzAZ0，ptzEL0)下球机图像坐标的映射关系，所述球机扫描步骤的步幅满足下列不等式：

上式中，θstep是扫描步幅，ωwac是枪机视场角，ωptz是球机视场角。

2.如权利要求1所述的自动定标方法，其特征在于，通过匹配步骤获得球机图像序列中与枪机图像匹配最优的球机图像对应的球机物理坐标(ptzAZ0，ptzEL0)，通过对枪机图像和最优球机图像匹配特征点对去除坏点，得到多对枪机图像坐标和球机图像坐标的映射关系：{(wacX1,wacY1),(ptzX1,ptzY1)}{(wacX2,wacY2),(ptzX2,ptzY2)}{(wacX3,wacY3),(ptzX3,ptzY3)}……

{(wacXn,wacYn),(ptzXn,ptzYn)}。

3.如权利要求2所述的自动定标方法，其特征在于，通过已知球机物理坐标(ptzAZ0，ptzEL0)获得球机图像坐标和球机物理坐标的映射关系：{(ptzX1,ptzY1),(ptzAZ1,ptzEL1)}{(ptzX2,ptzY2),(ptzAZ2,ptzEL2)}{(ptzX3,ptzY3),(ptzAZ3,ptzEL3)}……

{(ptzXn,ptzYn),(ptzAZn,ptzELn)}从而得到枪机图像坐标和球机物理坐标的对应点对：

{(wacX1,wacY1),(ptzAZ1,ptzEL1)}{(wacX2,wacY2),(ptzAZ2,ptzEL2)}{(wacX3,wacY3),(ptzAZ3,ptzEL3)}……

{(wacXn,wacYn),(ptzAZn,ptzELn)}。

4.如权利要求3所述的自动定标方法，其特征在于，将已知枪机图像坐标和球机物理坐标的映射关系代入下述公式(1)从而获得枪机图像坐标和球机物理坐标映射关系，完成定标：其中， fx、fy是以像素x和y方向的尺寸

为单位的焦距长度，cx、cy是广角摄像机光学中心在像平面上投影的坐标，单位是像素，A是坐标转换映射参数矩阵。

5.如权利要求4所述的自动定标方法，其特征在于，fx、fy、cx、cy通过畸变校正方法求得，矩阵A通过最小二乘法求得。

6.如权利要求5所述的自动定标方法，其特征在于，在所述细定标步骤中，选取至少3个枪机图像坐标，通过所述公式(1)获得对应的球机物理坐标，控制球机分别到该些物理坐标对应的位置拍摄图像。

7.如权利要求6所述的自动定标方法，其特征在于，将所述细定标步骤中拍摄的各图像分别与枪机图像匹配以得到坐标映射矩阵H，从而求出球机光心图像坐标对应的枪机图像坐标。

8.如权利要求7所述的自动定标方法，其特征在于，通过球机光心图像坐标对应的枪机图像坐标和所述细定标步骤中得到的球机物理坐标从而获得校正过的枪机图像坐标和球机物理坐标对应点对，代入下述公式(1)求解从而完成自动定标。

9.如权利要求8所述的自动定标方法，其特征在于，所述球机光心图像坐标通过下述步骤求得：在球机图像匹配最优位置(ptzAZ0，ptzEL0)及两个相近倍率下得到两幅图像并进行点匹配，从而得到两幅图像的坐标映射矩阵H，假设球机光心坐标为(x0，y0),则有：其中s为尺度因子，求解得到x0、y0。

10.如权利要求2所述的自动定标方法，其特征在于，在所述匹配步骤中，设定一个阈值，如果已经扫描得到的球机图像和枪机图像匹配内点大于该阈值T，直接取该球机图像为匹配图像，停止扫描。

11.如权利要求2至10中任一项所述的自动定标方法，其特征在于，所述特征点包括SIFT、SURF特征点，所述特征点匹配使用k-d tree或BBF算法，所述的去除坏点为利用RANSAC算法或PROSAC算法或霍夫变换聚类算法去除坏点。

说明书

一种用于视频监控系统中的自动定标方法

技术领域

[0001] 本发明涉及一种自动定标方法，尤其涉及一种用于视频监控系统中的自动定标方法。

背景技术

[0002] 在视频监控过程中，希望获得目标的清晰图像。单独采用广角摄像机和PTZ摄像机有各自缺陷。广角摄像机由于分辨率限制，对局部区域细节获取的能力相对较差；PTZ摄像机虽然能够获取较清晰细节，但由于视场角变小，监控范围大大受限。

[0003] 鉴于此，采用广角摄像机和PTZ摄像机联动控制方法和装置（以下简称“枪球联动控制系统”）进行监控。利用广角摄像机（以下简称“枪机”）对大范围场景进行监视，同时控制PTZ摄像机（以下简称“球机”）获取局部细节图像。

[0004] 在枪球联动控制系统中，一个关键的技术就是定标即建立目标在枪机中图像坐标和在球机中物理坐标的映射关系，从而一旦确定目标在枪机图像中坐标，就可以控制球机运动到目标所在位置以得到目标的清晰图像等操作。

[0005] 实现定标一个极端的笨方法是，对于枪机中的每一个像素点进行标定，标定方法如图1所示：首先选定枪机中一个目标像素点，记下其在枪机中图像坐标(wacX，wacy)；然后控制球机，使选定的目标像素点处于球机画面中心处，记下此时球机物理坐标（PtzAZ，ptzEL)。这样就建立了一对枪机图像坐标和球机物理坐标对应点对：{(wacX，wacy)，(ptzAZ，ptzEL)}。

[0006] 对枪机中所有像素点重复该过程，可建立一个从枪机像平面中的任一点(wacX，wacY)到球机中的水平方位角和垂直高度角（ptzAZ，ptzEL)的映射表，从而完成定标过程。

[0007] 但是该方法太过繁琐复杂，对于D1大小图像的枪机，对每一个像素点进行标定，需要704×576次标定才可实现定标，在实际操作中几近不可能。

[0008] 根据空间几何和成像原理，枪机图像坐标和球机物理坐标映射关系可以表示为公式（1）所示：

[0009]

[0010] 其中， fx、fy是以像素ｘ和ｙ方向的尺寸为单位的焦距长度，cx、cy是广角摄像机光学中心在像平面上投影的坐标，单位是像素，Ａ是坐标转换映射参数矩阵。

[0011] 公式（1）代表了从枪机像平面中的任一点(wacX，wacY)到球机中的水平方位角和垂直高度角(PtzAZ，ptzEL)的映射，其中fx、fy、cx、cy可以通过畸变校正方法得到，而矩阵Ａ则可以通过上述定标步骤，选取三个以上的像素点作标定，以最小二乘法求解得到。

[0012] 公式（1）的推导和畸变校正算法的具体过程请参照申请号为201101190423，发明名称为“多目标跟踪特写拍摄视频监控系统”的专利申请，其全部内容作为参考引入。

[0013] 因此，需要考虑如何自动获取三个以上像素点标定数据展开。以往标定数据的获取都是手工来建立枪机图像坐标和球机物理坐标对应点对。按照上述标定方法手动控制球机，建立至少三对枪机图像坐标和球机物理坐标对应点对：

[0014] {(wacX1，wacY1）（，ptzAZ1，ptzELl)}

[0015] {(WacX2，WacY2)，(ptzAX2，PtzEL2)}

[0016] {(WacX3，WacY3)，(ptzAZ3，ptzEL3)}

[0017] ……

[0018] {(WacXn，WacYn)，(PtzAZn，PtzELn)}

[0019] 代入公式（1），求出矩阵Ａ，从而得到枪机图像坐标和球机物理坐标映射关系，完成定标。

[0020] 由于定标过程需要手动控制球机转动，过程繁琐且定位精度受到操作人的影响和限制。

[0021] 因此，有必要提出一种新的方法来实现自动定标以解决上述技术缺陷。

发明内容

[0022] 本发明的目的在于提供一种程序化自动控制的方式完成定标的方法（以下简称“自动定标”），避免繁琐的手动控制并提高定标精度及速度。

[0023] 为了解决上述技术问题，本发明采用的技术方案为提供一种用于视频监控系统中的自动定标方法，所述系统包括：广角摄像机即枪机，用于拍摄大场景视域内的广角图像即枪机图像；以及PTZ摄像机即球机，用于拍摄大场景视域内的局部放大图像即球机图像。

[0024] 所述方法包括：粗定标步骤，利用枪机图像坐标和球机图像坐标的映射关系以及球机图像坐标和球机物理坐标的映射关系从而获得枪机图像坐标和球机物理坐标的映射关系；以及细定标步骤，利用球机光心图像坐标对粗定标结果进行修正。

[0025] 在所述粗定标步骤中，通过将球机扫描整个球机覆盖空间得到的球机图像序列与枪机图像进行匹配从而获得所述枪机图像坐标和球机图像坐标的映射关系。所述球机扫描步骤的步幅满足下列不等式：

[0026]

[0027] 上式中，θstep是扫描步幅，ωwac是枪机视场角，ωptz是球机视场角。所述球机扫描在一定倍率下进行（如1X倍率），ωPtz是球机所述倍率下视场角。

[0028] 通过所述匹配步骤获得球机图像序列与枪机图像匹配最好时的球机物理坐标(ptzAz0，PtzEL0)以及多对枪机图像坐标和(ptzAZ0，PtzEL0)坐标下球机图像坐标的匹配点对,通过算法去除坏点后,得到枪机图像坐标和球机图像坐标映射关系：

[0029] (wacX1，wacY1)，(ptzX1，ptzY1)}

[0030] {(wacX2，wacY2)，(ptzX2，ptzY2)}

[0031] {(wacX3，wacY3)，(ptzX3,ptzY3)}

[0032] ……

[0033] {(wacXn，wacYn)，(PtzXn，ptzYn)}。

[0034] 将枪机图像特征保存成一定形式,设定一个阈值，如果已经扫描得到的球机图像和枪机图像匹配内点大于该阈值T，直接取该球机图像为匹配图像，停止扫描。通过已知球机物理坐标(ptzAZ0，ptzEL0)获得球机图像坐标和球机物理坐标的映射关系：

[0035] {(ptzX1，ptzY1),(PtzAZ1，ptzEL1)｝

[0036] ｛（ptｚＸ２，ptzY2)，(ptzAZ2，PtzEL2)}

[0037] {(ptzX3，PtzY3)，(ptzAZ3，PtzEL3)}

[0038] ……

[0039] {(ptzXn，ptzYn)，(ptzAZn，PtzELn)}

[0040] 从而得到枪机图像坐标和球机物理坐标的对应点对：

[0041] {(wacX1，wacY1)，(ptzAZ1，PtzEL1)}

[0042] {(wacX2，wacY2)(ptzAZ2，ptzEL2)

[0043] {(wacX3，wacY3),(ptzAZ3，ptzEL3)}

[0044] ……

[0045] {(wacXn，wacYn)，(ptzAZn，PtzELn)}。

[0046] 将已知枪机图像坐标和球机物理坐标的映射关系代入下述公式（1）从而获得枪机图像坐标和球机物理坐标映射关系，完成定标：

[0047]

[0048] 其中， fx、fy是以像素ｘ和ｙ方向的尺寸为单位的焦距长度，cx、cy是广角摄像机光学中心在像平面上投影的坐标，单位是像素，Ａ是坐标转换映射参数矩阵。fx、fy、cx、cy通过畸变校正方法求得，矩阵A通过最小二乘法求得。

[0049] 在所述细定标步骤中，选取至少3个枪机图像坐标，通过所述公式（1）获得对应的球机物理坐标，控制球机分别到这些物理坐标对应的位置并在一定倍率下（如1X倍率）拍摄图像。将所述细定标步骤中拍摄的各图像分别与枪机图像匹配以得到坐标映射矩阵H，从而求出球机光心图像坐标对应的枪机图像坐标。通过球机光心图像坐标对应的枪机图像坐标和所述细定标步骤中得到的球机物理坐标从而获得校正过的枪机图像坐标和球机物理坐标对应点对，代入下述公式（1）求解从而完成自动定标。

[0050] 所述球机光心图像坐标通过下述步骤求得：在球机图像匹配最优位置(ptzAZ0，ptzEL0)及两个相近倍率（如1X倍率和2X倍率）下得到两幅图像并进行特征点匹配，从而得到两幅图像的坐标映射矩阵H，假设球机光心坐标为(x0，y0)，则有：

[0051]

[0052] 其中s为尺度因子，求解得到x0、y0。

[0053] 通过本发明的自动定标方法，可以将人从繁琐的定标操作中解放出来，实现了程序的自动化。整个定标时间控制在90s内，和一名熟练的人工去定标时间相当，定标精度甚至优于人工定标。

附图说明

[0054] 下面将结合附图和具体实施方式对本发明的钢结构的铰连接装置作进一步说明。

[0055] 图1为PTZ摄像机标定示意图；

[0056] 图2为本发明的自动定标方法的流程图；

[0057] 图3为PTZ摄像机扫描示意图；

[0058] 图4为枪机和球机原始图像；

[0059] 图5为枪机和球机SIFT特征点内点匹配图；

[0060] 图6为细定标示意图；以及

[0061] 图7为倍率变化时光心影响示意图。

具体实施方式

[0062] 如上所述自动定标的目的是自动建立枪机图像坐标和球机物理坐标映射关系。如图2所示，本发明的自动定标方法的较佳步骤包括：粗略定标（一次定标）步骤，计算球机光心图像坐标步骤，以及精细定标（二次定标）步骤，从而完成自动定标。

[0063] 下面结合附图对上述每个步骤进行详细说明。

[0064] 粗定标（一次定标）步骤：

[0065] 如图3所示，由于开始并不知道枪机和球机物理坐标的关系，所以控制球机在一定倍率下，如1X倍率下，按照一定步幅自动扫描整个球机覆盖空间，得到一组球机图像序列。将球机图像序列与枪机图像进行匹配得到枪机图像坐标和球机图像坐标的映射关系，再根据球机图像坐标和球机物理坐标的映射关系，从而得到枪机图像坐标和球机物理坐标的映射关系。

[0066] 扫描步幅的选择不宜太小，会使图像序列过多，增加计算量。步幅也不宜太大，会造成枪机画面和球机画面重合度太小而匹配不上。步幅大小需要满足如下不等式以保证球机图像序列中至少有一张有1/3面积以上图像和枪机图像有重合：

[0067]

[0068] 上式中，Bstep是扫描步幅，ωwac是枪机视场角，ωptz是球机所述倍率下视场角。水平步幅对应水平视场角，垂直步幅对应垂直视场角。据此将水平步幅选为36度，垂直步幅选为22.5度，扫描共得到30幅球机图像序列，如图4所示。

[0069] 在图4中，上面为枪机图像，下面为30幅球机图像。为了显示方便，对枪球图像进行了不同比例的缩放。通过特征点匹配在球机图像序列中找到和枪机图像匹配最好的一幅图像。本申请提到的特征点匹配包括但不限于SIFT、SURF点匹配等，用于建立图像间坐标映射关系（参见David G.Lowe，"Distinctive image features from scale-invariant keypoints",2004IJCV，其全文引入本申请）。例如，利用SIFT特征点进行图像匹配就是在两张图像中分别提取SIFT特征点。如果能够匹配上足够多的特征点对（N>3），那么这两幅图像就能够建立一种坐标映射关系，也就是坐标映射矩阵。请参见说明书附图5，上下图之间的每一根灰色线连接的就是匹配上的一对SIFT特征点。

[0070] 通过算法去除坏点，得到最终匹配点对，如图5所示。所述算法包括但不限于RANSAC算法、PROSAC算法、霍夫变换聚类算法等，用于去除错误匹配点对带来的影响（参见Martin A.Fischler and Robert C.Bolles.Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography.Comm.of the ACM.June1981,24(6):381–395，其全文引入本申请）。例如，利用RANSAC算法去除坏点就是利用既定规则去除匹配错误的特征点对，只使用认为匹配正确的匹配点对，从而计算两幅图像间的坐标映射矩阵。

[0071] 至此，得到了和枪机图像匹配最好时的球机物理坐标(PtzAZ0，PtzEL0)以及多对枪机图像坐标和球机图像坐标的对应关系：

[0072] {(wacX1，wacY1)，(ptzX1，ptzY1)

[0073] {(wacX2，wacY2)，(ptzX2，ptzY2)}

[0074] {(wacX3，wacY3)，(ptzX3，ptzY3)}

[0075] ……

[0076] {(wacXn，wacYn)，(ptzXn，ptzYn)。

[0077] 根据空间几何关系和摄像机成像原理，在已知球机当前物理坐标(ptzaZ0，ptzEL0)条件下，可以求得球机图像坐标和球机物理坐标的对应关系：

[0078] {(ptzX1，PtzY1)，(ptzAZ1，ptzEL1)}

[0079] {(ptzX2，ptzY2)，(ptzAZ2，ptzEL2)}

[0080] {(ptzX3，ptzY3)，(ptzAZ3，ptzEL3)}

[0081] ……

[0082] {(ptzXn，ptzYn)，(ptｚAZn，PtzELn)}。

[0083] 具体来说，如果已知球机当前姿态（物理坐标），那么当前球机图像中任意一像素点对应的球机物理坐标均可以通过立体几何和摄像机成像原理求出来。球机图像像素点对应的球机物理坐标是指该像素点对应目标位于球机图像中心时球机的物理坐标。

[0084] 至此，得到了定标所需要的枪机图像坐标和球机物理坐标对应点对：

[0085] {(wacX1，WacY1)，(ptzAZ1，PtzEL1)}

[0086] {(WacX2，WacY2)，(ptzAZ2，ptzEL2)}

[0087] {(WacX3，wacY3),(ptzAZ3，ptzEL3)}

[0088] ……

[0089] {(wacXn，WacYn)，(ptzAZn，ptzELn)}

[0090] 代入公式(1)求解，完成定标。

[0091] 为了加快速度，可以先将枪机图像提取出的SIFT特征点保存成一定形式，在搜索匹配时采用k-d tree算法或BBF算法可以加速定标过程。另外，可以设定一个阈值，比如设匹配内点个数阈值T=15，如果已经扫描得到的球机图像和枪机图像匹配内点大于该阈值T，直接取该球机图像为匹配图像，停止扫描。

[0092] 细定标（二次定标）步骤：

[0093] 由于在上述定标过程中，选出的匹配点对太过集中，且定标是在一定倍率下如1X倍率下完成，而最终要得到清晰图像是在高倍率下实现的，所以上述定标结果误差比较大。为了得到更精确的结果，在上述粗略定标的基础上，进行细定标（二次定标）。

[0094] 细定标其实是利用图像匹配对粗定标结果进行修正的过程。为了使定标点尽量均匀分布在枪机画面，如图6上图白色点所示，选取9个点（不固定，只要满足大于等于3个点），其图像坐标分别记为：

[0095] (wacX1，wacY1)、(wacX2，wacY2)、（wacX3，WacY3)、

[0096] (wacX4，wacY４)、(wacX5，wacY5)、(wacX6，wacY６)、

[0097] (wacX7，wacY7)、(wacX8，wacY8)、（wacX9，wacY9)。

[0098] 根据粗定标结果，利用公式（1）得到这9个点对应的球机物理坐标:

[0099] (ptzX1，ptzYl)、(ptzX2，ptzY2)、(ptzX3，ptzY3)、(ptzX4，ptzY4)、(ptzX5，ptzY5)、(ptzX6，ptzY6)、(ptzX7，ptzY7)、(ptzX8，PtzY8)(ptzX9，ptzY9)。

[0100] 控制球机分别到这9个位置，在所述倍率下得到9幅图像，如图6中下部小图所示。以1点对应的图像1为例，将图像1和枪机图像匹配，得到两幅图像的坐标映射矩阵H。计算过程如下：

[0101]

[0102]

[0103] 使得反投影错误最小：

[0104]

[0105] 由于H矩阵的尺度可变，所以它被规一化使得h33=1。

[0106] 进而求出图像1中球机光心图像坐标(ptzXc，ptzYc)对应的枪机图像坐标(wacX1*，*wacY1 ),如图6上图左上角黑色点所示。

[0107] 利用此坐标和球机物理坐标（ptzX1，ptzY1)得到一组校正过的枪机图像坐标和球机物理坐标对应点对，同样方法得到9组点对：

[0108] {(wacX1*,，acY1*)，(ptzAZ1，ptzEL1)}

[0109] {(wacX2*，wacY2*)，(ptzAZ2，ptzEL2)}

[0110] {(wacX3*，wacY3*)，(ptzAZ3，ptzEL3)}

[0111] {(wacX4*，wacY4*)，(ptzAZ4，ptzEL4)}

[0112] {(wacX5*，wacY5*)，(ptzAZ5，ptzEL5)}

[0113] {(wacX6*，wacY6*)，(ptzAZ6，ptzEL6)}

[0114] {(wacX7*，wacY7*)，(ptzAZ7，ptzEL7)}

[0115] {(wacX8*，wacY8*)，(ptzAZ8，ptzEL8)}

[0116] {(wacX9*，wacY9*)，(ptzAZ9，ptzEL9)}

[0117] 代入公式(1)求解，至此自动定标完成。

[0118] 计算球机光心图像坐标步骤：

[0119] 上述计算中使用球机光心图像坐标而不是中心坐标的原因是：球机在变换不同焦距的时候，是以光心为中心轴进行拉伸的。因此，在球机变换不同焦距时，其光心位置的目标位置是始终不变的。由于摄像机组装工艺等原因，球形摄像机在变焦过程中，其图像的中心点与其光学镜头的中心点（以下简称为“光心”）一般并不重合，如图7所示。

[0120] 这就造成在球机Zoom-in的过程中，原来的图像中心点会逐渐偏向图像边缘，甚至偏出图像。所以细定标时需要用到球机光心图像坐标，求解方法如下：在球机图像匹配最优位置(ptzAZ0，ptzEL0)及两个相近倍率下，如1X倍率和2X倍率下分别得到两幅图像，按照上述方法进行SIFT点匹配，进而得到两幅图像的坐标映射矩阵H，假设球机光心图像坐标为(x0，y0)则有：

[0121]

[0122] 其中s为尺度因子，求解得到x0，y0也就得到了光心图像坐标。

[0123] 光心参数对于每个PTZ摄像机都固定不变，因此在自动定标中光心的计算可以只进行一次，并且将得到的结果存储在系统中。在以后由于枪球相对位置发生变化需要重新定标时可以直接使用。

[0124] 通过本发明的自动定标方法，可以将人从繁琐的定标操作中解放出来，实现了程序的自动化。整个定标时间控制在90s内，和一名熟练的人工去定标时间相当，定标精度甚至优于人工定标。

[0125] 以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。