一种目标对象联合跟踪方法及目标对象联合跟踪装置转让专利

申请号 : CN201610599817.4

文献号 : CN106303409B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 沈玉将张雄

申请人 : 阔地教育科技有限公司

摘要 :

本发明提供一种目标对象联合跟踪方法及目标对象联合跟踪装置,上述目标对象联合跟踪方法包括:根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。本发明技术方案基于目标对象的多组三维坐标数据获取目标对象的定位坐标数据,因此可以通过不同摄像机位的互相验证,实现对物体的准确定位,有效解决目标遮挡问题,优化了跟踪特写效果。

权利要求 :

1.一种目标对象联合跟踪方法,其特征在于,包括:根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;

将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪;

该方法具体包括;

从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据;

在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据;

将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据;

根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象;

其中,从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,包括:根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据;

根据不同图像采集装置获取的各目标对象之间的位移差、速度差和加速度差确定是否是同一目标对象,包括:根据以下公式计算出相似度值β:

β=(a·x+b·y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;

若所述相似度值β在预设范围内,则确定是同一目标对象。

2.根据权利要求1所述的目标对象联合跟踪方法,其特征在于,在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据,包括:根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。

3.根据权利要求2所述的目标对象联合跟踪方法,其特征在于,选取距离最短的三维坐标数据作为所述定位坐标数据。

4.根据权利要求1至3中任一项所述的目标对象联合跟踪方法,其特征在于,所述图像采集装置包括多个图像采集模块。

5.一种目标对象联合跟踪装置,其特征在于,包括:定位坐标获取单元,用于根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;

跟踪控制单元,用于将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪;

所述定位坐标获取单元包括:匹配子单元,用于从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,坐标选择子单元,用于在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据;

所述跟踪控制单元包括:

坐标转化子单元,用于将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据,控制子单元,用于根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象;

其中,所述匹配子单元根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据;

所述匹配子单元根据以下公式计算出相似度值β:

β=(a×x+b×y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;

若所述相似度值β在预设范围内,则确定是同一目标对象。

6.根据权利要求5所述的目标对象联合跟踪装置,其特征在于,坐标选择子单元根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。

7.根据权利要求6所述的目标对象联合跟踪装置,其特征在于,选取距离最短的三维坐标数据作为所述定位坐标数据。

8.根据权利要求5至7中任一项所述的目标对象联合跟踪装置,其特征在于,所述图像采集装置包括多个图像采集模块。

说明书 :

一种目标对象联合跟踪方法及目标对象联合跟踪装置

技术领域

[0001] 本发明属于图像处理领域,尤其涉及一种目标对象联合跟踪方法及目标对象联合跟踪装置。

背景技术

[0002] 在一些基于视频监控、视频互动的领域需要自动检测运动的对象,然后对检测到的对象进行实时的跟踪,并在不同的视角对对象进行特写,最后将这些不同视角的特写根据需要展现给用户。当前有很多方案都围绕上述应用进行了研究和探索并取得了一些成果,但目前的方案还不能够解决如何对物体进行准确的定位以及跟踪目标遮挡的问题。
[0003] 因此,需要一种新的目标对象跟踪技术来解决上述技术问题。

发明内容

[0004] 本发明提供一种目标对象联合跟踪方法及目标对象联合跟踪装置,以解决上述问题。
[0005] 本发明提供一种目标对象联合跟踪方法,包括:根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
[0006] 本发明还提供了一种目标对象联合跟踪装置,包括:定位坐标获取单元,用于根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;跟踪控制单元,用于将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
[0007] 相较于先前技术,根据本发明提供的技术方案,基于目标对象的多组三维坐标数据获取目标对象的定位坐标数据,因此可以通过不同摄像机位的互相验证,实现对物体的准确定位,有效解决目标遮挡问题,优化了跟踪特写效果。
[0008] 此外,在识别是否是同一目标对象时,通过目标对象的运动数据来判断,避免了采用脸部识别或者颜色识别等带来的误差问题,提高了目标对象识别的准确性。

附图说明

[0009] 此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0010] 图1所示为根据本发明的一较佳实施例提供的目标对象联合跟踪方法的流程图;
[0011] 图2所示为根据本发明的另一较佳实施例提供的目标对象联合跟踪装置的框图;
[0012] 图3所示为根据本发明的又一较佳实施例提供的定位摄像机和跟踪摄像机的安装示意图。

具体实施方式

[0013] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0014] 图1所示为根据本发明的一较佳实施例提供的目标对象联合跟踪方法的流程图。如图1所示,本发明的较佳实施例提供的目标对象联合跟踪方法,包括:
[0015] 步骤102,根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据。
[0016] 对于同一目标对象,不同的采集设备采集到的坐标数据是不相同的。因此同一目标对象对应有多组坐标数据,并且该坐标数据是三维坐标数据。
[0017] 步骤104,将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
[0018] 具体地,在步骤102中,从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据。
[0019] 在步骤104中,将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据,根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象。
[0020] 其中,所述从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,包括:
[0021] 根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据。
[0022] 在本实施例中,在确定是否是同一目标对象时,根据目标对象的运动数据来进行判断是否同一目标对象。该运动数据包括但不限于位移差、速度差、加速度差。运动数据相似的两个目标对象即为同一个目标对象。在本实施例中也可以采用目前的人脸识别技术,但由于目标对象是运动的,有可能不能捕获人脸特征,因此采用人脸识别技术有一定的误差,而像其他识别技术,例如颜色识别、轮廓识别,如果发生遮挡、光线变化等问题,则有可能不能准确识别出是不是同一目标对象,故而采用本实施例中提供了基于运动数据的目标对象识别方法能够避免相关识别技术出现的问题,提高了目标对象识别的准确率。
[0023] 其中,根据不同图像采集装置获取的各目标对象之间的位移差、速度差和加速度差确定是否是同一目标对象,包括:
[0024] 根据以下公式计算出相似度值β:
[0025] β=(a·x+b·y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;若所述相似度值β在预设范围内,则确定是同一目标对象。可以根据运动情况等因素设置a、b、c的权重值。
[0026] 其中,在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据,包括:
[0027] 根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。选取距离最短的三维坐标数据作为所述定位坐标数据。
[0028] 在拍摄范围内,对于同一个目标对象,每个图像采集装置可获得一个三维坐标数据,计算每一个三维坐标与相应图像采集装置位置之间的距离,距离最短的三维坐标数据作为该目标对象的定位坐标数据。
[0029] 其中,所述图像采集装置包括多个图像采集模块。该图像采集装置可以是双目摄像机,也可以是两个单目摄像机。在两个单目摄像机的情况下,两个单目摄像机安装在不同的位置,例如同一侧墙的两端。
[0030] 图2所示为根据本发明的另一较佳实施例提供的目标对象联合跟踪装置的框图。
[0031] 如图2所示,根据本发明的实施例的一种目标对象联合跟踪装置包括:
[0032] 定位坐标获取单元202,用于根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据。
[0033] 跟踪控制单元204,用于将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
[0034] 其中,所述定位坐标获取单元202包括:匹配子单元2022,用于从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,坐标选择子单元2024,用于在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据。
[0035] 所述跟踪控制单元204包括:
[0036] 坐标转化子单元2042,用于将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据,
[0037] 控制子单元2044,用于根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象。
[0038] 所述匹配子单元2022根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据。
[0039] 所述匹配子单元2022根据以下公式计算出相似度值β:
[0040] β=(a·x+b·y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;
[0041] 若所述相似度值β在预设范围内,则确定是同一目标对象。
[0042] 坐标选择子单元2024根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。选取距离最短的三维坐标数据作为所述定位坐标数据。
[0043] 其中,所述图像采集装置包括多个图像采集模块。
[0044] 图3所示为根据本发明的又一较佳实施例提供的定位摄像机和特写摄像机的安装示意图。
[0045] 如图3所示,在教室中安装了多个定位摄像机和多个特写摄像机,负责采集和检测及跟踪目标对象,多个定位摄像机两两一组,组合为摄像机对,在图中分为2组,C-0和C-1为一组、C-2和C-3为一组。PTZ-0、PTZ-1、PTZ-2是特写摄像机。ObjectA为要定位跟踪的目标对象。
[0046] 每个摄像机对实现对ObjectA的定位,获得针对这个目标对象的一个三维坐标。这样,针对同一目标对象,N对摄像机就可以得到N组三维坐标。在本实施例中,2个摄像机对可以得到2组三维坐标,例如C-0和C-1该摄像机对得到的三维坐标是A,C-2和C-3该摄像机对得到的三维坐标是A’。
[0047] 在前一步骤得到的2组三维坐标中选取一组三维坐标,作为目标对象在世界坐标系中的一个最终坐标。在这个过程中,因为不同摄像机位观察的角度不同,因此可以解决运动物体在某个摄像机位的遮挡问题。另外根据摄像机距离物体的远近和角度的不同,可以制定规则选择精度更高的三维坐标作为最终坐标。
[0048] 在选取坐标时,需要计算每个三维坐标到相应摄像机对之间的距离,例如C-0和C-1该摄像机与三维坐标A之间的距离,C-2和C-3该摄像机与三维坐标A’之间的距离。在计算距离时,可以计算三维坐标A该点到C-0和C-1形成的直线的距离,以及三维坐标A’该点到C-
2和C-3形成的直线的距离。距离最短的三维坐标即是选取出的三维坐标,假设三维坐标A’该点到C-2和C-3形成的直线的距离最短,则三维坐标A’就是选取出的三维坐标。通过该过程就可以得到目标对象ObjectA的定位三维坐标数据,实现了对目标对象的准确定位。
[0049] 最后,将该选择出的三维坐标数据转化为在特定的特写摄像机坐标系下的坐标,一般用Pan(云台水平转动距离)、Tilt(云台垂直转动距离)、Zoom(云台放大倍数)表示。然后通过“特写摄像机控制模块”将上面得到的Pan、Tilt、Zoom按照相机支持的协议对特写摄像机进行驱动,实现跟踪特写。
[0050] 在进行跟踪特写时,前面所说的特定的特写摄像机可以是PTZ-0、PTZ-1、PTZ-2中的任意一个或多个,在多个特写摄像机时,即实现了对目标对象的多角度跟踪特写。如果是一个特写摄像机,则该特写摄像机可以是离选取出的三维坐标最近的特写摄像机。
[0051] 此外,在对目标对象进行定位时,需要判断不同摄像机对检测的目标对象是不是同一个目标对象,在本实施例中提供了一种算法简单且准确率高的识别策略。
[0052] 若两个目标对象的运动数据相似,则认为这两个目标对象是同一个目标对象。
[0053] 根据公式β=(a·x+b·y+c·z)计算出相似值β,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值。若该相似值在预设范围内,则认为这两个目标对象是同一个目标对象。同一个目标对象被不同摄像机对检测到,不同摄像机对所获取到三维坐标数据有差别,因此,需要选择一个最合适的坐标数据作为该目标对象的定位坐标数据,也可以综合这若干个不同的三维坐标数据计算出一个合适的坐标数据作为该目标对象的定位坐标数据。
[0054] 经过识别之后,如果某个目标对象仅被一对摄像机对检测到,则该摄像机对获取的三维坐标数据即该目标对象的定位坐标数据。
[0055] 相较于先前技术,根据本发明提供的技术方案,基于目标对象的多组三维坐标数据获取目标对象的定位坐标数据,因此可以通过不同摄像机位的互相验证,实现对物体的准确定位,有效解决目标遮挡问题,优化了跟踪特写效果。
[0056] 此外,在识别是否是同一目标对象时,通过目标对象的运动数据来判断,避免了采用脸部识别或者颜色识别等带来的误差问题,提高了目标对象识别的准确性。
[0057] 以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。