视频监控中提示信息的确定方法及装置转让专利

申请号 : CN201710331968.6

文献号 : CN108881811B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 沈文忠

申请人 : 华为技术有限公司

摘要 :

本申请公开了一种视频监控中的信息显示方法与装置,属于视频处理领域。所述方法包括:获取视频画面,并从与多个预定义方位图像一一对应的多个预定义方位中,选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位,由于目标方位为该视频画面的采集方位,且方位偏差小于预设方位偏差可以表明目标方位和该预定义方位基本接近,此时可以将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。而无需在目标方位和预定义方位的状态参数完全一致时才能将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息,提高了视频监控中确定提示信息的灵活性。

权利要求 :

1.一种视频监控中提示信息的确定方法,其特征在于,所述方法包括:在查找目标对象所在的方位的过程中,获取视频画面;

基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,所述目标方位为所述视频画面的采集方位,所述多个预定义方位图像和所述多个预定义方位一一对应;

从所述多个预定义方位中选择与所述目标方位之间的方位偏差小于预设方位偏差的预定义方位;

将对选择的预定义方位设置的提示信息确定为需要在所述视频画面中叠加的提示信息。

2.如权利要求1所述的方法,其特征在于,所述基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,包括:对于所述多个预定义方位图像中的每个预定义方位图像,获取所述预定义方位图像与所述视频画面中匹配的多对局部特征点,每对局部特征点为所述视频画面和所述预定义方位图像中匹配的边缘点或者角点;

当所述多对局部特征点的数量大于预设数量时,根据所述多对局部特征点,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。

3.如权利要求2所述的方法,其特征在于,所述预定义方位图像为包括一阶边缘特征的图像;

所述获取所述预定义方位图像与所述视频画面中匹配的多对局部特征点,包括:通过高斯混合背景建模方法确定所述视频画面的背景图像;

对所述视频画面的背景图像进行处理,得到处理后的图像,所述处理后的图像为包括一阶边缘特征的图像;

对所述处理后的图像中的特征点和所述预定义方位图像中的特征点通过尺度不变特征变换SIFT算法进行匹配,得到匹配的多对局部特征点。

4.如权利要求2或3所述的方法,其特征在于,所述根据所述多对局部特征点,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差,包括:从所述多对局部特征点中选择至少三对局部特征点;

通过所述至少三对局部特征点中的任意三对局部特征点构建至少一对三角形,每对三角形包括第一三角形和第二三角形,所述第一三角形是由所述视频画面中的局部特征点构建的三角形,所述第二三角形是由所述预定义方位图像中的局部特征点构建的三角形,且所述第一三角形和所述第二三角形中的每条边长均大于预设边长,所述第一三角形和所述第二三角形的每个内角均大于预设角度;

对于所述至少一对三角形中的每对三角形,确定所述一对三角形包括的第一三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和;

当所述平方和大于预设数值时,将所述第一三角形进行空间变换,以使空间变换后的三角形和所述第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于所述预设数值,且所述空间变换后的三角形和所述第二三角形的大小相同;

确定所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值,视场偏角为三角形的重心和三角形所在的图像的中心分别与可旋转摄像机的焦点之间的连线构成的夹角;

根据确定得到的至少一个比值,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。

5.如权利要求4所述的方法,其特征在于,所述将所述第一三角形进行空间变换,包括:将所述第一三角形进行仿射变换,以使仿射变换后的三角形和所述第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于所述预设数值;

确定所述仿射变换后的三角形和所述第二三角形中对应的边长的比值的平均值;

当所述平均值大于1时,以所述平均值为缩小比例,对所述仿射变换后的三角形进行缩小,得到所述空间变换后的三角形;

当所述平均值不大于1时,以所述平均值的倒数为放大比例,对所述仿射变换后的三角形进行放大,得到所述空间变换后的三角形。

6.如权利要求5所述的方法,其特征在于,所述确定所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值,包括:确定所述空间变换后的三角形的中心与所述空间变换后的三角形所在的视频画面的中心之间的距离,得到第一距离;

确定所述第二三角形的中心与所述第二三角形所在的图像的中心之间的距离,得到第二距离;

将所述第一距离和所述第二距离之间的比值确定为所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值。

7.如权利要求5-6任一所述的方法,其特征在于,所述根据确定得到的至少一个比值,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差,包括:对所述至少一个比值进行线性聚类计算,得到每个比值的离散值;

从所述至少一个比值中选择离散值小于预设离散值的比值;

将选择的比值的平均值与1之间的差值的绝对值确定为与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。

8.如权利要求1-3或者5-6任一所述的方法,其特征在于,所述基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差之前,还包括:当检测到预定义方位设置指令时,将当前方位设置为预定义方位,并将当前方位的视频画面设置为所述预定义方位的视频画面;

通过高斯混合背景建模方法确定所述预定义方位的视频画面的背景图像;

将所述预定义方位的视频画面的背景图像进行处理,得到处理后的图像,所述处理后的图像为包括一阶边缘特征的图像;

将所述处理后的图像确定为与所述预定义方位对应的预定义方位图像,并存储所述预定义方位图像。

9.一种视频监控中提示信息的确定装置,其特征在于,所述装置包括:在查找目标对象所在的方位的过程中,获取模块,用于获取视频画面;

第一确定模块,用于基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,所述目标方位为所述视频画面的采集方位,所述多个预定义方位图像和所述多个预定义方位一一对应;

选择模块,用于从所述多个预定义方位中选择与所述目标方位之间的方位偏差小于预设方位偏差的预定义方位;

第二确定模块,用于将对选择的预定义方位设置的提示信息确定为需要在所述视频画面中叠加的提示信息。

10.如权利要求9所述的装置,其特征在于,所述第一确定模块包括:获取单元,用于对于所述多个预定义方位图像中的每个预定义方位图像,获取所述预定义方位图像与所述视频画面中匹配的多对局部特征点,每对局部特征点为所述视频画面和所述预定义方位图像中匹配的边缘点或者角点;

确定单元,用于当所述多对局部特征点的数量大于预设数量时,根据所述多对局部特征点,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。

11.如权利要求10所述的装置,其特征在于,所述预定义方位图像为包括一阶边缘特征的图像;

所述获取单元,具体用于:

通过高斯混合背景建模方法确定所述视频画面的背景图像;

对所述视频画面的背景图像进行处理,得到处理后的图像,所述处理后的图像为包括一阶边缘特征的图像;

对所述处理后的图像中的特征点和所述预定义方位图像中的特征点通过尺度不变特征变换SIFT算法进行匹配,得到匹配的多对局部特征点。

12.如权利要求10或11所述的装置,其特征在于,所述确定单元包括:选择子单元,用于从所述多对局部特征点中选择至少三对局部特征点;

构建子单元,用于通过所述至少三对局部特征点中的任意三对局部特征点构建至少一对三角形,每对三角形包括第一三角形和第二三角形,所述第一三角形是由所述视频画面中的局部特征点构建的三角形,所述第二三角形是由所述预定义方位图像中的局部特征点构建的三角形,且所述第一三角形和所述第二三角形中的每条边长均大于预设边长,所述第一三角形和所述第二三角形的每个内角均大于预设角度;

第一确定子单元,用于对于所述至少一对三角形中的每对三角形,确定所述一对三角形包括的第一三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和;

空间变换子单元,用于当所述平方和大于预设数值时,将所述第一三角形进行空间变换,以使空间变换后的三角形和所述第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于所述预设数值,且所述空间变换后的三角形和所述第二三角形的大小相同;

第二确定子单元,用于确定所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值,视场偏角为三角形的重心和三角形所在的图像的中心分别与可旋转摄像机的焦点之间的连线构成的夹角;

第三确定子单元,用于根据确定得到的至少一个比值,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。

13.如权利要求12所述的装置,其特征在于,所述空间变换子单元,具体用于:将所述第一三角形进行仿射变换,以使仿射变换后的三角形和所述第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于所述预设数值;

确定所述仿射变换后的三角形和所述第二三角形中对应的边长的比值的平均值;

当所述平均值大于1时,以所述平均值为缩小比例,对所述仿射变换后的三角形进行缩小,得到所述空间变换后的三角形;

当所述平均值不大于1时,以所述平均值的倒数为放大比例,对所述仿射变换后的三角形进行放大,得到所述空间变换后的三角形。

14.如权利要求13所述的装置,其特征在于,所述第二确定子单元,具体用于:确定所述空间变换后的三角形的中心与所述空间变换后的三角形所在的视频画面的中心之间的距离,得到第一距离;

确定所述第二三角形的中心与所述第二三角形所在的图像的中心之间的距离,得到第二距离;

将所述第一距离和所述第二距离之间的比值确定为所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值。

15.如权利要求13-14任一所述的装置,其特征在于,所述第三确定子单元,具体用于:对所述至少一个比值进行线性聚类计算,得到每个比值的离散值;

从所述至少一个比值中选择离散值小于预设离散值的比值;

将选择的比值的平均值与1之间的差值的绝对值确定为与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。

16.如权利要求9-11或者13-14任一所述的装置,其特征在于,所述装置还包括:设置模块,用于当检测到预定义方位设置指令时,将当前方位设置为预定义方位,并将当前方位的视频画面设置为所述预定义方位的视频画面;

第三确定模块,用于通过高斯混合背景建模方法确定所述预定义方位的视频画面的背景图像;

处理模块,用于将所述预定义方位的视频画面的背景图像进行处理,得到处理后的图像,所述处理后的图像为包括一阶边缘特征的图像;

存储模块,用于将所述处理后的图像确定为与所述预定义方位对应的预定义方位图像,并存储所述预定义方位图像。

说明书 :

视频监控中提示信息的确定方法及装置

技术领域

[0001] 本申请涉及视频处理领域,特别涉及一种视频监控中提示信息的确定方法及装置。

背景技术

[0002] 目前,视频监控主要是通过可旋转摄像机采集不同方位的视频画面来实现对不同方位的监控,由于可旋转摄像机是一种可以动态改变视角区域的摄像机,也即通过可旋转摄像机可以实现对空间范围内任意方位的监控,因此当用户通过可旋转摄像机对感兴趣的目标对象进行监控时,需将可旋转摄像机转动至该目标对象所在的方位。在可旋转摄像机进行转动的过程中,为了便于用户可以快速查找到该目标对象所在的方位,可以在可旋转摄像机在某些方位的视频画面中叠加提示信息,该提示信息用于提示该视频画面中存在的对象或可旋转摄像机的当前方位,如提示信息可以为“西客站”或“当前方位正南方向”等。
[0003] 相关技术中,在可旋转摄像机中预先设置有多个预置方位,且可旋转摄像机中存储有每个预置方位的状态参数和提示信息,该状态参数包括该预置方位的空间方向向量和变焦倍数。当可旋转摄像机正在转动时,实时检测当前方位的状态参数,当检测到的状态参数和上述多个预置方位中的任一预置方位的状态参数一致时,在当前采集视频画面中叠加预先对该预置方位设置的提示信息。将叠加提示信息之后的视频画面发送给用于查看该视频画面的监控系统,以使监控系统显示叠加提示信息之后的视频画面。
[0004] 在上述可旋转摄像机转动的过程中,只有在当前方位的状态参数和预置方位的状态参数完全一致时,可旋转摄像机才会在当前视频画面中叠加对该预置方位设置的提示信息。也即只有在当前方位的空间方向向量和变焦倍数与预置方位的空间方向向量和变焦倍数完全一致时,可旋转摄像机才会将对预置方位设置的提示信息确定为需要在该当前视频画面中叠加的提示信息。因此,当可旋转摄像机在当前方位采集的视频画面中存在目标对象,但是当前方位的状态参数和预置方位的状态参数没有完全一致时,此时可旋转摄像机不会在当前视频画面中叠加提示信息,导致监控系统此时不会显示该提示信息。

发明内容

[0005] 为了解决相关技术中当可旋转摄像机在当前方位采集的视频画面中存在目标对象,但是当前方位的状态参数和预置方位的状态参数没有完全一致时,此时可旋转摄像机不会在当前视频画面中叠加提示信息,导致监控系统此时不会显示该提示信息的问题,本申请提供了一种视频监控中提示信息的确定方法及装置。所述技术方案如下:
[0006] 第一方面,提供了一种视频监控中提示信息的确定方法,所述方法包括:
[0007] 获取视频画面;
[0008] 基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,所述目标方位为所述视频画面的采集方位,所述多个预定义方位图像和所述多个预定义方位一一对应;
[0009] 从所述多个预定义方位中选择与所述目标方位之间的方位偏差小于预设方位偏差的预定义方位;
[0010] 将对选择的预定义方位设置的提示信息确定为需要在所述视频画面中叠加的提示信息。
[0011] 在本发明实施例中,获取视频画面,并从与多个预定义方位图像一一对应的多个预定义方位中,选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位,由于目标方位为该视频画面的采集方位,且方位偏差小于预设方位偏差可以表明目标方位和该预定义方位基本接近,此时可旋转摄像机可以将对选择的预定义方位设置的提示信息确定为需要在视频画面中叠加的提示信息,而无需在目标方位和预定义方位的状态参数完全一致时才能将对选择的预定义方位设置的提示信息确定为需要在视频画面中叠加的提示信息。
[0012] 可选地,所述基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,包括:
[0013] 对于所述多个预定义方位图像中的每个预定义方位图像,获取所述预定义方位图像与所述视频画面中匹配的多对局部特征点,每对局部特征点为所述视频画面和所述预定义方位图像中匹配的边缘点或者角点;
[0014] 当所述多对局部特征点的数量大于预设数量时,根据所述多对局部特征点,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。
[0015] 具体地,可旋转摄像机可以根据预定义方位图像和视频画面中的匹配的局部特征点,确定该预定义方位和该目标方位之间的方位偏差。
[0016] 可选地,所述预定义方位图像为包括一阶边缘特征的图像;
[0017] 所述获取所述预定义方位图像与所述视频画面中匹配的多对局部特征点,包括:
[0018] 通过高斯混合背景建模方法确定所述视频画面的背景图像;
[0019] 对所述视频画面的背景图像进行处理,得到处理后的图像,所述处理后的图像为包括一阶边缘特征的图像;
[0020] 对所述处理后的图像中的特征点和所述预定义方位图像中的特征点通过尺度不变特征变换SIFT算法进行匹配,得到匹配的多对局部特征点。
[0021] 进一步地,为了便于查找预定义方位图像和视频画面中的匹配的局部特征点,可以将视频画面进行处理,得到处理后的图像,然后从处理后的图像和该预定义方位图像中确定匹配的多对局部特征点。
[0022] 可选地,所述根据所述多对局部特征点,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差,包括:
[0023] 从所述多对局部特征点中选择至少三对局部特征点;
[0024] 通过所述至少三对局部特征点中的任意三对局部特征点构建至少一对三角形,每对三角形包括第一三角形和第二三角形,所述第一三角形是由所述视频画面中的局部特征点构建的三角形,所述第二三角形是由所述预定义方位图像中的局部特征点构建的三角形,且所述第一三角形和所述第二三角形中的每条边长均大于预设边长,所述第一三角形和所述第二三角形的每个内角均大于预设角度;
[0025] 对于所述至少一对三角形中的每对三角形,确定所述一对三角形包括的第一三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和;
[0026] 当所述平方和大于预设数值时,将所述第一三角形进行空间变换,以使空间变换后的三角形和所述第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于所述预设数值,且所述空间变换后的三角形和所述第二三角形的大小相同;
[0027] 确定所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值,视场偏角为三角形的重心和三角形所在的图像的中心分别与可旋转摄像机的焦点之间的连线构成的夹角;
[0028] 根据确定得到的至少一个比值,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。
[0029] 具体地,可以根据多对局部特征点,通过构建至少一对三角形,然后根据构建的至少一对三角形,确定预定义方位和目标方位之间的方位偏差。
[0030] 可选地,所述将所述第一三角形进行空间变换,包括:
[0031] 将所述第一三角形进行仿射变换,以使仿射变换后的三角形和所述第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于所述预设数值;
[0032] 确定所述仿射变换后的三角形和所述第二三角形中对应的边长的比值的平均值;
[0033] 当所述平均值大于1时,以所述平均值为缩小比例,对所述仿射变换后的三角形进行缩小,得到所述空间变换后的三角形;
[0034] 当所述平均值不大于1时,以所述平均值的倒数为放大比例,对所述仿射变换后的三角形进行放大,得到所述空间变换后的三角形。
[0035] 其中,将第一三角形进行空间变换以使空间变换后的第一三角形和第二三角形尽量相似。
[0036] 可选地,所述确定所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值,包括:
[0037] 确定所述空间变换后的三角形的中心与所述空间变换后的三角形所在的视频画面的中心之间的距离,得到第一距离;
[0038] 确定所述第二三角形的中心与所述第二三角形所在的图像的中心之间的距离,得到第二距离;
[0039] 将所述第一距离和所述第二距离之间的比值确定为所述空间变换后的三角形的视场偏角和所述第二三角形的视场偏角之间的比值。
[0040] 由于视角偏角不易直接测量,因此可以通过上述间接的方法来确定空间变换后的三角形的视场偏角和第二三角形的视场偏角之间的比值
[0041] 可选地,所述根据确定得到的至少一个比值,确定与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差,包括:
[0042] 对所述至少一个比值进行线性聚类计算,得到每个比值的离散值;
[0043] 从所述至少一个比值中选择离散值小于预设离散值的比值;
[0044] 将选择的比值的平均值与1之间的差值的绝对值确定为与所述预定义方位图像对应的预定义方位和所述目标方位之间的方位偏差。
[0045] 为了避免至少一个比值中存在较为离散的比值,可以将该至少一个比值中较为离散的比值舍弃。
[0046] 可选地,所述基于所述视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差之前,还包括:
[0047] 当检测到预定义方位设置指令时,将当前方位设置为预定义方位,并将当前方位的视频画面设置为所述预定义方位的视频画面;
[0048] 通过高斯混合背景建模方法确定所述预定义方位的视频画面的背景图像;
[0049] 将所述预定义方位的视频画面的背景图像进行处理,得到处理后的图像,所述处理后的图像为包括一阶边缘特征的图像;
[0050] 将所述处理后的图像确定为与所述预定义方位对应的预定义方位图像,并存储所述预定义方位图像。
[0051] 在本发明实施例中,可以预先设置预定义方位图像,并存储预先设置的预定义方位图像。
[0052] 第二方面,提供了一种视频监控中的信息显示装置,所述视频监控中的信息显示装置具有实现上述第一方面中视频监控中的信息显示方法行为的功能。所述视频监控中的信息显示装置包括至少一个模块,该至少一个模块用于实现上述第一方面所提供的视频监控中的信息显示方法。
[0053] 第三方面,提供了一种视频监控中的信息显示装置,所述视频监控中的信息显示装置的结构中包括处理器和存储器,所述存储器用于存储支持视频监控中的信息显示装置执行上述第一方面所提供的视频监控中的信息显示方法的程序,以及存储用于实现上述第一方面所提供的视频监控中的信息显示方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述存储设备的操作装置还可以包括通信总线,该通信总线用于该处理器与存储器之间建立连接。
[0054] 第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的视频监控中的信息显示方法。
[0055] 第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的视频监控中的信息显示方法。
[0056] 上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
[0057] 本申请提供的技术方案带来的有益效果是:获取视频画面,并从与多个预定义方位图像一一对应的多个预定义方位中,选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位,由于目标方位为该视频画面的采集方位,且方位偏差小于预设方位偏差可以表明目标方位和该预定义方位基本接近,此时可以将对选择的预定义方位设置的提示信息确定为需要在视频画面中叠加的提示信息,以使监控系统显示该提示信息。而无需在目标方位和预定义方位的状态参数完全一致时才能将对选择的预定义方位设置的提示信息确定为需要在视频画面中叠加的提示信息,提高了视频监控中确定提示信息的灵活性。

附图说明

[0058] 图1是本发明实施例提供的一种视频监控系统示意图;
[0059] 图2是本发明实施例提供的一种可旋转摄像机的结构示意图;
[0060] 图3A是本发明实施例提供的一种视频监控中提示信息的确定方法流程图;
[0061] 图3B是本发明实施例提供的一种像素点和该像素点周围的像素点的分布示意图;
[0062] 图4A是本发明实施例提供的另一种视频监控中提示信息的确定方法流程图;
[0063] 图4B是本发明实施例提供的一种第一三角形和第二三角形示意图;
[0064] 图4C是本发明实施例提供的一种仿射变换后的三角形和第二三角形示意图;
[0065] 图4D为本发明实施例提供的一种视场偏角示意图;
[0066] 图5是本发明实施例提供的另一种视频监控中提示信息的确定方法流程图;
[0067] 图6A是本发明实施例提供的一种视频监控中提示信息的确定装置框图;
[0068] 图6B是本发明实施例提供的另一种视频监控中提示信息的确定装置框图。

具体实施方式

[0069] 为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
[0070] 在对本发明实施例进行详细的解释说明之前,先对本发明实施例的应用场景进行介绍。相关技术中,为了便于用户通过可旋转摄像机快速查找到目标对象所在的方位,在可旋转摄像机在进行转动的过程中,可以在可旋转摄像机转动过程中采集的视频画面中显示提示信息,以便用户可以了解到当前可旋转摄像机的摄像头所在的大概方位。例如,在可旋转摄像机在当前方位采集的视频画面中显示提示信息“当前方位为正南方向”,当用户查看到该提示信息时,了解到可旋转摄像机的当前方位为正南方向。而本发明实施例提供的视频监控中提示信息的确定方法就应用于可旋转摄像机在转动过程中显示提示信息的场景。
[0071] 图1是本发明实施例提供的一种视频监控系统示意图,如图1所示,该视频监控系统包括可旋转摄像机101和监控系统102,监控系统102包括监控服务器1021和监控客户端1022。可旋转摄像机101和监控服务器1021之间可以通过无线网络或者有线网络的方式进行通信。可旋转摄像机101和监控客户端1022之间可以通过无线网络或者有线网络的方式进行通信。监控服务器1021和监控客户端1022之间也可以通过无线网络或者有线网络的方式进行通信。
[0072] 其中,可旋转摄像机101用于采集不同方位的视频画面,并将采集的视频画面发送给监控服务器1021和/或监控客户端1022。监控客户端1022用于接收可旋转摄像机101或监控服务器1021发送的视频画面,并显示该视频画面,以便用户通过监控客户端1022查看可旋转摄像机101采集的视频画面。监控服务器1021用于接收可旋转摄像机101采集的视频画面,对该视频画面进行处理,并将处理后的视频画面发送给监控客户端1022。
[0073] 实际应用中,监控客户端1022可以为管理员客户端。此时,管理员可以通过监控客户端1022控制可旋转摄像机101执行某些操作如旋转,或通过监控客户端为可旋转摄像机设置某些信息,如设置预定义方位或设置提示信息。
[0074] 图2是本发明实施例提供的一种可旋转摄像机结构示意图。该可旋转摄像机可以为图1所示的可旋转摄像机101。实际应用中,可旋转摄像机可以为云台式(Pan-tilt-zoom,PTZ)摄像机。参见图2,该可旋转摄像机包括:视频采集器201、发射机202、接收机203、存储器204、处理器205。
[0075] 其中,视频采集器201用于采集视频画面,发射机202用于发送数据和/或信令等。接收机203用于接收数据和/或信令等。
[0076] 存储器204可以用于存储一个或多个软件程序和/或模块。存储器可以是只读存储器(Read-only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质,或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由集成电路存取的任何其它介质,但不限于此。
[0077] 处理器205可以是一个通用中央处理器(Central Processing Unit,CPU)、微处理器、特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
[0078] 在具体实现中,作为一种实施例,可旋转摄像机还可以包括输出设备和输入设备。输出设备和处理器205通信,可以以多种方式来显示信息。例如,输出设备可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备和处理器205通信,可以以多种方式接收用户的输入。例如,输入设备可以是鼠标、键盘、触摸屏设备或传感设备等。
[0079] 其中,存储器204用于存储执行本申请方案的程序代码,并由处理器205来控制执行。处理器205用于执行存储器204中存储的程序代码。程序代码中可以包括一个或多个软件模块。图1中所示的视频监控系统可以通过处理器205以及存储器204中的程序代码中的一个或多个软件模块,来确定用于开发应用的数据。
[0080] 需要说明的是,本发明实施例提供的视频监控中提示信息的确定方法主要包括两个方面的内容,一是为可旋转摄像机设置多个预定义方位图像,二是根据该视频画面和多个预定义方位图像,判断是否将对预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。本发明接下来的实施例将分别对这两个方面的内容展开论述。
[0081] 首先对为可旋转摄像机设置多个预定义方位图像的过程进行详细介绍,值得注意的是,设置多个预定义方位图像的过程可以由图1中的可旋转摄像机来执行,也可以由图1中的监控服务器来执行。下述实施例以可旋转摄像机执行为可旋转摄像机预先设置多个预定义方位图像的过程为例进行说明。
[0082] 图3A是本发明实施例提供的一种视频监控中提示信息的确定方法,该方法应用于图1所示视频监控系统中,本发明实施例将针对为可旋转摄像机预先设置多个预定义方位图像的过程进行详细说明。参见图3A,该方法包括以下步骤。
[0083] 步骤301:当可旋转摄像机检测到预定义方位设置指令时,将当前方位设置为预定义方位,并将当前方位的视频画面设置为该预定义方位的视频画面。
[0084] 当管理员欲通过监控客户端为可旋转摄像机设置多个预定义方位图像时,管理员可以通过监控客户端控制可旋转摄像机进行转动。也即,监控客户端向可旋转摄像机发送转动请求,当可旋转摄像机接收到该转动请求时,进行转动,并在转动的过程中实时采集视频画面,将实时采集的视频画面发送给监控客户端,监控客户端显示实时接收的视频画面。当监控客户端在显示视频画面的过程中检测到预定义方位设置指令时,向可旋转摄像机转发该预定义方位设置指令。
[0085] 其中,该预定义方位指令由管理员通过预设操作触发,该预设操作可以为点击操作、滑动操作或语音操作等。
[0086] 步骤302:可旋转摄像机通过高斯混合背景建模方法确定该预定义方位的视频画面的背景图像。
[0087] 由于可旋转摄像机采集的该预定义方位的视频画面为包括前景图像和背景图像的视频画面,而前景图像通常为非静止对象的图像,如运动的车辆的图像,因此为了使预定义方位图像和可旋转摄像机在不同时间在该预定义方位采集的视频画面尽量一致,可旋转摄像机需获取该预定义方位的视频画面的背景图像。
[0088] 为了后续便于说明,在此对高斯混合背景建模方法进行介绍。
[0089] 由于同一画面中前景图像和背景图像的亮度差距较大,且前景图像的亮度和背景图像的亮度均服从高斯分布,因此在同一图像的亮度分布直方图中将存在双峰-谷形状,其中一个峰对应前景图像的亮度分布情况,另一个峰对应背景图像的亮度分布情况。当可旋转摄像机采集到预定义方位的视频画面时,采集的预定义方位的视频画面为多帧视频画面,因此可旋转摄像机可以根据该多帧视频画面得到多个背景图像的亮度分布情况,并根据该多个背景图像的亮度分布情况建立背景图像亮度分布模型也即高斯混合模型。对于该多帧视频画面中的任一帧视频画面,将该视频画面中的每个像素点和上述高斯混合模型进行匹配,当该像素点的亮度和上述高斯混合模型匹配时,则确定该像素点为背景图像中的像素点,当该像素点的亮度和上述高斯混合模型不匹配时,则确定该像素点为前景图像中的像素点。当可旋转摄像机对该视频画面中所有的像素点执行上述操作时,得到背景图像中的像素点,也即确定该预定义方位的视频画面的背景图像。
[0090] 需要说明的是,本发明实施例还可以通过其他方法如单高斯模型方法或基于图像序列的初始化方法来确定该预定义方位的视频画面的背景图像,本发明实施例在此不做具体限定。
[0091] 步骤303:可旋转摄像机将该预定义方位的视频画面的背景图像进行处理,得到处理后的图像,该处理后的图像为包括一阶边缘特征的图像。
[0092] 具体地,将该预定义方位的视频画面的背景图像灰度化,也即仅用每个像素点的亮度值代表该像素点的特征,得到该背景图像的灰度图,对该背景图像的灰度图进行高斯模糊,去掉该灰度图中的局部细小特征,并将进行高斯模糊后的灰度图进行索贝尔(Sobel)变换,得到仅包括一阶边缘特征的图像。
[0093] 其中,对该背景图像的灰度图进行高斯模糊,也即,对于该灰度图中的每个像素点,统计该像素点周围第一预设个数个像素点的灰度值,得到灰度图中该像素点处的灰度值的平均值,用该灰度值的平均值替换该像素点的灰度值。
[0094] 另外,将进行高斯模糊后的灰度图进行Sobel变换,也即,对于进行高斯模糊后的灰度图中的每个像素点,获取该像素点周围第二预设个数个像素点,对该第二预设个数个像素点分别赋予不同的权值,并根据该第二预设个数个像素点的灰度值,确定该像素点的灰度梯度。当该像素点的灰度梯度大于梯度阈值时,表明该像素点处的灰度值存在剧烈变换。从该进行高斯模糊后的灰度图的所有像素点中,选择灰度梯度大于该梯度阈值的像素点,并将选择的像素点构成的图像确定为该处理后的图像。由于处理后的图像仅包括灰度梯度大于该梯度阈值的像素点,因此处理后的图像可以近似表征该预定义方位的视频画面的背景图像的轮廓,也即该处理后的图像为包括一阶边缘特征的图像。
[0095] 其中,像素点的灰度梯度用于指示该像素点的灰度值和周围第二预设个数个像素点的灰度值之间的变换情况,在一种可能的实现方式中,如图3B所示,P点为该像素点,点P1-P8为P点周围8个像素点,此时P点在纵向上的灰度梯度可以表示为:(P6`+2P7`+P8`)-(P1`+2P2`+P3`),其中,P1`、P2`、P3`、P6`、P7`和P8`分别为像素点P1、P2、P3、P6、P7和P8的灰度值。
[0096] 步骤304:可旋转摄像机将处理后的图像确定为与该预定义方位对应的预定义方位图像,并存储该预定义方位图像。
[0097] 其中,存储该预定义方位图像之后,可旋转摄像机还可以建立预定义方位和预定义方位图像之间的对应关系。
[0098] 另外,当可旋转摄像机接收到监控客户端发送的预定义方位设置指令时,还接收到监控客户端发送的对该预定义方位设置的提示信息,此时可旋转摄像机还需将该提示信息存在上述预定义方位和预定义方位图像之间的对应关系中,从而得到预定义方位、预定义方位图像与提示信息之间的对应关系。
[0099] 例如,管理员通过监控客户端设置了多个预定义方位,且分别标记为预定义方位1、预定义方位2、预定义方位3…,可旋转摄像机分别得到该多个个预定义方位中的每个预定义方位的预定义方位图像,分别为图像A、图像B、图像C…,并接收到监控客户端发送的为该多个预定义方位设置的提示信息,分别为信息Ⅰ、信息Ⅱ、信息Ⅲ…。此时可旋转摄像机建立如表1所示的对应关系,其中每个预定义方位对应一个预定义方位图像和一个提示信息。
[0100] 表1
[0101]预定义方位 预定义方位图像 提示信息
预定义方位1 图像A 信息Ⅰ
预定义方位2 图像B 信息Ⅱ
预定义方位3 图像C 信息Ⅲ
… … …
[0102] 可选地,当由监控服务器来执行设置多个预定义方位图像的过程时,此时,监控客户端在实时接收到可旋转摄像机采集视频画面的过程中,若检测到管理员通过预设操作触发的预定义方位设置指令,将当前方位确定为预定义方位,并向监控服务器转发该预定义方位设置指令,该预定义方位设置指令携带该当前方位的视频画面。监控服务器在接收到该预定义方位设置指令时,则根据上述步骤301至步骤303确定预定义方位图像,得到多个预定义方位图像和对该多个预定方位中的每个预定义方位设置的提示信息,并建立如表1所示的对应关系,向可旋转摄像机和监控客户端发送该多个预定义方位图像、为该多个预定义方位设置的提示信息以及上述表1所示的对应关系,以使可旋转摄像机和监控客户端存储该多个预定义方位图像、对该多个预定义方位设置的提示信息以及上述表1所示的对应关系。
[0103] 在本发明实施例中,预先为可旋转摄像机设置多个预定义方位,并确定与该多个预定义方位一一对应的预定义方位图像和提示信息,以便根据该多个预定义方位图像,判断是否将对预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。
[0104] 在为可旋转摄像机设置多个预定义方位和与该多个预定义方位一一对应的预定义方位图像和提示信息之后,还需根据该视频画面和多个预定义方位图像,判断是否将对预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。接下来的实施例用于对该过程进行详细说明。
[0105] 需要说明的是,根据该视频画面和多个预定义方位图像,判断是否将对预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息的过程可以由图1中的可旋转摄像机来执行,也可以由图1中的监控服务器来执行。下述两个实施例将用于对这两种情况进行详细说明。
[0106] 图4A是本发明实施例提供的另一种视频监控中提示信息的确定方法,该方法应用于图1所示视频监控系统中,本发明实施例将对可旋转摄像机根据目标方位采集的视频画面和多个预定义方位图像,判断是否在将对预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息的过程进行详细说明。参见图4A,该方法包括以下步骤。
[0107] 步骤401:可旋转摄像机获取视频画面。
[0108] 具体地,当用户欲通过监控客户端控制可旋转摄像机转动至目标对象所在的方位时,监控客户端向可旋转摄像机发送转动请求,当可旋转摄像机接收到该转动请求时,进行转动,并在转动的过程中实时采集视频画面。此时,可旋转摄像机可以将实时采集的视频画面确定为该视频画面。
[0109] 当然,为了减少可旋转摄像机的数据处理压力,可旋转摄像机也可以每隔预设时间段,从当前时间之前距离当前时间最近的预设时间段内采集的视频画面中选择一个视频画面,将选择的视频画面确定为该视频画面。
[0110] 为了后续便于说明,将可旋转摄像机采集该视频画面的方位称为目标方位,也即目标方位为该视频画面的采集方位。
[0111] 为了确定是否在该视频画面中叠加预先设置的提示信息,可旋转摄像机需判断目标方位是否和图3A所示的实施例中的多个预定义方位中的一个预定义方位接近。具体地,可旋转摄像机可以基于视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,其中,多个预定义方位图像和多个预定义方位一一对应。下述步骤402至步骤408将对可旋转摄像机基于该视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差进行详细介绍。
[0112] 步骤402:对于该多个预定义方位图像中的每个预定义方位图像,可旋转摄像机获取该预定义方位图像与该视频画面中匹配的多对局部特征点,每对局部特征点为该视频画面和该预定义方位图像中匹配的边缘点或者角点。
[0113] 由图3A所示的实施例可知,预定义方位图像为包括一阶边缘特征的图像,因此,获取该预定义方位图像与该视频画面中匹配的多对局部特征点的实现过程具体可以为:通过高斯混合背景建模方法确定该视频画面的背景图像;对该视频画面的背景图像进行处理,得到处理后的图像,该处理后的图像为包括一阶边缘特征的图像;对该处理后的图像中的特征点和该预定义方位图像中的特征点通过尺度不变特征变换(Scale invariant feature Transform,SIFT)算法进行匹配,得到匹配的多对局部特征点。
[0114] 其中,对该视频画面进行处理,得到处理后的图像的实现过程和图3A中的步骤302和步骤303的实现过程基本相同,本发明实施例在此不做详细阐述。
[0115] 另外,对该处理后的图像中的特征点和该预定义方位图像中的特征点通过SIFT算法进行匹配,得到匹配的多对局部特征点,具体可以为:对于处理后的图像和预定义方位图像中每个特征点,根据图3A的步骤303中的确定像素点的纵向灰度梯度的方法,确定该特征点的横向灰度梯度和纵向灰度梯度,并用该特征点的横向灰度梯度和纵向灰度梯度构成的向量来表示该特征点的方向角。对于处理后的图像中的任一个特征点,确定该特征点的方向角和预定义方位图像包括的每个特征点的方位角之间的欧式距离,得到多个欧式距离,若从该多个欧式距离中查找到小于欧式距离阈值的欧式距离,将查找到的欧式距离对应的特征点确定为与该处理后的图像中的任一个特征点匹配的特征点。其中,欧式距离为多维空间中两个点之间的真实距离。
[0116] 可旋转摄像机在得到匹配的多对局部特征点之后,确定该多对局部特征点的数量,当该多对局部特征点的数量大于预设数量时,表明该处理后的图像和该预定义方位图像的之间较为相似。此时可旋转摄像机可以根据该多对局部特征点,确定与预定义方位图像对应的预定义方位和目标方位之间的方位偏差,具体地,可旋转摄像机可以通过步骤403至步骤408来确定该预定义方位和该目标方位之间的方位偏差。
[0117] 步骤403:可旋转摄像机从该多对局部特征点中选择至少三对局部特征点。
[0118] 其中,选择的至少三对局部特征点中的每对局部特征点应满足步骤404中的条件,具体条件详见步骤404,在此不做详细阐述。
[0119] 步骤404:可旋转摄像机通过该至少三对局部特征点中的任意三对局部特征点构建至少一对三角形,每对三角形包括第一三角形和第二三角形,第一三角形是由该视频画面中的局部特征点构建的三角形,第二三角形是由该预定义方位图像中的局部特征点构建的三角形。
[0120] 为了便于可旋转摄像机对该第一三角形和该第二三角形进行处理,该第一三角形和第二三角形应满足如下条件:该第一三角形和该第二三角形中的每条边长均大于预设边长,该第一三角形和该第二三角形的每个内角均大于预设角度。
[0121] 另外,由于图像中的长度通常用像素值表示,因此预设边长可以为预先设置的像素值。
[0122] 步骤405:对于该至少一对三角形中的每对三角形,可旋转摄像机确定该一对三角形包括的第一三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和。
[0123] 图4B为本发明实施例提供的一种第一三角形和第二三角形,其中,第一三角形为△ABC,第二三角形为△A`B`C`。其中,第一三角形中的顶点A与第二三角形中的顶点A`为一对匹配的局部特征点,第一三角形中的顶点B与第二三角形中的顶点B`为一对匹配的局部特征点,第一三角形中的顶点C与第二三角形中的顶点C`为一对匹配的局部特征点,△ABC中顶点A、B和C对应的内角分别为α1、α2和α3,△A`B`C`中顶点A`、B`和C`对应的内角分别为β1、β2和β3。
[0124] 如图4B所示,第一三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和可以用如下公式表示:
[0125] (α1-β1)2+(α2-β2)2+(α3-β3)2
[0126] 其中,该平方和可以表示可旋转摄像机采集该第一三角形所在的视频画面的方位和采集该第二三角形所在的视频画面的方位之间的偏差程度,也即,当该平方和大于预设数值时,表明可旋转摄像机采集该第一三角形所在的视频画面的方位和采集该第二三角形所在的视频画面的方位之间的偏差较大,此时可旋转摄像机执行步骤406;当该平方和不大于预设数值时,表明可旋转摄像机采集该第一三角形所在的视频画面的方位和采集该第二三角形所在的视频画面的方位之间的偏差较小,此时可旋转摄像机可以直接执行步骤407。
[0127] 步骤406:当该平方和大于预设数值时,可旋转摄像机将该第一三角形进行空间变换,以使空间变换后的三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于该预设数值,且空间变换后的三角形和该第二三角形的大小相同。
[0128] 具体地,将该第一三角形进行仿射变换,以使仿射变换后的三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于该预设数值;确定该仿射变换后的三角形和该第二三角形中对应的边长的比值的平均值;当该平均值大于1时,以该平均值为缩小比例,对该仿射变换后的三角形进行缩小,得到空间变换后的三角形;当该平均值不大于1时,以该平均值的倒数为放大比例,对该仿射变换后的三角形进行放大,得到空间变换后的三角形。
[0129] 其中,将该第一三角形进行仿射变换的过程可以为:根据该第一三角形和第二三角形中匹配的三对局部特征点,确定仿射变换矩阵。根据该仿射变换矩阵对该第一三角形进行仿射变换,得到第一次仿射变换后的三角形。并判断该第一次仿射变换后的三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和是否小于该预设数值,当该第一次仿射变换后的三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和不小于该预设数值时,根据该仿射变换矩阵,对该第一次仿射变换后的三角形再次进行仿射变换,得到第二次仿射变换后的三角形,重复执行以上操作,直至第n次仿射变换后的三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于该预设数值,将第n次第仿射变换后的三角形确定为该仿射变换后的三角形。其中,根据该第一三角形和第二三角形中匹配的三对局部特征点,确定仿射变换矩阵可以参考仿射变换相关技术,在此不做详细阐述。
[0130] 图4C为本发明实施例提供的一种该仿射变换后的三角形和该第二三角形,如图4C所示,该仿射变换后的三角形为△A``B``C``,第二三角形为△A`B`C`。其中,该仿射变换后的三角形中的顶点A``与第二三角形中的顶点A`为一对匹配的局部特征点,该仿射变换后的三角形中的顶点B``与第二三角形中的顶点B`为一对匹配的局部特征点,该仿射变换后的三角形中的顶点C``与第二三角形中的顶点C`为一对匹配的局部特征点,△A``B``C``的三条边长分别为L1、L2和L3,△A`B`C`中与边长L1、L2和L3对应的三条边长分别为R1、R2和R3。
[0131] 此时,该仿射变换后的三角形和该第二三角形中对应的边长的比值的平均值可以用如下公式表示:
[0132] Ratio=AVG(L1/R1,L2/R2,L3/R3),
[0133] 其中,AVG表示取平均值,Ratio表示该仿射变换后的三角形和该第二三角形中对应的边长的比值的平均值。
[0134] 例如,当Ratio为2,将该仿射变换后的三角形缩小两倍,得到空间变换后的三角形;当Ratio为0.5,将该仿射变换后的三角形放大两倍,得到空间变换后的三角形,以使空间变换后的三角形和第二三角形的大小相同。
[0135] 步骤407:可旋转摄像机确定该空间变换后的三角形的视场偏角和该第二三角形的视场偏角之间的比值,视场偏角为三角形的重心和三角形所在的图像的中心分别与该可旋转摄像机的焦点之间的连线构成的夹角。
[0136] 由于可旋转摄像机在拍摄某个目标对象时的视场偏角可以在一定程度上代表该可旋转摄像机拍摄该目标对象时的方位,因此可以通过确定该空间变换后的三角形的视场偏角和该第二三角形的视场偏角之间的比值来确定目标方位和预定义方位之间的偏离程度。
[0137] 另外,由于直接测量视场偏角的大小较为困难,可以通过间接的方法确定该空间变换后的三角形的视场偏角和该第二三角形的视场偏角之间的比值,具体可以为:确定该空间变换后的三角形的中心与该空间变换后的三角形所在的视频画面的中心之间的距离,得到第一距离;确定该第二三角形的中心与该第二三角形所在的图像的中心之间的距离,得到第二距离;将该第一距离和该第二距离之间的比值确定为该空间变换后的三角形的视场偏角和该第二三角形的视场偏角之间的比值。
[0138] 图4D为本发明实施例提供的一种视场偏角示意图,如图4D中的图(a)所示,三角形△A```B```C```为该空间变换后的三角形,△A```B```C```的中心为G点,平面α为该空间变换后的三角形所在的视频画面,平面α的中心为O点,J点为可旋转摄像机的焦点,因此图(a)中的角θ为该空间变换后的三角形的视场偏角,第一距离为M1。如图4D中的图(b)所示,三角形△A`B`C`为该第二三角形,△A`B`C`的中心为G`点,平面β为该第二三角形所在的图像,平面β的中心为O`点,J点为可旋转摄像机的焦点,因此图(b)中的角θ`为该第二三角形的视场偏角,第二距离为M2。如图4D所示,空间变换后的三角形的视场偏角和该第二三角形的视场偏角之间的比值为θ/θ`,由于θ/θ`=M1/M2,因此,可以将第一距离和第二距离的比值也即M1/M2确定为该空间变换后的三角形的视场偏角和该第二三角形的视场偏角之间的比值。
[0139] 当可旋转摄像机对该至少一对三角形均执行步骤405、步骤406和步骤407的操作时,得到至少一个比值,并根据该至少一个比值执行步骤408。
[0140] 步骤408:可旋转摄像机根据确定得到的至少一个比值,确定与该预定义方位图像对应的预定义方位和目标方位之间的方位偏差。
[0141] 由于该至少一个比值中可能存在较为离散的比值,因此步骤408的具体实现过程可以为:对该至少一个比值进行线性聚类计算,得到每个比值的离散值;从该至少一个比值中选择离散值小于预设离散值的比值;将选择的比值的平均值与1之间的差值的绝对值确定为与该预定义方位图像对应的预定义方位和目标方位之间的方位偏差。其中,对该至少一个比值进行线性聚类计算,也即,通过K-means(硬聚类算法)聚类方法确定该至少一个比值的中心点,将该至少一个比值中的每个比值到该中心点的欧式距离确定为该比值的离散值。
[0142] 例如,可旋转摄像机从该至少一个比值中选择出至少一个离散值小于预设离散值的比值,确定选择出的比值的平均值,标记为avg(λ)。avg(λ)和1之间的差值可以用来表示该预定义方位和目标方位之间的偏离程度,也即,avg(λ)越接近1,表明该预定义方位和该目标方位越接近;avg(λ)越偏离1,表明该预定义方位和该目标方位越偏离。因此该预定义方位和目标方位之间的方位偏差可以用如下公式表示:
[0143] |avg(λ)-1|
[0144] 需要说明的是,在本发明实施例中,可旋转摄像机也可以直接将该至少一个比值的平均值与1之间的差值的绝对值确定为与该预定义方位图像对应的预定义方位和目标方位之间的方位偏差。
[0145] 当可旋转摄像机对存储的多个预定义方位图像中的每个预定义方位图像均执行上述步骤402至步骤408的操作时,针对与该多个预定义方位图像一一对应的多个预定义方位中的每个预定义方位,可旋转摄像机可以确定目标方位和该预定义方位之间的方位偏差,得到与该多个预定义方位一一对应的多个方位偏差。
[0146] 步骤409:从多个预定义方位中选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位。
[0147] 其中,预设方位偏差为预先设置的方位偏差。当目标方位和预定义方位之间的方位偏差不小于该预设方位偏差时,表明目标方位和该预定义方位之间偏离较远,此时可旋转摄像机不执行任何操作;当目标方位和预定义方位之间的方位偏差小于该预设方位偏差时,表明目标方位和该预定义方位比较接近,此时可旋转摄像机可以根据图3A所示的实施例中表1所示的对应关系,确定对该预定义方位设置的提示信息,并将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。具体地,可旋转摄像机可以通过下述步骤410和步骤411来实现该过程。
[0148] 步骤410:可旋转摄像机将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。
[0149] 在可旋转摄像机确定出需要在该视频画面中叠加的提示信息之后,可以通过以下两种可能的实现方式将该提示信息叠加在该视频画面中。
[0150] (1)可旋转摄像机在该视频画面中叠加对选择的预定义方位设置的提示信息。
[0151] 具体地,可旋转摄像机可以通过屏幕菜单式调节(on-screen display,OSD)方式在当前位的视频画面中叠加对选择的预定义方位设置的提示信息,也即,当可旋转摄像确定对该预定义方位设置的提示信息之后,确定该提示信息的编码信息,并创建OSD环境,也即初始化OSD。可旋转摄像机将该提示信息的编码信息和该视频画面的帧数据进行信息同步与叠加,并将叠加后的数据通过数字信息处理(digital signal processing,DSP)技术写入已创建的OSD环境,得到叠加提示信息之后的视频画面。
[0152] 之后,可旋转摄像机向监控客户端发送叠加该提示信息之后的视频画面,由监控客户端显示叠加该提示信息之后的视频画面。当监控客户端接收到可旋转摄像机发送的叠加该提示信息之后的视频画面时,直接显示叠加该提示信息之后的视频画面,此时若用户正通过监控客户端控制可旋转摄像机进行转动,用户可以查看到当前显示的视频画面中的提示信息,以了解当前可旋转摄像机的大致方位。
[0153] (2)监控客户端在该视频画面中叠加对选择的预定义方位设置的提示信息。
[0154] 在可旋转摄像机将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息之后,可旋转摄像机向监控客户端发送该提示信息和该视频画面的标识。当监控客户端接收到该视频画面的标识时,并根据该视频画面的标识,从已经接收到的视频画面中确定该视频画面,然后将该提示信息叠加在该视频画面中。视频画面的标识可以为可旋转摄像机发送该视频画面对应的视频帧的帧编号。
[0155] 其中,监控客户端将该提示信息叠加在该视频画面中的实现过程可以参考上述可旋转摄像机将该提示信息叠加在该视频画面中的实现过程。
[0156] 可选地,当监控客户端中存储有上述表1所示的对应关系时,在可旋转摄像机将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息之后,可旋转摄像机向监控客户端发送选择的预定义方位的标识和该视频画面的标识。当监控客户端接收到可旋转摄像机发送的预定义方位的标识时,根据该预定义方位的标识,从表1所示的对应关系中,确定对该预定义方位设置的提示信息,并根据该视频画面的标识,从已经接收到的视频画面中确定该视频画面,然后将该提示信息叠加在该视频画面中。
[0157] 在监控客户端将该提示信息叠加在该视频画面之后,监控客户端可以直接显示该叠加提示信息之后的视频画面。
[0158] 在本发明实施例中,可旋转摄像机获取视频画面,并从与多个预定义方位图像一一对应的多个预定义方位中,选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位,由于目标方位为该视频画面的采集方位,方位偏差小于预设方位偏差可以表明目标方位和该预定义方位基本接近,此时可以在该视频画面中叠加对选择的预定义方位设置的提示信息,而无需在目标方位和预定义方位的状态参数完全一致时才能在该视频画面中叠加对该预定义方位设置的提示信息,提高了视频监控中确定提示信息的灵活性。
[0159] 当根据视频画面和多个预定义方位图像,判断是否将对预定义方位设置的提示信息确定为需要在视频画面中叠加的提示信息的过程由图1中的监控服务器来执行时,本发明实施例提供了另一种视频监控中提示信息的确定方法,如图5所示,该方法包括以下步骤:
[0160] 步骤501:监控服务器获取视频画面。
[0161] 具体地,当可旋转摄像机当前正在进行转动时,实时采集视频画面,并向监控系统中的监控服务器发送该实时采集的视频画面,当监控服务器接收到该实时采集的视频画面时,可以直接将该实时采集的视频画面确定为该视频画面。监控服务器也可以每隔预设时间段,从当前时间之前距离当前时间最近的预设时间段内接收到的视频画面中选择一个视频画面,将选择的视频画面确定为该视频画面。
[0162] 步骤502:监控服务器基于该视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,该多个预定义方位图像和该多个预定义方位一一对应。
[0163] 其中,步骤502的实现过程可以参考图4中的步骤402至步骤407的实现过程,本发明实施例在此不做详细阐述。
[0164] 步骤503:监控服务器从该多个预定义方位中选择与该目标方位之间的方位偏差小于预设方位偏差的预定义方位。
[0165] 步骤503的实现过程和图4中的步骤408的实现过程基本相同,在此同样不做详细阐述。
[0166] 当监控服务器从该多个预定义方位中选择出与该目标方位之间的方位偏差小于预设方位偏差的预定义方位时,表明目标方位和该预定义方位比较接近,此时监控服务器可以根据图3A所示的实施例中表1所示的对应关系,确定对该预定义方位设置的提示信息,并将对选择的预定义方位设置的提示信息确定为需要在视频画面中叠加的提示信息。具体地,监控服务器可以通过下述步骤504和步骤505来实现该过程。
[0167] 步骤504:监控服务器将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。
[0168] 在监控服务器确定出需要在该视频画面中叠加的提示信息之后,可以通过以下两种可能的实现方式将该提示信息叠加在该视频画面中。
[0169] (1)监控服务器在该视频画面中叠加对选择的预定义方位设置的提示信息。
[0170] 其中,监控服务器将该提示信息叠加在该视频画面中的实现过程可以参考图4中步骤410中的可旋转摄像机将该提示信息叠加在该视频画面中的实现过程。
[0171] 之后,监控服务器向监控客户端发送叠加该提示信息之后的视频画面,由监控客户端显示叠加该提示信息之后的视频画面。
[0172] (2)监控客户端在该视频画面中叠加对选择的预定义方位设置的提示信息。
[0173] 具体地,在监控服务器将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息之后,监控服务器向监控客户端发送该提示信息和该视频画面的标识,由监控客户端将该提示信息叠加在该视频画面中,并显示叠加提示信息之后的视频画面。
[0174] 可选地,当监控客户端中存储有上述表1所示的对应关系时,在监控服务器将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息之后,监控服务器向监控客户端发送选择的预定义方位的标识和该视频画面的标识,仍由监控客户端将该提示信息叠加在该视频画面中,并显示叠加提示信息之后的视频画面。
[0175] 在本发明实施例中,监控服务器获取视频画面,并从与多个预定义方位图像一一对应的多个预定义方位中,选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位,由于目标方位为该视频画面的采集方位,且方位偏差小于预设方位偏差可以表明目标方位和该预定义方位基本接近,此时可以在该视频画面中叠加对选择的预定义方位设置的提示信息,而无需在目标方位和预定义方位的状态参数完全一致时才能在该视频画面中叠加对该预定义方位设置的提示信息,提高了视频监控中确定提示信息的灵活性。
[0176] 在本申请中,除了提供上述实施例所述的视频监控中提示信息的确定方法,还提供了视频监控中提示信息的确定装置,接下来的实施例用于对本发明实施例提供的视频监控中提示信息的确定装置进行详细说明。
[0177] 参见图6A,本发明实施例提供了一种视频监控中提示信息的确定装置600,该装置600包括获取模块601、第一确定模块602、选择模块603和第二确定模块604。
[0178] 获取模块601,用于执行图4A实施例中的步骤401或图5实施例中步骤501。
[0179] 第一确定模块602,用于基于该视频画面与预先存储的多个预定义方位图像,确定目标方位与多个预定义方位中每个预定义方位之间的方位偏差,多个预定义方位图像和多个预定义方位一一对应。
[0180] 选择模块603,用于执行图4A实施例中的步骤409或图5实施例中的步骤503。
[0181] 第二确定模块604,用于执行图4A实施例中的步骤410或图5实施例中的步骤504。
[0182] 可选地,该第一确定模块602包括:
[0183] 获取单元,用于执行图4A实施例中的步骤402;
[0184] 确定单元,用于当该多对局部特征点的数量大于预设数量时,根据该多对局部特征点,确定与该预定义方位图像对应的预定义方位和目标方位之间的方位偏差。
[0185] 可选地,该预定义方位图像为包括一阶边缘特征的图像;
[0186] 该获取单元,具体用于:
[0187] 通过高斯混合背景建模方法确定该视频画面的背景图像;
[0188] 对该视频画面的背景图像进行处理,得到处理后的图像,该处理后的图像为包括一阶边缘特征的图像;
[0189] 对该处理后的图像中的特征点和该预定义方位图像中的特征点通过尺度不变特征变换SIFT算法进行匹配,得到匹配的多对局部特征点。
[0190] 可选地,该确定单元包括:
[0191] 选择子单元,用于执行图4A实施例中的步骤403;
[0192] 构建子单元,用于执行图4A实施例中的步骤404,其中,第一三角形和第二三角形中的每条边长均大于预设边长,第一三角形和第二三角形的每个内角均大于预设角度。
[0193] 第一确定子单元,用于执行图4A实施例中的步骤405;
[0194] 空间变换子单元,用于执行图4A实施例中的步骤406;
[0195] 第二确定子单元,用于执行图4A实施例中的步骤407;
[0196] 第三确定子单元,用于执行图4A实施例中的步骤408。
[0197] 可选地,该空间变换子单元,具体用于:
[0198] 将第一三角形进行仿射变换,以使仿射变换后的三角形和第二三角形中匹配的局部特征点对应的内角之间的差值的平方和小于预设数值;
[0199] 确定仿射变换后的三角形和第二三角形中对应的边长的比值的平均值;
[0200] 当该平均值大于1时,以该平均值为缩小比例,对仿射变换后的三角形进行缩小,得到空间变换后的三角形;
[0201] 当该平均值不大于1时,以该平均值的倒数为放大比例,对仿射变换后的三角形进行放大,得到空间变换后的三角形。
[0202] 可选地,第二确定子单元,具体用于:
[0203] 确定空间变换后的三角形的中心与空间变换后的三角形所在的视频画面的中心之间的距离,得到第一距离;
[0204] 确定第二三角形的中心与第二三角形所在的图像的中心之间的距离,得到第二距离;
[0205] 将第一距离和第二距离之间的比值确定为空间变换后的三角形的视场偏角和第二三角形的视场偏角之间的比值。
[0206] 可选地,第三确定子单元,具体用于:
[0207] 对该至少一个比值进行线性聚类计算,得到每个比值的离散值;
[0208] 从该至少一个比值中选择离散值小于预设离散值的比值;
[0209] 将选择的比值的平均值与1之间的差值的绝对值确定为与该预定义方位图像对应的预定义方位和目标方位之间的方位偏差。
[0210] 可选地,参见图6B,该装置600还包括设置模块605、第三确定模块606、处理模块607和存储模块608。
[0211] 设置模块605,用于执行图3A实施例中的步骤301;
[0212] 第三确定模块606,用于执行图3A实施例中的步骤302;
[0213] 处理模块607,用于执行图3A实施例中的步骤303;
[0214] 存储模块608,用于执行图3A实施例中的步骤304。
[0215] 在本发明实施例中,获取视频画面,并从与多个预定义方位图像一一对应的多个预定义方位中,选择与目标方位之间的方位偏差小于预设方位偏差的预定义方位,由于目标方位为该视频画面的采集方位,方位偏差小于预设方位偏差可以表明目标方位和该预定义方位基本接近,此时可以将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息。而无需在目标方位和预定义方位的状态参数完全一致时才能将对选择的预定义方位设置的提示信息确定为需要在该视频画面中叠加的提示信息,提高了视频监控中确定提示信息的灵活性。
[0216] 需要说明的是:上述实施例提供的视频监控中的信息显示装置在进行视频监控中的信息显示时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频监控中的信息显示装置与视频监控中的信息显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
[0217] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(例如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(Digital Versatile Disc,DVD))、或者半导体介质(例如:固态硬盘(Solid State Disk,SSD))等。
[0218] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
[0219] 以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。