一种双相机目标匹配方法、系统、卡口相机及存储介质转让专利
申请号 : CN202010476930.X
文献号 : CN111614907B
文献日 : 2021-08-10
发明人 : 潘宇翔 , 张福成 , 张乃心 , 谢会斌 , 李聪廷
申请人 : 济南博观智能科技有限公司
摘要 :
权利要求 :
1.一种双相机目标匹配方法,其特征在于,基于卡口相机,包括:在接收到电警相机发送的第一图像后,对目标区域进行抓拍得到第二图像;
基于预先通过第二触发标识建立的第二坐标系,计算在所述第二坐标系中所述第二图像中的第二目标的第二坐标信息;
基于预先通过第一触发标识建立的第一坐标系,计算在所述第一坐标系中第一目标的第一坐标信息;
根据预先建立的所述第一坐标系和所述第二坐标系的转换规则,将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息;
根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息,确定与所述第一目标匹配的第二目标;
其中,所述电警相机与所述卡口相机监控同一目标区域;所述第一触发标识为所述电警相机的监控画面中的触发标识,所述第二触发标识为所述卡口相机的监控画面中的触发标识,且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物;所述第一图像为所述电警相机在检测到所述第一目标越过所述第一触发标识时抓拍得到的图像;
所述参照物具体为道路停止线;在所述第一图像中,以所述道路停止线的右端点为参考原点;在所述第二图像中,以所述道路停止线的左端点为参考原点;
相应的,所述基于预先通过所述第一触发标识建立的第一坐标系,计算在所述第一坐标系中所述第一目标的第一坐标信息,具体通过以下公式计算:所述根据预先建立的所述第一坐标系和所述第二坐标系的转换规则,将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息,具体通过以下公式计算:
TWl=L2·Fr+O2
TWr=L2·Fl+O2
其中,Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例,Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例,X1为所述第一图像中所述道路停止线左端点的坐标,EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标,EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L1为所述第一图像中所述道路停止线的长度;TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标,TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L2为所述第二图像中所述道路停止线的长度,O2为所述第二图像中所述参考原点的坐标。
2.根据权利要求1所述的双相机目标匹配方法,其特征在于,所述根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息,确定与所述第一目标匹配的第二目标,具体包括:
判断在预设横坐标误差范围内,与所述第一目标的横坐标匹配的第二目标是否仅有一个;
如果是,则以所述第二目标为与所述第一目标匹配的第二目标;
如果否,则在所述第二坐标系内,对比各所述第二目标的识别框的中心点与所述第一目标的识别框的中心点的偏差值,以所述偏差值最小的第二目标为与所述第一目标匹配的第二目标。
3.根据权利要求2所述的双相机目标匹配方法,其特征在于,在所述判断在预设横坐标误差范围内,与所述第一目标的横坐标匹配的第二目标是否仅有一个之前,还包括:在所述第二图像中,根据识别框与所述道路停止线的位置关系,删除未处于越过所述道路停止线位置的无效第二目标。
4.根据权利要求1所述的双相机目标匹配方法,其特征在于,还包括:识别与所述第一目标匹配的第二目标的人脸信息;
将所述人脸信息发送至NVR主机。
5.一种卡口相机,其特征在于,包括:获取单元,用于在接收到电警相机发送的第一图像后,对目标区域进行抓拍得到第二图像;
计算单元,用于基于预先通过第二触发标识建立的第二坐标系,计算在所述第二坐标系中所述第二图像中的第二目标的第二坐标信息;
匹配单元,用于基于预先通过第一触发标识建立的第一坐标系,计算在所述第一坐标系中第一目标的第一坐标信息;根据预先建立的所述第一坐标系和所述第二坐标系的转换规则,将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息;根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息,确定与所述第一目标匹配的第二目标;
其中,所述电警相机与卡口相机监控同一目标区域;所述第一触发标识为所述电警相机的监控画面中的触发标识,所述第二触发标识为所述卡口相机的监控画面中的触发标识,且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物;所述第一图像为所述电警相机在检测到第一目标越过所述第一触发标识时抓拍得到的图像;
所述参照物具体为道路停止线;在所述第一图像中,以所述道路停止线的右端点为参考原点;在所述第二图像中,以所述道路停止线的左端点为参考原点;
相应的,所述匹配单元基于预先通过所述第一触发标识建立的第一坐标系,计算在所述第一坐标系中所述第一目标的第一坐标信息,具体通过以下公式计算:所述匹配单元根据预先建立的所述第一坐标系和所述第二坐标系的转换规则,将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息,具体通过以下公式计算:
TWl=L2·Fr+O2
TWr=L2·Fl+O2
其中,Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例,Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例,X1为所述第一图像中所述道路停止线左端点的坐标,EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标,EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L1为所述第一图像中所述道路停止线的长度;TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标,TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L2为所述第二图像中所述道路停止线的长度,O2为所述第二图像中所述参考原点的坐标。
6.一种双相机目标匹配系统,其特征在于,包括:卡口相机,与所述卡口相机通信连接的电警相机,以及分别与所述卡口相机和所述电警相机通信连接的NVR主机;
其中,所述电警相机与所述卡口相机用于监控同一目标区域;所述电警相机中的监控场景中的第一触发标识和所述卡口相机的监控场景中的第二触发标识来自于所述目标区域的同一参照物;
所述电警相机用于在检测跟踪到第一目标越过所述第一触发标识时抓拍得到第一图像,并将所述第一图像分别发送至所述卡口相机和所述NVR主机;
所述卡口相机用于在接收到所述第一图像后对目标区域进行抓拍得到第二图像;基于预先通过第二触发标识建立的第二坐标系,计算在所述第二坐标系中所述第二图像中的第二目标的第二坐标信息;基于预先通过第一触发标识建立的第一坐标系,计算在所述第一坐标系中第一目标的第一坐标信息;根据预先建立的所述第一坐标系和所述第二坐标系的转换规则,将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息;根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息,确定与所述第一目标匹配的第二目标;识别与所述第一目标匹配的第二目标的人脸信息;将所述人脸信息发送至NVR主机;
所述参照物具体为道路停止线;在所述第一图像中,以所述道路停止线的右端点为参考原点;在所述第二图像中,以所述道路停止线的左端点为参考原点;
相应的,所述基于预先通过所述第一触发标识建立的第一坐标系,计算在所述第一坐标系中所述第一目标的第一坐标信息,具体通过以下公式计算:所述根据预先建立的所述第一坐标系和所述第二坐标系的转换规则,将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息,具体通过以下公式计算:
TWl=L2·Fr+O2
TWr=L2·Fl+O2
其中,Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例,Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例,X1为所述第一图像中所述道路停止线左端点的坐标,EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标,EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L1为所述第一图像中所述道路停止线的长度;TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标,TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L2为所述第二图像中所述道路停止线的长度,O2为所述第二图像中所述参考原点的坐标。
7.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述双相机目标匹配方法的步骤。
说明书 :
一种双相机目标匹配方法、系统、卡口相机及存储介质
技术领域
背景技术
违规证据,又能存留目标的人脸信息。而这些监控场景,仅靠单一相机已不能满足应用的需
求。
配计算较为复杂,如果应用低性能的相机,可能会出现耗时较长、不能满足实时性要求的问
题。
发明内容
测跟踪与匹配。
触发标识,且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物;所
述第一图像为所述电警相机在检测到所述第一目标越过所述第一触发标识时抓拍得到的
图像。
息根据所述转换规则转换后得到的在所述第二坐标系中所述第一目标的识别框的第二边
框坐标信息,所述第二目标的第二坐标信息具体为在所述第二图像中所述第二目标的识别
框的第三边框坐标信息;
以下公式计算:
标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长
度的比例,X1为所述第一图像中所述道路停止线左端点的坐标,EPl为所述第一图像中所述
第一目标的识别框与所述道路停止线的左侧交点的坐标,EPr为所述第一图像中所述第一
目标的识别框与所述道路停止线的右侧交点的坐标,L1为所述第一图像中所述道路停止线
的长度;TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐
标,TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标,L2
为所述第二图像中所述道路停止线的长度,O2为所述第二图像中所述参考原点的坐标。
配的第二目标。
标识,且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物;所述第
一图像为所述电警相机在检测到第一目标越过所述第一触发标识时抓拍得到的图像。
的NVR主机;
标区域的同一参照物;
位置信息以及所述第一目标与第一触发标识的第一相对位置信息,确定与所述第一目标匹
配的第二目标;识别与所述第一目标匹配的第二目标的人脸信息;将所述人脸信息发送至
NVR主机。
到电警相机发送的第一图像后,对目标区域进行抓拍得到第二图像,计算第二图像中的第
二目标与卡口相机的监控画面中的第二触发标识的第二相对位置信息,最后根据第二相对
位置信息以及第一目标与电警相机的监控画面中的第一触发标识的第一相对位置信息,即
可快速确定与第一目标匹配的第二目标,相较于现有技术中采用多个特征点进行复杂的目
标匹配运算,本发明提供的双相机目标匹配方法利用同一参照物下的相对位置信息转换,
能够快速实现目标匹配,简化了目标匹配运算,降低了对硬件性能的要求。
附图说明
明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根
据这些附图获得其他的附图。
具体实施方式
测跟踪与匹配。
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
和第二触发标识来自目标区域的同一参照物;第一图像为电警相机在检测到第一目标越过
第一触发标识时抓拍得到的图像。
道,可以设置于与电警相机对应的路口的另一侧,与电警相机监控同一路口,镜头面向行车
正面。为基于电警相机和卡口相机实现双相机监控方案,在本发明实施例中,以电警相机为
主相机,以卡口相机为从相机,预先在两台相机的处理芯片载入检测跟踪算法,在卡口相机
的处理芯片中载入参照物位置信息转换算法,以使电警相机在检测到目标经过参照物时对
目标背面进行抓拍并发送至卡口相机,由卡口相机对目标正面进行抓拍并利用参照物位置
信息转换算法和目标与参照物的相对位置进行目标匹配。
择道路停止线作为参照物,则将电警相机的监控场景中的道路停止线作为第一触发标识,
将卡口相机的监控场景中的道路停止线作为第二触发标识。
期间越过道路停止线的场景),将第一图像发送至卡口相机。第一图像携带有第一目标与第
一触发标识的第一相对位置信息,可以在第一图像中用识别框框出第一目标。
标识),则可以不拍摄第一图像,若目标发生违规行为,则确定为第一目标并拍摄第一图像,
将第一图像发送至卡口相机触发卡口相机联动抓拍,而后电警相机再抓拍第一目标离开第
一触发标识后的第三张图像,此时电警相机得到了对第一目标的三张违规证据图像,识别
第一目标的车牌信息或其他背面特征,结合三张违规证据图像和第一目标的信息完成证据
链组装。同时,对于非越线的违规内容,如不在规定道路行驶、违规载人、未戴头盔等,电警
相机记录并生成证据链。电警相机可以将组装的证据链上传NVR(Network Video
Recorder,网络视频录像机)主机。
匹配信息完成证据链的组装,将包含人脸信息的证据链发送至NVR主机。
息、车牌信息),进行信息发布,提供违章查询。
接收到电警相机发送的第一图像后,对目标区域进行抓拍得到第二图像,计算第二图像中
的第二目标与卡口相机的监控画面中的第二触发标识的第二相对位置信息,最后根据第二
相对位置信息以及第一目标与电警相机的监控画面中的第一触发标识的第一相对位置信
息,即可快速确定与第一目标匹配的第二目标,相较于现有技术中采用多个特征点进行复
杂的目标匹配运算,本发明实施例提供的双相机目标匹配方法利用同一参照物下的相对位
置信息转换,能够快速实现目标匹配,简化了目标匹配运算,降低了对硬件性能的要求。
有差异。预先分别在两台相机的处理芯片中载入坐标系生成脚本。在完成第一触发标识和
第二触发标识的配置后,电警相机基于第一触发标识生成第一坐标系,卡口相机基于第二
触发标识生成第二坐标系,基于参照物在两个坐标系中不同的坐标即可得到两个坐标系之
间的转换规则。在得到第一目标在第一图像中的第一坐标信息后,即可根据转换规则得到
第一目标在第二坐标系中的第二坐标信息,确定第二坐标信息与第一目标的第二坐标信息
匹配的第二目标为与第一目标匹配的第二目标。
第一边框坐标信息根据转换规则转换后,得到第一目标在第二坐标系中的识别框的坐标信
息,即第二边框坐标信息;第二目标的第二坐标信息选用在第二图像中第二目标的识别框
的第三边框坐标信息;
景中,如图3所示,参照物可以选用道路停止线;在第一图像中,以道路停止线的右端点为参
考原点;在第二图像中,以道路停止线的左端点为参考原点;
交点距参考原点的长度占道路停止线的长度的比例,X1为第一图像中道路停止线左端点的
坐标,EPl为第一图像中第一目标的识别框与道路停止线的左侧交点的坐标,EPr为第一图像
中第一目标的识别框与道路停止线的右侧交点的坐标,L1为第一图像中道路停止线的长
度;TWl为第二图像中第一目标的识别框与道路停止线的左侧交点的坐标,TWr为第二图像中
第一目标的识别框与道路停止线的右侧交点的坐标,L2为第二图像中道路停止线的长度,O2
为第二图像中参考原点的坐标。此外,O1为第一图像中参考原点的坐标,X2为第二图像中道
路停止线左端点的坐标
止线相交的两个点的横坐标EPl、EPr,可以计算得到在第二坐标系中第一目标的识别框的中
心点位置EPcent和第一目标的识别框的宽度EPlen,结合第二坐标系中第二目标的识别框的
中心点位置Trkcent和第二目标的识别框的宽度Trklen,可以得到三种情况:
标:
一目标的横坐标匹配的第二目标是否仅有一个之前,还包括:
在道路监控场景中宽高比大约在1:2.5左右,此处α值可以取1.5。
和第二触发标识来自目标区域的同一参照物;第一图像为电警相机在检测到第一目标越过
第一触发标识时抓拍得到的图像。
目标与第一触发标识的第一相对位置信息,确定与第一目标匹配的第二目标;识别与第一
目标匹配的第二目标的人脸信息;将人脸信息发送至NVR主机。
以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨
论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合
或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的模块可以是或者也可以
不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一
个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全
部模块来实现本实施例方案的目的。
块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机
软件产品存储在一个存储介质中,执行本发明各个实施例所述方法的全部或部分步骤。
质。
其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的
卡口相机、系统及存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简
单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在
不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落
入本发明权利要求的保护范围内。
之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。