面向交通路口的雷达视觉协同方法、装置、设备及介质

摘要

本发明实施例公开了一种面向交通路口的雷达视觉协同方法、装置、设备及介质。所述方法包括：确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。本申请提供的技术方案，利用图像采集器和雷达协同作业，通过对交通路口的周期性监测和对目标关注对象的位置预估，实现对目标关注对象的跟踪，在保证能够对交通路口进行全方位监控的同时，也降低了监控成本。

权利要求

1.一种面向交通路口的雷达视觉协同方法，其特征在于，包括：确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

2.根据权利要求1所述的方法，其特征在于，采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置，包括：

在图像采集器水平旋转朝向预设交通路口获取当前视觉图像时，采用与图像采集器协同的雷达同步获取图像采集器经过当前旋转朝向预设交通路口时的当前雷达数据；

依据当前雷达数据包括的所述目标关注对象的位置与速度，计算所述目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置。

3.根据权利要求2所述的方法，其特征在于，依据当前雷达数据包括的所述目标关注对象的位置与速度，计算所述目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置，包括：

依据当前雷达数据包括的所述目标关注对象的速度以及所述目标关注对象在预设交通路口的运动方向，预估所述目标关注对象在图像采集器从朝向预设交通路口起旋转一圈过程中的运动矢量信息；

依据当前雷达数据包括的所述目标关注对象的位置、旋转一圈过程中的运动矢量信息以及旋转一圈的运动时间，计算所述目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置。

4.根据权利要求1所述的方法，其特征在于，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄，包括：

在图像采集器从预设交通路口的上一个交通路口旋转离开后，依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整；

控制调整后的图像采集器在朝向预估位置时对所述目标关注对象进行跟踪拍摄，以使跟踪的目标关注对象位于拍摄的跟踪视觉图像中;其中，所述图像采集器安装在交叉道路的多个交通路口中间，以使各交通路口均在所述图像采集器可视域范围内。

5.根据权利要求4所述的方法，其特征在于，在依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整之前，还包括：若图像采集器对预估位置的朝向处于预设交通路口之后，则按照在预设交通路口的拍摄焦距与拍摄角度控制图像采集器再次旋转朝向预设交通路口进行下一视觉图像拍摄，等待拍摄完成继而朝向预估位置执行跟踪拍摄操作。

6.根据权利要求4所述的方法，其特征在于，在依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整之后，还包括：若图像采集器对预估位置的朝向介于预设交通路口与预设交通路口的上一个交通路口之间，则等待朝向预估位置执行跟踪拍摄操作后，控制图像采集器按照在预设交通路口的拍摄焦距与拍摄角度再次旋转朝向预设交通路口进行下一视觉图像拍摄。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：从图像采集器旋转至少两圈得到的图像中，分离出朝向预设交通路口所拍摄的各个视觉图像进行组合得到该预设交通路口下视觉图像序列；

从图像采集器旋转至少两圈得到的图像中，分离出对所述目标关注对象进行跟踪拍摄的跟踪视觉图像组成跟踪目标图像序列。

8.一种面向交通路口的雷达视觉协同装置，其特征在于，包括：当前视觉图像确定模块，用于确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

目标预估位置确定模块，用于采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

目标跟踪模块，用于再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

9.一种电子设备，其特征在于，包括：一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1‑7中任一所述的面向交通路口的雷达视觉协同方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1‑7中任一所述的面向交通路口的雷达视觉协同方法。

说明书

面向交通路口的雷达视觉协同方法、装置、设备及介质

技术领域

[0001] 本发明实施例涉及智能交通技术领域，尤其涉及一种面向交通路口的雷达视觉协同方法、装置、设备及介质。

背景技术

[0002] 在交通路口，比如4叉路口或5叉路口等，需要对交通路口进行监控同时还需要对交通路口出现的可疑目标进行跟踪。

[0003] 相关方案中，为每个路口配置一个定焦摄像机，实现广角拍摄；同时，为了对可疑目标进行跟踪，还需要为每个路口配置一个PTZ球机，实现对移动目标的跟踪拍摄，如此5叉
路口需要10个摄像机，成本较高。而如果采用单一的摄像机，放置在转盘中央360度旋转拍
摄，则无法实现很好地跟踪目标。

发明内容

[0004] 本发明实施例中提供了一种面向交通路口的雷达视觉协同方法、装置、设备及介质，以实现通过球机和雷达同步旋转对各个路口监控与可疑目标跟踪。

[0005] 第一方面，本发明实施例中提供了一种面向交通路口的雷达视觉协同方法，包括：

[0006] 确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

[0007] 采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

[0008] 再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0009] 第二方面，本发明实施例中还提供了一种面向交通路口的雷达视觉协同装置，包括：

[0010] 当前视觉图像确定模块，用于确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

[0011] 目标预估位置确定模块，用于采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

[0012] 目标跟踪模块，用于再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0013] 第三方面，本发明实施例中还提供了一种电子设备，包括：

[0014] 一个或多个处理器；

[0015] 存储装置，用于存储一个或多个程序；

[0016] 所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例中所提供的面向交通路口的雷达视觉协同方法。

[0017] 第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例中所提供的面向交通路口的雷达
视觉协同方法。

[0018] 本发明实施例中提供了一种面向交通路口的雷达视觉协同方法，确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；采用与图像采集器协同的雷达，确
定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈
后的预估位置；再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制
图像采集器对所述目标关注对象进行跟踪拍摄。本申请提供的技术方案，利用图像采集器
和雷达协同作业，实现对交通路口的周期性监测和对目标关注对象的准确跟踪，在保证能
够对交通路口进行全方位监控的同时，也降低了监控成本。

[0019] 上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能
够更明显易懂，以下特举本发明的具体实施方式。

附图说明

[0020] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对
本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0021] 图1是本发明实施例中提供的一种面向交通路口的雷达视觉协同方法的流程图；

[0022] 图2是本发明实施例中提供的另一种面向交通路口的雷达视觉协同方法的流程图；

[0023] 图3是本发明实施例中提供的又一种面向交通路口的雷达视觉协同方法的流程图；

[0024] 图4是本发明实施例中提供的一种面向交通路口的雷达视觉协同装置的结构框图；

[0025] 图5是本发明实施例中提供的一种电子设备的结构示意图。

具体实施方式

[0026] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于
描述，附图中仅示出了与本发明相关的部分而非全部结构。

[0027] 在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但
是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可
以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的
附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

[0028] 下面针对本发明实施例中提供的面向交通路口的雷达视觉协同方法、装置、电子设备及存储介质，通过各实施例进行详细阐述。

[0029] 图1是本发明实施例中提供的一种面向交通路口的雷达视觉协同方法的流程图。本实施例可适用于对多叉道路路口的交通进行监测的情况。该方法可以由面向交通路口的
雷达视觉协同装置执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任何具有
网络通信功能的电子设备上。如图1所示，本发明实施例中提供的面向交通路口的雷达视觉
协同方法，可包括以下步骤：

[0030] S110、确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像。

[0031] 当一个交叉道路对应多个交通路口时，如果要对多个交通路口进行多方位的监控和流量监测，例如包括对机动车、非机动车和行人的监控与流量监控，那么通常需要对每个
方向的交通路口均进行监控和统计。但是，采用多个摄像机分别对每个交通路口进行监控
和流量监测并进行画面拼接，会造成成本较高。

[0032] 鉴于上述问题，采用具有旋转功能的图像采集器或者将图像采集器安装在云台上以使其具备旋转功能。将图像采集器安装在交叉道路的多个交通路口中间，例如，可以是中
心位置，也可以是使各交通路口均在图像采集器可视域范围内的位置；控制图像采集器在
水平面上旋转一周，图像采集器可看到包括各个交通路口的图像。

[0033] 其中，图像采集器可以是球形摄像机或半球形摄像机等具有图像采集功能的设备。预设交通路口可以是用户从交叉道路的多个交通路口中选择确定或者是根据监控需求
自动随机选择。当前视觉图像可以是图像采集器通过当前旋转过程朝向预设交通路口获取
的图像帧。这样可以通过控制图像采集器不间断地旋转来对每个交通路口进行拍摄，以获
取当前旋转朝向预设交通路口拍摄的当前视觉图像以及经过每个交通路口的视觉图像。

[0034] S120、采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置。

[0035] 其中，目标关注对象可以为根据实际监控需求所确定的需要进行特别关注的对象。例如，在机动车监控场景中，主要需要监控车辆是否符合预设要求，因此目标关注对象
则为车辆，具体的，可以是车辆的车牌号，也可以是车辆的车型；在行人监控场景中，主要需
要监控行人是否符合预设要求，因此目标关注对象则为行人，具体的，可是人脸的特征，也
可以是行人衣着特征。其中，预设要求是根据实际应用由人为设定的特征。

[0036] 此外，可以理解的是，图像采集器所获取到的当前视觉图像中存在目标关注对象时，目标关注对象难以通过图像采集器图像识别功能进行识别跟踪，则启动与图像采集器
协同作业的雷达监测目标关注对象。其中，雷达是利用电磁波探测目标关注对象的电子设
备，能够获取到目标关注对象至雷达中电磁波发射点的距离、距离变化率（速度）、方位和高
度等信息。

[0037] 示例性的，雷达和图像采集器的朝向一致，雷达可以在当前视觉图像中同步捕获到各个物体或行人的速度和至雷达中电磁波发射点的距离，并可以提取其中关于目标关注
对象的位置和矢量速度，结合图像采集器旋转的速度和时间对该目标关注对象在图像采集
器从朝向预设交通路口起经旋转一圈后的位置进行预估。又示例性的，雷达可以根据当前
捕获的目标关注对象的位置和矢量速度，对该目标关注对象的行驶轨迹进行预推，根据预
推轨迹确定该目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的位置。

[0038] 在本发明实施例中，可选的，采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置，可包
括步骤A1‑A2：

[0039] 步骤A1、在图像采集器水平旋转朝向预设交通路口获取当前视觉图像时，采用与图像采集器协同的雷达同步获取图像采集器经过当前旋转朝向预设交通路口时的当前雷
达数据。

[0040] 步骤A2、依据当前雷达数据包括的所述目标关注对象的位置与速度，计算所述目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置。

[0041] 为了提高雷达和图像采集器捕获信息的同步性和一致性，可以设定雷达和图像采集器的朝向一致。在图像采集器获取到符合预设要求的目标关注对象的当前视觉图像时，
生成关于该目标关注对象的标识信息并将其发送至雷达。

[0042] 可以理解的是，雷达会同时获取当前视觉图像中多个物体或行人的雷达数据。因此，雷达需根据目标关注对象的标识信息与自身同步获取的多个目标的雷达数据进行比
对。若与标识信息匹配成功，则根据该目标关注对象的雷达数据计算其在图像采集器从朝
向预设交通路口起经旋转一圈后的预估位置。其中，雷达数据可以包括目标的位置、速度、
方位、距离和高度。识信息可以是参考图像采集器同步获取的当前视觉图像中目标关注对
象的朝向。

[0043] S130、再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0044] 图像采集器再次旋转朝向预设交通路口进行下一视觉图像拍摄，根据目标关注对象的预估位置，通过控制图像采集器预拍摄时间，以使目标关注对象达到预计拍摄效果。其
中，预计拍摄效果是使跟踪的目标关注对象位于拍摄的跟踪视觉图像中。

[0045] 本发明实施例提供了一种面向交通路口的雷达视觉协同方法，通过确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；采用与图像采集器协同的雷达，
确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一
圈后的预估位置；再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控
制图像采集器对所述目标关注对象进行跟踪拍摄。本发明实施例的方案，利用图像采集器
和雷达协同作业，通过对交通路口的周期性监测和对目标关注对象的位置预估，实现对目
标关注对象的跟踪，在保证能够对交通路口进行全方位监控的同时，也降低了监控成本。

[0046] 图2是本发明实施例中提供的另一种面向交通路口的雷达视觉协同方法的流程图。本实施例在上述实施例的基础上进行优化，本发明实施例可以与上述一个或者多个实
施例中各个可选方案结合。如图2所示，本发明实施例中提供的面向交通路口的雷达视觉协
同方法，可包括以下步骤：

[0047] S210、确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像。

[0048] S220、在图像采集器水平旋转朝向预设交通路口获取当前视觉图像时，采用与图像采集器协同的雷达同步获取图像采集器经过当前旋转朝向预设交通路口时的当前雷达
数据。

[0049] S230、依据当前雷达数据包括的所述目标关注对象的速度以及所述目标关注对象在预设交通路口的运动方向，预估所述目标关注对象在图像采集器从朝向预设交通路口起
旋转一圈过程中的运动矢量信息。

[0050] 其中，运动方向可以是与当前交通路口平行的方向，也可以是和当前道路成一定角度的方向。可以理解的是，雷达和图像采集器旋转一周的时间较短（如，0.8s），且在正常
情况下行人或者车辆的移动速度不会过快，因此可以将雷达数据中目标关注对象在当前交
通路口的速度方向看作目标关注对象在预设交通路口的运动方向。

[0051] 其中，运动矢量信息可以包括目标关注对象在图像采集器从朝向预设交通路口起旋转一圈过程中的速度大小和运动方向。

[0052] S240、依据当前雷达数据包括的所述目标关注对象的位置、旋转一圈过程中的运动矢量信息以及旋转一圈的运动时间，计算所述目标关注对象在图像采集器从朝向预设交
通路口起经旋转一圈后的预估位置。

[0053] 其中，雷达和图像采集器旋转一圈的时间是可以根据实际交通路口的情况进行计算得到的。例如，可以通过控制雷达和图像采集器按照一定角速度保持匀速旋转，在图像采
集器进行拍摄时进行短暂停留，且停留时间是固定的，其旋转一圈的弧度和角速度相除的
结果与总停留时间之和就是其旋转一圈的运动时间。

[0054] 示例性的，当目标关注对象在预设交通路口的运动方向和预设交通路口的方向平行时，且运动速度不为零时，则认为该目标关注对象在在图像采集器从朝向预设交通路口
起旋转一圈的过程中其矢量速度均保持一致，其预估位置等于目标关注对象的当前位置和
其旋转一圈过程中的矢量速度与旋转一圈的运动时间的乘积之和。又示例性的，当目标关
注对象在预设交通路口的运动方向和预设交通路口的方向成一定角度时，且该目标关注对
象达到可转弯或掉头的交通路口时，则认为该目标关注对象准备转弯，其预估位置等于目
标关注对象的当前位置和其旋转一圈过程中的标量速度、旋转一圈的运动时间与矢量运动
方向的乘积之和。

[0055] 具体的，若目标车辆当前在右转车道，且其运动方向与所在车道的走向不一致，则判断该目标车辆正在转弯。因此该目标车辆在像采集器从朝向预设交通路口起经旋转一圈
后的增量位置为，目标车辆当前运动标量速度、右转动作的矢量运动方向和图像采集器旋
转一圈运动时间的乘积；其预估位置则是目标车辆当前位置和增量位置之和。

[0056] 通过获取雷达数据中对目标关注对象速度及位置来预估其运动矢量信息，并对目标关注对象在图像采集器旋转一圈后的位置进行预估，提高了对目标关注对象预估位置的
准确性。

[0057] S250、再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0058] 通过本发明实施例提供的面向交通路口的雷达视觉协同方法，可以准确预估目标关注对象的位置，提高雷达视觉协同方法的可靠性和精确性。

[0059] 图3是本发明实施例中提供的又一种面向交通路口的雷达视觉协同方法的流程图。本实施例在上述实施例的基础上进行优化，本发明实施例可以与上述一个或者多个实
施例中各个可选方案结合。如图3所示，本发明实施例中提供的面向交通路口的雷达视觉协
同方法，可包括以下步骤：

[0060] S310、确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像。

[0061] S320、采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置。

[0062] S330、在图像采集器从预设交通路口的上一个交通路口旋转离开后，依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整。

[0063] 其中，目标关注对象在当前位置和预估位置时至图像采集器的距离不同，为了不浪费拍摄画面空间和保证视觉图像中目标关注对象的清晰度，图像采集器在依据预估位置
的旋转过程中，旋转到预估位置之前自动调整拍摄焦距和拍摄角度。例如，图像采集器在预
设交通路口的默认拍摄焦距是12毫米，在图像采集器从预设交通路口的上一个交通路口旋
转离开后，依据所述预估位置，调整图像采集器的拍摄焦距为6毫米。

[0064] S340、控制调整后的图像采集器在朝向预估位置时对所述目标关注对象进行跟踪拍摄，以使跟踪的目标关注对象位于拍摄的跟踪视觉图像中。

[0065] 图像采集器根据雷达提供的目标关注对象的预估位置，生成控制指令，图像采集器按照控制指令在朝向预估位置时对所述目标关注对象进行拍摄。其中，控制指令可以包
括图像采集器需调整的拍摄焦距及拍摄角度、图像采集器在预估位置拍摄的调整时间点以
及拍摄时间点。

[0066] 使跟踪的目标关注对象位于拍摄的跟踪视觉图像中，可以是目标关注对象处于下一视觉图像正中位置；也可以是使目标关注对象处于下一视觉图像水平位置的中部（如，三
分之一的区域），且占据下一视觉图像的一定比例（如，二分之一的面积）。将出现目标关注
对象的视觉图像和再次出现目标关注对象的视觉图像进行组合，就可实现对该目标关注对
象的跟踪拍摄。

[0067] 本发明实施例提供了一种面向交通路口的雷达视觉协同方法，通过确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；采用与图像采集器协同的雷达，
确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一
圈后的预估位置；在图像采集器从预设交通路口的上一个交通路口旋转离开后，依据所述
预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整；控制调整后的图像采集器在朝
向预估位置时对所述目标关注对象进行跟踪拍摄，以使跟踪的目标关注对象位于拍摄的跟
踪视觉图像中。本技术方案，通过雷达和图像采集器的协同作业，图像采集器根据雷达提供
的预估位置，在对目标关注对象进行跟踪拍摄前自动调整合适的拍摄焦距和拍摄角度，仅
依靠单个图像采集器和单个雷达就可实现对多交叉路口的流量监测和目标跟踪，而不需特
定摄像机或多个摄像机进行多方位监控，一方面降低了监控成本，另一方面可以实现对目
标关注对象进行准确且清晰的追踪拍摄，提高了视觉协同的可靠性和准确性。

[0068] 可以理解的是，再次旋转朝向预设交通路口进行下一视觉图像拍摄时，需要对目标关注对象进行跟踪拍摄。为了更清晰准确地对目标关注对象进行跟踪拍摄，再次拍摄目
标关注对象之前需要对图像采集器的拍摄焦距和拍摄角度进行调整。然而，目标关注对象
在通过预设交通路口之后的运动方向可能是直行、左转弯、右转弯或者掉头。当目标关注对
象处于左转弯或者右转弯状态时，对图像采集器再次旋转朝向预设交通路口进行下一视觉
图像拍摄时的调整时机是不同的。

[0069] 在上述实施例的基础上，可选的，若图像采集器对预估位置的朝向处于预设交通路口之后，则按照在预设交通路口的拍摄焦距与拍摄角度控制图像采集器再次旋转朝向预
设交通路口进行下一视觉图像拍摄，等待拍摄完成继而朝向预估位置执行跟踪拍摄操作。

[0070] 若图像采集器对预估位置的朝向处于预设交通路口之后，意味着图像采集器在再次旋转朝向预设交通路口进行下一视觉图像拍摄时，需要先对预设交通路口进行拍摄，再
对目标关注对象的预估位置进行拍摄。则按照图像采集器默认的拍摄焦距与拍摄角度对预
设交通路口进行再次拍摄，等待拍摄完成再执行对目标关注对象预估位置的跟踪拍摄操
作。

[0071] 在上述实施例的基础上，可选的，若图像采集器对预估位置的朝向介于预设交通路口与预设交通路口的上一个交通路口之间，则等待朝向预估位置执行跟踪拍摄操作后，
控制图像采集器按照在预设交通路口的拍摄焦距与拍摄角度再次旋转朝向预设交通路口
进行下一视觉图像拍摄。

[0072] 若图像采集器对预估位置的朝向处于预设交通路口与预设交通路口的上一个交通路口之间，意味着图像采集器在再次旋转朝向预设交通路口进行下一视觉图像拍摄时，
需要先对目标关注对象的预估位置进行拍摄，再对预设交通路口进行拍摄。则等待朝向预
估位置执行跟踪拍摄操作后，控制图像采集器按照在预设交通路口的拍摄焦距与拍摄角度
再次旋转朝向预设交通路口进行下一视觉图像拍摄。

[0073] 通过引入对预估位置朝向的判断，在图像采集器再次旋转朝向预设交通路口进行下一视觉图像拍摄时，对其拍摄焦距和拍摄角度变化的时机进行分析，实现了对交通路口
正常拍摄和对目标关注对象跟踪拍摄的无缝衔接，提高了图像采集器所采集到的视觉图像
的清晰度和准确度。

[0074] 在上述各技术方案中，可选的，面向交通路口的雷达视觉协同方法，还包括：从图像采集器旋转至少两圈得到的图像中，分离出朝向预设交通路口所拍摄的各个视觉图像进
行组合得到该预设交通路口下视觉图像序列；从图像采集器旋转至少两圈得到的图像中，
分离出对所述目标关注对象进行跟踪拍摄的跟踪视觉图像组成跟踪目标图像序列。

[0075] 可以理解的是，图像采集器每旋转一圈可采集到包括朝向不同交通路口的视觉图像以及对目标关注对象的跟踪拍摄视觉图像，进而图像采集器在经过至少两圈的旋转操作
后，朝向不同交通路口以及某一目标关注对象可累积得到多张视觉图像。

[0076] 将每个交通路口的视觉图像按时间顺序并按方位各自组合成对应预设交通路口的视觉图像序列，一个视觉图像序列包括同一交通路口的按时间顺序进行画面拼接的多个
拍摄图像。将某一目标关注对象的跟踪拍摄视觉图像按时间顺序组合成对应该目标关注对
象的跟踪目标图像序列。

[0077] 示例性的，以图像采集器的角速度为720度/秒，视场角为100度为例，放置于交叉路口（例如3叉路口）中心，当然也可以放置于某个特定路口。当图像采集器在水平面上旋转
一周，就能看到交叉道路口的360度全景。图像采集器每旋转一圈，在预设交通路口正对图
像采集器时进行拍摄，以及在正对目标关注对象预估位置时进行拍摄，这意味着在3叉路口
图像采集每秒可进行两圈的旋转操作。将针对每个交通路口的拍摄图像按时间顺序进行组
合，可得到该预设交通路口下视觉图像序列；将存在某一目标关注对象的的拍摄图像按时
间顺序进行组合，可得到该目标关注对象的跟踪目标图像序列。

[0078] 通过对朝向预设交通路口所拍摄的各个视觉图像和对目标关注对象进行跟踪拍摄的跟踪视觉图像进行分离，并组合成图像序列，这样不仅方便分类存储，还有利于后续根
据组合序列对不同交通路口和目标关注对象进行分析。

[0079] 图4是本发明实施例中提供的一种面向交通路口的雷达视觉协同装置的结构框图。本实施例可适用于对多叉道路路口的交通进行监测的情况。该装置可以采用软件和/或
硬件的方式实现，并可集成在任何具有网络通信功能的电子设备上，尤其是用于交通监测
的电子监控设备。如图4所示，本发明实施例中提供的面向交通路口的雷达视觉协同装置，
可包括以下：当前视觉图像确定模块410，目标预估位置确定模块420，目标跟踪模块430。其
中，

[0080] 当前视觉图像确定模块410，用于确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

[0081] 目标预估位置确定模块420，用于采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

[0082] 目标跟踪模块430，用于再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0083] 进一步的，目标预估位置确定模块420，包括：

[0084] 当前雷达数据获取单元，用于在图像采集器水平旋转朝向预设交通路口获取当前视觉图像时，采用与图像采集器协同的雷达同步获取图像采集器经过当前旋转朝向预设交
通路口时的当前雷达数据；

[0085] 目标预估位置确定单元，用于依据当前雷达数据包括的所述目标关注对象的位置与速度，计算所述目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估
位置。

[0086] 进一步的，目标预估位置确定单元，包括：

[0087] 运动矢量信息预估子单元，用于依据当前雷达数据包括的所述目标关注对象的速度以及所述目标关注对象在预设交通路口的运动方向，预估所述目标关注对象在图像采集
器从朝向预设交通路口起旋转一圈过程中的运动矢量信息；

[0088] 目标预估位置确定子单元，用于依据当前雷达数据包括的所述目标关注对象的位置、旋转一圈过程中的运动矢量信息以及旋转一圈的运动时间，计算所述目标关注对象在
图像采集器从朝向预设交通路口起经旋转一圈后的预估位置。

[0089] 进一步的，目标跟踪模块430，包括：

[0090] 图像采集器调整单元，用于在图像采集器从预设交通路口的上一个交通路口旋转离开后，依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整；

[0091] 目标跟踪单元，用于控制调整后的图像采集器在朝向预估位置时对所述目标关注对象进行跟踪拍摄，以使跟踪的目标关注对象位于拍摄的跟踪视觉图像中。

[0092] 进一步的，目标跟踪模块430，还包括：

[0093] 图像采集器第一控制单元，用于在依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整之前，若图像采集器对预估位置的朝向处于预设交通路口之后，则按
照在预设交通路口的拍摄焦距与拍摄角度控制图像采集器再次旋转朝向预设交通路口进
行下一视觉图像拍摄，等待拍摄完成继而朝向预估位置执行跟踪拍摄操作。

[0094] 进一步的，目标跟踪模块430，还包括：

[0095] 图像采集器第二控制单元，用于在依据所述预估位置，对图像采集器的拍摄焦距与拍摄角度进行调整之后，若图像采集器对预估位置的朝向介于预设交通路口与预设交通
路口的上一个交通路口之间，则等待朝向预估位置执行跟踪拍摄操作后，控制图像采集器
按照在预设交通路口的拍摄焦距与拍摄角度再次旋转朝向预设交通路口进行下一视觉图
像拍摄。

[0096] 进一步的，所述面向交通路口的雷达视觉协同装置，还包括：

[0097] 视觉图像序列确定模块，用于从图像采集器旋转至少两圈得到的图像中，分离出朝向预设交通路口所拍摄的各个视觉图像进行组合得到该预设交通路口下视觉图像序列；

[0098] 跟踪目标图像序列组合模块，用于从图像采集器旋转至少两圈得到的图像中，分离出对所述目标关注对象进行跟踪拍摄的跟踪视觉图像组成跟踪目标图像序列。

[0099] 本发明实施例中所提供的面向交通路口的雷达视觉协同装置可执行上述本发明任意实施例中所提供的面向交通路口的雷达视觉协同方法，具备执行该面向交通路口的雷
达视觉协同方法相应的功能和有益效果，未在上述实施例中详尽描述的技术细节，可参见
本申请任意实施例中所提供的面向交通路口的雷达视觉协同方法。

[0100] 图5是本发明实施例中提供的一种电子设备的结构示意图。如图5所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器510和存储装置520；该电子设备中的
处理器510可以是一个或多个，图5中以一个处理器510为例；存储装置520用于存储一个或
多个程序；所述一个或多个程序被所述一个或多个处理器510执行，使得所述一个或多个处
理器510实现如本发明实施例中任一项所述的面向交通路口的雷达视觉协同方法。

[0101] 该电子设备还可以包括：输入装置530和输出装置540。

[0102] 该电子设备中的处理器510、存储装置520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。

[0103] 该电子设备中的存储装置520作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提
供的面向交通路口的雷达视觉协同方法对应的程序指令/模块。处理器510通过运行存储在
存储装置520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处
理，即实现上述方法实施例中面向交通路口的雷达视觉协同方法。

[0104] 存储装置520可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据
等。此外，存储装置520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至
少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置
520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接
至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0105] 输入装置530可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。

[0106] 并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序进行如下操作：

[0107] 确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

[0108] 采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

[0109] 再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0110] 当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序还可以进行本发明任意实施例中所提供的面向交
通路口的雷达视觉协同方法中的相关操作。

[0111] 本发明实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行面向交通路口的雷达视觉协同方法，该方法包括：

[0112] 确定图像采集器经过当前旋转朝向预设交通路口拍摄的当前视觉图像；

[0113] 采用与图像采集器协同的雷达，确定出现在当前视觉图像的目标关注对象在图像采集器从朝向预设交通路口起经旋转一圈后的预估位置；

[0114] 再次旋转朝向预设交通路口进行下一视觉图像拍摄时，依据预估位置控制图像采集器对所述目标关注对象进行跟踪拍摄。

[0115] 可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的面向交通路口的雷达视觉协同方法。

[0116] 本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读
存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或
器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具
有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（Random Access 
Memory，RAM）、只读存储器（Read Only Memory，ROM）、可擦式可编程只读存储器（Erasable 
Programmable Read Only Memory，EPROM）、闪存、光纤、便携式CD‑ROM、光存储器件、磁存储
器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有
形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

[0117] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限
于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可
读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于
由指令执行系统、装置或者器件使用或者与其结合使用的程序。

[0118] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率（RadioFrequency，RF）等等，或者上述的任意合适的组合。

[0119] 可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，
还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以
完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部
分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在
涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或
广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务
提供商来通过因特网连接）。

[0120] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何
的一个或多个实施例或示例中以合适的方式结合。

[0121] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、
重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行
了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还
可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。