车载图像传感器的控制方法和装置转让专利
申请号 : CN201811625730.5
文献号 : CN109703465B
文献日 : 2021-03-12
发明人 : 陈杰
申请人 : 百度在线网络技术(北京)有限公司
摘要 :
权利要求 :
1.一种车载图像传感器的控制方法,其特征在于,所述方法包括以下步骤:获取车载图像传感器采集的取景图像;
对所述取景图像进行识别,以得到车身关键点在所述取景图像中的检测位置;其中,识别所述取景图像中呈现的车身关键点;在所述取景图像中绘制网格;根据所述车身关键点所处的网格,确定所述车身关键点在所述取景图像中的检测位置;
根据所述检测位置与设定位置之间的差异,调整所述车载图像传感器的拍摄角度和/或拍摄位置;其中,所述设定位置,是采用训练图像训练用于车辆驾驶控制的模型时,在所述训练图像中所述车身关键点所在位置;
将调整后的车载图像传感器所采集的图像输入所述模型,以进行车辆驾驶控制;
所述根据所述检测位置与设定位置之间的差异,调整所述车载图像传感器的拍摄角度和/或拍摄位置,包括:确定至少两个车身关键点的检测位置之间的第一间距;
确定对应的至少两个车身关键点的设定位置之间的第二间距;
若所述第一间距小于所述第二间距,沿垂直于所述车载图像传感器的成像面的方向,朝向被摄物移动所述车载图像传感器,直至所述第一间距等于所述第二间距;
若所述第一间距大于所述第二间距,沿垂直于所述车载图像传感器的成像面的方向,背离被摄物移动所述车载图像传感器,直至所述第一间距等于所述第二间距;
所述根据所述检测位置与设定位置之间的差异,调整所述车载图像传感器的拍摄角度和/或拍摄位置,还包括:
当所述第一间距等于所述第二间距时,沿平行于所述车载图像传感器的成像面方向,移动所述车载图像传感器,直至所述至少一个车身关键点的检测位置处于对应设定位置;
转动所述车载图像传感器的拍摄角度,以使各车身关键点的检测位置处于对应设定位置。
2.根据权利要求1所述的控制方法,其特征在于,所述调整所述车载图像传感器的拍摄角度和/或拍摄位置之后,还包括:对所述车载图像传感器后续采集的取景图像再次进行识别;
校验所述后续采集的取景图像中车身关键点是否处于所述设定位置;
若所述后续采集的取景图像中车身关键点处于所述设定位置,根据后续采集的取景图像进行车辆控制。
3.根据权利要求2所述的控制方法,其特征在于,所述校验所述后续采集的取景图像中车身关键点是否处于所述设定位置之后,还包括:若所述后续采集的取景图像中车身关键点未处于所述设定位置,重新执行调整所述车载图像传感器的拍摄角度和/或拍摄位置的步骤。
4.根据权利要求2所述的控制方法,其特征在于,所述校验所述后续采集的取景图像中车身关键点是否处于所述设定位置之后,还包括:若所述后续采集的取景图像中车身关键点未处于所述设定位置,对后续采集的取景图像进行图像修正,以使修正后的取景图像中车身关键点处于所述设定位置;所述图像修正包括图像放大、图像缩小和图像视角调整中的一个或多个组合。
5.一种车载图像传感器的控制装置,其特征在于,所述装置包括:获取模块,用于获取车载图像传感器采集的取景图像;
识别模块,用于对所述取景图像进行识别,以得到车身关键点在所述取景图像中的检测位置;
调整模块,用于根据所述检测位置与设定位置之间的差异,调整所述车载图像传感器的拍摄角度和/或拍摄位置;其中,所述设定位置,是采用训练图像训练用于车辆驾驶控制的模型时,在所述训练图像中所述车身关键点所在位置;
输入模块,用于将调整后的车载图像传感器所采集的图像输入所述模型,以进行车辆驾驶控制;
第二识别模块,用于识别取景图像中呈现的车身关键点;
绘制模块,用于在取景图像中绘制网格;
确定模块,用于根据车身关键点所处的网格,确定到车身关键点在取景图像中的检测位置;
所述调整模块,还用于确定至少两个车身关键点的检测位置之间的第一间距;确定对应的至少两个车身关键点的设定位置之间的第二间距;若所述第一间距小于所述第二间距,沿垂直于所述车载图像传感器的成像面的方向,朝向被摄物移动所述车载图像传感器,直至所述第一间距等于所述第二间距;若所述第一间距大于所述第二间距,沿垂直于所述车载图像传感器的成像面的方向,背离被摄物移动所述车载图像传感器,直至所述第一间距等于所述第二间距;
所述调整模块,还用于当所述第一间距等于所述第二间距时,沿平行于所述车载图像传感器的成像面方向,移动所述车载图像传感器,直至所述至少一个车身关键点的检测位置处于对应设定位置;转动所述车载图像传感器的拍摄角度,以使各车身关键点的检测位置处于对应设定位置。
6.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-4中任一所述的车载图像传感器的控制方法。
7.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的车载图像传感器的控制方法。
说明书 :
车载图像传感器的控制方法和装置
技术领域
背景技术
模型对车载图像传感器采集的图像进行识别来感知车辆周围环境,并根据感知所获得的道
路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路
上行驶,并根据自动规划的行车路线控制车辆到达预定目标的智能汽车。
车辆驾驶控制模型识别带来了困难,识别准确度不高。
发明内容
拍摄位置进行调整,以使调整后车载图像传感器所采集的图像中车身关键点的检测位置处
于对应的设定位置处,从而实现车辆中车载图像传感器的精确安装,以提高数据采集的精
确度,为自动驾驶的控制算法和模型训练提供数据支撑。
所述训练图像中所述车身关键点所在位置;
与设定位置之间的差异,调整车载图像传感器的拍摄角度和/或拍摄位置,其中,设定位置,
是采用训练图像训练用于车辆驾驶控制的模型时,在训练图像中车身关键点所在位置,将
调整后的车载图像传感器所采集的图像输入模型,以进行车辆驾驶控制。该方法根据车载
图像传感器中车身关键点的检测位置与设定位置之间的差异,对车载图像传感器的拍摄角
度和/或拍摄位置进行调整,以使调整后车载图像传感器所采集的图像中车身关键点的检
测位置与设定位置一一对应,从而实现车辆中车载图像传感器的精确安装,以提高数据采
集的精确度,为自动驾驶的控制算法和模型训练提供数据支撑。
与设定位置之间的差异,调整车载图像传感器的拍摄角度和/或拍摄位置,其中,设定位置,
是采用训练图像训练用于车辆驾驶控制的模型时,在训练图像中车身关键点所在位置,将
调整后的车载图像传感器所采集的图像输入模型,以进行车辆驾驶控制。该方法根据车载
图像传感器中车身关键点的检测位置与设定位置之间的差异,对车载图像传感器的拍摄角
度和/或拍摄位置进行调整,以使调整后车载图像传感器所采集的图像中车身关键点的检
测位置处于设定位置,从而使得车辆中车载图像传感器采集的图像能够与训练图像具有相
同的采集视角,有利于车辆驾驶控制模型提高识别精确度,为自动驾驶的控制算法和模型
训练提供数据支撑。
是实施例中所述的车载图像传感器的控制方法。
法。
附图说明
具体实施方式
图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
计算机设备可以执行控制功能。
字摄像头相结合,为汽车视觉系统提供光学图像信息,经由图像数据处理单元放大、同步控
制处理,最终将汽车外部真实的场景信息显示在计算机设备中。
之后,这些电子信号经图像数据处理系统的放大和同步控制处理,发送给图像显示器,以便
在计算机设备中看到物体的二维光学图像,从而获取车载图像传感器采集的取景图像,为
自动驾驶汽车提供准确的驾驶环境信息。
取景图像中的位置。
最终识别我们所要研究的目标。
景图像中的检测位置。
利用图像所具有的特征映射到神经网络进行图像识别分类,以得到车身关键点在取景图像
中的检测位置。
较,计算图像与模板特征向量之间的距离,用最小距离法判定所属类别,最终对车身关键点
进行位置的显示。
像传感器的拍摄角度和/或拍摄位置。
传感器的拍摄角度或拍摄位置,以使各车身关键点的检测位置处于对应的设定位置。例如,
取景图像中车身关键点的检测位置与设定位置仅在水平或垂直位置上存在距离,则只需要
调整车载图像传感器的拍摄位置。
载图像传感器的拍摄角度和拍摄位置,以使各车身关键点的检测位置处于对应的设定位
置。例如,取景图像中车身关键点的检测位置未处于设定位置,并且车身关键点在取景图像
中存在旋转的情况,此时,需要同时调整车载图像传感器的拍摄角度和拍摄位置。
实现;也可以通过设定具有自动调整车载图像传感器的拍摄角度和/或拍摄位置的装置,来
实现自动调整车载图像传感器的拍摄角度和/或拍摄位置。
像传感器重新采集图像,计算机设备获取到调整后的车载图像传感器所采集的图像后,输
入用于车辆驾驶控制的模型中,以实现对车辆驾驶的控制。
汽车的自动驾驶。
与设定位置之间的差异,调整车载图像传感器的拍摄角度和/或拍摄位置,其中,设定位置,
是采用训练图像训练用于车辆驾驶控制的模型时,在训练图像中车身关键点所在位置,将
调整后的车载图像传感器所采集的图像输入模型,以进行车辆驾驶控制。该方法根据车载
图像传感器中车身关键点的检测位置与设定位置之间的差异,对车载图像传感器的拍摄角
度和/或拍摄位置进行调整,以使调整后车载图像传感器所采集的图像中车身关键点的检
测位置处于设定位置,从而实现车辆中车载图像传感器的精确安装,以提高数据采集的精
确度,为自动驾驶的控制算法和模型训练提供数据支撑。
景图像进行识别,以识别出车身关键点。
过程,在此不再赘述。
置。
指两个车身关键点的检测位置之间的距离,是为了区别于车身关键点的设定位置之间的间
距。
距之间的大小关系。进而根据第一间距与第二间距之间的差异,对车载图像传感器的拍摄
角度和/或拍摄位置进行调整。
被拍摄物的距离较远,则沿垂直于车载图像传感器的成像面的方向,朝向被摄物移动图像
传感器,直至第一间距等于第二间距。
离被拍摄物的距离较近,则沿垂直于车载图像传感器的成像面的方向,背离被摄物移动车
载图像传感器的拍摄位置,直至第一间距等于第二间距。
与对应的这顶位置不重合,则沿平行于车载图像传感器的成像面方向,移动车载图像传感
器,直至至少一个车身关键点的检测位置处于对应设定位置。
原因,使得车身关键点的检测位置与设定位置不重合,此时,需要转动车载图像传感器的拍
摄角度,以使各车身关键点的检测位置处于对应设定位置。
传至计算机设备,以使计算机设备对车载图像传感器后续采集的取景图像再次进行识别,
以确定取景图像中车身关键点的检测位置。
此不再赘述。
像中车身关键点未处于设定位置,重新执行上述步骤206,对车载图像传感器的拍摄角度
和/或拍摄位置进行重新调整,具体的调整过程在此不再赘述。
位置,此时,可以对后续采集的取景图像进行图像修正,以使修正后的取景图像中车身关键
点处于设定位置;其中,图像修正包括图像放大、图像缩小和图像视角调整中的一个或多个
组合。
的网格,确定到车身关键点在取景图像中的检测位置,确定至少两个车身关键点的检测位
置之间的第一间距,并确定对应的至少两个车身关键点的设定位置之间的第二间距,根据
第一间距与第二间距之间的差异,调整车载图像传感器的拍摄角度和/或拍摄位置,对车载
图像传感器后续采集的取景图像再次进行识别,校验后续采集的取景图像中车身关键点是
否处于设定位置,后续采集的取景图像中车身关键点的检测位置处于设定位置时,则根据
后续采集的取景图像进行车辆的控制。由此,能够实现车辆中车载图像传感器采集的图像
能够与训练图像具有相同的采集视角,有利于车辆驾驶控制模型提高识别精确度,为自动
驾驶的控制算法和模型训练提供数据支撑。
时,在训练图像中车身关键点所在位置。
关键点的检测位置处于对应设定位置;
图像缩小和图像视角调整中的一个或多个组合。
与设定位置之间的差异,调整车载图像传感器的拍摄角度和/或拍摄位置,其中,设定位置,
是采用训练图像训练用于车辆驾驶控制的模型时,在训练图像中车身关键点所在位置,将
调整后的车载图像传感器所采集的图像输入模型,以进行车辆驾驶控制。该方法根据车载
图像传感器中车身关键点的检测位置与设定位置之间的差异,对车载图像传感器的拍摄角
度和/或拍摄位置进行调整,以使调整后车载图像传感器所采集的图像中车身关键点的检
测位置处于设定位置处,从而实现车辆中车载图像传感器的精确安装,以提高数据采集的
精确度,为自动驾驶的控制算法和模型训练提供数据支撑。
实施例中所述的车载图像传感器的控制方法。
制方法。
(包括系统存储器28和处理单元16)的总线18。
例来说,这些体系结构包括但不限于工业标准体系结构(Industry Standard
Architecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下
简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards
Association;以下简称:VESA)局域总线以及外围组件互连(Peripheral Component
Interconnection;以下简称:PCI)总线。
进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,
存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动
器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱
动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read Only
Memory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read Only
Memory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动
器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产
品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各
实施例的功能。
程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常
执行本申请所描述的实施例中的功能和/或方法。
或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例
如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算
机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area
Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例
如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应
当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不
限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及
数据备份存储系统等。
点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。
隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三
个等,除非另有明确具体的限定。
分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请
的实施例所属技术领域的技术人员所理解。
指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执
行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设
备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装
置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电
连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器
(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存
储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技
术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离
散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编
程门阵列(FPGA)等。
质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如
果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机
可读取存储介质中。
制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变
型。