一种智能车灯语义投影照明装置及方法

摘要

本发明公开一种智能车灯语义投影照明装置及方法。智能车灯语义投影照明装置包括：车灯本体、视觉传感单元、目标识别单元、光源、语义标识库、光学透镜组、畸变校正单元及车灯控制单元。采用视觉传感单元对车辆、行人以及气候信息进行感知，以目标识别单元输出作为反馈，在语义标识库中选择对应的语义标识，采用光源结合光学透镜组进行语义标识的路面照明，不同几何形状的语义标识在路面具有畸变的特征点，采用畸变校正单元对不同特征点路面照明距离进行畸变校正，利用车灯控制单元实现语义标识的精确照明。本发明对汽车安装车灯语义投影照明装置，利用车灯向司机和行人主动告知预警信息，保障了汽车的安全驾驶和行人的安全。

权利要求

1.一种智能车灯语义投影照明装置，其特征在于，包括车灯本体、视觉感知单元、目标识别单元、光源、语义标识库、光学透镜组、畸变校正单元及车灯控制单元，所述车灯本体位于汽车前照灯，所述视觉感知单元获取车辆、行人及气候的原始视频信息，所述目标识别单元实时分析视觉感知单元获取的原始视频信息，以所述目标识别单元的输出作为反馈，在所述语义标识库中选择对应的语义标识，所述光源对选择的语义标识进行照射，所述畸变校正单元进行特征点畸变校正后，利用所述车灯控制单元实现语义标识的精确投影照明；

利用安装在汽车车前的视觉感知单元来对车辆行驶环境中的道路、行人、车辆以及环境进行感知，实时检测出车辆目标对应位置和方向、行人目标对应位置和方向以及周边环境的实时信息，基于语义识别库中对应的语义标识进行选择，根据汽车车灯光学配光及路面投影照明装置来对对应的语义标识进行投影照明，由于不同语义标识几何形状差异使得路面投影照明效果存在畸变，利用视觉感知单元来对路面语义标识进行检测，并分析对应特征点的几何形变并进行校正，实现利用车灯与车辆、行人以及环境进行交互的目标，提前及时预警汽车前方路况，帮助司机及时作出最佳的驾驶操作；

基于所述装置实现的智能车灯语义投影照明方法，包括：

S1，对视觉感知单元获取的原始视频进行灰度化处理，运用二值化结合腐蚀运算法消除干扰噪声，利用八等宽方框界定车辆车灯有效区域，采用极大值抑制贪婪算法结合车灯目标，排除干扰参数得到车灯位置；利用视觉感知单元采集的实时路况视频，结合行人运动特征和形态特征进行路边行人检测，考虑视角、光照以及背景变化根据局部图像熵值获取主动区域，利用腿形形态学匹配法计算行人重心坐标，实现在视觉感知下行人识别；

S2，利用视觉感知单元获取的实时路况视频，提取包含车辆行驶参数、行人以及当前天气状况的信息，根据不同的车辆、行人以及气候信息在语义标识库中提取不同的语义标识图像，司机行驶过程中对语义标识图像进行路面投影照明；由于车辆投影照明装置与路面倾斜一定角度，语义标识图像在近汽车端投影照明和远汽车端投影照明会产生差异的变形，远端投影照明变量要大于近端投影照明畸变，针对差异的投影照明畸变对语义标识库图像特征点进行疏密差异分布，根据路面投影照明装置倾斜角度调整图像特征点，近汽车端稀疏分布而远汽车端密集分布；

S3，采用视觉感知单元获取在路面投影照明的语义标识图像，提取投影照明的语义标识图像特征点，并与期望的语义标识图像特征点进行比较，计算对应特征点的投影照明畸变，得到视觉感知单元下语义标识图像特征点的校正量；基于期望的语义标识图像建立不同语义标识图像特征点校正量，制成不同语义标识图像在不同投影照明距离下的特征点校正量映射表；

S4，车辆行驶利用搭载的视觉感知单元实时感知，基于检测到的行人、车辆和气候信息，在语义标识库中选择对应的图像进行路面投影照明，利用车灯向司机和行人主动告知警示信息，实现车辆的安全驾驶和行人安全。

2.根据权利要求1所述的一种智能车灯语义投影照明装置，其特征在于，所述车灯本体有两个，分别位于汽车的两个前照灯内。

3.根据权利要求1所述的一种智能车灯语义投影照明装置，其特征在于，所述视觉感知单元安装在汽车车身，用于采集汽车前方同向车辆、反向车辆、路边行人及气候的原始视频信息。

4.根据权利要求1所述的一种智能车灯语义投影照明装置，其特征在于，所述目标识别单元的输出包括车辆行驶参数、行人、当前天气状况的信息。

5.根据权利要求1所述的一种智能车灯语义投影照明装置，其特征在于，所述装置还包括光源驱动器，所述光源驱动器与车灯控制单元连接。

说明书

一种智能车灯语义投影照明装置及方法

技术领域

[0001] 本发明属于汽车智能车灯领域，尤其涉及一种汽车车灯的语义投影照明，能够通过智能车灯实现行人、车辆及路况的交互，具体为一种智能车灯语义投影照明装置及方法。

背景技术

[0002] 随着道路信息化、智能化设计的逐步完善，智能化的辅助驾驶技术受到了广泛地关注，能够极大地提高行车安全性和舒适性。司机驾驶视野作为影响其行车安全的关键因素，可以通过改善照明性能来减弱驾驶视野盲区和提供安全预警。为了降低交通事故，提高行车驾驶安全避免重大伤亡事故，必须采用含有先进功能的汽车车灯控制系统来代替传统的汽车前照灯，能够通过各种传感器来获得汽车驾驶过程中车速、目标、路况等各类信息，在获得安全舒适照明效果的同时保障司机驾驶过程中的行车安全。

[0003] 目前各大汽车研发机构开展车灯方面的研究，致力于减弱汽车行驶过程照明盲区，设计良好的配光模式改善道路照明。法雷奥研究了自适应前照灯，能够根据车辆是否通过弯道而自主调整车灯光束，使得前照灯照明范围能够根据车辆转弯而进行随动；海拉推出了智能化前照灯系统，设计智能硬件和软件进行参数感知处理，能够根据实际环境光照情况进行自主切换照明模式；福特研发了基于光源颗粒的前照灯系统，能够通过传感器反馈参数去调整不同光源的亮灭和亮度；丰田设计了一款能够在会车时采用近光灯，而在非会车时通过自动光轴调整光束方向的前照灯系统；江苏文光车辆附件有限公司设计了基于矩阵式LED的智能前照灯系统，基于视觉图像感知同向和反向车辆，进而实时调整光源颗粒的亮灭，实现车灯远光灯自适应控制，避免了汽车会车过程远光灯常开而对对面司机引起的炫目。

[0004] 因此，为了解决日益突出的交通问题，需要构建人车路一体化的模式。而汽车车灯作为夜间安全行车最为重要的附件，存在传统前照灯单一照明功能到智能车灯跨域的现实需求。为了给车灯赋予更多的功能，需要采用智能化的技术对车灯进行改造，能够利用车灯辅助人车路的协同运行。利用传感器采集道路信息并通过数据总线传输给车载设备，对传感信息进行处理、加工及分析，对汽车行驶过程中的车辆、行人以及天气信息进行识别，在路面进行对应图像的输出，使得车灯能够主动在路面进行语义图像的照明，从而能够有效地保障汽车的行车安全和行人的安全。

发明内容

[0005] 本发明的目的是针对现有技术存在的问题，提供一种智能车灯语义投影照明装置及方法，采用基于视频图像参数反馈的车灯语音标识投影照明，解决司机行驶过程中无法与周边车辆、行人以及环境进行信息交互的不足。

[0006] 为实现上述目的，本发明采用的技术方案是：

[0007] 一种智能车灯语义投影照明装置，包括车灯本体、视觉感知单元、目标识别单元、光源、语义标识库、光学透镜组、畸变校正单元及车灯控制单元，所述车灯本体位于汽车前照灯，所述视觉感知单元获取车辆、行人及气候的原始视频信息，所述目标识别单元实时分析视觉感知单元获取的原始视频信息，以所述目标识别单元的输出作为反馈，在所述语义标识库中选择对应的语义标识，所述光源对选择的语义标识进行照射，所述畸变校正单元进行特征点畸变校正后，利用所述车灯控制单元实现语义标识的精确投影照明。

[0008] 进一步地，所述车灯本体有两个，分别位于汽车的两个前照灯内。

[0009] 进一步地，所述视觉感知单元安装在汽车车身，用于采集汽车前方同向车辆、反向车辆、路边行人及气候的原始视频信息。

[0010] 进一步地，所述目标识别单元的输出包括车辆行驶参数、行人、当前天气状况的信息。

[0011] 进一步地，所述智能车灯语义投影照明装置还包括光源驱动器，所述光源驱动器与车灯控制单元连接。

[0012] 一种智能车灯语义投影照明方法，基于所述的装置实现，包括：

[0013] S1，对视觉感知单元获取的原始视频进行灰度化处理，运用二值化结合腐蚀运算法消除干扰噪声，利用八等宽方框界定车辆车灯有效区域，采用极大值抑制贪婪算法结合车灯目标，排除干扰参数得到车灯位置；利用视觉感知单元采集的实时路况视频，结合行人运动特征和形态特征进行路边行人检测，考虑视角、光照以及背景变化根据局部图像熵值获取主动区域，利用腿形形态学匹配法计算行人重心坐标，实现在视觉感知下行人识别；

[0014] S2，利用视觉感知单元获取的实时路况视频，提取包含车辆行驶参数、行人以及当前天气状况的信息，根据不同的车辆、行人以及气候信息在语义标识库中提取不同的语义标识图像，司机行驶过程中对语义标识图像进行路面投影照明；由于车辆投影照明装置与路面倾斜一定角度，语义标识图像在近汽车端投影照明和远汽车端投影照明会产生差异的变形，远端投影照明变量要大于近端投影照明畸变，针对差异的投影照明畸变对语义标识库图像特征点进行疏密差异分布，根据路面投影照明装置倾斜角度调整图像特征点，近汽车端稀疏分布而远汽车端密集分布；

[0015] S3，采用视觉感知单元获取在路面投影照明的语义标识图像，提取投影照明的语义标识图像特征点，并与期望的语义标识图像特征点进行比较，计算对应特征点的投影照明畸变，得到视觉感知单元下语义标识图像特征点的校正量；基于期望的语义标识图像建立不同语义标识图像特征点校正量，制成不同语义标识图像在不同投影照明距离下的特征点校正量映射表；

[0016] S4，车辆行驶利用搭载的视觉感知单元实时感知，基于检测到的行人、车辆和气候信息，在语义标识库中选择对应的图像进行路面投影照明，利用车灯向司机和行人主动告知警示信息，实现车辆的安全驾驶和行人安全。

[0017] 与现有技术相比，本发明的有益效果是：本发明通过采用视觉感知单元来对汽车行驶路况进行实时图像采集，提出基于视觉检测反馈进行车灯语义标识投影照明。汽车会行驶在高速、市区、乡村、阴雨、暴雪等各种路况下，而汽车前照灯作为关键的投影照明部件，能够为汽车夜间行车提供充足的光线，面对传统前照灯单一照明功能到智能车灯跨域的现实需求。因此，利用视觉感知单元对汽车前方环境进行采集和存储，对汽车前方车辆、行人、气候等参数进行感知，并能够计算出目标相对于车辆的相对位置和方向，根据车灯光学配光分区结合车灯控制算法，对视觉感知单元检测的对应车况，在前方路面进行语义标识图像的投影照明，避免司机驾驶过程中无法与周边环境进行交流的不足，通过主动感知来告知和提醒司机安全驾驶。该发明能够利用车灯主动告知车辆、行人及气候信息，达到人车路的有效共融，在有效保证驾驶安全的同时提升了驾驶乐趣。

附图说明

[0018] 图1为根据实施例的本发明智能车灯语义投影照明装置原理示意图；

[0019] 图2为根据实施例的本发明智能车灯语义投影照明方法原理示意图；

[0020] 图3为根据实施例的本发明智能车灯语义投影照明特征点校正示意图。

[0021] 图中：1、车灯本体；2、视觉感知单元；3、目标识别单元；4、光源；5、语义标识库；6、光学透镜组；7、畸变校正单元；8、车灯控制单元。

具体实施方式

[0022] 下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

[0023] 一种智能车灯语义标识投影照明装置，包括：车灯本体1、视觉感知单元2、目标识别单元3、光源4、语义标识库5、光学透镜组6、畸变校正单元7及车灯控制单元8。汽车前照灯有两个车灯本体1，视觉感知单元2安装在汽车车身，检测汽车前方同向车辆、反向车辆、路边行人及气候信息，目标识别单元3实时分析视觉感知单元2的获得图像；以目标识别单元3输出作为反馈语义标识库5中对应的语义标识，光源4通过光学透镜组6，并利用畸变校正单元7进行特征点畸变校正，利用车灯控制单元8实现语义标识的精确投影照明。在实际应用中，视觉感知单元2可采用行车记录仪等实现。

[0024] 本实施例用于夜间车辆安全驾驶的智能车灯，主要由车灯、视觉传感器、语义标识库5以及控制器等组成。智能车灯语义标识投影照明装置，包括以下步骤：

[0025] 步骤1)对视觉感知单元2获取的原始视频进行灰度化处理，运用二值化结合腐蚀运算法消除干扰噪声；利用八等宽方框[Bl1,Bl2,Bl3,Bl4,Br1,Br2,Br3,Br4]来界定车辆车灯有效区域，经高斯核滤波处理G(x,y)＝Ae-α排除干扰参数得到车灯位置[xl,yl]；

[0026] 步骤2)利用视觉感知单元2采集的实时路况视频，结合行人运动特征和形态特征进行路边行人检测，考虑视角、光照以及背景变化根据局部图像熵值获取主动区域，利用腿形形态学匹配法计算行人重心坐标[xp,yp]；

[0027] 步骤3)利用视觉感知单元2获取的实时视频数据，以目标识别单元3输出包含车辆行驶参数、行人以及当前天气状况的信息，根据不同的车辆、行人以及气候信息在语义标识库5中提取不同的语义标识，采用光源4结合光学透镜组6，由车灯本体1对语义标识进行路面投影照明；

[0028] 步骤4)车辆车灯本体1投影照明装置与路面存在倾角，语义标识在近车辆端投影照明和远车辆端投影照明会产生差异的变形，远端投影照明变量要大于近端投影照明畸变，针对差异的投影照明畸变对语义标识库5图像特征点进行疏密差异分布，根据车灯本体1的投影照明装置倾斜角度调整图像特征点，近汽车端稀疏分布而远汽车端密集分布；

[0029] 步骤5)采用视觉感知单元2获取在路面投影照明的语义标识图像，提取语义标识图像特征点P′c＝[x′c,y′c]，并与期望的语义标识图像特征点进行比较Pc＝[xc,yc]，计算对应特征点的投影照明畸变ΔPc＝Pc-P′c，得到视觉感知单元2下语义标识图像特征点的校正量；

[0030] 步骤6)在智能车灯语义投影照明装置中，基于期望的语义标识图像建立不同语义标识图像特征点校正量，制成不同语义标识图像在不同投影照明距离下的特征点校正量映射表；

[0031] 步骤7)当车辆利用搭载的视觉感知单元2实时感知，基于检测到的行人、车辆和气候信息，在语义标识库5中选择对应的图像进行路面投影照明，利用车灯本体1向司机和行人主动告知警示信息，实现车辆的安全驾驶和行人安全；当车辆行驶中未检测到异常情况无需投影照明语义标识时，则不在路面投影照明对应的语义标识从而不影响司机正常驾驶。

[0032] 根据图1、图2和图3所示，夜车车灯作为夜间行驶的关键照明设备，是驾驶员在夜间行驶过程中接收到最多最重要的信息，能够为司机提供充足光线辅助驾驶。目前，车灯的主要功能集中在夜间照明，而道路驾驶环境复杂存在车辆、行人、电动车等多种目标的运行，本发明拓展汽车车灯单一照明功能，利用车灯来实现与周边车辆、行人的交流，来进一步提高车辆夜间行车安全。

[0033] 本发明提供一种智能车灯语义投影照明装置，主要包括车灯本体1、视觉感知单元2、目标识别单元3、光源4、语义标识库5、光学透镜组6、畸变校正单元7及车灯控制单元8。利用安装在汽车车前的视觉感知单元2来对车辆行驶环境中的道路、行人、车辆以及环境进行感知，实时检测出车辆目标对应位置和方向、行人目标对应位置和方向以及周边环境的实时信息，基于语义识别库中对应的语义标识进行选择，根据汽车车灯光学配光及路面投影照明装置来对对应的语义标识进行投影照明，由于不同语义标识几何形状差异使得路面投影照明效果存在畸变，利用视觉感知单元2来对路面语义标识进行检测，并分析对应特征点的几何形变并进行校正，实现利用车灯与车辆、行人以及环境进行交互的目标，可以提前及时预警汽车前方路况，帮助司机及时作出最佳的驾驶操作。

[0034] 作为一种实施方案，本发明还提供一种智能车灯语义投影照明方法，其主要包括：

[0035] 1)对视觉感知单元2获取的原始视频进行灰度化处理，运用二值化结合腐蚀运算法消除干扰噪声，利用八等宽方框界定车辆车灯有效区域，采用极大值抑制贪婪算法结合车灯目标，排除干扰参数得到车灯位置；利用视觉感知单元2采集的实时路况视频，结合行人运动特征和形态特征进行路边行人检测，考虑视角、光照以及背景变化根据局部图像熵值获取主动区域，利用腿形形态学匹配法计算行人重心坐标，实现在视觉感知下行人识别；

[0036] 2)利用视觉感知单元2获取的实时路况视频，提取包含车辆行驶参数、行人以及当前天气状况的信息，根据不同的车辆、行人以及气候信息在语义标识库5中提取不同的语义标识图像，司机行驶过程中对语义标识图像进行路面投影照明；由于车辆投影照明装置与路面倾斜一定角度，语义标识图像在近汽车端投影照明和远汽车端投影照明会产生差异的变形，远端投影照明变量要大于近端投影照明畸变，针对差异的照明投影畸变对语义标识库5图像特征点进行疏密差异分布，根据路面投影照明装置倾斜角度调整图像特征点，近汽车端稀疏分布而远汽车端密集分布；

[0037] 3)采用视觉感知单元2获取在路面投影照明的语义标识图像，提取投影照明的语义标识图像特征点，并与期望的语义标识图像特征点进行比较，计算对应特征点的投影照明畸变，得到视觉感知单元2下语义标识图像特征点的校正量；基于期望的语义标识图像建立不同语义标识图像特征点校正量，制成不同语义标识图像在不同投影照明距离下的特征点校正量映射表；

[0038] 4)当车辆行驶利用搭载的视觉感知单元2实时感知，基于检测到的行人、车辆和气候信息，在语义标识库5中选择对应的图像并传输到车灯控制单元8中，由光源4驱动器驱动对应的光源4进行照亮，通过光学透镜组6在路面进行对应语义标识的投影照明，利用车灯向司机和行人主动告知警示信息，实现车辆的安全驾驶和行人安全。当车辆行驶中未检测到异常情况无需投影照明语义标识时，则不在路面投影照明而不影响司机的驾驶。

[0039] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。