车辆行驶辅助系统及其方法

摘要

本发明涉及一种车辆行驶辅助系统及其方法，该系统包括：宽带摄像头，其拍摄车辆周边并输入影像；地图生成部，其根据宽带摄像头输入的影像生成深度地图；图像生成部，其根据宽带摄像头输入的影像生成GNF图像；以及宽带图像生成部，其接收所述地图生成部与图像生成部的数据生成三维地图模板即宽带图像数据，其中宽带摄像头输入包括具有不同波长的四个信道的信息的影像。由于映射宽带图像数据与车辆位置，因此在车辆行驶时能够利用少量摄像头轻松识别道路及障碍物，能够大幅提高对可行驶区域的识别性能，容易实现车辆用导航仪的定位，提高驾驶员监控摄像头的生物识别能力，从而能够通过提高行驶辅助装置的性能提高驾驶员便利性。

权利要求

1.一种车辆行驶辅助系统，其特征在于，包括：宽带摄像头，其拍摄车辆周边并输入影像；

地图生成部，其根据所述宽带摄像头输入的所述影像生成深度地图；

图像生成部，其根据所述宽带摄像头输入的所述影像生成GNF图像；以及宽带图像生成部，其根据所述深度地图与所述GNF图像生成用于三维地图的宽带图像数据，其中，GNF中G表示‘绿色’、N表示‘近红外线’、F表示‘远红外线’，所述宽带摄像头输入包括具有不同波长的四个信道的信息的所述影像。

2.根据权利要求1所述的车辆行驶辅助系统，其特征在于：所述宽带摄像头输入包括绿色、800nm频带的近红外线、900nm频带的近红外线及远红外线的所述四个信道的信息的所述影像。

3.根据权利要求1所述的车辆行驶辅助系统，其特征在于：所述地图生成部根据所述宽带摄像头输入的所述影像中的绿色、900nm频带的近红外线、红外线的颜色信息从所述影像区分物体并生成所述深度地图。

4.根据权利要求3所述的车辆行驶辅助系统，其特征在于：所述地图生成部根据绿色、900nm频带的近红外线、红外线的波长差异区分所述物体。

5.根据权利要求3所述的车辆行驶辅助系统，其特征在于：所述地图生成部利用所述宽带摄像头输入的所述影像的所述四个信道的颜色信息中的800nm频带的近红外线判断空间信息。

6.根据权利要求5所述的车辆行驶辅助系统，其特征在于：所述地图生成部在近红外线投影仪发射的红外线的光入射到所述宽带摄像头时提取通过所述宽带摄像头的800nm频带的近红外线滤波器接收的红外线的图案判断所述空间信息。

7.根据权利要求5所述的车辆行驶辅助系统，其特征在于：所述地图生成部根据所述红外线的图案与所述影像的视差变化计算深度信息以生成所述深度地图。

8.根据权利要求1所述的车辆行驶辅助系统，其特征在于：所述图像生成部根据所述影像的绿色、900nm频带的近红外线、红外线的颜色信息生成所述GNF图像。

9.根据权利要求1所述的车辆行驶辅助系统，其特征在于：所述宽带图像生成部通过结合所述地图生成部的所述深度地图与所述GNF图像生成作为三维地图的模板的所述宽带图像数据，其中该生成的所述宽带图像数据用于生成三维的全域地图。

10.根据权利要求9所述的车辆行驶辅助系统，其特征在于：所述宽带图像生成部利用坎尼边缘检测方式凸显所述GNF图像的轮廓线以此区分物体区域。

11.根据权利要求1所述的车辆行驶辅助系统，其特征在于，还包括：障碍物检测部，其从所述影像数据检测障碍物，

其中，所述障碍物检测部对所述宽带图像数据中的物体建模并根据距离信息区分障碍物。

12.根据权利要求11所述的车辆行驶辅助系统，其特征在于：所述障碍物检测部根据所述宽带图像数据将除道路区域之外的其他区域设为障碍物区域，并将所述障碍物区域中的部分区域设为关注区域，只对所述关注区域进行障碍物检测。

13.根据权利要求12所述的车辆行驶辅助系统，其特征在于：所述障碍物检测部通过追踪所述关注区域内物体的移动判断该物体是否为妨碍所述车辆行驶的障碍物。

14.根据权利要求1所述的车辆行驶辅助系统，其特征在于，还包括：数据处理部，其通过推定对于所述宽带摄像头拍摄的连续影像的摄像头的相对移动，判断所述车辆的位置，并在行驶过程中持续更新所述车辆的姿势。

15.根据权利要求14所述的车辆行驶辅助系统，其特征在于：所述数据处理部从所述影像中t-1时间的之前影像与t时间的当前影像提取特征点并映射，根据深度信息计算三维映射关系以算出两个时间点之间的转换矩阵，以推定所述车辆的位置。

16.根据权利要求12所述的车辆行驶辅助系统，其特征在于，还包括：通信部，其将所述宽带图像生成部生成的所述宽带图像数据发送到服务器；以及控制部，其通过所述通信部与所述服务器收发数据，结合所述宽带图像数据与全球定位系统信息控制所述车辆的行驶。

17.一种车辆行驶辅助系统的工作方法，其特征在于，包括：从宽带摄像头接收包括四个信道的信息的影像的步骤；

地图生成部根据所述影像的各信道的信息生成深度地图的步骤；

图像生成部根据所述影像生成GNF图像的步骤；以及宽带图像生成部结合所述深度地图与所述GNF图像生成宽带图像数据的步骤，其中，GNF中G表示‘绿色’、N表示‘近红外线’、F表示‘远红外线’。

18.根据权利要求17所述的车辆行驶辅助系统的工作方法，其特征在于，还包括：根据所述宽带图像生成部算出的所述宽带图像数据检测障碍物的步骤。

19.根据权利要求17所述的车辆行驶辅助系统的工作方法，其特征在于，还包括:推定车辆的位置并映射到所述宽带图像数据的步骤。

20.根据权利要求19所述的车辆行驶辅助系统的工作方法，其特征在于，还包括：从所述宽带摄像头输入的所述影像中提取随时间变化得到的之前影像与当前影像的特征点的步骤；以及根据深度信息算出关于所述特征点的映射关系以计算所述之前影像与所述当前影像之间的转换矩阵，以通过所述转换矩阵推定所述车辆的位置的步骤。

说明书

车辆行驶辅助系统及其方法

技术领域

[0001] 本发明涉及车辆行驶辅助系统及其方法，尤其涉及一种车辆在道路上行驶时辨别空间且准确识别行驶道路的车辆行驶辅助系统及其方法。

背景技术

[0002] 目前，车辆普遍都搭载有识别周边状况并提供该信息，用来辅助车辆行驶，为驾驶员提供便利的系统。

[0003] 通过识别空间来识别车辆行驶道路的技术有很多种。

[0004] 目前，一般通过利用光电二极管收集影像、收集窄带影像数据的收集装置、提取分界线的装置等辅助车辆行驶。

[0005] 但由于这些装置的可处理范围有限，因此在运用方面受到限制。例如，由于不处理可视光线之外的频带(<400nm，>700nm)，因此可利用频带有限，并且由于受到频带的限制，因此还有色域窄、用于提取分界线及识别客体的资源有限的问题。

[0006] 并且，由于用于提取分界线及识别客体的资源受限，因此无论采用多么优秀的后处理算法都受到处理色域数据的限制，因此识别性能有限，尤其对道路行驶环境起到不利作用。道路行驶环境以无彩色为主，因此限于可视光线区域时空间识别能力不足在所难免。

[0007] 分割道路影像时，对沥青与水泥部分的分割精确度极低。

[0008] 目前还有一种获取三维空间信息的装置，但为了获取三维空间信息，现有的三维空间信息获取装置需要在车辆上安装雷达传感器、可测深度摄像头(TOF camera)、立体摄像头、红外线摄像头、超声波传感器、激光等多种传感器和摄像头，由于使用大量设备，因此具有费用上升的问题。

[0009] 并且，由于深度地图(Depth map)与RGB摄像头之间的像素信息互异，因此融合RGB摄像头与三维的空间信息时信号/影像处理复杂度上升，需要高度化算法，因此会造成软件负荷上升，难以实现实时处理。

[0010] 对于车辆而言，如果摄像头与传感器或摄像头与摄像头的位置不固定，而是处于移动的环境，那么整合难度将进一步上升，需要极其复杂的算法，因此处理时间相应增多，准确度也大幅下降。

[0011] 因此需要一种比较简单且准确度更高的系统。

发明内容

[0012] 本发明的目的在于提供一种提高道路行驶用影像摄像头的空间识别功能，通过有效提取轮廓线以准确识别行驶道路，从而能够辅助车辆行驶的车辆行驶辅助系统及其方法。

[0013] 本发明的车辆行驶辅助系统，其特征在于包括：宽带摄像头，其拍摄车辆周边并输入影像；地图生成部，其根据所述宽带摄像头输入的所述影像生成深度地图(Depth Map)；图像生成部，其根据所述宽带摄像头输入的所述影像生成GNF(由Green、NIR2及FIR构成的)图像；以及宽带图像生成部，其根据所述深度地图(Depth Map)与所述GNF图像生成用于三维地图的宽带图像数据，其中所述宽带摄像头输入包括具有不同波长的四个信道的信息的所述影像。

[0014] 本发明的特征在于所述宽带摄像头输入包括绿色(Green)、800nm频带的近红外线(Near Infrared 1；NIR1)、900nm频带的近红外线(Near Infrared 2；NIR2)及远红外线(Far Infrared；FIR)的所述四个信道的信息的所述影像。

[0015] 并且，本发明的车辆行驶辅助系统的工作方法包括：从宽带摄像头接收包括四个信道的信息的影像的步骤；地图生成部根据所述影像的各信道的信息生成深度地图(Depth Map)的步骤；图像生成部根据所述影像生成GNF图像的步骤；以及宽带图像生成部结合所述深度地图(Depth Map)与所述GNF图像生成宽带图像数据的步骤。

[0016] 本发明的车辆行驶辅助系统及其方法在车辆行驶时能够利用少量摄像头轻松识别道路及障碍物，因此能够大幅提高对可行驶区域的识别性能，容易实现车辆用导航仪的定位，提高驾驶员监控摄像头的生物识别能力，从而能够通过提高行驶辅助装置的性能提高驾驶员便利性。

附图说明

[0017] 图1为本发明的车辆行驶辅助系统的构成的框图；

[0018] 图2为本发明的车辆行驶辅助系统的摄像头的构成的示意图；

[0019] 图3为以概念方式显示根据本发明一个实施例的受光元件的结构的示意图；

[0020] 图4至图6C为说明利用图2所示摄像头识别道路的识别方法的示意图；

[0021] 图7为本发明的车辆行驶辅助系统处理影像时提取宽带图像数据的数据流的示意图；

[0022] 图8为说明图7中宽带图像数据的提取方法的示意图；

[0023] 图9为说明利用图7的不同波长的信号生成图像的举例示意图；

[0024] 图10为本发明的车辆行驶辅助系统检测障碍物的实施例的示意图；

[0025] 图11为本发明的车辆行驶辅助系统检测行人的实施例的举例示意图；

[0026] 图12为显示本发明的车辆行驶辅助系统的构成的示意图；

[0027] 图13为本发明的三维全域地图(3D Global map)生成方法的流程图；

[0028] 图14至图16为说明车辆行驶时拍摄的影像、宽带图像及三维全域地图的举例示意图。

具体实施方式

[0029] 参照附图及结合附图详细说明的以下实施例可明确本发明的优点、特征及其达成方法。但是，本发明并非限定于以下公开的实施例，而是以不同的多种形态实现，本实施例仅使本发明的公开更加完整，是为了使本发明所属技术领域的普通技术人员能够容易理解本发明的范畴而提供的，本发明由技术方案的范畴所定义。在说明书全文中相同的附图标记表示相同的构成要素。

[0030] 图1为本发明的车辆行驶辅助系统的构成的框图。

[0031] 如图1所示，车辆包括宽带摄像头120、地图生成部130、图像生成部140、宽带图像生成部150、数据处理部160、障碍物检测部170、行驶部180、通信部190、数据部195及控制车辆的所有动作的控制部110。

[0032] 并且，车辆包括用于驱动车辆的发动机或电机、变速器等构件，还可以包括多个传感器，但以下省略有关此部分的说明。

[0033] 并且，车辆包括具有根据驾驶员的操作输入预定信号的多个开关的输入装置(未示出)、输出电动车辆的当前状态动作信息的输出装置(未示出)、方向盘、油门、制动器等用于驾驶的操作构件。

[0034] 其中，输入装置包括按照车辆行驶状态控制方向指示灯、尾灯、头灯、雨刷等构件的动作的多个开关、按键等。

[0035] 输出装置包括显示信息的显示部、输出音乐、效果音及警报音的扬声器、车辆仪表盘及各种状态灯。输出装置输出速度信息、车灯开启情况等有关当前车辆动作的所有状态信息。尤其，输出装置在车辆发生异常时输出相应的警报，可以通过显示部输出预定图像。在此，车辆可以通过音响或语音警报音、警报灯、警报消息、警报图像中的至少一种方式输出警报。

[0036] 数据部195存储有关车辆行驶的行驶数据、用于判断车辆是否异常的基准数据、车辆行驶过程中生成的数据。并且，数据部195存储宽带摄像头120输入的影像、处理影像的过程中生成的数据、三维的图像数据、从影像提取的障碍物相关信息。

[0037] 行驶部180按照通过操作装置接收的输入及控制部110的控制命令控制使得车辆各构成工作，以使车辆移动且按驾驶员的操作行驶。行驶部180根据控制命令直接控制发动机、变速器，制动器等构件的驱动。

[0038] 通信部190包括多个通信模块，用于车辆与外部之间收发数据。尤其在利用三维地图自适应巡航的过程中，通信部190与向车辆提供信息的服务器(未示出)进行通信。

[0039] 控制部110根据输入装置的转换操作进行控制以使预定车灯开启，或控制方向指示灯开启和关闭，根据对油门或制动器的操作控制车辆加速或减速。并且，控制部110感测车辆异常，并使输出装置输出相应的警报。

[0040] 宽带摄像头120拍摄车辆周边并输入影像。在此，宽带摄像头120包括广角透镜。并且，宽带摄像头120输入包括四个信道的颜色信息的影像。

[0041] 地图生成部130分析宽带摄像头120输入的影像并生成深度地图(Depth Map)。

[0042] 图像生成部140分析宽带摄像头120输入的影像并生成GNF图像。

[0043] 宽带图像生成部150分析地图生成部130的数据与图像生成部140的数据生成三维的地图模板(template)。

[0044] 数据处理部160分析宽带摄像头120生成2.5维的结构体。在此，数据处理部160根据2.5维的结构体判断车辆位置并映射到三维地图。

[0045] 障碍物检测部170通过分析宽带摄像头120输入的影像检测障碍物。

[0046] 控制部110根据生成的三维地图控制行驶部180以使车辆行驶。控制部110通过通信部190将生成的数据发送给服务器2并从服务器2接收关于位置信息或三维地图的数据，向行驶部180输入控制命令使得车辆行驶。

[0047] 以下参照附图详细说明三维地图的生成。

[0048] 图2为本发明的车辆行驶辅助系统的宽带摄像头的构成的示意图。

[0049] 如图2所示，车辆上的宽带摄像头120包括图像传感器(Charged Coupling Device；CCD)124及影像处理部125。图像传感器124由多个像素121构成。像素数决定图像传感器的像素。

[0050] 如图2中(A)所示，预定频率以上的光入射像素121时发生放出像素的导体内部的光电子的光电效应。

[0051] 如图2中(B)所示，在各像素121发生的光电子通过图像传感器内部的转换部123转换成具有预定大小的电压的信号。

[0052] 在此，图像传感器124利用透过频带的滤波器确定颜色。图像传感器124不采用现有RGB过滤方式，而是根据绿色(Green)、800nm频带的近红外线(Near Infrared 1；NIR1)、900nm频带的近红外线(Near Infrared；NIR2)2、远红外线(Far Infrared；FIR)四个信道信息，以GN1N2F的信号处理方式确定颜色。

[0053] 图像传感器124的颜色信息及各像素的电压信号输入到影像处理部125。

[0054] 影像处理部125如图2中C所示，通过处理各像素的信号构成各时间的影像帧，并输出由多个影像帧构成的影像I。在此，影像I是除可视光之外还收录有非可视光数据的宽带影像。输出的影像I的频带为300至1100nm。

[0055] 如上，宽带摄像头120能够获取超过人类视觉上限的宽带分光影像，因此作为车辆行驶用摄像头使用时能够利用宽带的影像I提高道路识别性能、障碍物识别性能及前方车辆识别性能。

[0056] 图3为以概念方式显示图2所示宽带摄像头的受光元件的结构的示意图。如图3所示，图像传感器124适用受光滤波器122。

[0057] 受光滤波器122过滤入射光以选择性地透过光，透过的光除可视光之外还包括非可视光。即，受光滤波器122使宽带的光透过。

[0058] 如以上所述，通过受光滤波器122确定颜色，以获取四个信道的颜色信息。

[0059] 这种受光滤波器122是多个簇C重复配置而成的形态。一个簇C包括可调式光分路滤波器(G filter)G、近红外线1滤波器NIR1、近红外线2滤波器NIR2及远红外线滤波器FIR。

[0060] G滤波器是使可视光中的绿色(Green)光透过的滤波器，NIR1滤波器NIR1是使800nm频带的近红外线(Near Infrared-1；NIR1)透过的滤波器，NIR2滤波器是使900频带的近红外线(Near InfraRed-2；NIR2)光透过的滤波器，FIR滤波器是使红外线(远红外线,Far Infrared；FIR)透过的滤波器。

[0061] 其中，绿色(Green)光是可视光，NIR1、NIR2光及FIR光是非可视光。使可视光中的绿色(Green)光透过的原因在于绿色(Green)光是人的视觉最为敏感的光。

[0062] 在此，可采用使绿色(Green)光之外的其他波长的可视光透过的滤波器。并且，可以去除一个近红外线滤波器并包括紫外线(UV)滤波器。UV滤波器是使紫外线(UltraViolet；UV)光透过的滤波器。

[0063] 如上所述，适用图3所示受光滤波器122的图像传感器124不仅可以感测绿色(Green)光，还能够感测近红外线NIR1、NIR2及红外线(远红外线)FIR等非可视光。

[0064] 上述说明的簇C的排列及结构可以采用当前已商业化的受光滤波器的排列及结构，只需变更滤波器种类即可，因此能够最小化变更所需费用。

[0065] 图4至图6C为说明利用图2所示摄像头识别道路的识别方法的示意图。

[0066] 例如，图4中(A)所示的新建道路与图4中(B)所示的老旧道路相比，沥青与混凝土具有不同的反射率。如果是老旧道路，那么沥青与混凝土的反射率相近，因此可能无法通过可视光区分。因此，无法利用现有一般摄像头区分老旧道路的沥青R3、路缘石R1及侧沟R2。

[0067] 其原因如图5所示，在可视光频带下沥青的特性曲线R12与混凝土的特性曲线R11相近。

[0068] 但如图6A至图6C所示，在近红外线(NIR)频带下沥青与混凝土的频带特性曲线图的斜率不同，因此在利用宽带摄像头120获取道路的影像数据时还能够区分老化道路的沥青R3、路缘石R1及侧沟R2等。因此能够提高车辆驻车及自适应巡航精确度。

[0069] 上述实施例说明的是受光滤波器122使可视光与非可视光均透过的情况，但也可以仅透过可视光之外的非可视光。并且说明了红外线(IR)透过及受光，但也可以选择性地使紫外线(UV)透过、受光。并且，上述实施例说明了区分为近红外线(NIR)与远红外线(FIR)透过、受光，但也可以不加以区分，而是与红外线(IR)一起透过、受光，也可以透过、受光两个以上的可视光频带(波长)。在此，若可视光数量增加，那么非可视光数量减少。

[0070] 另外，设置两个宽带摄像头120构成立体视觉的情况下，能够感测八个频带(波长)的可视光/非可视光。

[0071] 图7为本发明的车辆行驶辅助系统处理影像时提取宽带图像数据的数据流的示意图。

[0072] 如图7所示，利用图像传感器124输入的影像11通过适用于图像传感器124的受光滤波器122包括光波长的频率各异的绿色(Green)21、NIR1即22、NIR2即23及FIR即24这四个信道的颜色信息。即，通过宽带摄像头120获取的影像数据包括四个信道的颜色信息。

[0073] 如上区分的颜色信息分别用于生成深度地图(Depth Map)31与GNF图像32。

[0074] 在此，地图生成部130利用影像数据中的800nm频带的NIR1即22信道判断空间信息。并且，地图生成部130根据影像数据的颜色信息区分物体。尤其，地图生成部130利用绿色21、NIR2即23及FIR即24的颜色信息从影像中区分物体。例如，可以利用各信道的颜色信息区分沥青与路缘石。并且，使用绿色21、NIR2即23及FIR即24信道的情况下雾及光反射影响较小，因此容易区分区域。

[0075] 宽带图像生成部150根据深度地图(Depth Map)31与GNF图像32生成宽带图像数据41。对此，可以结合宽带图像数据与车辆位置信息输出三维的全域地图(global map)。

[0076] 图8为说明图7中宽带图像数据的提取方法的示意图。

[0077] 如图8中(A)所示，地图生成部130在生成深度地图(Depth Map)31时利用影像数据中的800nm频带的NIR1即22、NIR投影仪判断空间信息。

[0078] 在步骤S1中，NIR投影仪以像素为单位发射800nm频带的红外线光。此时，步骤S2中，宽带摄像头120在被物体反射的红外线光入射时从NIR1即22信道接收红外线光。在步骤S3中，地图生成部130分析通过NIR1信道接收的红外线光的图案并构成深度地图(Depth Map)。

[0079] 如图8中(B)所示，地图生成部130事先从参照区域(reference scene)提取投影的红外线图案，控制部110将提取的红外线图案存储到数据部195。

[0080] 地图生成部130根据存储的红外线图案，通过被对象区域(Object Plane)反射的红外线图案与视差变化计算深度信息。深度信息通过三角函数进行计算，通过如下数学式算出。

[0081] 【数学式1】

[0082]

[0083] 【数学式2】

[0084]

[0085] 其中，Zk是点k与宽带摄像头120之间的距离，Z0是参照区域的深度值，b是NIR投影仪L与宽带摄像头120之间的距离，d是图像平面(Image plane)记录的视差，D是对象区域(Object Plane)的点k的移动视差。将数学式2中的D值代入数学式1时，距离值Zk表示为如以下数学式3，其作为深度信息输出。

[0086] 【数学式3】

[0087]

[0088] 在此，生成深度地图(Depth Map)时利用上述说明的多个信道的颜色信息，因此深度地图(Depth Map)与影像的图像一致，三维图像生成于相同的光学轴(Optical axis)上。因此地图生成部130在考虑宽带摄像头120的移动的同时根据算出的深度信息生成深度地图(Depth Map)。

[0089] 使用现有RGB滤波器的情况下深度地图(Depth Map)与RGB滤波器的信息之间不一致，因此需要适用复杂的算法生成三维图像，计算量非常大，故发生时间延迟、精确度低。

[0090] 而本发明如上所述，通过宽带摄像头120获取的影像数据包括绿色21、NIR1即22、NIR2即23及FIR即24四个信道的信息，生成的深度地图(Depth Map)与图像生成于相同的光学轴，因此容易整合其生成三维的宽带图像数据。

[0091] 图9为说明利用图7的不同波长的信号生成图像的举例示意图。其中，图9中(A)、(D)是可视光影像，图9中(B)、(E)是远红外线影像，图9中C、(F)是可视光影像与远红外线影像结合得到的影像。

[0092] 如图9所示，可视光影像、近红外线影像与远红外线影像具有不同的波长(Wavelength)，因此显示出来的影像信息各异。

[0093] 本发明的车辆行驶辅助系统能够通过红外线影像显示由于这些波长的差异而无法通过可视光影像显示的热信息。

[0094] 在此，物体如沥青如上述图4、图5、图6A至图6C所示，反射率因其寿命而异，在所述物体为混凝土(concrete)的情况下其反射率因所混合材料而异。通过这些差异，本发明的车辆行驶辅助系统利用波长能够容易区分物体。

[0095] 尤其在利用远红外线影像的情况下，即使遇到雾天或阴天等天气变化也能够较为准确地检测物体，由于具有较长的波长，因此还能够清晰拍摄远处的物体。在采用近红外线的情况下，能够较为准确地区分沥青与路缘石等无法通过可视光线进行区分的区域。

[0096] 图像生成部140融合宽带摄像头120的影像数据中的上述说明的三种波长带的影像生成GNF图像。

[0097] 宽带图像生成部150结合地图生成部130与图像生成部140输入的深度地图(Depth Map)与GNF图像生成关于地形地物信息的宽带图像数据。宽带图像数据是三维的地图模板，该数据用于生成三维地图。

[0098] 在此，宽带图像生成部150根据坎尼边缘检测方法(Canny Edge detection)凸显二维的GNF图像的轮廓线以区分物体区域。因此像路缘石与沥青这种深度信息相同的情况下，较为容易区分需要区分的区域。

[0099] 图10为本发明的车辆行驶辅助系统检测障碍物的实施例的示意图。

[0100] 如上所述，在生成宽带图像数据的情况下，宽带图像数据不仅包括物体的外形，还包括其距离信息，因此障碍物检测部170根据宽带图像数据中的物体类型及距离信息识别障碍物。

[0101] 如图10中(A)所示，障碍物检测部170根据宽带图像数据的距离信息区分道路区域B与障碍物区域A。

[0102] 在此，障碍物检测部170根据宽带图像数据及三次B曲线(Cubic B-Spline)函数对物体建模以此区分障碍物。在此，利用距离信息区分障碍物。

[0103] 障碍物检测部170将除道路区域B之外的其他区域设为障碍物区域A，只对设定的障碍物区域A进行障碍物的区分。障碍物检测部170不对道路区域B进行障碍物的区分，因此相关计算量减少。

[0104] 并且如图10中(B)所示，障碍物检测部170可以区分障碍物区域并将部分障碍物区域设为关注区域C。

[0105] 尤其，障碍物检测部170可以根据推定障碍物与道路面得到的结果检测障碍物区域的车辆，以缩小要适用的关注区域。因此，障碍物检测部170容易判断关注区域C的障碍物。并且，关注区域减少的情况下障碍物检测部170的计算量减少，因此错误检测比例也随之下降。

[0106] 障碍物检测部170根据关注区域内物体的移动判断是不是正在靠近车辆的障碍物。

[0107] 图11为本发明的车辆行驶辅助系统检测行人的实施例的举例示意图。

[0108] 如图11所示，障碍物检测部170利用包括四个信道的信息的宽带图像数据中的影像亮度、热、深度信息检测障碍物尤其是行人。

[0109] 如图11中(A)所示，障碍物检测部170可以利用热信息，根据行人的体温基于支持向量机(Support Vector Machine；SVM)从热影像区分行人。

[0110] 并且如图11中(B)所示，障碍物检测部170可以根据宽带图像数据中的亮度信息基于哈尔分类器(Haar Classifier)检测行人。如图11中C所示，也可以利用深度(Depth)信息检测行人。

[0111] 障碍物检测部170结合上述根据各信息检测的行人信息以最终设定行人区域。因此不仅容易检测行人，并且还能够提高检测精确度。

[0112] 图12为显示本发明的车辆行驶辅助系统的构成的示意图。

[0113] 如图12所示，车辆1将宽带图像生成部150生成的宽带图像数据发送到服务器2，服务器2接收宽带图像数据并累积存储。

[0114] 服务器2根据累积存储的宽带图像数据向多个车辆提供三维地图信息，具体是判断车辆位置并映射到三维地图后提供该信息。

[0115] 在此，车辆1的控制部110根据包括宽带图像生成部150生成的距离信息及行驶环境信息的宽带图像数据的三维地图，结合GPS信息控制行驶部180，以确保车辆能够自适应巡航。

[0116] 在此，为了持续更新正在行驶的车辆的姿势，通过推定对于宽带摄像头120拍摄的连续影像帧的摄像头的相对移动以识别车辆位置。数据处理部160将推定得到的车辆位置信息累积存储到数据部195。

[0117] 数据处理部160为推定宽带摄像头120的移动而采用的输入值是结合t-1时间的之前影像与t时间的当前影像生成的2.5维距离影像。其中，2.5维距离影像是结合GNF图像的二维排列与从NIR1信道获取的三维距离信息得到的数据结构体。

[0118] 数据处理部160根据2.5维距离影像如下计算关于连续的立体影像帧的宽带摄像头的相对移动T。

[0119] 数据处理部160在接收到二维影像时利用SURF算法提取分别在t-1与t时间获取的影像即之前影像与当前影像的二维特征点。数据处理部160相互映射特征点，生成t-1帧与t帧之间的一致点群。初始映射结果可能包括因误映射而产生的错误，因此数据处理部160适用对极几何约束与RANSAC算法去除异常值(outlier)。

[0120] 数据处理部160在生成去除异常值的一致点群后，利用具有深度信息的2.5维距离影像计算t-1时间点与t时间点之间的三维-三维映射关系，以此计算两个时间点之间的转换矩阵。在此，数据处理部160在已确定三维-三维映射关系后可以利用最小二乘方拟合(least square fitting)方法算出三维相对移动T。数据处理部160在通过移动推定过程确定t-1时间点与t时间点之间的转换矩阵T后，累积之前时间点计算的转换矩阵算出用于从t时间的摄像头坐标系移动到世界坐标系的转换矩阵Tcw。

[0121] 如上，数据处理部160根据宽带摄像头120从宽带图像数据的三维地图识别车辆位置。根据需要，可以通过服务器2执行。

[0122] 另外如上所述，宽带图像生成部150根据地图生成部130的深度地图(Depth Map)与图像生成部140的GNF图像生成宽带图像数据以生成三维的全域地图(global map)。

[0123] 在此，为了生成三维的全域地图，宽带图像生成部150对于宽带图像数据，以节点为单位存储和管理根据曲线图理论推定影像帧移动的过程中获取的信息。

[0124] 并且，数据处理部160对连续的影像推定摄像头移动的情况下，推定的移动信息及距离信息每次都数据库化进行存储。因此，每个立体帧被分配一个节点。因此，节点由一个二维影像场景(scene)与关于影像场面的三维信息构成。

[0125] 数据处理部160根据宽带摄像头识别位置，确定Tcw后t时间的节点Nt存储如数学式4所示SURF特征点Ft,k与对应于Ft,k的三维世界坐标点Xwt,k。三维世界坐标Xwt,k通过数学式5计算得到。

[0126] 【数学式4】

[0127]

[0128] 【数学式5】

[0129] Ft，k＝[xt，k，θt，k，σt，k，dt，k]

[0130] 数学式4及数学式5中，Ft,k、σt,k及dt,k表示各时间的第k个SURF特征点Ft,k的二维影像坐标的特征点的旋转角、特征点的大小及特征点描述符，Xct,k表示关于Ft,k的摄像头坐标系上的三维点。

[0131] 【数学式6】

[0132]

[0133] 【数学式7】

[0134]

[0135] 根据二维影像坐标xt,k与t时间的距离影像ITt按数学式7获得Xct,k。

[0136] 可以通过上述方法构建三维的全域地图，实时融合宽带摄像头120输入的影像及GPS信息并适用到自适应巡航。

[0137] 图13为本发明的三维全域地图生成方法的流程图。

[0138] 如图13所示，在步骤S310中拍摄宽带摄像头120拍摄并输入影像，此时在步骤S320中地图生成部130生成深度地图(Depth Map)，在步骤S330中图像生成部140生成GNF图像。

[0139] 在步骤S340中宽带图像生成部150结合深度地图(Depth Map)与GNF图像生成宽带图像数据。

[0140] 另外，在步骤S350中对于宽带摄像头120输入的影像，数据处理部160根据随时间变化的影像变化生成2.5维的结构体。在步骤S360中，数据处理部160映射SURF特征点，在步骤S370中利用RANSAC去除异常值。在步骤S380中，数据处理部160计算转换矩阵，在步骤S390中根据宽带摄像头120的影像识别三维地图上的车辆位置。

[0141] 宽带图像生成部150根据宽带图像数据的三维地图及从当前输入的影像识别的车辆位置生成三维全域地图。

[0142] 如上生成的三维全域地图用于车辆自适应巡航。

[0143] 图14至图16为说明车辆行驶时拍摄的影像、宽带图像及三维全域地图的举例示意图。

[0144] 如图14中(A)所示，对于车辆执行自适应巡航的过程中输入的影像，根据如图14中(B)所示宽带图像数据的颜色提取轮廓线，并按上述说明分割影像，利用深度信息构建用于三维地图的宽带图像数据的数据库。

[0145] 因此如图15中(A)及(B)所示，存储关于三维地图的信息。

[0146] 在此，宽带图像数据存储在服务器2中以云方式应用，因此向多个车辆提供关于三维地图的信息。车辆行驶辅助系统根据宽带图像数据区分沥青与水泥，在无建筑物的农村地区或野外，按季节、时间、气候获取关于周围大树或斜坡的影像的信息并加以利用。

[0147] 在车辆行驶过程中，宽带图像生成部150根据宽带摄像头120输入的影像生成宽带图像数据，数据处理部160推定车辆的位置。控制部110通过通信部190把生成的宽带图像数据实时发送给服务器2。

[0148] 此时，服务器2将接收的数据结合到预先存储的宽带图像数据测定车辆位置并执行地图映射。根据情况，可以通过车辆1的数据处理部160执行。

[0149] 服务器2向车辆发送映射的信息。通过重复以上过程，车辆1结合接收到的信息行驶。并且，车辆1在行驶过程中可以避开检测到的障碍物行驶。

[0150] 因此如图16所示，车辆能够通过三维地图信息与识别到的车辆位置实现自适应巡航。

[0151] 本发明从宽带摄像头120的影像获取四个信道的颜色信息，在不增加其他装置的情况下可以通过上述颜色信息识别道路、检测障碍物。并且，可以根据宽带摄像头120的影像生成三维地图并映射车辆位置适用到自适应巡航。

[0152] 以上记载的“包括”、“构成”、“具有”等术语在没有特殊相反记载的情况下表示可具有相应构成要素，因此应理解为还包括其他构成要素，而不得理解为其他构成要素排除在外。

[0153] 以上图示本发明的优选实施例并进行了说明，但本发明并不限定于特定实施例，本发明所属技术领域的普通技术人员在不脱离技术方案的前提下可做多种变形实施，这些变形实施应视为不脱离本发明的技术思想或前景。