车辆驾驶辅助系统转让专利
申请号 : CN200610092523.9
文献号 : CN100582673C
文献日 : 2010-01-20
发明人 : 铃木勇 , 吉田一郎 , 松井佑允 , 加藤建史
申请人 : 株式会社电装
摘要 :
显示单元(1)在车辆前玻璃上或者穿过车辆前玻璃显示所提供的图像信息。系统控制器(2)产生和提供图像信息给显示装置(1)。图像信息表示行驶车道的车道引导(G)，其对应于从驾驶员的视点位置穿过前玻璃(11)看到的行驶车道的外形。系统控制器(2)将由显示单元(1)显示的车道引导(G)的显示颜色设置成与道路表面的颜色不同的颜色。
权利要求 :
1、一种车辆驾驶辅助系统，包括：
显示装置，用于在车辆的前玻璃上或者穿过车辆的前玻璃显示所提供 的图像信息；
信息获取装置，用于获取车道信息，所述车道信息表示所述车辆沿着 其行驶的行驶车道的外形和位置；
视点检测装置，用于检测所述车辆的驾驶员的视点位置；
图像信息产生装置，用于产生和提供所述图像信息给所述显示装置， 其中所述图像信息表示所述行驶车道的至少一个车道引导，所述至少一个 车道引导对应于从所述检测的驾驶员的视点位置穿过所述前玻璃看到的所 述行驶车道的形状，以及，所述图像信息产生装置基于由所述视点检测装 置检测到的所述检测的驾驶员的视点位置和由所述信息获取装置获取的所 述车道信息，通过计算产生所述图像信息；
背景颜色检测装置，用于检测位于所述车辆前方的道路表面的颜色； 和
显示颜色调整装置，用于将由所述显示装置显示的所述至少一条车道 引导的显示颜色设置成与由所述背景颜色检测装置检测到的所述检测的道 路表面的颜色不相同的颜色，其中，所述车道信息被构造成包括障碍物信息，其表示沿着所述行驶 车道的两个相对侧边中的至少一个存在障碍物；以及当基于包括表示存在障碍物的所述障碍物信息的所述车道信息由所述 图像信息产生装置计算表示所述至少一条车道引导的所述图像信息时，所 述显示颜色调整装置将所述至少一条车道引导的所述显示颜色设置成预定 警告颜色。
2、根据权利要求1的车辆驾驶辅助系统，其中，所述至少一条车道引 导包括两条引导线，每一条引导线对应于所述行驶车道的两个相对侧边中 的相应侧边的外形。
3、根据权利要求1的车辆驾驶辅助系统，其中，所述显示颜色调整装 置以所述至少一条车道引导的所述显示颜色的亮度与由所述背景颜色检测 装置检测到的所述检测的道路表面的颜色的亮度之间的差值变得等于或者 大于预设值的方式，设置所述至少一条车道引导的所述显示颜色的所述亮 度。
4、根据权利要求1的车辆驾驶辅助系统，其中，所述显示颜色调整装 置以所述至少一条车道引导的所述显示颜色的色调与由所述背景颜色检测 装置检测到的所述检测的道路表面的颜色的色调之间的差值变得等于或者 大于预设值的方式，设置所述至少一条车道引导的所述显示颜色的所述色 调。
5、根据权利要求1的车辆驾驶辅助系统，还包括：
位置检测装置，用于检测所述车辆的位置；以及
道路地图数据库，其存储表示所述行驶车道的所述外形和位置的所述 车道信息，其中，所述信息获取装置可访问所述道路地图数据库，并且基 于所述位置检测装置的检测输出从所述道路地图数据库获取表示所述行驶 车道的所述外形和位置的所述车道信息。
6、根据权利要求1的车辆驾驶辅助系统，还包括雪检测装置，用于检 测在所述车辆沿着其行驶的所述道路表面上的雪状态，其中当所述雪检测 装置检测到在所述道路表面上有雪时，所述显示颜色调整装置将所述至少 一条车道引导的所述显示颜色设置成非相似颜色，所述非相似颜色不同于 所述道路表面上存在的雪的表面的颜色。
7、根据权利要求1的车辆驾驶辅助系统，还包括图像捕获装置，用于 捕获在所述车辆前方的景象的图像，其中所述信息获取装置从由所述图像 捕获装置捕获的所述捕获图像中提取表示所述行驶车道的所述外形和位置 的所述车道信息。
8、根据权利要求7的车辆驾驶辅助系统，其中，所述图像捕获装置是 照相机，其能够捕获低亮度级的图像。
说明书 :
技术领域
本发明涉及车辆驾驶辅助系统。
背景技术
近来，已经提出了使用仰视显示器的车辆驾驶辅助系统(参见未审查 的公开号为2005-78414的日本专利)。仰视显示器以将图像信息显示为与 车辆前方景象重叠的虚拟图像的方式，将车辆辅助信息投射在车辆前玻璃 (挡风玻璃)上作为图像信息。使用这样的车辆驾驶辅助系统，有利地减 少了驾驶员视线的(也称作视力线)移动量，因此能够有利地减少驾驶员 对驾驶辅助信息的误解。由于上面的原因，上面的驾驶辅助系统被广泛地 接受。
在一些不利环境条件下驾驶车辆时，诸如在下雨的晚上驾驶车辆或者 沿着覆盖雪的道路驾驶车辆时，对于车辆驾驶员来说，视觉上识别表示驾 驶员自己车辆的行驶车道的车道标记(白线或者黄线)有时是困难的或者 不可能的。为了安全的原因，不期望这种情形。
为了消除上述情形，可以使用上面的驾驶辅助系统以与虚拟行驶车道 相关联地显示车道引导的方式，将表示自己车辆的行驶车道的车道引导显 示在通过车辆前玻璃所看到的景象(即，车辆驾驶员的前方景象)上。然 而，在上面的不利环境情况中，由仰视显示器显示在前玻璃上的车道引导 的颜色变得于它的背景色类似，由此很难由驾驶员识别。
在一些不利环境条件下驾驶车辆时，诸如在下雨的晚上驾驶车辆或者 沿着覆盖雪的道路驾驶车辆时，对于车辆驾驶员来说，视觉上识别表示驾 驶员自己车辆的行驶车道的车道标记(白线或者黄线)有时是困难的或者 不可能的。为了安全的原因，不期望这种情形。
为了消除上述情形，可以使用上面的驾驶辅助系统以与虚拟行驶车道 相关联地显示车道引导的方式，将表示自己车辆的行驶车道的车道引导显 示在通过车辆前玻璃所看到的景象(即，车辆驾驶员的前方景象)上。然 而，在上面的不利环境情况中，由仰视显示器显示在前玻璃上的车道引导 的颜色变得于它的背景色类似，由此很难由驾驶员识别。
发明内容
本发明解决上述缺点。因此，本发明的一个目的在于提供一种车辆驾 驶辅助系统，其能够以在一些不利环境情况下由车辆驾驶员更好地识别至 少一个车道引导的方式，来显示该至少一个车道引导，该至少一个车道引 导对应于自己车辆的行驶车道的外形。
为了达到本发明的目的，提供了一种车辆驾驶辅助系统，包括显示装 置、信息获取装置、视点检测装置、图像信息产生装置、背景色检测装置 以及显示颜色调整装置。显示装置用于在车辆的前玻璃上或者穿过车辆的 前玻璃显示所提供的图像信息。信息获取装置用于获取车道信息，该车道 信息表示车辆沿着其行驶的行驶车道的外形和位置。视点检测装置用于检 测车辆驾驶员的视点位置。图像信息产生装置用于产生和提供该图像信息 给显示装置。图像信息表示行驶车道的至少一个车道引导，该至少一个车 道引导对应于从驾驶员的视点位置穿过前玻璃看到的行驶车道的外形。基 于由视点检测装置检测到的所检测的驾驶员的视点位置以及由信息获取装 置获取的车道信息，图像信息产生装置通过计算产生图像信息。背景颜色 检测装置用于检测位于车辆前方的道路表面的颜色。显示颜色调整装置用 于将由显示装置显示的至少一个车道引导的显示颜色设置成与由背景颜色 检测装置检测到的所检测的道路表面的颜色不相同的颜色。
为了达到本发明的目的，提供了一种车辆驾驶辅助系统，包括显示装 置、信息获取装置、视点检测装置、图像信息产生装置、背景色检测装置 以及显示颜色调整装置。显示装置用于在车辆的前玻璃上或者穿过车辆的 前玻璃显示所提供的图像信息。信息获取装置用于获取车道信息，该车道 信息表示车辆沿着其行驶的行驶车道的外形和位置。视点检测装置用于检 测车辆驾驶员的视点位置。图像信息产生装置用于产生和提供该图像信息 给显示装置。图像信息表示行驶车道的至少一个车道引导，该至少一个车 道引导对应于从驾驶员的视点位置穿过前玻璃看到的行驶车道的外形。基 于由视点检测装置检测到的所检测的驾驶员的视点位置以及由信息获取装 置获取的车道信息，图像信息产生装置通过计算产生图像信息。背景颜色 检测装置用于检测位于车辆前方的道路表面的颜色。显示颜色调整装置用 于将由显示装置显示的至少一个车道引导的显示颜色设置成与由背景颜色 检测装置检测到的所检测的道路表面的颜色不相同的颜色。
附图说明
从下面的描述、附加的权利要求书以及附图，将最好地理解本发明及 其附加的目的、特点和优点。
图1是示出了根据本发明一个实施例的车辆驾驶辅助系统的完整结构 的框图；
图2是表明了根据该实施例在系统控制器中执行的控制操作的流程 图；
图3是以简化的方式示出了根据该实施例的在车辆驾驶员座位周围的 景象的示图；和
图4是示出了该实施例的变型的流程图。
图1是示出了根据本发明一个实施例的车辆驾驶辅助系统的完整结构 的框图；
图2是表明了根据该实施例在系统控制器中执行的控制操作的流程 图；
图3是以简化的方式示出了根据该实施例的在车辆驾驶员座位周围的 景象的示图；和
图4是示出了该实施例的变型的流程图。
具体实施方式
将参考图1到3来描述本发明的实施例。
图1是示出了根据本实施例的车辆驾驶辅助系统的完整结构的框图。
参考图1，显示单元(作为显示装置)1是一个已知类型的仰视显示器， 包括显示模块和反射镜。显示模块产生图像，并且可以是组合的模块，包 括彩色液晶显示器(LCD)面板和光源单元的组合。显示单元1可以放置 在例如驾驶员座位前方的车辆仪表板处。显示单元1在位于驾驶员座位前 方的车辆前玻璃(挡风玻璃)上投射与所提供的图像信息相对应的图像， 以便该图像被显示为穿过前玻璃的虚拟图像。
在此，应该理解，代替显示该虚拟图象的仰视显示器，结合或者连接 到前玻璃的透射型电致发光(EL)元件或者任意其它透射型显示元件都可 以用作显示装置。
系统控制器2(对应于信息获取装置、图像信息产生装置、背景颜色 检测装置、显示颜色调整装置)包括微型计算机，并通过显示控制器3来 控制在显示单元1上的所显示的图像。
定位系统4(对应于位置检测装置)包括，例如，用在典型的汽车导 航系统中的已知全球定位系统(GPS)接收机，并向系统控制器2提供表示 自己车辆的当前位置的当前车辆位置信息(经度和纬度信息)。
可从系统控制器2访问的道路地图数据库5存储道路地图数据以及道 路外形(configuration)数据。道路地图数据用于车辆导航目的。道路外形 数据表示道路外形(道路形状)，尤其是自己车辆的行驶车道的两个相对侧 边中的每一个的外形(形状)和位置。道路外形数据包括用于表示例如三 次贝塞尔曲线(或者二次样条曲线)的坐标集合(点的集合)。基于相应的 坐标集合，系统控制器2通过计算产生行驶车道的每个相对侧边的结构。
视线检测系统(对应于视点检测装置)6检测车辆驾驶员的视点位置 (即，视点的位置)。例如，视线检测系统6可以包括照明装置、图像捕获 装置、图像处理装置以及计算装置(未示出)。照明装置将红外线投射在车 辆驾驶员的脸上。图像捕获装置将反射的红外线转换成可视信号，该反射 的红外线从车辆驾驶员的脸反射。图像处理装置通过例如基于该可视信号 而执行的二值化或者特征点提取来提取车辆驾驶员的脸的图像。计算装置 基于所提取的图像检测，即，确定车辆驾驶员的视线方向(视线的方向) 和视点位置。视线检测系统6将检测的结果输出给系统控制器2。
照相机(对应于图像捕获装置)7捕获位于车辆前方的道路表面的图 像，并且具有能够捕获诸如晚上图像这样的低亮度级图像的结构(例如， 使用高灵敏度照相机的结构)。照相机7将捕获的图像数据输出给系统控制 器2。
防抱死制动系统(ABS)单元8执行车辆的防抱死制动控制操作，并 将表示每个相应车轮的滑移率(slip ratio)的信号输出给系统控制器2。热敏电 阻9检测车辆外部的温度，并通过模数(A/D)转换器10将表示检测到的 温度的测量信号输出给系统控制器2。ABS单元8和热敏电阻9构成雪检 测装置。在由热敏电阻9检测到的检测温度等于或者小于预定温度，并且 由从ABS单元8输出的信号表示的滑移率等于或者大于预定值的情况下， 系统控制器2确定在自己车辆行驶的道路表面上有雪。可选地或者在ABS 单元8和热敏电阻9之外，可以使用照相机7作为雪检测装置。尤其，由 照相机7捕获的捕获图像可用于检测在道路表面上存在雪。此外，在视觉 上识别道路表面上有雪时由车辆驾驶员或者任意其它车辆乘客操纵的开关 能够提供作为雪检测装置。
图2示出了在系统控制器2中执行的示例性控制操作，其将在下面描 述。
特别地，在图2的流程图中，在步骤S1分析从照相机7提供的图像数 据。然后，在步骤S2，获取，即，确定由视线检测系统6检测到的车辆驾 驶员的视点位置。接下来，在步骤S3，基于上面图像数据的分析结果(下 文中称作分析数据)确定位于车辆前方的每个相应车道标志(白线或者黄 线)的图像是否是可提取的。
当在步骤S3确定每个相应车道标志的图像是可提取的时(即，在步骤 S3为是)，控制进行到步骤S4。在步骤S4，从分析数据中提取的每个相应 车道标志的图像被获取作为车道信息，该车道信息表示自己车辆的行驶车 道的外形和位置。然后，控制进行到步骤S5，在此基于视点位置和车道信 息通过计算来产生图像信息。该图像信息表示两条引导线(车道引导)，其 分别对应于从车辆驾驶员的视点位置穿过前玻璃所看到的行驶车道的相对 侧边的外形。引导线的默认颜色应该与实际车道标志的实际颜色匹配。然 而，在下面的描述中，为了简化说明的目的，该颜色被作为消色差的颜色。 此外，该图像信息还包括每个相应的交叉点位置，在该交叉点位置中，连 接在车辆驾驶员的视点位置和道路上相应车道标记的相应点之间的直线 (视线方向)与前玻璃相交。该信息用于确定显示单元1的图像投射位置。
此后，控制进行到步骤S6，在其中基于分析数据来确定与相应的引导 线相对应的显示位置的背景色(即，道路的颜色)是否是与黑色(或者接 近黑色的颜色)相近的颜色。当在步骤S6返回是时，控制进行到步骤S7， 在其中引导线的默认颜色向接近于白色的较亮颜色变化了预定比率。相反， 当在步骤S6返回否时，控制进行到步骤S8，在其中引导线的默认颜色向接 近于黑色的较暗颜色变化了预定比率。在执行了步骤S7或者S8之后，控 制进行到步骤S9。在步骤S9，确定引导线的默认颜色与背景色之间的对比 度(引导线的默认颜色的亮度和背景色的亮度之间的差值)是否等于或者 大于预设值。当确定引导线的默认颜色与背景色之间的对比度小于预设值 时(即，在步骤S9为否)，控制进行到步骤S6。相反，当确定在引导线的 默认颜色与背景色之间的对比度大于或者等于预设值时(即，在步骤S9为 是)，控制进行到步骤S10。在步骤S10，表示默认颜色的每个相应引导线 的图像信息被通过显示控制器3提供给显示单元1，以便与该图像信息相对 应的两条引导线被显示为穿过前玻璃的虚拟图像。然后，控制返回到步骤 S1。
特别地，以例如图3中示出的方式来执行这样的显示，图3以简单的 方式示出了从车辆驾驶员的视点所看到的车辆驾驶员座位周围的景象。在 图3中，表示了前玻璃11、方向盘12和两条引导线G。在将结合到或者连 接到前玻璃的透射型电致发光(EL)元件或者任意其它透射型显示元件代 替显示单元1用作显示装置的情况下，可以沿着每个相应交叉点位置来显 示每个引导线，在该交叉点位置中，在车辆驾驶员的视点位置和道路上相 应车道标记的相应点之间连接的相应直线(视线方向)与前玻璃相交。以 这种方式，可以实现与图3中示出的显示模式相同的显示模式。
当在步骤S3返回否时，即，当基于分析数据确定位于车辆前方的每个 相应车道标记的图像是不可提取的时，控制进行到步骤S11。在步骤S11， 基于从定位系统4提供的当前车辆位置信息来识别，即，确定自己车辆的 位置，然后，通过基于所识别的自己车辆的位置来访问道路地图数据库5， 获取表示自己车辆的行驶车道的每个相对侧边的外形和位置的道路外形数 据作为车道信息。接下来，控制进行到步骤S12。在步骤S12，基于在步骤 S2获取的视点位置和车道信息，通过计算产生表示两条引导线的图像信息， 该两条引导线对应于从车辆驾驶员的视点位置穿过前玻璃看到的行驶车道 的相对侧边的外形。
在产生图像信息后，控制进行到步骤S13。在步骤S13，基于从热敏电 阻9提供的检测温度和从ABS单元8提供的信号来执行雪状态确定过程。 特别地，当满足下面两个条件时：使用热敏电阻9检测到的检测温度等于 或者低于预定温度，以及由来自ABS单元8的信号表示的滑移率等于或者 大于预定值时，确定沿着自己车辆行驶的道路表面上有雪。然后，控制进 行到步骤S14，在其中确定在步骤S13做出的确定结果是否是肯定的，即， 在道路表面上是否有雪。当在步骤S14确定道路表面上有雪时(即，在步 骤S14为是)，控制进行到步骤S15。在步骤S15，引导线的颜色变为默认 颜色，特别地变为不相似(non-assimilatory)的颜色(例如蓝色)，其不同 于道路表面上的雪的表面的颜色，即，其基本上与道路表面上的雪的表面 的颜色不相同。然后，控制进行到步骤S10。相反，当在步骤S14确定道路 表面上没有雪时(即，在步骤S14为否)，控制进行到上面描述的步骤S6。
简而言之，在基于分析数据可提取位于车辆前方的每个相应车道标记 的图像的情况下，所述分析数据在分析由照相机7捕获的图像数据后产生， 系统控制器2获取所提取的车道标记的图像作为车道信息，该车道信息表 示沿着自己车辆行驶的行驶车道的外形和位置。然后，基于该车道信息和 由视线检测系统6检测的车辆驾驶员的视点位置，系统控制器2产生表示 两条引导线的图像信息，这两条引导线对应于从车辆驾驶员的视点位置穿 过前玻璃看到的自己车辆的行驶车道的相对侧边的外形。此后，系统控制 器2将该图像信息输出给显示单元1。在基于分析数据不能提取位于车辆前 方的车道标记的图像的情况下，所述分析数据在分析了由照相机7捕获的 图像数据后产生，通过基于所识别的自己车辆的位置来访问道路地图数据 库5，系统控制器2获取了道路外形数据作为车道信息，所述识别的自己车 辆的位置基于从定位系统4提供的当前车辆位置信息来识别，所述道路外 形数据表示了行驶车道的相对侧边的外形和位置。然后，基于该车道信息 和由视线检测系统6检测的车辆驾驶员的视点位置，系统控制器2产生表 示两条引导线的图像信息，这两条引导线分别对应于从车辆驾驶员的视点 位置穿过前玻璃看到的行驶车道的相对侧边的外形。此后，系统控制器2 将该图像信息输出给显示单元1。
显示单元1穿过车辆前玻璃显示所提供的图像信息，以便表示自己车 辆的行驶车道的侧边的外形的两条引导线(参见由图3中的G表示的线) 显示在车辆驾驶员的正面，以对应于位于车辆驾驶员前方的实际行驶车道。 以这种方式，车辆驾驶员能够识别与实际行驶车道的侧边相类似的两条被 显示的引导线。
在此，在道路表面上没有雪的情况下，基于分析数据来检测与相应引 导线的显示位置相对应的背景色(道路的颜色)。然后，基于检测结果，以 引导线的显示颜色与背景色之间的对比度(引导线的显示颜色的亮度与背 景色的亮度之间的差值)变得等于或者大于预设值的方式来设置背景色。 结果，可以防止所显示的引导线由于引导线类似于由车辆驾驶员穿过前玻 璃看到的背景(特别地，与引导线重叠的道路表面)导致的难于视觉上识 别。因此，能够确保引导线的充分可视性而不受周围环境的影响。
此外，在道路表面上有雪的情况下，将引导线的显示颜色设置为非相 似颜色，该非相似颜色可清楚地区别于雪的表面的颜色。因此，即使在覆 盖雪的道路上行驶时，车辆驾驶员能够有效地识别驾驶员自己车辆的行驶 车道。
根据上面的讨论，在从分析数据获取车道信息的情况下，所述分析数 据通过分析由照相机7捕获的图像数据来产生，即使在车辆驾驶员难于识 别表示驾驶员自己车辆的行驶车道的车道标记的情况下，基于由显示单元1 显示的引导线，车辆驾驶员能够适当地进行行驶车道的可视标识。通过照 相机7的灵敏度高于人类的发光系数(luminosity factor)的事实，这是可能的。
本发明不限于上面的实施例。特别地，上面的实施例可以如下修改。
在上面的实施例中，在道路表面上没有雪的情况下，使用消色差的颜 色来显示引导线。可选地，可以使用彩色来显示引导线。图4示出了在系 统控制器2中执行的示例性控制操作，以使用彩色的颜色来进行引导线的 显示。图4的示例性控制操作特征在于步骤L6到L9，其代替图2中的步 骤S6到S9来执行。特别地，在执行步骤S5(图2)之后或者在步骤S14 返回否(图2)后而执行的步骤L6中，基于通过分析由照相机7捕获的图 像而产生的分析数据，确定与引导线的显示位置相对应的背景色(道路的 颜色)的色调是否是更接近于蓝色而不是红色。当色调是蓝色或者接近于 蓝色时，即，当在步骤L6返回是时，控制进行到步骤L7。在步骤L7，引 导线的默认颜色朝红色变化了预定比率。相反，当色调是红色或者接近于 红色时，即，当在步骤L6返回否时，控制进行到步骤L8。在步骤L8，引 导线的默认颜色朝蓝色变化了预定比率。在执行了步骤L7或者L8后，控 制进行到步骤L9。在步骤L9，确定引导线的默认颜色和背景色之间的色度 差值(颜色的色调之间的差值)是否等于或者大于预设值。当在步骤L9返 回否时，控制返回到步骤L6。相反，当在步骤L9返回是时，控制返回到 上面描述的步骤L10，在其中表示默认颜色的引导线的图像信息通过显示控 制器3提供给显示单元1，以便对应于图像信息的两条引导线被显示为穿过 前玻璃的虚拟图像。然后，控制返回到步骤S1。
照相机7可以是能够捕获低亮度级图像的装置。以这种方式，在例如 晚上驾驶车辆的时候能够获取精确的车道信息，从而能够有效地显示引导 线。
例如，基于由照相机7捕获的图像信息获取的或者从道路地图数据库 5获取的车道信息，可以被构造为包括障碍物信息。障碍物信息表示沿着自 己车辆的行驶车道的一个或者两个侧边存在诸如沟或者台阶这样的障碍 物。当车道信息包括表示沿着行驶车道的一个或者两个侧边存在障碍物的 障碍物信息时，即，当车道信息表示沿着行驶车道的一个或者两个侧边存 在障碍物时，系统控制器2可以将通过计算产生的引导线的显示颜色设置 为预定警告颜色(例如红色或者黄色)。以这种方式，在沿着自己车辆的行 驶车道的侧边有诸如沟或者台阶这样的障碍物的情况下，由显示单元1显 示的引导线使用警告颜色来表示。因此，即使在沿着覆盖雪的道路驾驶车 辆的时候或者在障碍物不能容易视觉上分辨的晚上驾驶车辆的时候，警告 车辆驾驶员小心障碍物是可能的。这对于车辆的安全驾驶是有利的。
在上面的实施例中，两条引导线被用作车道引导。可选的，可以使用 单一颜色(包括彩色的颜色)来表示整个行驶车道，以作为车道引导。
在上面的实施例中，在系统控制器2中执行显示颜色调整装置的功能， 该显示颜色调整装置设置车道引导的显示颜色。或者，可以在显示控制器3 中执行显示颜色调整装置的功能。
当需要出现时，可以执行基于由照相机捕获的图像获取车道信息的结 构。此外，可以总是从道路地图数据库5来获取车道信息。同样，在上面 的实施例中，在车辆中提供道路地图数据库5。或者，可以在能够与车辆通 信的外部设备中提供道路地图数据库。
对于本领域技术人员来说，很容易想到另外的优点和变型。以较宽术 语表示的本发明并不局限于示出或者描述的具体细节、代表设备和示例性 实例。
图1是示出了根据本实施例的车辆驾驶辅助系统的完整结构的框图。
参考图1，显示单元(作为显示装置)1是一个已知类型的仰视显示器， 包括显示模块和反射镜。显示模块产生图像，并且可以是组合的模块，包 括彩色液晶显示器(LCD)面板和光源单元的组合。显示单元1可以放置 在例如驾驶员座位前方的车辆仪表板处。显示单元1在位于驾驶员座位前 方的车辆前玻璃(挡风玻璃)上投射与所提供的图像信息相对应的图像， 以便该图像被显示为穿过前玻璃的虚拟图像。
在此，应该理解，代替显示该虚拟图象的仰视显示器，结合或者连接 到前玻璃的透射型电致发光(EL)元件或者任意其它透射型显示元件都可 以用作显示装置。
系统控制器2(对应于信息获取装置、图像信息产生装置、背景颜色 检测装置、显示颜色调整装置)包括微型计算机，并通过显示控制器3来 控制在显示单元1上的所显示的图像。
定位系统4(对应于位置检测装置)包括，例如，用在典型的汽车导 航系统中的已知全球定位系统(GPS)接收机，并向系统控制器2提供表示 自己车辆的当前位置的当前车辆位置信息(经度和纬度信息)。
可从系统控制器2访问的道路地图数据库5存储道路地图数据以及道 路外形(configuration)数据。道路地图数据用于车辆导航目的。道路外形 数据表示道路外形(道路形状)，尤其是自己车辆的行驶车道的两个相对侧 边中的每一个的外形(形状)和位置。道路外形数据包括用于表示例如三 次贝塞尔曲线(或者二次样条曲线)的坐标集合(点的集合)。基于相应的 坐标集合，系统控制器2通过计算产生行驶车道的每个相对侧边的结构。
视线检测系统(对应于视点检测装置)6检测车辆驾驶员的视点位置 (即，视点的位置)。例如，视线检测系统6可以包括照明装置、图像捕获 装置、图像处理装置以及计算装置(未示出)。照明装置将红外线投射在车 辆驾驶员的脸上。图像捕获装置将反射的红外线转换成可视信号，该反射 的红外线从车辆驾驶员的脸反射。图像处理装置通过例如基于该可视信号 而执行的二值化或者特征点提取来提取车辆驾驶员的脸的图像。计算装置 基于所提取的图像检测，即，确定车辆驾驶员的视线方向(视线的方向) 和视点位置。视线检测系统6将检测的结果输出给系统控制器2。
照相机(对应于图像捕获装置)7捕获位于车辆前方的道路表面的图 像，并且具有能够捕获诸如晚上图像这样的低亮度级图像的结构(例如， 使用高灵敏度照相机的结构)。照相机7将捕获的图像数据输出给系统控制 器2。
防抱死制动系统(ABS)单元8执行车辆的防抱死制动控制操作，并 将表示每个相应车轮的滑移率(slip ratio)的信号输出给系统控制器2。热敏电 阻9检测车辆外部的温度，并通过模数(A/D)转换器10将表示检测到的 温度的测量信号输出给系统控制器2。ABS单元8和热敏电阻9构成雪检 测装置。在由热敏电阻9检测到的检测温度等于或者小于预定温度，并且 由从ABS单元8输出的信号表示的滑移率等于或者大于预定值的情况下， 系统控制器2确定在自己车辆行驶的道路表面上有雪。可选地或者在ABS 单元8和热敏电阻9之外，可以使用照相机7作为雪检测装置。尤其，由 照相机7捕获的捕获图像可用于检测在道路表面上存在雪。此外，在视觉 上识别道路表面上有雪时由车辆驾驶员或者任意其它车辆乘客操纵的开关 能够提供作为雪检测装置。
图2示出了在系统控制器2中执行的示例性控制操作，其将在下面描 述。
特别地，在图2的流程图中，在步骤S1分析从照相机7提供的图像数 据。然后，在步骤S2，获取，即，确定由视线检测系统6检测到的车辆驾 驶员的视点位置。接下来，在步骤S3，基于上面图像数据的分析结果(下 文中称作分析数据)确定位于车辆前方的每个相应车道标志(白线或者黄 线)的图像是否是可提取的。
当在步骤S3确定每个相应车道标志的图像是可提取的时(即，在步骤 S3为是)，控制进行到步骤S4。在步骤S4，从分析数据中提取的每个相应 车道标志的图像被获取作为车道信息，该车道信息表示自己车辆的行驶车 道的外形和位置。然后，控制进行到步骤S5，在此基于视点位置和车道信 息通过计算来产生图像信息。该图像信息表示两条引导线(车道引导)，其 分别对应于从车辆驾驶员的视点位置穿过前玻璃所看到的行驶车道的相对 侧边的外形。引导线的默认颜色应该与实际车道标志的实际颜色匹配。然 而，在下面的描述中，为了简化说明的目的，该颜色被作为消色差的颜色。 此外，该图像信息还包括每个相应的交叉点位置，在该交叉点位置中，连 接在车辆驾驶员的视点位置和道路上相应车道标记的相应点之间的直线 (视线方向)与前玻璃相交。该信息用于确定显示单元1的图像投射位置。
此后，控制进行到步骤S6，在其中基于分析数据来确定与相应的引导 线相对应的显示位置的背景色(即，道路的颜色)是否是与黑色(或者接 近黑色的颜色)相近的颜色。当在步骤S6返回是时，控制进行到步骤S7， 在其中引导线的默认颜色向接近于白色的较亮颜色变化了预定比率。相反， 当在步骤S6返回否时，控制进行到步骤S8，在其中引导线的默认颜色向接 近于黑色的较暗颜色变化了预定比率。在执行了步骤S7或者S8之后，控 制进行到步骤S9。在步骤S9，确定引导线的默认颜色与背景色之间的对比 度(引导线的默认颜色的亮度和背景色的亮度之间的差值)是否等于或者 大于预设值。当确定引导线的默认颜色与背景色之间的对比度小于预设值 时(即，在步骤S9为否)，控制进行到步骤S6。相反，当确定在引导线的 默认颜色与背景色之间的对比度大于或者等于预设值时(即，在步骤S9为 是)，控制进行到步骤S10。在步骤S10，表示默认颜色的每个相应引导线 的图像信息被通过显示控制器3提供给显示单元1，以便与该图像信息相对 应的两条引导线被显示为穿过前玻璃的虚拟图像。然后，控制返回到步骤 S1。
特别地，以例如图3中示出的方式来执行这样的显示，图3以简单的 方式示出了从车辆驾驶员的视点所看到的车辆驾驶员座位周围的景象。在 图3中，表示了前玻璃11、方向盘12和两条引导线G。在将结合到或者连 接到前玻璃的透射型电致发光(EL)元件或者任意其它透射型显示元件代 替显示单元1用作显示装置的情况下，可以沿着每个相应交叉点位置来显 示每个引导线，在该交叉点位置中，在车辆驾驶员的视点位置和道路上相 应车道标记的相应点之间连接的相应直线(视线方向)与前玻璃相交。以 这种方式，可以实现与图3中示出的显示模式相同的显示模式。
当在步骤S3返回否时，即，当基于分析数据确定位于车辆前方的每个 相应车道标记的图像是不可提取的时，控制进行到步骤S11。在步骤S11， 基于从定位系统4提供的当前车辆位置信息来识别，即，确定自己车辆的 位置，然后，通过基于所识别的自己车辆的位置来访问道路地图数据库5， 获取表示自己车辆的行驶车道的每个相对侧边的外形和位置的道路外形数 据作为车道信息。接下来，控制进行到步骤S12。在步骤S12，基于在步骤 S2获取的视点位置和车道信息，通过计算产生表示两条引导线的图像信息， 该两条引导线对应于从车辆驾驶员的视点位置穿过前玻璃看到的行驶车道 的相对侧边的外形。
在产生图像信息后，控制进行到步骤S13。在步骤S13，基于从热敏电 阻9提供的检测温度和从ABS单元8提供的信号来执行雪状态确定过程。 特别地，当满足下面两个条件时：使用热敏电阻9检测到的检测温度等于 或者低于预定温度，以及由来自ABS单元8的信号表示的滑移率等于或者 大于预定值时，确定沿着自己车辆行驶的道路表面上有雪。然后，控制进 行到步骤S14，在其中确定在步骤S13做出的确定结果是否是肯定的，即， 在道路表面上是否有雪。当在步骤S14确定道路表面上有雪时(即，在步 骤S14为是)，控制进行到步骤S15。在步骤S15，引导线的颜色变为默认 颜色，特别地变为不相似(non-assimilatory)的颜色(例如蓝色)，其不同 于道路表面上的雪的表面的颜色，即，其基本上与道路表面上的雪的表面 的颜色不相同。然后，控制进行到步骤S10。相反，当在步骤S14确定道路 表面上没有雪时(即，在步骤S14为否)，控制进行到上面描述的步骤S6。
简而言之，在基于分析数据可提取位于车辆前方的每个相应车道标记 的图像的情况下，所述分析数据在分析由照相机7捕获的图像数据后产生， 系统控制器2获取所提取的车道标记的图像作为车道信息，该车道信息表 示沿着自己车辆行驶的行驶车道的外形和位置。然后，基于该车道信息和 由视线检测系统6检测的车辆驾驶员的视点位置，系统控制器2产生表示 两条引导线的图像信息，这两条引导线对应于从车辆驾驶员的视点位置穿 过前玻璃看到的自己车辆的行驶车道的相对侧边的外形。此后，系统控制 器2将该图像信息输出给显示单元1。在基于分析数据不能提取位于车辆前 方的车道标记的图像的情况下，所述分析数据在分析了由照相机7捕获的 图像数据后产生，通过基于所识别的自己车辆的位置来访问道路地图数据 库5，系统控制器2获取了道路外形数据作为车道信息，所述识别的自己车 辆的位置基于从定位系统4提供的当前车辆位置信息来识别，所述道路外 形数据表示了行驶车道的相对侧边的外形和位置。然后，基于该车道信息 和由视线检测系统6检测的车辆驾驶员的视点位置，系统控制器2产生表 示两条引导线的图像信息，这两条引导线分别对应于从车辆驾驶员的视点 位置穿过前玻璃看到的行驶车道的相对侧边的外形。此后，系统控制器2 将该图像信息输出给显示单元1。
显示单元1穿过车辆前玻璃显示所提供的图像信息，以便表示自己车 辆的行驶车道的侧边的外形的两条引导线(参见由图3中的G表示的线) 显示在车辆驾驶员的正面，以对应于位于车辆驾驶员前方的实际行驶车道。 以这种方式，车辆驾驶员能够识别与实际行驶车道的侧边相类似的两条被 显示的引导线。
在此，在道路表面上没有雪的情况下，基于分析数据来检测与相应引 导线的显示位置相对应的背景色(道路的颜色)。然后，基于检测结果，以 引导线的显示颜色与背景色之间的对比度(引导线的显示颜色的亮度与背 景色的亮度之间的差值)变得等于或者大于预设值的方式来设置背景色。 结果，可以防止所显示的引导线由于引导线类似于由车辆驾驶员穿过前玻 璃看到的背景(特别地，与引导线重叠的道路表面)导致的难于视觉上识 别。因此，能够确保引导线的充分可视性而不受周围环境的影响。
此外，在道路表面上有雪的情况下，将引导线的显示颜色设置为非相 似颜色，该非相似颜色可清楚地区别于雪的表面的颜色。因此，即使在覆 盖雪的道路上行驶时，车辆驾驶员能够有效地识别驾驶员自己车辆的行驶 车道。
根据上面的讨论，在从分析数据获取车道信息的情况下，所述分析数 据通过分析由照相机7捕获的图像数据来产生，即使在车辆驾驶员难于识 别表示驾驶员自己车辆的行驶车道的车道标记的情况下，基于由显示单元1 显示的引导线，车辆驾驶员能够适当地进行行驶车道的可视标识。通过照 相机7的灵敏度高于人类的发光系数(luminosity factor)的事实，这是可能的。
本发明不限于上面的实施例。特别地，上面的实施例可以如下修改。
在上面的实施例中，在道路表面上没有雪的情况下，使用消色差的颜 色来显示引导线。可选地，可以使用彩色来显示引导线。图4示出了在系 统控制器2中执行的示例性控制操作，以使用彩色的颜色来进行引导线的 显示。图4的示例性控制操作特征在于步骤L6到L9，其代替图2中的步 骤S6到S9来执行。特别地，在执行步骤S5(图2)之后或者在步骤S14 返回否(图2)后而执行的步骤L6中，基于通过分析由照相机7捕获的图 像而产生的分析数据，确定与引导线的显示位置相对应的背景色(道路的 颜色)的色调是否是更接近于蓝色而不是红色。当色调是蓝色或者接近于 蓝色时，即，当在步骤L6返回是时，控制进行到步骤L7。在步骤L7，引 导线的默认颜色朝红色变化了预定比率。相反，当色调是红色或者接近于 红色时，即，当在步骤L6返回否时，控制进行到步骤L8。在步骤L8，引 导线的默认颜色朝蓝色变化了预定比率。在执行了步骤L7或者L8后，控 制进行到步骤L9。在步骤L9，确定引导线的默认颜色和背景色之间的色度 差值(颜色的色调之间的差值)是否等于或者大于预设值。当在步骤L9返 回否时，控制返回到步骤L6。相反，当在步骤L9返回是时，控制返回到 上面描述的步骤L10，在其中表示默认颜色的引导线的图像信息通过显示控 制器3提供给显示单元1，以便对应于图像信息的两条引导线被显示为穿过 前玻璃的虚拟图像。然后，控制返回到步骤S1。
照相机7可以是能够捕获低亮度级图像的装置。以这种方式，在例如 晚上驾驶车辆的时候能够获取精确的车道信息，从而能够有效地显示引导 线。
例如，基于由照相机7捕获的图像信息获取的或者从道路地图数据库 5获取的车道信息，可以被构造为包括障碍物信息。障碍物信息表示沿着自 己车辆的行驶车道的一个或者两个侧边存在诸如沟或者台阶这样的障碍 物。当车道信息包括表示沿着行驶车道的一个或者两个侧边存在障碍物的 障碍物信息时，即，当车道信息表示沿着行驶车道的一个或者两个侧边存 在障碍物时，系统控制器2可以将通过计算产生的引导线的显示颜色设置 为预定警告颜色(例如红色或者黄色)。以这种方式，在沿着自己车辆的行 驶车道的侧边有诸如沟或者台阶这样的障碍物的情况下，由显示单元1显 示的引导线使用警告颜色来表示。因此，即使在沿着覆盖雪的道路驾驶车 辆的时候或者在障碍物不能容易视觉上分辨的晚上驾驶车辆的时候，警告 车辆驾驶员小心障碍物是可能的。这对于车辆的安全驾驶是有利的。
在上面的实施例中，两条引导线被用作车道引导。可选的，可以使用 单一颜色(包括彩色的颜色)来表示整个行驶车道，以作为车道引导。
在上面的实施例中，在系统控制器2中执行显示颜色调整装置的功能， 该显示颜色调整装置设置车道引导的显示颜色。或者，可以在显示控制器3 中执行显示颜色调整装置的功能。
当需要出现时，可以执行基于由照相机捕获的图像获取车道信息的结 构。此外，可以总是从道路地图数据库5来获取车道信息。同样，在上面 的实施例中，在车辆中提供道路地图数据库5。或者，可以在能够与车辆通 信的外部设备中提供道路地图数据库。
对于本领域技术人员来说，很容易想到另外的优点和变型。以较宽术 语表示的本发明并不局限于示出或者描述的具体细节、代表设备和示例性 实例。