环视提供设备和包括其的车辆

摘要

本文公开了一种环视提供设备和包括其的车辆。所述环视提供设备包括安装在车辆上的多个相机、显示器和处理器，所述处理器被配置为从多个相机接收多个图像，以使用多个图像中的第一区域图案检查图像的位置，使用位于多个图像之间的重叠区域中的第二区域图案来补偿图像中的参数，并且基于补偿后的参数生成环视图像。因此，可以基于校准后的图像提供准确的环视图像。

权利要求

1.一种环视提供设备，包括：

图像投影仪，被配置为当车辆倒车或所述车辆的速度等于或小于预定速度时，输出包括第一区域图案和第二区域图案的第一图像；

安装在车辆上的多个相机；

显示器；以及

处理器，被配置为从所述多个相机接收多个图像，以使用所述多个图像中的第一区域图案检查图像的位置，使用位于所述多个图像之间的重叠区域中的第二区域图案来补偿图像中的参数，并且基于补偿后的参数生成环视图像，其中，图像投影仪包括扫描仪，以通过扫描光来向外地输出光。

2.根据权利要求1所述的环视提供设备，其中所述处理器基于补偿后的参数计算特定点的坐标，并且基于计算出的坐标生成所述环视图像。

3.根据权利要求2所述的环视提供设备，其中所述处理器基于补偿后的参数计算所述多个图像之间的重叠区域中的特定点的坐标，并且基于计算出的坐标合成所述多个图像，以生成所述环视图像。

4.根据权利要求1所述的环视提供设备，其中所述第一区域图案位于所述车辆的前、后、左和右区域中，并且所述第二区域图案位于所述车辆的拐角区域中。

5.根据权利要求1所述的环视提供设备，其中所述第一区域图案和所述第二区域图案中的每一个包括棋盘图案。

6.根据权利要求1所述的环视提供设备，还包括存储器，用于存储所述多个相机中的每一个的参考图像，其中所述处理器基于与来自所述存储器的与所述多个相机中的每一个相对应的参考图像与来自所述多个相机中的每一个的捕获图像之间的差异来计算所述多个相机中的至少一些相机的偏移信息，并且使用所述偏移信息合成来自所述多个相机的图像，以生成所述环视图像。

7.根据权利要求6所述的环视提供设备，其中所述处理器基于所述多个相机中的第一相机的参考图像和来自所述第一相机的捕获图像来计算第一偏移信息，并将计算出的第一偏移信息应用于所述多个相机中的其余相机。

8.根据权利要求6所述的环视提供设备，

其中所述参考图像和所述捕获图像中的每一个包括所述车辆的特征线，并且其中所述处理器基于所述参考图像中的特征线与所述捕获图像中的特征线之间的差异计算所述偏移信息。

9.根据权利要求6所述的环视提供设备，其中如果所述偏移信息等于或大于预定值，则所述处理器实施控制以输出指示无法生成所述环视图像的通知消息。

10.一种车辆，包括：

用于驱动转向设备的转向驱动单元；

用于驱动制动设备的制动驱动单元；

用于驱动动力源的动力源驱动单元；

图像投影仪，被配置为当车辆倒车或所述车辆的速度等于或小于预定速度时，输出包括第一区域图案和第二区域图案的第一图像；

安装在车辆上的多个相机；

显示器；以及

处理器，被配置为从所述多个相机接收多个图像，以使用所述多个图像中的第一区域图案检查图像的位置，使用位于所述多个图像之间的重叠区域中的第二区域图案来补偿图像中的参数，并且基于补偿后的参数生成环视图像，其中，图像投影仪包括扫描仪，以通过扫描光来向外地输出光。

11.根据权利要求10所述的车辆，其中所述处理器基于补偿后的参数计算特定点的坐标，并且基于计算出的坐标生成所述环视图像。

12.根据权利要求11所述的车辆，其中所述处理器基于补偿后的参数计算所述多个图像之间的重叠区域中的特定点的坐标，并且基于计算出的坐标合成所述多个图像，以生成所述环视图像。

13.根据权利要求10所述的车辆，其中所述第一区域图案位于所述车辆的前、后、左和右区域中，并且所述第二区域图案位于所述车辆的拐角区域中。

14.根据权利要求10所述的车辆，其中所述第一区域图案和所述第二区域图案中的每一个包括棋盘图案。

15.根据权利要求10所述的车辆，还包括存储器，用于存储所述多个相机中的每一个的参考图像，其中所述处理器基于来自所述存储器的与所述多个相机中的每一个相对应的参考图像与来自所述多个相机中的每一个的捕获图像之间的差异来计算所述多个相机中的至少一些相机的偏移信息，并且使用所述偏移信息合成来自所述多个相机的图像，以生成所述环视图像。

16.根据权利要求15所述的车辆，其中所述处理器基于所述多个相机中的第一相机的参考图像和来自所述第一相机的捕获图像来计算第一偏移信息，并将计算出的第一偏移信息应用于所述多个相机中的其余相机。

17.根据权利要求15所述的车辆，

其中所述参考图像和所述捕获图像中的每一个包括所述车辆的特征线，并且其中所述处理器基于所述参考图像中的特征线与所述捕获图像中的特征线之间的差异来计算所述偏移信息。

18.根据权利要求15所述的车辆，其中如果所述偏移信息等于或大于预定值，则所述处理器实施控制以输出指示无法所述环视图像的通知消息。

说明书

环视提供设备和包括其的车辆

[0001] 相关申请的交叉引用

[0002] 本申请要求于2016年4月4日在韩国知识产权局提交的第10-2016-0041033号韩国专利申请的优先权，其公开内容通过引用并入本文。

技术领域

[0003] 本发明涉及一种环视提供设备以及包括该设备的车辆，更具体地，涉及一种能够基于校准图像提供准确的环视图像的环视提供设备以及包括该设备的车辆。

背景技术

[0004] 车辆是一种设备，其允许乘坐在其中的用户沿期望的方向驱动该设备。车辆的代表性示例可以是汽车。

[0005] 同时，为了方便使用车辆的用户，车辆设置有例如各种传感器和电子装置。特别地，例如，正在为用户驾驶方便而开发各种装置。在车辆倒车或停车时，提供通过后置相机捕获的图像。

发明内容

[0006] 本发明的目的在于解决环视提供设备和包括该设备的车辆中存在的问题，所述环视提供设备能够基于校准后的图像提供准确的环视图像。

[0007] 本发明的目的可以通过提供一种环视提供设备实现，所述环视提供设备包括安装在车辆上的多个相机、显示器和处理器，所述处理器被配置为从多个相机接收多个图像，以使用所述多个图像中的第一区域图案检查图像的位置，使用位于所述多个图像之间的重叠区域中的第二区域图案补偿图像中的参数，并且基于补偿后的参数生成环视图像。

[0008] 在本发明的另一方面，本文提供了一种车辆，其包括：用于驱动转向设备的转向驱动单元、用于驱动制动设备的制动驱动单元、驱动动力源的动力源驱动单元、安装在车辆上的多个相机、显示器和处理器，所述处理器被配置为从多个相机接收多个图像，以使用所述多个图像中的第一区域图案检查图像的位置，使用位于所述多个图像之间的重叠区域中的第二区域图案补偿图像中的参数，并且基于补偿后的参数生成环视图像。

附图说明

[0009] 图1是示出根据本发明的一个实施例的包括环视相机的车辆的外观的图。

[0010] 图2A是示出附接到图1的车辆的环视相机的位置的示意图。

[0011] 图2B是示出基于图2A的环视相机捕获的图像的环视图像的图。

[0012] 图3A至图3B是示出根据本发明的一个实施例的环视提供设备的内部配置的各种示例的框图。

[0013] 图4A是示出图3A或图3B的环视提供设备的图像投影仪的内部配置的示例的框图。

[0014] 图4B是示出图4A的图像投影仪的图像投影时的扫描方法的图。

[0015] 图5A至图5B是图3的处理器的内部配置的框图。

[0016] 图6是示出图5A或图5B的处理器中的物体检测的图。

[0017] 图7是示出根据本发明的实施例的车辆的内部的框图。

[0018] 图8是示出根据本发明的实施例的操作环视提供设备的方法的流程图。

[0019] 图9A至图10是用于说明图8的操作方法所参考的视图。

[0020] 图11是示出根据本发明的实施例的操作环视提供设备的方法的流程图。

[0021] 图12A至图13D是用于说明图11的操作方法所参考的视图。

具体实施方式

[0022] 在下文中，将参照附图详细描述本发明。

[0023] 对于以下的描述中使用的构成要素，仅考虑到易于准备说明书，给出后缀“模块”和“单位”并彼此混用，它们不具有或不用作不同的含义。因此，术语“模块”和“单元”可以互换使用。

[0024] 本说明书中描述的车辆可以包括汽车和摩托车。以下，将重点讨论汽车。

[0025] 本说明书中描述的车辆可以包括以下所有：包括发动机的车辆、包括发动机和电马达的混合动力车辆以及包括电马达的电动车辆。

[0026] 如本说明书中所描述的环视提供设备包括或可以是包括多个相机(或摄像机)并且合成由多个相机捕获的多个图像以提供环视图像的设备。具体地，该设备可以基于车辆提供俯视图或鸟瞰图。在下文中，将描述根据本发明的各种实施例的环视提供设备和包括该设备的车辆。

[0027] 图1是示出根据本发明的一个实施例的包括环视相机的车辆的外观的图。

[0028] 参照该图，车辆200可以包括通过动力源旋转的轮子103FR、103FL、103RL、…，用于控制车辆200的行进方向的方向盘150，以及安装在车辆200上的多个环视相机195a、195b、195c和195d。在该图中，为了方便起见，仅示出了左相机195a和前置相机195d。

[0029] 当车辆的速度等于或小于预定速度或者如果车辆被推进时，可以激活多个环视相机195a、195b、195c和195d，从而获取相应的捕获到的图像。可以在环视提供设备(图3A或图3B的100)中处理由多个相机获取的图像。

[0030] 图2A是示出附接到图1的车辆的环视相机的位置的示意图，并且图2B是示出基于图2A的环视相机捕获的图像的环视图像的图。

[0031] 首先，参考图2A，多个环视相机195a、195b、195c和195d可以分别设置在车辆的前、后、右和左侧。

[0032] 具体地，左相机195a和右相机915c可以分别设置在围绕左侧视镜的壳体和围绕右侧视镜的壳体中。

[0033] 后置相机195b和前置相机195d可以设置在行李箱开关附近或标志上或标志附近。

[0034] 由多个环视相机195a、195b、195c和195d捕获的多个图像被传送到车辆200的处理器(图3A或图3B的170)，并且处理器(图3A或图3B的170)合成所述多个图像以生成环视图像。

[0035] 图2B示出了环视图像210的示例。环视图像210可以包括左相机195a的第一图像区域195ai、后置相机195b的第二图像区域195bi、右相机195c的第三图像区域195ci以及前置相机195d的第四图像区域195di。

[0036] 图3A至图3B是示出根据本发明的一个实施例的环视提供设备的内部配置的各种示例的框图。

[0037] 图3A或图3B的环视提供设备100可以合成从多个环视相机195a、195b、195c和195d接收的多个图像，以生成环视图像。

[0038] 环视提供设备100可以基于从多个环视相机195a、195b、195c和195d接收的多个图像检测、验证和跟踪位于车辆附近的物体(或对象)。

[0039] 首先，参考图3A，图3A的环视提供设备100可以包括通信单元120、接口130、存储器140、处理器170、显示器180、电源190和多个相机195a、...、195e。此外，还可以包括用于将图像投影到车辆外部的音频输入单元(未示出)和图像投影仪187。

[0040] 通信单元120可以以无线方式与移动终端600或服务器500交换数据。具体地，通信单元120可以以无线方式与驾驶员的移动终端交换数据。无线通信方法可以包括诸如蓝牙、Wi-Fi Direct、Wi-Fi或APiX之类的各种数据通信方法。

[0041] 通信单元120可以从移动终端600或服务器500接收天气信息和道路交通状态信息，例如传输协议专家组(TPEG)信息。在环视提供设备100中，基于图像获得的实时交通信息可以被传输到移动终端600或服务器500。

[0042] 当用户进入车辆100时或当用户执行应用时，用户的移动终端600和环视提供设备100可以自动彼此配对。

[0043] 接口130可以接收车辆相关数据或将在处理器170中处理或生成的信号传输到外部设备。接口130可以使用有线或无线通信方法与ECU 770、音频视频导航(AVN)设备400和传感器单元760进行数据通信。

[0044] 接口130可以通过与AVN设备400的数据通信接收与行驶的车辆有关的地图信息。

[0045] 接口130可以从ECU 770或传感器单元760接收传感器信息。

[0046] 传感器信息可以包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车内温度信息、车内湿度信息等中的至少一种。

[0047] 诸如车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息和车辆倾斜信息等的关于车辆行驶的信息可以被称为车辆行驶信息。

[0048] 存储器140可以存储用于环视提供设备100的整体操作的各种数据，诸如用于处理或控制处理器170的程序。

[0049] 音频输出单元(未示出)将来自处理器170的电信号转换为音频信号并输出音频信号。音频输出单元可以包括扬声器。音频输出单元(未示出)可以输出与输入单元110(即按钮)的操作相对应的声音。

[0050] 音频输入单元(未示出)可以接收用户语音并且可以包括麦克风。接收到的语音可以被转换成电信号，并且电信号可以被传送到处理器170。

[0051] 处理器170控制环视提供设备100的单元的整体操作。

[0052] 具体地，处理器170可以从多个相机195a、195b、195c和195d获取多个图像，并且合成多个图像以产生环视图像。

[0053] 处理器170可以基于计算机视觉实施信号处理。例如，处理器可以基于多个图像或所生成的环视图像实施车辆周边的视差计算，基于计算出的视差信息实施图像内的物体检测，并且在物体检测后连续跟踪物体的运动。

[0054] 具体地，处理器170可以在物体检测时实施车道检测、周边车辆检测、行人检测、交通标志检测、路面检测等。

[0055] 处理器170可以计算与检测到的周边车辆或行人的距离。

[0056] 处理器170可以通过接口130从ECU 770或传感器单元760接收传感器信息。传感器信息可以包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆正向/反向信息、电池信息、燃料信息、轮胎信息、车灯信息、车内温度信息、车内湿度信息等中的至少一种。

[0057] 显示器180可以显示由处理器170生成的环视图像。在显示环视图像时，可以提供各种用户界面，并且可以包括用于通过所提供的用户界面实现触摸输入的触摸传感器。

[0058] 显示器180可以包括位于车辆内前侧的集群或头顶显示器(HUD)。当显示器180是HUD时，可以包括用于将图像投影在车辆200的挡风玻璃上的投影模块。

[0059] 音频输出单元185可以基于由处理器170处理的音频信号输出声音。音频输出单元185可以包括至少一个扬声器。

[0060] 图像投影仪187可以将投影图像输出到车辆的外部。具体地，投影图像可以输出到前方多达大约50米。作为光源，可以使用具有良好线性度的激光二极管。

[0061] 替代地，图像投影仪187可以将多个图案图像输出到车辆的周边，用于在车辆停车时校准环视图像。

[0062] 图像投影仪187可以包括用于输出对应于投影图像的可见光的激光二极管(图4A的210)。为了控制投影图像的输出方向、输出角度、输出距离等，可以进一步包括用于使用扫描方法向外地输出可见光的扫描仪(图4A的240)。

[0063] 图像投影仪187可以将投影图像输出到位于车辆外侧的路面或位于车辆附近诸如墙壁等物体，使得驾驶员观看投影图像。

[0064] 图像投影仪187可以将投影图像输出到固定物体而不是移动物体，以便防止迎面而来的车辆的驾驶员的视野被阻挡。

[0065] 可以由处理器170基于感测到的物体控制投影图像的输出方向、输出角度、输出距离等。

[0066] 电源190可以在控制器170的控制下提供操作各个组件所需的电力。具体地，电力源190可以从例如车辆内的电池(未示出)接收电力。

[0067] 多个相机195a、195b、195c和195d可以是广角相机，以便提供环视图像。

[0068] 相机195e安装在车辆内以捕获用户，即驾驶员。处理器170可以基于来自室内相机195e的图像检查驾驶员的位置，通过车辆中的侧视镜或后视镜设置盲点，使至少一些相机倾斜以捕获盲点，以及在作为第一模式的盲点检测(BSD)模式下操作。

[0069] 接下来，参考图3B，图3B的环视提供设备100类似于图3A的环视提供设备100，但不同之处在于进一步包括输入单元110和超声波传感器单元198。在下文中，将仅描述输入单元110和超声波传感器单元198。

[0070] 输入单元110可以包括附接在显示器180附近的多个按钮或设置在显示器180上的触摸屏。通过多个按钮或触摸屏，可以对环视提供设备100通电。此外，可以实施各种输入操作。

[0071] 超声波传感器单元198可以包括多个超声波传感器。如果将多个超声波传感器安装在车辆中，则可以基于发送的超声波与接收的超声波之间的差异感测位于车辆附近的物体。

[0072] 与图3B不同，可以包括激光雷达(未示出)代替超声波传感器单元198或可以包括超声波传感器单元198和激光雷达。

[0073] 图4A是示出图3A或图3B的环视提供设备的图像投影仪的内部配置的示例的框图。

[0074] 参考该图，图4A的图像投影仪187包括光学单元205和驱动单元186。

[0075] 光学单元205可以包括光源单元210，光源单元210包括多个光源。也就是说，可以包括红色光源单元210R、绿色光源单元210G和蓝色光源单元210B。此时，红色光源单元210R、绿色光源单元210G和蓝色光源单元210B可以分别包括红色、绿色和蓝色激光二极管。

[0076] 光源单元210R、210G和210B可以由来自驱动单元185的电信号驱动，并且可以在处理器170的控制下生成驱动单元185的电信号。

[0077] 从光源单元210R、210G和210B输出的红色、绿色和蓝色光通过准直器212的准直透镜得到准直。

[0078] 光合单元220合成从光源单元210R、210G和210B输出的光，并在一个方向上输出合成光。光合单元220包括三个2D MEMS镜220a、220b和220c。

[0079] 也就是说，第一光合单元220a、第二光合单元220b和第三光合单元220c分别朝向扫描仪240输出从红色光源单元210R输出的红色光、从绿色光源单元210G输出的绿色光和从蓝色光源210B输出的蓝色光。

[0080] 光反射单元256将通过光合单元220的红色、绿色和蓝色光朝向扫描仪240反射。光反射单元256反射具有各种波长的光，并且因此可以实现为全反射镜(TM)。

[0081] 扫描仪240可以基于来自光源单元210的红色、绿色和蓝色光接收可见光(RGB)，并且可以顺序地并且重复实施第一方向扫描和第二方向扫描。这样的扫描操作可以对外部扫描区域重复实施。因此，可以向外显示与可见光(RGB)对应的投影图像。

[0082] 图4B是示出图4A的图像投影仪的图像投影时的扫描方法的图。

[0083] 参考该图，光输出单元60可以包括激光二极管62、反射镜65和扫描仪240。

[0084] 从光输出单元60输出的光的波长可对应于可见光的波长。

[0085] 来自激光二极管62的可见光的输出可被反射镜65反射和散射并输入到扫描仪240。

[0086] 扫描仪240可以从反射镜65接收可见光，并且顺序且重复地实施第一方向扫描和第二方向扫描。

[0087] 如图所示，扫描仪240可以基于扫描能力区域，对外部区域40在对角线方向或水平方向上实施从左到右的扫描或从右到左的扫描。这样的扫描操作可以对整个外部区域40重复实施。

[0088] 通过这样的扫描操作，可以外部输出投影图像。

[0089] 外部区域40可分为第一区域42和第二区域44，如图4B所示。第一区域42可以是包括外部物体43的区域，即有效区域42，第二区域44可以是没有外部物体的区域，即空白区域44。

[0090] 因此，整个扫描区域可以被划分为对应于包括外部物体的有效区域42的第一扫描区域和对应于没有外部物体的空白区域44的第二扫描区域。

[0091] 图5A至图5B是图3的处理器的内部配置的框图，并且图6是示出图5A或图5B的处理器中的物体检测的图。

[0092] 首先，参考图5A，图5A是示出处理器170的内部配置的示例的框图。环视提供设备100的处理器170可以包括图像预处理器410、视差计算器420、物体检测器434、物体跟踪单元440和应用程序450。

[0093] 图像预处理器410接收来自多个相机195a、195b、195c和195d的多个图像或生成的环视图像，并实施预处理。

[0094] 更具体地，图像预处理器410可以对多个图像或所生成的环视图像实施降噪、整流、校准、颜色增强、颜色空间转换(CSC)、插值、相机增益控制等。因此，可以获取具有比由多个相机195a、195b、195c和195d捕获的图像或生成的环视图像的清晰度更高的清晰度的图像。

[0095] 视差计算器420接收由图像预处理器410处理的多个图像或生成的环视图像，对在预定时间期间顺序接收的多个图像或生成的环视图像实施立体匹配，并且根据立体匹配获取视差图。也就是说，可以获取车辆周边的视差信息。

[0096] 此时，可以以立体图像或预定块单位的像素单位实施立体匹配。视差图可以意味着数字地表示图像(即左图像和右图像)的双目视差信息的图。

[0097] 分割单元432可以基于来自视差计算器420的视差信息实施对图像的分割和聚类。

[0098] 更具体地，分割单元432可以基于视差信息对至少一个图像分割背景和前景。

[0099] 例如，视差图中具有预定值或更小值的视差信息的区域可以被计算为背景并被排除。因此，可以分割出前景。

[0100] 作为另一示例，可以将视差图中具有预定值或更大值的视差信息的区域计算为前景并提取。因此，可以分割出背景。

[0101] 可以基于根据图像提取的视差信息来分割前景和背景，从而在随后的物体检测时降低信号处理速度、处理信号量等。

[0102] 接下来，物体检测器434可以基于分割单元432的图像分割来检测物体。

[0103] 也就是说，物体检测器434可以基于视差信息从至少一个图像检测物体。

[0104] 更具体地，物体检测器434可以从至少一个图像检测物体。例如，可以从通过分割而分割出的前景来检测物体。

[0105] 接下来，物体验证单元436对分割物体进行分类和验证。

[0106] 为此，物体验证单元436可以使用利用神经网络的识别方法、支持向量机(SVM)方法、使用哈尔(Haar)状特征的AdaBoost识别方法或取向梯度(HOG)直方图方法等。

[0107] 物体验证单元436可以将检测到的物体与存储在存储器140中的物体进行比较，以验证物体。

[0108] 例如，物体验证单元436可以对位于车辆附近的周边车辆、车道、路面、交通标志、危险区域、隧道等进行验证。

[0109] 物体跟踪单元440跟踪被验证的物体。例如，可以验证顺序获取的图像中的物体，可以计算已验证物体的运动或运动矢量，并且可以基于所计算的运动或运动矢量跟踪物体的移动。因此，可以跟踪位于车辆附近的周边车辆、车道、路面、交通标志、危险区域、隧道等。

[0110] 图5B是示出处理器的内部配置的另一示例的框图。

[0111] 参考该图，除了信号处理顺序以外，图5B的处理器170等于图5A的处理器170。在下文中，将仅描述差异。

[0112] 物体检测器434可以接收多个图像或生成的环视图像，并且从多个图像或生成的环视图像中检测物体。与图5A不同，可以不从分割图像检测物体，而是可以基于视差信息从多个图像或生成的环视图像直接检测物体。

[0113] 接下来，物体验证单元436基于来自分割单元432的图像段和由物体检测器434检测到的物体对分割和检测到的物体进行分类和验证。

[0114] 为此，物体验证单元436可以使用利用神经网络的识别方法、支持向量机(SVM)方法、使用哈尔状特征的AdaBoost识别方法或取向梯度(HOG)直方图方法等。

[0115] 图6是用于基于分别在第一帧周期和第二帧周期中获取的图像说明图5的处理器170的操作方法的图。

[0116] 参考图6，多个相机195a、...、195d在第一帧周期和第二帧周期期间顺序地获取图像FR1a和FR1b。

[0117] 处理器170的视差计算器420接收由图像预处理器410处理的图像FR1a和FR1b，对图像FR1a和FR1b实施立体匹配，并获取视差图520。

[0118] 视差图520表示立体图像FR1a和FR1b之间的双目视差水平。当视差水平增加时，与车辆的距离减小，并且随着视差水平降低，与车辆的距离增加。

[0119] 当显示这种视差图时，随着视差水平的增加，亮度增加，并且随着视差水平的降低，亮度降低。

[0120] 在该图中，视差图520具有分别对应于第一至第四通道528a、528b、528c和528d的视差水平，例如分别对应于结构区域522、第一前方车辆524和第二前车辆526的视差水平。

[0121] 基于视差图520，分割单元432、物体检测器434和物体验证单元436可以对图像FR1a和FR1b中的至少一个实施分割、物体检测和物体验证。

[0122] 在该图中，使用视差图520对第二图像FR1b实施物体检测和验证。

[0123] 也就是说，从图像530中将第一至第四车道538a、538b、538c和538d、结构区域532、第一前进车辆534和第二前车辆536检测和验证为物体。

[0124] 物体跟踪单元440可以通过连续获取图像来跟踪被验证的物体。

[0125] 图7是示出根据本发明的实施例的车辆的内部的框图。

[0126] 参考附图，车辆200可以包括用于车辆控制的电子控制设备700。电子控制设备700可以与AVN设备400交换数据。

[0127] 电子控制设备700可以包括输入单元710、通信单元720、存储器740、灯驱动单元751、转向驱动单元752、制动驱动单元753、动力源驱动单元754、天窗驱动单元755、悬架驱动单元756、空调驱动单元757、窗户驱动单元758、气囊驱动单元759、传感器单元760、ECU 
770、显示器780、音频输出单元785、电源790和多个相机795。

[0128] ECU 770可以包括处理器。替代地，除了ECU 770之外，还可以包括用于处理来自相机的图像的处理器。

[0129] 输入单元710可以包括设置在车辆200内的多个按钮或触摸屏。通过多个按钮或触摸屏，可以实施各种输入操作。

[0130] 通信单元720可以以无线方式与移动终端600或服务器500交换数据。具体地，通信单元720可以以无线方式与车辆驾驶员的移动终端交换数据。无线数据通信方法包括诸如蓝牙、Wi-Fi Direct、Wi-Fi、APiX等的各种数据通信方法。

[0131] 例如，通信单元720可以从移动终端600或服务器500接收天气信息和道路交通状态信息，例如传输协议专家组(TPEG)信息。

[0132] 当用户进入车辆时或者当用户实施应用时，用户的移动终端600和电子控制设备700可以自动彼此配对。

[0133] 存储器740可以存储用于电子控制设备700的整体操作的各种数据，诸如用于ECU 770的处理或控制的程序。

[0134] 灯驱动单元751可以打开或关闭在车辆的内部和外部布置的灯。此外，灯驱动单元可以控制例如每个灯的光的强度和方向。例如，灯驱动单元可以实施转向灯或制动灯的控制。

[0135] 转向驱动单元752可以实施车辆200内的转向设备的电子控制。转向驱动单元可以改变车辆的行进方向。

[0136] 制动驱动单元753可以对车辆200内的制动设备(未示出)进行电子控制。例如，制动驱动单元可以通过控制位于车轮处的制动器的操作来降低车辆200的速度。在另一示例中，制动驱动单元可以通过区分位于左右轮处的各个制动器的操作来向左或向右调整车辆200的行驶方向。

[0137] 动力源驱动单元754可以实施车辆200内的动力源的电子控制。

[0138] 例如，在基于化石燃料的发动机(未示出)为动力源的情况下，动力源驱动单元754可以实施发马达的电子控制。因此，可以控制发动机的输出扭矩。

[0139] 在另一示例中，在电马达(未示出)是动力源的情况下，动力源驱动单元754可以实施马达的控制。因此，动力源驱动单元可以例如控制马达的RPM和扭矩。

[0140] 天窗驱动单元755可以实施车辆200内的天窗设备(未示出)的电子控制。例如，天窗驱动单元可以控制天窗的打开或关闭。

[0141] 悬架驱动单元756可以实施车辆200内的悬架设备的电子控制。例如，当路面不平坦时，悬架驱动单元可以控制悬挂设备以减小车辆200的振动。

[0142] 空调驱动单元757可以实施车辆200内的空调(未示出)的电子控制。例如，当车辆200的内部温度高时，空调驱动单元可以操作空调以供应冷空气到车辆200的内部。

[0143] 窗户驱动单元758可以实施车辆200内的窗户设备的电子控制。例如，窗户驱动单元可以控制车辆200的左窗口和右窗口的打开或关闭。

[0144] 气囊驱动单元759可以实施车辆200内的气囊设备的电子控制。例如，气囊驱动单元可以在危险的情况下控制气囊展开。

[0145] 传感器单元760被配置为感测与车辆100的行驶相关联的信号。为此，传感器单元760可以包括航向传感器、偏航传感器、陀螺仪传感器、位置模块、车辆前进/后退传感器、车轮传感器、车速传感器、车辆倾斜传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的转动的转向传感器、车内温度传感器、车内湿度传感器等。

[0146] 因此，传感器单元760可以获取关于例如车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车内温度信息、车内湿度信息等的信号。

[0147] 同时，传感器单元760还可以包括例如加速踏板传感器、压力传感器、发动机速度传感器、空气流率传感器(AFS)、空气温度传感器(ATS)、水温传感器WTS)、节气门位置传感器(TPS)、上止点传感器(TDC)和曲轴角传感器(CAS)。

[0148] ECU 770可以控制电子控制设备700的单元的整体操作。

[0149] ECU 770可以基于通过输入单元710接收到的输入来实施特定操作，或者将由传感器单元760感测的信号予以接收并发送到环视提供设备100，从AVN设备400接收地图信息，并且控制驱动单元751、752、753、754和756的操作。

[0150] 此外，ECU 770可以从通信单元720接收天气信息和道路交通状态信息，例如传输协议专家组(TPEG)信息。

[0151] ECU 770可以合成从多个相机795接收的多个图像，以生成环视图像。具体地，当车辆的速度等于或小于预定速度时，或者当车辆倒车时，可以生成环视图像。

[0152] 显示器780可以显示生成的环视图像。具体地，除了环视图像之外，还可以提供各种用户界面。

[0153] 为了显示环视图像，显示器780可以包括位于车辆内前侧的集群或头顶显示器(HUD)。当显示器780是HUD时，可以包括用于将图像投影到车辆200的挡风玻璃上的投影模块。显示器780可以包括能够实施输入功能的触摸屏。

[0154] 音频输出单元785将来自ECU 770的电信号转换成音频信号并输出音频信号。音频输出单元可以包括扬声器。音频输出单元785可以输出与输入单元110(即按钮)的操作相对应的声音。

[0155] 电源790可以在ECU 770的控制下提供操作相应部件所需的电力。具体地，电源790可以从例如车辆内的电池(未示出)接收电力。

[0156] 多个相机795用于提供环视图像，并且可以包括如图2A所示的四个相机。例如，多个环视相机195a、195b、195c和195d可以设置在车辆的左、后、右和前侧。由多个相机795捕获的多个图像可以被传送到ECU 770或处理器(未示出)。

[0157] 尽管在图中未示出，车辆200的电子控制设备700可以包括图3A或图3B的图像投影仪187。

[0158] 在驾驶或停放车辆时，多个环视相机195a、195b、195c和195d中的至少一个的位置可能改变。

[0159] 例如，在驾驶车辆时，如果越过减速坡的冲击(impulse)等于或大于预定值，则多个环视相机195a、195b、195c和195d中的至少一个的位置可能改变。

[0160] 作为另一示例，设置在侧视镜的左相机195a和右相机195c中的至少一个的位置可能在车辆停放的状态下被与其相邻的行人或其它车辆改变。

[0161] 在多个环视相机195a、195b、195c和195d中的至少一个相机的位置改变的状态下，当处理器170合成由相机捕获的图像以生成环视图像时，可能在图像之间的边界区域中产生边缘增加或图像断裂。

[0162] 在本发明中，为了防止这种现象，对多个环视相机195a、195b、195c和195d实施自动校准。

[0163] 例如，可以对由多个环视相机195a、195b、195c和195d捕获的图像实施校准，并且可以基于校准后的图像生成环视图像，其将参考图7到图10进行描述。

[0164] 作为另一示例，可以比较参考图像和由多个环视相机195a、195b、195c和195d捕获的图像，可以计算偏移信息，并且可以使用所计算的偏移信息生成环视图像，将参照图11到图13D进行描述。

[0165] 图8是示出根据本发明的实施例的操作环视提供设备的方法的流程图。

[0166] 参考图8，环视提供设备100的处理器170接收由多个环视相机195a、195b、195c和195d捕获的多个图像820a至820d(S710)。

[0167] 如图2所示，多个环视相机195a、195b、195c和195d可以配置在车辆的左、后、右和前侧处。

[0168] 具体地，左相机195a和右相机915c可以分别设置在围绕左侧视镜的壳体和围绕右侧视镜的壳体中。

[0169] 后置相机195b和前置相机195d可以设置在行李箱开关附近或标志上或标志附近。

[0170] 由多个环视相机195a、195b、195c和195d捕获的多个图像被传送到环视提供设备100的处理器170。

[0171] 接下来，当接收到由多个环视相机195a、195b、195c和195d捕获的多个图像820a至820d时，环视提供设备100的处理器170可以提取多个图像820a至820d中的第一区域图案(S720)用于图像校准。

[0172] 这样的图像校准可以在车辆启动时、在操纵侧视镜时或当驾驶车辆时的冲击等于或大于预定值时实施。

[0173] 当车辆的速度等于或小于预定速度或当车辆倒车时，可以实施这种图像校准。

[0174] 第一区域图案可以位于车辆200的前、后、左和右区域中，并且可以包括棋盘图案。

[0175] 接下来，环视提供设备100的处理器170可以使用多个图像820a至820d中的第一区域图案检查相机的位置(S730)。

[0176] 接下来，环视提供设备100的处理器170可以提取多个图像820a至820d中的第二区域图案，并且使用相邻相机之间重叠的第二区域图案来补偿参数(S740)。

[0177] 第二区域图案可以位于车辆200的拐角区域处，并且可以包括棋盘图案。

[0178] 参数可以包括焦距参数、水平平移参数、竖直平移参数、纵向平移参数、俯仰(pitch)旋转参数、滚动(roll)旋转参数、偏航(yaw)旋转参数和相机固有参数中的至少一个。

[0179] 接下来，环视提供设备100的处理器170可以基于补偿后的参数计算特定点的坐标(S750)。

[0180] 特定点可以对应于第二区域模式中棋盘图案的边界。

[0181] 接下来，环视提供设备100的处理器170可以基于计算出的特定点生成环视图像(S760)。

[0182] 也就是说，环视提供设备100的处理器170可以从多个相机195a至195d接收多个图像820a至820d，使用多个图像820a的第一区域图案810a检查每个图像的位置，使用位于多个图像820a至820d之间的重叠区域中的第二区域图案810b补偿每个图像的参数，并且基于补偿后的参数生成环视图像。因此，可以基于校准后的图像提供准确的环视图像。

[0183] 处理器170可以基于补偿后的参数计算特定图像的坐标，并且基于所计算的坐标生成环视图像。

[0184] 具体地，处理器170可以基于补偿后的参数计算多个图像820a至820d之间的重叠区域中的特定点的坐标，并且基于计算出的坐标合成多个图像820a至820d，从而基于校准后的图像提供准确的环视图像。

[0185] 图9A至图10是用于说明图8的操作方法所参考的视图。

[0186] 首先，图9A示出设置在车辆周边的多个标记PA1和PA2。

[0187] 多个标记PA1和PA2可以设置在特定空间中，用于校准环视提供设备100。

[0188] 例如，标记可以设置在个人停车位中。

[0189] 多个标记PA1和PA2可以是从图像投影仪187输出的投影图像，用于校正环视提供设备100。

[0190] 多个标记PA1和PA2可以包括位于车辆200的前、后、左和右区域中的四个第一标记PA1和位于车辆的拐角区域处的四个第二标记PA2。

[0191] 图9B更详细地示出了标记800。

[0192] 标记800可以包括棋盘图案。如图所示，可以设置20个矩形，并且交替地设置黑色矩形和白色矩形。

[0193] 在本发明中，使用棋盘图案的边界，即黑色矩形和白色矩形之间的边界801，对由相机捕获的图像实施校准。

[0194] 图9C是表示由多个相机195a至195d获取的多个图像820a至820d的图。

[0195] 参考该图，可以从设置在车辆的左、后、右和前侧处的多个环视相机195a、195b、195c和195d获取多个图像820a至820d。

[0196] 多个图像820a至820d中的每一个可以包括第一区域图案810a和第二区域图案810b。

[0197] 环视提供设备100的处理器170可以从多个环视相机195a、195b、195c和195d接收多个图像820a至820d，并且使用多个图像820a至820d中的第一区域图案810a检查每个图像的位置。

[0198] 也就是说，环视提供设备100的处理器170可以使用多个图像820a至820d的第一区域图案810a检查来自左相机195a、后置相机195b、右相机195c和前置相机195d的多个图像820a至820d。

[0199] 接下来，环视提供设备100的处理器170使用位于多个图像820a至820d之间的重叠区域中的第二区域图案810b补偿每个图像的参数。

[0200] 具体地，环视提供设备100的处理器170可以比较第二区域图案810b的棋盘图案之间的边界区域(与图9B的801相对应的区域)中的多个相邻图像，检查图像之间的差异，并补偿图像的参数以补偿差异。

[0201] 例如，如果在水平分量中产生差错，则环视提供设备100的处理器170可补偿水平平移参数。

[0202] 例如，如果在竖直分量中产生差错，则环视提供设备100的处理器170可补偿竖直平移参数。

[0203] 例如，如果在纵向方向上产生差错，则环视提供设备100的处理器170可补偿纵向平移参数。

[0204] 例如，如果在俯仰(pitch)分量中产生差错，则环视提供设备100的处理器170可以补偿俯仰旋转参数。

[0205] 例如，如果在滚动分量中产生差错，则环视提供设备100的处理器170可以补偿滚动旋转参数。

[0206] 例如，如果在偏航分量中产生差错，则环视提供设备100的处理器170可以补偿偏航旋转参数。

[0207] 环视提供设备100的处理器170可以基于补偿后的参数校准多个图像，并且合成校准的图像以生成环视图像。

[0208] 图10示出了基于通过对多个图像实施校准而获得的校准后的图像生成的环视图像830。

[0209] 因此，可以提供准确的环视图像。

[0210] 环视提供设备100的处理器170可以基于补偿后的参数计算特定点的坐标，并且基于所计算的坐标生成环视图像。

[0211] 特定点可以对应于每个第二区域图案810b的棋盘图案的边界区域(对应于图9B的801的区域)。

[0212] 环视提供设备100的处理器170可以基于补偿后的参数计算在多个图像820a至820d之间重叠的区域中的特定点的坐标，并且基于计算出的坐标合成多个图像820a至820d以生成环视图像。

[0213] 如果车辆200倒车或者如果车辆的速度等于或小于预定速度，则环视提供设备100的处理器170可以从车辆的ECU接收车辆的倒车移动信息或速度信息，然后将包括第一区域图案810a和第二区域图案810b的投影图像输出到车辆200的外部。

[0214] 环视提供设备100的处理器170可以使用包括在投影图像中的第一区域图案810a和第二区域图案810b来补偿图像的参数，并且基于补偿后的参数生成环视图像，如参考图9A至图9C所描述的那样。因此，可以生成并提供准确的环视图像。

[0215] 图11是示出根据本发明的实施例的操作环视提供设备的方法的流程图，并且图12A至图13D是用于说明图11的操作方法所参考的视图。

[0216] 首先，参考11，环视提供设备100的处理器170接收由多个环视相机195a、195b、195c和195d捕获的图像(S710)。

[0217] 如图2所示，多个环视相机195a、195b、195c和195d可以配置在车辆的左、后、右和前侧处。

[0218] 具体地，左相机195a和右相机915c可以分别设置在围绕左侧视镜的壳体和围绕右侧视镜的壳体中。

[0219] 后置相机195b和前置相机195d可以设置在行李箱开关附近或标志上或标志附近。

[0220] 由多个环视相机195a、195b、195c和195d捕获的多个图像可以被传送到车辆200的处理器170。

[0221] 接下来，环视提供设备100的处理器170从存储器140接收多个环视相机195a、195b、195c和195d中的每一个的参考图像(S1720)。

[0222] 当接收到由多个环视相机195a、195b、195c和195d捕获的多个图像时，环视提供设备100的处理器170可以发出从存储器140发送多个环视相机195a、195b、195c和195d中的每一个的参考图像的请求以进行图像校准。

[0223] 这样的图像校准可以在车辆启动时、操纵侧视镜时或当驾驶车辆时的冲击等于或大于预定值时实施。

[0224] 响应于发送参考图像的请求，存储器140可以发送参考图像。可以在车辆起动时发送与停车场有关的参考图像，并且可以在操纵侧视镜时或当驾驶车辆时的冲击等于或大于预定值时发送包括车辆的区域的参考图像或包括车道的图像。

[0225] 接下来，环视提供设备100的处理器170基于捕获图像和参考图像之间的差异计算偏移信息(S1730)。

[0226] 如果参考图像和捕获图像中的每一个都包括车辆的特征线，则处理器170可以基于参考图像中的特征线和捕获图像中的特征线之间的差异计算偏移信息。

[0227] 这里，车辆的特征线可以包括发动机罩标志、发动机罩边缘线等

[0228] 如果参考图像和捕获图像中的每一个都包括位于车辆外部的物体，则处理器170可以基于参考图像中的物体与捕获图像中的物体之间的差异计算偏移信息。

[0229] 这里，位于车辆外部的物体可以包括停车场的停车路缘、柱子、或交通标志、交通信号灯、路灯等中的至少一个。

[0230] 如果偏移信息等于或大于预定值，则处理器170可实施控制以输出指示通过包括音频输出单元185或显示器180的输出单元(未示出)无法生成环视图像的通知消息。

[0231] 如果在操纵侧视镜时或当驾驶车辆时启动车辆的冲击等于或大于预定值时，处理器170可以计算信息。

[0232] 处理器170可以基于第一至第四相机195a、...、195d中的第一相机的参考图像和来自第一相机195a的捕获图像计算第一偏移信息，并将第一偏移信息应用于第二相机到第四台相机中的至少一些相机。因此，即使当相机的位置改变时，也可以方便地使用公共偏移信息。

[0233] 接下来，环视提供设备100的处理器170使用偏移信息合成由多个环视相机195a、195b、195c和195d捕获的图像，以生成环视图像(S1740)。

[0234] 处理器170可以实施控制以通过显示器180显示校准后的环视图像。

[0235] 此时，处理器170可以实施控制以在显示显示器180上的环视图像上显示由偏移信息校准的区域或显示校准量。因此，可以增加用户的便利性。

[0236] 处理器170可以实施控制以在显示器180上显示使用偏移信息生成的环视图像和未使用偏移信息生成的第二环视图像。

[0237] 如果从在显示器180上显示的环视图像和第二环视图像之间选择了环视图像，则处理器170可以实施控制以使用偏移信息连续生成环视图像。因此，可以增加用户便利性。

[0238] 当在显示器180上显示环视图像和在环视图像上显示的由偏移信息校准的区域的状态下或在显示校准量的状态下接收到用户输入时，处理器170可实施控制以对应于用户输入改变校准区域、校准量和偏移信息中的至少一个。因此，可以增加用户的便利性。

[0239] 图12A至12B示出了这样的情况，即，多个相机195a、195b、195c和195d中的右相机195c的位置改变，因此生成的环视图像的一部分被破坏。

[0240] 首先，图12A示出了多个相机195a、195b、195c和195d中的右相机195c的位置发生改变的情况。具体地，相机195c的位置从右侧Lo1改变到右后侧Lo2。

[0241] 如果右相机195c的位置改变，则在生成环视图像时在图像之间的边界区域附近产生图像断裂现象。

[0242] 图12B中的(a)示出了当右相机195c的位置不改变时的环视图像210，图12B中的(b)示出当右相机195c的位置改变到右后侧时的环视图像210。

[0243] 图12B中的(b)示出了后置相机195b的图像与右相机195c的图像之间的边界区域803中的图像断裂或边缘增加。当驾驶员观看环视图像211时，驾驶员发现边界区域803是不自然的。

[0244] 在本发明中，为了解决这个问题，使用陀螺仪传感器比较相机的参考位置信息和当前位置信息，或者比较参考图像和捕获图像。

[0245] 图13A示出了当右相机195c的位置没有改变时捕获的图像以及当右相机195c的位置改变到右后侧时捕获的图像。

[0246] 图13A中的(a)示出了由多个环视相机195a、195b、195c和195d获取的捕获图像910a、910b、910c和910d。

[0247] 图13A中的(b)示出由多个环视相机195a、195b、195c和195d获取的捕获图像910a、910b、911c和910d。

[0248] 在图13A中的(a)和(b)之间比较，可以看出，当右相机195c的位置改变到右后侧时，捕获图像910c和911c彼此不同。

[0249] 处理器170可以使用这样的差异计算偏移信息。

[0250] 也就是说，如图13B所示，处理器170可以从存储器140接收右相机的参考图像，例如图13A中的(a)的图像910c，并且接收来自右相机195c的捕获图像911c。

[0251] 处理器170可以计算参考图像910c和捕获图像911c之间的差异，并且基于该差异计算偏移信息。也就是说，当右相机195c的位置改变到右后侧时，可以计算用于将捕获图像的一部分校准到左前侧的偏移信息。

[0252] 图13C示出了参考图像和捕获图像的另一示例。

[0253] 图13C示出了在参考图像920中包括预定物体921的情况以及由右相机195c捕获的图像925中的物体926向右后侧移动的情况。

[0254] 处理器170可以计算参考图像920和捕获图像925之间的差异，并基于该差异计算偏移信息偏移量1。也就是说，基于物体921和926的位置之间的差异，可以计算用于将捕获图像925的一部分校准到左前侧的偏移信息偏移量1。

[0255] 处理器170可以使用计算出的偏移信息偏移量1将捕获图像925校准为等于参考图像920。

[0256] 图13D中的(a)示出了在后置相机195b的图像与右相机195c的图像之间的边界区域803中的图像断裂或边缘增加。

[0257] 图13D中的(b)示出了基于偏移信息由处理器170校准的环视图像930。因此，在边界区域803中生成自然图像而没有图像破坏现象。因此，环视提供设备可以基于校准后的图像提供准确的环视图像。

[0258] 处理器170可以实施控制以将计算出的第一偏移信息应用于与第一相机相邻的第二相机和第三相机。

[0259] 也就是说，处理器170可以实施控制以使用计算出的偏移信息偏移量1对与右相机195c相邻的后置相机195b和前置相机195d实施校准。

[0260] 例如，处理器170可以将计算出的偏移信息偏移量1部分地应用于由前置相机195d或后置相机195b捕获的图像以获取校准后的图像。基于这些图像，可以生成环视图像。

[0261] 从上面的描述可以清楚看出，根据本发明的实施例的环视提供设备和包括该设备的车辆包括安装在车辆上的多个相机、显示器和处理器，所述处理器被配置为从多个相机接收多个图像，以使用多个图像中的第一区域图案检查图像的位置，使用位于多个图像之间的重叠区域中的第二区域图案补偿图像中的参数，并且基于补偿后的参数生成环视图像。因此，可以基于校准后的图像提供准确的环视图像。

[0262] 具体地，处理器基于补偿后的参数计算多个图像之间的重叠区域中的特定点的坐标，并且基于计算出的坐标合成多个图像以生成环视图像。因此，可以基于校准后的图像提供准确的环视图像。

[0263] 处理器基于来自存储器的与多个相机中的每一个相对应的参考图像与来自多个相机中的每一个的捕获图像之间的差异来计算多个相机中的至少一些相机的偏移信息，并且使用偏移信息合成来自多个相机的图像以生成环视图像。因此，可以基于校准后的图像提供准确的环视图像。

[0264] 根据本发明的环视提供设备或其操作方法可以被实现为可写入设置在车辆驾驶辅助装置或车辆中的处理器可读记录介质的代码，并且因此可以被处理器读取。处理器可读记录介质可以是可以以计算机可读方式存储数据的任何类型的记录设备。处理器可读记录介质的示例包括ROM、RAM、CD-ROM，磁带、软盘、光数据存储和载波(例如，通过因特网的数据传输)。处理器可读记录介质可以被分配到连接到网络的多个计算机系统，使得处理器可读代码被写入其中并以分散的方式从其执行。

[0265] 虽然为了说明的目的已经公开了本发明的优选实施例，但是本领域技术人员将理解，在不脱离如所附权利要求中公开的本发明的范围和精神的情况下，可以进行各种修改、添加和替换。不应脱离本发明的技术精神或前景单独地理解这样的修改。