图像合成装置和图像合成方法

摘要

对通过搭载在车辆上的多个摄像头在俯视周围的方向上拍摄的多个图像进行坐标变换以生成多个俯视图像，将所述多个俯视图像接合从而生成从所述车辆的上部俯视的合成图像，因此，判定车辆周围有无立体物，并根据立体物的检测结果，来计算校正值，以使相邻的所述俯视图像之间的重叠的亮度颜色校正参照区域中亮度颜色的差异变小，在所述校正所得到的所述亮度颜色信息的变化量低于规定值时，利用所述校正值来进行亮度颜色校正，并且将该亮度颜色图像校正后的图像接合从而合成为1个图像，由此可获取连续且平滑的接合的美丽的显示图像。

权利要求

1.一种图像合成装置，其特征在于，所述图像合成装置包括：多个周边监视摄像头装置，该多个周边监视摄像头装置搭载在车辆上，并对所述车辆的周围进行拍摄；图像处理装置，该图像处理装置对由所述周边监视摄像头装置拍摄得到的多个图像进行合成，从而生成合成图像；以及图像显示装置，该图像显示装置显示所述合成图像，在所述图像合成装置中，所述图像处理装置包括：亮度颜色图像校正装置，该亮度颜色图像校正装置计算校正值，以使相邻的所述图像的重叠的亮度颜色校正参照区域中的亮度颜色的差异变小；以及车辆周边立体物判定装置，该车辆周边立体物判定装置检测所述车辆的周边有无立体物，所述图像处理装置基于所述亮度颜色校正参照区域中的所述立体物，利用所述校正值进行图像处理的控制，其中，所述校正值是通过计算所述亮度颜色校正参照区域的、除去与所述立体物相对应的图像的区域后得到的区域中的全部像素的亮度颜色的平均值，并根据所计算出的由相邻的所述周边监视摄像头装置得到的图像各自的亮度颜色的所述平均值之差而得到的。

2.如权利要求1所述的图像合成装置，其特征在于，所述车辆周边立体物判定装置基于由至少1个有源传感器构成的传感器装置所得到的检测结果，来检测本车辆周边的立体物的有无及位置。

3.如权利要求1所述的图像合成装置，其特征在于，所述车辆周边立体物判定装置基于所述周边监视摄像头装置所拍摄到的图像的图像识别处理，来检测所述车辆的周边的立体物的有无及位置。

4.如权利要求1所述的图像合成装置，其特征在于，包括：传感器装置，该传感器装置检测所述车辆的周边的立体物，所述车辆周边立体物判定装置根据由所述传感器装置得到的检测结果和所述周边监视摄像头装置的图像来计算所述立体物的位置，当所述立体物的位置在所述亮度颜色校正参照区域内时，将去除了与所述立体物的位置相对应的图像上的区域后的区域设为所述亮度颜色校正参照区域。

5.如权利要求4所述的图像合成装置，其特征在于，所述传感器装置为有源传感器。

6.如权利要求1所述的图像合成装置，其特征在于，包括：亮度颜色信息存储装置，该亮度颜色信息存储装置存储根据由所述亮度颜色图像校正装置计算出的所述校正值所得到的亮度颜色的信息，在由所述车辆周边立体物判定装置检测出的所述立体物的位置位于所述亮度颜色校正参照区域内时，利用所述亮度颜色信息存储装置中存储的最新适用的校正值来进行亮度颜色校正。

7.如权利要求1所述的图像合成装置，其特征在于，在由所述亮度颜色图像校正装置计算校正值时，在由所述车辆周边立体物判定装置判定出的立体物的位置为用于计算所述校正值的相邻的摄像头图像的共通区域的情况下，在不存在立体物的区域中计算校正值。

8.如权利要求1所述的图像合成装置，其特征在于，所述亮度颜色图像校正装置在是由所述车辆周边立体物判定装置判定出的用于计算校正值的相邻的摄像头图像的共通区域的情况下，接手在没有障碍物的情况下的过去的校正值，对该相邻的两者的图像的亮度颜色校正值进行亮度颜色校正。

9.如权利要求1所述的图像合成装置，其特征在于，将所述车辆周边立体物判定装置所进行的判定设为根据所述亮度颜色图像校正装置中的校正值所得到的所述亮度颜色的变化量来进行。

10.如权利要求9所述的图像合成装置，其特征在于，包括：亮度颜色信息存储装置，该亮度颜色信息存储装置存储根据由所述亮度颜色图像校正装置计算出的所述校正值所得到的亮度颜色的信息，在由所述校正值所得到的所述亮度颜色的信息的变化量在规定值以上时，利用所述亮度颜色信息存储装置中存储的最新适用的校正值来进行亮度颜色校正。

11.一种图像合成方法，其特征在于，在搭载在车辆上、拍摄车辆的周围的物体、生成多个图像并制成所述多个图像合成图像的图像合成方法中，计算用于在相邻的所述图像的重叠的亮度颜色校正参照区域中使亮度颜色的差异减小的校正值，检测所述车辆的周边有无立体物，基于所述亮度颜色校正参照区域中的所述立体物，利用所述校正值进行图像处理的控制，其中，所述校正值是通过计算所述亮度颜色校正参照区域的、除去与所述立体物相对应的图像的区域后得到的区域中的全部像素的亮度颜色的平均值，并根据所计算出的由相邻的周边监视摄像头装置得到的图像各自的亮度颜色的所述平均值之差而得到的。

12.如权利要求11所述的图像合成方法，其特征在于，检测周边的立体物，根据所述检测的结果和所述拍摄到的图像来计算所述立体物的位置，在所述立体物的位置在所述亮度颜色校正参照区域内的情况下，将去除了与所述立体物的位置相对应的图像上的区域后的区域设为所述亮度颜色校正参照区域。

13.如权利要求12所述的图像合成方法，其特征在于，存储根据计算出的所述校正值所得到的亮度颜色信息，在根据所述校正值所得到的所述亮度颜色信息的变化量在规定值以上的情况下，利用存储的最新适用的校正值来进行亮度颜色校正。

14.如权利要求11所述的图像合成方法，其特征在于，对所述车辆周边的立体物的检测设为根据所述亮度颜色的变化量来进行。

15.如权利要求14所述的图像合成方法，其特征在于，检测周边的立体物，根据所述检测的结果和所述拍摄到的图像来计算所述立体物的位置，在所述立体物的位置在所述图像的重叠的区域内的情况下，利用存储的最新适用的校正值来进行亮度颜色校正。

说明书

图像合成装置和图像合成方法

技术领域

[0001] 本发明涉及将由多个车载摄像头拍摄的图像接合来合成为一系列图像的图像合成装置和图像合成方法。

背景技术

[0002] 如下的系统已投入使用：所述系统将多个摄像头搭载在车辆上，对在从各摄像头俯视的方向上拍摄得到的图像进行坐标变换并生成俯视图像，以使得摄像头位置像位于在
比车辆要高的位置，并将该多个俯视图像接合，以合成出如同从高处眺望车辆的整个周边
那样的图像。

[0003] 这样的将由多个摄像头拍摄得到的图像合成为1张图像的系统中，虽然通常使用同一机种的摄像头，但由于各摄像头的制造偏差，或者在每一个摄像头中进行自动露出校
正、自动增益控制、自动白平衡等控制，因此，尤其存在画像的接缝处明亮度(亮度)或者色
调不连续、导致在合成的图像中产生违和感这样的问题。

[0004] 因此，例如，在专利文献1中，为了使得相邻的摄像头共通拍摄的合成画像的接缝附近的区域的平均明亮度或色调相一致，对由各摄像头拍摄得到的图像的明亮度或颜色平
衡进行校正。通过上述校正，由于在某种程度上可获取连续且平滑的合成图像，因此，合成
的图像的违和感可在某种程度上得到抑制。

[0005] 现有技术文献

[0006] 专利文献

[0007] 专利文献1：日本专利第3297040号公报

发明内容

[0008] 发明所要解决的技术问题

[0009] 然而，在该专利文献1的现有技术中，用于计算校正值的参照的合成图像的接缝附近的共通区域被固定。例如，上述校正值根据上述共通区域的像素的平均值来求出。因此，
在共通区域中存在立体物时，在对俯视视频进行坐标变换时，对立体部分进行投影以使其
在连结摄像头和立体物的线上延伸，并且相邻的摄像头的共通成像区域的投影后的图像不
一致。因此，在该专利文献1的现有技术中，存在没有进行适当校正这一问题。

[0010] 本发明的目的在于，在合成多个图像时，在各图像之间的边界附近产生与以往的技术相比更连续且平滑的图像。

[0011] 解决技术问题所采用的技术方案

[0012] 本发明的图像合成装置的特征在于，在包括搭载于车辆且对所述车辆的周围进行拍摄的多个周边监视摄像头装置；将由所述周边监视摄像头装置拍摄得到的多个图像合成
从而生成合成图像的图像处理装置；以及显示所述合成图像的图像显示装置，该图像合成
装置中，包括：亮度颜色图像校正装置，该亮度颜色图像校正装置对校正值进行计算，以使
得相邻的所述图像的重叠的亮度颜色校正参照区域中的亮度颜色的差异变小；以及车辆周
边立体物判定装置，该车辆周边立体物判定装置检测所述车辆的周边的立体物，所述图像
处理装置根据所述车辆周边立体物判定装置的所述立体物的检测结果，来利用所述校正值
进行图像处理的控制。

[0013] 发明效果

[0014] 本发明可以在合成多个图像时，使各图像之间的边界附近的图像与以往的图像显示装置相比成为更接近自然的连续且平滑的图像。

附图说明

[0015] 图1是本发明的实施方式1所涉及的图像合成装置的框图。

[0016] 图2是说明本发明的实施方式1的动作的流程图。

[0017] 图3是本发明的实施方式2所涉及的图像合成装置的框图。

[0018] 图4是说明本发明的实施方式2的动作的流程图。

[0019] 图5是本发明的实施方式3所涉及的图像合成装置的框图。

[0020] 图6是说明本发明的实施方式3的动作的流程图。

[0021] 图7是表示实现框图的功能的硬件的结构图。

具体实施方式

[0022] 实施方式1

[0023] 图1中示出本发明的实施方式1的图像合成装置的结构。

[0024] 由周边监视摄像头装置100拍摄得到的图像通过本发明的图像处理装置200来进行变换，对从上空的假想视点俯视的图像进行合成，并且在图像显示装置300中显示。此外，
为了与因车辆周边的立体物而产生的影响相对应，具备传感器装置400。

[0025] 周边监视摄像头装置100中，前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104等光学摄像头360°覆盖本车周边，并且在车辆上安装多台从而使得拍摄范围
部分重复。各个摄像头安装在俯视的方向上，并且获取各个方向的图像。

[0026] 在该图1中，虽然示出为用1条信号线连接周边监视摄像头装置100与图像处理装置200，但实际上，连接为多个摄像头中的每一个将图像信息并行地发送至图像处理装置
200。并且，在由各个摄像头拍摄得到的图像的两端，存在与由其他摄像头拍摄得到的图像
重合的区域。图像处理装置200的作用为，通过调整该重合的区域(亮度颜色校正参照区域)
的图像的明亮度与色调，来使得图像的连接变得平滑。另外，在本实施方式中，虽然设为有4
台摄像头，但是可以使用任何数量的摄像头，只要是用于俯视本车周边的多台摄像头即可。
即使在该情况下，也可以通过与本实施方式相同的作用来实施本发明。

[0027] 在图像处理装置200中，包括摄像头图像坐标变换装置201、亮度颜色图像校正装置202、合成图像生成装置204、车辆周边立体物判定装置205、亮度颜色校正参照区域判定
装置206。

[0028] 摄像头图像坐标变换装置201进行对从周边监视摄像头装置100获取的车辆周边的图像的坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像。该坐标变换处理
基于表示安装于车辆上的各摄像头的位置·姿态的外部参数、透镜焦点距离等内部参数、
透镜的失真系数等校准(校正)参数、假想视点的位置或显示范围等视角(view)参数来进行
计算。

[0029] 另外，也可以基于表示安装于车辆上的各摄像头的位置·姿态的外部参数、透镜焦点距离等内部参数、透镜的失真系数等校准参数、假想视点的位置或显示范围等视角
(view)参数，来预先生成坐标变换表格，并且基于该坐标变换表格来进行对所获取的图像
的坐标变换处理。将生成的俯视图像通知给亮度颜色图像校正装置202。

[0030] 亮度颜色图像校正装置202根据从亮度颜色校正参照区域判定装置206获取的亮度颜色校正参照区域信息来计算出校正值，以使得相邻的摄像头的亮度颜色校正参照区域
的平均亮度颜色相一致，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图
像时的接缝附近的区域中的亮度颜色进行校正。

[0031] 传感器装置400被构成为将一个或多个超声波雷达、毫米波雷达和激光雷达(LIDAR)等有源传感器401安装在车体的前方、侧方或后方。该传感器装置400照射超声波或
毫米波、激光等，并且将其反射波的接收信号通知给车辆周边立体物判定装置205。

[0032] 车辆周边立体物判定装置205对从传感器装置400获取的传感器信息和从周边监视摄像头装置100获取的图像进行图像识别处理，并且根据传感器装置400的检测结果与图
像识别的检测结果，来进行本车周边有无立体物的判定、并且计算在存在立体物时立体物
的位置。

[0033] 另外，图像识别处理可以通过HoG或深层学习(成为形成人工智能的基本，并与目前为止的图案相组合从而对复杂的思考进行人工智能)等机器学习来检测立体物，也可以
使用光流(该光流在视觉表现(通常在时间上连续的数字图像)中用矢量来表示物体的动
作。)或运动视觉(在1台摄像头移动时、基于向以微小的时间间隔拍摄得到的连续图像转移
的被拍摄体的“画面上的移动”和“拍摄位置的位移量”来计算出到被拍摄体的距离的方法)
等流程来检测立体物。车辆周边立体物判定装置205将计算出的本车周边立体物信息通知
给亮度颜色校正参照区域判定装置206。所谓亮度颜色校正参照区域，是指用于计算在校正
亮度颜色图像时的校正值的相邻的摄像头图像的共通区域。

[0034] 亮度颜色校正参照区域判定装置206基于从车辆周边立体物判定装置205获取的本车周边立体物信息，来判定用于计算在亮度颜色图像校正装置202中校正亮度颜色图像
时的校正值的参照区域。当相邻的摄像头图像的共通区域中没有立体物时，将预先设定的
共通区域设为亮度颜色校正参照区域。当相邻的摄像头图像的共通区域(亮度颜色校正参
照区域)内存在立体物时，将去除与立体物的位置相对应的俯视图像上的区域而得到的共
通区域、即不存在立体物的区域设为亮度颜色校正参照区域。

[0035] 另外，若将立体物坐标变换为俯视图像，则立体部分被投影为在将摄像头与立体物相连结的线上延伸。因此，在将立体部分从共通区域去除时，当没有立体物的高度信息
时，在将摄像头与立体物相连结的线上，将比立体物的位置更靠后方的区域全部去除。通过
这样，在有源传感器401中，在立体物的位置可知、但是高度不可知时，可以将立体物可靠地
从共通区域去除。将计算出的亮度颜色校正参照区域通知给亮度颜色图像校正装置202。

[0036] 例如，为了进行校正以使前置摄像头101与左侧摄像头104的合成图像的接缝附近的区域的明亮度或色调相一致，计算出由前置摄像头101得到的图像与由左侧摄像头104得
到的图像的亮度颜色校正参照区域的全部像素与颜色的平均值。根据计算出的由前置摄像
头101得到的图像与由左侧摄像头104得到的图像的亮度与颜色的平均值之差，对在合成由
左侧摄像头104得到的图像时的接缝附近的区域的所有像素，进行明亮度或色调的校正，从
而使左侧摄像头104(在该实施方式中，若将基准摄像头设为前置摄像头101则为不是基准
摄像头的一个摄像头)的平均值为前置摄像头101的平均值。同样地，对前置摄像头101与右
侧摄像头103、后置摄像头102与左侧摄像头104、后置摄像头102与右侧摄像头103的合成图
像的接缝附近的区域，进行明亮度或色调的校正。

[0037] 另外，虽然通过对接缝附近的区域的校正来使合成时的相邻的摄像头之间变得平滑，但是由于单独在经校正的图像中，在经校正的区域与未校正的区域的边界部分处产生
差异，因此对该边界部分也进行校正以使其变得平滑。通过这样，可以生成各摄像头的亮度
颜色校正图像。将生成的亮度颜色校正图像输出给合成图像生成装置204。

[0038] 合成图像生成装置204将从亮度颜色校正装置202获取的由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104得到的各个图像的亮度颜色校正图像合成为1
张图像，同时合成从来自车辆上空的假想视点俯视的图像，生成输出显示图像。将生成的输
出显示图像输出至图像显示装置300。

[0039] 图像显示装置300为车载导航(导航系统)或后视镜监视器等，且构成为获取从合成图像生成装置204输出的输出显示图像并进行显示。

[0040] 接着，在图2中示出了该实施方式1的动作的流程。这里，对与车辆的换挡杆的操作联动从而图像处理装置200进行动作的情况进行说明。

[0041] 首先，若将车辆的换挡位置设为后退位置(步骤S1‑1)，则获取周边监视摄像头图像与传感器信息。周边监视摄像头图像由前置摄像头101、后置摄像头102、右侧摄像头103、
左侧摄像头104等多台安装在车外的光学摄像头所构成的周边监视摄像头装置100来获取
(步骤S1‑2)，并通知给摄像头图像坐标变换装置201和车辆周边立体物判定装置205。对于
传感器信息，通过由一个或多个安装在车体的前方、侧方或后方的超声波雷达、毫米波雷达
和激光雷达等有源传感器401构成的传感器装置400照射超声波或毫米波、激光等，获取其
反射波的接收信息(步骤S1‑3)，并通知给车辆周边立体物判定装置205。

[0042] 根据从周边监视摄像头装置100获取的车辆周边的图像，摄像头图像坐标变换装置201进行坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像(步骤S1‑4)。将生
成的俯视图像通知给亮度颜色图像校正装置202。

[0043] 根据从传感器装置400获取的传感器信息和从周边监视摄像头装置100获取的周边监视摄像头图像，车辆周边立体物判定装置205根据传感器装置400的检测结果和进行图
像识别处理而得到的图像识别的检测结果，来进行本车周边有无立体物的判定、并且计算
在存在立体物时立体物的位置(步骤S1‑5)。将计算出的本车周边立体物信息通知给亮度颜
色校正参照区域判定装置206。

[0044] 根据从车辆周边立体物判定装置205获取的本车周边立体物信息，亮度颜色校正参照区域判定装置206判定用于计算在校正亮度颜色图像时的校正值的相邻摄像头图像的
共通区域中是否存在立体物(步骤S1‑6)。当不存在立体物时，将预先设定的共通区域设为
亮度颜色校正参照区域(步骤S1‑7)。当存在立体物时，将去除与立体物的位置相对应的俯
视图像上的区域而得到的共通区域设为亮度颜色校正参照区域(步骤S1‑8)。将计算出的亮
度颜色校正参照区域通知给亮度颜色图像校正装置202。

[0045] 亮度颜色图像校正装置202根据从亮度颜色校正参照区域判定装置206获取的亮度颜色校正参照区域信息来计算出校正值，以使相邻的摄像头的亮度颜色校正参照区域的
平均亮度颜色相一致(步骤S1‑9)，对合成从摄像头图像坐标变换装置201获取的各摄像头
的俯视图像时的接缝附近的区域，校正亮度颜色(步骤S1‑10)。将生成的亮度颜色校正图像
通知给合成图像生成装置204。

[0046] 根据从亮度颜色校正装置202获取的前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的亮度颜色校正图像，合成图像生成装置204在合成为1张图像的同时，
进一步地合成从上空的假想视点俯视本车辆而得到的图像，生成输出显示图像(步骤S1‑
11)。将生成的输出显示图像通知给图像显示装置300。

[0047] 若图像显示装置300从合成图像生成装置204获取输出显示图像，则显示在车载导航或后视镜监视器等显示装置上(步骤S1‑12)。

[0048] 在图2的输出图像显示处理(步骤S1‑12)之后，判定车辆的换挡位置是否仍为后退位置(步骤S1‑13)，如果车辆的换挡位置仍为后退位置，则再次返回S1‑2，重复从步骤S1‑2
起的处理，直到车辆的换挡位置为除了后退位置以外的位置为止。若车辆的换挡位置为除
了后退位置以外的位置，则结束整个处理。另外，虽然在本实施方式中，将车辆的换挡位置
为后退位置的情况设为启动和结束的触发器，但是例如，除此以外，也可以从导航等接受到
顶视显示的通知从而开始，接受到顶视显示的结束通知从而结束，也可以为若换挡位置为
前进位置并且车速在规定值以下时则开始，在车速在规定值以上时则结束。

[0049] 通过使用本实施方式1所示的结构和动作来将立体物从用于计算在校正亮度颜色时的校正值的相邻摄像头图像的共通区域去除，从而不会产生因在以往的坐标变换图像中
以使立体物延伸的方式进行投影、且相邻的摄像头的共通拍摄区域的投影后的图像不一致
而导致的校正偏差，可提供在各图像之间的边界附近为连续的平滑的拼接的合成图像。

[0050] 实施方式2

[0051] 图3中表示本发明中的实施方式2的结构图。

[0052] 在该实施方式2中，相比于实施方式1，没有亮度颜色校正参照区域判定装置206，添加了亮度颜色信息存储装置203。因此，除了变更的部分以外，与实施方式1是相同的。

[0053] 车辆周边立体物判定装置205根据传感器400的检测结果与图像识别的检测结果，来进行本车周边有无立体物的判定、并且计算在存在立体物时立体物的位置。将计算出的
本车周边立体物信息通知给亮度颜色图像校正装置202。

[0054] 亮度颜色图像校正装置202基于从车辆周边立体物判定装置205获取的与本车周边的立体物相关的信息，在不存在立体物时，计算出相邻的摄像头的亮度颜色校正参照区
域的亮度颜色的平均值，并且计算校正值，以使得计算出的亮度颜色的平均值在相邻的摄
像头彼此中相一致。使用计算出的校正值，来对在合成从摄像头图像坐标变换装置201获取
的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色。将在亮度颜色图像校正装置
202中计算出的校正值输出至亮度颜色信息存储装置203。在车辆的周边存在立体物时，从
亮度颜色信息存储装置203获取最新适用的校正值，并且基于获取到的校正值，对合成从摄
像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜
色。将生成的亮度颜色校正图像通知给合成图像生成装置204。

[0055] 亮度颜色信息存储装置203若从亮度颜色图像校正装置202接受到亮度颜色校正值，则将接受到的亮度颜色校正值作为最新的亮度颜色校正值覆盖并保存于已存储的亮度
颜色校正值。此外，亮度颜色信息存储装置203当在用于计算校正值的相邻摄像头图像的共
通区域中存在立体物时，将最新的亮度颜色校正值通知给亮度颜色图像校正装置202。

[0056] 接着，在图4中示出了实施方式2的动作的流程。

[0057] 首先，若将车辆的换挡位置设为后退位置(步骤S2‑1)，则获取周边监视摄像头图像与传感器信息。周边监视摄像头图像由前置摄像头101、后置摄像头102、右侧摄像头103、
左侧摄像头104等多台安装在车外的光学摄像头所构成的周边监视摄像头装置100来获取
(步骤S2‑2)，并通知给摄像头图像坐标变换装置201和车辆周边立体物判定装置205。对于
传感器信息，通过由一个或多个安装在车体的前方、侧方或后方的超声波雷达、毫米波雷达
和激光雷达等有源传感器401构成的传感器装置400照射超声波或毫米波、激光等，获取其
反射波的接收信息(步骤S2‑3)，并通知给车辆周边立体物判定装置205。

[0058] 根据从周边监视摄像头装置100获取的车辆周边的图像，摄像头图像坐标变换装置201进行坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像(步骤S2‑4)。将生
成的俯视图像通知给亮度颜色图像校正装置202。

[0059] 基于从传感器装置400获取的传感器信息和从周边监视摄像头装置100获取的周边监视摄像头图像，车辆周边立体物判定装置205进行本车周边有无立体物的判定、并且计
算在存在立体物时立体物的位置(步骤S2‑5)。将计算出的本车周边立体物信息输出至亮度
颜色图像校正装置202。

[0060] 基于来自车辆周边立体物判定装置205的本车周边立体物信息，亮度颜色校正装置202判定用于计算在校正亮度颜色图像时的校正值的摄像头图像的共通区域中是否存在
立体物(步骤S2‑6)。当不存在立体物的情况下(“否”的情况下)，计算相邻摄像头的亮度颜
色校正参照区域的亮度颜色的平均值，并且计算校正值，以使得计算出的亮度颜色的平均
值在相邻的摄像头彼此中相一致(步骤S2‑7)。

[0061] 使用计算出的校正值，来对在合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域校正亮度颜色(步骤S2‑8)，将计算出的校正值通知给亮
度颜色信息存储装置203(步骤S2‑9)。若从亮度颜色图像校正装置202发送来亮度颜色校正
值，则亮度颜色信息存储装置203将接受到的亮度颜色校正值作为最新的亮度颜色校正值
进行覆盖并保存(步骤S2‑10)。在存在立体物的情况下(“是”的情况下)，亮度颜色图像校正
装置202从亮度颜色信息存储装置203获取刚刚适用的校正值(步骤S2‑11)，并且基于获取
到的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝
附近的区域，校正亮度颜色(步骤S2‑12)。将生成的亮度颜色校正图像通知给合成图像生成
装置204。

[0062] 根据从亮度颜色校正装置202获取的前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的亮度颜色校正图像，合成图像生成装置204在合成为1张图像的同时，
进一步地合成从上空的假想视点俯视本车辆而得到的图像，生成输出显示图像(步骤S2‑
13)。将生成的输出显示图像输出至图像显示装置300。

[0063] 图像显示装置300若从合成图像生成装置204获取输出显示图像，则将其显示于车载导航或后视镜监视器等显示装置(步骤S2‑14)。

[0064] 在图4的输出图像显示处理(步骤S2‑14)之后，判定车辆的换挡位置是否仍为后退位置(步骤S2‑15)，若车辆的换挡位置仍为后退位置，则再次返回到S2‑2，重复从步骤S2‑2
起的处理，直到车辆的换挡位置为除了后退位置以外的位置为止。若车辆的换挡位置为除
了后退位置以外的位置，则结束整个处理。另外，虽然在本实施方式2中，与实施方式1相同
地，将车辆的换挡位置为后退位置的情况设为启动和结束的触发器，但是例如，除此以外，
也可以从导航等接受到顶视显示的通知从而开始，接受到顶视显示的结束通知从而结束，
也可以在若换挡位置为前进位置并且车速在规定值以下时开始，在车速在规定值以上时结
束。

[0065] 通过使用本实施方式2中说明的结构和动作，在立体物存在于用于计算在校正亮度颜色时的校正值的相邻摄像头图像的共通区域时，不更新校正值，并且使用在没有障碍
物的情况下的校正值来进行校正，从而不会产生因在以往的坐标变换图像中以使立体物延
伸的方式进行投影、且相邻的摄像头的共通拍摄区域的投影后的图像不一致而导致的校正
偏差，可提供在各图像之间的边界附近为连续的平滑的拼接的合成图像。

[0066] 实施方式3

[0067] 图5中示出了本发明中的实施方式3的结构图。

[0068] 在该实施方式3中，相比于实施方式2，没有传感器装置400、车辆周边立体物判定装置205。在该实施方式3中，对在车辆周围是否存在立体物的判定从由传感器装置400和车
辆周边立体物判定装置205进行的直接判定变为根据参照区域的亮度颜色的平均值的变化
程度来推断在车辆周边存在立体物这一情况。即，使亮度颜色图像校正装置202具有判定在
车辆周边是否存在立体物的功能，由此，使根据亮度颜色的平均值的变化程度来判定立体
物的存在。

[0069] 因此，在本实施方式3中，除了变更的部分以外，与实施方式2是相同的。

[0070] 在本实施方式3中，构成为由周边监视摄像头装置100拍摄得到的图像通过本发明的图像处理装置200来进行变换，合成从上空的假想视点俯视的图像，并且在图像显示装置
300中显示。

[0071] 周边监视摄像头装置100中，前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104等光学摄像头360°覆盖本车周边，并且在车辆上安装多台从而使得拍摄范围
部分重复。各个摄像头安装在俯视的方向上，并且获取各个方向的图像。

[0072] 在该图5中，虽然表示为用1条信号线连接周边监视摄像头装置100与图像处理装置200，但实际上，连接为从多个摄像头中的每一个将图像信息并行地发送至图像处理装置
200。并且，在由各个摄像头拍摄得到的图像的两端，存在与由其他摄像头拍摄得到的图像
重合的区域。图像处理装置200的作用在于，通过调整该重合的区域(亮度颜色校正参照区
域)的图像的明亮度与色调，来使得图像的连接变得平滑。

[0073] 另外，在本实施方式3中，虽然设为有4台摄像头，但是可以使用任意数量的摄像头，只要它们是用于俯视本车周边的多台摄像头即可。即使在该情况下，也可以通过与本实
施方式相同的作用来实施本发明。

[0074] 在图像处理装置200中，包括摄像头图像坐标变换装置201、亮度颜色图像校正装置202、亮度颜色信息存储装置203、合成图像生成装置204。

[0075] 摄像头图像坐标变换装置201对周边监视摄像头装置100的多个摄像头中的各个摄像头的图像进行坐标变换处理，从而变换成从上空的假想视点俯视的状态的图像。

[0076] 亮度颜色图像校正装置202计算校正值，以使得相邻的摄像头的亮度颜色校正参照区域的平均亮度颜色相一致，并且对合成从摄像头图像坐标变换装置201获取的各摄像
头的俯视图像时的接缝附近的区域，校正亮度颜色。

[0077] 具体地，例如，为了进行校正以使得前置摄像头101与左侧摄像头104的合成图像的接缝附近的区域的明亮度或色调相一致，计算出由前置摄像头101得到的图像与由左侧
置摄像头104得到的图像的亮度颜色校正参照区域的全部像素与颜色的平均值。根据计算
出的由前置摄像头101得到的图像与由左侧置摄像头104得到的图像的亮度与颜色的平均
值之差，为了使左侧置摄像头104(在该实施方式中，若将基准摄像头设为前置摄像头101则
为不是基准摄像头的一个摄像头)的平均值为前置摄像头101的平均值，对在合成由左侧摄
像头104得到的图像时的接缝附近的区域的所有像素进行明亮度或色调的校正。同样地，对
前置摄像头101与右侧摄像头103、后置摄像头102与左侧摄像头104、后置摄像头102与右侧
摄像头103的合成图像的接缝附近的区域，进行明亮度或色调的校正。

[0078] 另外，虽然通过对接缝附近的区域进行校正来使合成时的相邻的摄像头之间变得平滑，但由于在单独经校正的摄像头图像中，在经校正的区域与未校正的区域的边界部分
处产生差异，因此对此边界部分也进行校正以使得其变得平滑。通过这样，可以生成各摄像
头的亮度颜色校正图像。将生成的亮度颜色校正图像输出给合成图像生成装置204。

[0079] 合成图像生成装置204将从亮度颜色校正装置202获取的由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104得到的各个图像的亮度颜色校正图像合成为1
张图像，同时合成从来自车辆上空的假想视点俯视得到的图像，生成输出显示图像。将生成
的输出显示图像输出至图像显示装置300。

[0080] 此外，亮度颜色图像校正装置202使用计算出的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色，并且将计算
出的校正值输出至亮度颜色信息存储装置203。

[0081] 若从亮度颜色图像校正装置202发送来亮度颜色校正值，则亮度颜色信息存储装置203将接受到的亮度颜色校正值作为最新的亮度颜色校正值进行覆盖并保存。此外，根据
来自亮度颜色图像校正装置203的要求，输出覆盖并保存的最新的亮度颜色校正值。

[0082] 图像显示装置300为车载导航或后视镜监视器等，且被构成为获取从合成图像生成装置204输出的输出显示图像并进行显示。

[0083] 接着，在图6中示出了该实施方式3的动作的流程。这里，对图像处理装置200与车辆的换挡杆的操作联动地进行动作的情况进行说明。

[0084] 首先，若将车辆的换挡杆的位置(换挡位置的位置)设为后退位置(步骤S3‑1)，则获取周边监视摄像头图像。周边监视摄像头图像由前置摄像头101、后置摄像头102、右侧摄
像头103、左侧摄像头104的多台安装在车外的光学摄像头所构成的周边监视摄像头装置
100拍摄各个图像来获取(步骤S3‑2)，并通知给摄像头图像坐标变换装置201。

[0085] 根据从周边监视摄像头装置100获取的车辆周边的图像，摄像头图像坐标变换装置201进行坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像(步骤S3‑3)。将生
成的俯视图像通知给亮度颜色图像校正装置202。

[0086] 根据从摄像头图像坐标变换装置201获取的摄像头图像，亮度颜色图像校正装置202计算相邻的摄像头的亮度颜色校正参照区域的亮度颜色的平均值(步骤S3‑4)。从亮度
颜色信息存储装置203获取在适用校正值时的最新的亮度颜色的平均值(步骤S3‑5)，并且
判定计算出的亮度颜色校正参照区域的亮度颜色的平均值的变化是否在规定值以上(步骤
S3‑6)。在亮度颜色的平均值的变化低于规定值的情况下(“否”的情况下)，计算校正值，以
使得亮度颜色的平均值在相邻的摄像头彼此中相一致。

[0087] 此外，使用计算出的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域的像素数据，校正亮度颜色(步骤S3‑8)，并且将计算出
的校正值和亮度颜色的平均值通知给亮度颜色信息存储装置203(步骤S3‑9)。若存在来自
亮度颜色图像校正装置202的亮度颜色校正值及亮度颜色平均值的发送，则亮度颜色信息
存储装置203将接受到的亮度颜色校正值及亮度颜色平均值作为最新的亮度颜色校正值及
亮度颜色平均值覆盖并保存(步骤S3‑10)。在亮度颜色的平均值的变化在规定值以上的情
况下(“是”的情况下)，从亮度颜色信息存储装置203获取最新适用的校正值(步骤S3‑11)，
并且基于获取的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图
像时的接缝附近的区域，校正亮度颜色(步骤S3‑12)。将生成的亮度颜色校正图像通知给合
成图像生成装置204。

[0088] 根据从亮度颜色校正装置202获取的前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的亮度颜色校正图像，合成图像生成装置204在合成为1张图像的同时，
进一步地合成从车辆的上空的假想视点俯视的图像，生成输出显示图像(步骤S3‑13)。将生
成的输出显示图像通知给图像显示装置300。

[0089] 图像显示装置300若从合成图像生成装置204获取输出显示图像，则显示于车载导航或后视镜监视器等显示装置(步骤S3‑14)。

[0090] 在图6所示的输出图像显示处理(步骤S3‑14)之后，判定车辆的换挡杆的位置是否仍为后退位置(步骤S3‑15)，若车辆的换挡位置仍为后退位置，则再次返回到S3‑2，重复从
步骤S3‑2起的处理，直到车辆的换挡位置为除了后退位置以外的位置为止。若车辆的换挡
位置为除了后退位置以外的位置，则结束整个处理。另外，虽然在本实施方式中，将车辆的
换挡位置为后退位置的情况设为启动和结束的触发器，但是例如，除此以外，也可以从导航
等接受到顶视显示的通知从而开始，接受到顶视显示的结束通知从而结束，也可以在若换
挡位置为前进位置并且车速在规定值以下时开始图像处理的动作，在车速在规定值以上时
结束。

[0091] 通过使用本实施方式3中说明的结构和动作，在用于计算在校正亮度颜色时的校正值的相邻摄像头图像的共通区域的变化量较大时，接手变化量较小的过去的校正值，且
进行亮度颜色校正，从而避免变化量变较大的原因即立体物的影响，可继续适用在道路等
的变化量较小的情况下的校正值，不会发生坐标变换图像中以使立体物延伸的方式进行投
影的这一情况，此外，不会发生因相邻的摄像头的共通拍摄区域的投影后的图像不一致而
导致的校正偏差，从而可以提供在各图像之间的边界附近为连续且平滑的拼接的合成图
像。

[0092] 另外，图1、图2及图5所示的结构图中的各个装置由图7所示的硬件来实现。即，通过设备503来连接处理器500、存储程序及存储数据的存储器501、和输入输出设备502，通过
由处理器500进行的控制，进行数据的处理及数据的传输。

[0093] 此外，本发明在其发明的范围内，能将实施方式所示的结构要素自由地组合，并能将实施方式的任意的结构要素进行适当地变形或省略。