车辆驾驶辅助装置及车辆

摘要

本发明涉及车辆驾驶辅助装置及车辆，更详细地，涉及车辆驾驶辅助装置，上述车辆驾驶辅助装置包括：立体摄像头模块，用于获取车辆前方的立体影像；以及处理器，基于上述立体影像来生成深度图，并基于上述深度图来判断上述车辆行驶中的道路的前方为上坡还是下坡。

权利要求

1.一种车辆驾驶辅助装置，其特征在于，包括：

立体影像获取单元，利用立体摄像头模块来获取车辆前方的立体影像，

上坡/下坡判断单元，基于上述立体影像来生成深度图，并基于上述深度图来判断上述车辆行驶中的道路的前方为上坡还是下坡，立体摄像头驱动单元，驱动立体摄像头驱动部来移动上述立体摄像头模块，以及上坡倾斜度判断单元，在上述道路的前方被判断为上坡的情况下，判断上述上坡的倾斜度；

上述立体摄像头驱动单元基于对上述道路的前方为上坡还是下坡的判断来驱动上述立体摄像头驱动部，上述立体摄像头驱动单元以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块的旋转角度向上方移动，在上述道路的前方被判断为上坡，且上述车辆到达离作为上述上坡的起点的变曲点规定距离之前的地点的情况下，上述立体摄像头驱动单元以以使上述立体摄像头模块与上述倾斜度成正比地向上方移动的方式进行驱动。

2.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述上坡/下坡判断单元在上述深度图中检测路面，并基于所检测的上述路面来判断上述道路的前方为上坡还是下坡。

3.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述上坡/下坡判断单元在上述立体影像中检测车道线，并基于所检测的上述车道线的形状来判断上述道路的前方为上坡还是下坡。

4.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述上坡/下坡判断单元基于显示在上述深度图的消失点来判断上述道路的前方为上坡还是下坡。

5.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述上坡/下坡判断单元基于显示在上述深度图的道路周边的多个固定的对象来判断上述道路的前方为上坡还是下坡。

6.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，在上述道路的前方被判断为上坡的情况下，上述立体摄像头驱动单元以与上述车辆的行驶速度成正比的方式控制上述立体摄像头模块的向上调整速度。

7.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，在上述车辆进入上述上坡的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

8.根据权利要求7所述的车辆驾驶辅助装置，其特征在于，上述立体摄像头驱动单元以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

9.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，

还包括下坡倾斜度判断单元，在上述道路的前方被判断为下坡的情况下，上述下坡倾斜度判断单元判断上述下坡的倾斜度，上述立体摄像头驱动单元以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块向下方移动。

10.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，在上述道路的前方被判断为下坡的情况下，上述立体摄像头驱动单元以与上述车辆的行驶速度成正比地使上述立体摄像头模块向下方移动的方式进行驱动。

11.根据权利要求9所述的车辆驾驶辅助装置，其特征在于，在上述道路的前方被判断为下坡，且上述车辆从作为上述下坡的起点的变曲点到达规定距离之前的地点的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块与上述倾斜度成正比地向下方移动的方式进行驱动。

12.根据权利要求9所述的车辆驾驶辅助装置，其特征在于，在上述车辆进入上述下坡的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

13.根据权利要求12所述的车辆驾驶辅助装置，其特征在于，上述立体摄像头驱动单元以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

14.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，还包括曲线信息生成单元，上述曲线信息生成单元在上述立体影像中检测线，并通过所检测的线来生成与道路的曲线相关的信息。

15.根据权利要求14所述的车辆驾驶辅助装置，其特征在于，

还包括立体摄像头驱动单元，上述立体摄像头驱动单元驱动立体摄像头驱动部来移动上述立体摄像头模块，在上述道路的前方，向上述车辆的行驶方向的右侧或左侧形成有曲线，并存在上述上坡或上述下坡的情况下，曲线信息生成单元从所检测的上述线中检测位于离成为上述曲线的曲率的中心的地点最远距离的最外围线，并检测上述最外围线的倾斜度，立体摄像头驱动单元以与上述最外围线的倾斜度成正比地向上方或下方移动上述立体摄像头模块的方式驱动上述立体摄像头驱动部。

16.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，还包括输出单元，上述输出单元用于向显示器输出所判断的上述道路的前方为上坡还是下坡的信息。

17.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，还包括存储单元，上述存储单元以累积方式在第一存储器中存储基于所判断的上述道路的前方为上坡还是下坡的车辆状态。

18.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，还包括：制动器驱动单元，驱动制动器驱动部来控制制动器；以及

控制信号输出单元，基于所判断的上述道路的前方为上坡还是下坡的信息及通过上述立体影像生成的路面信息来输出用于驱动上述制动器驱动部的控制信号。

19.根据权利要求18所述的车辆驾驶辅助装置，其特征在于，还包括道路状态预测单元，上述道路状态预测单元从用于提供地图及上述地图上的车辆位置信息的导航仪中接收上述车辆行驶中的道路中除了显示于上述立体影像的区域之外的道路信息，并预测道路状态。

20.根据权利要求18所述的车辆驾驶辅助装置，其特征在于，

还包括用于判断车辆的滑移程度的滑移判断单元，

上述控制信号输出单元基于所判断的上述道路的前方为上坡还是下坡的信息及上述滑移程度来输出用于驱动上述制动器驱动部的控制信号。

21.根据权利要求20所述的车辆驾驶辅助装置，其特征在于，

还包括：

动力源驱动单元，驱动动力源驱动部来控制发动机的功率，从而限制上述车辆的速度；

存储单元，以累积方式在第一存储器中存储上述道路的前方为上坡还是下坡的信息；

以及

滑移程度预测单元，在以累积方式存储的上坡或下坡信息中适用卡尔曼滤波器来预测上述车辆的滑移程度，上述控制信号输出单元利用所预测的上述滑移程度，来输出用于控制上述动力源驱动部或上述制动器驱动部的控制信号，使得上述制动器以全制动情况下的90％以下启动。

22.一种车辆驾驶辅助方法，其特征在于，包括：

立体影像获取步骤，获取车辆前方的立体影像，

上坡/下坡判断步骤，基于在上述立体影像获取步骤中获取的立体影像来生成深度图，并基于上述深度图来判断上述车辆行驶中的道路的前方为上坡还是下坡，立体摄像头驱动步骤，驱动立体摄像头驱动部来移动上述立体摄像头模块，以及上坡倾斜度判断步骤，在上述道路的前方被判断为上坡的情况下，判断上述上坡的倾斜度；

在上述立体摄像头驱动步骤中，基于对上述道路的前方为上坡还是下坡的判断来驱动上述立体摄像头驱动部，在上述立体摄像头驱动步骤中，以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块的旋转角度向上方移动，在上述道路的前方被判断为上坡，且上述车辆到达离作为上述上坡的起点的变曲点规定距离之前的地点的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块与上述倾斜度成正比地向上方移动的方式进行驱动。

23.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述上坡/下坡判断步骤中，在上述深度图中检测路面，并基于所检测的上述路面来判断上述道路的前方为上坡还是下坡。

24.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述上坡/下坡判断步骤中，在上述立体影像中检测车道线，并基于所检测的上述车道线的形状来判断上述道路的前方为上坡还是下坡。

25.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述上坡/下坡判断步骤中，基于显示在上述深度图的消失点来判断上述道路的前方为上坡还是下坡。

26.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述上坡/下坡判断步骤中，基于显示在上述深度图的道路周边的多个固定的对象来判断上述道路的前方为上坡还是下坡。

27.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述道路的前方被判断为上坡的情况下，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度成正比的方式控制上述立体摄像头模块的向上调整速度。

28.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述车辆进入上述上坡的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

29.根据权利要求28所述的车辆驾驶辅助方法，其特征在于，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

30.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，

还包括下坡倾斜度判断步骤，在上述下坡倾斜度判断步骤中，在上述道路的前方被判断为下坡的情况下，判断上述下坡的倾斜度，在上述立体摄像头驱动步骤中，以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块向下方移动。

31.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，在上述道路的前方被判断为下坡的情况下，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度成正比地使上述立体摄像头模块向下方移动的方式进行驱动。

32.根据权利要求30所述的车辆驾驶辅助方法，其特征在于，在上述道路的前方被判断为下坡，且上述车辆到达离作为上述下坡的起点的变曲点规定距离之前的地点的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块与上述倾斜度成正比地向下方移动的方式进行驱动。

33.根据权利要求30所述的车辆驾驶辅助方法，其特征在于，在上述车辆进入上述下坡的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

34.根据权利要求33所述的车辆驾驶辅助方法，其特征在于，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

35.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，还包括曲线信息生成步骤，在上述曲线信息生成步骤中，在上述立体影像中检测线，并通过所检测的线来生成与道路的曲线相关的信息。

36.根据权利要求35所述的车辆驾驶辅助方法，其特征在于，

还包括立体摄像头驱动步骤，在上述立体摄像头驱动步骤中，驱动立体摄像头驱动部来移动上述立体摄像头模块，在上述道路的前方，向上述车辆的行驶方向的右侧或左侧形成有曲线，并存在上述上坡或上述下坡的情况下，在上述曲线信息生成步骤中，从所检测的上述线中检测位于离成为上述曲线的曲率的中心的地点最远距离的最外围线，并检测上述最外围线的倾斜度，在立体摄像头驱动步骤中，以与上述最外围线的倾斜度成正比地向上方或下方移动上述立体摄像头模块的方式驱动上述立体摄像头驱动部。

37.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，还包括输出步骤，在上述输出步骤中，向显示器输出所判断的上述道路的前方为上坡还是下坡的信息。

38.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，包括存储步骤，在上述存储步骤中，以累积方式在第一存储器中存储基于所判断的上述道路的前方为上坡还是下坡的车辆状态。

39.根据权利要求22所述的车辆驾驶辅助方法，其特征在于，还包括：制动器驱动步骤，驱动制动器驱动部来控制制动器；以及

控制信号输出步骤，基于所判断的上述道路的前方为上坡还是下坡的信息及通过上述立体影像生成的路面信息来输出用于驱动制动器驱动部的控制信号。

40.根据权利要求39所述的车辆驾驶辅助方法，其特征在于，还包括道路状态预测步骤，在上述道路状态预测步骤中，从用于提供地图及上述地图上的车辆位置信息的导航仪中接收上述车辆行驶中的道路中除了显示于上述立体影像的区域之外的道路信息，并预测道路状态。

41.根据权利要求39所述的车辆驾驶辅助方法，其特征在于，

还包括判断车辆的滑移程度的滑移判断步骤，

在上述控制信号输出步骤中，基于所判断的上述道路的前方为上坡还是下坡信息及车辆的滑移程度来输出用于驱动上述制动器驱动部的控制信号。

42.根据权利要求41所述的车辆驾驶辅助方法，其特征在于，

还包括：

动力源驱动步骤，驱动动力源驱动部来控制发动机的功率，从而限制上述车辆的速度；

存储步骤，以累积方式在第一存储器中存储上述道路的前方为上坡还是下坡的信息；

以及

滑移程度预测步骤，在以累积方式存储的上坡或下坡信息中适用卡尔曼滤波器来预测上述车辆的滑移程度，在上述控制信号输出步骤中，利用所预测的上述滑移程度，来输出用于控制动力源驱动部或上述制动器驱动部的控制信号，使得上述制动器以全制动情况下的90％以下启动，上述动力源驱动部用于控制发动机的功率，来限制上述车辆的速度。

说明书

车辆驾驶辅助装置及车辆

技术领域

[0001] 本发明涉及驾驶辅助装置及具有其的车辆，更详细地，涉及基于立体影像来判断行驶中的前方道路的高度的驾驶辅助装置及具有其的车辆。

背景技术

[0002] 车辆为由乘坐的用户向所需的方向移动的装置。代表性的例子可以举出汽车。

[0003] 另一方面，为了给利用车辆的用户带来方便，正处于设置各种传感器和电子装置等的趋势。尤其，正在开发便于用户驾驶的各种装置等。

[0004] 最近，随着对无人驾驶汽车的关注度逐渐增高，正在活跃地进行着与搭载于无人驾驶汽车的传感器相关的研究。作为搭载于无人驾驶汽车的传感器，具有摄像头、红外线传感器、雷达、全球定位系统(GPS)、激光雷达(Lidar)、陀螺仪等，其中，摄像头作为起到代替人的眼睛的作用的传感器，占据着重要的位置。

[0005] 另一方面，在车辆行驶过程中，可通过导航仪获得车辆行驶过程中的道路的前方信息，但无法获得上坡或下坡的准确的信息。因此，当前需要进行获得道路的前方为上坡还是下坡的信息，并由此控制设置于车辆的单元的研究。

发明内容

[0006] 本发明的目的在于，提供基于立体影像来判断行驶中的前方道路为上坡还是下坡的驾驶辅助装置及具有其的车辆。

[0007] 本发明提供车辆驾驶辅助装置，上述车辆驾驶辅助装置包括：立体影像获取单元，利用立体摄像头模块来获取车辆前方的立体影像；以及上坡/下坡判断单元，基于上述立体影像来生成深度图(depth map)，并基于上述深度图来判断上述车辆行驶中的道路的前方为上坡还是下坡。

[0008] 在本发明中，上述上坡/下坡判断单元在上述深度图中检测路面，并基于所检测的上述路面来判断上述道路的前方为上坡还是下坡。

[0009] 在本发明中，上述上坡/下坡判断单元在上述立体影像中检测车道线，并基于所检测的上述车道线的形状来判断上述道路的前方为上坡还是下坡。

[0010] 在本发明中，上述上坡/下坡判断单元基于显示在上述深度图的消失点来判断上述道路的前方为上坡还是下坡。

[0011] 在本发明中，上述上坡/下坡判断单元基于显示在上述深度图的道路周边的多个固定的对象来判断上述道路的前方为上坡还是下坡。

[0012] 在本发明中，还包括立体摄像头驱动单元，上述立体摄像头驱动单元驱动立体摄像头驱动部来移动上述立体摄像头模块，上述立体摄像头驱动单元基于对上述道路的前方为上坡还是下坡的判断来驱动上述立体摄像头驱动部。

[0013] 在本发明中，还包括上坡倾斜度判断单元，在上述道路的前方被判断为上坡的情况下，上述上坡倾斜度判断单元判断上述上坡的倾斜度，上述立体摄像头驱动单元以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块的旋转角度向上方移动。

[0014] 在本发明中，在上述道路的前方被判断为上坡的情况下，上述立体摄像头驱动单元以与上述车辆的行驶速度成正比的方式控制上述立体摄像头模块的向上调整速度。

[0015] 在本发明中，在上述道路的前方被判断为上坡，且上述车辆到达离作为上述上坡的起点的变曲点规定距离之前的地点的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块与上述倾斜度成正比地向上方移动的方式进行驱动。

[0016] 在本发明中，在上述车辆进入上述上坡的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

[0017] 在本发明中，上述立体摄像头驱动单元以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

[0018] 在本发明中，还包括下坡倾斜度判断单元，在上述道路的前方被判断为下坡的情况下，上述下坡倾斜度判断单元判断上述下坡的倾斜度，上述立体摄像头驱动单元以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块向下方移动。

[0019] 在本发明中，在上述道路的前方被判断为下坡的情况下，上述立体摄像头驱动单元以与上述车辆的行驶速度成正比地使上述立体摄像头模块向下方移动的方式进行驱动。

[0020] 在本发明中，在上述道路的前方被判断为下坡，且上述车辆从作为上述下坡的起点的变曲点到达规定距离之前的地点的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块与上述倾斜度成正比地向下方移动的方式进行驱动。

[0021] 在本发明中，在上述车辆进入上述下坡的情况下，上述立体摄像头驱动单元以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

[0022] 在本发明中，上述立体摄像头驱动单元以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

[0023] 在本发明中，还包括曲线信息生成单元，上述曲线信息生成单元在上述立体影像中检测线(line)，并通过所检测的线来生成与道路的曲线(curve)相关的信息。

[0024] 在本发明中，还包括立体摄像头驱动单元，上述立体摄像头驱动单元驱动立体摄像头驱动部来移动上述立体摄像头模块，在上述道路的前方，向上述车辆的行驶方向的右侧或左侧形成有曲线，并存在上述上坡或上述下坡的情况下，曲线信息生成单元从所检测的上述线中检测位于离成为上述曲线的曲率的中心的地点最远距离的最外围线，并检测上述最外围线的倾斜度，立体摄像头驱动单元以与上述最外围线的倾斜度成正比地向上方或下方移动上述立体摄像头模块的方式驱动上述立体摄像头驱动部。

[0025] 在本发明中，还包括输出单元，上述输出单元用于向显示器输出所判断的上述道路的前方为上坡还是下坡的信息。

[0026] 在本发明中，还包括存储单元，上述存储单元以累积方式在第一存储器中存储基于所判断的上述道路的前方为上坡还是下坡的车辆状态。

[0027] 在本发明中，还包括：制动器驱动单元，驱动制动器驱动部来控制制动器；以及控制信号输出单元，基于所判断的上述道路的前方为上坡还是下坡的信息及通过上述立体影像生成的路面信息来输出用于驱动上述制动器驱动部的控制信号。

[0028] 在本发明中，还包括道路状态预测单元，上述道路状态预测单元从用于提供地图及上述地图上的车辆位置信息的导航仪中接收上述车辆行驶中的道路中除了显示于上述立体影像的区域之外的道路信息，并预测道路状态。

[0029] 在本发明中，还包括用于判断车辆的滑移(slip)程度的滑移判断单元，上述控制信号输出单元基于所判断的上述道路的前方为上坡还是下坡的信息及上述滑移程度来输出用于驱动上述制动器驱动部的控制信号。

[0030] 在本发明中，还包括：动力源驱动单元，驱动动力源驱动部来控制发动机的功率，从而限制上述车辆的速度；存储单元，以累积方式在上述第一存储器中存储上述道路的前方为上坡还是下坡的信息；以及滑移程度预测单元，在以累积方式存储的上坡或下坡信息中适用卡尔曼滤波器来预测上述车辆的滑移程度，上述控制信号输出单元利用所预测的上述滑移程度，来输出用于控制上述动力源驱动部或上述制动器驱动部的控制信号，使得上述制动器以全制动情况下的90％以下启动。

[0031] 本发明提供车辆驾驶辅助方法，上述车辆驾驶辅助方法包括：立体影像获取步骤，获取车辆前方的立体影像；以及上坡/下坡判断步骤，基于在上述立体影像获取步骤中获取的立体影像来生成深度图，并基于上述深度图来判断上述车辆行驶中的道路的前方为上坡还是下坡。

[0032] 在本发明中，在上述上坡/下坡判断步骤中，在上述深度图中检测路面，并基于所检测的上述路面来判断上述道路的前方为上坡还是下坡。

[0033] 在本发明中，在上述上坡/下坡判断步骤中，在上述立体影像中检测车道线，并基于所检测的上述车道线的形状来判断上述道路的前方为上坡还是下坡。

[0034] 在本发明中，在上述上坡/下坡判断步骤中，基于显示在上述深度图的消失点来判断上述道路的前方为上坡还是下坡。

[0035] 在本发明中，在上述上坡/下坡判断步骤中，基于显示在上述深度图的道路周边的多个固定的对象来判断上述道路的前方为上坡还是下坡。

[0036] 在本发明中，还包括立体摄像头驱动步骤，在上述立体摄像头驱动步骤中，驱动立体摄像头驱动部来移动上述立体摄像头模块，在上述立体摄像头驱动步骤中，基于对上述道路的前方为上坡还是下坡的判断来驱动上述立体摄像头驱动部。

[0037] 在本发明中，还包括上坡倾斜度判断步骤，在上述上坡倾斜度判断步骤中，在上述道路的前方被判断为上坡的情况下，判断上述上坡的倾斜度，在上述立体摄像头驱动步骤中，以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块的旋转角度向上方移动。

[0038] 在本发明中，在上述道路的前方被判断为上坡的情况下，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度成正比的方式控制上述立体摄像头模块的向上调整速度。

[0039] 在本发明中，在上述道路的前方被判断为上坡，且上述车辆到达离作为上述上坡的起点的变曲点规定距离之前的地点的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块与上述倾斜度成正比地向上方移动的方式进行驱动。

[0040] 在本发明中，在上述车辆进入上述上坡的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

[0041] 在本发明中，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

[0042] 在本发明中，还包括下坡倾斜度判断步骤，在上述下坡倾斜度判断步骤中，在上述道路的前方被判断为下坡的情况下，判断上述下坡的倾斜度，在上述立体摄像头驱动步骤中，以与上述倾斜度成正比的方式进行驱动，以使上述立体摄像头模块向下方移动。

[0043] 在本发明中，在上述道路的前方被判断为下坡的情况下，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度成正比地使上述立体摄像头模块向下方移动的方式进行驱动。

[0044] 在本发明中，在上述道路的前方被判断为下坡，且上述车辆到达离作为上述下坡的起点的变曲点规定距离之前的地点的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块与上述倾斜度成正比地向下方移动的方式进行驱动。

[0045] 在本发明中，在上述车辆进入上述下坡的情况下，在上述立体摄像头驱动步骤中，以使上述立体摄像头模块恢复到移动之前的状态的方式进行驱动。

[0046] 在本发明中，在上述立体摄像头驱动步骤中，以与上述车辆的行驶速度或上述倾斜度成正比地使上述立体摄像头模块恢复的方式进行驱动。

[0047] 在本发明中，还包括曲线信息生成步骤，在上述曲线信息生成步骤中，在上述立体影像中检测线，并通过所检测的线来生成与道路的曲线相关的信息。

[0048] 在本发明中，还包括立体摄像头驱动步骤，在上述立体摄像头驱动步骤中，驱动立体摄像头驱动部来移动上述立体摄像头模块，在上述道路的前方，向上述车辆的行驶方向的右侧或左侧形成有曲线，并存在上述上坡或上述下坡的情况下，在上述曲线信息生成步骤中，从所检测的上述线中检测位于离成为上述曲线的曲率的中心的地点最远距离的最外围线，并检测上述最外围线的倾斜度，在立体摄像头驱动步骤中，以与上述最外围线的倾斜度成正比地向上方或下方移动上述立体摄像头模块的方式驱动上述立体摄像头驱动部。

[0049] 在本发明中，还包括输出步骤，在上述输出步骤中，向显示器输出所判断的上述道路的前方为上坡还是下坡的信息。

[0050] 在本发明中，包括存储步骤，在上述存储步骤中，以累积方式在第一存储器中存储基于所判断的上述道路的前方为上坡还是下坡的车辆状态。

[0051] 在本发明中，还包括：制动器驱动步骤，驱动制动器驱动部来控制制动器；以及控制信号输出步骤，基于所判断的上述道路的前方为上坡还是下坡的信息及通过上述立体影像生成的路面信息来输出用于驱动制动器驱动部的控制信号。

[0052] 在本发明中，还包括道路状态预测步骤，在上述道路状态预测步骤中，从用于提供地图及上述地图上的车辆位置信息的导航仪中接收上述车辆行驶中的道路中除了显示于上述立体影像的区域之外的道路信息，并预测道路状态。

[0053] 在本发明中，还包括判断车辆的滑移程度的滑移判断步骤，在上述控制信号输出步骤中，基于所判断的上述道路的前方为上坡还是下坡信息及车辆的滑移程度来输出用于驱动上述制动器驱动部的控制信号。

[0054] 在本发明中，还包括：动力源驱动步骤，驱动动力源驱动部来控制发动机的功率，从而限制上述车辆的速度；存储步骤，以累积方式在上述第一存储器中存储上述道路的前方为上坡还是下坡的信息；以及滑移程度预测步骤，在以累积方式存储的上坡或下坡信息中适用卡尔曼滤波器来预测上述车辆的滑移程度，在上述控制信号输出步骤中，利用所预测的上述滑移程度，来输出用于控制动力源驱动部或上述制动器驱动部的控制信号，使得上述制动器以全制动情况下的90％以下启动，上述动力源驱动部用于控制发动机的功率，来限制上述车辆的速度。

[0055] 以如上所述的方式构成的本发明的至少一个实施例的效果如下。

[0056] 第一，具有在进入之前掌握车辆行驶中的前方道路为上坡还是下坡的效果。

[0057] 第二，具有可以与上坡或下坡成正比地上下移动立体摄像头来适应性地获取影像的效果。

[0058] 第三，具有可以与上坡或下坡成正比地预先控制滑移的效果。

[0059] 本发明的效果并不局限于以上所提及的效果，本发明所属技术领域的普通技术人员可以根据发明要求保护范围的记载中明确地理解未提及的其他效果。

附图说明

[0060] 图1为示出本发明一实施例的设有立体摄像头的车辆的外观的图。

[0061] 图2为示出附着于图1的车辆的立体摄像头的外观的图。

[0062] 图3A及图3B例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。

[0063] 图4A至图4C例示图3A及图3B的处理器的内部框图的多种例。

[0064] 图5A及图5B为在对图4A及图4B的处理器的动作进行说明时参照的图。

[0065] 图6A及图6B为在对图3A及图3B的车辆驾驶辅助装置的动作进行说明时参照的图。

[0066] 图7为图1的车辆内部的电子控制装置的内部框图的一例。

[0067] 图8、图9A、图9B为在对本发明实施例的另一驾驶辅助装置的动作进行说明时参照的流程图。

[0068] 图10A、图10B、图11为在根据本发明的实施例来说明用于判断上坡或下坡的动作时参照的图。

[0069] 图12A至图15B为在根据本发明的实施例来说明与上坡或下坡相对应的立体摄像头的移动时参照的图。

[0070] 图16A、图16B为在根据本发明的实施例来说明在道路的前方形成有曲线，并存在上坡或下坡的情况下的动作时参照的图。

具体实施方式

[0071] 以下，参照附图详细说明在本说明书中所公开的实施例，且与附图标记无关地，对于相同或类似的结构要素，赋予相同的附图标记，并省略与此相关的重复的说明。在以下说明中所使用的结构要素的后缀“模块”及“部”是仅考虑制定说明书时的便利性而赋予或混用的，其本身并不具有相互区别的含义或作用。并且，在对本说明书中所公开的实施例进行说明的过程中，在判断相关公知技术的具体说明有可能混淆在本说明书中所公开的实施例的要旨的情况下，省略对此的详细说明。并且，需要理解的是，附图仅用于可以容易地理解本说明书中所公开的实施例，本说明书中所公开的技术思想并不因附图而受限制，而是包括本发明的思想及技术范围所包括的所有变更、等同技术方案至代替技术方案。

[0072] 如第一、第二等包括序数的术语可使用于说明多种结构要素，但上述结构要素并不局限于上述术语。上述术语仅用于将一个结构要素与另一结构要素相区别。

[0073] 当指出一个结构要素与另一结构要素“相连接”或“相联接”时，不仅可以理解为可以直接与另一结构要素相连接或相联接，而且还可以理解为中间还存在其他结构要素。相反，当指出一个结构要素与另一结构要素“直接相连接”或“直接相联接”时，应理解为中间不存在其他结构要素。

[0074] 只要上下文没有明确不同的含义，单数的表现就包括复数的表现。

[0075] 需要理解的是，在本申请中，“包括”或“具有”等术语是为了指定说明书上所记载的特征、数字、步骤、动作、结构要素、部件或它们的组合的存在，而不是预先排除一个或一个以上的其他特征或数字、步骤、动作、结构要素、部件或它们的组合的存在或附加可能性。

[0076] 以下，参照附图对本发明进行更加详细地说明。

[0077] 本说明书所述的车辆可以为包括汽车及摩托车的概念。以下，以汽车为主对车辆进行记述。

[0078] 另一方面，本说明书所述的车辆可以为一同包括设有发动机的车辆、设有发动机和电动机的混合动力车辆、设有电动机的电动车辆等的概念。以下，以设有发动机的车辆为主进行记述。

[0079] 另一方面，本说明书所述的车辆驾驶辅助装置可以视为高级驾驶员辅助系统(ADAS，Advanced Driver Assistance Systems)或高级驾驶员辅助装置(ADAA，Advanced Driver Assistance Apparatus)。以下，对本发明的多种实施例的车辆的车辆驾驶辅助装置及具有上述驾驶辅助装置的车辆进行记述。

[0080] 另一方面，在本说明书中，X轴可以为以车辆200为基准观察时成为测定总宽的基准的方向，Y轴可以为以车辆200为基准观察时成为测定总高的基准的方向，Z轴可以为以车辆200为基准观察时成为测定总长的基准的方向。

[0081] 图1为示出本发明一实施例的设有立体摄像头的车辆的外观的图。

[0082] 参照图，车辆200可包括：车轮103FR、103FL、103RL…，借助动力源来旋转；方向盘150，用于调节车辆200的行驶方向；以及立体摄像头195，设置于车辆200的内部。

[0083] 立体摄像头195可具有多个摄像头，且借助多个摄像头来获取的立体影像可在车辆驾驶辅助装置100(图3)内进行信号处理。

[0084] 另一方面，在附图中，例示立体摄像头195设有两个摄像头。

[0085] 图2为示出附着于图1的车辆的立体摄像头的外观的图。

[0086] 参照图，立体摄像头模块195可具有设有第一镜头193a的第一摄像头195a及设有第二镜头193b的第二摄像头195b。在这里，上述立体摄像头模块195与本发明的“立体影像获取单元”相对应。

[0087] 另一方面，立体摄像头模块195可具有分别用于遮蔽向第一镜头193a和第二镜头193b入射的光的第一遮光部(light shield)192a及第二遮光部192b。

[0088] 附图中的立体摄像头模块195可以为在车辆200的顶部或前面玻璃进行装拆的结构。

[0089] 这种设有立体摄像头模块195的车辆驾驶辅助装置100(图3A、图3B)可以从立体摄像头模块195获取车辆前方的立体影像，基于立体影像来检测视差(disparity)，基于视差信息来检测至少一个立体影像的对象，且在检测对象之后，继续跟踪对象的移动。

[0090] 图3A及图3B例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。

[0091] 图3A及图3B的车辆驾驶辅助装置100可基于计算机视觉(computer vision)来对从立体摄像头195接收的立体影像进行信号处理，从而生成与车辆相关的信息。在这里，与车辆相关的信息可包含用于直接控制车辆的车辆控制信息或用于引导车辆驾驶员的驾驶的车辆驾驶辅助信息。

[0092] 首先，参照图3A，图3A的车辆驾驶辅助装置100可包括通信部120、接口部130、第一存储器140、处理器170、电源供给部190、立体摄像头195及立体摄像头驱动部196。在这里，上述立体摄像头驱动部196相当于本发明的“立体摄像头驱动单元”。

[0093] 通信部120可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部120可以以无线方式与车辆驾驶员的移动终端进行数据交换。作为无线数据通信方式，可包括蓝牙(Bluetooth)、WiFi Direct、无线保真(WiFi)、APiX等多种数据通信方式。

[0094] 通信部120可从移动终端600或服务器500接收天气信息、道路的交通状况信息，例如，传输协议专家组(TPEG，Transport Protocol Expert Group)信息。另一方面，也可在车辆驾驶辅助装置100中向移动终端600或服务器500传递基于立体影像来掌握的实时交通信息。

[0095] 另一方面，在用户乘坐车辆的情况下，用户的移动终端600和车辆驾驶辅助装置100可自动或通过用户的应用执行来相互配对(pairing)。

[0096] 接口部130可接收与车辆相关的数据，或者向外部传输在处理器170中处理或所生成的信号。为此，接口部130可以以有线通信或无线通信方式与车辆内部的控制部770、音频视频导航(AVN，Audio Video Navigation)装置400、感测部760等执行数据通信。

[0097] 接口部130可通过与音响视频导航装置400的数据通信来接收与车辆行驶相关的地图(map)信息。例如，音响视频导航装置400包括导航仪，接口部130可从上述导航仪接收地图(map)及地图上的与车辆的位置相关的信息，并向处理器170传递。

[0098] 另一方面，接口部130可从控制部770或感测部760接收感测信息。

[0099] 在这里，感测信息可包含车辆的滑移程度、车辆方向信息、车辆位置信息(全球定位系统信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进或后退信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆的内部温度信息、车辆的内部湿度信息中的至少一种。

[0100] 这种感测信息可从轮速传感器、航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进或后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、车身倾斜传感器、电池传感器、燃料传感器、轮胎传感器、借助方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等中获取。另一方面，定位模块可包括用于接收全球定位系统信息的全球定位系统模块。

[0101] 另一方面，可将感测信息中与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。

[0102] 第一存储器140可存储用于处理器170的处理或控制的程序等用于车辆驾驶辅助装置100的整个工作的多种数据。

[0103] 音频输出部(未图示)将从处理器170的电信号转换为音频信号来输出。为此，可具有扬声器等。音频输出部(未图示)也可输出与输入部110，即，按钮的动作相对应的声音。

[0104] 音频输入部(未图示)可接收用户语音。为此，可具有麦克风。所接收的语音可以转换为电信号，并向处理器170传输。

[0105] 处理器170控制车辆驾驶辅助装置100内的各单元的整个工作。

[0106] 尤其，处理器170执行基于计算机视觉(computer vision)的信号处理。由此，处理器170从立体摄像头195获取车辆前方的立体影像，基于立体影像来执行与车辆前方相关的视差运算，并基于运算出的视差信息来检测立体影像中的至少一个对象，在检测对象之后，可继续跟踪对象的移动。

[0107] 尤其，当检测对象时，处理器170可执行车道线检测(LD，Lane Detection)、周边车辆检测(VD，Vehicle Detection)、行人检测(PD，Pedestrian Detection)、亮点检测(BD，Brightspot Detection)、交通标志识别(TSR，Traffic Sign Recognition)、路面检测等。

[0108] 并且，处理器170可执行对所检测的周边车辆的距离运算、对所检测的周边车辆的速度运算、与所检测的周边车辆的速度差异运算等。

[0109] 处理器170可以基于立体影像来生成深度图(depth map)，并基于所生成的深度图来判断车辆行驶中的道路的前方为上坡还是下坡。在这种情况下，处理器170起到本发明的“上坡/下坡判断单元”的作用。

[0110] 处理器170可在立体影像或深度图中检测路面(road surface)，并基于所检测的路面来判断道路的前方为上坡还是下坡。

[0111] 处理器170可在立体影像或深度图中检测车道线(lane)，并基于所检测的车道线的形状来判断道路的前方为上坡还是下坡。

[0112] 处理器170可基于显示在立体影像或深度图的消失点来判断道路的前方为上坡还是下坡。

[0113] 处理器170可基于显示在立体影像或深度图的道路周边的多个固定的对象来判断道路的前方为上坡还是下坡。

[0114] 另一方面，处理器170可在立体影像或深度图中检测车道线或线，并通过所检测的车道线或线来生成与道路的曲线相关的信息。在这种情况下，处理器170起到本发明的“曲线信息生成单元”的作用。处理器170可以以车辆当前行驶的车道线的两线为基准检测车道线，并生成与曲线相关的信息。或者，处理器170可以以中央线为基准检测车道线，并生成与曲线相关的信息。例如，处理器170可通过霍夫变换(Hough Transformation)来检测车道线，并生成与道路的曲线(curve)相关的信息。在这里，与曲线相关的信息可包含曲率。

[0115] 另一方面，处理器170可以累积方式在第一存储器140中存储所判断的道路的前方为上坡还是下坡的信息。在这种情况下，处理器170起到本发明的“存储单元”的作用。处理器170可在以累积方式存储的上坡或下坡信息中适用卡尔曼滤波器。在这种情况下，处理器170可基于适用卡尔曼滤波器的上坡或下坡信息来预测车辆滑移程度。在这种情况下，处理器170起到本发明的“滑移程度预测单元”的作用。例如，处理器170可通过接口部130来接收由上坡或下坡信息与滑移信息相匹配来以累积方式存储的数据。处理器170可基于所接收的匹配信息来预测与适用卡尔曼滤波器的上坡或下坡相对应的车辆滑移程度。处理器170可利用所预测的滑移程度，来向控制部770输出用于控制上述动力源驱动部或上述制动器驱动部的控制信号，使得上述制动器以全制动的情况(制动器完全工作的情况)下的90％以下启动。

[0116] 另一方面，处理器170可通过显示器180来输出与道路的前方的上坡或下坡相关的信息。在这种情况下，处理器170起到本发明的“输出单元”的作用。处理器170可对与道路的前方为上坡还是下坡相对应的立体摄像头195的移动进行图形处理，并通过显示器180输出。

[0117] 另一方面，处理器170可以以累积方式在第一存储器140中存储道路的前方的上坡或下坡的车辆状态。例如，处理器170可以累积与道路的前方的上坡的倾斜度或下坡的倾斜度相对应的立体摄像头195的移动程度来存储于第一存储器140中。在这种情况下，处理器170可基于之前累积并存储的立体摄像头195的移动信息来适用卡尔曼滤波器。在适用卡尔曼滤波器的情况下，可准确地控制立体摄像头195的移动。

[0118] 另一方面，处理器170可基于立体影像来生成行驶中的道路的路面信息。例如，处理器170可基于立体图像内的亮度数据的差异区分为干燥(dry)状态、湿润(wet)状态、雪(snow)状态、冰(ice)状态。具体地，雪状态的亮度最高，且按干燥(dry)状态、冰状态、湿润状态的顺序，亮度会变低，为此，分别区分为干燥(dry)状态、湿润(wet)状态、雪(snow)状态、冰(ice)状态。作为另一例，车辆驾驶辅助装置100的处理器170可基于图像内的亮度(intensity)和曝光(exposure)来区分为干燥(dry)状态、湿润(wet)状态、雪(snow)状态、冰(ice)状态。处理器170可基于道路的前方为上坡还是下坡信息及路面信息来向控制部770输出用于控制制动器驱动部的控制信号。

[0119] 另一方面，处理器170可通过通信部120来接收天气信息、道路的交通状况信息，例如，传输协议专家组信息。

[0120] 另一方面，处理器170也可实时掌握在车辆驾驶辅助装置100中基于立体影像掌握的车辆周边交通状况信息。

[0121] 另一方面，处理器170可通过接口部130从音响视频导航装置400接收地图信息等。

[0122] 另一方面，处理器170可通过接口部130从控制部770或感测部760接收感测信息。在这里，感测信息可包含车辆滑移信息、车辆方向信息、车辆位置信息(全球定位系统信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进或后退信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆的内部温度信息、车辆的内部湿度信息中的至少一种。并且，处理器170可通过接口部130从控制部770接收设置于车辆的各单元的控制信息。

[0123] 另一方面，处理器170可从导航仪接收车辆200行驶中的道路中除了显示于立体影像的区域之外的道路信息，并预测道路状态。在这种情况下，处理器170起到本发明的“道路状态预测单元”的作用。具体地，处理器170可预测未显示于立体影像的车辆前方或后方道路状态。在这里，道路状态可包括道路的曲线、隧道及车道线数。

[0124] 另一方面，处理器170可包括数字信号处理(DSP，digital signal processor)、专用集成电路(ASIC，application specific integrated  circuit)或微控制器(microcontroller)，并安装于规定的电路板的一面。

[0125] 电源供给部190可借助处理器170的控制来供给各结构要素的动作所需的电源。尤其，电源供给部190可从车辆的内部的电池等接收电源。

[0126] 立体摄像头195可具有多个摄像头。以下，如图2等所示，设有两个摄像头。

[0127] 立体摄像头195可在车辆200的顶部或挡风玻璃(wind shield)进行装拆，并具有设有第一镜头193a的第一摄像头195a及设有第二镜头193b的第二摄像头195b。

[0128] 另一方面，立体摄像头195可具有分别用于遮蔽向第一镜头193a和第二镜头193b入射的光的第一遮光部(light shield)192a及第二遮光部192b。

[0129] 立体摄像头驱动部196可接收处理器170的控制，来移动立体摄像头195。例如，立体摄像头驱动部196可包括电机等驱动机构，且可借助处理器170的控制来使立体摄像头195向上下左右移动。在这种情况下，立体摄像头驱动部196可包括用于向立体摄像头195传递在驱动机构中所产生的驱动力的驱动力传递部。

[0130] 然后，参照图3B，图3B的车辆驾驶辅助装置100与图3A的车辆驾驶辅助装置100相比，还可具有输入部110、显示器180及音频输出部185。以下，仅对输入部110、显示器180及音频输出部185进行说明。

[0131] 输入部110可具有附着于车辆驾驶辅助装置100，尤其附着于立体摄像头195的多个按钮或触摸屏。可通过多个按钮或触摸屏使车辆驾驶辅助装置100接通电源并工作。此外，也可执行多种输入动作。

[0132] 音频输出部185基于在处理器170中处理的音频信号来向外部输出声音。为此，音频输出部185可具有至少一个扬声器。

[0133] 显示器180可显示与车辆驾驶辅助装置的动作相关的图像。为了显示这种图像，显示器180可包括车辆的内部前面的模块(cluster)或平视显示器(HUD，Head Up Display)。另一方面，在显示器180为平视显示器的情况下，可包括用于向车辆200的前面玻璃透射图像的透射模块。

[0134] 图4A及图4C例示图3A及图3B的处理器的内部框图的多种例，图5A及图5B为在说明图4A及图4B的处理器的动作时参照的图。

[0135] 首先，参照图4A，图4A作为处理器170的内部框图的一例，车辆驾驶辅助装置100的处理器170可包括影像预处理部410、视差运算部420、对象检测部434、对象跟踪部440及应用程序部450。

[0136] 影像预处理部(image preprocessor)410接收立体摄像头195的立体影像，并执行预处理(preprocessing)。

[0137] 具体地，影像预处理部410可针对立体影像执行降噪(noise reduction)、整流(rectification)、校准(calibration)、彩色增强(color enhancement)、色彩空间转换(CSC，color space conversion)、插值(interpolation)、摄像头增益控制(camera gain control)等。由此，作为在立体摄像头195中拍摄的立体影像，可获取更鲜明的立体影像。

[0138] 视差运算部(disparity calculator)420接收在影像预处理部410中进行信号处理的立体影像，执行对所接收的立体影像的立体匹配(stereo matching)，并获取基于立体匹配的视差图(dispartiy map)。即，可获取车辆前方的立体影像的视差信息。

[0139] 此时，立体匹配可以按立体影像的像素单位或规定块单位执行。另一方面，视差图可意味着立体影像，即，由数值表示左右图像的时差信息(双目视差信息(binocular parallax information))的地图。

[0140] 分割部(segmentation unit)432可基于从视差运算部420的视差信息对立体影像中的至少一个执行分割(segment)及集中(clustering)。

[0141] 具体地，分割部432可基于视差信息来分离立体影像中的至少一个的背景(background)和前景(foreground)。

[0142] 例如，可将视差图内视差信息为规定值以下的区域运算为背景，并将相应部分排除在外。由此，可相对分离前景。

[0143] 作为另一例，可将在视差图内视差信息为规定值以上的区域运算为前景，并提取相应部分。由此，可分离前景。

[0144] 像这样，可基于以立体影像为基础提取的视差信息来分离前景和背景，由此在以后的对象检测中，缩短信号处理速度、信号处理量等。

[0145] 然后，对象检测部(object detector)434可基于分割部432的图像分割来检测对象。

[0146] 即，对象检测部434可基于视差信息信息，针对立体影像中的至少一个检测对象。

[0147] 具体地，对象检测部434可针对立体影像中的至少一个检测对象。例如，可从通过图像分割所分离的前景中检测对象。

[0148] 然后，对象确认部(object verification unit)436对所分离的对象进行分类(classify)并确认(verify)。

[0149] 为此，对象确认部436可使用利用神经网络(neural network)的识别法、支持向量机(SVM，Support Vector Machine)技法、借助利用哈尔(Haar-like)特征的AdaBoost识别技法或方向梯度直方图(HOG，Histograms of Oriented Gradients)技法等。

[0150] 另一方面，对象确认部436可通过比较存储于第一存储器140的对象和所检测的对象来确认对象。

[0151] 例如，对象确认部436可确认位于车辆周边的周边车辆、车道线、路面、标志牌、危险区域、隧道等。

[0152] 对象跟踪部(object tracking unit)440对所确认的对象的进行跟踪。例如，可依次确认获取的立体影像内的对象，对所确认的对象的移动或移动矢量进行运算，并基于运算出的移动或移动矢量来跟踪相应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道线、路面、标志牌、危险区域、隧道等。

[0153] 然后，应用程序部450可基于位于车辆周边的多个对象，例如，其他车辆、车道线、路面、标志牌等来运算车辆200的危险度等。并且，可运算与前车的碰撞可能性、车辆是否滑移等。

[0154] 并且，应用程序部450可基于运算出的危险度、碰撞可能性或是否滑移等来输出用于告知用户这种信息的消息等作为车辆驾驶辅助信息。或者，也可生成用于控制车辆200的姿势或行驶的控制信息作为车辆控制信息。

[0155] 图4B为处理器的内部框图的再一例。

[0156] 参照附图，图4B的处理器170的内部结构单元与图4A的处理器170相同，但在信号处理顺序不同方面存在差异。以下，仅对上述差异进行记述。

[0157] 对象检测部434可接收立体影像，并针对立体影像中的至少一个来检测对象。与图4A不同，可直接从立体影像中检测对象，而不是基于视差信息来在分割的图像中检测对象。

[0158] 然后，对象确认部(object verification unit)436基于从分割部432的图像分割及由对象检测部434检测的对象，对检测及分离的对象进行分类(classify)并确认(verify)。

[0159] 为此，对象确认部436可使用利用神经网络的识别法、支持向量机(技法、借助利用哈尔特征的AdaBoost识别技法或方向梯度直方图技法等。

[0160] 图4C为处理器的内部框图的另一例。

[0161] 参照附图，图4C的处理器170在与图4A的处理器170相比还包括内部结构单元方面存在差异。以下，以上述差异为中心进行记述。

[0162] 车辆驾驶辅助装置100内的处理器170还可包括深度图(depth map)生成部460、道路轮廓(road profile)部464及车道线检测(lane detection)部468。

[0163] 深度图生成部460可基于经过预处理的影像来生成深度图。为此，可使用动态规划(DP，Dynamic Programming)、置信传播(BP，Belief Propagation)、图割(Graph-Cut)等方法。

[0164] 道路轮廓部464可基于深度图来对路面(road surface)进行分析(profile)。道路轮廓部464可基于深度图来分析YZ平面上的道路的状态。道路轮廓部464可基于深度图来分析路面的变化。

[0165] 车道线检测部468可基于分割部432的图像分割或深度图来检测道路上的车道线(lane)。车道线(lane)检测可利用公知的算法来实现。

[0166] 应用程序部450可判断道路的前方为上坡还是下坡。即，应用程序部450可判断道路的前方为上坡还是下坡。

[0167] 例如，应用程序部450可基于在道路轮廓部464中分析的路面的状态或变化来判断道路的前方为上坡还是下坡。在深度图中，可计算出道路的X、Y、Z轴基准数据，尤其，可计算出YZ平面上的路面数据。此时，可检测Y Z平面上的路面的高度。假设路面以朝向Y轴的正方向具有规定的角度的方式延伸规定长度以上，则应用程序部450可将道路的前方判断为上坡。假设路面以朝向Y轴的负方向具有规定的角度的方式延伸规定长度以上，则应用程序部450可将道路的前方判断为下坡。并且，应用程序部450可基于在路面的Z轴上的长度及在Y轴上的长度来判断倾斜度。

[0168] 例如，应用程序部450可基于所检测的车道线的变化来判断道路的前方为上坡还是下坡。在基于分割部432的图像分割来检测车道线的情况下，应用程序部450可分析车道线的变化(例如，车道线是否以朝向Y轴的正方向具有规定的角度的方式延伸，或者是否以朝向负方向具有规定的角度的方式延伸)，并判断道路的前方为上坡还是下坡。在基于深度图来检测车道线的情况下，应用程序部450可通过与如上所述的路面相同的过程判断上坡或下坡。

[0169] 例如，应用程序部450可基于显示在立体影像或深度图的道路周边的多个固定的对象来判断道路的前方为上坡还是下坡。在这里，道路周边的多个固定的对象可以为路灯、林荫树或电线杆。应用程序部450可跟踪沿着道路连续配置的对象的位置、相对移动或大小，并判断道路的前方为上坡还是下坡。

[0170] 例如，应用程序部450可基于显示在立体影像或深度图的消失点来判断道路的前方为上坡还是下坡。假设在影像中，消失点比基准线更位于上方，则可以判断为上坡。或者，加设在影像中，消失点比基准线更位于下方，则可以判断为下坡。

[0171] 图5A和图5B为基于在第一帧区间及第二帧区间中分别获取的立体影像说明图4A的处理器170的动作方法时参照的图。

[0172] 首先，参照图5A，在第一帧区间内，立体摄像头195获取立体影像。

[0173] 处理器170内的视差运算部420接收在影像预处理部410中进行信号处理的立体影像FR1a、FR1b，并对所接收的立体影像FR1a、FR1b进行立体匹配，从而获取视差图(dispartiy map)520。

[0174] 视差图(dispartiy map)520是通过对立体影像FR1a、FR1b之间的时差进行层次化来获得的，可以运算出视差层次越大，与车辆的距离就越近，视差层次越小，与车辆的距离就越远。

[0175] 另一方面，在显示这种视差图的情况下，也可以显示为视差层次越大，亮度越高，视差层次越小，亮度越低。

[0176] 在附图中例示了在视差图520内，具有与第一车道线528a、第二车道线528b、第三车道线528c、第四车道线528d等分别相对应的视差层次，并具有与施工区域522、第一前方车辆524及第二前方车辆526分别相对应的视差层次。

[0177] 分割部432、对象检测部434及对象确认部436基于视差图520来对立体影像FR1a、FR1b中的至少一个进行分割、对象检测及对象确认。

[0178] 在附图中例示了使用视差图520来对第二立体影像FR1b执行对象检测及确认。

[0179] 即，在图像530内，第一车道线538a、第二车道线538b、第三车道线538c、第四车道线538d、施工区域532、第一前方车辆534、第二前方车辆536可执行对象检测及确认。

[0180] 然后，参照图5B，在第二帧区间内，立体摄像头195获取立体影像。

[0181] 处理器170内的视差运算部420接收在影像预处理部410中进行信号处理的立体影像FR2a、FR2b，并对所接收的立体影像FR2a、FR2b进行立体匹配，从而获取视差图(dispartiy map)540。

[0182] 在附图中例示了在视差图540内，具有与第一车道线548a、第二车道线548b、第三车道线548c、第四车道线548d等分别相对应的视差层次，并具有与施工区域542、第一前方车辆544、第二前方车辆546分别相对应的视差层次。

[0183] 分割部432、对象检测部434及对象确认部436基于视差图540来对立体影像FR2a、FR2b中的至少一个进行分割、对象检测及对象确认。

[0184] 在附图中例示了使用视差图540来执行对于第二立体影像FR2b的对象检测及确认。

[0185] 即，在图像550内，第一车道线558a、第二车道线558b、第三车道线558c、第四车道线558d、施工区域552、第一前方车辆554、第二前方车辆556可执行对象检测及确认。

[0186] 另一方面，对象跟踪部440可以与图5A和图5B相比较来对所确认的对象进行跟踪。

[0187] 具体地，对象跟踪部440可基于在图5A和图5B中确认的各对象的移动或移动矢量来跟踪相对应的对象的移动等。由此，可执行对位于车辆周边的车道线、施工区域、第一前方车辆、第二前方车辆等的跟踪。

[0188] 图6A及图6B为在对图3A及图3B的车辆驾驶辅助装置的动作进行说明时参照的图。

[0189] 首先，图6A为例示由设置于车辆的内部的立体摄像头195拍摄的车辆前方状况的图。尤其，通过鸟瞰图(bird eye view)来显示车辆前方状况。

[0190] 参照附图可知，从左侧到右侧，设有第一车道线642a、第二车道线644a、第三车道线646a及第四车道线648a，在第一车道线642a和第二车道线644a之间设有施工区域610a，在第二车道线644a和第三车道线646a之间设有第一前方车辆620a，在第三车道线646a和第四车道线648a之间设有第二前方车辆630a。

[0191] 然后，图6B例示与多种信息一同显示借助车辆驾驶辅助装置来掌握的车辆前方状况。尤其，如图6B的图像也可在由车辆驾驶辅助装置提供的显示器180或音响视频导航装置400中显示。

[0192] 图6B与图6A不同，例示基于由立体摄像头195拍摄的图像来显示信息。

[0193] 参照附图可知，从左侧到右侧，设有第一车道线642b、第二车道线644b、第三车道线646b及第四车道线648b，在第一车道线642b和第二车道线644b之间设有施工区域610b，在第二车道线644b和第三车道线646b之间设有第一前方车辆620b，在第三车道线646b和第四车道线648b之间设有第二前方车辆630b。

[0194] 车辆驾驶辅助装置100可基于由立体摄像头195拍摄的立体影像来进行信号处理，从而确认施工区域610b、第一前方车辆620b及第二前方车辆630b的对象。并且，可确认第一车道线642b、第二车道线644b、第三车道线646b及第四车道线648b。

[0195] 另一方面，在附图中例示出为了表示对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象确认，分别利用边缘来突出。

[0196] 另一方面，车辆驾驶辅助装置100可基于由立体摄像头195拍摄的立体影像来对施工区域610b、第一前方车辆620b及第二前方车辆630b的距离信息进行运算。

[0197] 在附图中例示出显示分别与施工区域610b、第一前方车辆620b及第二前方车辆630b相对应的运算后的第一距离信息611b、第二距离信息621b及第三距离信息631b。

[0198] 另一方面，车辆驾驶辅助装置100可从控制部770或感测部760接收车辆的感测信息。尤其，可接收车辆速度信息、齿轮信息、表示车辆的旋转角(凹角)发生变化的速度的偏航率信息(yaw rate)、车辆的角度信息，并可以显示这种信息。

[0199] 在附图中例示出在车辆前方图像的上部670显示车辆速度信息672、齿轮信息671及偏航率信息673的情况，并例示出在车辆前方图像的下部680显示车辆的角度信息682的情况，但可实施多种例。此外，车辆的宽度信息683、道路的曲率信息681可以与车辆的角度信息682一同显示。

[0200] 另一方面，车辆驾驶辅助装置100可通过通信部120或接口部130来接收车辆行驶中的道路的速度限制信息等。在附图中例示出显示速度限制信息640b的情况。

[0201] 车辆驾驶辅助装置100可使图6B所示的多种信息通过显示器180等显示，但与其不同，也可以在没有额外的显示的情况下，存储多种信息。并且，也可利用这种信息来使用于多种应用。

[0202] 图7为图1的车辆的内部的电子控制装置的内部框图的一例。

[0203] 参照附图可知，车辆200可具有用于控制车辆的电子控制装置700。电子控制装置700可与如上所述的车辆驾驶辅助装置100及音响视频导航装置400进行数据交换。

[0204] 电子控制装置700可具有输入部710、通信部720、第二存储器740、灯驱动部751、转向驱动部752、制动器驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部756、空调驱动部757、窗驱动部758、安全气囊驱动部759、感测部760、控制部770、显示部780、音频输出部785及电源供给部790。

[0205] 输入部710可具有配置于车辆200的内部的多个按钮或触摸屏。可通过多个按钮或触摸屏来执行多种输入动作。

[0206] 通信部720可以以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部720可以以无线方式与车辆驾驶员的移动终端进行数据交换。作为无线数据通信方式，可利用蓝牙(Bluetooth)、WiFi Direct、无线保真、APiX等多种数据通信方式。

[0207] 通信部720可从移动终端600或服务器500接收天气信息、道路的交通状况信息，例如，传输协议专家组信息。

[0208] 另一方面，在用户乘坐车辆的情况下，用户的移动终端600和电子控制装置700可自动或通过用户的应用执行来相互配对。

[0209] 第二存储器740可存储用于处理或控制控制部770的程序等用于电子控制装置700的整个动作的多种数据。

[0210] 灯驱动部751可控制车辆内的配置于外部的灯的开闭。并且，可控制灯光的强度、方向等。例如，可对方向指示灯、制动灯等进行控制。

[0211] 转向驱动部752可对车辆200内的转向装置(steering apparatus)(未图示)进行电子控制。由此，可变更车辆的行驶方向。

[0212] 制动器驱动部753可对车辆200内的制动装置(brake apparatus)(未图示)进行电子控制。例如，可通过对配置于车轮的制动器的动作进行控制，来减少车辆200的速度。作为其他例，可通过使分别配置于左轮和右轮的制动器的动作不同，来向左侧或右侧调整车辆200的行驶方向。

[0213] 动力源驱动部754可对车辆200内的动力源进行电子控制。

[0214] 例如，在基于化石燃料的发动机(未图示)为动力源的情况下，动力源驱动部754可对发动机进行电子控制。由此，可控制发动机的输出扭矩等。在动力源驱动部754为发动机的情况下，可通过控制部770的控制来限制发动机的输出扭矩，从而限制车辆的速度。在这里，上述动力源驱动部754相当于本发明的“动力源驱动单元”。

[0215] 作为其他例，在基于电的电机(未图示)为动力源的情况下，动力源驱动部754可对电机进行控制。由此，可以控制电机的转速、扭矩等。

[0216] 天窗驱动部755可对车辆200内的天窗装置(sunroof apparatus)(未图示)进行电子控制。例如，可控制天窗的开放或封闭。

[0217] 悬架驱动部756可对车辆200内的悬架装置(suspension apparatus)(未图示)进行电子控制。例如，在路面具有弯曲的情况下，可通过控制悬架装置，来减少车辆200的振动。

[0218] 空调驱动部757可对车辆200内的空调装置(air cinditioner)(未图示)进行电子控制。例如，在车辆内部的温度高的情况下，空调装置工作，从而以使冷气向车辆内部供给。

[0219] 窗驱动部758可对车辆200内的车窗装置(window apparatus)(未图示)进行电子控制。例如，可控制车辆侧面的左右车窗的开放或封闭。

[0220] 安全气囊驱动部759可对车辆200内的安全气囊装置(airbag apparatus)进行电子控制。例如，可以控制安全气囊在危险时展开。

[0221] 感测部760对与车辆100的行驶等相关的信号进行检测。为此，感测部760可具有航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进或后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、车身倾斜传感器、电池传感器、燃料传感器、轮胎传感器、借助方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等。

[0222] 由此，感测部760可获取车辆方向信息、车辆位置信息(全球定位系统信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进或后退信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息等感测信号。

[0223] 另一方面，除此之外，感测部760还可具有加速踏板传感器、压力传感器、发动机转速传感器(engine speed sensor)、空气流量传感器(AFS)、进气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器、曲轴转角传感器(CAS)等。

[0224] 控制部770可控制电子控制装置700内的各单元的整个工作。在这里，控制部770可以为电子控制单元(ECU)。

[0225] 可通过借助输入部710的输入来执行特定动作，或者接收感测部760所检测的信号来向车辆驾驶辅助装置100传输，从音响视频导航装置400接收地图信息，并控制多种驱动部751、752、753、754、756的动作。

[0226] 并且，控制部770可从通信部720接收天气信息、道路的交通状况信息，例如，传输协议专家组信息。

[0227] 控制部770可从车辆驾驶辅助装置100接收道路的前方为上坡还是下坡的信息。控制部770可将道路的前方为上坡还是下坡的信息和在滑移判断部771中生成的滑移信息进行匹配，并存储于第二存储器740中。此时，控制部770可以以累积方式存储经匹配的信息。

[0228] 另一方面，控制部770可接收以累积方式存储于第一存储器140的道路的前方为上坡还是下坡的信息。控制部770可在以累积方式存储的上坡或下坡信息适用卡尔曼滤波器。在这种情况下，控制部770可基于适用卡尔曼滤波器的上坡或下坡信息来预测车辆滑移程度。例如，控制部770可基于与上坡或下坡信息相匹配并存储的滑移信息来预测与适用卡尔曼滤波器的上坡或下坡相对应的车辆滑移程度。控制部770可利用所预测的滑移程度，来控制上述动力源驱动部或上述制动器驱动部，使得上述制动器以完全工作的情况下的90％以下启动。

[0229] 另一方面，控制部770可在存储于第二存储器的所累积的滑移信息中适用卡尔曼滤波器，来预测车辆200的滑移程度。控制部770可利用所预测的滑移程度及道路的前方的上坡或下坡信息，来控制动力源驱动部754或制动器驱动部753，使得制动器以完全工作的情况下的90％以下启动。

[0230] 显示器780可显示与车辆驾驶辅助装置的动作相关的图像。为了显示这种图像，显示器780可包括车辆内部前面的模块(cluster)或平视显示器(HUD，Head Up Display)。另一方面，在显示器780为平视显示器的情况下，可包括用于向车辆200的前面玻璃透射图像的透射模块。另一方面，显示部780可包括可用于输入的触摸屏。

[0231] 音频输出部785将控制部770的电信号转换为音频信号来输出。为此，可具有扬声器等。音频输出部785也可输出与输入部710，即，按钮的动作相对应的声音。

[0232] 电源供给部790可借助控制部770的控制来供给各结构要素的动作所需的电源。尤其，电源供给部790可从车辆内部的电池(未图示)等接收电源。

[0233] 另一方面，车辆200的电子控制装置700还可包括滑移判断部771。滑移判断部771可以以子结构的方式包括在控制部770。例如，感测部760可包括轮速传感器。轮速传感器可检测与车辆加速或减速相对应的轮速。可向控制部770输入由轮速传感器检测的轮速。控制部770可通过对借助动力源来运算的轮速和由轮速传感器检测的轮速进行比较，来判断是否滑移。

[0234] 作为其他例，滑移判断部771可利用测程法(odometry)来判断是否滑移。滑移判断部771可对车辆200借助由动力源驱动部754产生的动力来移动的距离和实际移动距离进行比较，从而判断是否滑移。具体地，在实际移动的距离小于车辆200移动的距离的情况下，滑移判断部771可判断为滑移。并且，滑移判断部771可以与距离差成正比地判断滑移程度。此时，实际移动距离可基于车辆200的速度信息和移动时间来运算。

[0235] 另一方面，滑移判断部771可以以累积方式在第二存储器740中存储滑移程度。

[0236] 图8至图9B为在对本发明实施例的驾驶辅助装置的动作进行说明时参照的流程图。

[0237] 参照图8，处理器170从立体摄像头190接收立体影像(步骤S810)(相当于本发明的“立体影像获取步骤”)。

[0238] 在接收立体影像的状态下，处理器170基于立体影像来判断车辆前方道路为上坡、下坡或倾斜度(步骤S830)。

[0239] 例如，处理器170可以基于预处理后的立体影像来生成深度图。处理器170可基于深度图来对路面(road surface)进行分析。处理器170可基于分析后的路面来判断道路的前方为上坡还是下坡。假设分析后的路面可提供Y Z平面上的高度，且路面以朝向Y轴的正方向具有规定的角度的方式延伸规定距离以上，则处理器170可将道路的前方判断为上坡。或者，在路面以朝向Y轴的负方向具有规定的角度的方式延伸规定距离以上的情况下，处理器170可将道路的前方判断为下坡。另一方面，处理器170可基于路面轮廓的分析来判断上坡或下坡的倾斜度。即，处理器170可基于在路面的Z轴上的长度及在Y轴上的长度来判断倾斜度。在这种情况下，处理器170起到本发明的“上坡倾斜度判断单元”或“下坡倾斜度判断单元”的作用。

[0240] 例如，处理器170可在立体影像中检测车道线(lane)。处理器170可基于所检测的车道线来判断道路的前方为上坡还是下坡。假设车道线以朝向Y轴的正方向具有规定的角度的方式延伸，则处理器170可将道路的前方判断为上坡。或者，在车道线以朝向Y轴的负方向具有规定的角度的方式延伸的情况下，处理器170可将道路的前方判断为下坡。另一方面，处理器170可基于车道线来判断上坡或下坡的倾斜度。即，处理器170可基于车道线在Z轴上的长度及在Y轴上的长度来判断倾斜度。

[0241] 例如，处理器170可在立体影像中检测固定于道路周边的多个对象。在这里，多个对象可以为路灯、林荫树或电线杆。处理器170可跟踪沿着道路连续配置的对象的位置、相对移动或大小，来判断道路的前方为上坡还是下坡。假设相同大小的路灯沿着道路的一侧面配置，则处理器170可通过视差运算来计算出与多个路灯之间的距离。此时，可通过对多个路灯中的第一路灯及第二路灯在Z轴上的距离和Y轴上的距离进行比较，来判断道路的前方为上坡还是下坡。另一方面，处理器170可基于上述多个对象来判断上坡或下坡的倾斜度。即，处理器170可基于第一路灯及第二路灯在Z轴上的距离和Y轴上的距离来判断倾斜度。

[0242] 例如，处理器170可基于显示在立体影像的消失点来判断道路的前方为上坡还是下坡。假设在立体影像中，消失点比基准线更位于上方，则可判断为上坡。或者，在影像中，在消失点比基准线更位于下方的情况下，可判断为下坡。

[0243] 在判断道路的前方的上坡或下坡的状态下，处理器170基于对道路的前方为上坡还是下坡的判断来控制立体摄像头驱动部196(步骤S850)。

[0244] 图9A及图9B详细示出图8的步骤S850。

[0245] 参照图9A，如果道路的前方被判断为上坡(步骤S910)，处理器170就向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动(步骤S915)。在这种情况下，处理器170起到本发明的“控制信号输出单元”的作用。此时，处理器170以与上坡的倾斜度成正比的方式使立体摄像头195向上方移动。在车辆200进入上坡之前，可向上方移动立体摄像头195，从而适应性地获取车辆200的前方影像。

[0246] 如果道路的前方被判断为下坡，而不是上坡(步骤S910及步骤S920)，处理器170就向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动(步骤S925)。此时，处理器170以与下坡的倾斜度成正比的方式使立体摄像头195向下方移动。在车辆200进入下坡之前，可向下方移动立体摄像头195，从而适应性地获取车辆200前方影像。

[0247] 如果判断为道路的前方不是上坡，也不是下坡(步骤S910及步骤S920)，处理器170就维持立体摄像头195的姿势(步骤S930)。

[0248] 参照图9B，如果道路的前方被判断为上坡(步骤S950)，处理器170就判断是否到达离变曲点规定距离之前的地点(步骤S955)。在这里，变曲点可以为上坡的起点。处理器170可基于深度图来设定变曲点，并基于与变曲点的距离信息来判断车辆200是否到达离变曲点规定距离之前的地点。

[0249] 在到达离变曲点规定距离之前的地点的情况下，处理器170向立体摄像头驱动部196输出控制信号，使得立体摄像头向上方移动(步骤S960)。此时，处理器170以与上坡的倾斜度成正比的方式使立体摄像头195向上方移动。在车辆200进入上坡之前，可向上方移动立体摄像头195，从而适应性地获取车辆200前方影像。

[0250] 在道路的前方被判断为下坡，而不是上坡的情况下(步骤S950及步骤S970)，处理器170判断是否到达离变曲点规定距离之前的地点(步骤S975)。在这里，变曲点可以为下坡的起点。处理器170可基于深度图来设定变曲点，并基于与变曲点的距离信息来判断车辆200是否到达离变曲点规定距离之前的地点。

[0251] 在到达离变曲点规定距离之前的地点的情况下，处理器170向立体摄像头驱动部196输出控制信号，使得立体摄像头向下方移动(步骤S980)。此时，处理器170以与下坡的倾斜度成正比的方式使立体摄像头195向下方移动。在车辆200进入下坡之前，可向下方移动立体摄像头195，从而适应性地获取车辆200前方影像。

[0252] 如果判断道路的前方不是上坡，也不是下坡(步骤S950及步骤S970)，处理器170就维持立体摄像头姿势(步骤S965)。并且，在道路的前方为上坡，而尚未到达离变曲点规定距离之前的地点的情况下(步骤S950及步骤S955)，处理器170维持立体摄像头姿势(步骤S965)。并且，在道路的前方为下坡，而尚未到达离变曲点规定距离之前的地点的情况下(步骤S970及步骤S975)，处理器170维持立体摄像头姿势(步骤S965)。

[0253] 图10A至图11为在对本发明实施例的图4C的处理器170的工作方法进行说明时参照的图。

[0254] 图10A及图10B为可通过立体摄像头195来获取的车辆200前方影像的一实施例。图11为通过YZ平面、XZ平面来示出图10A的车辆前方影像的图。

[0255] 图10A及图10B所示的图为以XY平面为基准的图。图10A示出道路的前方的上坡，图10B示出道路的前方的下坡。

[0256] 首先，参照图10A及图11，立体摄像头195获取立体影像1000R、1000L，处理器170接收立体影像1000R、1000L。

[0257] 处理器170在利用整体匹配或局部匹配来与立体影像1000R、1000L相匹配之后，生成深度图1000D。

[0258] 深度图1000D可包括多个林荫树1010a、1010b、1010c、1010d、多个路灯1015a、1015b、1015c、1015d、路面1020、车道线1030a、1030b、1030c。

[0259] 处理器170可在深度图中检测路面1020，并基于所检测的路面来判断道路的前方的上坡。处理器170可在深度图中计算出道路的X、Y、Z轴基准数据，尤其，可计算出YZ平面上的路面1020数据。此时，可检测YZ平面上的路面1020的高度。如图所示，在路面以具有朝向Y轴的正方向规定的角度的方式延伸规定距离以上的情况下，处理器170可将道路的前方判断为上坡。另一方面，处理器170可基于路面轮廓的分析来判断上坡的倾斜度。即，处理器170可基于在路面的一个区域的Z轴上的长度a及Y轴上的长度b来判断倾斜度。

[0260] 处理器170可基于立体影像1000R、1000L或深度图1000D来检测车道线1030a、1030b、1030c。在所检测的车道线1030a、1030b、1030c以朝向Y轴的正方向具有规定的角度的方式延伸规定距离以上的情况下，处理器170可将道路的前方判断为上坡。另一方面，处理器170可基于车道线来判断上坡的倾斜度。即，处理器170可基于在车道线的一部分的Z轴上的长度a及在Y轴上的长度b来判断倾斜度。

[0261] 处理器170可基于显示在立体影像1000R、1000L或深度图1000D的固定于道路周边的多个对象1010a、1010b、1010c、1010d、1015a、1015b、1015c、1015d来判断道路的前方是否为上坡。假设相同大小的路灯1015a、1015b、1015c、1015d沿着道路的一侧面配置，则处理器170就可以通过视差运算计算出与多个路灯1015a、1015b、1015c、1015d之间的距离。此时，可通过对多个路灯1015a、1015b、1015c、1015d中的第一路灯1015a及第二路灯1015d的Z轴上的距离和Y轴上的距离进行比较，来判断道路的前方是否为上坡。即，在Z轴上，第二路灯
1015d和车辆200的距离大于第一路灯1015a和车辆200的距离，且在Y轴上，第二路灯1015d和车辆200的距离大于第一路灯1015a和车辆200的距离的情况下，处理器170可将道路的前方判断为上坡。另一方面，处理器170可基于上述多个对象来判断上坡的倾斜度。即，处理器
170可基于第一路灯及第二路灯的Z轴上的距离a和Y轴上的距离b来判断倾斜度。

[0262] 虽然未图示，但在立体影像中，在消失点比基准线更位于上方的情况下，处理器170可将道路的前方判断为上坡。

[0263] 然后，参照图10B，立体摄像头195获取立体影像1050R、1050L，且处理器170接收立体影像1050R、1050L。

[0264] 处理器170在利用整体匹配或局部匹配来与立体影像1050R、1050L相匹配之后，生成深度图1050D。

[0265] 深度图1050D可包括多个林荫树1060a、1060b、1060c、1060d、多个路灯1065a、1065b、1065c、1065d、路面1070、车道线1080a、1080b、1080c。

[0266] 处理器170可在深度图中检测路面1070，并基于所检测的路面来判断道路的前方的下坡。处理器170可在深度图中计算出道路的X、Y、Z轴基准数据，尤其，可计算出YZ平面上的路面1080数据。此时，可检测YZ平面上的路面1080的高度。如图所示，在路面以朝向Y轴的负方向具有规定的角度的方式延伸规定距离以上的情况下，处理器170可将道路的前方判断为下坡。另一方面，处理器170可基于路面轮廓分析来判断下坡的倾斜度。即，处理器170可基于在路面的Z轴上的长度及在Y轴上的长度来判断倾斜度。

[0267] 处理器170可基于立体影像1050R、1050L或深度图1050D来检测车道线1080a、1080b、1080c。在所检测的车道线1080a、1080b、1080c以朝向Y轴的负方向具有规定的角度的方式延伸规定距离以上的情况下，处理器170可将道路的前方判断为下坡。另一方面，处理器170可基于车道线来判断下坡的倾斜度。即，处理器170可基于在车道线的Z轴上的长度及在Y轴上的长度来判断倾斜度。

[0268] 处理器170可基于显示在立体影像1050R、1050或深度图1050D的固定于道路周边的多个对象1060a、1060b、1060c、1060d、1065a、1065b、1065c、1065d来判断道路的前方是否为下坡。假设相同大小的路灯1065a、1065b、1065c、1065d沿着道路的一侧面配置，则处理器170可通过视差运算计算出与多个路灯1065a、1065b、1065c、1065d之间的距离。此时，可通过对多个路灯1065a、1065b、1065c、1065d中的第一路灯1065a及第二路灯1065d的Z轴上的距离和Y轴上的距离进行比较，来判断道路的前方是否为下坡。即，在Z轴上，第二路灯1065d和车辆200的距离大于第一路灯1065a和车辆200的距离，且在Y轴上，第二路灯1065d和车辆
200的距离大于第一路灯1065a和车辆200的距离的情况下，处理器170可将道路的前方判断为下坡。另一方面，处理器170可基于上述多个对象来判断下坡的倾斜度。即，处理器170可基于第一路灯及第二路灯的Z轴上的距离和Y轴上的距离来判断倾斜度。

[0269] 虽然未图示，但在立体影像中，在消失点比基准线更位于下方的情况下，处理器170可将道路的前方判断为下坡。

[0270] 图12A至图15B为在根据本发明的实施例来说明与上坡或下坡相对应的立体摄像头的移动时参照的图。

[0271] 图12A及图12B为在根据本发明的实施例来说明从平地进入上坡的情况下的立体摄像头195及显示器180动作时参照的图。

[0272] 参照图12A，车辆200在平地1210中向Z轴的正方向行驶的过程中，处理器170可将道路的前方判断为上坡1220。此时，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动。在这种情况下，处理器170可以与上坡的倾斜度α成正比地使立体摄像头195向上方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0273] 另一方面，根据其他实施例，车辆200在平地1210中向Z轴的正方向行驶的过程中，处理器170可将道路的前方判断为上坡1220。在道路的前方被判断为上坡的情况下，处理器170可判断是否到达离变曲点1215规定距离之前的地点1230。在这里，变曲点1215可以为上坡的起点。处理器170可基于深度图来设定变曲点1215，并基于与变曲点1215的距离信息来判断车辆200是否到达离变曲点1215规定距离之前的地点1230。此时，离变曲点1215规定距离之前的地点1230可预设为适合立体摄像头195的移动的地点。

[0274] 在到达离变曲点1215规定距离之前的地点1230的情况下，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头向上方移动。此时，处理器170可以与上坡的倾斜度α成正比地使立体摄像头195向上方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0275] 另一方面，在进入上坡1220之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动。即，在进入上坡1220之后，处理器170可使立体摄像头195恢复到原位置。在这种情况下，处理器170可以与车辆20的行驶速度成正比地使立体摄像头195恢复。

[0276] 参照图12B，车辆200在平地1210向Z轴的正方向行驶的情况下，立体摄像头195维持适合获取车辆200前方影像的姿势。此时，如图12B的(a)部分所示，处理器170对与维持适合获取车辆200前方影像的姿势的立体摄像头195相对应的影像1210进行图形处理，并通过显示器180来显示。并且，处理器170可将道路的前方的规定距离前方为上坡的信息显示于显示器140的一个区域。

[0277] 在车辆200从平地1210进入上坡1220的情况下，在进入之前，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动。此时，如图12B的(b)部分所示，处理器170对与向上方移动的立体摄像头195相对应的影像1220进行图形处理，并通过显示器180来显示。

[0278] 在进入上坡1220之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195恢复原来的姿势。此时，如图12B的(c)部分所示，处理器170对与恢复原状的立体摄像头195相对应的影像1230进行图形处理，并通过显示器180来显示。

[0279] 另一方面，与图12B的(a)部分至图12B的(c)部分所示的立体摄像头195相对应的影像1210、1220、1230可以以立体方式显示，且可以以视频方式显示。车辆200的驾驶员可通过显示于显示器180的影像1210来直观地识别立体摄像头195的当前状态。

[0280] 图13A及图13B为在根据本发明的实施例来对从下坡进入平地的情况下的立体摄像头195及显示器180的工作进行说明时参照的图。

[0281] 参照图13A，车辆200在下坡1310中向Z轴的正方向及Y轴的负方向行驶的过程中，处理器170可将道路的前方判断为平地1320。处理器170可基于如上所述的上坡或下坡的判断结果，来判断平地1320。此时，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动。在这种情况下，处理器170可以与上坡的倾斜度β成正比地使立体摄像头195向上方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0282] 另一方面，根据其他实施例，车辆200在下坡1310中向Z轴的正方向及Y轴的负方向行驶的过程中，处理器170可将道路的前方判断为平地1320。处理器170可基于如上所述的上坡或下坡的判断结果，来判断平地1320。在道路的前方被判断为平地的情况下，处理器170可判断是否到达离变曲点1315规定距离之前的地点1330。在这里，变曲点1315可以为平地的起点。处理器170可基于深度图来设定变曲点1315，并基于与变曲点1315的距离信息来判断车辆200是否到达离变曲点1315规定距离之前的地点1330。此时，离变曲点1315规定距离之前的地点1330可预设为适合立体摄像头195的移动的地点。

[0283] 在到达离变曲点1315规定距离之前的地点1330的情况下，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头向上方移动。此时，处理器170可以与上坡的倾斜度β成正比地使立体摄像头195向上方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0284] 另一方面，在进入平地1320之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动。即，在进入平地1320之后，处理器170可使立体摄像头195恢复到原位置。在这种情况下，处理器170可以与车辆20的行驶速度成正比地使立体摄像头195恢复。

[0285] 参照图13B，车辆200在下坡1310中向Z轴的正方向及Y轴的负方向行驶的情况下，立体摄像头195维持适合获取车辆200前方影像的姿势。此时，如图13B的(a)部分所示，处理器170对与维持适合获取车辆200前方影像的姿势的立体摄像头195相对应的影像1310进行图形处理，并通过显示器180来显示。并且，处理器170可将道路的前方的规定距离前方为平地的信息显示于显示器140的一个区域。

[0286] 在车辆200从下坡1310进入平地1320的情况下，在进入之前，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动。此时，如图13B的(b)部分所示，处理器170对与向上方移动的立体摄像头195相对应的影像1320进行图形处理，并通过显示器180来显示。

[0287] 在进入平地1320之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195恢复原来的姿势。此时，如图13B的(c)部分所示，处理器170对与恢复原状的立体摄像头195相对应的影像1330进行图形处理，并通过显示器180来显示。

[0288] 另一方面，与图13B的(a)部分至图13B的(c)部分所示的立体摄像头195相对应的影像1310、1320、1330可以以立体方式显示，且可以以视频方式显示。

[0289] 车辆200的驾驶员可通过显示于显示器180的影像1310来直观地识别立体摄像头195的当前状态。

[0290] 图14A及图14B为在根据本发明的实施例来对从平地进入下坡的情况下的立体摄像头195及显示器180的工作进行说明时参照的图。

[0291] 参照图14A，车辆200中在平地1410向Z轴的正方向行驶的过程中，处理器170可将道路的前方判断为下坡1420。此时，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动。在这种情况下，处理器170可以与下坡的倾斜度γ成正比地使立体摄像头195向下方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0292] 另一方面，根据其他实施例，车辆200在在平地1410中向Z轴的正方向行驶的过程中，处理器170可将道路的前方判断为下坡1420。在道路的前方被判断为下坡的情况下，处理器170可判断是否到达离变曲点1415规定距离之前的地点1430。在这里，变曲点1415可以为下坡的起点。处理器170可基于深度图来设定变曲点1415，并基于与变曲点1415的距离信息来判断车辆200是否到达离变曲点1415规定距离之前的地点1430。此时，离变曲点1415规定距离之前的地点1430可预设为适合立体摄像头195的移动的地点。

[0293] 在到达离变曲点1415规定距离之前的地点1430的情况下，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头向下方移动。此时，处理器170可以与下坡的倾斜度γ成正比地使立体摄像头195向下方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0294] 另一方面，在进入下坡1420之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动。即，在进入下坡1420之后，处理器170可使立体摄像头195恢复到原位置。在这种情况下，处理器170可以与车辆20的行驶速度成正比地使立体摄像头195恢复。

[0295] 参照图14B，车辆200在平地1410中向Z轴的正方向行驶的情况下，立体摄像头195维持适合获取车辆200前方影像的姿势。此时，如图14B的(a)部分所示，处理器170对与维持适合获取车辆200前方影像的姿势的立体摄像头195相对应的影像1410进行图形处理，并通过显示器180来显示。并且，处理器170可将道路的前方的规定距离前方为下坡的信息显示于显示器140的一个区域。

[0296] 在车辆200从平地1410进入下坡1420的情况下，在进入之前，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动。此时，如图14B的(b)部分所示，处理器170对与向下方移动的立体摄像头195相对应的影像1420进行图形处理，并通过显示器180来显示。

[0297] 在进入下坡1420之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195恢复原来的姿势。此时，如图14B(c)部分所示，处理器170对与恢复原状的立体摄像头195相对应的影像1430进行图形处理，并通过显示器180来显示。

[0298] 另一方面，与图14B的(a)部分至图14B的(c)部分所示的立体摄像头195相对应的影像1410、1420、1430可以以立体方式显示，且可以以视频方式显示。车辆200驾驶员可通过显示在显示器180的影像1410直观地识别立体摄像头195的当前状态。

[0299] 图15A及图15B为在根据本发明的实施例来对从上坡进入平地的情况下的立体摄像头195及显示器180的工作进行说明时参照的图。

[0300] 参照图15A，车辆200在上坡1510中向Z轴的正方向及Y轴的正方向行驶的过程中，处理器170可将道路的前方判断为平地1520。处理器170可基于如上所述的上坡或下坡的判断结果，来判断平地1520。此时，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动。在这种情况下，处理器170可以与上坡的倾斜度δ成正比地使立体摄像头195向下方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0301] 另一方面，根据其他实施例，车辆200在上坡1510中向Z轴的正方向及Y轴的正方向行驶的过程中，处理器170可将道路的前方判断为平地1520。处理器170可基于如上所述的上坡或下坡的判断结果，来判断平地1520。在道路的前方被判断为平地的情况下，处理器170可判断是否到达离变曲点1515规定距离之前的地点1530。在这里，变曲点1515可以为平地的起点。处理器170可基于深度图来设定变曲点1515，并基于与变曲点1515的距离信息来判断车辆200是否到达离变曲点1515规定距离之前的地点1530。此时，离变曲点1515规定距离之前的地点1530可预设为适合立体摄像头195的移动的地点。

[0302] 在到达离变曲点1515规定距离之前的地点1530的情况下，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头向下方移动。此时，处理器170可以与上坡的倾斜度δ成正比地使立体摄像头195向下方移动。此时，处理器170可控制立体摄像头驱动部196，来控制立体摄像头195的移动。

[0303] 另一方面，在进入平地1520之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向上方移动。即，在进入平地1520之后，处理器170可使立体摄像头195恢复到原位置。在这种情况下，处理器170可以与车辆20的行驶速度成正比地使立体摄像头195恢复。

[0304] 参照图15B，车辆200在上坡1510向Z轴的正方向及Y轴的负方向行驶的情况下，立体摄像头195维持适合获取车辆200前方影像的姿势。此时，如图15B的(a)部分所示，处理器170对与维持适合获取车辆200前方影像的姿势的立体摄像头195相对应的影像1510进行图形处理，并通过显示器180来显示。并且，处理器170可将道路的前方的规定距离前方为平地的信息显示于显示器140的一个区域。

[0305] 在车辆200从上坡1510进入平地1520的情况下，在进入之前，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195向下方移动。此时，如图15B的(b)部分所示，处理器170对与向下方移动的立体摄像头195相对应的影像1520进行图形处理，并通过显示器180来显示。

[0306] 在进入平地1520之后，处理器170可向立体摄像头驱动部196输出控制信号，使得立体摄像头195恢复原来的姿势。此时，如图15B的(c)部分所示，处理器170对与恢复原状的立体摄像头195相对应的影像1530进行图形处理，并通过显示器180来显示。

[0307] 另一方面，与图15B的(a)部分至图15B的(c)部分所示的立体摄像头195相对应的影像1510、1520、1530可以以立体方式显示，且可以以视频方式显示。

[0308] 车辆200驾驶员可通过显示在显示器180的影像1510直观地识别立体摄像头195的当前状态。

[0309] 图16A、图16B为在根据本发明的实施例来说明在道路的前方形成有曲线，并存在上坡或下坡的情况下的动作时参照的图。

[0310] 参照图16A，处理器170可在立体影像或深度图中检测道路上的线，并通过所检测的线来生成与道路的曲线相关的信息。

[0311] 在道路的前方，向车辆行驶方向的左侧形成有曲线，并存在上坡或下坡的情况下，处理器170可从道路的前方的多个线中检测最外围线1620。在这里，最外围线1620可以为位于离作为上述曲线曲率的中心的地点1610最远距离的线。处理器170可通过立体影像或深度图来检测沿着Z轴的正方向和Y轴的正方向形成的最外围线1620的倾斜度。处理器170可以与最外围线1620的倾斜度成正比地控制立体摄像头驱动部196，使得立体摄像头195向上方或下方移动。

[0312] 参照图16B，在道路的前方，向车辆行驶方向的右侧形成有曲线，并存在上坡或下坡的情况下，处理器170检测道路的前方的多个线中的最外围线1630。在这里，最外围线1630可以为位于离作为上述曲线曲率的中心的地点1640最远距离的线。处理器170可通过立体影像或深度图来检测沿着Z轴的正方向和Y轴的正方向形成的最外围线1630的倾斜度。
处理器170可以与最外围线1630的倾斜度成正比地控制立体摄像头驱动部196，使得立体摄像头195向上方或下方移动。如上所述的本发明可在记录有程序的介质中体现为计算机可读的代码。计算机可读介质包括用于存储计算机系统可读的数据的所有种类的记录装置。
计算机可读介质的例有硬盘驱动器(HDD，Hard Disk Drive)、固态硬盘(SSD，Solid State Disk)、硅磁盘驱动器(SDD，Silicon Disk Drive)、只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘、光学数据存储装置等，并且还包括载波(例如，通过互联网的传输)。并且，上述计算机还可包括处理器170或控制部770。因此，如上所述的详细说明不应在所有方面以限制性的方式解释，而是以例示性的方式考虑。本发明的范围应通过所附的发明要求保护范围的合理性的解释来决定，在本发明的等同范围内的所有变更包括在本发明的范围。