动态后视镜显示特征

摘要

本发明涉及动态后视镜显示特征。公开了一种用于在显示装置上显示捕获的图像的方法。景象由至少一个基于视觉的成像装置捕获。捕获景象的虚像使用相机模型由处理器产生。视图合成技术由处理器被用于捕获图像，用于产生去变形的虚像。动态后视镜显示模式被启动，用于启动在后视镜显示装置上的去变形的图像的观察模式。去变形的图像在后视镜显示装置上显示在启动观察模式中。

权利要求

1.一种用于在显示装置上显示的捕获的图像的方法，包括步骤：

由至少一个基于视觉的成像装置捕获景象；

使用相机模型由处理器产生捕获景象的虚像，所述相机模型在非平面表面上投影捕获的图像；

启动动态后视镜显示模式，用于启动在后视镜显示装置上的观察模式；

通过处理器将视图合成技术应用至虚像，以产生去变形的虚像，所述视图合成技术根据所启动的观察模式将虚像投影到后视镜显示装置上，以产生去变形的虚像；以及在后视镜显示装置上在启动的观察模式中显示去变形的图像。

2.根据权利要求1所述的方法，其中多个图像是由包括车辆外部多个不同的观察区域的多个图像捕获装置捕获的，多个图像具有用于产生车辆外部景象的全景的重叠边界，其中所述方法还包括步骤：在相机建模之前，作用图像缝合至由多个图像捕获装置捕获的多个图像中的每一个上，图像缝合是将多个图像合并，用于在多个图像的重叠区域之间产生无缝的过渡。

3.根据权利要求2所述的方法，其中图像缝合包括各个图像的重叠区域的夹住和切换，用于产生无缝的过渡。

4.根据权利要求2所述的方法，其中图像缝合包括在两个各自的图像之间的重叠区域中识别对应的点偶组并且为了缝合两个各自的图像记录对应的点偶。

5.根据权利要求2所述的方法，其中图像缝合包括作用以发现两个各自的图像之间的重叠区域中的对应性的立体视觉处理技术。

6.根据权利要求2所述的方法，其中多个图像捕获装置包括每个捕获不同的各自的视野景象的三个窄视野图像捕获装置，其中每组相邻的视野景象包括重叠景象内容，并且其中图像缝合被应用到相邻视野景象的每组的重叠景象内容上。

7.根据权利要求6所述的方法，其中应用到三个窄视野上的图像缝合产生约180度的全景景象。

8.根据权利要求6所述的方法，其中多个图像捕获装置中的每个都是面向后图像捕获装置。

9.根据权利要求6所述的方法，其中多个图像捕获装置中的每个都是面向前图像捕获装置。

10.根据权利要求6所述的方法，其中关于车辆工作条件的车辆信息被传送到相机开关，用于基于车辆工作条件有选择地启动或停止图像捕获装置。

11.根据权利要求6所述的方法，其中图像捕获装置是基于驾驶员有选择地启动或停止各自的图像捕获装置而启动和停止的。

12.根据权利要求2所述的方法，其中多个图像捕获装置包括窄视野图像捕获装置和宽视野图像捕获装置，窄视野图像捕获装置捕获窄视野景象，宽视野图像捕获装置捕获基本上180度的宽视野景象，其中为了提高视野重叠，窄视野捕获景象是宽视野捕获景象的子集，其中在窄视野景象和相关的宽视野景象的重叠区域处对应的点偶组被识别，用于记录用于窄视野景象和宽视野景象的图像缝合。

13.根据权利要求2所述的方法，其中多个图像捕获装置包括布置在车辆的不同侧面上的多个车辆面向周围图像捕获装置，其中多个面向周围捕获成像装置包括用于捕获车辆前方图像的面向前相机，用于捕获车辆后方图像的面向后相机，用于捕获车辆右侧上的图像的面向右侧相机，以及用于捕获车辆左侧上的图像的面向左侧相机，其中各自的图像显示在后视镜显示装置上。

14.根据权利要求13所述的方法，其中图像捕获装置基于关于车辆工作条件的车辆信息至相机开关的通信有选择地启动和停止。

15.根据权利要求14所述的方法，其中致动表示由启动的图像捕获装置捕获的当前视图的可视图标。

16.根据权利要求13所述的方法，其中图像捕获装置是基于驾驶员有选择地启动或停止各自的图像捕获装置而启动和停止的。

17.根据权利要求1所述的方法，其中启动观察模式是从视镜显示模式，具有图像覆盖模式的视镜显示打开，以及没有图像覆盖模式的视镜显示打开中选择的，其中视镜显示模式不投影图像在后视显示视镜上，其中具有图像覆盖模式的视镜显示打开投影产生的去变形图像和复制车辆的内部部件的图像覆盖，并且其中没有图像覆盖模式的视镜显示仅显示产生的去变形的图像。

18.根据权利要求17所述的方法，其中选择用于产生复制车辆内部部件的图像覆盖的、具有图像覆盖模式的视镜显示打开包括在后视镜显示装置中复制头枕，后窗玻璃装饰以及C柱的至少一个。

19.根据权利要求17所述的方法，其中后视镜模式按钮由驾驶员致动，用于选择用于显示在后视镜显示装置上的各自的捕获图像中的一个。

20.根据权利要求17所述的方法，其中后视镜模式按钮由仅在高速时的视镜显示模式，在低速或停车时的具有图像覆盖模式的视镜显示打开，在停车时的具有图像覆盖模式的视镜显示打开，速度调节椭圆缩放因子，转向信号激活的各自的视图显示模式中的至少一个致动。

21.根据权利要求17所述的方法，其中图像捕获装置和观察模式基于关于车辆工作条件的车辆信息至相机开关的通信有选择地启动和停止。

22.根据权利要求21所述的方法，其中车辆信息是从多个装置中的一个获得，其包括方向盘角度传感器，转向信号，偏航传感器，和速度传感器。

23.根据权利要求21所述的方法，其中车辆信息用来改变相机模型的相机姿态相对于基于视觉的成像装置的姿态。

说明书

动态后视镜显示特征

[0001] 相关申请的交叉引用

[0002] 本申请要求了2012年10月19日提交的、序号为61/715,946的美国临时申请为优先权，其内容在此结合作为参考。

技术领域

[0003] 实施例总体上涉及用于动态后视镜显示特征的图像捕获和处理。

背景技术

[0004] 车辆系统通常使用用于后视景象检测、侧视景象检测、以及前视景象检测的车辆内视觉系统。对于那些需要图解道路覆盖层或强调捕获图像的区域的应用，关键的是精确地校准相机相对于车辆与周围目标的定位与定向。采用来自装置的捕获的输入图像并且重新建模图像以示出或提高捕获图像的各个区域的相机建模必须在对图像不畸变至对观看重显图像的人而言变得不可使用或不准确的情况下对图像内的全部对象再次定位。

[0005] 当视图在显示屏幕上再次产生时，图像的重叠变成问题。从不同捕获装置捕获的并且在显示屏幕上集成的视图典型地示出了每个捕获图像之间的不连贯部分，由此使得驾驶员很难迅速地确定什么存在于显示屏幕上。

发明内容

[0006] 在此描述的本发明的优点是图像可以基于由一个或多个相机捕获的图像利用相机视图合成使用多种成像效应而合成。成像效应包括由多个相机捕获不同的图像，其中每个相机捕获围绕车辆的不同视图。不同的图像可以缝合用于产生无缝的全景的图像。对于邻接的相邻图像视图，为了寄存在捕获图像的重叠区域中的点偶，识别感兴趣的共同点。

[0007] 本发明的另一优点是动态可重构的视镜显示系统可以循环并且显示由多个图像显示装置捕获的各种图像。在后视显示装置上显示的图像可以基于车辆工作自动地选择或可以由车辆的驾驶员选择。

[0008] 公开了一种用于在显示装置上显示捕获的或已处理图像的方法。景象由至少一个基于视觉的成像装置捕获。捕获景象的虚像使用相机模型由处理器产生。视图合成技术由处理器被用于捕获图像，用于产生去变形（de-warped）的虚像。动态后视镜显示模式被致动，用于启动在后视镜显示装置上的去变形的图像的观察模式。去变形的图像在后视镜显示装置上显示在启动的观察模式中。

[0009] 本发明还提供了以下方案：

[0010] 1. 一种用于在显示装置上显示的捕获的图像的方法，包括步骤：

[0011] 由至少一个基于视觉的成像装置捕获景象；

[0012] 使用相机模型由处理器产生捕获景象的虚像；

[0013] 由处理器作用视图合成技术至捕获的图像，用于产生去变形的虚像；

[0014] 启动动态后视镜显示模式，用于启动在后视镜显示装置上的去变形的图像的观察模式；以及

[0015] 在后视镜显示装置上在启动的观察模式中显示去变形的图像。

[0016] 2. 根据方案1所述的方法，其中多个图像是由包括车辆外部多个不同的观察区域的多个图像捕获装置捕获的，多个图像具有用于产生车辆外部景象的全景的重叠边界，其中所述方法还包括步骤：

[0017] 在相机建模之前，作用图像缝合至由多个图像捕获装置捕获的多个图像中的每一个上，图像缝合是将多个图像合并，用于在多个图像的重叠区域之间产生无缝的过渡。

[0018] 3. 根据方案2所述的方法，其中图像缝合包括各个图像的重叠区域的夹住和切换，用于产生无缝的过渡。

[0019] 4. 根据方案2所述的方法，其中图像缝合包括在两个各自的图像之间的重叠区域中识别对应的点偶组并且为了缝合两个各自的图像记录对应的点偶。

[0020] 5. 根据方案2所述的方法，其中图像缝合包括作用以发现两个各自的图像之间的重叠区域中的对应性的立体视觉处理技术。

[0021] 6. 根据方案2所述的方法，其中多个图像捕获装置包括每个捕获不同的各自的视野景象的三个窄视野图像捕获装置，其中每组相邻的视野景象包括重叠景象内容，并且其中图像缝合被应用到相邻视野景象的每组的重叠景象内容上。

[0022] 7. 根据方案6所述的方法，其中应用到三个窄视野上的图像缝合产生约180度的全景景象。

[0023] 8. 根据方案6所述的方法，其中多个图像捕获装置中的每个都是面向后图像捕获装置。

[0024] 9. 根据方案6所述的方法，其中多个图像捕获装置中的每个都是面向前图像捕获装置。

[0025] 10. 根据方案6所述的方法，其中关于车辆工作条件的车辆信息被传送到相机开关，用于基于车辆工作条件有选择地启动或停止图像捕获装置。

[0026] 11. 根据方案6所述的方法，其中图像捕获装置是基于驾驶员有选择地启动或停止各自的图像捕获装置而启动和停止的。

[0027] 12. 根据方案2所述的方法，其中多个图像捕获装置包括窄视野图像捕获装置和宽视野图像捕获装置，窄视野图像捕获装置捕获窄视野景象，宽视野图像捕获装置捕获基本上180度的宽视野景象，其中为了提高视野重叠，窄视野捕获景象是宽视野捕获景象的子集，其中在窄视野景象和相关的宽视野景象的重叠区域处对应的点偶组被识别，用于记录用于窄视野景象和宽视野景象的图像缝合。

[0028] 13. 根据方案2所述的方法，其中多个图像捕获装置包括布置在车辆的不同侧面上的多个车辆面向周围图像捕获装置，其中多个面向周围捕获成像装置包括用于捕获车辆前方图像的面向前相机，用于捕获车辆后方图像的面向后相机，用于捕获车辆右侧上的图像的面向右侧相机，以及用于捕获车辆左侧上的图像的面向左侧相机，其中各自的图像显示在后视镜显示装置上。

[0029] 14. 根据方案13所述的方法，其中图像捕获装置基于关于车辆工作条件的车辆信息至相机开关的通信有选择地启动和停止。

[0030] 15. 根据方案14所述的方法，其中致动表示由启动的图像捕获装置捕获的当前视图的可视图标。

[0031] 16. 根据方案13所述的方法，其中图像捕获装置是基于驾驶员有选择地启动或停止各自的图像捕获装置而启动和停止的。

[0032] 17. 根据方案1所述的方法，其中启动观察模式是从视镜显示模式，具有图像覆盖模式的视镜显示打开，以及没有图像覆盖模式的视镜显示打开中选择的，其中视镜显示模式不投影图像在后视显示视镜上，其中具有图像覆盖模式的视镜显示打开投影产生的去变形图像和复制车辆的内部部件的图像覆盖，并且其中没有图像覆盖模式的视镜显示仅显示产生的去变形的图像。

[0033] 18. 根据方案17所述的方法，其中选择用于产生复制车辆内部部件的图像覆盖的、具有图像覆盖模式的视镜显示打开包括在后视镜显示装置中复制头枕，后窗玻璃装饰以及C柱的至少一个。

[0034] 19. 根据方案17所述的方法，其中后视镜模式按钮由驾驶员致动，用于选择用于显示在后视镜显示装置上的各自的捕获图像中的一个。

[0035] 20. 根据方案17所述的方法，其中后视镜模式按钮由仅在高速时的视镜显示模式，在低速或停车时的具有图像覆盖模式的视镜显示打开，在停车时的具有图像覆盖模式的视镜显示打开，速度调节椭圆缩放因子，转向信号激活的各自的视图显示模式中的至少一个致动。

[0036] 21. 根据方案17所述的方法，其中图像捕获装置和观察模式基于关于车辆工作条件的车辆信息至相机开关的通信有选择地启动和停止。

[0037] 22. 根据方案21所述的方法，其中车辆信息是从多个装置中的一个获得，其包括方向盘角度传感器，转向信号，偏航传感器，和速度传感器。

[0038] 23. 根据方案21所述的方法，其中车辆信息用来改变相机模型的相机姿态相对于基于视觉的成像装置的姿态。

附图说明

[0039] 图1是包括环境视图的基于视觉的成像系统的车辆的视图。

[0040] 图2是示出了用于基于视觉的成像系统的覆盖区域的俯视图。

[0041] 图3是平面径向畸变虚拟模型的视图。

[0042] 图4是非平面的针孔照相机模型的视图。

[0043] 图5是使用圆柱成像表面模型的方框流程图。

[0044] 图6是使用椭圆成像表面模型的方框流程图。

[0045] 图7是用于将点从实际图像映射至虚拟图像的视图合成的流程图。

[0046] 图8是径向畸变修正模型的视图。

[0047] 图9是严重径向畸变模型的视图。

[0048] 图10是基于虚拟图像上的点用于确定虚拟入射线角度的用于作用视图合成的方框图。

[0049] 图11是投影到各自的圆柱的成像表面模型上的入射线的视图。

[0050] 图12是作用虚拟平移/倾斜用于基于虚拟入射线角度用于确定光线入射线角度的方框图。

[0051] 图13是在虚拟入射线角度与真实入射线角度之间的平移/倾斜的转动表示。

[0052] 图14是用于在后视镜显示装置上显示来自一个或多个图像捕获装置的捕获图像的方框图。

[0053] 图15示出了使用单个相机的动态后视镜显示成像系统的方框图。

[0054] 图16示出了后视镜的FOV与由宽角度FOV相机捕获图像的比较。

[0055] 图17是在后视镜的图像显示器上输出的景象的图示。

[0056] 图18示出了使用多个面向后相机的动态后视镜显示成像系统的方框图。

[0057] 图19是由多个相机捕获的区域覆盖的自上而下视图。

[0058] 图20是在后视镜的图像显示器上输出的景象的图示，其中作用了图像拼合。

[0059] 图21示出了使用两个面向后相机的动态后视镜显示成像系统的方框图。

[0060] 图22是由两个相机捕获的区域覆盖的自上而下视图。

[0061] 图23是使用多个面向上相机的动态前视镜显示成像系统的方框图。

[0062] 图24示出了比较由驾驶员看到的FOV和由窄FOV相机捕获的图像的自上而下视图。

[0063] 图25示出了具有FOV障碍的驾驶员的有限的FOV。

[0064] 图26示出了使用多个面向周围相机的可重构的动态后视镜显示成像系统的方框图。

[0065] 图27a-d示出了每个相应的宽FOV相机的覆盖区域的自上而下视图。

[0066] 图28a-b示出了显示在显示装置上的示例性图标。

具体实施方式

[0067] 图1示出的是，车辆10沿道路行驶。基于视觉的成像系统12捕获道路的图像。基于视觉的成像系统12根据基于一个或多个基于视觉的捕获装置捕获围绕车辆的图像。在此描述的实施例中，基于视觉的成像系统将被描述为捕获车辆后方的图像；然而，也将理解为基于视觉的成像系统12可以延伸至捕获车辆前方的图像和车辆侧面的图像。

[0068] 参照图1-2，基于视觉的成像系统12包括用于捕获车辆15的前方视野（FOV）的前视相机14，用于捕获车辆17的后方FOV的后视相机16，用于捕获车辆19的左侧FOV的左视相机18，和用于捕获车辆21的右侧FOV的右视相机20。相机14-20可以是适于在此描述的目的的任意相机，它们中的许多在汽车领域中是公知的，其能够接收光，或其它辐射，并且使用例如电荷耦合器件（CCD）以像素格式将光能转换为电信号。相机14-18图以某些数据帧频产生可以存储用于后续处理的图像数据的帧。相机14-20可以安装在车辆10的一部分的内部或在车辆10的一部分的任意适当结构上，例如，如本领域技术人员将会理解和认识的，保险杠，面板，格栅，侧视镜，门板等。在一个非限制的实施例中，侧面相机18安装在侧视镜下方并且朝向下。来自相机14-20的图像数据被发送到处理器22，其处理图像数据以产生可以显示在观察镜显示装置24上的图像。

[0069] 本发明使用了在没有使用径向畸变修正的情况下、采用了简单的两步方法并且提供了快速的处理时间和增强的图像质量的用于窄FOV和超宽FOV相机两者的图像建模和去变形处理。畸变是偏离直线投影，在景象中的直线在图像中保持直线的投影。径向畸变是镜片成直线的误差。

[0070] 如上所述的两步步骤包括（1）为了在非平面表面上投影捕获的图像作用相机模型至捕获的图像和（2）为了将投影到非平面表面上的虚拟图像映射到实际显示图像上作用视图合成。对于视图合成，给出来自具有具体相机设置和方位的具体点的具体物的一个或多个图像，目标是建造作为来自具有相同或不同光轴的虚拟相机的合成图像。

[0071] 除用于超宽FOV相机的动态视图合成外，提出的方法提供了实际的环境视图和具有提高的去变形操作的动态后视镜功能。在此使用的相机修正是指估计估计包括固有和外在参数的多个相机参数。固有参数包括焦距，图像中心（或象主点），径向畸变参数等并且外在参数包括相机位置，相机方向等。

[0072] 相机模型在本领域公知为用于将自然空间中的目标映射到相机的图像传感器平面以产生图像。本领域公知的一个模型被认为是对窄FOV相机的图像建模有效的针孔相机模型。针孔相机模型被限定为：

[0073] （1）

[0074] 图3是用于针孔相机模型的视图30并且示出了由坐标 ，限定的二维相机图像平面32，和由全局坐标 ， ，限定的三维物体空间34。从焦点C至图像平面32的距离是相机的焦距 并且由焦距 和 限定。从点C至图像平面32的原理点的垂直线限定了由， 限定的平面32的图像中心。在视图30中，物体空间34中的物体点 在点 映射到图像平面32中，其中图像点 坐标是 ， 。

[0075] 等式（1）包括采用以提供在物体空间34中的点 至图像平面32中的点 的映射的参数。尤其地，固有参数包括 ， ， ， 和 以及外在参数包括用于相机转动的3乘3的矩阵 和从图像平面32至物体空间34的3乘1的转换矢量t。参数 表示两个图像轴的偏斜，其典型地可以忽略，并且经常设置为零。

[0076] 由于针孔相机模型遵循直线投影，其中有限尺寸的平面图像表面仅可以覆盖有限的FOV范围（<<180°FOV），以使用平面图像表面产生用于超宽（~180°FOV）鱼眼相机的圆柱形的全景，必须使用具体的相机模型以考虑横向径向畸变。一些其它的视图可能需要其它具体的相机建模，（并且一些具体视图可能不能产生）。然而，通过将图像平面改变为非平面的图像表面，仍然通过使用简单的光线跟踪和针孔相机模型可以很容易地产生具体的视图。因此，以下的描述将描述使用非平面图像表面的优点。

[0077] 后视镜显示装置24（图1所示）输出由基于视觉的成像系统12捕获的图像。图像可能改变可能转换的图像以示出提高的捕获图像的FOV的各个部分的视图。例如，可能改变图像用于产生全景景像，或可能产生在车辆转向方向上增强图像的区域的图像。在此描述的提出的方法在没有径向畸变修正的情况下用较简单的相机模型对具有凹面成像表面的宽FOV相机进行建模。该方法使用具有新的相机成像表面模型（例如，基于光-光线的建模）的虚拟视图合成技术。该技术具有后视相机应用的各种应用，其包括动态方针，360度环视相机系统，以及动态后视镜特征。该技术通过具有各种相机成像表面的简单相机针孔模型对各种相机成像效果进行模拟。应当理解，除相机针孔模型外，可以使用其它模型，包括传统的模型。

[0078] 图5示出了使用非平面图像表面对捕获的景像38建模的优选技术。使用针孔模型，捕获的景像38投影到非平面的图像49上（例如，凹面）。由于图像正显示在非平面表面上，没有径向畸变修正作用到投影的图像上。

[0079] 为了减少对图像的偏差，视图合成技术被应用到非平面表面上的投影图像上。在图4中，使用凹面成像表面完成图像去变形。这样的表面可以包括，但不限制为，圆柱或椭圆图像表面。即，捕获的景象使用针孔模型投影到圆柱状表面上。此后，投影到圆柱成像表面上的图像展示到平面车内图像显示装置上。因此，为了帮助驾驶员集中在打算行进的区域中，为了更好地观察，增强了车辆正努力停放的停车空间。

[0080] 图5示出了用于作用圆柱图像表面建模至捕获的景像的方框流程图。在方框46中示出了捕获的景像。相机建模52被应用到捕获的景像46上。如较早描述的，相机模型优选地是针孔相机模型，然而，可以使用传统的或其它相机建模。捕获的图像使用针孔相机模型投影到各自的表面上。各自的图像表面是圆柱图像表面54。通过将投影到圆柱表面上的图像的光线映射到捕获图像的入射线上以产生去变形的图像而执行视图合成42。结果是增强了可利用的停车空间的视图，其中停车空间对中在去变形图像51的最前部。

[0081] 图6示出了使用针孔模型用于使用椭圆图像表面模型至捕获的景像上的流程图。椭圆图像模型56作用了更大的分辨率至捕获的景像46的中心。因此，如去变形图像57中所示，与图6相比使用了椭圆模型，在去变形图像的中心最前部处的物体被进一步增强。

[0082] 动态视图合成是一种技术，通过其启动了基于车辆操作的驾驶方案的具体的视图合成。例如，如果车辆在停车场对比高速公路的驾驶中，可能触发具体的合成建模技术，或可能通过感测车辆的各个区域的目标的接近传感器触发，或通过车辆信号触发（例如，转向灯，方向盘角度，或车辆速度）。具体的合成建模技术可以应用各形状的模型至捕获的图像，或取决于触发操作作用虚拟平移，倾斜，或方向性缩放。

[0083] 图7示出了用于从实际图像映射虚拟图像的视图合成的流程图。在方框61中，捕获图像上的实际点由坐标 和 识别，并且其识别哪里入射线接触成像表面。入射线可以由角度（ ， ）表示，其中， 是入射线与光轴之间的角度，并且 是x轴与入射线在平面上的投影之间的角度。为了确定入射线角度，实际的相机模型是预先确定并且校准的。

[0084] 在方框62中，限定了实际相机模型，例如鱼眼模型（ ）并且限定了成像表面。即，由实际鱼眼相机视图看到的入射线可以由以下示出：

[0085]

[0086] 其中 表示 并且 表示 。径向畸变修正模型在图8中示出。由以下的等式（3）表示的径向畸变模型，有时被认为是Brown- Conrady模型，其提供了对来自目标空间74的在图像平面72上成像的目标的非严重径向畸变的修正。相机的焦距 是点76与透镜光轴与图像平面72交叉的图像中心之间的距离。在视图中，如果使用针孔相机模型，在线70与图像平面72交叉处的图像位置 表示目标点 的虚拟成像点 。然而，由于相机图像具有径向畸变，实际成像点 在位置 ，其是线78与图像平面72的交点。值 和不是点，而是从图像中心 ， 至图像点 和 的径向距离。

[0087]

[0088] 使用以上讨论的针孔模型确定点 并且包括提及的固有与外在参数。等式（3）的模型是在成像平面72中将点 转换为 的偶次多项式，其中 是需要确定以提供修正的参数，并且其中参数 的数目限定了修正的精确度。校准处理在实验室环境中对确定参数的具体的相机执行。因此，除用于针孔相机模型的固有和外在参数之外，用于等式（3）的模型包括附加参数 以确定径向畸变。由等式（3）的模型提供的非严重的径向畸变修正典型地对宽FOV相机是有效的，例如135°FOV相机。然而，对于超宽FOV相机，即，180°FOV，径向畸变对于等式（3）的模型而言太严重了以至于不能生效。换句话说，当相机的FOV超过一些值时，例如，140°至150°，当角度 接近90°时，值 变为无穷大。对于超宽FOV相机，在现有技术中提出了在等式（4）中示出的严重径向畸变修正模型以提供对严重径向畸变的修正。

[0089] 图9图解了示出了圆顶以图解FOV的鱼眼模型。该圆顶表示鱼眼镜头相机模型并且由鱼眼模型可以获得的FOV达到180°或以上。鱼眼镜头是超宽角度镜头，其产生旨在产生宽的全景或半球图像的很强的视觉畸变。鱼眼镜头通过放弃产生具有透视的直线的图像（直线图像），选择替代具体映射（例如，相等立体角度）而获得及其宽的视图角度，其为图像给出了特性凸状非直线外观。该模型表示严重的径向畸变，其在以下的等式（4）中示出，其中等式（4）是奇数序多项式，并且包括用于提供在图像平面79中的点 至点 的径向修正技术。如上，图像平面由坐标 和 限定，并且目标空间由全局坐标 限定。此外， 是入射线入射线与光轴之间的入射角。在图解中，点 是使用针孔相机模型的目标点 的虚拟图像点，其中当 接近90°时其径向距离 可以变为无穷大。在径向距离 的点 是点的实际图像，其具有可以由等式（4）建模的径向畸变。

[0090] 等式（4）中的值 是确定的参数。因此，入射角 用来在校准处理期间基于计算的参数提供畸变修正。

[0091]

[0092] 在现有技术中公知多种技术以提供用于对等式（3）的模型的参数 和等式（4）的模型的参数 提供估计。例如，在一个实施例中，使用了棋盘式图案并且图案的多个图像采用不同的视角度，其中相邻正方形之间的图案中的每个拐角点被识别。棋盘式图案中的每一点被标记并且每个点的位置在图像平面与全局坐标中的目标空间两者中被识别。相机的校准是由将实际图像点与3D目标空间点的二次投影之间的误差距离最小化通过参数估计而获得。

[0093] 在方框63中，实际入射线角度（ ）与（ ）由实际相机模型确定。对应的入射线将由（ ， ）表示。

[0094] 方框64表示转换处理（图12中描述的），其中存在平移和/或倾斜情况。

[0095] 在方框65中，确定虚拟入射线角度 和对应的 。如果没有虚拟倾斜和/或平移，然后（ ， ）将等于（ ， ）。如果虚拟倾斜和/或平移存在，则必须做出调整以确定虚拟入射线。将在下文中详细讨论虚拟入射线。

[0096] 在方框66中，一旦已知入射线角度，则通过使用各个相机模型（例如，针孔模型）和各个非平面成像表面（例如，圆柱成像表面）作用视图合成。

[0097] 在方框67中，与非平面表面交叉的虚拟入射线在虚拟图像中确定。与虚拟非平面表面交叉的虚拟入射线的坐标在虚拟图像上示出为（ ， ）。因此，虚拟图像（ ，）上的像素的映射对应于实际图像（ ， ）上的像素。

[0098] 应当理解，景观上述流程图展现了通过获得实际图像中的像素并且发现与虚拟图像的相互关系的视图合成，但当在车辆中使用时可以以相反顺序执行。即，由于畸变和焦点仅在各个加亮区域上（例如，圆柱/椭圆形状），实际图像上的每个点可以不在虚拟图像中使用。因此，如果处理相对于没有使用的这些点进行，则在处理没有使用的像素中浪费了时间。因此，对于图像的车辆内处理，执行相反顺序。即，在虚拟图像中识别位置并且在实际图像中识别对应的点。以下描述了用于识别虚拟图像中的像素和确定实际图像中对应像素的细节。

[0099] 图10图解了用于获得虚拟坐标（ ， ）67的第一步和作用用于识别虚拟入射角（ ， ）65的视图合成的第一步。图11展现了投影到各自的圆柱成像表面模型上的入射线。入射角 的水平投影水平投影由角度 表示。用于确定角度 的公式遵循以下等距投影：

[0100]

[0101] 其中 是虚拟图像点u-轴（水平）坐标， 是相机的u方向（水平）焦距，并且是图像中心u轴坐标。

[0102] 接下来，角度 的垂直投影由角度 表示。用于确定角度 的公式遵循以下直线投影：

[0103]

[0104] 其中 是虚拟图像点v-轴（垂直）坐标， 是相机的v方向（垂直）焦距，以及是图像中心v轴坐标。

[0105] 入射线角度然后可以通过以下公式确定：

[0106]

[0107] 如以上描述的，如果在虚拟相机与实际相机的光轴70之间没有平移或倾斜，则虚拟入射线（ ， ）和实际入射线（ ， ）相同。如果平移和/或倾斜存在，则必须对虚拟入射线和实际入射线的投影的相关性做出补偿。

[0108] 图12图解了当虚拟倾斜和/或平移63存在时从虚拟入射线角度64至实际入射线角度64的转换的方框图。图13图解了由于虚拟平移和/或倾斜转动从虚拟至实际的轴变化之间的比较。入射线位置不变化，因此如所示的对应的虚拟入射线角度和实际入射线角度与平移和倾斜相关。入射线由角度（ ， ）表示，其中，是入射线与光轴之间的角度（由z轴表示），并且 是x轴与入射线在x-y平面上的投影之间的角度。

[0109] 对于每个确定的虚拟入射线（ ， ），入射线上的任意点可以由以下矩阵表示：

[0110]

[0111] 其中 是点离原点的距离。

[0112] 虚拟平移和/或倾斜可以由以下的旋转矩阵表示：

[0113]

[0114] 其中 是平移角度，并且 是倾斜角度。

[0115] 在识别虚拟平移和/或倾斜转动后，在相同入射线（对于现实）上的相同点的坐标将是如下：

[0116]

[0117] 在转动的坐标系中新的入射线将是如下：

[0118]

[0119] 因此，当倾斜和/或平移相对于虚拟相机模型存在时在（ ， ）与（ ，）之间确定一致。应当理解，在（ ， ）与（ ， ）之间的一直不与入射线上距离处的任何具体点相关。实际入射线角度仅与虚拟入射线角度（ ， ）和虚拟平移和/或倾斜角 和 相关。

[0120] 一旦知道实际入射线角度，如以上所讨论的在实际图像上各个光线的交点可以很容易地确定。结果是在虚拟图像上虚拟点映射至实际图像上对应的点。为了在实际图像上识别对应的点并且产生引起的图像，该处理对虚拟图像上的每个点执行。

[0121] 图14图解了用于在后视镜显示装置上显示来自一个或多个图像捕获装置的捕获图像的整个系统图解的方框图。在80处总体上示出了多个图像捕获装置。多个图像捕获装置80包括至少一个前方相机，至少一个侧面相机，以及至少一个后视相机。

[0122] 由图像捕获装置80捕获的图像输入至相机开关。基于诸如车辆速度，转弯，或倒进停车场地的车辆工作条件81可以启动多个图像捕获装置80。相机开关82基于通过诸如CAN总线的通信总线连通到相机开关82的车辆信息81启动一个或多个相机。各个相机还可以通过车辆的驾驶员有选择地启动。

[0123] 来自所选择的图像捕获装置的捕获图像提供至处理单元22。处理单元22使用在此描述的各自的相机模型处理图像并且应用将捕获图像映射到后视镜装置24的显示器上的视图合成。

[0124] 视镜模式按钮84可以由车辆的驾驶员致动，用于动态地启动在后视镜装置24上显示的景象相关的各自的模式。三个不同的模式包括，但不被限于，（1）具有观察相机的动态后视镜；（2）具有前视相机的动态视镜；以及（3）具有环境观察相机的动态观察视镜。

[0125] 基于视镜模式和各自图像的处理的选择，处理的图像提供至后视成像装置24，其中捕获的景象的图像被复制并且经由后视成像显示装置24显示至车辆的驾驶员。

[0126] 图15示出了使用单个相机的动态后视镜显示图像系统的方框图。动态后视镜显示成像系统包括具有宽角度FOV功能的单个相机90。相机的宽角度FOV可以大于，等于，或小于180度视角。

[0127] 如果仅使用单个相机，不需要相机切换。捕获的图像输入至处理单元22，其中捕获的图像应用到相机模型。在该示例中使用的相机模型包括椭圆相机模型；然而，应当理解可以使用其它的相机模型。椭圆相机模型的投影意味着观察景象好像图像绕椭圆包围并且从内部观察。因此，与位于捕获图像的端部的像素相对，在图像的中心处的像素更靠近地观察。与侧面相对，在图像中心处的图像的缩放更大。

[0128] 处理单元22也作用用于将来自椭圆模型的凹面的捕获图像映射到后视镜的平面显示屏上的视图合成。

[0129] 视镜模式按钮84包括进一步的功能，其允许驾驶员控制后视镜显示器24的其它视图选项。可以由驾驶员选择的附加视图选项包括：（1）视镜显示关闭；（2）具有图像覆盖的视镜显示打开；以及（3）没有图像覆盖的视镜显示打开。

[0130] “视镜显示关闭”是指由捕获成像装置捕获的、被建模、处理、显示为去变形图像的图像不显示在后视镜显示装置上。而是后视镜仅在由视镜的反射属性捕获的那些目标时起到与视镜显示相同的功能。

[0131] “具有图像覆盖的视镜显示打开”是指由捕获成像装置捕获的、被建模、处理、并且投影为去变形图像的图像显示在示出了景象的宽角度FOV的图像捕获装置24上。此外，图像覆盖92（在图17中示出）投影到后视镜24的图像显示上。当通过具有普通反射属性的后视镜观察反射时，图像覆盖92复制将典型地由驾驶员看到的车辆的部件（例如，头枕，后窗玻璃装饰，C柱）。该图像覆盖92帮助驾驶员识别车辆相对于道路和围绕车辆的其它目标的相对定位。图像覆盖92优选地是透明的以允许驾驶员无阻碍地观察景象的整个内容。

[0132] “没有图像覆盖的视镜显示打开”显示如上所述的相同的捕获图像，但没有图像覆盖。图像覆盖的目的是允许驾驶员参考景象相对于车辆的内容；然而，驾驶员可能发现图像覆盖不需要并且可以选择在显示中没有图像覆盖。该选择完全按照车辆驾驶员的意愿。

[0133] 基于选择作出到视镜按钮模式84，在方框24中适当的图像经由后视镜呈现给驾驶员。视镜按钮模式84可以由仅在高速时至视镜显示模式的开关，在低速或停车时至具有图像覆盖模式的视镜显示的开关，在停车时至具有图像覆盖模式的视镜显示的开关，速度调节的椭圆缩放因子，或转向信号激活的各自的视图显示模式中的至少一个自动地启动。

[0134] 图16图解了与由宽角度FOV相机捕获的图像相比，使用典型的后视装置由驾驶员看到的观察区域的俯视图。区域96和98示出了分别由典型的侧视镜100和102捕获的覆盖区域。区域104示出了由车辆内的后视镜捕获的覆盖区域。区域106和108示出了将由宽角度FOV相机捕获的覆盖区域，而不是由侧视镜和后视镜捕获的。因此，由图像捕获装置捕获并且使用相机模型处理并且视图合成的显示在后视镜上的图像提供了将典型地被认为是盲点的增强的覆盖度。

[0135] 图17图解了在后视镜的图像显示器上输出的景象的图示。如图所示，景象提供了围绕车辆后部的实质上180度视角。此外，图像可以处理，从而在显示器110的中心部分中的图像在较近的距离显示，而在端部112和114的图像相对于中心部分110在较远距离显示。基于驾驶员或车辆操作的需求，显示可以根据事件的发生进行修改。例如，如果在车辆后方检测的目标较近，则可以使用圆柱体相机模型。在这样的模型中，中心部分110将不会描述为这样接近于车辆，并且端部可以不这样远离车辆。此外，如果车辆在转弯过程中，相机模型将平移从而与图像的中心部分相对地在图像的端部缩放（在车辆转向的方向中）。这将基于提供至处理单元22的车辆信息112可以动态地控制。车辆信息可以从车辆的不同装置获得，这些装置包括，但不限制为，控制器，方向盘角度传感器，转向信号，偏航传感器，和速度传感器。

[0136] 图18示出了使用多个面向后相机的动态后视镜显示成像系统的方框图。多个面向后相机116是窄FOV相机。在所示中，第一相机118，第二相机120，和第三相机122彼此间隔开预定距离（例如，10厘米）用于捕获车辆后方景象。相机118和120可以成角度以捕获车辆的后方和各个侧面的景象。每一捕获的图像重叠，从而图像缝合124可以从多个面向后相机116应用到捕获的图像上。

[0137] 图像缝合124是将多个图像与图像FOV的重叠区域结合用于产生无缝的分段全景的处理。即，合成图像组合从而由于重叠区域已经合并，则没有引人注意的边界。如果如图19所示三个相机紧紧地间隔在一起，其仅具有FOV重叠和可忽略的位置偏移，则简单图像配准技术可以用于将三个视图图像缝合在一起。如果相机仔细地安装并且校准，最简单的实现是FOV剪裁并且切换。产生更精确结果的另一方法是在两个图像之间的重叠区域中发现对应的点偶组并且将这些点偶记录以缝合两个图像。相同的操作作用到在另一侧上的区域的另一重叠。如果三个相机不是紧紧地间隔在一起，而是留出一定距离，则立体视觉处理技术可以用于发现两个各自图像之间的重叠区域中的对应。实现是在来自两个相机的两个视图之间计算密度不一致映射并且发现对应性，其中重叠区域中目标的深度信号可以从不一致映射中获得。

[0138] 在执行图像缝合124后，缝合的图像输入至处理单元22，用于作用相机建模和对图像的视图合成。由驾驶员选择视镜模式按钮84，用于显示捕获的图像并且可能地作用图像覆盖以对在后视镜24上显示的图像去变形。如所示，车辆信息可以提供至处理单元22，其帮助确定应当基于车辆工作条件作用的相机模型。此外，车辆信息用来改变相机模型的相机姿态相对于基于视觉的成像装置的姿态。

[0139] 图19包括由在图18中描述的多个相机捕获的区域覆盖的自上而下视图。如所示，第一相机118捕获窄FOV图像126，第二相机120捕获窄FOV图像128，以及第三相机122捕获窄FOV图像130。如图19所示，图像重叠发生在由132示出的图像128和126之间。图像重叠也发生在由134示出的图像128和130之间。图像缝合122作用到重叠区域以在图20所示的图像之间产生无缝的过渡。结果是图像好像由单个相机捕获的图像一样。使用三个窄FOV相机的优点是不需要产生畸变的鱼眼镜头，其可能导致附加处理以减少畸变修正。

[0140] 图21示出了使用两个面向后相机136的动态后视镜显示成像系统的方框图。两个面向后相机包括窄FOV相机138和宽FOV相机140。在所示中，第一相机138捕获窄FOV图像并且第二相机140捕获宽FOV图像。如图22所示，第一相机138（窄FOV图像）捕获车辆后方的中心区域。第二相机140（宽FOV图像）捕获车辆后方的整个周围区域144。系统包括相机开关82，处理器22，视镜模式按钮84，和观察视镜显示24。如果两个相机具有可以忽略的位置偏移，则简单图像记录技术可用于图像缝合以将图像牵引在一起。同样，为了记录点偶用于缝合宽FOV图像内的窄FOV图像的各个端部，在窄FOV图像和相关的宽FOV图像的重叠区域处的对应的点偶设置可以识别。目标是发现在两个FOV图像之间匹配的对应点，从而图像可以被映射并且任意附加的偏差处理可以作用用于将FOV图像缝合在一起。应当理解，为了识别两个图像之间的对应性，用于合并并且图像缝合窄FOV图像和宽FOV图像，可以作用其它的技术。

[0141] 图23图解了使用多个面向上相机150的动态前视镜显示成像系统的方框图。面向上相机150是窄FOV相机。在所示中，第一相机152，第二相机154，和第三相机156彼此间隔开预定距离（例如，10cm）用于捕获车辆前方景象。相机152和156可以成角度以捕获车辆的前方和各个侧面的景象。每一捕获的图像重叠，从而图像缝合124可以从多个面向前相机150应用到捕获的图像上。

[0142] 之前描述的图像缝合154是将具有图像视野的重叠区域的多个图像合并的处理，其用于产生无缝的分段的全景，从而在重叠区域已经合并时，没有引人注意的边界存在。在执行图像缝合124后，缝合的图像输入至处理单元22，用于作用相机建模和对图像的视图合成。由驾驶员选择视镜模式按钮84，用于显示捕获的图像并且可能地作用图像覆盖以对在后视镜24上显示的图像去变形。如所示，车辆信息81可以提供至处理单元22，用于确定应当基于车辆工作条件作用的相机模型。

[0143] 图24示出了比较由驾驶员看到的由窄FOV相机捕获的图像的自上而下视图。该方案通常包括由车辆的侧面目标引起的或由在车辆很近范围的直接前方的车辆引起的在驾驶员的FOV中的障碍。这样的示例在图25中示出。如图25所示，车辆正努力离开进入交叉的交通，但由于在车辆156的每个侧面上的车辆158和160的接近和位置，在驾驶员的FOV中存在障碍。因此，在车辆158和160的反向方向中移动的车辆162驾驶员不能看见。是这样的方案中，为了使驾驶员获得靠近车道164的车辆的较宽的FOV，车辆156必须移动车辆的前部进入交叉交通的车道164。

[0144] 再次参照图24，与有限的驾驶员FOV 166相反，成像系统为驾驶员提供宽的FOV（例如，>180度）164并且在没有必须将车辆的一部分延伸进入交叉交通通路的情况下允许驾驶员去看是否任意迎面的车辆正在靠近。区域168和170示出了将由前方成像系统捕获的覆盖区域，但由于目标或其它障碍可能不能被驾驶员看到。因此，由图像捕获装置捕获并且使用相机模型处理并且视图合成的图像显示在后视镜上，其提供了将典型地被认为是盲点的增强的覆盖度。

[0145] 图26示出了使用多个面向周围相机180的可重构的动态后视镜显示成像系统的方框图。如图27a-d所示，每个各自的相机提供了为车辆的各个区域捕获的宽FOV图像。多个面向周围相机每个面对车辆的不同侧面并且是宽FOV相机。在图27a中，面向前相机182捕获在车辆183的前方区域中的宽视野图像。在图27b中，左侧面对相机184捕获在车辆185左侧区域中的宽视野图像（即，驾驶员一侧）。在图27c中，右侧面对相机186捕获在车辆187右边侧区域中的宽视野图像（即，乘客员一侧）。在图27d中，面向后相机188捕获在车辆189的后方区域中的宽视野图像。

[0146] 由图像捕获装置180捕获的图像输入至相机开关82。相机开关82可以由驾驶员手动地致动，其允许驾驶员通过每一图像扳钮，用于显示选择的图像视图。相机开关82可以包括一种类型的人机接口，其包括，但不限制为，扳钮开关，允许驾驶员用手指碰擦屏幕、用于翻到下一屏幕的触屏应用或话音激活命令。如图27a-d中的箭头所示，驾驶员可以有选择地通过每一选择滚动，直到所需的成像显示在观察图像显示屏上。此外，响应于选择的各自的观察图像，图表可以显示在后视显示装置或类似装置上，识别启动了哪个各自的相机和相关的FOV相机。图标可以类似于图27a-d中所示的，或任意其它可见的图标可以用来为驾驶员显示启动了与车辆的各自的位置相关的各自的相机。

[0147] 图28a和图28b示出了后视镜装置，其显示了捕获图像和表示正在显示在后视显示装置上的视图的图标。如图28a所示，由驾驶员侧面成像装置捕获的图像显示在后视显示装置上。表示左侧面对相机184的图标捕获由图标185表示的在车辆左侧（即，驾驶员一侧）的宽视野图像。图标优选地显示在后视显示装置或类似的显示装置上。在相同的装置上显示捕获的图像的显示优点是在没有从显示装置转移目光的情况下驾驶员可以立即明白哪个视图驾驶员正在看。优选地，根据正在显示的视图，图标是相对于图像并列的。例如，在图28a中，图像显示了在车辆驾驶员侧上捕获的视图。因此，在后视显示装置上显示的图像位于图表的驾驶员一侧上，从而驾驶员领会了正在显示的视图与如果驾驶员正朝驾驶员一侧的窗户看时的相同。

[0148] 类似地在图28b中，由乘客一侧成像装置捕获的图像显示在后视显示装置上。表示右侧面对相机186的图标捕获了由图标187表示的车辆右侧（即，乘客一侧）的宽视野图像。因此，在显示装置上显示的图像位于图标的乘客一侧上，从而驾驶员领会了视图是当前朝乘客一侧窗户向外看的视图。

[0149] 再次参照图26，来自所选择的图像捕获装置的捕获图像提供至处理单元22。处理单元22从由驾驶员选择的景象中处理图像并且应用各自的相机模型和视图处理，用于将捕获图像映射到后视镜装置上。

[0150] 车辆信息81还可以应用到相机开关82或处理单元22上，其基于正在发生的车辆操作改变图像视图或相机模型。例如，如果车辆正在转弯，相机模型可以是平移从而在与图像的中心部分相反的端部中缩放。这将基于提供至处理单元22的车辆信息81可以动态地控制。车辆信息可以从车辆的不同装置获得，这些装置包括，但不限制为，控制器，方向盘角度传感器，转向信号，偏航传感器，和速度传感器。

[0151] 视镜模式按钮84可以由车辆的驾驶员启动，用于动态地启动在后视镜装置24上显示的景象相关的各自的模式。三个不同的模式包括，但不被限于，（1）具有观察相机的动态后视镜；（2）具有前视相机的动态视镜；以及（3）具有环境观察相机的动态观察视镜。

[0152] 基于视镜模式和各自图像的处理的选择，处理的图像提供至后视成像装置24，其中捕获的景象的图像被复制并且经由后视成像显示装置24显示至车辆的驾驶员。

[0153] 尽管已经详细描述了本发明的某些实施例，但本领域技术人员将会理解用于实践本发明的各种可替换设计和实施例由以下权利要求限定。