具有自身运动检测的成像系统和方法

摘要

本发明提供一种用于车辆的成像系统和方法，成像系统包括成像器，成像器构造成对车辆的外部和前方场景进行成像并且产生对应于所获得的图像的图像数据。控制器被构造成接收图像数据并且分析连续的图像帧之间的光流以便计算成像器与所成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。

权利要求

1.一种用于车辆的成像系统，包括：

成像器，所述成像器构造成对所述车辆外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；以及控制器，所述控制器构造成:

接收图像数据并且在图像数据中检测所关注的物体；

分析连续的图像帧之间的光流以便计算所述成像器与所成像的场景之间的相对运动，其中，所述光流包括所关注的所述物体在所述连续的图像帧中的视在运动的模式；

基于在连续的图像帧中出现的所关注的多个物体的垂直位置的变化,计算垂直位置值；

基于在连续的帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的物体的垂直位置的变化，计算垂直运动值；以及计算垂直位置值与垂直运动值之间的加权平均，其中所述加权平均表示成像器与成像的场景之间沿垂直方向的相对运动。

2.根据权利要求1所述的成像系统，其中，所述控制器通过计算在当前帧和在前帧中出现的所述所关注的多个物体的平均垂直位置，并且计算当前帧的平均垂直位置与在前帧的平均垂直位置之间的差值来确定垂直位置值。

3.根据权利要求2所述的成像系统，其中，所述控制器通过计算当前帧和在前帧之间的每个所关注的物体的垂直位置的变化，识别在垂直位置中具有共同变化的任何所关注的物体，合计在垂直位置中具有共同变化的所关注的物体在垂直位置中的变化，并且取平均值来确定垂直运动值。

4.根据权利要求1-3中的任一项所述的成像系统，其中所述加权平均被用于修正由成像器的自身运动所引起的沿垂直方向的视在运动。

5.根据权利要求1-3中的任一项所述的成像系统，其中，所述控制器构造成基于所述车辆的横摆信号计算车辆航向。

6.根据权利要求5所述的成像系统，其中，所述控制器被构造成采用所述车辆航向的时间平均以确定所述成像器与所成像的场景之间沿水平方向的相对运动，并且所述时间平均被用于修正由成像器的自身运动所引起的沿水平方向的视在运动。

7.根据权利要求1-3中的任一项所述的成像系统，所述成像系统集成在后视镜组件中。

8.根据权利要求1-3中的任一项所述的成像系统，其中，所关注的物体包括静止物体和/或运动物体。

9.一种用于车辆的成像方法，包括以下步骤：

提供成像器，所述成像器构造成对受控车辆的外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；

提供控制器，所述控制器被构造成接收并分析所述图像数据；

在图像数据中检测所关注的物体；

基于连续的图像帧之间的光流计算所述成像器与所成像的场景之间的相对运动，其中，所述光流包括所关注的所述物体在所述连续的图像帧中的视在运动的模式；

基于在连续的图像帧中出现的所关注的多个物体的垂直位置的变化,计算垂直位置值；

基于在连续的帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的物体的垂直位置的变化，计算垂直运动值；以及计算垂直位置值与垂直运动值之间的加权平均，其中所述加权平均表示成像器与成像的场景之间沿垂直方向的相对运动。

10.根据权利要求9所述的成像方法，其中，所述计算所述垂直位置值的步骤包括计算在当前帧和在前帧中出现的所述所关注的多个物体的平均垂直位置，并且计算当前帧的平均垂直位置与在前帧的平均垂直位置之间的差值。

11.根据权利要求10所述的成像方法，其中，所述计算所述垂直运动值的步骤包括计算当前帧和在前帧之间的每个所关注的物体的垂直位置的变化，识别在垂直位置中具有共同变化的任何所关注的物体，合计在垂直位置中具有共同变化的所关注的物体在垂直位置中的变化，并且取平均值。

12.根据权利要求9-11中的任一项所述的成像方法，还包括使用所述加权平均来修正由成像器的自身运动所引起的沿垂直方向的视在运动。

13.根据权利要求9-11中的任一项所述的成像方法，还包括基于所述车辆的横摆信号计算车辆航向的步骤。

14.根据权利要求13所述的成像方法，还包括采用所述车辆航向的时间平均以确定所述成像器与所成像的场景之间沿水平方向的相对运动的步骤，以及使用所述时间平均来修正由成像器的自身运动所引起的沿水平方向的视在运动的步骤。

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的软件指令，所述软件指令在通过处理器执行时包括以下步骤：利用成像器以对受控车辆的外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；

在控制器中接收并分析图像数据；

在图像数据中检测所关注的物体；

基于连续的图像帧之间的光流计算所述成像器与所成像的场景之间的相对运动，其中，所述光流包括所关注的物体在所述连续的图像帧中的视在运动的模式；

基于在连续的图像帧中出现的所关注的多个物体的垂直位置的变化,计算垂直位置值；

基于在连续的帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的物体的垂直位置的变化，计算垂直运动值；以及计算垂直位置值与垂直运动值之间的加权平均，其中所述加权平均表示成像器与成像的场景之间沿垂直方向的相对运动。

16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述计算所述垂直位置值的步骤包括计算在当前帧和在前帧中出现的所述所关注的多个物体的平均垂直位置，并且计算当前帧的平均垂直位置与在前帧的平均垂直位置之间的差值。

17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述计算所述垂直运动值的步骤包括计算当前帧和在前帧之间的每个所关注的物体的垂直位置的变化，识别在垂直位置中具有共同变化的任何所关注的物体，合计在垂直位置中具有共同变化的所关注的物体在垂直位置中的变化，并且取平均值。

18.根据权利要求15-17中的任一项所述的非暂时性计算机可读介质，还包括使用所述加权平均来修正由成像器的自身运动所引起的沿垂直方向的视在运动。

19.根据权利要求15-17中的任一项所述的非暂时性计算机可读介质，其中，所述软件指令还包括基于所述车辆的横摆信号计算车辆航向的步骤。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述软件指令还包括采用所述车辆航向的时间平均以确定所述成像器与所成像的场景之间沿水平方向的相对运动的步骤，以及使用所述时间平均来修正由成像器的自身运动所引起的沿水平方向的视在运动的步骤。

说明书

具有自身运动检测的成像系统和方法

技术领域

[0001] 本发明大致涉及成像系统，并且更具体地涉及用于车辆的成像系统。

发明内容

[0002] 根据本发明的一个方面，提供一种用于车辆的成像系统。该系统包括构造成对车辆外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据的成像器。控制器被构造成接收图像数据并且分析连续的图像帧之间的光流以便计算成像器与成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。

[0003] 根据本发明的另一个方面，提供一种用于车辆的成像方法。该方法包括以下步骤：提供成像器，该成像器用于对受控车辆的外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；提供用于接收以及分析图像数据的控制器；以及基于连续的图像帧之间的光流计算成像器与所成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。

[0004] 根据本发明的再一个方面，提供一种非暂时性计算机可读介质。非暂时性可读介质具有存储在其上的软件指令，软件指令在通过处理器执行时包括以下步骤：利用成像器以对受控车辆外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；接收并分析控制器中的图像数据；以及基于连续的图像帧之间的光流计算成像器与所成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。

[0005] 本领域技术人员通过参考以下说明书、权利要求书和附图将进一步地理解和领会本发明的这些以及其他特征、优点和目的。

附图说明

[0006] 通过详细说明和附图将更加全面地理解本发明，其中：

[0007] 图1是根据本发明的实施例构造的受控车辆的成像系统的框图；

[0008] 图2是结合根据图1中所示的实施例的成像系统的后视镜组件的局部截面；

[0009] 图3是示出用于计算用于根据图1和图2中所示的实施例的成像系统中的成像系统的自身运动的程序的流程图；

[0010] 图4是表示连续的图像帧之间的光流的图示，其中，图像帧被叠加以帮助说明垂直位置值的计算；以及

[0011] 图5是与图4所示相同的图示，但替代地示出垂直运动值的计算。

具体实施方式

[0012] 现在将对本发明的当前优选的实施例做出详细的参考，这些实施例的例子在附图中示出。只要可能，相同的附图标记将在整个附图中被用于指代相同或类似的零件。在附图中，所描述结构元件并非按比例并且为了强调和理解一些部件相对于其他部件被放大。

[0013] 本文中说明的实施例涉及用于车辆的成像系统，该成像系统可被用于检测以及可选择地分类车辆前方场景中的物体。为了帮助理解这些实施例的应用，所提供的示例关于成像系统在外部灯控系统中的使用，用于响应于从捕捉车辆前方图像的图像传感器获得的图像数据控制受控车辆的外部灯。控制机动车辆前方的光束照明的自动远光束(AHB)和交替方法通过识别对向车辆和在前车辆以及自动控制远光束照明模式使晚上对远光束的使用最大化。这防止了对其他车辆的眩目，仍然保持远光束光分布以照亮未由其他车辆占用的区域。现有系统已知为用于响应于车辆前方捕捉的图像控制外部车灯。在这些现有系统中，控制器将分析捕捉的图像并且确定任何在前或迎面车辆是否存在于采用该系统的车辆前方的眩目区域中。该“眩目区域”是如果外部灯处于远光束状态(或除近光束状态以外的一些状态)，外部灯将引起驾驶员的过度眩目的区域。如果车辆存在于眩目区域中，则控制器将通过改变外部灯的状态做出响应，以便不会对其他驾驶员引起眩目。这种系统的示例在以下美国专利中进行了说明，No.5,837,994、No.5,990,469、No.6,008,486、No.6,049,171、No.6,130,421、No.6,130,448、No.6,166,698、No.6,255,639、No.6,379,013、No.6,
403,942、No.6,587,573、No.6,593,698、No.6,611,610、No.6,631,316、No.6,653,614、No.6,728,393、No.6,774,988、No.6,861,809、No.6,906,467、No.6,947,577、No.7,321,
112、No.7,417,221、No.7,565,006、No.7,567,291、No.7,653,215、No.7,683,326、No.7,
881,839、No.8,045,760、No.8,120,652和No.8,543,254，上述专利的全部公开内容通过参引结合到本文中。

[0014] 在利用控制机动车辆的前方的光束照明的AHB或可替代方法的现有系统的一些中，成像系统将对前方场景进行成像，控制器将分析所捕获的图像以检测车辆是否处于被充分地照亮的村庄(或城镇)中或是否进入该村庄(或城镇)。控制器然后通常将外部灯设置在近光束状态或者禁止远光束前灯的操作。当退出村庄区域时，然后重新触发远光束或可替代的光束照明。当进入村庄以确定是否触发或重新触发远光束前灯时，采用包括检测街灯或测量环境亮度级的各种方法。这种系统的示例在美国专利No.6,861,809、No.7,565,006和No.8,045,760中说明，还在美国专利申请公开No.US 20130320193A1中公开，上述专利及专利申请公开的全部内容通过参引结合在本文中。

[0015] 上述现有系统仅说明了其中可以响应于改变驾驶条件来控制受控车辆的外部灯的几种方式。一般地，这些以及其他相似系统的正确操作需要对所成像场景中的一个或更多个所关注物体的进行准确检测。根据该申请，这些所关注的物体可以是比如为街灯、车道标线、标记的静止物体和/或比如为其他行驶车辆的前灯或尾灯的运动物体。如果成像系统相对于所成像场景的运动(在此称为“自身运动”)是未知的，则可能影响所关注的物体的正确检测。在日常驾驶情况期间，存在可以改变成像系统相对于所成像场景的运动的许多共用条件，比如崎岖道路、急剧转弯、倾斜/下降等等。这些条件可能使得所关注的静止物体具有连续图像帧的视在运动。因此，如果没有考虑成像系统的自身运动，由于该系统可能不能确定哪个物体实际上在运动以及哪个物体由于成像系统的自身运动而仅仅看上去在运动并且达到与受控车辆的自身运动的相似程度，则成像系统可能难以执行各种成像操作。因此，根据如上所述，受控车辆的成像系统有利地在本文中提供并被构造成分析连续的图像帧之间的光流，以估算其成像系统的自身运动以便修正所成像物体的视在运动。如本文中所使用的，“光流”被定义为所关注的物体在连续的图像帧中的由成像系统与被成像的场景之间的相对运动所引起的视在运动的模式。

[0016] 图1中示出成像系统10的第一实施例。可以提供一种用于控制受控车辆的外部灯80以及可选择地控制受控车辆的其他设备(50、62)的成像系统10。系统10包括成像器20和控制器30。成像器20包括图像传感器(图2中的201)，图像传感器构造成对受控车辆的外部和前方场景进行成像并且产生对应于所获得的图像的图像数据。控制器30接收并分析图像数据并且产生可被用于控制外部灯80的外部灯控制信号，以及可以产生控制任何附加设备(50、62)的控制信号。这些控制信号可以响应于对图像数据的分析而产生。

[0017] 如果成像系统10用于车辆设备控制系统，控制器30则可被构造成直接连接至被控制的设备(50)，由此使所产生的控制信号直接控制该设备。可替代地，控制器30可被构造成连接至设备控制器(60和70)，设备控制器接着连接至被控制的设备(62和80)，由此通过控制器30产生的控制信号仅间接地控制该设备。例如，在设备是外部灯80的情况下，控制器30可以分析来自成像器20的图像数据，以便产生在控制外部灯80时所使用的更多是对于外部灯控制器70的推荐的控制信号。因此，可以说控制信号用于控制设备。控制信号还可以不仅包括推荐，而且包括表示对于该推荐的理由的代码，使得设备控制(60和70)可以确定是否超越该推荐。

[0018] 如图1所示，各个输入(比如输入21-24)可被提供至控制器30，在分析图像数据或者形成推荐或直接控制信号中可以考虑上述输入。在一些例子中，这些输入可替代地提供至设备控制(60和70)。例如，来自手动开关的输入可被提供至设备控制(60和70)，上述输入可以使得设备控制(60和70)能够超越来自控制器30的推荐。将可以理解的是可以存在控制器30与设备控制(60和70)之间的各种级别的相互作用和协作。分离控制功能的一个理由是使得成像器20能够定位在车辆中的用于获取图像的最佳位置中，该最佳位置可以距离被控制的设备一定距离并且允许在车辆总线25上通信。

[0019] 根据一个实施例，系统10能够控制的设备可以包括一个或更多个外部灯80，由控制器30产生的控制信号可以是外部灯控制信号。在该实施例中，外部灯80可以通过控制器30或通过外部灯控制器70直接控制，外部灯控制器70接收来自控制器30的控制信号。如本文中使用的，“外部灯”广义上包括车辆上的任何外部照明。这种外部灯可以包括前灯(如果彼此分离则为近光束和远光束两者)、尾灯、比如为雾灯的恶劣天气灯、刹车灯、居中安装的停车灯(CHMSL)、转弯指示灯、备用灯等等。外部灯可以以包括常规近光束状态和远光束状态的多种不同的模式操作。外部灯还可以作为日间行车灯操作，并且另外还可作为在被允许的那些国家中的超亮远光束。

[0020] 外部灯亮度还可以在低、高和超高状态之间连续地变化。单独的灯可被提供用于获得这些外部照明状态中的每一者，或者外部灯的实际亮度可以变化以提供这些不同的外部照明状态。在任何情况下，外部灯的“感知亮度”或照明模式可以变化。如在本文中使用的，术语“感知亮度”指的是如由车辆外部的观察者所感知的外部灯的亮度。最一般地，这些观察者是在前车辆中或在相反方向上沿着相同街道行驶的车辆中的驾驶员或乘客。理论上，外部灯被控制为使得如果观察者位于相对于车辆的“眩目区域”内的车辆中(即，其中的观察者将觉察到外部灯的亮度能够引起过度眩目的区域)，光束照明模式被改变，由此观察者不再位于眩目区域中。可以通过改变一个或更多个外部灯的照明输出、通过使一个或更多个灯转向以改变一个或多个外部灯的目标、选择性地阻挡或者以其他方式触发或关闭外部灯中的一些或全部、改变车辆的前方的照明模式、或者上述方式的组合来改变外部灯的感知亮度和/或眩目区域。

[0021] 成像器20可以是任何常规成像器。适当的成像器的示例在公开的美国专利申请公开No.US 20080192132A1和US 20120072080A1中以及在由Jon H.Bechtel等于2011年6月23日提交的名称为“中值滤波器(MEDIAN FILTER)”的美国临时申请No.61/500,418、由Jon H.Bechtel等于2011年10月7日提交的名称为“中值滤波器(MEDIAN FILTER)”的美国临时申请No.61/544,315以及由Jon H.Bechtel等于2011年11月8日提交的名称为“高动态范围照相机低光能级过滤(HIGH DYNAMIC RANGE CAMERA LOW LIGHT LEVEL FILTERING)”的美国临时申请No.61/556,864中公开，这些专利申请公开和临时申请的全部内容通过参引结合到本文中。

[0022] 成像系统10可以包括图像传感器(图2的201)或照相机以捕获图像，捕获的图像然后可以被显示和/或分析以便检测和可选择地分类物体或者可选择地控制除外部灯之外的车辆设备。例如，这种成像器已被用于车道偏离警报系统、前方碰撞警告系统、自适应巡航控制系统、行人检测系统、夜视系统、地形检测系统、停车辅助系统、交通标志识别系统和倒车照相机显示系统。采用用于这些目的的成像器的系统的示例在美国专利No.5,837,994、No.5,990,469、No.6,008,486、No.6,049,171、No.6,130,421、No.6,130,448、No.6,166,698、No.6,379,013、No.6,403,942、No.6,587,573、No.6,611,610、No.6,631,316、No.6,
774,988、No.6,861,809、No.7,321,112、No.7,417,221、No.7,565,006、No.7,567,291、No.7,653,215、No.7,683,326、No.7,881,839、No.8,045,760和No.8,120,652中公开，以及在由Brock R.Rycenga等于2011年7月27日提交的名称为“凸起车道标线检测系统及其方法(RAISED LANE MARKER DETECTION SYSEM AND METHOD THEREOF)”的美国临时申请No.61/
512,213和由Brock R.Rycenga等于2011年7月27日提交的名称为“碰撞警告系统及其方法(COLLISION WARNING SYSTEM AND METHOD THEREOF)”的美国临时申请No.61/512,158中公开，两者一起对应于美国专利公开No.US 20130028473A1，上述专利和临时申请的全部内容通过参引结合到本文中。

[0023] 在图1所示的示例中，成像器20可以由控制器30控制。成像系统参数以及图像数据的通信在通信总线40上发生，通信总线40可以是双向串行总线、并行总线、两者的组合或其他合适的方式。控制器30用于通过分析来自成像器20的图像、基于在那些图像内检测的信息确定设备(或外部灯)状态以及通过总线42将确定的设备(或外部灯)状态通信至设备50、设备控制器60或外部光控制器70来执行设备控制功能，总线42可以是车辆总线25、CAN总线、LIN总线或任何其他适当的通信线路。控制器30可以控制成像器20以具有不同曝光时间和不同读出窗口的多种不同模式触发。控制器30可被用于执行设备或外部灯控制功能以及控制成像器20的参数。

[0024] 控制器30还可以利用在做出关于外部灯80的操作的决定时经由分立式连接或通过车辆总线25通信的信号的有效性(比如车辆速度、方向盘角度、俯仰、侧滚和横摆)。特别地，速度输入21向控制器30提供车辆速度信息，由此速度可以是确定用于外部灯80或其他设备的控制状态的因素。倒车信号22通知控制器30车辆处于倒车中，响应于此，控制器30可以清空电致变色镜元件，而与从光传感器输出的信号无关。自动ON/OFF开关输入23连接至具有两个状态的开关，以向控制器30发出指令确定车辆外部灯80是否应该被自动或手动控制。连接至ON/OFF开关输入23的自动ON/OFF开关(未示出)可以与前灯开关结合，前灯开关通常安装在车辆仪表盘上或结合在方向盘柱高度内。手动减光器开关输入24连接至手动致动开关(未示出)以提供用于外部灯控制状态的手动超越信号。输入21、22、23、24和输出42a、42b和42c以及比如为方向盘输入的任何其他可能的输入或输出中的一些或全部可选择地通过图1中所示的车辆总线25提供。可替代地，这些输入21-24可以提供至设备控制器
60或外部灯控制器70。

[0025] 控制器30可以至少部分地控制车辆内的经由车辆总线42连接至控制器30的其他设备50。具体地，以下是可以由控制器30控制的一个或更多个设备50的一些示例：外部灯80、雨量传感器、罗盘、信息显示器、风挡刮水器、加热器、除霜器、扫雾器、空调系统、电话系统、导航系统、安全系统、轮胎气压监测系统、车库门打开发送器、远程无钥匙进入系统、信息通讯系统、比如为基于数字信号处理器的声音驱动系统的语音识别系统、车辆速度控制器、内部灯、后视镜、音频系统、发动机控制系统以及可以定位在整个车辆上的各种其他开关和其他显示装置。

[0026] 另外，控制器30可以至少部分地定位在车辆的后视组件内或定位在车辆内的其他位置。控制器30还可以利用比如为设备控制器60的第二控制器(或更多个控制器)，第二控制器可以位于后视组件中或车辆中的其他位置以便控制一些类型的设备62。设备控制器60可被连接成经由车辆总线42接收由控制器30产生的控制信号。设备控制器60随后经由总线61连通并控制设备62。例如，设备控制器60可以是控制风挡刮水器设备的风挡雨刷控制单元，将该设备打开或关闭(ON或OFF)。设备控制器还可以是电致变色镜控制单元，控制器30被编程以与电致变色控制单元通信，以使电致变色控制单元响应于从环境光传感器、眩目传感器以及联接至处理器的任何其他部件获得的信息来改变电致变色镜的反射率。具体地，与控制器30通信的设备控制单元60可以控制以下设备：外部灯、雨量传感器、罗盘、信息显示器、风挡雨刷、加热器、除霜器、扫雾器、空调器、电话系统、导航系统、安全系统、轮胎气压监测系统、车库门打开发送器、远程无钥匙进入系统、遥测系统、比如为基于数字信号处理器的声音驱动系统的语音识别系统、车辆速度、内部灯、后视镜、音频系统、气候控制器、发动机控制器以及可以定位在整个车辆上的各种其他开关和其他显示装置。

[0027] 系统10的部分可以有利地如图2所示地集成在后视组件200内，其中，成像器20集成在后视组件200的安装件203内。该位置提供了穿过车辆的挡风玻璃202的通常由车辆的风挡雨刷(未示出)清理的区域的无阻挡前方视野。另外，将成像器20的图像传感器201安装在后视组件200中允许共用电路，比如电源、微控制器和光传感器。

[0028] 参照图2，图像传感器201安装在后视安装件203内，后视安装件203安装至车辆挡风玻璃202。后视安装件203提供了用于图像传感器的除通过其接收来自前方外部场景的光的孔之外的不透明外壳。

[0029] 图1的控制器30可以设置在主电路板215上并且如图2所示安装在后视壳体204中。如上所述，控制器30可以通过总线40或其他装置连接至成像器20。主电路板215可以通过传统方法安装在后视壳体204内。通过车辆线束217(图2)提供电源和与包括外部灯80(图1)的车辆电气系统的通信线路42。

[0030] 后视组件200可以包括显示后方视野的镜元件或显示器。镜元件可以是棱形元件或电光学元件，比如电致变色元件。

[0031] 系统10可被集成到后视镜组件200中的方式的另外的细节在美国专利No.6,611,610中进行了说明，该专利的全部内容通过参引结合到本文中。用于实施成像系统的可替代的后视镜组件构造在美国专利No.6,587,573中公开，该专利的全部内容通过参引结合到本文中。

[0032] 现在将说明用于计算和修正自身运动的方法，并且其可被用于在前说明的成像系统10。为了例示目的，以下说明由控制器30利用从成像器20接收的图像数据执行的方法。该方法可以是由任何处理器执行的子程序，并且因此该方法可以在其上已存储软件指令的非暂时性计算机可读介质中实施，当通过处理器执行时，软件指令使得处理器通过执行如下所述的方法步骤控制受控车辆的设备。换句话说，可以通过存储在非暂时性计算机可读介质上的软件或软件修改或者对存在于非暂时性计算机可读介质中的现有软件的更新实现创造性方法的方面。这种软件或软件更新可以通常在安装到车辆中之前从远离第一非暂时性计算机可读介质32定位的第二非暂时性计算机可读介质90(见图1)下载到控制器30(或者与控制器30或某个其他处理器本地相关)的第一非暂时性计算机可读介质32内。第二非暂时性计算机可读介质90可以通过任何适当的方式与第一非暂时性计算机可读介质32通信，任何适当的方式可以至少部分地包括因特网或者局域或广域有线或无线网络。

[0033] 根据一个实施方式，用于计算成像系统10的自身运动的方法包括计算成像器20和所成像的场景之间沿水平X轴方向和垂直Y轴方向的相对运动，现在将参照图3进行更加详细的说明。

[0034] 图3示出说明通过控制器30执行的各个步骤的流程图。从步骤1000开始，控制器30启动自身运动计算和修正方法。当控制器在图像数据中检测所关注的一个或更多个物体时可以启动该方法。如前所述，所关注的物体可以包括比如为街灯、车道标线、标记的静止物体和/或比如为其他行驶车辆的前灯或尾灯的运动物体。控制器30则前进至可被并行地执行的步骤1100和1200。在步骤1100中，控制器30开始用于计算和修正自身运动的Y轴分量的自身Y轴处理，而在步骤1200中，控制器30开始用于计算和修正自身运动的X轴分量的自身X轴处理。

[0035] 讨论首先转向步骤1100，由此控制器30前进至可被并行地执行的步骤1300和1400。在步骤1300中，控制器30基于在连续的图像帧中出现的所关注的多个检测物体的垂直位置的变化计算垂直位置值，以下将参照图4对其进行进一步详细地说明。

[0036] 图4示例性地示出限定为当前帧250和在前帧252一系列二个连续图象帧中的物体A、B、C和D的光流。为了例示目的，当前帧和在前帧在图4中叠置以更好地示出其间的光流。根据当前帧250，物体A、B、C和D示出为成像在相应的位置300、302、304和306，而在在前帧
252中，物体A、B、C和D则成像在相应的位置400、402、404和406。为了确定垂直位置值，物体A-D在当前帧250和在前帧252中的平均垂直位置在步骤1500中计算并且在图4中通过相应的线1和2示出。接着，在步骤1600中，控制器30计算当前帧250(线1)的平均垂直位置与在前帧252(线2)的平均垂直位置之间的差值。在步骤1700中将差值作为垂直位置值输出，在步骤1300结束时发出信号。

[0037] 返回参照步骤1400，控制器30计算垂直运动值。垂直运动值基于在连续的图像帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的那些检测物体的垂直位置的变化。将参照图5进一步详细地说明垂直运动值的计算，图5还示出之前在图4中示出的物体A-D的光流。为了确定垂直运动值，在步骤1800中，控制器30计算当前帧250和在前帧252之间的每个物体A-D的垂直位置的变化，其在图5中示出为对于物体A为δA、对于物体B为δB、对于物体C为δC以及对于物体D为δD。接着，在步骤1900中，控制器30识别在垂直位置中具有共同变化的任何物体，比如物体A、B和C，因为这示出了其在图像帧之间的运动很可能是视在的而非实际的。一旦识别了在垂直位置中具有共同变化的物体，控制器30合计其在垂直位置中的相应的变化(δA、δB和δC)并且在步骤2000中取平均值，在步骤2100中将平均值输出为垂直运动值，在步骤1400结束时发出信号。根据一个实施方式，在计算垂直运动值时不考虑在垂直位置中不具有共同变化的物体(例如物体D)。

[0038] 完成步骤1300和1400之后，在步骤2200中，控制器30计算垂直位置值与垂直运动值之间的加权平均。加权平均表示成像器20与成像的场景之间沿垂直方向的相对运动。因此，加权平均可被用于修正由成像器20的自身运动所引起的沿垂直方向的视在运动。一旦已做出修正，控制器30在步骤2400结束自身Y轴处理，并且只要所关注的物体存在于后续图像帧中，则可以返回到步骤1100以重复自身Y轴处理。

[0039] 论述限制转向自身X轴处理，这在步骤1200开始。在步骤2500中，控制器30获得车辆的横摆信号并且将其转换至图像域。在步骤2600中，基于转换的横摆信号，控制器30计算车辆航向。在步骤2700中，控制器30则采取车辆航向的时间平均值，其表示成像器20与所成像的场景之间沿水平方向的相对运动，并且由此可以在步骤2800中被用于修正由照相机20的自身运动所引起的沿水平方向的视在运动。一旦已经做出修正，在步骤2400，控制器30结束自身X轴处理。只要所关注的物体存在于后续图像帧中，则控制器30可以返回到步骤1200以重复自身X轴处理。

[0040] 以上说明书仅被视为对优选实施例的说明。本领域技术人员以及做出或使用本发明的人员将想到本发明的变型。因此，可以理解的是附图中示出以及如上所述的实施例仅用于例示目的而非旨在限制本发明的范围，本发明的范围由根据包括等同原则的专利法的原则解释的权利要求书限定。