使用基于视觉的调整引导车辆的方法和系统转让专利
申请号 : CN200580045916.8
文献号 : CN100580689C
文献日 : 2010-01-13
发明人 : S·韩 , J·F·赖德 , T·D·皮克特
申请人 : 迪尔公司
摘要 :
一种用于引导车辆的方法和系统包括收集用于车辆的初步地点数据的地点模块(26)(例如，地点确定接收器)。视觉模块(22)在评价时间窗口期间收集用于车辆的视觉导出地点数据。地点质量估计器(24)在评价时间窗口期间估计相应的收集初步地点数据的地点质量数据。视觉模块(22)在该评价时间窗口期间估计相应的收集视觉导出地点数据的视觉质量数据。如果该视觉质量数据超过最小阈值水平，则调整器(110)基于该视觉导出地点数据将初步地点数据调整为修正的地点数据，使得所述修正的地点数据被寄存或一般地与所述视觉导出地点数据共同延伸。
权利要求 :
1.一种用于引导车辆的方法，该方法包括：
在评价时间窗口期间基于与所述车辆相关联的地点确定接收器收集 所述车辆的初步地点数据；
在所述评价时间窗口期间基于与所述车辆相关联的视觉模块收集所 述车辆的视觉导出地点数据；
在所述评价时间窗口期间估计所述视觉导出地点数据的视觉质量数 据，所述视觉质量数据基于相应照明亮度，其中所述视觉质量数据基于 逐个光频率的亮度范围与质量数据的关系；以及如果所述视觉质量数据超过最小阈值水平，则基于所述视觉导出地 点数据将所述初步地点数据调整为修正的地点数据，使得所述修正的地 点数据与所述视觉导出地点数据配准或大致在时间上具有相同范围。
2.根据权利要求1的方法，其中如果所述视觉质量数据超过所述最 小阈值水平以及如果所述视觉导出地点数据在规定容差内基本上与所述 初步地点数据相同，则所述调整包括调整所述初步地点数据。
3.根据权利要求1的方法，还包括如果对应于所述视觉导出地点数 据的视觉质量数据满足或者超过所述最小阈值水平，则指定所述视觉导 出地点数据为处于良好状态。
4.根据权利要求1的方法，还包括如果视觉质量数据超过最小阈值 水平，则确定在所述评价时间窗口所述初步地点数据是否与视觉导出地 点数据一致。
5.根据权利要求1的方法，还包括在小于或等于约0.2秒的下一个 评价时间窗口重复上述过程。
6.根据权利要求1的方法，其中所述调整是通过以5赫兹的频率提 供修正的地点数据来完成的。
7.根据权利要求1的方法，其中所收集的视觉导出地点数据相对于 视场内一个或多个视觉参考界标估计车辆地点，其中各个视觉参考界标 具有已知地理坐标。
8.根据权利要求7的方法，其中所述视觉参考标记包括庄稼行。
9.根据权利要求1的方法，其中视觉质量数据基于亮度范围与质量 数据的关系，该亮度范围与质量数据的关系可以不同于可见光地应用于 红外线范围频率和紫外范围频率。
10.根据权利要求1的方法，其中视觉质量数据的估计包括确定 假设的偏转/俯仰对的各个列矢量的平均强度的绝对差的总和。
11.一种用于引导车辆的系统，该系统包括：
地点模块，用于在评价时间窗口期间基于与所述车辆相关联的地点 确定接收器收集所述车辆的初步地点数据；
视觉模块，用于在所述评价时间窗口期间基于与所述车辆相关联的 视觉模块收集所述车辆的视觉导出地点数据；
视觉质量估计器，用于在所述评价时间窗口期间估计所述视觉导出 地点数据的视觉质量数据，所述视觉质量数据基于相应照明亮度，其中 所述视觉质量数据基于逐个光频率的亮度范围与质量数据的关系；以及调整器，如果所述视觉质量数据超过最小阈值水平，则基于所述视 觉导出地点数据将所述初步地点数据调整为修正的地点数据，使得所述 修正的地点数据与所述视觉导出地点数据配准或大致在时间上具有相同 范围。
12.根据权利要求11的系统，其中如果所述视觉质量数据超过所述 最小阈值水平以及如果所述视觉导出地点数据在规定容差内基本上与所 述初步地点数据相同，则所述调整器调整所述初步地点数据。
13.根据权利要求11的系统，另外其中如果对应于所述视觉导出地 点数据的视觉质量数据满足或者超过所述最小阈值水平，则所述视觉质 量估计器指定所述视觉导出地点数据为处于良好状态。
14.根据权利要求11的系统，其中如果视觉质量数据超过最小阈值 水平，则估计器确定在所述评价时间窗口所述初步地点数据是否与视觉 导出地点数据一致。
15.根据权利要求11的系统，还包括在小于或等于约0.2秒的下一 个评价时间窗口重复上述过程。
16.根据权利要求11的系统，其中所述调整器以5赫兹的频率调整 所述修正的地点数据。
17.根据权利要求11的系统，其中视觉导出地点数据处理模块相对 于视场内一个或多个视觉参考界标估计车辆地点，其中各个视觉参考界 标具有已知地理坐标。
18.根据权利要求17的系统，其中所述视觉参考标记包括庄稼行。
19.根据权利要求11的系统，其中视觉质量估计器包括照明测量 装置，该装置选自包括光电探测器、具有频率选择透镜的光电探测器、 具有相应频率选择透镜的一组光电探测器、电荷耦合器件、光度计和 硫化钙电池的组。
20.根据权利要求11的系统，其中视觉质量数据基于亮度范围与 质量数据的关系，该亮度范围与质量数据的关系可以不同于可见光地应 用于红外线范围频率和紫外范围频率。
说明书 :
技术领域
本发明涉及使用视觉调整引导车辆的方法和系统。
背景技术
全球定位系统(GPS)接收器已经用于为车辆引导应用提供位置 (position)数据。然而，尽管具有差分校正(differential correction)的特定GPS接收器在其大部分工作时间内具有约为10 厘米(4英寸)的一般定位误差，大于50厘米(20英寸)的绝对定位 误差在其5％的工作时间内是典型的。此外，GPS信号会被建筑物、树 或其他障碍物阻挡，这使得仅GPS的导航系统在特定地点(location) 或环境中变得不可靠。因此需要使用一个或多个附加传感器补充或增 强GPS基导航系统，从而提高精确度和鲁棒性。
发明内容
一种用于引导车辆的方法和系统包括用于为车辆收集初步地点数 据的地点模块(例如，地点确定接收器)。视觉模块在评价时间窗口期 间收集车辆的视觉导出地点数据。视觉模块在评价时间窗口期间为相 应的收集视觉导出地点数据估计视觉质量数据。如果视觉质量数据超 过最小阈值水平，则调节器基于视觉导出地点数据将初步地点数据调 整为修正的地点数据，使得修正的地点数据与视觉导出地点数据配准 或大致在时间上有相同范围(coextensive)。
附图说明
图1为依据本发明基于初步地点数据和视觉导出地点数据来引导 车辆的系统的方框图。
图2为依据本发明基于初步地点数据和视觉导出地点数据来引导 车辆的方法的流程图。
图3为依据本发明基于初步地点数据和视觉导出地点数据来引导 车辆的另一种方法的流程图。
图4的图表示出了地点数据的静态定位误差，例如从差分全球定 位系统(GPS)导出的引导信号。
图5的图表示出了地点数据的定位误差，例如在诸如依据本发明 的视觉模块的另一种传感器“调谐”之后，从差分全球定位系统(GPS) 信号导出的引导信号。
图2为依据本发明基于初步地点数据和视觉导出地点数据来引导 车辆的方法的流程图。
图3为依据本发明基于初步地点数据和视觉导出地点数据来引导 车辆的另一种方法的流程图。
图4的图表示出了地点数据的静态定位误差，例如从差分全球定 位系统(GPS)导出的引导信号。
图5的图表示出了地点数据的定位误差，例如在诸如依据本发明 的视觉模块的另一种传感器“调谐”之后，从差分全球定位系统(GPS) 信号导出的引导信号。
具体实施方式
图1为用于引导车辆的引导系统11的方框图。引导系统11可以 安装在车辆或移动机器人上或者与后者并置。引导系统11包括视觉模 块22以及与调整器110通信的地点确定接收器28。
视觉模块22可以与视觉质量估计器20相关联。地点确定接收器 28可以与地点质量估计器24相关联。调整器110可以与车辆控制器 25通信。而车辆控制器25又耦合到转向系统27。
地点确定接收器28可以包括具有差分校正的全球定位系统 (GPS)接收器(例如，GPS接收器以及用于接收由卫星或地面源发射 的差分校正信号的接收器)。地点确定接收器28提供车辆的地点数据 (例如，坐标)。地点确定接收器28可以向至少调整器110或地点质 量估计器24(例如，通过状态信号)指示一个或多个下述条件或状态： (1)地点确定接收器28禁用，(2)在一个或多个相应评价间隔，地 点数据不可用或毁坏，以及(3)在一个或多个评价间隔，地点数据的 估计精确度或可靠度低于最小阈值。该地点确定接收器28为车辆提供 非常适用于全球导航或全球路径规划的地点数据。
在一个说明性实施例中，地点确定接收器28输出下述格式的地点 数据：
其中Eoff_gps为由地点确定接收器28(例如，地点确 定接收器28)估计的偏离轨道误差(off-track error)，Ehead_gps为由 地点确定接收器28估计的航向(heading)误差。
视觉模块22可包括图像收集系统和图像处理系统。该图像收集系 统包括下述的一个或多个：(1)一个或多个单目成像系统，用于收集 一组图像(例如，具有不同聚焦设置或透镜调整的相同场景的多个图 像，或者不同视场(FOV)的多个图像)；(2)立体视觉系统(例如， 分开已知距离和方向的两个数字成像单元)，用于确定场景内对象上的 点相关的深度信息或三维坐标；(3)测距仪(例如激光测距仪)，用于 确定场景内对象上的点的距离测量或三维坐标；(4)光雷达系统或激 光雷达系统，用于检测场景内对象的速度、高度、方向或范围；(5) 扫描激光系统(例如，一种激光测量系统，其发射光脉冲，并基于该 脉冲发射和其反射的接收之间的传播时间而估计该激光测量系统与对 象之间的距离)，用于确定与场景内对象的距离；以及(6)成像系统， 通过光学微机电系统(MEMS)、自由空间光学MEMS、或者集成光学MEMS 收集图像。自由空间光学MEMS使用化合物半导体和具有一折射率范围 的材料操纵可见光、红外线、或者紫外光，而集成光学MEMS使用多晶 硅元件反射、衍射、调制或操纵可见光、红外线、或紫外光。MEMS可 以构造成可以依据各种半导体制造技术制造的开关矩阵、透镜、反射 镜、以及衍射光栅。图像处理系统收集的图像可以是例如彩色、单色、 黑白、或者灰阶图像。
视觉模块22或视觉导出地点数据可以支持与图像内对象特征的 地点相对应的位置数据(二维或三维坐标)的收集。视觉模块22非常 适用于使用(a)车辆周围环境的特征或局部特征、(b)与这种特征相 关联的位置数据或坐标、或者这二者，来促进车辆导航。局部特征可 包括下述的一个或多个：庄稼行地点、栅栏地点、建筑物地点、田地 边缘地点、边界地点、巨石地点、岩石地点(例如，大于最小阈值尺 寸或体积)、田埂和地沟、树地点、作物边缘地点、其他植被(例如草 皮)上的切割边缘、以及参考标记。局部特征的视觉导出地点数据或 者位置数据可以用于规则地(例如，周期性地)调谐来自地点确定接 收器28的初步地点数据。
在一个示例中，参考标记可以与高精度地点坐标相关联。此外， 其他局部特征可以与参考标记位置相关。当前车辆位置可以与参考标 记地点或局部特征的固定地点或车辆的地点相关。在一个实施例中， 视觉模块22可以使用坐标或、类似于或基本等效于坐标的数据格式、 或者地点确定接收器28的数据格式，表达关于车辆地点的视觉导出地 点数据。
视觉模块22可以通过状态或数据消息向至少调整器110或视觉质 量估计器20指示下述中的一个或多个：(1)视觉模块22是否被禁用， (2)在一个或多个评价间隔，视觉导出地点数据是否不可用，(3)视 觉导出地点数据是否不稳定或毁坏，以及(4)图像数据是否经历不满 足阈值性能/可靠性水平的可靠性水平、性能水平或精确度水平。
在一个示例中，视觉模块22能够识别庄稼行地点，对于大豆，误 差小到1厘米，对于玉米，误差小到2.4厘米。
在一个说明性实施例中，视觉模块22输出下述格式的视觉导出地 点数据：
其中Eoff_vision为由视觉模块22估计的偏离轨道误 差，Ehead_vision为由视觉模块22估计的航向误差。
地点质量估计器24可包括下述装置中一个或多个：信号强度指示 器，其与地点确定接收器28相关联；位出错率(bit error rate)指 示器，其与地点确定接收器28相关联；另一个装置，用于测量信号质 量、出错率、信号强度，或者信号、信道或被传输用于地点确定的代 码的性能。此外，对于基于卫星的地点确定，地点质量估计器24可包 括一装置，用于确定地点确定接收器28是否接收到具有足够信号质量 的最小数目的卫星信号(例如，来自GPS的L1带上四个或更多个卫星 的信号)，以在评价间隔期间为车辆提供可靠的地点数据。
地点质量估计器24估计由地点确定接收器28输出的初步地点数 据的质量或地点质量数据(例如，Qgps)。地点质量估计器24可基于地 点确定接收器28接收的各个信号成分的信号强度指示器(或位出错 率)，估计该初步地点数据的质量。地点质量估计器24还可以将该质 量估计基于任意下述因素：(1)一区域内可用的卫星信号的数目， (2)地点确定接收器所获得或接收的具有足够信号质量(例如，信号 强度分布图)的卫星数目，以及(3)各个卫星信号是否具有可接受的 信号水平或可接受的位出错率(BER)或帧出错率(FER)。
在一个实施例中，不同信号强度范围与不同的相应质量水平相关 联。例如，最低信号强度范围与低质量相关联，中间信号强度范围与 中等质量相关联，且最高信号强度范围与最高质量相关联。倒过来， 最低位出错率范围与最高质量相关联，中间位出错率范围与中等质量 相关联，最高位出错率范围与最低质量水平相关联。
视觉质量估计器20估计由视觉模块22输出的视觉导出地点数据 的质量或视觉质量数据(例如，Qvision)。视觉质量估计器20可考虑一 系列时间间隔期间存在的照明，其中视觉模块22在所述时间间隔内运 行并采集相应图像。视觉质量估计器20可包括光电探测器、具有频率 选择透镜的光电探测器、具有相应频率选择透镜的一组光电探测器、 电荷耦合器件(CCD)、光度计、硫化镉电池等。此外，视觉质量估计 器30包括用于对图像收集时间加时间戳(time-stamping)的时钟或 计时器以及相应照明测量(例如，图像的亮度值)。如果照明在低亮度 范围，则该时间间隔的视觉质量低；如果照明在中间亮度范围，则该 时间间隔的视觉质量高；以及如果照明在高亮度范围，则该时间间隔 的视觉质量可以为中等、低或高，取决于在该高亮度范围内定义的子 范围。在一个示例中，前述的亮度范围对(versus)质量可以逐个光 频率或光颜色地应用。在另一个示例中，该亮度范围对质量可以不同 于可见光地应用于红外线范围频率和紫外范围频率。
该视觉质量估计可涉及处理图像时的置信度度量。如果期望特征 (例如，庄稼行)在一个或多个图像中是明显的，则视觉质量估计器 20指定高图像质量或高置信度水平给相应图像。倒过来，如果期望特 征在一个或多个图像中不明显(例如，由于缺少作物行)，则视觉质量 估计器20可以指定低图像质量或低置信度水平。在一个示例中，置信 度水平的确定是基于假设的偏转(yaw)/俯仰(pitch)对的各个列矢 量(例如视觉模块22的速度矢量)的平均强度的绝对差(SAD)的总 和。偏转可以定义为视觉模块22在x-y平面内的取向，俯仰可以定义 为视觉模块22在通常垂直于x-y平面的x-z平面内的取向。
如果视觉模块22在阈值最大时间内无法定位或参照图像内的参 考特征或参考标记，或者没有参照图像内的参考标记，则视觉模块22 可以改变视觉质量估计器20，这可能由质量退化指示器退化视觉导出 数据的质量。
一般而言，调整器110包括数据处理器、微控制器、微处理器、 数字信号处理器、嵌入式处理器、或者使用软件指令编程的任意其他 可编程(例如，现场可编程的)装置。在一个实施例中，调整器110 包括规则管理器。调整器110的规则管理器可以应用该初步地点数据 或者其衍生物(derivative)，作为相应时间间隔的误差控制信号，除 非该视觉质量数据超过最小阈值水平。不需要任何调整，除非该初步 地点数据和视觉导出地点数据的差值大于最大容差。视觉权重确定来 自视觉模块22的视觉导出地点数据(例如，yvision)的贡献占主导的程 度。地点权重确定来自地点模块22的地点数据的贡献占主导的程度。 混合器14基于该视觉权重和地点权重二者确定地点数据(例如，ygps) 和视觉导出地点数据(例如，yvision)对误差控制信号(例如，y)的相 对贡献。在一个实施例中，混合器14可包括数字滤波器、数字信号处 理器、或者其他数据处理器，其设置成应用下述的一个或多个：(1) 视觉导出地点数据权重，(2)地点数据权重，以及(3)在一评价时间 间隔，地点数据和视觉导出地点数据的相对贡献的混合比例表达。
误差控制信号代表测得的地点数据(由视觉模块22以及由地点模 块测量)与车辆真实地点之间的差(或误差)。这种误差控制信号输入 到车辆控制器25以导出补偿的控制信号。补偿的控制信号基于该误差 控制信号校正对转向系统27的管理和控制。转向系统27可包括用于 与车辆控制器25通信的电子接口。在一个实施例中，电子接口包括螺 线管控制(solenoid-controlled)液压转向系统或者用于控制液压 流体的其他电机装置。
在另一个实施例中，转向系统27包括转向系统单元(SSU)。SSU 可与航向对时间(heading versus time)要求相关联，以沿期望的 路线或者遵从期望的路径规划转向或指引车辆。航向与航向误差(例 如，表达为真实航向角与期望航向角之间的差)相关联。
SSU可以受控以补偿由视觉模块22或地点确定接收器28估计的 车辆位置的误差。例如，偏离轨道误差指示或代表车辆真实位置(例 如，在GPS坐标内)与车辆期望位置(例如，在GPS坐标内)的比较。 偏离轨道误差可用于使用补偿的航向调整车辆的运动。然而，如果在 任意时间点或一时间间隔不存在偏离轨道误差，则无补偿的航向就足 够。航向误差为真实车辆航向与由视觉模块22和地点确定接收器28 估计的车辆航向之间的差。
图2为使用视觉导出地点数据和地点数据引导车辆的方法的流程 图。图2的方法开始于步骤S200。
在步骤S200，地点确定接收器28或地点确定接收器28确定与之 相关联的车辆的初步地点数据。例如，地点确定接收器28(例如，具 有差分校正的GPS接收器)可以用于在一个或多个评价时间间隔或相 应时间确定车辆的坐标。此外，在步骤S200，地点确定接收器28可以 从该地点数据确定或导出地点误差信号(例如，ygps)。地点误差信号 可代表(1)在一期望时间，真实车辆地点和期望车辆地点之间的差； (2)在一期望时间或位置，真实车辆航向和期望车辆航向之间的差； (3)或者与该地点数据相关联的误差的其他表达。该地点误差信号可 以定义为矢量数据，但是无需定义为矢量数据。
在步骤S202，与车辆相关联的视觉模块22在一个或多个所述评 价时间间隔或相应时间，确定视觉导出地点数据。例如，视觉模块22 可收集图像并处理所收集的图像以确定视觉导出地点数据。在一个示 例中，视觉导出地点数据包括车辆的视觉导出位置数据，该数据通过 参照具有相应已知地点的一个或多个视觉参考标记或特征来确定车辆 坐标而获得。车辆的坐标可以依据全球坐标系统或局部坐标系统确 定。此外，在步骤S202中，地点确定接收器28可以从地点数据确定 或导出视觉误差信号(例如，yvision)。视觉误差信号代表(1)在期望时 间，真实车辆地点和期望车辆地点之间的差；(2)在期望时间或位置， 真实车辆航向和期望车辆航向之间的差；(3)或者与该视觉导出地点 数据相关联的误差的其他表达。
在步骤S204，视觉质量估计器20在评价时间窗口期间估计视觉 质量数据。视觉质量估计器20可包括亮度或光电探测器，以及用于对 亮度测量加时间戳的时间或时钟，以基于环境照明条件确定质量水 平。视觉质量估计器20还可包括处理图像以获得期望特征时的置信度 或可靠度的测量。处理图像时的置信度或可靠度尤其可取决于任何下 述因素：视觉模块22的技术规格(例如，分辨率)、识别对象(例如， 图像内的界标)的可靠性、估计所识别对象或其上点的地点的可靠性、 将图像坐标或局部坐标转换成全球坐标或视觉导出地点数据的可靠 性，所述视觉导出地点数据与来自地点确定接收器28的地点数据在空 间和时间上是一致的。
步骤S204可通过可以交替或累积应用的各种技术来实施。在第一 种技术中，视觉质量估计器20可估计视觉导出地点数据精确度的置信 度或可靠度。在第二种技术中，视觉质量估计器20首先估计视觉导出 地点数据精确度的置信度水平、可靠度水平或其他质量水平；其次， 视觉质量估计器20将质量水平转换为对应的语言值。
在步骤S206，如果视觉质量数据超过最小阈值水平，则调整器110 基于视觉导出地点数据将初步地点数据调整为修正的地点数据，使得 修正的地点数据与视觉导出地点数据配准或大致在时间上具有相同范 围。例如，调整器110调整任意时间间隙或评价时间窗口的初步地点 数据，其中视觉质量数据超过最小阈值水平。配准或大致在时间上具 有相同范围是指相同时间间隔的视觉导出地点数据和初步地点数据大 致在时间上具有相同范围或者相差最大容差(例如，其可表达为以秒 为单位(或其他单位)的地理坐标之间的距离、矢量、或者间距)。例 如，该最大容差可以设置为1厘米到10厘米范围内的特定距离(例如， 2.54厘米)。
在一个实施例中，调整器110基于初步地点数据或修正的地点数 据发送误差控制信号到车辆控制器25或者使误差控制信号对于车辆控 制器25是可用的。修正的地点数据或者从其导出的误差控制信号可以 逐个时间间隙地(例如，在应用时间窗口期间)被更新。每个时间间 隙在范围上与评价时间间隔相当。
通过使用具有验证的质量的视觉导出地点数据作为初步地点数据 的质量基准，调整器206可增强被提供用于导航或控制车辆的修正的 地点数据或位置信息的可靠度和精确度。尽管初步地点数据和视觉导 出质量数据在评价时间窗口期间被收集，但是步骤S206的到修正的地 点数据的调整可以在应用时间窗口期间被应用，该应用时间窗口落后 于评价时间窗口或者与评价时间间隔基本上在时间上具有相同范围。 无论本示例中如何定义评价时间窗口和应用时间窗口，在其他示例中， 调整器110可以提供预计控制数据、前馈控制数据、或者反馈控制数 据到车辆控制器25。
图3的方法类似于图2的方法，不同之处为，图3的方法包括附 加步骤S205并使用步骤S208替代步骤S206。使用相同的参考数字表 示相同的步骤或工序。
在步骤S205，地点质量估计器24在评价时间窗口期间评价地点 数据的地点质量数据。步骤S205可通过可以交替或累积应用的各种技 术来实施。在第一种技术中，地点质量估计器24可估计或测量信号质 量、出错率(例如，位出错率或帧出错率)、信号强度水平(例如，单 位为dBm)、或者其他质量水平。在第二种技术中，地点质量估计器24 首先估计或测量信号质量、出错率(例如，位出错率或帧出错率)、信 号强度水平(例如，单位为dBm)、或者其他质量水平；其次，地点质 量估计器24将信号质量数据分类为范围、语言描述、语言值或其它。
在步骤S208，如果视觉质量数据超过最小阈值水平以及如果地点 质量数据小于或等于触发阈值水平，则调整器110基于视觉导出地点 数据将初步地点数据调整为修正的地点数据，使得修正的地点数据与 视觉导出地点数据配准或大致在时间上具有相同范围。例如，当视觉 质量数据超过最小阈值水平以及其中地点质量数据小于或等于触发阈 值水平，调整器110可以调整任意时间间隙或评价时间窗口的初步地 点数据。例如触发阈值水平可以，在初步地点数据的可靠度或精确度 由于卫星可用性缺乏或者卫星信号或辅助传输(例如，地面参考)的 接收信号质量低(例如，低信号强度)而小于期望时，用于确定精确 初步地点数据。通过使用具有验证的质量的视觉导出地点数据作为初 步地点数据的质量基准，调整器206可增强被提供用于导航或控制车 辆的修正的地点数据或位置信息的可靠度和精确度。通过施加具有低 于标准(例如，触发阈值水平)的地点数据质量的附加条件，图3的 方法以比图2更为选择性的方式进行到修正的地点数据的调整。
图4的图表示出了地点数据的静态定位误差，例如差分GPS信号。 垂直轴表示距离误差(例如，米)，而水平轴表示时间(例如，秒)。
图5的图表示出了地点数据的动态定位误差，例如在以期望的更 新频率或速率“调谐”之后的差分GPS信号(例如，地点数据)。垂直 轴表示距离误差(例如，米)，而水平轴表示时间(例如，秒)。图5 将无“调谐”的原始误差示为实心圆点，将“调谐”后的误差示为圆。 使用视觉导出地点数据以规则间隔(例如如图5所示，5秒间隔或 0.2Hz)调整地点数据，来获得该调谐。
已经描述了优选实施例，但显而易见的是，在不背离由所附权利 要求界定的本发明的范围的情况下可以进行各种改进。
视觉模块22可以与视觉质量估计器20相关联。地点确定接收器 28可以与地点质量估计器24相关联。调整器110可以与车辆控制器 25通信。而车辆控制器25又耦合到转向系统27。
地点确定接收器28可以包括具有差分校正的全球定位系统 (GPS)接收器(例如，GPS接收器以及用于接收由卫星或地面源发射 的差分校正信号的接收器)。地点确定接收器28提供车辆的地点数据 (例如，坐标)。地点确定接收器28可以向至少调整器110或地点质 量估计器24(例如，通过状态信号)指示一个或多个下述条件或状态： (1)地点确定接收器28禁用，(2)在一个或多个相应评价间隔，地 点数据不可用或毁坏，以及(3)在一个或多个评价间隔，地点数据的 估计精确度或可靠度低于最小阈值。该地点确定接收器28为车辆提供 非常适用于全球导航或全球路径规划的地点数据。
在一个说明性实施例中，地点确定接收器28输出下述格式的地点 数据：
其中Eoff_gps为由地点确定接收器28(例如，地点确 定接收器28)估计的偏离轨道误差(off-track error)，Ehead_gps为由 地点确定接收器28估计的航向(heading)误差。
视觉模块22可包括图像收集系统和图像处理系统。该图像收集系 统包括下述的一个或多个：(1)一个或多个单目成像系统，用于收集 一组图像(例如，具有不同聚焦设置或透镜调整的相同场景的多个图 像，或者不同视场(FOV)的多个图像)；(2)立体视觉系统(例如， 分开已知距离和方向的两个数字成像单元)，用于确定场景内对象上的 点相关的深度信息或三维坐标；(3)测距仪(例如激光测距仪)，用于 确定场景内对象上的点的距离测量或三维坐标；(4)光雷达系统或激 光雷达系统，用于检测场景内对象的速度、高度、方向或范围；(5) 扫描激光系统(例如，一种激光测量系统，其发射光脉冲，并基于该 脉冲发射和其反射的接收之间的传播时间而估计该激光测量系统与对 象之间的距离)，用于确定与场景内对象的距离；以及(6)成像系统， 通过光学微机电系统(MEMS)、自由空间光学MEMS、或者集成光学MEMS 收集图像。自由空间光学MEMS使用化合物半导体和具有一折射率范围 的材料操纵可见光、红外线、或者紫外光，而集成光学MEMS使用多晶 硅元件反射、衍射、调制或操纵可见光、红外线、或紫外光。MEMS可 以构造成可以依据各种半导体制造技术制造的开关矩阵、透镜、反射 镜、以及衍射光栅。图像处理系统收集的图像可以是例如彩色、单色、 黑白、或者灰阶图像。
视觉模块22或视觉导出地点数据可以支持与图像内对象特征的 地点相对应的位置数据(二维或三维坐标)的收集。视觉模块22非常 适用于使用(a)车辆周围环境的特征或局部特征、(b)与这种特征相 关联的位置数据或坐标、或者这二者，来促进车辆导航。局部特征可 包括下述的一个或多个：庄稼行地点、栅栏地点、建筑物地点、田地 边缘地点、边界地点、巨石地点、岩石地点(例如，大于最小阈值尺 寸或体积)、田埂和地沟、树地点、作物边缘地点、其他植被(例如草 皮)上的切割边缘、以及参考标记。局部特征的视觉导出地点数据或 者位置数据可以用于规则地(例如，周期性地)调谐来自地点确定接 收器28的初步地点数据。
在一个示例中，参考标记可以与高精度地点坐标相关联。此外， 其他局部特征可以与参考标记位置相关。当前车辆位置可以与参考标 记地点或局部特征的固定地点或车辆的地点相关。在一个实施例中， 视觉模块22可以使用坐标或、类似于或基本等效于坐标的数据格式、 或者地点确定接收器28的数据格式，表达关于车辆地点的视觉导出地 点数据。
视觉模块22可以通过状态或数据消息向至少调整器110或视觉质 量估计器20指示下述中的一个或多个：(1)视觉模块22是否被禁用， (2)在一个或多个评价间隔，视觉导出地点数据是否不可用，(3)视 觉导出地点数据是否不稳定或毁坏，以及(4)图像数据是否经历不满 足阈值性能/可靠性水平的可靠性水平、性能水平或精确度水平。
在一个示例中，视觉模块22能够识别庄稼行地点，对于大豆，误 差小到1厘米，对于玉米，误差小到2.4厘米。
在一个说明性实施例中，视觉模块22输出下述格式的视觉导出地 点数据：
其中Eoff_vision为由视觉模块22估计的偏离轨道误 差，Ehead_vision为由视觉模块22估计的航向误差。
地点质量估计器24可包括下述装置中一个或多个：信号强度指示 器，其与地点确定接收器28相关联；位出错率(bit error rate)指 示器，其与地点确定接收器28相关联；另一个装置，用于测量信号质 量、出错率、信号强度，或者信号、信道或被传输用于地点确定的代 码的性能。此外，对于基于卫星的地点确定，地点质量估计器24可包 括一装置，用于确定地点确定接收器28是否接收到具有足够信号质量 的最小数目的卫星信号(例如，来自GPS的L1带上四个或更多个卫星 的信号)，以在评价间隔期间为车辆提供可靠的地点数据。
地点质量估计器24估计由地点确定接收器28输出的初步地点数 据的质量或地点质量数据(例如，Qgps)。地点质量估计器24可基于地 点确定接收器28接收的各个信号成分的信号强度指示器(或位出错 率)，估计该初步地点数据的质量。地点质量估计器24还可以将该质 量估计基于任意下述因素：(1)一区域内可用的卫星信号的数目， (2)地点确定接收器所获得或接收的具有足够信号质量(例如，信号 强度分布图)的卫星数目，以及(3)各个卫星信号是否具有可接受的 信号水平或可接受的位出错率(BER)或帧出错率(FER)。
在一个实施例中，不同信号强度范围与不同的相应质量水平相关 联。例如，最低信号强度范围与低质量相关联，中间信号强度范围与 中等质量相关联，且最高信号强度范围与最高质量相关联。倒过来， 最低位出错率范围与最高质量相关联，中间位出错率范围与中等质量 相关联，最高位出错率范围与最低质量水平相关联。
视觉质量估计器20估计由视觉模块22输出的视觉导出地点数据 的质量或视觉质量数据(例如，Qvision)。视觉质量估计器20可考虑一 系列时间间隔期间存在的照明，其中视觉模块22在所述时间间隔内运 行并采集相应图像。视觉质量估计器20可包括光电探测器、具有频率 选择透镜的光电探测器、具有相应频率选择透镜的一组光电探测器、 电荷耦合器件(CCD)、光度计、硫化镉电池等。此外，视觉质量估计 器30包括用于对图像收集时间加时间戳(time-stamping)的时钟或 计时器以及相应照明测量(例如，图像的亮度值)。如果照明在低亮度 范围，则该时间间隔的视觉质量低；如果照明在中间亮度范围，则该 时间间隔的视觉质量高；以及如果照明在高亮度范围，则该时间间隔 的视觉质量可以为中等、低或高，取决于在该高亮度范围内定义的子 范围。在一个示例中，前述的亮度范围对(versus)质量可以逐个光 频率或光颜色地应用。在另一个示例中，该亮度范围对质量可以不同 于可见光地应用于红外线范围频率和紫外范围频率。
该视觉质量估计可涉及处理图像时的置信度度量。如果期望特征 (例如，庄稼行)在一个或多个图像中是明显的，则视觉质量估计器 20指定高图像质量或高置信度水平给相应图像。倒过来，如果期望特 征在一个或多个图像中不明显(例如，由于缺少作物行)，则视觉质量 估计器20可以指定低图像质量或低置信度水平。在一个示例中，置信 度水平的确定是基于假设的偏转(yaw)/俯仰(pitch)对的各个列矢 量(例如视觉模块22的速度矢量)的平均强度的绝对差(SAD)的总 和。偏转可以定义为视觉模块22在x-y平面内的取向，俯仰可以定义 为视觉模块22在通常垂直于x-y平面的x-z平面内的取向。
如果视觉模块22在阈值最大时间内无法定位或参照图像内的参 考特征或参考标记，或者没有参照图像内的参考标记，则视觉模块22 可以改变视觉质量估计器20，这可能由质量退化指示器退化视觉导出 数据的质量。
一般而言，调整器110包括数据处理器、微控制器、微处理器、 数字信号处理器、嵌入式处理器、或者使用软件指令编程的任意其他 可编程(例如，现场可编程的)装置。在一个实施例中，调整器110 包括规则管理器。调整器110的规则管理器可以应用该初步地点数据 或者其衍生物(derivative)，作为相应时间间隔的误差控制信号，除 非该视觉质量数据超过最小阈值水平。不需要任何调整，除非该初步 地点数据和视觉导出地点数据的差值大于最大容差。视觉权重确定来 自视觉模块22的视觉导出地点数据(例如，yvision)的贡献占主导的程 度。地点权重确定来自地点模块22的地点数据的贡献占主导的程度。 混合器14基于该视觉权重和地点权重二者确定地点数据(例如，ygps) 和视觉导出地点数据(例如，yvision)对误差控制信号(例如，y)的相 对贡献。在一个实施例中，混合器14可包括数字滤波器、数字信号处 理器、或者其他数据处理器，其设置成应用下述的一个或多个：(1) 视觉导出地点数据权重，(2)地点数据权重，以及(3)在一评价时间 间隔，地点数据和视觉导出地点数据的相对贡献的混合比例表达。
误差控制信号代表测得的地点数据(由视觉模块22以及由地点模 块测量)与车辆真实地点之间的差(或误差)。这种误差控制信号输入 到车辆控制器25以导出补偿的控制信号。补偿的控制信号基于该误差 控制信号校正对转向系统27的管理和控制。转向系统27可包括用于 与车辆控制器25通信的电子接口。在一个实施例中，电子接口包括螺 线管控制(solenoid-controlled)液压转向系统或者用于控制液压 流体的其他电机装置。
在另一个实施例中，转向系统27包括转向系统单元(SSU)。SSU 可与航向对时间(heading versus time)要求相关联，以沿期望的 路线或者遵从期望的路径规划转向或指引车辆。航向与航向误差(例 如，表达为真实航向角与期望航向角之间的差)相关联。
SSU可以受控以补偿由视觉模块22或地点确定接收器28估计的 车辆位置的误差。例如，偏离轨道误差指示或代表车辆真实位置(例 如，在GPS坐标内)与车辆期望位置(例如，在GPS坐标内)的比较。 偏离轨道误差可用于使用补偿的航向调整车辆的运动。然而，如果在 任意时间点或一时间间隔不存在偏离轨道误差，则无补偿的航向就足 够。航向误差为真实车辆航向与由视觉模块22和地点确定接收器28 估计的车辆航向之间的差。
图2为使用视觉导出地点数据和地点数据引导车辆的方法的流程 图。图2的方法开始于步骤S200。
在步骤S200，地点确定接收器28或地点确定接收器28确定与之 相关联的车辆的初步地点数据。例如，地点确定接收器28(例如，具 有差分校正的GPS接收器)可以用于在一个或多个评价时间间隔或相 应时间确定车辆的坐标。此外，在步骤S200，地点确定接收器28可以 从该地点数据确定或导出地点误差信号(例如，ygps)。地点误差信号 可代表(1)在一期望时间，真实车辆地点和期望车辆地点之间的差； (2)在一期望时间或位置，真实车辆航向和期望车辆航向之间的差； (3)或者与该地点数据相关联的误差的其他表达。该地点误差信号可 以定义为矢量数据，但是无需定义为矢量数据。
在步骤S202，与车辆相关联的视觉模块22在一个或多个所述评 价时间间隔或相应时间，确定视觉导出地点数据。例如，视觉模块22 可收集图像并处理所收集的图像以确定视觉导出地点数据。在一个示 例中，视觉导出地点数据包括车辆的视觉导出位置数据，该数据通过 参照具有相应已知地点的一个或多个视觉参考标记或特征来确定车辆 坐标而获得。车辆的坐标可以依据全球坐标系统或局部坐标系统确 定。此外，在步骤S202中，地点确定接收器28可以从地点数据确定 或导出视觉误差信号(例如，yvision)。视觉误差信号代表(1)在期望时 间，真实车辆地点和期望车辆地点之间的差；(2)在期望时间或位置， 真实车辆航向和期望车辆航向之间的差；(3)或者与该视觉导出地点 数据相关联的误差的其他表达。
在步骤S204，视觉质量估计器20在评价时间窗口期间估计视觉 质量数据。视觉质量估计器20可包括亮度或光电探测器，以及用于对 亮度测量加时间戳的时间或时钟，以基于环境照明条件确定质量水 平。视觉质量估计器20还可包括处理图像以获得期望特征时的置信度 或可靠度的测量。处理图像时的置信度或可靠度尤其可取决于任何下 述因素：视觉模块22的技术规格(例如，分辨率)、识别对象(例如， 图像内的界标)的可靠性、估计所识别对象或其上点的地点的可靠性、 将图像坐标或局部坐标转换成全球坐标或视觉导出地点数据的可靠 性，所述视觉导出地点数据与来自地点确定接收器28的地点数据在空 间和时间上是一致的。
步骤S204可通过可以交替或累积应用的各种技术来实施。在第一 种技术中，视觉质量估计器20可估计视觉导出地点数据精确度的置信 度或可靠度。在第二种技术中，视觉质量估计器20首先估计视觉导出 地点数据精确度的置信度水平、可靠度水平或其他质量水平；其次， 视觉质量估计器20将质量水平转换为对应的语言值。
在步骤S206，如果视觉质量数据超过最小阈值水平，则调整器110 基于视觉导出地点数据将初步地点数据调整为修正的地点数据，使得 修正的地点数据与视觉导出地点数据配准或大致在时间上具有相同范 围。例如，调整器110调整任意时间间隙或评价时间窗口的初步地点 数据，其中视觉质量数据超过最小阈值水平。配准或大致在时间上具 有相同范围是指相同时间间隔的视觉导出地点数据和初步地点数据大 致在时间上具有相同范围或者相差最大容差(例如，其可表达为以秒 为单位(或其他单位)的地理坐标之间的距离、矢量、或者间距)。例 如，该最大容差可以设置为1厘米到10厘米范围内的特定距离(例如， 2.54厘米)。
在一个实施例中，调整器110基于初步地点数据或修正的地点数 据发送误差控制信号到车辆控制器25或者使误差控制信号对于车辆控 制器25是可用的。修正的地点数据或者从其导出的误差控制信号可以 逐个时间间隙地(例如，在应用时间窗口期间)被更新。每个时间间 隙在范围上与评价时间间隔相当。
通过使用具有验证的质量的视觉导出地点数据作为初步地点数据 的质量基准，调整器206可增强被提供用于导航或控制车辆的修正的 地点数据或位置信息的可靠度和精确度。尽管初步地点数据和视觉导 出质量数据在评价时间窗口期间被收集，但是步骤S206的到修正的地 点数据的调整可以在应用时间窗口期间被应用，该应用时间窗口落后 于评价时间窗口或者与评价时间间隔基本上在时间上具有相同范围。 无论本示例中如何定义评价时间窗口和应用时间窗口，在其他示例中， 调整器110可以提供预计控制数据、前馈控制数据、或者反馈控制数 据到车辆控制器25。
图3的方法类似于图2的方法，不同之处为，图3的方法包括附 加步骤S205并使用步骤S208替代步骤S206。使用相同的参考数字表 示相同的步骤或工序。
在步骤S205，地点质量估计器24在评价时间窗口期间评价地点 数据的地点质量数据。步骤S205可通过可以交替或累积应用的各种技 术来实施。在第一种技术中，地点质量估计器24可估计或测量信号质 量、出错率(例如，位出错率或帧出错率)、信号强度水平(例如，单 位为dBm)、或者其他质量水平。在第二种技术中，地点质量估计器24 首先估计或测量信号质量、出错率(例如，位出错率或帧出错率)、信 号强度水平(例如，单位为dBm)、或者其他质量水平；其次，地点质 量估计器24将信号质量数据分类为范围、语言描述、语言值或其它。
在步骤S208，如果视觉质量数据超过最小阈值水平以及如果地点 质量数据小于或等于触发阈值水平，则调整器110基于视觉导出地点 数据将初步地点数据调整为修正的地点数据，使得修正的地点数据与 视觉导出地点数据配准或大致在时间上具有相同范围。例如，当视觉 质量数据超过最小阈值水平以及其中地点质量数据小于或等于触发阈 值水平，调整器110可以调整任意时间间隙或评价时间窗口的初步地 点数据。例如触发阈值水平可以，在初步地点数据的可靠度或精确度 由于卫星可用性缺乏或者卫星信号或辅助传输(例如，地面参考)的 接收信号质量低(例如，低信号强度)而小于期望时，用于确定精确 初步地点数据。通过使用具有验证的质量的视觉导出地点数据作为初 步地点数据的质量基准，调整器206可增强被提供用于导航或控制车 辆的修正的地点数据或位置信息的可靠度和精确度。通过施加具有低 于标准(例如，触发阈值水平)的地点数据质量的附加条件，图3的 方法以比图2更为选择性的方式进行到修正的地点数据的调整。
图4的图表示出了地点数据的静态定位误差，例如差分GPS信号。 垂直轴表示距离误差(例如，米)，而水平轴表示时间(例如，秒)。
图5的图表示出了地点数据的动态定位误差，例如在以期望的更 新频率或速率“调谐”之后的差分GPS信号(例如，地点数据)。垂直 轴表示距离误差(例如，米)，而水平轴表示时间(例如，秒)。图5 将无“调谐”的原始误差示为实心圆点，将“调谐”后的误差示为圆。 使用视觉导出地点数据以规则间隔(例如如图5所示，5秒间隔或 0.2Hz)调整地点数据，来获得该调谐。
已经描述了优选实施例，但显而易见的是，在不背离由所附权利 要求界定的本发明的范围的情况下可以进行各种改进。