广域航空相机系统转让专利

申请号 : CN201580037491.X

文献号 : CN106662804B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 保罗·拉普斯顿托德·威廉·勒普顿马克·哈罗德·塔林顿大卫·阿诺德·布利兹佐尔坦·托特安德鲁·米林

申请人 : 近地图澳大利亚控股有限公司

摘要 :

一种用于捕获航空图像的系统,系统包括至少一个可操控的细节相机模块,可操控的细节相机模块包括相机和在相机模块的光路中的光束操控机构,借此相机的指向被时分复用以提供更广的有效视场。系统还包括至少一个全景相机,全景相机的焦距比细节相机的焦距短。

权利要求 :

1.一种用于捕获航空图像的系统,所述系统包括:

两个可操控的细节相机模块,每个可操控的细节相机模块包括细节相机和第一光束操控机构,所述细节相机的指向通过所述第一光束操控机构被时分复用以扫出沿着操控轴的更广的有效视场,所述第一光束操控机构包括相对于所述每个可操控的细节相机模块的光轴倾斜的第一可操控的反射镜,所述第一可操控的反射镜被配置为围绕所述每个可操控的细节相机模块的光轴自旋以实现光束操控,所述两个可操控的细节相机模块的所述操控轴在角度上分布成彼此分隔90度,且与飞行方向成45度角,每个细节相机模块被配置为扫出在极限右倾斜角和极限左倾斜角之间的视场。

2.根据权利要求1所述的系统,其中,所述系统在相机孔上方能够被附接到航空器的地板和航空器载有的舱的地板中的至少一个,以通过所述相机孔给所述细节相机提供在所述航空器下方的地面的视图。

3.根据权利要求1所述的系统,所述系统包括至少一个全景相机,所述至少一个全景相机的焦距比每个细节相机的焦距短。

4.根据权利要求1所述的系统,其中,在每个可操控的细节相机模块内,所述细节相机具有选自包括以下项的组的镜头:屈光的镜头、反射镜头和折反射镜头。

5.根据权利要求1所述的系统,其中,在每个可操控的细节相机模块内,在所述细节相机的曝光时段期间,所述第一可操控的反射镜是静止的。

6.根据权利要求1所述的系统,其中,在每个可操控的细节相机模块内,所述第一可操控的反射镜在所述细节相机的曝光时段期间具有非零的角速度,且每个可操控的细节相机模块包括第二可操控的反射镜,所述第二可操控的反射镜被配置为在所述曝光时段期间矫正所述第一可操控的反射镜的角速度对所述细节相机的影响,以确保在所述曝光时段期间所述细节相机指向一致的方向。

7.根据权利要求6所述的系统,其中,所述第二可操控的反射镜的角速度是正弦曲线的,以及在所述曝光时段期间,所述第二可操控的反射镜的平均角速度等于所述第一可操控的反射镜的平均角速度。

8.根据权利要求7所述的系统,其中,所述第一可操控的反射镜的角速度在所述曝光时段期间是恒定的,且所述第二可操控的反射镜的角速度在所述曝光时段期间处于最大值。

9.根据权利要求6所述的系统,其中,所述第二可操控的反射镜的角速度在所述曝光时段期间是恒定的。

10.根据权利要求6所述的系统,其中,在所述曝光时段期间,所述第一可操控的反射镜的角速度是正弦调制的恒定量,以降低所述第一可操控的反射镜的平均角速度。

11.根据权利要求1所述的系统,还包括至少一个角度运动补偿机构,所述至少一个角度运动补偿机构被配置为矫正航空器的角度运动对每个细节相机的影响,以确保所述细节相机随着时间推移指向一致的方向。

12.根据权利要求11所述的系统,其中,角度运动补偿通过可操控的反射镜而被提供。

13.根据权利要求1所述的系统,还包括至少一个前向运动补偿机构,所述至少一个前向运动补偿机构被配置为矫正航空器的前向运动对每个细节相机的影响,以减少在被所述细节相机捕获的照片中的运动模糊。

14.根据权利要求13所述的系统,其中,前向运动补偿通过可操控的反射镜而被提供。

15.根据权利要求1所述的系统,其中,所述飞行方向与基本方向成45度角,所述基本方向是北、南、东或西。

16.一种用于捕获航空图像的方法,包括:

时分复用两个可操控的细节相机模块的指向以扫出沿着操控轴的更广的有效视场,每个可操控的细节相机模块包括细节相机和第一光束操控机构,所述第一光束操控机构包括相对于所述每个可操控的细节相机模块的光轴倾斜的第一可操控的反射镜,所述时分复用包括使所述第一可操控的反射镜围绕所述每个可操控的细节相机模块的光轴自旋以实现光束操控,所述两个可操控的细节相机模块的所述操控轴在角度上分布成彼此分隔90度,且与飞行方向成45度角,每个可操控的细节相机模块被配置为扫出在极限右倾斜角和极限左倾斜角之间的视场,其中,所述飞行方向与基本方向成45度角,所述基本方向是北、南、东或西。

说明书 :

广域航空相机系统

技术领域

[0001] 本发明涉及高效航空相机系统以及用于根据航空照片创建正射镶嵌图(orthomosaics)的高效方法。

背景技术

[0002] 正射影像的精确的地理参考的镶嵌,称之为正射镶嵌图,正代替传统的图片地图而变得越来越普遍,因为它们能够根据航空照片自动地被创建,且因为它们显示了地面上实际上有用的细节。
[0003] 根据航空照片进行的精确的正射镶嵌图的创建在文献中进行了很好的描述。例如,参见第四版Elements of Photogrammetry with Application in GIS(Wolf等人的)(McGraw-Hill 2014)和第六版Manual ofPhotogrammetry(美国摄影测量及遥感学会(ASPRS)2013)。
[0004] 正射镶嵌图的创建要求同时捕获感兴趣的区域的重叠的航空照片,以确保对感兴趣的区域的完整的覆盖以及确保在图像中存在足够的冗余从而允许精确的光束法平差(bundle adjustment)、正射校正和照片的对齐。
[0005] 光束法平差是通过其对地面点和相机姿态的冗余估计进行细化的过程。现代光束法平差在视觉算法方面在(Triggs等人的)“Bundle Adjustment—A Modern Synthesis”中进行了详细描述:理论与实践(Theory and Practice)(计算机科学讲义(Lecture Notes in Computer Science),卷1883,Springer2000)。
[0006] 光束法平差可以关于手动识别的地面点的位置进行操作,或越来越关于自动在重叠的照片之间匹配的自动识别的地面特征的位置进行操作。
[0007] 重叠的航空照片一般是通过在感兴趣的区域上方以蜿蜒的模式导航勘测航空器来进行捕获的。勘测航空器载有航空相机系统,并且蜿蜒飞行模式确保了由相机系统捕获的照片沿着在飞行模式内的飞行线路以及在邻近的飞行线路之间重叠。
[0008] 用于精确光束法平差的足够的冗余度要求选择至少60%的纵向(向前)重叠(即,在沿着飞行线路的连续的照片之间)和至少40%的横向(侧面)重叠(即,在关于相邻的飞行线路的照片之间)。这通常被称之为60/40重叠。
[0009] 选定的重叠确定所需的飞行时间和捕获的(以及后续被处理的)照片的数量。因而,在飞行时间和处理时间方面,高度重叠是昂贵的,且重叠的实际选择代表了在成本和正射镶嵌图的精度之间的折衷。
[0010] 多分辨率相机系统的使用提供了一种强大的方式来降低重叠而不过分折衷精度。多分辨率航空照片的捕获和处理在美国专利号8,497,905和8,675,068(Nixon)中进行了描述,这两个专利的内容通过交叉引用并入本文。多分辨率的照片集允许正射镶嵌图的精度根据在低分辨率全景照片之间的重叠而推导出,但是正射镶嵌图的细节却是根据高分辨率细节照片推导出的。
[0011] 美国专利号8,497,905和8,675,068(Nixon)描述的是可以附接到小型航空器的外部相机舱(external camera pod)。外部相机舱有两个关键的缺点:舱是高度专用的航空器的,且在舱内的空间是受约束的。专用的航空器的舱限制了对航空器的选择,因而限制了对诸如高度范围的操作参数,而且,反过来,需要大量的设计、测试和论证以努力适应不同的航空器。舱内受约束的空间限制了相机透镜的尺寸因而限制了相机透镜的焦距,从而限制了用于特定目标图像分辨率的操作高度的范围。

发明内容

[0012] 在第一方面,本发明提供了一种用于捕获航空图像的系统,该系统包括至少一个可操控的细节相机模块,该可操控的细节相机模块包括细节相机和在所述相机模块的光路中的第一光束操控机构,借此所述相机的指向被时分复用以提供更广的有效视场。
[0013] 所述第一光束操控机构可包括相对于所述细节相机模块的光轴倾斜的第一可操控的反射镜,所述第一可操控的反射镜适于围绕所述光轴自旋以实现光束操控。
[0014] 所述系统可在相机孔上方能够被附接到航空器的地板和航空器载有的舱的地板中的至少一个,从而通过所述相机孔给所述至少一个细节相机提供在所述航空器下方的地面的视图。
[0015] 所述系统可以包括至少一个全景相机,所述全景相机的焦距比所述细节相机的焦距短。
[0016] 细节相机可以具有选自包括以下项的组的镜头:屈光的镜头、反射镜头和折反射镜头。
[0017] 在所述细节相机的曝光时段期间,所述第一可操控的反射镜可以是静止的。
[0018] 所述第一可操控的反射镜在所述细节相机的曝光时段期间可以具有非零的角速度,且所述可操控的相机模块可以包括在所述光路中的第二可操控的反射镜,所述第二可操控的反射镜被配置为矫正在所述曝光时段期间所述第一可操控的反射镜的角速度对所述细节相机的影响,从而确保了在所述曝光时段期间所述细节相机指向一致的方向。
[0019] 所述第二可操控的反射镜的角速度可以正弦曲线的,以及所述第二可操控的反射镜的平均角速度可以在所述曝光时段期间等于所述第一可操控的反射镜的平均角速度。
[0020] 第一可操控的反射镜的角速度在所述曝光时段期间可以是恒定的,且第二可操控的反射镜的角速度在所述曝光时段期间可以为最大值。
[0021] 第二可操控的反射镜的角速度在所述曝光时段期间可以是恒定的。
[0022] 第一可操控的反射镜的角速度可以是正弦调制的恒定量,从而降低在所述曝光时段期间的第一可操控的反射镜的平均角速度。
[0023] 所述系统可以包括至少一个角度运动补偿(AMC)单元,所述至少一个AMC单元被配置为矫正所述航空器的角度运动对所述细节相机的影响,从而确保所述细节相机随着时间推移指向一个一致的方向。
[0024] AMC可以通过在所述光路中的可操控的反射镜而被提供。
[0025] 所述系统可以包括至少一个前向运动补偿(FMC)机构,所述至少一个FMC机构被配置为矫正所述航空器的前向运动对所述细节相机的影响,从而减少在被所述细节相机捕获的照片中的运动模糊。
[0026] FMC可以通过在所述光路中的可操控的反射镜而被提供。
[0027] 所述系统可以包括多个可操控的细节相机模块。
[0028] 可操控的细节相机模块的数量可以是两个,且所述可操控的相机模块的操控轴可以在角度上分布成大约分隔90度,且至少一个操控轴可以与飞行方向成大约45度角。
[0029] 可操控的细节相机模块的数量可以是M个,且所述可操控的相机模块的操控轴可以间隔为大约分隔180/M度,且至少一个操控轴可以与飞行方向成大约90/M度角。
[0030] 细节相机模块可以包括第二光束操控机构,所述第二光束操控机构包括相对于所述细节相机模块的光轴倾斜的第二可操控的反射镜,所述第二可操控的反射镜适于围绕所述光轴自旋以实现光束操控,所述第一光束操控机构和所述第二光束操控机构基本上在水平面上彼此成直角,所述相机模块包括用于在所述第一光束操控机构和所述第二光束操控机构之间切换所述细节相机的视场的机构。
[0031] 所述切换机构可以是可操控的反射镜。

附图说明

[0032] 图1示出的是V5-300 HyperCamera单元的前视图,即,面朝向航空器的前部。
[0033] 图2示出的是相机单元的后视图。
[0034] 图3示出的是相机单元的顶视图。
[0035] 图4示出的是相机单元的底部视图。
[0036] 图5示出的是相机单元的分解视图。
[0037] 图6示出的是相机的分解视图和相机单元的中心支撑,以及每个相机的视场。
[0038] 图7示出的是相机单元的下方,以及其穿过航空器相机孔的孔径的组合的视场。
[0039] 图8示出的是相机单元的视场以及其五个重叠细节视场。
[0040] 图9示出的是安装在航空器地板上的座椅轨道上的HyperCamera的接装板。
[0041] 图10示出的是相机单元、接装板和航空器地板上的座椅轨道的分解视图。
[0042] 图11示出的是相机的分解视图以及广角形式的相机单元的中心支撑。
[0043] 图12示出的是V5-180 HyperCamera单元的全景视场以及广角形式的相机单元的五个重叠的细节视场。
[0044] 图13示出的是装载在Cessna 208航空器中的HyperCamera的平面视图。
[0045] 图14示出的是装载在Cessna 208航空器中的V5-300 HyperCamera的详细平面视图。
[0046] 图15示出的是载有V5-300 HyperCamera的Cessna 208航空器前视图以及作为结果的全景和聚合的细节视场。
[0047] 图16示出的是载有V5-300 HyperCamera的Cessna 208航空器侧视图以及作为结果的全景和聚合的细节视场。
[0048] 图17示出的是三个连续的拍摄的重叠视场。
[0049] 图18示出的是在相邻的飞行路线中的拍摄的重叠视场。
[0050] 图19示出的是沿着三个相邻的飞行线路的连续的拍摄的重叠的聚合的细节视场。
[0051] 图20示出的是用于HyperCamera的电源和控制系统的框图。
[0052] 图21示出的是用于根据多分辨率HyperCamera照片有效创建正射镶嵌图的摄影测量过程。
[0053] 图22示出的是根据高度和在100mm与600mm之间的相机焦距的地面采样距离(GSD)的表格。
[0054] 图23示出的是根据高度和在700mm与1200mm之间的相机焦距的地面采样距离(GSD)的表格。
[0055] 图24A、24B和24C分别示出的是V5-300、V10-600和V15-900 HyperCamera在12,000英尺的高度的全景视场和重叠的细节视场。
[0056] 图25A、25B和25C分别示出的是V5-300、V10-600和V15-900 HyperCamera在12,000英尺的高度的三个连续的拍摄的重叠的视场。
[0057] 图26A、26B和26C分别示出的是V5-300、V10-600和V15-900 HyperCamera在12,000英尺的高度的相邻的飞行线路中的拍摄的重叠的视场。
[0058] 图27示出的是载有包含两个V5-600 HyperCamera单元的V10-600 HyperCamera的Cessna 208航空器的前视图,以及作为结果的全景和聚合的细节视场。
[0059] 图28示出的是载有包含装载在航空器座舱中的两个V5-600 HyperCamera单元的V10-600 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景和聚合的细节视场。
[0060] 图29示出的是载有包含装载在标准Cessna 208的腹部安装的货舱中的两个V5-600 HyperCamera单元的V10-600 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景和聚合的细节视场。
[0061] 图30示出的是载有包含三个V5-900相机单元的V15-900 HyperCamera的Cessna 208航空器的前视图,以及作为结果的全景和聚合的细节视场。虚线示出的是在相机单元的视场之间的划分。
[0062] 图31示出的是载有包含三个V5-900相机单元的V15-900 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景和聚合的细节视场。
[0063] 图32示出的是载有包含装载在标准Cessna 208的腹部安装的货舱中的三个V5-900相机单元的V15-900 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景视场和每个相机单元的聚合的细节视场。
[0064] 图33A、33B和33C分别示出的是来自V5-300、V10-600和V15-900 HyperCamera在24,000英尺的恒定飞行高度的两个相邻的飞行线路的两个重叠的覆盖区域。附图中虚线网格具有1km间隔。
[0065] 图34A、34B和34C分别示出的是来自V5-300、V10-600和V15-900 HyperCamera在36,000英尺的恒定飞行高度的两个相邻的飞行线路的两个重叠的覆盖区域。附图中虚线网格具有1km间隔。
[0066] 图35A和图35B分别示出的是载有装载在航空器座舱中的五个HyperCamera的Cessna 208航空器的前视图和侧视图:垂直V10-600、右斜R10-600、左斜L10-600、前斜F10-600和后斜B10-600,以及作为结果的全景视场和每个的聚合的细节视场。
[0067] 图36示出的是载有装载在标准Cessna  208的腹部安装的货舱中的五个HyperCamera的Cessna 208航空器的侧视图:垂直V10-600、右斜R10-600、左斜L10-600、前斜F10-600和后斜B10-600,以及作为结果的全景视场和每个的聚合的细节视场。
[0068] 图37示出的是具有相机的可选的布置的相机单元的底部视图。
[0069] 图38示出的是被实施为相机阵列的相机单元以及其相应的光轴。
[0070] 图39示出的是通过可操控的反射镜而被时分复用以产生多个光路的单个相机的相机单元。
[0071] 图40示出的是通过可操控的反射镜而被时分复用以产生多个光路的单个相机的相机单元的可选配置。
[0072] 图41示出的是通过可操控的反射镜而被时分复用以产生多个光路的单个相机的相机单元,其中可操控的反射镜用于角运动补偿(AMC)。
[0073] 图42示出的是涉及相机的视场和分辨率的计算的示意图和方程。
[0074] 图43示出的是涉及相机阵列的视场的计算的示意图和方程。
[0075] 图44示出的是涉及倾斜的相机的分辨率的计算的示意图和方程。
[0076] 图45示出的是可操控的相机模块。
[0077] 图46A示出的是可操控的相机模块,且其反射镜被定位成用于以垂直视角成像。
[0078] 图46B示出的是可操控的相机模块,且其反射镜被定位成用于以倾斜视角成像。
[0079] 图47示出的是包括两个半视场可操控的细节相机模块和两个固定的全景相机的WS-300 HyperCamera单元。
[0080] 图48A示出的是在16,000英尺操作的WS-300相机单元的广角视场的透视图和平面图。
[0081] 图48B示出的是在28,000英尺操作的WS-600相机单元的广角视场的透视图和平面图。
[0082] 图49A示出的是全视场可操控的细节相机模块的示意平面视图。
[0083] 图49B示出的是包括一对半视场可操控的细节相机模块的全视场可操控的细节相机模块的示意平面视图。
[0084] 图49C示出的是全视场可操控的全景相机模块的示意平面视图。
[0085] 图49D示出的是包括一对半视场可操控的细节相机模块和两个全景相机的相机单元的示意平面视图。
[0086] 图49E示出的是包括全视场可操控的细节相机模块和两个全景相机的相机单元的示意平面视图。
[0087] 图50A示出的是包括全视场可操控的细节相机模块和全视场可操控的全景相机模块的相机单元的示意平面视图。
[0088] 图50B示出的是一组垂直的和四路倾斜的全景和细节视场的平面视图。
[0089] 图51A示出的是广角相机单元的视场透视图,其中包括垂直的、倾斜的和间隙的视场。
[0090] 图51B示出的是在28,000英尺操作的WS-600相机单元的连续广角视场的透视图和平面图。
[0091] 图52A示出的是三个相邻飞行线路的广角相机单元的重叠的横向视场。
[0092] 图52B示出的是三个相邻飞行线路的广角相机单元的重叠的横向视场,示出了各个相机场。
[0093] 图53A示出的是在28,000英尺操作的具有全景相机和细节相机的WS-600相机单元的视场的平面视图。
[0094] 图53B示出的是在28,000英尺操作的仅具有细节相机的WS-600相机单元的视场的平面视图。
[0095] 图53C示出的是包括两个全视场可操控的细节相机模块的相机单元。
[0096] 图53D示出的是在28,000英尺操作的双视场WS-600相机单元的视场的平面视图。
[0097] 图54示出的是包括以X构型布置的四个半视场可操控的细节相机模块和两个固定的全景相机的WS-300 HyperCamera单元。
[0098] 图55A示出的是在16,000英尺操作的X构型的WS-300相机单元的视场的平面视图。
[0099] 图55B示出的是在28,000英尺操作的X构型的WS-600相机单元的视场的平面视图。
[0100] 图56A示出的是以X构型布置的两对半视场可操控的细节相机模块的相机单元。
[0101] 图56B示出的是以正交布置的两个全视场可操控的细节相机模块的相机单元。
[0102] 图57A示出的是在28,000英尺操作的X+1配置的WS-600相机单元的视场的平面视图。
[0103] 图57B示出的是包括以X构型布置的两对半视场可操控的细节相机模块以及全视场可操控的细节相机模块的相机单元。
[0104] 图58A示出的是在28,000英尺操作的X构型的WS-600相机单元的三个连续拍摄的平面视图。
[0105] 图58B示出的是在28,000英尺操作的X构型的WS-600相机单元的从两个相邻的飞行线路拍摄的平面视图。
[0106] 图59示出的是关于航空相机的纵向视场和拍摄速率的计算的示意图和方程。
[0107] 图60示出的是关于航空相机系统的横向视场和面积捕获速率的计算的示意图和方程。
[0108] 图61示出的是关于视场旋转对航空相机系统拍摄、框架和面积捕获速率的影响的示意图和方程。
[0109] 图62示出的是具有可操控的相机模块的相机单元的电子和机械的框图。
[0110] 图63示出的是可操控的相机模块的电子和机械的框图。
[0111] 图64示出的是关于36Mpixel的X构型可操控的相机单元和7cm GSD的根据高度、航空器速度和可用的视场角度的拍摄速率、帧率和面积捕获速率的表格。
[0112] 图65示出的是关于25Mpixel的X构型可操控的相机单元和5cm GSD的根据高度、航空器速度和可用的视场角度的拍摄速率、帧率和面积捕获速率的表格。
[0113] 图66示出的是关于12Mpixel的X构型可操控的相机单元和5cm GSD的根据高度、航空器速度和可用的视场角度的拍摄速率、帧率和面积捕获速率的表格。
[0114] 图67A示出的是在28,000英尺操作的三视场的WS-600相机单元的视场的平面视图。
[0115] 图67B示出的是在28,000英尺操作的四视场的WS-600相机单元的视场的平面视图。
[0116] 图68A示出的是在28,000英尺操作的五视场的WS-600相机单元的视场的平面视图。
[0117] 图68B示出的是在28,000英尺操作的单视场的WS-600相机单元的交错的视场的平面视图。
[0118] 图69示出的是待矫正的系统的运动矢量的平面视图。
[0119] 图70示出的是作为关于当运动补偿反射镜用于矫正多路复用的反射镜的运动时的多路复用的反射镜和运动补偿反射镜的时间的函数的角度位置的曲线图。
[0120] 图71示出的是周期地减慢反射镜的正弦调制的多路复用的反射镜的线性运动的曲线图。
[0121] 图72A示出的是可选的可操控的相机模块,且其反射镜被定位成用于以垂直视角成像。
[0122] 图72B示出的是可操控的相机模块,且其反射镜被定位成用于以倾斜视角成像。
[0123] 图73A示出的是可操控的相机模块的平面视图,其中其反射镜被定位成用于以倾斜视角成像。
[0124] 图73B示出的是可操控的相机模块的平面视图,其中其反射镜被定位成用于以倾斜视角成像。
[0125] 图74示出的是包括两个全视场的可操控的细节相机模块和一个固定的全景相机的WS-300 HyperCamera单元的平面视图。
[0126] 图75A示出的是使用可选的可操控的相机模块的并在28,000英尺操作的X构型的WS-600相机单元的视场的平面视图。
[0127] 图75B示出的是使用可选的可操控的相机模块的并在28,000英尺操作的X构型的WS-600相机单元的三个连续拍摄的平面视图。
[0128] 图76A示出的是双视场可操控的相机模块。
[0129] 图76B示出的是来自图76A的反射镜布置的细节。
[0130] 图77示出的是图76A中包括双视场可操控的细节相机模块和一个固定的全景相机的WS-300 HyperCamera单元的平面视图。
[0131] 图78A示出的是使用可选的可操控的相机模块的并在28,000英尺操作的四视场的WS-600相机单元的视场的平面视图。
[0132] 图78B示出的是使用可选的可操控的相机模块的并在28,000英尺操作的五视场的WS-600相机单元的视场的平面视图。
[0133] 附图标记列表:
[0134] 100 相机单元。
[0135] 110 细节相机体。
[0136] 112 全景相机体。
[0137] 114 细节相机镜头。
[0138] 116 全景相机镜头。
[0139] 118 专用(如NIR)相机镜头。
[0140] 120 框架。
[0141] 122 框架中心支撑。
[0142] 124 框架侧支撑。
[0143] 126 框架后部支撑。
[0144] 128 框架前部支撑。
[0145] 130 挂接点块。
[0146] 132 挂接点。
[0147] 134 安装螺栓(mount bolt)。
[0148] 140 用于细节相机的底座。
[0149] 142 用于全景相机的底座。
[0150] 144 用于细节相机镜头的夹具。
[0151] 146 用于全景相机镜头的夹具。
[0152] 150 电源及控制分配箱。
[0153] 160 细节视场。
[0154] 162 横向细节视场。
[0155] 164 纵向细节视场。
[0156] 170 全景视场。
[0157] 172 横向全景视场。
[0158] 174 纵向全景视场。
[0159] 180 聚合细节视场。
[0160] 182 横向聚合细节视场。
[0161] 190 聚合全景视场
[0162] 192 横向聚合全景视场
[0163] 194 正常的30度视场
[0164] 196 一km网格
[0165] 200 接装板。
[0166] 202 座椅轨道紧固件。
[0167] 210 航空器地板。
[0168] 212 相机孔。
[0169] 214 座椅轨道。
[0170] 216 接装板孔径。
[0171] 220 飞行方向。
[0172] 222 飞行路径。
[0173] 224 拍摄位置
[0174] 226 飞行线路
[0175] 230 航空勘测航空器。
[0176] 232 航空勘测航空器腹部安装的舱
[0177] 250 视场角度(β)。
[0178] 252 焦距(f)。
[0179] 254 在地面水平以上的高度(a)。
[0180] 256 图像传感器宽度(s)。
[0181] 258 幅宽(w)。
[0182] 260 图像传感器像素间距(p)。
[0183] 262 地面采样距离(GSD)(g)。
[0184] 270 聚合的视场角度(γ)。
[0185] 272 角度相机重叠(ω)。
[0186] 278 总幅宽(w(N))。
[0187] 280 相机倾斜角度(θ)。
[0188] 282 倾斜的相机GSD(g(θ))。
[0189] 284 倾斜的相机视场。
[0190] 286 具有倾斜的焦平面GSD(h(θ))的倾斜的相机。
[0191] 288 具有倾斜的焦平面视场的倾斜的相机。
[0192] 300 计算机。
[0193] 302 飞行员显示器。
[0194] 304 惯性测量单元(IMU)。
[0195] 306 全球导航卫星系统(GNSS)接收器。
[0196] 308 相机接口。
[0197] 310 相机控制单元(CCU)。
[0198] 320 电池单元。
[0199] 322 航空器辅助动力。
[0200] 324 地面动力装置(GPU)。
[0201] 326 DC-DC转换器
[0202] 330 角运动补偿(AMC)单元
[0203] 400 细节照片。
[0204] 402 全景照片。
[0205] 404 正射镶嵌图。
[0206] 410 匹配特征步骤。
[0207] 412 解析姿态和位置步骤。
[0208] 414 正射纠正步骤。
[0209] 416 混合步骤。
[0210] 510 右斜细节视场。
[0211] 512 横向右斜细节视场。
[0212] 514 纵向右斜细节视场。
[0213] 520 右斜全景视场。
[0214] 522 横向右斜全景视场。
[0215] 524 纵向右斜全景视场。
[0216] 530 左斜细节视场。
[0217] 532 横向左斜细节视场。
[0218] 534 纵向左斜细节视场。
[0219] 540 左斜全景视场。
[0220] 542 横向左斜全景视场。
[0221] 544 纵向左斜全景视场。
[0222] 550 前斜细节视场。
[0223] 552 横向前斜细节视场。
[0224] 554 纵向前斜细节视场。
[0225] 560 前斜全景视场。
[0226] 562 横向前斜全景视场。
[0227] 564 纵向前斜全景视场。
[0228] 570 后斜细节视场。
[0229] 572 横向后斜细节视场。
[0230] 574 纵向后斜细节视场。
[0231] 580 后斜全景视场。
[0232] 582 横向后斜全景视场。
[0233] 584 纵向后斜全景视场。
[0234] 600 相机。
[0235] 602 相机光轴。
[0236] 604 可操控的多路复用反射镜。
[0237] 606 固定的反射镜。
[0238] 608 可操控的运动补偿反射镜。
[0239] 610 可操控的相机模块。
[0240] 612 相机视场。
[0241] 614 半视场可操控的细节相机模块。
[0242] 616 全视场可操控的细节相机模块。
[0243] 618 全视场可操控的全景相机模块。
[0244] 620 细节相机操控轴。
[0245] 622 全景相机操控轴。
[0246] 624 双视场可操控的相机模块。
[0247] 626 双视场细节可操控的相机模块。
[0248] 630 多路复用反射镜线性马达。
[0249] 632 多路复用反射镜致动器杆。
[0250] 634 多路复用反射镜底座。
[0251] 636 运动补偿反射镜台。
[0252] 638 多路复用反射镜台。
[0253] 640 多路复用反射镜控制器。
[0254] 642 运动补偿反射器控制器。
[0255] 644 多路复用反射镜传感器。
[0256] 646 运动补偿反射镜传感器。
[0257] 648 多路复用反射镜旋转马达。
[0258] 650 广角聚合细节视场。
[0259] 652 广角聚合全景视场。
[0260] 654 间隙视场。
[0261] 656 切换反射镜。
[0262] 658 切换反射镜旋转马达。
[0263] 660 X构型的组合细节视场。
[0264] 670 纵向视场角度(δ)。
[0265] 672 纵向覆盖区域(b)。
[0266] 674 纵向重叠(c)。
[0267] 676 纵向拍摄间隔(d)。
[0268] 678 航空器地面速度(v)。
[0269] 680 可用的垂直视场角度(φ)。
[0270] 682 横向飞行线路间隔(e)。
[0271] 684 横向视场轴。
[0272] 686 视场轴旋转角度(λ)。
[0273] 688 旋转的横向视场轴。
[0274] 690 旋转轴纵向拍摄间隔(d(λ))。
[0275] 692 旋转轴飞行线路间隔(e(λ))。
[0276] 700 图像输入/输出模块。
[0277] 702 图像储存设备。
[0278] 704 飞行员输入设备。
[0279] 706 自动驾驶仪。
[0280] 710 相机微控制器。
[0281] 712 相机模块控制接口。
[0282] 714 相机控制接口。
[0283] 716 图像流接口。
[0284] 720 操控运动矢量。
[0285] 722 前向运动矢量。
[0286] 724 作为结果的运动矢量。
[0287] 730 角度位置(y)。
[0288] 732 时间(t)。
[0289] 734 多路复用反射镜角度位置曲线图。
[0290] 736 运动补偿反射镜角度位置曲线图。
[0291] 738 曝光间隔。

具体实施方式

[0292] HyperCameraTM是适用于容易布置在大型和小型的广泛的航空器中的一系列航空相机系统。相机系统是模块化的,且被设计成在适当的情况下被装载在一个或多个标准的相机孔上方,如通常被提供通过勘测航空器的地板或机载舱。
[0293] 每个HyperCamera型号通过其指向(P)、其阵列中的相机的数量(N)和相机的焦距(f)来限定,以及通过指示器PN-f来标识。例如,300mm的五个相机的垂直HyperCamera被称之为V5-300型号。
[0294] 广角可操控HyperCamera型号是由标识WS-f来识别。例如,300mm的广角可操控的HyperCamera被称之为WS-300型号。
[0295] 航空相机捕获的细节水平通常是通过地面采样距离(GSD)(即,当被投影到相机的视场内容的地面上时相邻的像素之间的距离)来特征化。
[0296] 根据图42中的EQ 1,GSD是由相机镜头的焦距(f,252)、在地面以上的高度(a,254)和图像传感器的像素间距(p,260)确定的。
[0297] 航空成像的效率通常是通过每单位时间捕获的面积(如,每小时平方千米)来特征化的。这与航空器的速度和航空相机系统的视场(FOV)的宽度(被称为幅宽)成比例。
[0298] 根据图42中的EQ 2,单个相机的幅宽(w,258)是通过相机镜头的焦距(f,252)、地面以上的高度(a,254)和图像传感器的横向尺寸(s,256)确定的。高度翻倍,则幅宽翻倍。
[0299] 根据图42中的EQ 4,单个相机的横向视场(β,250)是通过相机镜头的焦距(f,252)和图像传感器的横向尺寸(s,256)确定的。焦距翻倍,则视场几乎折半。
[0300] 根据图43中的EQ 7,相机阵列的横向视场(γ,270)是通过每个相机的视场(β,250)、相机的数量和他们的角度重叠(ω,272)确定的。相机的数量翻倍(N),则视场几乎翻倍。相机阵列的幅宽(w(N),278)由图43中的EQ 8给出。
[0301] 航空相机系统的实际视场受航空图像中可接受的倾斜水平限制——如,当被在视场的边缘捕获时有多少被允许倾斜的建筑物。实际视场通常被限制为50度或更小。
[0302] 对于实际视场给定了限制的情况,通过以更高的速度和/或更高的高度进行飞行可以实现更高的捕获效率(且从而降低捕获成本)。在更高的高度飞行要求更长的焦距来保持相同的GSD。那么,因为每个相机具有狭窄的各自的视场,这就要求更大数量的相机来保持总的视场。
[0303] HyperCamera范围包括适于广泛的操作高度并支持一系列GSD和捕获效率的型号。根据目标速度和高度,HyperCamera系统可以被装载在适用于航空成像的任何航空器中。通过示例的方式,这包括(但不限于)活塞式航空器(如Cessna 210)、涡轮螺旋桨航空器(如Cessna 208)、涡扇(喷气)航空器,允许以从低于100节到400节的速度范围、从低高度到超过40,000英尺的高度的航空成像。
[0304] 航空器可以是常压或加压的,且每个相机孔可以打开或如果适当的话含有光学玻璃窗口。每个相机孔可以可选地由在HyperCamera不进行操作时可以是关闭状态的门保护。
[0305] 在优选的实施方式中,如示出在图1至图5中所示,V5-300 HyperCamera包括并入了五个细节相机110和相对广角的全景相机112的相机单元100。每个细节相机110具有细节镜头114,而全景相机112具有全景镜头116。
[0306] 全景镜头116被特征化为比细节镜头114具有显著的更广的角度。虽然其可以是真正的广角镜头,但是其也可以是正常的镜头,甚至或者是长焦镜头,只要其比细节镜头114明显的广。同样,虽然细节镜头114可以是真正的长焦镜头,但是其也可以是正常的镜头,甚至或者是广角镜头,只要其比全景镜头116明显的窄。
[0307] 相机110和112优选是商用现成(COTS)数字SLR(DSLR)相机。COTS相机的使用允许系统容易适于最新的且最好的可用的相机。可选地或附加地,为了提供在COTS相机中不可用的成像特征,诸如,非马赛克RGB成像、多光谱成像和前向运动补偿,专用相机设计也可以被利用。
[0308] 高分辨率COTS相机是市售的,具有一般从24Mpixels到36Mpixels范围的像素计数,供应商诸如Nikon和Canon。36Mpixels Nikon D800(以及D810)DSLR相机对于本系统来说是特别好的选择。
[0309] DSLR相机提供了广角的高质量镜头,允许系统被容易地配置成以不同的高度和分辨率进行操作。
[0310] 系统容易适于相机的混合体。例如,具有较高像素计数的相对更贵的相机可以被实施为全景相机。70Mpixels DSLR相机被预期为可用于不久的将来,以及70Mpixels相机对于全景相机将是良好的选择。
[0311] 在优选的实施方式中,细节相机110的细节镜头114都具有相同的焦距,以及细节相机110都具有相同的像素尺寸。因此,相机单元100实施了两种不同的相机分辨率——全景和细节。这通过使用具有不同焦距的细节镜头114和/或使用具有不同像素尺寸的细节相机110而容易延伸到两个以上的多分辨率。相机单元100还可以并入具有不同分辨率的多个全景相机。
[0312] 每个细节镜头114和全景镜头116可以是聚焦在无穷远处的定焦镜头或可变焦镜头。在后一种情况下,对应的相机110和/或112并入自动聚焦结构。
[0313] 每个细节相机110都被螺栓固定到相机底座140,该相机底座140又被螺栓固定到中心支撑122。每个细节相机镜头114还由被螺栓固定到细节相机底座140的夹具144固定。
[0314] 全景相机被都被螺栓固定到相机底座142,该相机底座142又被螺栓固定到中心支撑122。全景相机镜头116还由被螺栓固定到全景相机底座142的夹具146固定。
[0315] 相机底座140和142将相机单元100的大部分结构与各个相机型号和镜头尺寸的具体情况分离开来。
[0316] 中心支撑122被附接到一对侧支撑124a和124b,且每个侧支撑124又被附接到后部支撑126和前部支撑128以形成刚性框架120。
[0317] 每个侧支撑124经由一组四个螺栓而被附接到挂接点块130,且该挂接点块130又适当地经由另一组四个螺栓而被附接到后部支撑126或前部支撑128。从而,挂接点块130提供了在侧支撑124与后部支撑126和前部支撑128之间的附接机构。
[0318] 侧支撑124与后部支撑126以及前部支撑128中的每一个具有C形横截面以最小化重量但最大化刚性,同时中心支撑122被封装成最小化重量但最大化刚性。
[0319] 每个挂接点块130是实心的,且用作另一个用途是提供在相机单元100和勘测航空器之间附接的点,如以下所述。
[0320] 除了由钢制成的紧固件除外,所有的部分都是由轻重量的铝制成。
[0321] 后部支撑126和前部支撑128支持三个电源及控制分配箱150。每个箱150将电力和控制信号分发给一对相机。出于清晰起见,在附图中在箱150和相机110与112之间的电力的和控制的线缆被省略。
[0322] 在优选的实施方式中,每个细节相机110含有具有适用于在相当高的高度处高分辨率成像的焦距为300mm的镜头114。例如,当使用36Mpixel Nikon D800相机(其具有4.88um像素间距)时,300mm的镜头地面采样距离(GSD)在60,000英尺为30cm、在40,000英尺为20cm、在20,000英尺为10cm、在16,000英尺为8cm、在12,000英尺为6cm、在8,000英尺为
4cm、在4,000英尺为2cm、在2,000英尺为1cm,等等。
[0323] 假设细节相机110和全景相机112具有相似的像素计数和像素尺寸,则全景相机112理想地含有具有比细节镜头114的焦距短4倍和8倍之间的焦距的镜头116,如以下进一步所述,例如,对于300mm的细节镜头114,用于全景镜头116的适当的焦距其范围在约40mm至75mm。出于说明的目的,本系统利用50mm的全景镜头116。
[0324] 图6示出的是具有300mm的镜头114的五个细节相机110中的每一个的6.90度的横向视场162,以及具有50mm的镜头116的全景相机112的39.60度的横向视场。
[0325] 在本说明书中,横向方向是垂直于飞行方向220的方向,而纵向方向是平行于飞行方向220的方向。
[0326] 如图所示,细节相机横向上分开地成6度倾斜,即,略微小于它们的6.90度的视场162,使得视场162略微重叠。
[0327] 利用36Mpixel Nikon D800相机,五个细节相机110含有具有大约160Mpixels的像素计数的聚合视场,即不含重叠。
[0328] 适于用作细节镜头114的现有远距离摄影镜头可以具有各种焦距,一般包括85mm、105mm、135mm、180mm、200mm、300mm、400mm、500mm、600mm、700mm或800mm。
[0329] 在20,000英尺处,Nikon D800相机的400mm的镜头允许GSD为7.4cm,600mm的镜头允许GSD为5.0cm,且800mm的镜头允许GSD为3.7cm。
[0330] 适于用作全景镜头116的现有正常的镜头和广角镜头可以具有各种焦距,一般包括10.5mm、14mm、16mm、18mm、20mm、21mm、24mm、28mm、35mm、40mm、45mm、50mm、55mm、60mm和70mm。
[0331] 相机单元100容易经由不同的相机底座140(和142)以及夹具144(和146)而被更改成用于不同型号和尺寸的相机110(和112)以及镜头114(和116)。对于非常长的镜头,更高的中心支撑122可以被使用。
[0332] 如图6和图7中所示,细节相机向内成角度,以便它们的视场162直接跨越相机单元100的下方,创建其中视场穿过相机孔212的最小直径的机身中部。这使得相机单元100与标准的20英寸的相机孔相兼容,以及相机孔小如约17英寸。
[0333] 图8示出的是细节相机110和全景相机112到地面上的三维视场160和170的投影。其示出了细节视场160如何在垂直于飞行方向220的方向上重叠的情况。
[0334] 图9示出的是经由标准的座椅轨道紧固件202而被附接到航空器(在本示例中未Cessna 208)的座椅轨道214的接装板200。接装板具有暴露穿过航空器地板210的相机孔212的孔径216。
[0335] 图10示出的是相机单元100、接装板200和航空器地板210的分解视图。接装板200被设计成将相机单元100附接到特定的航空器,并将相机单元100的设计与航空器的具体情况分离开来。不同的接装板被设计用于每种航空器附接变形,例如,由于不同的座椅轨道间隔,或因为航空器的相机孔的装载包括其自身的挂接点。
[0336] 四个挂接点132被螺栓固定到接装板,其中每个挂接点132与在其对应的挂接点块134的基座中的凹槽配合。安装螺栓143牢牢地将每个挂接点块134附接到其对应的挂接点
132,从而将相机单元100附接到接装板200。
[0337] 接装板200允许相机单元100容易地经由四个安装螺栓143的装载和移除而被装载在航空器中并且之后从航空器移除。接装板200本身一般容易装载在航空器中并从航空器移除,不要求对航空器进行修改(假设已经装载了适当的相机孔)。外部相机舱的装载一般是更加复杂得多的操作。
[0338] 图11示出的是V5-180 HyperCamera单元100,其利用用于细节相机110的比较短的180mm的镜头114和用于全景相机112的匹配的28mm的镜头116。
[0339] 当使用36Mpixel Nikon D800相机(其具有4.88um像素)时,则180mm的镜头允许地面采样距离(GSD)在12,000英尺为9.9cm、在10,000英尺为8.3cm、在8,000英尺为6.6cm、在6,000·英尺为5cm、在4,000英尺为3.3cm等等。
[0340] 图11示出的是具有180mm的镜头114的五个细节相机110中的每一个的11.40度的横向视场162,以及具有28mm的镜头116的全景相机112的65.50度的横向视场。
[0341] 如图所示,细节相机横向上分开地成10.50度倾斜,即,略微小于它们的11.40度的视场162,使得视场162略微重叠。
[0342] 图12示出的是图10中的细节相机110和全景相机112到地面上的三维视场160和170的投影。其示出了细节视场160如何在垂直于飞行方向220的方向上重叠的情况,以及与较短的镜头相关联的广角视场如何引导至地面上相同的覆盖区域(即相比于图8的情况)的更低的飞行高度。
[0343] 图13图和图14示出的是载有装载在相机孔上方中心的相机单元100的Cessna 208勘测航空器230的平面视图。附图中还示出了用于控制相机单元100并给相机单元100供电的相机控制单元310(CCU)和电池单元320。这些将在下面更详细地描述。出于清晰,连接CCU310、电池单元320和相机单元100的线缆被省略。
[0344] 图15示出的是载有HyperCamera的Cessna 208勘测航空器230的前视图,并示出了相机单元100的横向全景视场172,以及相机单元100的聚合横向细节视场182。聚合横向细节视场182是五个各自重叠的横向细节视场162的聚合。
[0345] 图16示出的是载有HyperCamera的Cessna 208勘测航空器230的侧视图,并示出了相机单元100的纵向全景视场174,以及相机单元100的纵向细节视场164。
[0346] 图17示出的是在飞行方向220上三个连续的拍摄的重叠的全景视场170和聚合细节视场180。聚合细节视场180是五个各自重叠的细节视场160的聚合。以图中所示的相机激发速率(即,隐含纵向重叠),聚合细节视场180纵向上重叠大约20%,而全景视场170纵向上重叠大约85%。
[0347] 图18示出的是在相邻的飞行路线中(即,沿相对的方向220飞行)的两个拍摄的重叠视场170和聚合细节视场180。在附图中示出的飞行线路间隔处,聚合细节视场180横向上重叠在20%和25%之间,而全景视场170横向上重叠约40%。
[0348] 假设细节相机110和全景相机112具有相似的像素计数和像素尺寸,则当细节相机镜头114的焦距相比于全景相机镜头116的焦距的比例是6且有用的镜头组合可以被选定为具有焦距比例在大约4和8之间时,横向全景视场172的尺寸与横向聚合细节视场182的尺寸相似。
[0349] 图19示出的是沿着通常是蜿蜒的飞行路径222的一部分的三个相邻的飞行线路(即,一般将构成大范围区域勘测的飞行线路的子集)的连续的拍摄的重叠的聚合的细节视场180。出于清晰的目的,对应的全景视场170被省略了。附图还示出了,拍摄位置224对应于每个聚合细节视场180,即,勘测航空器230的位置。
[0350] 如已经提及的,传统的单分辨率航空勘测通常被操作为具有60/40的重叠,即,60%前向(或纵向)重叠和40%侧(或横向)重叠。利用如图17至图19所示的多分辨率HyperCamera进行操作,全景照片被捕捉为具有比85/40更好的重叠,且细节照片被捕捉为具有在最好的时候仅20/20。
[0351] 相比于传统的单分辨率航空相机系统和可比较的聚合细节像素计数(如,160Mpixel),关于降低勘测飞行时间和更少的照片进行处理方面,HyperCamera的效率高出
2倍和3倍之间,如以下详述。HyperCamera由于其仅高(细节)像素计数,还具有比许多航空相机系统更高的效率。
[0352] 作为捕获全景照片和细节照片的替换,HyperCamera可以用于仅捕获细节照片,具有更高的重叠(如,60/40,而不是20/20),以允许具有更高空间精度的正射镶嵌图的创建,但是捕获和处理成本更高。在这种情况下,全景相机112可以被省略,或用于另外的用途。
[0353] 为了分析多分辨率HyperCamera的相对效率,假设多分辨率HyperCamera配置为具有横向重叠X%、纵向重叠Y%、N个细节相机110和M个全景相机112,而出于比较的目的,单分辨率HyperCamera配置为具有横向重叠A%、纵向重叠B%、N个细节相机,且没有全景相机。假设X小于A,如在更大的飞行线路间隔和更短的飞行时间和更少的捕获的细节照片方面所体现的,横向效率上的改进由(1-X)/(1-A)给出。同样,假设Y小于B,如在更大的拍摄间隔和更短的飞行时间和更少的捕获的细节照片方面所体现的,纵向效率上的改进由(1-Y)/(1-B)给出。效率上的总的改进由(1-X)(1-Y)/(1-A)(1-B)给出。这需要扣减捕捉全景照片的开销,即,乘以因子(N/(N+M))。对于X/Y=20/20,A/B=60/40,N=5,且M=1,净效率改进为2.2。
[0354] 更大的效率出现在以全景相机112的较低分辨率而不是细节相机110的较高分辨率进行一些摄影测量计算。然而,非传统实践中那样,这至少部分地由全景照片之间的较大的重叠来补偿。
[0355] 图20示出的是用于相机单元100的电源和控制系统的框图。细节相机110和全景相机112经由相机接口308而受计算机300控制,其可包括一组数字开关,该一组数字开关触发相机的远程控制接口。
[0356] 计算机300使用一个或多个全球导航卫星系统(GNSS)接收器304实时监视勘测航空器230的位置和速度。GNSS接收器可以与各种基于空间的卫星导航系统(包括全球定位系统(GPS)、GLONASS、伽利略和北斗)兼容。
[0357] 根据储存的飞行计划和航空器的实时位置和速度,计算机300时间上精确地将激发信号经由相机接口308提供给相机110和112,以触发相机曝光。如果相机110和/或112并入自动聚焦机构,那么计算机300还将聚焦信号提供给每个这样的相机以在曝光之前触发自动聚焦。
[0358] 计算机300以相同的速率激发全景相机112和细节相机110。可选地,计算机300可以以与细节相机110不同的速率(即,要么更高的速率,要么更低的速率)来激发全景相机112,以实现在连续的全景照片之间的不同的重叠,即,要么更高的重叠,要么更低的重叠,而与连续的细节照片之间的重叠无关。计算机300可以同时激发相机,或其可以交错激发的定时,如,以实现纵向上照片的不同的对齐,或以降低峰值功率消耗。
[0359] 飞行计划描述构成勘测的每个飞行线路以及沿每个飞行线路的确保必要的重叠保持在连续的拍摄之间所需的正常相机激发速率。激发速率对航空器下方的地形的海拔高度敏感,即,地形越高,则需要的激发速率越高。这是由计算机300根据航空器的实际地面速度来进行调整的,其可以由于风和航空器的飞行员的操作而与其正常的速度不同。
[0360] 计算机300还利用飞行计划和实时GNSS位置来经由飞行员显示器302指导飞行员沿着每个飞行线路。
[0361] 如在图20中所示,来自GNSS接收器的位置数据可选地增强来自惯性测量单元306(IMU)的方位信息。这允许计算机300将关于飞行员如何紧密地遵循飞行计划以及允许对照片的更精确的处理的增强的反馈提供给飞行员。在没有IMU306的情况下,GNSS接收器直接连接到计算机300。
[0362] 每个相机110和112将其拍摄本地地储存在例如可移除闪存中。这消除了在HyperCamera系统中对集中储存器的需要以及对在相机和集中储存器之间的高带宽数据通信通道的需要。
[0363] 每个拍摄的GNSS位置可以被传递到每个相机110和112,以允许相机利用其GNSS位置来标记每个照片。
[0364] 响应于由IMU 306报告的方位,一个或多个角度运动补偿(AMC)单元330矫正相机的方位,使得它们即使在飞行期间航空器滚动、俯仰或偏航随着时间推移也保持一致的指向。这确保了所捕获的照片可以被用来创建没有间隙的正射镶嵌图,同时允许在连续的拍摄之间的和相邻的飞行线路之间的重叠被最小化。
[0365] AMC单元330可以包括其上安装有HyperCamera单元100的具有两个或三个旋转轴(即,滚动和俯仰,或滚动、俯仰和偏航)的平台。商用市售的AMC或稳定平台330包括Leica Geosystem的PAV系列,包括PAV100,和PV Lab的PV-15G,例如,如在美国专利号6,263,160(Lewis)中所述,其内容通过引用并入本文。
[0366] 可选地或附加地,AMC单元330可以包括在每个相机(或相机组)的光路中的一个或多个光束操控机构,借此相机的指向通过光束操控来进行矫正。例如,间距和滚动补偿可以由光束操控机构提供,而偏航补偿由独立的AMC平台330提供的。
[0367] 随着飞行高度的增加和/或GSD降低,角度运动补偿变得越来越重要。
[0368] 由于航空器的前向运动引起的运动模糊等于航空器的速度乘以相机的曝光时间。一旦运动模糊变为GSD的重要的部分(或超出了GSD),则有用的是提供前向运动补偿(FMC)机构来降低或消除运动模糊。FMC可以以多种方式来提供,包括平移或旋转相机的光轴(通过移动图像传感器、或中间的反射镜、或相机本身)、或通过在图像传感器中的像素的相邻行的时间延迟集成(TDI)。
[0369] 计算机300储存每个拍摄的GNSS位置。其被用于照片的后续处理阶段以产生精确的正射镶嵌图。如果IMU 306存在的话,计算机300还储存每个拍摄的方位,并且如果AMC单元330存在的话,还基于来自AMC的矫正信息,储存每个拍摄的矫正后的方位。
[0370] 相机110和112由电池单元320供电。电池单元320提供比由所有连接的组件所需的电压更高的电压,例如,在24V和28V之间,以及每个连接的组件的电压需求是经由DC-DC转换器326所提供的。例如,Nikon D800相机需要小于10V。附加的DC-DC转换器326还提供适当的电压以给计算机300、飞行员显示器302、GNSS接收器304和IMU306供电。出于清晰起见,这些电力连接在图20中被省略。
[0371] 电池单元320含有12V(额定的)电池或单个的24V(额定的)电池。其含有充电电路,该充电电路允许其从航空器利用适当的辅助电源322涓流充电,允许其一直保持充电。其也可以在地面上从地面动力装置324(GPU)充电。
[0372] 相机接口308和DC-DC转换器326可以装在相机控制单元310(CCU)中。这可以附加地包括USB接口以允许计算机300控制相机接口。
[0373] 给相机110和112提供电力的DC-DC转换器326可以定位于CCU310中或靠近分配箱150中的相机。
[0374] 由HyperCamera捕获的照片旨在无缝地拼接为正射镶嵌图,以及图21示出的是用于根据多分辨率HyperCamera照片有效创建正射镶嵌图的摄影测量过程。该过程针对由细节相机110捕获的细节照片400和由全景相机112捕获的全景照片402进行操作。
[0375] 该过程包含四个主要步骤:(1)特征是在照片400和402中的每个中被自动地检测并在照片之间匹配(步骤410);光束法平差被用于迭代地细化每个特征的真实三维位置的初始估计以及与每个照片相关的相机姿态(三维位置和方向)和相机校准(焦距、径向和切向畸变)(在步骤412);每个细节照片400根据其相机姿态和地形海拔高度数据进行正射纠正(在步骤414);以及正射纠正过的照片(正射影像)混合以形成最终的正射镶嵌图404(在步骤416)。
[0376] (在步骤414使用的)高度数据可以从(在步骤412期间细化的)三维特征位置获得;和/或可以从照片之间的密集的多视点立体匹配获得(见,例如,美国专利号8,331,615(Furukawa)和美国专利号8,634,637(Hirschmueller等人),这两个专利的内容通过引用并入本文);和/或可以从诸如感兴趣的区域的LIDAR勘测的另外的源获得。高度数据可以是光栅或矢量数字立视图模型(DEM)的形式、或三维点云的形式、或三维几何模型的形式。其可以包括表面特征,诸如植被和建筑物,或可以描述光秃秃的大地。
[0377] 正射镶嵌图404的精度根据低分辨率的全景照片402之间的高度重叠而得到的,但是正射镶嵌图404的细节是根据高分辨率的细节照片400得到的。
[0378] 作为可选项,如以上提及的,勘测可以遵循细节照片400之间的较高的重叠,且正射镶嵌图可以仅由细节照片400来创建。
[0379] 正射镶嵌图一般被储存为图像金字塔,即,其中不同的(双重)变焦水平被预先计算用于以任何变焦水平进行的快速访问。通过低通滤波和二次采样,金字塔中的较低的变焦水平是从较高的变焦水平生成的,从而整个金字塔可以由细节分辨率正射镶嵌图生成。作为可选项,较低的变焦水平可以由自全景照片402创建的正射镶嵌图生成,在这种情况下,与如上针对细节照片400所描述的一样,全景照片402也被正射纠正并被混合。
[0380] 随后通过光束法平差过程细化的(在步骤412)每个照片的相机姿态的初始估计,是来源于每个照片的GNSS位置,以及其IMU导出的方位(如果存在的话)。
[0381] 自动检测的地面特征可以用手动识别的地面点增强,其中每个可以具有被精确勘测的现实位置(且然后被称为地面控制点)。
[0382] V5-300和V5-180 HyperCamera是HyperCamera系列中的两个型号。下面描述,通过利用更长的焦距来操作更高的高度实现更高的效率,以及附加的HyperCamera配置。
[0383] 图22根据在地面以上的飞行高度(以英尺计)以及从100mm到600mm的镜头焦距(以100mm为增量)列表显示了GSD。其还根据高度列表显示了30度和45度视场的幅宽(以千米计)。此外,其根据焦距列表显示了覆盖这些视场所需的细节相机的数量。
[0384] 图23还根据从700mm到1200mm的焦距列表显示了GSD。
[0385] 根据图22和图23中的表格,比较V5-300、V10-600和V15-900 HyperCamera配置的特性是有益的。每个配置具有大约相同的30度的横向视场,但是假定5cm的GSD,对应的幅宽分别是1.6km、3.3km和4.9km(分别对应于飞行高度10,000英尺、20,000英尺和30,000英尺)。最重要的是,相对捕获效率则分别是1x、2x和3x(假定相同的航空器速度)。
[0386] 30度的V10-600 HyperCamera可以使用串联的两个15度的V5-600 HyperCamera单元来实现,其中每个单元安装在导致所需的7.5度的横向倾斜的楔状的接装板200上。
[0387] 45度的V15-600 HyperCamera可以使用串联的三个15度的V5-600 HyperCamera单元来实现,中间的单元安装平直,而两个外侧的单元中的每一个安装在导致所需的15度的横向倾斜的楔状的接装板200上。
[0388] 30度的V15-900 HyperCamera可以使用串联的三个10度的V5-900 HyperCamera单元来实现,中间的单元安装平直,而两个外侧的单元中的每一个安装在导致所需的10度的横向倾斜的楔状的接装板200上。
[0389] 可选地或附加地,为了利用楔状以导致所需的横向倾斜,接装板200可以包括一个或多个粗和/或微倾斜调整机构以允许相机单元100的倾斜被正常调整以及用于补偿航空器地板的倾斜的变化进行的调整。倾斜机构可以包括一个或多个垫片、一个或多个偏置螺丝,等等。
[0390] 倾斜调整还可以经由角度运动补偿(AMC)单元330的滚动补偿机构(如果存在的话)通过调整相机单元100的预先设置的正常滚动来被提供。
[0391] 图24A、24B和24C分别示出的是V5-300、V10-600和V15-900 HyperCamera在12,000英尺的恒定飞行高度的覆盖区域。附图中的虚线网格具有1km的间隔。附图示出了在GSD增加的情况下的相同的幅宽。
[0392] 图25A、25B和25C分别示出的是V5-300、V10-600和V15-900 HyperCamera在12,000英尺的恒定飞行高度的三个连续的覆盖区域。为了确保充足的纵向重叠,拍摄速率随着分辨率的增加而增加。
[0393] 图26A、26B和26C分别示出的是V5-300、V10-600和V15-900 HyperCamera在12,000英尺的恒定飞行高度的相邻的飞行线路中的两个重叠的覆盖区域。
[0394] 图27示出的是载有包含两个V5-600相机单元的V10-600 HyperCamera的Cessna 208航空器的前视图,以及作为结果的全景视场和聚合的细节视场。附图中的虚线示出的是相机单元的视场之间的划分。
[0395] 图28示出的是载有包含装载在航空器座舱中的两个V5-600相机单元的V10-600 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景视场和每个相机单元的聚合的细节视场。
[0396] 图29示出的是载有包含装载在标准Cessna 208的腹部安装的货舱中的两个V5-600相机单元的V10-600 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景视场和每个相机单元的聚合的细节视场。
[0397] 图30示出的是载有包含三个V5-900相机单元的V15-900 HyperCamera的Cessna 208航空器的前视图,以及作为结果的全景视场和聚合的细节视场。虚线示出的是在相机单元的视场之间的划分。
[0398] 图31示出的是载有包含装载在航空器座舱中的三个V5-900相机单元的V15-900 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景视场和每个相机单元的聚合的细节视场。
[0399] 图32示出的是载有包含装载在标准Cessna 208的腹部安装的货舱中的三个V5-900相机单元的V15-900 HyperCamera的Cessna 208航空器的侧视图,以及作为结果的全景视场和每个相机单元的聚合的细节视场。
[0400] 图33A、33B和33C分别示出的是来自V5-300、V10-600和V15-900 HyperCamera在24,000英尺的恒定飞行高度的两个相邻的飞行线路的两个重叠的覆盖区域。附图中虚线网格具有1km间隔。
[0401] 图34A、34B和34C分别示出的是来自V5-300、V10-600和V15-900 HyperCamera在36,000英尺的恒定飞行高度的两个相邻的飞行线路的两个重叠的覆盖区域。附图中虚线网格具有1km间隔。
[0402] 一般而言,特定的HyperCamera可以利用多个相同的较小的相机单元100来实现,每个在所需的横向角度进行安装。如图27至图32中所示,各个相机单元100可以沿着航空器的纵向轴进行安装。每个相机单元100的激发可以交错进行以考虑其纵向位置和航空器速度,或在来自不同的相机单元的照片之间的纵向偏移可以在下游处理阶段进行考虑。
[0403] HyperCamera设计因此是模块化的,且适于结合一个或多个标准相机孔进行布置。
[0404] 倾斜的HyperCamera,即具有非垂直的指向(且通常指向为45度),可以利用经由例如倾斜的接装板200被安装成所需的倾斜角度的一个或多个垂直相机单元100来实现,或利用其中每个包括在其他垂直定向的框架内的被安装成所需的倾斜角度的相机阵列的一个或多个倾斜的相机单元100来实现。
[0405] 倾斜航空照片具有若干用途。它们可以用来产生倾斜的地理坐标参考的正射镶嵌图以提供对垂直正射镶嵌图的有用的补充。它们可以在摄影测量光束法平差(如以上参照图21所述)与垂直照片一起使用来实现更高的精度,包括更高的高度数据精度。并且它们可以用来给出感兴趣的区域的立视图模型或全三维模型的特征,以支持三维可视化和交互。
[0406] 图35A和图35B分别示出的是载有装载在航空器座舱中的五个HyperCamera的Cessna 208航空器的前视图和侧视图:垂直V10-600、右斜R10-600、左斜L10-600、前斜F10-600和后斜B10-600,以及作为结果的全景视场和每个的聚合的细节视场。
[0407] 以与垂直方向偏离的角度280倾斜的相机的倾斜GSD282由图44中的EQ 9给定。垂直GSD262被按倾斜角度的正切的平方倍增加。第一正切项(first secant term)是由于较大的倾斜引起的察看距离,而第二正切项(second secant term)是由于倾斜引起的地面的缩减。因此倾斜的相机需要具有对应的更长的焦距以匹配垂直相机的GSD。
[0408] 对于45度的倾斜,垂直GSD增加两倍,意味着45度倾斜的相机需要具有两倍的垂直相机的焦距以匹配垂直相机的GSD。然而,实际上,并没有将垂直相机的GSD和倾斜的相机的GSD匹配的严格的要求,且任何合适的焦距可以用于倾斜的相机。
[0409] 如果相机的图像传感器被倾斜成平行于地面,则第二正切项消失。倾斜的GSD286则由图44中的EQ 10给定。对于45度的倾斜,垂直GSD262则仅增加二的平方根倍,意味着45度倾斜的传感器倾斜相机需要具有1.4倍的垂直相机的焦距以匹配垂直相机的GSD。
[0410] 然而,水平面上的较小的GSD伴随有在垂直面上较大的GSD,诸如建筑物的侧面。这又可能激发了在多次通过中捕获倾斜的照片的策略,其中每次通过经由图像传感器的倾斜针对特定的表面方位被优化。
[0411] 更一般地,将任何非最低点的相机的图像传感器倾斜成(更加)平行于地面可以用来降低在相机捕获的照片中的视角透视收缩并从而改善GSD。
[0412] 每个900mm倾斜的HyperCamera具有比600mm垂直的HyperCamera大33%的GSD。1200mm倾斜的HyperCamera将具有和600mm垂直的HyperCamera一样的GSD。850mm倾斜的传感器倾斜HyperCamera也将具有和600mm垂直的HyperCamera一样的GSD。
[0413] 图37示出的是相机单元100的底部视图,其中细节相机以可选的“X”图案进行布置以为较长的细节镜头114提供更多的空间,即适应较长的镜头的较大的直径。该布置还为第二低分辨率相机提供空间,该第二低分率相机可以被用于第二全景相机或用于专用光谱相机,诸如近红外(NIR)相机。包括第二全景相机允许这两个相机具有较长的焦距,从而提供更大的分辨率和因此提供照片相机的精度。包括近红外相机允许近红外频段被包括在正射镶嵌图中,从而支持诸如识别植被的应用。
[0414] 由于细节镜头114的焦距增加,因此纯粹的折射(折光)镜头的尺寸和重量的设计变得重要。具有相同长度的焦距的越轻且物理上越短的镜头可以使用反射设计(即,使用用于聚焦的弯曲的反射镜,要么仅使用反射镜(反射),要么结合矫正折射元件(反射折射))来实现。其特征为长焦距和大孔径的天文望远反射镜,一般利用反射设计。经典的现代设计包括Schmidt-Cassegrain和Richey-Chretien,Schmidt-Cassegrain将球面主反射镜和球面次反射镜与Schmidt校正盘组合,而Richey-Chretien利用双曲面主反射镜和次反射镜。
[0415] 反射细节镜头114从而可以用于明显降低相机单元100的尺寸和重量,且这特别有益于较长的焦距,诸如900mm和更长。
[0416] 图38示出的是被实施为扇形布置的相机600阵列的相机单元100以及每个相机的光轴602。这象征性地表示了前述内容中的细节或全景相机阵列,并提供了关于以下描述的背景。每个相机600包括相机体(如110或112)和相机镜头(如114或116)。
[0417] 图39示出的是包括通过可操控的反射镜604而被时分复用以产生扫出所需的角度场的多个光路的单个相机600的使用可操控的相机模块610实施的相机单元100。这允许单个相机被用于实现使用时分复用的相机阵列,且从而减少实现HyperCamera所需的物理相机的数量,进而降低每个相机单元100的尺寸、重量和成本。作为可操控的反射镜604的替代,任何适当的光束操控的机构可以被使用。
[0418] 图40示出的是包括通过可操控的反射镜604而被时分复用以产生多个光路的单个相机600的使用可操控的相机模块610实施的相机单元100的可选配置。固定的反射镜606的增加允许相机600被垂直地安装,允许相机单元100具有更小的覆盖区域。
[0419] 图41示出的是包括通过可操控的反射镜604而被时分复用以产生多个光路的单个相机600的使用可操控的相机模块610实施的相机单元100,其中附加的可操控的反射镜608提供角运动补偿(AMC)。这实现了IMU驱动的AMC单元330。作为可操控的反射镜608的替代,任何合适的光束操控的机构可以被使用。
[0420] 可操控的反射镜608可以附加地或可选地用于实现前向运动补偿(FMC)机构。在FMC模式中,反射镜在曝光阶段平滑地向后倾以匹配航空器的向前运动,且在曝光之间又再次前倾。反射镜608的倾度可以直接被驱动或可以以适当的速率振荡以提供FMC,其中相机曝光与振荡的向后阶段同步。AMC和FMC还可以由独立级联的反射镜来提供。
[0421] 多路复用的可操控的反射镜604可以在所需的角度场内的一组离散位置中的每一个离散位置处停止,或可以连续地旋转以扫出所需的角度场。在后一种情况下,反射镜的运动在相机曝光期间提供另外的系统运动源,像航空器的前向运动,且这可以使用以上所述的FMC机构进行矫正,包括通过可操控的运动补偿反射镜608,或通过独立的稳定平台330。
[0422] 航空器的振动也可以通过IMU或通过另外的振动感测设备来检测,且振动补偿(VC)可以使用以上所述的AMC或FMC中的任何一个来提供,包括通过可操控的运动补偿反射镜608,或通过独立的稳定平台330来提供。
[0423] AMC、FMC和VC也可以通过多路复用反射镜604来提供。
[0424] 图45示出的是图41的可操控的相机模块610的一个实现。可操控的多路复用的反射镜604经由铰链而被附接到线性马达630的杆632,且线性马达630经由铰链被附接到固定的底座634。反射镜604也经过铰链被附接到底座634,反射镜604响应于杆633的线性运动围绕底座634旋转。线性马达630可以利用任何合适的驱动机构,包括压电驱动机构,例如,如在美国专利号6,800,984(Marth)所述,其内容通过引用被并入本文,或如体现在Physik Instrumente(PI)m-272线性马达中,其还并入了用于精确定位的线性编码器。
[0425] 可操控的运动补偿反射镜608被附接到在二维上提供旋转的倾斜台636。可选地,台636可以被限于在一维上的旋转,例如,仅提供关于多路复用的反射镜604的运动的矫正。倾斜台636可以利用任何合适的马达或致动器,包括压电致动器,例如,如体现在PI S-340,其也可以并入用于精确的闭环控制的应变仪传感器。
[0426] 图45中的可操控的相机模块610,根据相机孔径和由此得到的光束直径,允许相机600的视场612被控制在大约50度的角度范围之间。被适当地定向的可操控的相机模块610可以用于提供在对称范围或非对称范围中的操控。非对称范围可以构成较大的对称范围的部分。
[0427] 图46A和图46B示出的是被定向成覆盖从垂直到倾斜的非对称范围(即,等效对称范围的一半)的可操控的相机模块610。在图46A中,多路复用的反射镜604被旋转到顺时针方向的极限位置,且相机视场612垂直指向。在图46B中,多路复用的反射镜604被旋转到逆时针方向的极限位置,且相机视场612向右倾斜指向。
[0428] 图47示出的是使用一对可操控的细节相机模块614和一对固定的全景相机112来实施的相机单元100。每个可操控的细节相机模块614包括包含细节相机体110和细节相机透镜114的可操控的相机模块610。结合两个可操控的细节相机模块614覆盖大约100度的连续横向角度视场。
[0429] 图48A示出的是在16,000英尺操作的、具有一对固定的全景相机122(如,根据图47的)的300mm广角可操控的WS-300相机单元100的广角视场的透视图和平面图。视场包括相对于飞行线路226对称地布置的垂直视场180和两个倾斜的视场510和530。图48B示出的是在28,000英尺操作的600mm的WS-600相机单元的对应的视场。
[0430] 图48A是基于使用包括Nikon D800相机(或更小)的WS-300相机单元,而图48B是基于使用包括利用ON Semiconductor VITA 25K 25Mpixel CMOS图像传感器(或更小)的细节相机的WS-600相机单元100,如以下进一步描述。出于说明的目的,以下附图都是基于使用基于VITA 25K的相机(或类似相机)。
[0431] 图49A示出的是可操控的细节相机模块616的示意平面视图。细节相机操控轴620对应于聚合的细节视场180的横向轴。以下只要引用了可操控的细节相机模块616的地方,就也可使用相机的固定的阵列。
[0432] 可操控的细节相机模块616可以使用一个或多个可操控的相机模块610来实施,其中每个可操控的相机模块610覆盖所要求的视场的部分。例如,图49B示出的是使用一对半视场可操控的细节相机模块614实施的相机模块616。
[0433] 可操控的细节相机模块616也可以使用一个或多个摆动的相机模块来实施,如在美国专利申请序列号10/313,727(Partynski等人)和美国专利申请序列号11/607,511(Pechatnikov等人)中所述,这两个申请的内容通过引用并入本文。
[0434] 图49C示出的是可操控的全景相机模块618的示意平面视图。全景相机操控轴622对应于聚合的全景视场190的横向轴。可操控的全景相机模块618可以以多种与可操控的细节相机模块616一样的方式来实施。
[0435] 图49D示出的是包括一对半视场可操控的细节相机模块614和两个全景相机112的相机单元100的示意平面视图,即对应于图47中的相机单元100。
[0436] 图49E示出的是包括全视场可操控的细节相机模块616和两个全景相机112的相机单元100的示意平面视图,即提供了图47和图49D中的相机单元100的等效功能。
[0437] 图50A示出的是包括全视场可操控的细节相机模块616和全视场可操控的全景相机模块618的相机单元100的示意平面视图。
[0438] 图50B示出的是一组垂直的和四路倾斜的全景和细节视场的平面视图,对应于图35A和图35B中示出的视场。五个视图可以使用如参考图35A和图35B表述的、五个固定阵列的相机单元100或使用图50A中示出的可操控的相机单元100中的三个来捕获。
[0439] 图51A示出的是广角相机单元100的视场透视图,其中包括垂直视场180、倾斜视场510和530,以及间隙视场654a和654b。捕获全宽视场,即包括间隙视场654,增加了在相邻飞行线路之间的重叠和在垂直和倾斜视场内的点的可观察度。
[0440] 图51B示出的是在28,000英尺操作的WS-600相机单元100的连续广角视场的透视图和平面图。
[0441] 图52A示出的是三个相邻飞行线路的广角相机单元100的重叠的横向视场,并示出了间隙视场如何与垂直和倾斜视场重叠的方式。
[0442] 图52B示出的是三个相邻飞行线路的广角相机单元100的重叠的横向视场,示出了各个相机场。
[0443] 图53A示出的是在28,000英尺操作的具有全景相机112和细节相机110的WS-600相机单元100的连续广域视场的平面视图,而图53B示出的是仅具有细节相机110的相同相机单元的视场。
[0444] 如以上所讨论的,相机单元100可以用于仅捕获具有较高重叠的细节照片,以允许创建具有较高的空间精度的正射镶嵌图和具有较高的分辨率和精度的高度数据。
[0445] 纵向重叠,即在第一方向220上,通常被用于捕获具有立体视差的地面点的冗余照片。然而,当在较高的高度操作时,利用较长的焦距,细节相机110的纵向视场角度足够小使得在纵向重叠照片中呈现很小的立体视差。
[0446] 可选的方案是使用围绕横向轴倾斜的第二相机模块捕获重叠图像。图53C示出的是出于这一目的的包括两个全视场可操控的细节相机模块616的相机单元100。该第一相机模块616a捕获关于横向轴垂直的图像,而第二相机模块616b捕获例如关于横向轴倾斜20度的图像。倾斜程度被选择为最大化地面点的可观察度而不损害特征匹配的精度。
[0447] 图53D示出的是在28,000英尺操作的该双视场WS-600相机单元100的产生的非倾斜的视场650a和倾斜的视场650b的平面视图。
[0448] 如在图50B中所示例的,捕获四路倾斜的传统方法是同时捕获在两个横向方向和两个纵向方向上的倾斜。然而,这导致在横向倾斜上比在纵向倾斜上更一致的视角,因为纵向倾斜具有更广的水平视场来适应实际飞行线路间隔。
[0449] 可选的方案是在感兴趣的区域上方执行两个正交的通过并在该通过期间捕获两个高质量的横向倾斜。
[0450] 另外的方案是在单次通过期间捕获具有相同的窄水平视场的所有的倾斜并且如果有必要的话降低飞行线路间隔。当同时捕获四个具有相同窄水平视场的倾斜,最优的方案(即,最大化飞行线路间隔以及由此得到的最大化勘测效率的方案)是以与飞行线路成45度角的方向布置四个倾斜。
[0451] 图54示出的是出于最佳地捕获在单次通过期间四个高质量的倾斜视图的目的的、包括以“X”配置布置的四个半视场可操控的细节相机模块614的紧凑WS-300 HyperCamera单元100。WS-300相机单元100还优选地包括可以用于双分辨率成像或用于捕获诸如NIR的额外的光谱带的一对固定的全景相机。
[0452] 如果倾斜被期望为关于四个基本方向(北、南、东和西),则飞行计划中的飞行线路可以被定向成在相对于基本方向的45度处。
[0453] 图55A示出的是在16,000英尺操作的X构型的WS-300相机单元的完整的视场660的平面视图,包括两个正交视场650a和650b,而图55B示出的是在28,000英尺操作的X构型的WS-600相机单元的完整的视场660。两个重叠的场650提供足够的重叠和观察度以至于没有对在拍摄之间的额外的纵向重叠的需要,即超出了避免纵向间隙所需的最小值。
[0454] 图56A示出的是图54中的紧凑的X构型的相机单元100的示意平面视图,而图56B示出的是包括以正交布置的两个全视场可操控的细节相机模块616的不那么紧凑的X构型的相机单元100。如果有必要的话这些可以在两个相机孔上方进行布置。
[0455] 为了避免X构型所需的飞行线路间隔的减小,附加的细节相机模块616可以被用来捕获垂直于飞行方向220的场。该附加的场然后可用来创建垂直正射镶嵌图,而两个正交的X构型场可被用来创建倾斜的正射镶嵌图(以及增加了所有地面点的观察度)。
[0456] 如果飞行线路间隔并未降低以适应旋转的X构型场,那么在每个广角场内的倾斜视场相应地比较大,导致略微降低质量的倾斜。
[0457] 图57A示出的是在28,000英尺操作的该X+1配置的WS-600相机单元100的视场650a、650b和650c的平面视图。
[0458] 图57B示出的是包括以X构型布置的两对半视场可操控的细节相机模块614以及用于垂直的竖直场的全视场可操控的细节相机模块616的对应的相机单元100的示意平面视图。
[0459] 图58A示出的是在28,000英尺操作的X构型的WS-600相机单元100的三个连续拍摄660a、660b和660c的平面视图。
[0460] 图58B示出的是在28,000英尺操作的X构型的WS-600相机单元100的从两个相邻的飞行线路226a和226b拍摄660a和660b的平面视图。
[0461] 根据图59中的EQ 11,航空相机的纵向覆盖区域(b,672)是由其纵向视场角度(δ,670)和其高度(a,254)确定的。根据图59中的EQ 12,纵向拍摄间隔(d,676)是由纵向覆盖区域(b,672)和所需的纵向重叠(c,674)确定的。根据图59中的EQ 13,拍摄速率(r)是由拍摄间隔(d,676)和速度(v,678)确定的。
[0462] 如以上关于图43所述,相机阵列的横向视场角度(γ,270)是相机数量(N)、每个相机的横向视场角度(β,250)和相邻的相机之间的横向角度重叠(ω,272)的函数。同样,根据图60中的EQ 14,覆盖特定的视场角度所需的相机数量(N)是由目标横向视场角度(γ,270)、每个相机的横向视场(β,250)和相邻的相机之间的角度重叠(ω,272)确定的。
[0463] 根据图60中的EQ 15,如果所需的相机数量(N)实际上是通过时分复用较少数量(C)的物理相机来实现的,则每个相机的帧率(q)是由所需的相机的数量(N)、物理相机的数量(C)、拍摄率(r)和时分复用光束控制机构的占空比(u)确定的.
[0464] 可用的横向视场角度(φ,680)是在其内图像足以一致到被用来创建垂直正射镶嵌图的视场角度。这可以低至20度或高至45度,取决于作为结果的正射镶嵌图的所需质量。根据图60中的EQ 16,这又指定了飞行线路间隔(e,682)。
[0465] 一般而言,飞行线路间隔(e,682)应该被最小化以最大化地面点的可观察度以及避免不可观察的地面点(如,在城市峡谷的)。这对于生成高质量的数字表面模型、真实的正射镶嵌图和3D纹理表面来说是特别重要的。
[0466] 根据图60中的EQ 17,航空相机系统捕获地面面积的速率是由飞行线路间隔(e,682)和航空器的速度(v,678)来确定的。
[0467] 当视场旋转非零的轴旋转角度(λ,686),即,相对于垂直于飞行线路226的正常的线路,则各种捕获参数变化。根据图61中的EQ 18,作为结果的拍摄间隔(d(λ),690)更大。根据图61中的EQ 19,作为结果的拍摄速率(r(λ))更小。根据图61中的EQ 20,作为结果的飞行线路间隔(e(λ),692)更小。根据图61中的EQ 21,作为结果的帧率(q(λ),)更小。以及,根据图61中的EQ 22,作为结果的面积捕获速率(R(λ))更小。
[0468] 图62示出的是具有一个或多个可操控的相机模块610的相机单元100的电子和机械的框图,并呈现了图20中的框图的变形。除了以下描述的,框图具有和图20相同的功能。为了清晰起见,电源被省略。
[0469] 如以下进一步描述,计算机300控制一个或多个可操控的相机模块610。来自相机模块的实时图像通过一个或多个图像输入/输出模块700进行压缩并被储存在一个或多个图像储存器设备702中。图像输入/输出模块700也可以给计算机提供对图像的访问,以用于实时监视和用于之后的检索。图像储存设备702包括可移除介质以允许从现场到处理设施的调度。输入/输出模块700和图像储存设备702可以并入每个单独的相机600(如,当相机600是诸如Nikon D800的DSLR时)中,或可以是独立的。
[0470] 图像压缩可以利用在硬件或软件中实施的任何适当的方案,包括JPEG或更小的基于DCT的压缩方案,或JPEG2000或更小的基于小波的压缩方案。
[0471] 计算机300可以监视计算机捕获的照片的质量并引导飞行(或自动驾驶仪)再次飞跃飞行计划中的受影响的部分。计算机300可以监视照片以检测差的聚焦、差的曝光、云或其他不期望的物体(诸如其他的航空器等)的存在。
[0472] 飞行员输入设备704允许飞行员提供输入给计算机,包括选择飞行计划、确认警报、导航图像、执行质量保证等。其可以包括任何适当的设备,诸如触摸屏(结合飞行员显示器302)、平板电脑、键盘等。
[0473] 计算机300可以控制航空器自动驾驶仪706以沿着飞行计划中的每个飞行线路以及在每个线路之间引导航空器。
[0474] 图63示出的是可操控的相机模块610的电子和机械的框图。虚线示出了机械耦合。
[0475] 拍摄级定时是由计算机300维持的,且由计算机300经由发往微控制器的控制接口712的信号而被提供至微控制器710。控制接口712可以包括串行的、USB或以太网接口、或任何其他合适的接口。
[0476] 帧级定时是由微控制器710维持的,且由微控制器710经由相机的控制接口714而被提供至相机600。微控制器710经由至其控制器640的信号而提供对多路复用反射镜604的帧级控制以及经由至其控制器642的信号而提供对运动补偿(MC)反射镜608的帧级控制。
[0477] 微控制器710将每个照片的横向控制角度报告给计算机300,允许计算机300在对每个照片的相机姿态的初始估计时包括横向控制角度。这随后通过如以上所述的光束法平差处理(在图21中的步骤412)来细化。包括曝光、定时和姿态的照片元数据可以通过计算机300进行储存和/或跟随每个照片而被储存在图像储存设备702上。
[0478] 相机600在其图像流接口716上产生图像流。图像流接口716可以包括串行的、USB或以太网接口、诸如CoaXPress(CXP)或CameraLink(CL)的高速率接口、如果有必要的话利用多通道、或任何其他适当的接口。如果图像流接口716包括CXP接口,那么其还可以提供相机控制接口714。
[0479] 多路复用反射镜604被附接到经由控制器640被微控制器710控制的测角仪台638。可选的位置传感器644支持闭环控制。测角仪台638可以利用如以上在图45中所述的线性马达、或任何其他合适的致动器或马达,包括经由齿轮箱或蜗杆传动而被耦合的线性致动器或马达(诸如音圈致动器)和旋转马达(诸如步进马达、DC马达或无刷马达)。控制器640可以是任何合适的控制器,例如,当结合PI M-272压电马达使用时的PI C-867运动控制器。位置传感器644可以是任何合适的类型,包括光学传感器、电容传感器、应变传感器和涡流传感器。测角仪台638可以提供两个旋转轴(如果多路复用的反射镜也被用于提供运动补偿)。
[0480] 运动补偿(MC)反射镜608被附接到经由控制器642被微控制器710控制的倾斜台636。可选的位置传感器646支持闭环控制。倾斜台636可以利用如以上参照图45描述的压电致动器或任何其他合适的致动器或马达,包括经由齿轮箱或蜗杆传动而被耦合的线性致动器或马达(诸如音圈致动器)和旋转马达(诸如步进马达、DC马达或无刷马达)。控制器642可以是任何合适的控制器,例如,当结合PI S-340倾斜台使用时的PI E-616控制器。位置传感器646可以是任何合适的类型,包括光学传感器、电容传感器、应变传感器和涡流传感器。
[0481] 图64示出的是关于包括36Mpixel相机的X构型的可操控的相机单元100的根据高度(a,254)、航空器速度(v,678)和可用的视场角度(φ,680)的拍摄速率(r)、帧率(q)和面积捕获速率(R)的表格。表格是基于恒定的7cm GSD(因而基于随着高度增加而增加的焦距)。日常捕获速率基于每天六个勘测小时。
[0482] 高达18,000英尺时,相机600的所需帧率低于36Mpixel Nikon D800 DSLR的4Hz帧率,且高达22,000英尺时,帧率低于Nikon D810 DSLR的5Hz帧率。对于更高的高度(或在更低的高度处的更高的速度)情况,可以使用具有更高的帧率的相机。
[0483] 各种高速机器视觉相机和高分辨率的视频相机是可用的。许多这样的相机利用具有滚动电子快门的CMOS图像传感器。这在存在运动的时候导致几何失真,且使得它们与大多数运动补偿机构不兼容。更少数量的相机利用具有全局电子快门的CMOS图像传感器,使它们适用于可操控的相机模块610。利用CCD图像传感器的相机也是可以适用的,因为CCD本质上具有全球电子快门。具有外设(如,机械快门)的相机也是可以适用的。
[0484] 若干中分辨率和高分辨率全局快门CMOS图像传感器被广泛地使用,包括ON Semiconductor 12Mpixel KAC-12040、12MpixelVITA 12K、16Mpixel VITA 16K和25Mpixel VITA 25K;以及CMOSIS 12Mpixel CMV 12000和20Mpixel CMV20000。
[0485] VITA 25K具有4.5微米的像素间距且支持高达53Hz的帧率。CMV20000具有6.4微米的像素间距且支持高达30Hz的帧率(以12位/像素)。CMV12000具有5.5微米的像素间距且支持高达180Hz的帧率(以12位/像素)和300Hz的帧率(以10位/像素)。
[0486] 利用25Mpixel VITA 25K的机器视觉相机包括32fps Adimec S-25A30、53fps CMOSVision Condor和53fps ISVI IC-X25CXP。
[0487] 利用20Mpixel CMV20000的机器视觉相机包括30fps Jai SP-20000C-PMCL和30fps Ximea CB200CG-CM。
[0488] 利用12Mpixel CMV 12000的机器视觉相机包括66fps Adimec Q-12A65、62fps Baster Beat beA4000-62kc和149fps IO Industries Flare 12M180-CX。
[0489] 图65示出的是关于25Mpixel的X构型可操控的相机单元100(如,假定利用ON Semiconductor VITA 25K图像传感器的相机600)和恒定的5cm GSD的拍摄速率、帧率和面积捕获速率的表格。CMOSVision Condor和ISVI IC-X25CXP支持高达54,000英尺的5cm GSD捕获。
[0490] 图66示出的是关于12Mpixel的X构型可操控的相机单元(如,假定利用CMOSIS CMV 12000图像传感器的相机600)和恒定的5cm GSD的拍摄速率、帧率和面积捕获速率的表格。
Flare 12M180-CX支持高达60,000英尺的5cm GSD捕获。
[0491] 地面点的可观察度和3D纹理质量可以通过将查看方向的数量增加超过四个X构型而被进一步增加。
[0492] 图67A示出的是在28,000英尺操作的三视场的WS-600相机单元100的视场的平面视图。图67B示出的是在28,000英尺操作的四视场的WS-600相机单元100的视场的平面视图。图68A示出的是在28,000英尺操作的五视场的WS-600相机单元100的视场的平面视图。
[0493] 这些视场还可以使用多个相机单元100来捕获,其中每个相机单元100被部署在独立的相机孔上方。例如,四视场捕获可以使用相对于彼此被旋转45度的两个X构型相机100单元来实现。
[0494] 一般而言,对于M视场相机单元100,视场应该在角度上均分间隔,即,180/M度分隔,且应该关于飞行方向被对称地分布,即,一个视场应该偏离飞行方向旋转90/M度。
[0495] 如果视场相对于飞行方向的绝对旋转变化(如在图67A、图67B和图68A中),那么由图61中的EQ 20给出的最小的被调整的飞行线路间隔是由具有最小的绝对旋转差的视场确定的,而由图61中的EQ 21给出的最大的被调整的帧率是由具有最大的绝对旋转差的视场确定的。
[0496] 由于航空器的前向运动,由在可操控的相机单元610中的时分复用的相机600捕获的连续帧必然在飞行方向上被移位,出于清楚起见之前的附图中忽略了影响。因此相邻的帧略微被交错,如在图68B中关于在28,000英尺操作的单视场的双相机WS-600相机单元所示。在附图中,相机单元100的两个相机600同时被操控为从中心向外。引入的交错并未对飞行线路内的和其之间的重叠的度数有影响(因为影响是系统性的)。
[0497] 图69示出的是被针对X构型的相机单元100中的四个相机600矫正的系统运动矢量的平面视图。如果可操控的多路复用的反射镜604被连续移动,则其运动矢量720是主要的。航空器的运动增加较小的恒定的前向运动矢量722,产生作为结果的运动矢量724(虚线所示)。
[0498] 如果多路复用的反射镜604的线性角度运动被通过振荡运动补偿反射镜608来矫正,那么在曝光时段期间运动补偿反射镜608的平均角速度与多路复用的反射镜604的恒定的角速度匹配,且振荡的相位对齐曝光间隔,使得最大矫正角速度与曝光间隔的中心对齐。
[0499] 图70示出的是作为关于当运动补偿反射镜608用于矫正多路复用的反射镜604的运动时的多路复用的反射镜604和运动补偿反射镜608的时间(t,732)的函数的角度位置的曲线图。曲线图734示出的是多路复用的反射镜604的线性运动,而曲线图736a和736b示出的是运动补偿反射镜608的两个可能的正弦曲线运动,每个正弦曲线运动具有其与曝光间隔738的中心对齐的最大速度。
[0500] 根据图70中的EQ 23,运动补偿反射镜608的角度位置(y,730)是振荡的幅度(A)和频率(f)以及时间(t,732)的函数。根据EQ 24,运动补偿反射镜608的角速度(dy/dt)是EQ 23的导数,且根据EQ 25,其在余弦为一时为最大值。根据EQ 26,在曝光间隔738内的反射镜
608的平均角速度是EQ 24的积分除以曝光间隔。
[0501] 根据EQ 24,因为角速度(dy/dt)与振荡的幅度(A)和频率(f)成比例,运动补偿反射镜608的角速度可以通过改变其幅度和其频率而匹配多路复用的反射镜604的角速度。然而,为了维持相位对齐,频率必须是相机帧率的整数倍。正弦曲线736a具有正弦曲线736b的两倍的幅度及一半的频率,因此当它们同相时(如,在图70中的t-0处)它们具有相同的角速度。
[0502] 如在图71中的曲线图734所示,多路复用的反射镜604的线性运动可以按正弦调制,周期地将其减慢且甚至将其反转。这允许运动补偿反射镜608的角速度通过低幅正弦736而匹配于多路复用的反射镜604的角速度,其中略微的相位延迟应对多路复用的反射镜
604的运动的不对称。再一次地,在曝光间隔内平均速度匹配。
[0503] 图72A示出的是可操控的相机模块610的可选的实现,其中多路复用的反射镜604被安装成与光轴成45度且被配置成关于光轴自旋,从而允许相机600的视场612被操控成从一边到另一边。反射镜604被耦合到旋转马达648并由旋转马达648旋转。马达648可以是任何适当的旋转马达(诸如步进马达、DC马达或无刷马达)。可选地,反射镜可以经由齿轮而被耦合到线性致动器或线性马达。
[0504] 通常,运动补偿反射镜608(或代替的固定的反射镜606)提供使光轴弯曲的功能以允许相机600的更方便的垂直安装。如所示,其将光轴弯曲了大约90度,从垂直到水平。运动补偿反射镜608还可以提供早前描述的(结合马达或致动器636,未示出)运动补偿功能。
[0505] 图72A示出的是具有被定为成用于垂直成像的多路复用的反射镜604的可操控的相机模块610,而图72B示出的是具有被定位成用于以倾斜视角成像的多路复用的反射镜604的可操控的相机模块610。
[0506] 图73A和图73B分别示出的是图72A中的可操控的相机模块610的平面视图和后视图,其中多路复用反射镜604被定位成用于以倾斜的角度成像。
[0507] 图72A中的可操控的相机模块610支持比图45中的可操控的相机模块610更宽的操控范围,从而允许相机单元100的更紧凑和/或更便宜的设计。
[0508] 图74示出的是包括利用图72A中的自旋的多路复用的反射镜设计的两个全视场的可操控的细节相机模块616和一个固定的全景相机112的WS-300 HyperCamera单元100的平面视图。与图54中的相机单元100相同,该相机单元100支持完整的细节视场660,但是使用两个细节相机而不是四个。两个细节相机中的每个都以是四个细节相机中的每个的帧率的两倍的帧率进行操作。每个相机模块616的视场160被示出为处于其两个极限倾斜(R=右,L=左)。
[0509] 图75A示出的是可选的利用自旋设计的并在28,000英尺操作的X构型的WS-600相机单元100的完整的视场660的平面视图。完整的视场660等效于图55B中的视场660。当自旋的多路复用的反射镜604导致在各个相机视场中的旋转(如在图75A中所示)时,连续的拍摄提供完整的覆盖(如在图75B中所示)。
[0510] 图76A示出的是双视场可操控的相机模块624,其包括利用自旋设计的两个全视场可操控的相机模块610,但是通过切换反射镜656共享单个相机600。反射镜656还提供了运动补偿反射镜608或固定的反射镜606的功能。与每个操控轴相关联的视场612被示出为在最低点和其两个极限倾斜(N=最低点,R=右,L=左)。
[0511] 如在图76B中更详细地所示,当切换反射镜656面向其第一方向上时,其将相机600的视场引向第一多路复用的反射镜604a,而当其面向第二方向上时,其将相机600的视场引向安装在第一个的直角处的第二多路复用的反射镜604b。切换反射镜656被耦合到旋转马达658并通过其旋转。马达658可以是任何合适的旋转马达(诸如步进马达、DC马达或无刷马达)。可选地,反射镜656可以通过齿轮耦合到线性致动器或马达。
[0512] 图77示出的是包括利用自旋设计的双视场可操控的细节相机模块626和一个固定的全景相机112的WS-300 HyperCamera单元100的平面视图。与图54中的相机单元100相同,该相机单元100支持完整的细节视场660,但是使用一个细节相机而不是四个。该单个细节相机以是四个细节相机中的每个的帧率的四倍的帧率进行操作。与操控轴相关联的视场160被示出为处于其两个极限倾斜(R=右,L=左)。
[0513] 图78A示出的是使用自旋设计的四视场的WS-600相机单元100的视场的平面视图,而图78B示出的是使用自旋设计的五视场的WS-600相机单元100的视场的平面视图,都是在28,000英尺操作的。
[0514] 这些视场可以使用包括适当数量的利用自旋设计的全视场细节相机模块616或利用自旋设计的双视场细节相机模块626的相机单元100来捕获。如前所述,这些视场还可以使用利用自旋设计的多个相机单元100来捕获,其中每个相机单元100被布置在独立的相机孔上方。例如,四视场捕获可以使用相对于彼此旋转45度的两个X构型的相机单元100来实现。
[0515] 这些视场也可以使用利用自旋设计的单个可操控的细节相机模块616通过在水平面上围绕细节相机110的垂直轴旋转反射镜604和608(或606)(及其马达)来捕获。相机110被理想地(而非决定性地)保持固定。反射镜可以连续地旋转到一组离散的角度位置中的每一个,而后是在每个这样的位置处的全视场的捕获。照片可以以任意的密度进行拍摄,这纯粹根据离散的角度位置的数量、受制于相机的最大帧率和多路复用的反射镜604的最大自旋速率。可选地,反射镜可以围绕相机轴旋转以连续地以螺旋模式捕获照片且具有适当的运动补偿。
[0516] 本发明已经参考多个优选的实施方式进行了描述。本领域的普通技术人员将要理解的是存在本发明的许多可选的实施方式,且本发明的范围仅由所附的权利要求限定。
[0517] 整个该说明书及随后的权利要求,除非上下文有其他要求,否则词语“包括(comprise)”,及其变形“包括(comprise)”或“包括(comprising)”,将被理解为暗示包括所阐述的整数或步骤或整数或步骤的组,而非排斥任何其他的整数或步骤或整数或步骤的组。
[0518] 本说明书对任何先前的出版物(或来源于其的信息)或已知的任何事物的引用,并非是且不应被当作对该先前出版物(或来源于其的信息)或已知的事物形成本说明书所涉及的努力的领域内的公知常识的认可或认同或任何形式的建议。