拍摄图像显示方法及拍摄图像显示装置

摘要

本发明揭示一种拍摄图像显示方法，以3维方式规定从空中拍摄的地面拍摄图像的位置，计算并求出所拍摄的地面的拍摄范围，依据该拍摄范围使拍摄图像变形后，叠合在地理信息系统的地图上进行显示。从地理信息系统的地图和拍摄图像分别提取界标，并核对对应的界标，从而校正计算所拍摄的拍摄范围中使用的参数。

权利要求

1.一种拍摄图像显示方法，对装载在空中机体的摄像装置拍摄后的地面拍摄图像进行图像处理并加以显示，其特征在于，具备根据对于所述地面的所述机体与所述摄像装置的姿势，以3维方式规定空中的拍摄位置，计算并求出所拍摄的大于等于1张的地面的图像的拍摄范围，依据该拍摄范围使拍摄图像变形后，

将变形后的所述拍摄图像叠合在地理信息系统的地图上时，从所述地理信息系统的地图和所述拍摄图像分别提取界标，核对对应的界标，从而校正计算所拍摄的地面的拍摄范围时使用的参数，将拍摄图像叠合在地理信息系统的地图上进行显示，同时能消除在地图上叠合的拍摄图像，使其仅留下拍摄范围框。

2.如权利要求1所述的拍摄图像显示方法，其特征在于，

根据提取的界标校正所述摄像装置对所述机体的倾角和旋转角，并计算所拍摄的地面的拍摄范围。

3.如权利要求1所述的拍摄图像显示方法，其特征在于，

根据提取的界标校正所述机体对地面的倾角和摆角，并计算所拍摄的地面的拍摄范围。

4.如权利要求1所述的拍摄图像显示方法，其特征在于，

使用提取的界标的2个点，根据2个点之间的距离校正所述机体高度，并计算所拍摄的地面的拍摄范围。

5.如权利要求1所述的拍摄图像显示方法，其特征在于，

提取的界标为3个或多于3个时，用各界标的2点间参数校正值的平均值计算所拍摄的地面的拍摄范围。

6.如权利要求1所述的拍摄图像显示方法，其特征在于，

从所述地理信息系统的地图和多张的各拍摄图像分别提取界标时，在没有对应的界标的情况下，根据上次提取界标时的校正值校正计算所拍摄的地面的拍摄范围时使用的参数，并移动相互重复一部分地接合且叠合在地图上显示的拍摄图像，使得该重复部的重复状态成为最多后，进行接合。

7.如权利要求1所述的拍摄图像显示方法，其特征在于，

从所述地理信息系统的地图和各拍摄图像分别提取界标，回溯到提取上次界标时的拍摄图像与当前的拍摄图像的中间地点，根据当前的校正值校正计算连续拍摄的地面的各拍摄范围时使用的参数，从而将这些多张拍摄图像叠合在地理信息系统的地图上进行显示。

8.如权利要求4所述的拍摄图像显示方法，其特征在于，

对因界标一致而执行拍摄图像的高度校正处理的地点进行高度校正值登记，下一次及其后在该地点附近的地点飞行时，可将所述登记的高度校正值作为高度校正基准值再次利用。

说明书

拍摄图像显示方法及拍摄图像显示装置

技术领域

[0001] 本发明涉及拍摄图像显示方法以及使用这种拍摄图像显示方法的拍摄图像显示装置，其特征为通过将例如直升机上装载的摄像装置发来的图像叠合在地理信息系统的地图上进行显示，能方便且高精度地进行判断发生地震、失火等天灾和爆炸、严重事故等人祸等灾害时地上的状况。

背景技术

[0002] 在地图上特定从空中拍摄的地上的拍摄对象的位置，是发生地震、失火等天灾和爆炸、严重事故等人祸等灾害时容易地进行地上的状况用的非常重要的技术。已有的定位方法和装置例如日本国专利第2695393号公报所揭示，以3维方式规定空中拍摄位置，测量相对于拍摄位置的目标物方向，根据预先编制的包含对地面起伏的高度信息的3维地形数据求出目标物存在的地面，将从空中拍摄的地面目标物的位置规定为地面与从拍摄位置往目标物方向延伸的直线的交点位置。

[0003] 已有的定位方法和装置中，为了规定地面目标物的位置，需要预先编制的包含对地面起伏的高度信息的3维地形数据作为前提。而且，不能校正以3维方式规定空中拍摄位置并测量目标物对拍摄位置的方向时产生的测量误差而难以准确定位。又由于定位限于目标物一点，存在不可能按面掌握地面状况的问题。

发明内容

[0004] 本发明是为解决上述问题而完成的，其目的为：提供一种拍摄图像显示方法以及使用这种方法的拍摄图像显示装置，可通过将拍摄图像叠合在地理信息系统地图上进行显示，按面掌握所拍摄的地面的状况，而且利用核对拍摄图像和地图，校正图像在地图上的显示位置，进行高精度重叠显示，从而能较方便且快速地掌握所拍摄的地面的状况。

[0005] 为了达到该目的，本发明的拍摄图像显示方法及拍摄图像显示装置，对装载在空中机体的摄像装置拍摄后的地面拍摄图像进行图像处理并加以显示，其中以3维方式规定空中的拍摄位置，计算并求出所拍摄的地面的拍摄范围，依据该拍摄范围使拍摄图像变形后，将其叠合在地理信息系统的地图上进行显示。

[0006] 该显示方法及装置对装载在空中机体的摄像装置拍摄后的地面拍摄图像进行图像处理并加以显示，其中以3维方式规定空中的拍摄位置，计算并求出所拍摄的地面的拍摄范围，依据该拍摄范围使拍摄图像变形后，将其叠合在地理信息系统的地图上进行显示，并且从所述地理信息系统的地图和所述拍摄图像分别提取界标，核对对应的界标，从而校正计算所拍摄的地面的拍摄范围时使用的参数，将拍摄图像精度良好地叠合在地理信息系统的地图上进行显示。

[0007] 根据本发明，便于确认图像信息与地图的一致性，能方便地判别目标地点。

附图说明

[0008] 图1是示出实施本发明实施方式1的拍摄图像显示方法的拍摄图像显示装置的框图。

[0009] 图2是实施方式1的地图处理手段的功能说明图。

[0010] 图3是示出实施方式1的显示画面的照片。

[0011] 图4是示出利用本发明实施方式2的拍摄图像显示方法及装置取得的显示画面的照片。

[0012] 图5是说明本发明实施方式3的图。

[0013] 图6是说明实施方式3的地图处理的图。

[0014] 图7是说明本发明实施方式4的图。

[0015] 图8是说明实施方式4的地图处理的图。

[0016] 图9是说明本发明实施方式5的图。

[0017] 图10是说明实施方式5的地图处理的图。

[0018] 图11是说明本发明实施方式6的拍摄图像显示方法及装置的地图处理的图。

[0019] 图12是说明本发明实施方式7的拍摄图像显示方法及装置的地图处理的图。

[0020] 图13是说明本发明实施方式8的拍摄图像显示方法及装置的地图处理的图。

[0021] 图14是示出实施本发明实施方式9的拍摄图像显示方法的拍摄图像显示装置的框图。

[0022] 图15是实施方式9的地图处理手段的功能说明图。

[0023] 图16是示出实施方式9的图像显示方法的运作的流程图。

[0024] 图17是说明实施方式9的地图处理手段中用于计算拍摄视框的角度参数的图。

[0025] 图18是说明实施方式9的地图处理手段中的拍摄视框计算的图。

[0026] 图19是说明实施方式9的地图处理手段中的参数校正的图。

[0027] 图20是示出实施方式9的图像显示方法及装置的效果的图。

[0028] 图21是说明本发明实施方式11的图。

[0029] 图22是说明本发明实施方式12的图。

[0030] 图23是示出本发明实施方式14的图像显示方法及装置的运作的流程图。

[0031] 图24是示出实施方式14的图像显示方法及装置的效果的图。

[0032] 图25是说明本发明实施方式15的图。

[0033] 图26是说明本发明实施方式16的图。

具体实施方式

[0034] 实施方式1

[0035] 首先，说明本发明的梗概。本发明通过将从空中拍摄地面而得的拍摄图像叠合在地理信息系统(在计算机画面上显示GIS(Geographic Information System：地理信息系统)地图的系统)的地图上进行显示，便于确认图像信息与地图的一致性，从而便于判别目标地点。但是，从空中用摄像机拍摄地面时，不管摄像机的取向，其图像总是只拍摄成一定的矩形，所以难以将拍摄的图像原样叠合(张贴)在地理信息系统取得的地图上。因此，本发明中，利用使用拍摄图像时的摄像机信息和机体姿态信息的计算，根据摄像机对地面的姿态等，由计算求出从矩形变换成接近梯形和菱形等复杂形状的地面拍摄范围(＝拍摄视框)，依据该视框使图像变形，以张贴在地图上进行显示。

[0036] 下面，参照附图说明本发明实施方式1的拍摄图像显示方法和拍摄图像处理系统。图1是说明实施本发明的拍摄图像显示装置(系统)的框图，图2是说明地图处理手段的功能的图。由装载摄像装置(摄像机)等的直升机等飞行体(＝机体)组成的机上系统100和设在地面的接收并处理来自机上系统100的信号的地面系统200实现本发明的方法及装置。

[0037] 机上系统100由机上装置组成，该机上装置具有从空中拍摄地面的拍摄手段、作为获取以3维方式规定拍摄手段的拍摄位置用的信息的信息收集部的机体位置测量手段108和机体姿态测量手段107、发送所述拍摄手段拍摄的拍摄图像和所述信息数据部取得的信息的发送手段。

[0038] 即，机上系统100中，机体101装载作为从空中拍摄地面的拍摄手段105的摄像机102。机体101具有利用作为GSP信号接收部的天线103取得当前位置信息并进行机体位置检测的机体位置测量手段108和陀螺仪，还具有进行检测出机体的姿态(即仰角(＝倾角)和摆角)的机体姿态检测的机体姿态测量手段107。

[0039] 包含摄像机102的拍摄手段105拍摄地面，输出其拍摄图像，同时还一起输出摄像机的光圈、变焦距等摄像机信息。摄像机102装在万向架上，该万向架具有检测出摄像机的旋转角(全景拍摄角)、倾角(倾斜)的摄像机姿态测量手段的106，并输出其值。

[0040] 用复接手段109将来自所述机体位置测量手段108的输出信号、机体姿态测量手段107的输出信号、摄像机拍摄手段105的图像信号、摄像机信息信号、摄像机姿态测量手段106的输出信号复接后，在信号变换手段110形成数字信号，并从具有跟踪手段111的发送手段104往地面系统200发送。

[0041] 地面系统200主要由输入以3维方式规定拍摄手段从空中拍摄的地面拍摄图像和所述拍摄手段的拍摄位置用的信息的输入部、对输入的信息进行信号处理的信号处理部、在画面上显示地图的地理信息系统、将信号处理部处理的信息包含在内进行图像处理并显示在显示部的地图处理部组成。

[0042] 即，在具有跟踪手段202的接收手段201接收来自机上系统100的信号，用信号变换手段203对其进行变换。由去复接手段204取出该信号，当作图像信号、以及其它机体位置、机体姿态、摄像机姿态、摄像机信息等的信息信号。在信号处理手段205对取出的这些信号进行信号处理，并且将图像信号作为活动图像数据207和静止图像数据208用于下一步骤的地图处理手段206中的地图处理。此外，还将包含地理信息系统的2维地图数据209、地形数据210的信息信号用于地图处理手段206中的地图处理。211是监视器显示手段。

[0043] 图2是示出本实施方式的拍摄图像显示系统的地图处理手段概况的图。如图2所示，地图处理手段206根据作为图像信号的活动图像数据207和静止图像数据208、以及机体位置、机体姿态、摄像机姿态的信息信号和地理信息系统的2维地图数据209、3维地形数据210，进行处理，主要由求出与拍摄手段拍摄的拍摄图像的拍摄范围对应的地理信息系统的地图上的拍摄范围的拍摄范围计算部(视框计算处理部212)、依据视框计算212求出的拍摄范围使所述拍摄图像变形的图像变形部(图像变形处理部213)、将所述变形后的拍摄图像叠合在所述地图上的所述拍摄范围的显示部(图像叠合处理部214等)组成。

[0044] 地图处理手段206首先在视框计算212利用机体位置信息信号，以3维方式规定空中拍摄位置，并根据摄像机和机体对地面的姿态进行利用计算求出拍摄的地面的拍摄范围(＝拍摄视框)的视框计算。依据该视框进行图像变形213。该图像变形使图像变形为符合地图的接近梯形或菱形等形状。接着，用叠合214使得变形后的图像叠合(张贴)在地理信息系统的地图上后，将其显示在CRT(阴极射线管)等监视器显示手段211(也称为监视器显示部)。

[0045] 图3是将拍摄图像302叠合在地理信息系统的地图301上并且使拍摄视框303与地图相合的照片。304是机体的飞行路径，305是机体位置(摄像机位置)。如图3所示，通过用地图处理手段206进行包含所述变形处理的地图处理，使图像与地图大致完全相符，便于确认图像信息与地图的一致性，从而能方便地判别目标地点。

[0046] 成为，如图3所示，除能将摄像机拍摄的视框的图像叠合在地图上进行显示外，还能方便地擦除拍摄图像302，仅显示视框303。这里，将拍摄图像302叠合在2维地图上。因此，用拍摄图像302辨认例如发生灾害的地方(例如发生火灾的建筑物)等，在拍摄图像
302上核对(点击)其位置后，擦除拍摄图像302，作为仅有视框303的显示，显示拍摄图像
302下面的2维地图，则能迅速识别在拍摄图像上点击的位置相当于地图上的何处。而且，不管摄像机的朝向，预先使监视器的显示图像对一定方向显示，则更容易判别目标地点。

[0047] 实施方式2

[0048] 本实施方式中，测量机体101的当前位置，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框，依据该拍摄视框使拍摄的图像变形后贴合，并且进行拍摄图像与地图的核对时，以规定的周期对连续拍摄的拍摄图像连续多张地取样，将连续的多张图像贴合在地理信息系统的地图上进行显示，根据该贴合在地图上的图像规定目标地点。

[0049] 图4示出此方法的监视器显示画面，304是机体飞行路径，305是机体位置(摄像机位置)。按规定的定时对摄像机沿飞行路径304拍摄的图像取样，求出各视框，并对拍摄图像作变形处理，使其符合视框后，张贴在地图301上。302a～302f是张贴的图像，303a～303f是其视框。

[0050] 如实施方式1所说明，由使用拍摄时的摄像机信息和机体姿态信息的计算进行拍摄视框计算和图像对各视框的变形。各图像的取样周期可随机体速度改变。通常机体速度快时取样周期短，机体速度慢时取样周期长。

[0051] 本实施方式2中，可一面确认基于地图和多张连续图像的大范围地面状况，一面识别地上的状况，能进一步有效地进行目标地点判别。

[0052] 实施方式3

[0053] 本实施方式中，测量机体101的当前位置和摄像机102对机体的旋转角和倾角(全景拍摄角和倾斜＝摄像机姿态)，根据该摄像机姿态，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框，依据该拍摄视框使拍摄的图像变形并贴合后，进行拍摄图像和地图的核对。

[0054] 根据本实施方式3，通过根据作为拍摄手段的摄像机的姿态计算拍摄视框，可一面确认拍摄图像与地图的位置关系，一面识别精度较高的地上的状况。

[0055] 现在，假设机体101与摄像机102的关系为图5那样将摄像机102收装在万向架112，机体101进行水平飞行，则如图5(b)、(c)所示，将摄像机102的倾角作为偏离机体101中心轴的倾角(＝倾斜)输出，将摄像机102的旋转角度(全景拍摄角)作为偏离机体101行进方向的旋转角度输出。即，(b)的状态表示摄像机102朝向正下方，因而倾角为0度；
(c)的状态表示摄像机102的倾角θ变成偏离垂直面的倾角。

[0056] 可作为计算机图形的基础，用3D坐标内的矩形(视框)的旋转移动和投影处理取得摄像机拍摄视框计算方法。基本上根据摄像机信息和机体信息对摄像机拍摄视框进行变换处理，计算对地面投影时的图框，从而能得到目的视框。3D坐标内各坐标的计算方法可用下面的行列式计算方法。

[0057] (1)计算基准状态下的拍摄视框

[0058] 首先，如图6(a)所示，将机体位置作为原点，将计算视框的4个点的位置计算为相对坐标。根据摄像机的焦距、视场角和高度在基准位置计算拍摄视框，从而得到4个点的坐标。

[0059] (2)按摄像机的倾斜(z轴)计算4个点在旋转后的位置

[0060] 如图6(b)所示，根据摄像机倾角θ使拍摄视框在z轴周围旋转。用下面的式1进行变换并求出旋转后的坐标。

[0061] [式1]

[0062]

[0063] (3)按摄像机方位角(y轴)计算4个点旋转后的位置

[0064] 如图6(c)所示，根据摄像机方位角θ使拍摄视框在y轴周围旋转。用下面的式2进行变换并求出旋转后的坐标。

[0065] [式2]

[0066]

[0067] (4)计算将旋转处理后的视框从原点(机体位置)投影到地面(y轴高度地点)的视框

[0068] 如图6(d)所示，通过将视框投影到地面(y轴高度)，取得投影平面(拍摄视框)。用下面的式3变换并求出投影后的坐标。

[0069] [式3]

[0070]

[0071] 用下面的式4取得广义同维坐标系统[X、Y、Z、W]。其中，d为海拔高度。

[0072] [式4]

[0073] [X Y Z W]＝[x y z y/d]

[0074] 接着，除以W’(＝y/d)，还原为3D，则变成下面的式5。

[0075] [式5]

[0076]

[0077] 实施方式4

[0078] 本实施方式中，测量机体101的当前位置和机体101的仰角与摆角，根据各仰角和摆角，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框，依据该拍摄视框使拍摄的图像变形并贴合后，进行拍摄图像和地图的核对。根据本实施方式4，通过从机体101对地面的位置信息计算拍摄视框，可一面确认拍摄图像与地图的位置关系，一面识别精度较高的地上的状况。

[0079] 现在，假定机体与摄像机的关系如图7那样使摄像机102固定在机体101上(即不使用万向架)，则如图7(b)所示，机体101本身离开地面水平飞行时，摄像机102朝向正下方，因而摄像机102的倾角为0度。机体101如图7(c)那样倾斜时，该情况为摄像机102的姿态，因而根据机体102的仰角(倾角)、摆角计算摄像机拍摄视框。

[0080] (1)计算基准状态下的拍摄视框

[0081] 如图8(a)所示，将机体位置作为原点，将视框的4个点的位置计算为相对坐标。根据摄像机的焦距、视场角和高度在基准位置计算拍摄视框，从而得到4个点的坐标。

[0082] (2)按机体的摆角(x轴)计算4个点在旋转后的位置

[0083] 如图8(b)所示，根据摄像机摆角θ使拍摄视框在z轴周围旋转。用下面的式6进行变换并求出旋转后的坐标。

[0084] [式6]

[0085]

[0086] (3)按机体倾角(z轴)计算4个点旋转后的位置

[0087] 如图8(c)所示，根据机体倾角θ使拍摄视框在z轴周围旋转。用下面的式7进行变换并求出旋转后的坐标。

[0088] [式7]

[0089]

[0090] (4)计算将旋转处理后的视框从原点(机体位置)投影到地面(y轴高度地点)的视框

[0091] 如图8(d)所示，通过将视框投影到地面(y轴高度)，取得投影平面(拍摄视框)。

[0092] 用下面的式8变换并求出投影后的坐标。

[0093] [式8]

[0094]

[0095] 用下面的式9取得广义同维坐标系统[X、Y、Z、W]。其中，d为海拔高度。

[0096] [式9]

[0097] [X Y Z W]＝[x y z y/d]

[0098] 接着，除以W’(＝y/d)，还原为3D，则变成下面的式10。

[0099] [式10]

[0100]

[0101] 实施方式5

[0102] 本实施方式中，测量机体101的当前位置和摄像机102对机体的旋转角和倾角，并且测量机体101的仰角和摆角，根据这些角度，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框，依据该拍摄视框使拍摄的图像变形并贴合后，进行拍摄图像和地图的核对。根据本实施方式5，通过根据摄像机姿态信息和机体姿态信息计算拍摄视框，可一面确认拍摄图像与地图的位置关系，一面识别精度较高的地上的状况。

[0103] 现在，假设机体101与摄像机102的关系为图9那样将摄像机102收装在万向架112，机体101以自由姿态进行水平飞行，则如图5(b)所示，从万向架112输出摄像机102的倾角和摄像机旋转角度。还从万向架输出机体101对地面的仰角和摆角。

[0104] 用3D坐标内的矩形(视框)的旋转移动和投影处理取得摄像机拍摄视框计算方法，可作为计算机图形的基础。基本上根据摄像机信息和机体信息对摄像机拍摄视框进行变换处理，计算对地面投影时的图框，从而能得到目的视框。3D坐标内各坐标的计算方法可用下面的行列式计算方法。

[0105] (1)计算基准状态下的拍摄视框

[0106] 如图10(a)所示，将机体位置作为原点，将视框的4个点的位置计算为相对坐标。根据摄像机的焦距、视场角和高度在基准位置计算拍摄视框，从而得到4个点的坐标。

[0107] (2)按摄像机的倾斜(z轴)计算4个点在旋转后的位置

[0108] 如图10(b)所示，根据摄像机倾角θ使拍摄视框在z轴周围旋转。用下面的式11进行变换并求出旋转后的坐标。

[0109] [式11]

[0110]

[0111] (3)按摄像机方位角(y轴)计算4个点旋转后的位置

[0112] 如图10(c)所示，根据摄像机方位角θ使拍摄视框在y轴周围旋转。用下面的式12进行变换并求出旋转后的坐标。

[0113] [式12]

[0114]

[0115] (4)按机体的摆角(x轴)计算4个点在旋转后的位置

[0116] 如图10(d)所示，根据摄像机摆角θ使拍摄视框在z轴周围旋转。用下面的式13进行变换并求出旋转后的坐标。

[0117] [式13]

[0118]

[0119] (5)按机体倾角(z轴)计算4个点旋转后的位置

[0120] 如图10(e)所示，根据机体倾角θ使拍摄视框在z轴周围旋转。用下面的式14进行变换并求出旋转后的坐标。

[0121] [式14]

[0122]

[0123] (6)计算将旋转处理后的视框从原点(机体位置)投影到地面(y轴高度地点)的视框

[0124] 如图10(f)所示，通过将视框投影到地面(y轴高度)，取得投影平面(拍摄视框)。用下面的式15变换并求出投影后的坐标。

[0125] [式15]

[0126]

[0127] (7)用下面的式16取得广义同维坐标系统[X、Y、Z、W]。

[0128] [式16]

[0129] [X Y Z W]＝[x y z y/d]

[0130] (8)接着，除以W’(＝y/d)，还原为3D，则变成下面的式17。

[0131] [式17]

[0132]

[0133] 实施方式6

[0134] 本实施方式中，测量机体101的当前位置和摄像机102对机体的旋转角和倾角，并且测量机体101的仰角和摆角，根据这些角度，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框。在该拍摄视框的4点计算处理中，利用地形高度数据校正机体101的飞行位置，并计算拍摄视框。依据该拍摄视框使拍摄的图像变形并贴合在地理信息系统的地图上后，进行拍摄图像和地图的核对。

[0135] 根据本实施方式6，使用机体的位置、高度、机体姿态信息和摄像机姿态信息，并根据地面的地形高度信息进行校正，以计算拍摄视框，从而可一面确认拍摄图像与地图的位置关系，一面识别精度较高的地上的状况。

[0136] 如图11所示，在上述实施方式5的旋转后对地面的拍摄视框的计算处理中，以相对于GSP装置取得的海拔高度利用地面的地形高度信息的方式，对机体的高度使用拍摄地点的地面高度(相对高度d＝海拔高度-地面高度)，实施拍摄视框的4点计算。

[0137] (1)计算将旋转处理后的视框从原点(机体位置)投影到地面(y轴高度地点)的视框

[0138] 通过将视框投影到地面(y轴高度)，取得投影平面(拍摄视框)。用下面的式18进行变换并求出投影后的坐标。

[0139] [式18]

[0140]

[0141] 用下面的式19取得广义同维坐标系统[X、Y、Z、W]。

[0142] [式19]

[0143] [X Y Z W]＝[x y z y/d]

[0144] 接着，除以W’(＝y/d)，还原为3D，则变成下面的式20。

[0145] [式20]

[0146]

[0147] 这里，从GPS装置取得的离开地平线的绝对高度减去目标地点的地形高度后，求出使用的相对高度d，并利用来自摄像机的相对高度，从而计算高精度拍摄视框位置。

[0148] 实施方式7

[0149] 本实施方式中，测量机体101的当前位置，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框，依据该拍摄视框使拍摄的图像变形后贴合，并且进行拍摄图像与地图的核对时，将地图上贴合的拍摄图像连续地以多张连续的方式贴合在地理信息系统的地图上进行显示，根据该贴合在地图上的图像规定目标地点。

[0150] 在进行多张拍摄图像贴合在地理信息系统的地图上的处理中，按照计算的拍摄视框进行配置后，确认各拍摄图像的重复部分的接合状态，并移动图像，进行位置校正，使图像重叠状态最多。使用该校正值，使拍摄图像在地理信息系统的地图上依据拍摄视框变形，并进行贴合处理。

[0151] 图12示出其步骤。将随着机体101的移动拍摄到的例如2张拍摄图像1(A)和拍摄图像2(B)重叠，使A和B相对移动，以检测出重复部分(图中的粗框内)C，并且图像重叠状态最多，从而得到接合时的位置校正值，进行位置校正D，使其接合。用图2的图像位置接合与校正部215进行位置校正。

[0152] 根据本实施方式7，多张连续图像形成精度较高的接合，从而可一面确认范围较大的地面状况，一面识别地上的状况。

[0153] 实施方式8

[0154] 本实施方式中，测量机体101的当前位置和摄像机102对机体的旋转角和倾角，并且测量机体101的仰角和摆角，在地理信息系统的地图上计算从机上拍摄的地面拍摄视框，依据该拍摄视框使拍摄的图像变形并贴合后，进行拍摄图像和地图的核对。

[0155] 进行此处理时，重要的是在地面系统200完全同步地接收机上系统100发送的各信息。为了实现这点，需要调整机体位置测量手段的处理时间、摄像机的万向架的姿态处理手段的处理时间、图像发送的处理时间等处理时间，以便与拍摄图像同步发送各信息。为了实现这点，图1中设置缓存，从而将机上的摄像机的图像信号暂时存储在存储手段113，使其与GPS等的机体位置检测的计算处理时间的延迟同步地发送到地面系统200。

[0156] 利用图13说明此关系。机体101接收GPS信号并检测出机体位置前需要时间T，机体101在该时间中从位置P1移动到位置P2。因此，在完成机体位置检测的时间点，摄像机102拍摄的区域变成从位置P1拍摄的区域隔开距离R的区域，产生误差。

[0157] 图13(b)是示出修正该误差的步骤的时序图。从检测出基准位置用的GPS观测时间点t1开始，在缓存器中将图像信号暂时保存一段GPS计算时间T后，在t2将暂时保存的图像信号与机体位置、机体姿态、摄像机信息等合在一起发送。

[0158] 根据本实施方式，从拍摄装置的安装信息计算拍摄视框，从而可一面确认拍摄图像与地图的位置关系，一面识别精度较高的地上的状况。

[0159] 上述各实施方式中，计算视框后，依据该视框使拍摄图像变形，并将该变形的图像以叠合的方式贴在地图上，但也可仅求出与拍摄手段拍摄的拍摄图像对应的地图上的拍摄范围，将拍摄图像叠合在地图上的该范围进行显示。

[0160] 上述各实施方式中，根据机上系统发送的信息在地面系统进行地图处理，但不限于此。也可在机上系统设置显示器等显示装置，在机上系统进行地图处理，使其显示在机上系统的显示装置上，或将处理后的信息发送到地面系统，在地面系统进行显示。

[0161] 实施方式9

[0162] 本实施方式从拍摄图像提取表示地图上的特征地点的例如交叉点、车站、大建筑物等“界标”，或从地图上的拍摄范围所对应的区域提取相应的界标，调整视框计算参数(下文表示用于计算作为地面的摄像机拍摄范围的拍摄视框的机体位置、机体姿态、摄像机姿态信息和摄像机设定信息)，使图像和地图上的界标一致，从而精度良好地使图像变形并重叠合在GIS画面上显示。

[0163] 下面参照附图进行说明。图14中，省略图1的天线103、复接手段109、信号变换手段110、跟踪手段111、暂存手段113、发送手段104、接收手段201、跟踪手段202、信号变换手段203、去复接手段204。图15是说明地图处理手段的功能说明图。

[0164] 图14中，利用直升机等的飞行体(＝机体)101中装载的GPS装置等机体位置测量手段108进行机体位置测量，取得当前位置信息。机体101具有陀螺仪等，并利用该机体姿态测量手段107测量机体的姿态，即仰角(＝倾角)和摆角。机体101中装载的摄像机102的拍摄手段105拍摄地面，输出其图像信号，同时还一起输出摄像机的变焦距等摄像机信息。将摄像机102装在万向架等上，利用该摄像机姿态测量手段106测量摄像机的旋转角度(＝全景拍摄角)、倾角(＝倾斜)。

[0165] 将这些机体位置测量手段108、机体姿态测量手段107、拍摄手段105、摄像机姿态测量手段106的输出输入到信号处理手段205，分别进行信号处理，并且将摄像机拍摄的图像信号变换成活动图像数据207、静止图像数据208。将信号处理手段205的输出和2维地图数据209输入到地图处理手段226，进行地图处理。

[0166] 地图处理手段226具有图15所示的功能。如图15所示，地图处理手段226利用作为图像信号的活动图像数据207和静止图像数据208、以及机体位置、机体姿态、摄像机姿态的信息信号和地理信息系统的2维地图数据209进行处理。

[0167] 地图处理手段226中，首先以3维方式规定空中拍摄位置，根据摄像机和机体对地面的姿态，进行利用计算求出拍摄的地面的拍摄范围(＝拍摄视框)的视框计算212。接着，在与地理信息系统的地图上的拍摄范围周边对应的范围进行界标提取202，还从静止图像数据208进行界标提取221。进行使这些界标一致用的界标核对222，根据界标核对222的结果进行图像变形与校正223，校正拍摄图像重叠到地图上的显示位置后，对图像进行往地理信息系统的地图上的叠合214。最后，利用CRT等监视器显示手段211将其显示在监视器上。

[0168] 接着，根据图16的流程图说明运作。首先，将图14中作为机体位置测量手段108的输出的机体位置、作为机体姿态测量手段107的输出的俯仰角和摆角、作为摄像机姿态测量手段106的输出的全景拍摄角和倾斜、作为拍摄手段105的输出的摄像机102的变焦距、信号处理手段205中得到的静止图像数据208、以及2维地图数据209分别当作输入数据读入(S21)。接着，将机体位置、俯仰角、摆角、摄像机的全景拍摄角、倾斜、变焦距当作参数，进行视框计算(S22)。接着，在与地理信息系统地图上的视框计算212求出的拍摄范围对应的区域周边进行界标提取(S23)。在S23提取界标时，进行从静止图像数据208提取相应的界标(S24)(S25)。

[0169] S25中从图像提取界标时，核对S23和S 25中得到的相应的界标，并校正S22的视框计算中用的参数(例如全景拍摄角、倾斜)的值，使这些界标一致(S26)(S26)(S27)。进而，根据S28中求出的参数校正值再次计算拍摄视框，依据该拍摄视框使静止图像数据208变形后，叠合在地理信息系统的地图上进行显示(S29)(S30)(S31)。

[0170] S23或S25中未提取界标时，依据S22中求出的拍摄视框使静止图像数据208变形后，叠合在地理信息系统的地图上进行显示(S29)(S30)(S31)。图17示出作为视框计算212中使用的角度参数的俯仰角、摆角、摄像机的全景拍摄角、倾斜。

[0171] 拍摄视框计算方法使用上述方法，根据各角度参数对基准状态下的拍摄视框进行旋转处理后，将其投影到地面，从而得到地面的摄像机拍摄范围，即拍摄视框。如图18所示，将机体位置作为原点，将x轴取为机体行进方向，z轴取为对地面向上垂直的方向，并且将y轴取为对x轴、z轴垂直，则具体计算如下。

[0172] 基准状态下的拍摄视框计算

[0173] 基于摄像机倾斜的y轴周围旋转

[0174] 基于摄像机全景拍摄角的z轴周围旋转

[0175] 基于机体摆角的x轴周围旋转

[0176] 基于机体俯仰角的y轴周围旋转

[0177] 对地面(绝对高度(＝海拔高度)为0的水平面)的投影

[0178] 图18(a)示出计算基准状态下的拍摄视框42的状态，图18(b)示出根据各角度参数对基准状态下的拍摄视框42作旋转处理后投影到地面的状态。

[0179] 用图19说明校正摄像机的全景拍摄角和倾斜的方法。将机体高度取为h，倾斜测量值取为θ，全景拍摄角测量值取为φ，图像上的界标坐标取为(x、y)，地图上的界标坐标取为(xo、yo)时，校正后的倾斜和全景拍摄角的值θo、φo可通过解下面的公式21求出。

[0180] [式21]

[0181]

[0182] 其中，这里进行核对的地图上的界标坐标(xo、yo)是进行下面的变换后的坐标。

[0183] 基于机体俯仰角的y轴周围反向旋转

[0184] 基于机体摆角的x轴周围反向旋转

[0185] 对地面(绝对高度(＝海拔高度)为0的水平面)

[0186] 图20(a)是将拍摄视框42和拍摄图像43叠合在地理信息系统的地图41上而不进行本发明的校正的照片，图20(b)是将拍摄视框42和拍摄图像43叠合在地理信息系统的地图41上并且进行本发明的校正的照片。44是机体位置(摄像机位置)。通过进行包含上述校正处理的地图处理手段226的处理，如图20(b)所示，图像与地图完全一致，能进行高精度的重叠显示，从而能较方便且快速地掌握所拍摄的地面的状况。

[0187] 根据实施方式9，不仅能修正测量各参数的各测量设备的测量误差，而且在操作装在机体上的摄像机过程中将拍摄的图像叠合在地图上显示时，也能修正因拍摄定时与摄像机姿态信息(全景拍摄角、倾斜)数据获取定时偏差而产生的误差。

[0188] 实施方式10

[0189] 本实施方式是通过校正机体姿态信息(摆角、俯仰角)，而非通过校正全景拍摄角、倾斜，进行拍摄视框校正的方法，利用下面的计算进行摆角和俯仰角校正。

[0190] 将进行到基于倾斜和全景拍摄角的旋转处理为止时的图像时的界标坐标取为(x1、y1、z1)，又用式22求出进行基于摆角θ和俯仰角φ的旋转时的界标坐标取为(x2、y2、z2)。

[0191] [式22]

[0192]

[0193] 进而，进行对地面的投影时，用式23求出界标坐标(x、y、z)。

[0194] [式23]

[0195]

[0196] 其中，h是机体高度，满足将地图上的界标坐标取为(xo、yo)时的式24的θ、φ是校正后的θo、φo。

[0197] [式24]

[0198]

[0199] 根据本实施方式10，在将摄像机固定装在机体上，设置成全景拍摄角和倾斜的角度不变，因而全景拍摄角和倾斜的校正无效时，也能通过修正机体姿态信息(即摆角、俯仰角)作较接近实际的参数校正，可进行高精度重叠显示，因而能较方便且快速地掌握所拍摄的地面的状况。

[0200] 实施方式11

[0201] 本实施方式提取界标的2个点，并根据这2点之间的距离进行机体高度校正。在实施方式9(图16)的S23提取界标的2点时，也同样从静止图像数据205提取相应的2个点的界标(S24)(S25)。

[0202] S25中从图像提取相应的界标时，核对S23与S25中取得的界标。并且校正机体高度(本情况下当作基于GPS装置的离开海面的绝对高度获取机体高度，因而高度校正形成地面相对高度)，使图像上的界标2点间的距离与GIS地图上的界标2点间的距离相同(S27)(S28)。

[0203] 进而，根据S28中求出的参数校正值再次计算拍摄视框，依据该拍摄视框使静止图像数据208变形后，重叠合在地理信息系统的地图上进行显示(S29)(S30)(S31)。

[0204] 从图21(b)可知，将机体绝对高度当作h，利用下式求出本发明进行界标间距离校正后的高度(相对高度)h’。

[0205]

[0206] 其中，E是地图上的距离，F是图像上的距离。

[0207] 通过进行包含上述校正处理的地图处理手段226的处理，对地面高于海面的地点的拍摄图像也能进行高精度重叠显示，从而能较方便且快速地掌握所拍摄的地面的状况。

[0208] 实施方式12

[0209] 本实施方式通过根据界标数量进行参数校正，可作精度较高的拍摄图像与地图的重叠显示。在实施方式9(图16)的S22提取界标2点时，同样也从静止图像数据208提取相应的界标2点(S24)(S25)。S25中从图像提取界标时，核对S23和S25中得到的相应界标(S27)。

[0210] 首先，校正用于S22的视框计算的参数(全景拍摄角、倾斜)值，使与第1点相应界标一致，接着修正机体姿态参数(摆角、俯仰角)值，以修正第2点相应的界标的差额(S27)(S28)。进而，根据S28求出的各参数校正值再次计算拍摄视框，依据该拍摄视框使静止图像数据208变形后，重叠合在地理信息系统的地图上进行显示(S29)(S30)(S31)。

[0211] 图22是说明这点的图，黑圆表示地图上的界标，黑三角表示图像上的界标。图22(a)示出拍摄图像重叠合在GIS地图上进行显示的状态，图22(b)示出进行上述实施方式11的高度校正后的状态，图22(c)示出进行其后的全景拍摄角和倾斜校正后的状态，图
22(d)示出进一步进行摆角和俯仰角校正后的状态。

[0212] 根据本实施方式12，仅1点界标一致的参数调整中，在整个拍摄范围难以高精度重叠并显示拍摄图像和地图时，通过使用2个点的界标，能进行精度较高的重叠显示，从而能较方便且快速地掌握所拍摄的地面的状况。

[0213] 实施方式13

[0214] 本实施方式在提取3个以上的界标时，求出全部2点间的参数校正值，将其平均值作为参数校正值。实施方式9(图16)的S23中提取2个以上的界标时，也同样对静止图像数据208提取2个以上的多个界标(S24)(S25)。

[0215] S25中从图像提取界标时，从S23和S25中得到的界标选择相应的2点，分别进行核对，从而求出参数校正值。对全部界标2点选择都这样进行，从而取得多个参数校正值，对每一参数取这些校正值的平均，将这些平均值分别作为各参数的校正值(S27)(S28)。进而，根据S28求出的参数校正值再次计算拍摄视框，依据该拍摄视框使静止图像数据208变形后，重叠合在地理信息系统的地图上进行显示(S29)(S30)(S31)。

[0216] 通过进行包含上述校正处理的地图处理，与根据界标1点或2点的位置对图像和地图的重叠进行显示校正时相比，能进行精度较高的重叠显示，从而能较方便且快速地掌握所拍摄的地面的状况。

[0217] 实施方式14

[0218] 本实施方式涉及连续按规定周期拍摄多张拍摄图像，并提供连续的多张图像作为静止图像数据时的地图上的重叠显示处理。对得到的静止图像进行界标提取处理，其结果提取出界标，则通过与GIS地图核对，进行校正，但不一定能从全部静止图像提取界标。在一面拍摄一面进行重叠显示的现场显示处理中，由于处理时间的关系，难以对全部拍摄图像即时执行图像处理，并提取界标进行校正。

[0219] 因此，未提取界标的静止图像在地图上的重叠显示根据进行上次校正时的校正值再次进行视框计算，依据求出的拍摄视框使图像变形后，重叠合在地理信息系统的地图上进行显示，从而提高重叠位置精度。

[0220] 此处理相当于图23的S24、S26、S32、S33、S31，在S24提取相应的界标时，进行与实施方式9相同的处理。图24示出此方法的监视器显示画面，41是地图，44是机体位置(摄像机位置)，45是机体飞行路径。按规定的定时对摄像机沿飞行路径45拍摄的图像取样，分别进行重叠位置校正后，重叠合在地理信息系统的地图41上进行显示。43a～43g是张贴后的图像，42是最新图像43g的拍摄视框。

[0221] 本实施方式14中，在未提取界标时，也能进行重叠显示位置的校正，从而可进行高精度重叠显示，同时还能较方便且快速地掌握遍及所拍摄的大范围的地面状况。

[0222] 实施方式15

[0223] 本实施方式15涉及连续按规定周期拍摄多张拍摄图像，并提供连续的多张图像作为静止图像数据时的地图上的重叠显示处理。连续的拍摄图像中存在利用界标核对执行重叠位置校正的图像和不能提取界标从而不能进行基于核对的重叠位置校正的拍摄图像。

[0224] 此情况下，实际飞行时，如上述实施方式14所示，在下次提取界标前，继续使用上次的校正值；使用过去的飞行图像在地图上进行图像重叠显示的处理中，与现场飞行时相比，能使位置校正的处理时间有余量。因此，在地图上重叠并显示过去的飞行图像时，如图25所示，通过回溯到与进行上次界标核对校正的地点的中间点，应用接着提取界标的地点上求出的各参数校正值，进行重叠显示位置的校正。

[0225] 图25中，灰色方框表示界标提取图像，白色方框表示未提取界标的图像。箭头号G表示从提取界标并进行重叠位置校正的图像挪用其重叠位置校正值，校正重叠位置。利用本实施方式15，能改善不能作界标核对校正时的图像间重复状态，如图25所示。

[0226] 图25(a)示出不用本实施方式的情况，图25(b)示出应用本实施方式的情况。将可作界标核对图像重叠位置校正的拍摄图像作为基点，以进行重叠显示校正的拍摄图像之间的中间地点为目标，调整图像配置，使前后图像重复部分的一致率最大，从而能在GIS地图上精度较高地重叠并显示连续拍摄的图像。

[0227] 根据本实施方式15，在GIS地图上重叠并显示过去的飞行图像的处理中未提取界标时，也能进行重叠显示位置校正。而且，界标提取图像不割裂图像间的重复状况，能进行较顺畅连续的高精度重叠显示，同时还能较方便且快速地掌握遍及所拍摄的大范围的地面状况。

[0228] 实施方式16

[0229] 本实施方式中，通过按位置链接并登记从过去的飞行图像提取的拍摄图像的高度校正数据，在不能从拍摄图像提取界标时也能进行拍摄地点的高度校正。

[0230] 因界标一致而能执行高度校正处理时，绝对高度与相对高度之差给出的高度校正值按拍摄地点作为该地点的高度校正值进行登记并加以管理，使其经常能用，从而下次及其后机体在该地点附近的地点飞行的情况下，处理时间有限的现场飞行时和不能提取2个以上静止图像和地图中对应的界标时，都能进行高度校正。

[0231] 图26示出在GIS地图上重叠并显示连续拍摄的静止图像的状态。该图中，说明在最后1张图像51和中间的1张图像52提取2个界标，并能取得高度的校正值的情况。

[0232] 图像51和图像52中，设由于2个以上界标一致而能取得高度校正值时该校正值分别为61、62，则将作为地图的地点的高度校正值61、62当作象征标志进行登记，以对不能提取2个以上界标的图像提供该地点的高度校正值。因此，不仅摄像机安装角度而且地面高度，都能进行误差校正，使连续拍摄的图像可在GIS地图上精度较高地重叠并显示。

[0233] 实施方式16中，通过在地图上的地点登记从过去的飞行图像提取的高度校正数据，即使对不能提取2个以上界标的图像也能进行高度校正，从而可进行精度较高的重叠显示。

[0234] 工业上的实用性

[0235] 能用于在发生地震、失火等天灾和爆炸、严重事故等人祸时，从直升机等飞机上拍摄地上的状况的拍摄图像显示装置。