监视装置

摘要

设置如下的关注对象确定部(15)：如果由选择受理部(14)受理了选择的关注对象移动物体(Ta)是摄像机影像(A)内存在的移动物体，则从俯瞰影像(B)内存在的移动物体中确定与关注对象移动物体(Ta)对应的移动物体(Tb)，如果由选择受理部(14)受理了选择的关注对象移动物体(Tb)是俯瞰影像(B)内存在的移动物体，则从摄像机影像(A)内存在的移动物体中确定与关注对象移动物体(Tb)对应的移动物体(Ta)。明示构成摄像机影像(A)的多个部分区域和构成俯瞰影像(B)的多个部分区域中的存在关注对象移动物体(Ta、Tb)的部分区域。

权利要求

1.一种监视装置，其中，所述监视装置具有：

俯瞰影像生成部，其对由摄像机拍摄到的监视区域的影像即摄像机影像进行变形，生成俯瞰影像；

选择受理部，其从所述摄像机影像或所述俯瞰影像内存在的移动物体中，受理关注对象移动物体的选择；

关注对象确定部，如果由所述选择受理部受理了选择的关注对象移动物体是所述摄像机影像内存在的移动物体，则该关注对象确定部从所述俯瞰影像内存在的移动物体中确定与所述关注对象移动物体对应的移动物体，如果由所述选择受理部受理了选择的关注对象移动物体是所述俯瞰影像内存在的移动物体，则该关注对象确定部从所述摄像机影像内存在的移动物体中确定与所述关注对象移动物体对应的移动物体；以及影像显示部，其显示所述摄像机影像和所述俯瞰影像，明示构成所述摄像机影像的多个部分区域和构成所述俯瞰影像的多个部分区域中的、存在由所述选择受理部受理了选择的关注对象移动物体的部分区域和存在由所述关注对象确定部确定的移动物体的部分区域。

2.根据权利要求1所述的监视装置，其中，

所述影像显示部对所述摄像机影像和所述俯瞰影像进行合成，显示该合成后的影像。

3.一种监视装置，其中，所述监视装置具有：

俯瞰影像生成部，其对由多个摄像机对监视区域的一部分进行拍摄后得到的影像即多个摄像机影像进行变形，生成多个俯瞰影像；

俯瞰影像合成部，其对由所述俯瞰影像生成部生成的多个俯瞰影像进行合成，输出合成后的俯瞰影像即合成俯瞰影像；

选择受理部，其从所述多个摄像机影像或所述合成俯瞰影像内存在的移动物体中，受理关注对象移动物体的选择；

关注对象确定部，如果由所述选择受理部受理了选择的关注对象移动物体是所述多个摄像机影像中的任意一个摄像机影像内存在的移动物体，则该关注对象确定部从所述合成俯瞰影像内存在的移动物体中确定与所述关注对象移动物体对应的移动物体，如果由所述选择受理部受理了选择的关注对象移动物体是所述合成俯瞰影像内存在的移动物体，则该关注对象确定部从所述多个摄像机影像内存在的移动物体中确定与所述关注对象移动物体对应的移动物体；以及影像显示部，其显示所述多个摄像机影像和所述合成俯瞰影像，明示构成所述多个摄像机影像的多个部分区域和构成所述合成俯瞰影像的多个部分区域中的、存在由所述选择受理部受理了选择的关注对象移动物体的部分区域和存在由所述关注对象确定部确定的移动物体的部分区域。

4.根据权利要求3所述的监视装置，其中，

所述影像显示部对所述多个摄像机影像和所述合成俯瞰影像进行合成，显示该合成后的影像。

说明书

监视装置

技术领域

[0001] 本发明涉及显示在监视区域内移动的物体的监视装置。

背景技术

[0002] 在以下的专利文献1公开的监视装置中，当追踪在监视区域内移动的物体(以下称作“移动物体”)时，根据拍摄监视区域的俯瞰摄像机的影像检测移动物体的位置，显示表示该移动物体的位置的位置信息。

[0003] 并且，不同于俯瞰摄像机，设置拍摄监视区域内的狭小区域的注视摄像机，根据由注视摄像机拍摄到的影像检测移动物体，显示该移动物体。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1：日本特开2013-168757号公报(图2)

发明内容

[0007] 发明要解决的课题

[0008] 现有的监视装置如上所述构成，因此，能够显示表示移动物体的位置的位置信息和移动物体，但是，存在需要设置使用目的不同的俯瞰摄像机和注视摄像机这样的课题。

[0009] 并且，俯瞰摄像机需要设置在监视区域的正上方，因此，有时很难设置俯瞰摄像机，这种情况下，存在无法检测移动物体的位置这样的课题。

[0010] 本发明正是为了解决上述课题而完成的，其目的在于，得到不设置俯瞰摄像机也能够检测移动物体的位置的监视装置。

[0011] 用于解决课题的手段

[0012] 本发明的监视装置设置有：俯瞰影像生成部，其对由摄像机拍摄到的监视区域的影像即摄像机影像进行变形，生成俯瞰影像；选择受理部，其从摄像机影像或俯瞰影像内存在的移动物体中，受理关注对象移动物体的选择；以及关注对象确定部，如果由选择受理部受理了选择的关注对象移动物体是摄像机影像内存在的移动物体，则该关注对象确定部从俯瞰影像内存在的移动物体中确定与关注对象移动物体对应的移动物体，如果由选择受理部受理了选择的关注对象移动物体是俯瞰影像内存在的移动物体，则该关注对象确定部从摄像机影像内存在的移动物体中确定与关注对象移动物体对应的移动物体，影像显示部显示摄像机影像和俯瞰影像，明示构成摄像机影像的多个部分区域和构成俯瞰影像的多个部分区域中的、存在由选择受理部受理了选择的关注对象移动物体的部分区域和存在由关注对象确定部确定的移动物体的部分区域。

[0013] 发明效果

[0014] 根据本发明，构成为设置有如下的关注对象确定部：如果由选择受理部受理了选择的关注对象移动物体是摄像机影像内存在的移动物体，则该关注对象确定部从俯瞰影像内存在的移动物体中确定与关注对象移动物体对应的移动物体，如果由选择受理部受理了选择的关注对象移动物体是俯瞰影像内存在的移动物体，则该关注对象确定部从摄像机影像内存在的移动物体中确定与关注对象移动物体对应的移动物体，影像显示部显示摄像机影像和俯瞰影像，明示构成摄像机影像的多个部分区域和构成俯瞰影像的多个部分区域中的、存在关注对象移动物体的部分区域。因此，具有不设置俯瞰摄像机也能够检测移动物体的位置的效果。

附图说明

[0015] 图1是示出本发明的实施方式1的监视装置的结构图。

[0016] 图2是示出本发明的实施方式1的监视装置的硬件结构图。

[0017] 图3是监视装置2由计算机构成的情况下的硬件结构图。

[0018] 图4是示出本发明的实施方式1的监视装置的处理内容的流程图。

[0019] 图5是示出由摄像机1拍摄到的摄像机影像A的一例的说明图。

[0020] 图6是示出由俯瞰影像生成部13生成的俯瞰影像B的一例的说明图。

[0021] 图7是示出本发明的实施方式2的监视装置的结构图。

[0022] 图8是示出本发明的实施方式2的监视装置的硬件结构图。

[0023] 图9的(a)～(c)是示出影像合成部41合成摄像机影像A和俯瞰影像B的合成例的说明图。

[0024] 图10是示出本发明的实施方式3的监视装置的结构图。

[0025] 图11是示出本发明的实施方式3的监视装置的硬件结构图。

[0026] 图12是示出本发明的实施方式3的另一个监视装置的结构图。

[0027] 图13是示出本发明的实施方式4的监视装置的结构图。

具体实施方式

[0028] 下面，为了更加详细地说明本发明，根据附图对用于实施本发明的方式进行说明。

[0029] 实施方式1

[0030] 图1是示出本发明的实施方式1的监视装置的结构图，图2是示出本发明的实施方式1的监视装置的硬件结构图。

[0031] 在图1和图2中，摄像机1设置在张望监视区域的位置，向监视装置2输出表示拍摄监视区域而成的影像即摄像机影像A的影像数据。

[0032] 假设摄像机1与监视装置2之间例如通过无线LAN(Local Area Network：局域网)、因特网、近距离无线通信标准规定的无线通信进行连接。

[0033] 监视装置2的影像信息收集部11例如通过与摄像机1连接的接口设备21实现，收集从摄像机1输出的影像数据。

[0034] 影像复制部12例如通过安装有CPU(Central Processing Unit：中央处理单元)的半导体集成电路或者由单片机等构成的影像复制处理电路22实现，实施如下处理：向选择受理部14和关注对象确定部15输出由影像信息收集部11收集到的影像数据所示的摄像机影像A，并且，复制该摄像机影像A，向俯瞰影像生成部13输出与该摄像机影像A相同的摄像机影像A’。

[0035] 俯瞰影像生成部13例如通过由GPU(Graphics Processing Unit：图形处理单元)等构成的影像生成处理电路23实现，实施对从影像复制部12输出的摄像机影像A’进行变形而生成俯瞰影像B的处理。

[0036] 俯瞰影像B是从正上方向下观察监视区域的影像，例如，使用基于几何学的视点转换技术对摄像机影像A’进行二维投影转换，由此，能够生成该俯瞰影像B。

[0037] 并且，俯瞰影像生成部13实施如下处理：将摄像机影像A’和俯瞰影像B分割成多个部分区域a1～a25、b1～b25，向关注对象确定部15输出表示构成摄像机影像A’的多个部分区域a1～a25与构成俯瞰影像B的多个部分区域b1～b25之间的对应关系的对应关系信息。

[0038] 选择受理部14例如通过键盘、鼠标、触摸面板等输入用人机接口24和显示装置等输出用人机接口25实现，实施如下处理：从由影像复制部12输出的摄像机影像A或由俯瞰影像生成部13生成的俯瞰影像B内存在的移动物体中，受理关注对象移动物体的选择。

[0039] 关注对象确定部15例如通过安装有CPU的半导体集成电路或者由单片机等构成的关注对象确定处理电路26实现，实施如下处理：如果由选择受理部14受理了选择的关注对象移动物体Ta是摄像机影像A内存在的移动物体，则从俯瞰影像B内存在的移动物体中确定与关注对象移动物体Ta对应的移动物体Tb，如果由选择受理部14受理了选择的关注对象移动物体Tb是俯瞰影像B内存在的移动物体，则从摄像机影像A内存在的移动物体中确定与关注对象移动物体Tb对应的移动物体Ta。

[0040] 即，关注对象确定部15在由选择受理部14受理了选择的关注对象移动物体Ta是摄像机影像A内存在的移动物体的情况下，确定存在关注对象移动物体Ta的摄像机影像A内的部分区域(例如部分区域a1)。然后，参照从俯瞰影像生成部13输出的对应关系信息，在构成俯瞰影像B的多个部分区域b1～b25中确定与该部分区域a1对应的部分区域b1，判断为该部分区域b1内存在的移动物体是与关注对象移动物体Ta对应的移动物体Tb。

[0041] 并且，关注对象确定部15在由选择受理部14受理了选择的关注对象移动物体Tb是俯瞰影像B内存在的移动物体的情况下，确定存在关注对象移动物体Tb的俯瞰影像B内的部分区域(例如部分区域b1)。然后，参照从俯瞰影像生成部13输出的对应关系信息，在构成摄像机影像A的多个部分区域a1～a25中确定与该部分区域b1对应的部分区域a1，判断为该部分区域a1内存在的移动物体是与关注对象移动物体Tb对应的移动物体Ta。

[0042] 影像显示部16例如通过液晶显示器等显示装置27实现，在画面上显示摄像机影像A，并且，在画面上明示存在由选择受理部14受理了选择的关注对象移动物体Ta的摄像机影像A内的部分区域、或存在由关注对象确定部15确定的关注对象移动物体Ta的摄像机影像A内的部分区域。

[0043] 影像显示部17例如通过液晶显示器等显示装置28实现，在画面上显示俯瞰影像B，并且，在画面上明示存在由选择受理部14受理了选择的关注对象移动物体Tb的俯瞰影像B内的部分区域、或存在由关注对象确定部15确定的关注对象移动物体Tb的俯瞰影像B内的部分区域。

[0044] 在图1中，假设作为监视装置2的结构要素的影像信息收集部11、影像复制部12、俯瞰影像生成部13、选择受理部14、关注对象确定部15和影像显示部16、17分别由专用的硬件构成，但是，监视装置2也可以由计算机构成。

[0045] 图3是监视装置2由计算机构成的情况下的硬件结构图。

[0046] 在监视装置2由计算机构成的情况下，只要将记述有影像信息收集部11、影像复制部12、俯瞰影像生成部13、选择受理部14、关注对象确定部15和影像显示部16、17的处理内容的程序存储在计算机的存储器31中，计算机的处理器32执行存储器31中存储的程序即可。

[0047] 图4是示出本发明的实施方式1的监视装置的处理内容的流程图。

[0048] 接着，对动作进行说明。

[0049] 摄像机1向监视装置2输出表示拍摄监视区域而成的影像即摄像机影像A的影像数据。

[0050] 图5是示出由摄像机1拍摄到的摄像机影像A的一例的说明图。

[0051] 监视装置2的影像信息收集部11收集从摄像机1输出的影像数据(图4的步骤ST1)。

[0052] 在影像信息收集部11收集影像数据后，影像复制部12向选择受理部14和关注对象确定部15输出该影像数据所示的摄像机影像A，并且，复制该摄像机影像A，向俯瞰影像生成部13输出与该摄像机影像A相同的摄像机影像A’。

[0053] 这里，向俯瞰影像生成部13输出从摄像机影像A复制而成的摄像机影像A’，但是，也可以向俯瞰影像生成部13输出摄像机影像A。

[0054] 俯瞰影像生成部13从影像复制部12接收到摄像机影像A’后，对该摄像机影像A’进行变形，生成俯瞰影像B，向选择受理部14和关注对象确定部15输出该俯瞰影像B(步骤ST2)。

[0055] 根据摄像机影像A’生成俯瞰影像B的处理本身是公知技术，因此省略详细说明，但是，例如，如果使用公知的Homography矩阵H，则能够如下述式(1)所示将摄像机影像A’上的坐标点(x,y)转换成俯瞰影像B上的坐标点(X,Y)。

[0056]

[0057]

[0058] 图6是示出由俯瞰影像生成部13生成的俯瞰影像B的一例的说明图。

[0059] 俯瞰影像生成部13对摄像机影像A’进行变形而生成俯瞰影像B后，如图6所示，将俯瞰影像B分割成多个部分区域b1～b25。

[0060] 俯瞰影像生成部13在通过与摄像机影像A’的变形操作相反的变形操作使俯瞰影像B返回到摄像机影像A’时，确定与部分区域b1～b25的各顶点(四边形区域中的4个角的点)的坐标对应的摄像机影像A’上的各顶点的坐标。

[0061] 例如，在部分区域b1～b25的顶点的坐标由(XT,YT)表示的情况下，如果使用Homography矩阵H的逆矩阵H-1，则能够如下述式(2)所示求出与部分区域b1～b25的顶点的坐标(XT,YT)对应的摄像机影像A’上的顶点的坐标(xT,yT)。

[0062]

[0063] 俯瞰影像生成部13设该确定的摄像机影像A’上的各顶点的坐标(xT,yT)是如图5所示构成摄像机影像A’的部分区域a1～a25的各顶点的坐标。

[0064] 俯瞰影像生成部13在确定构成摄像机影像A’的多个部分区域a1～a25的各顶点的坐标后，向关注对象确定部15输出表示构成摄像机影像A’的多个部分区域a1～a25与构成俯瞰影像B的多个部分区域b1～b25之间的对应关系的对应关系信息(步骤ST3)。

[0065] 部分区域a1←→部分区域b1

[0066] 部分区域a2←→部分区域b2

[0067] 部分区域a3←→部分区域b3

[0068]       ：

[0069] 部分区域a25←→部分区域b25

[0070] 并且，俯瞰影像生成部13向选择受理部14输出表示摄像机影像A’内的部分区域a1～a25的位置(各顶点的坐标)和俯瞰影像B内的部分区域b1～b25的位置(各顶点的坐标)的部分区域位置信息(步骤ST4)。

[0071] 这里，示出俯瞰影像生成部13对俯瞰影像B均等地进行25分割的例子，但是不限于此，也可以以25分割以外的分割数进行分割。并且，俯瞰影像B的部分区域b1～b25的大小也可以不均等。

[0072] 选择受理部14在输出用人机接口25显示从影像复制部12输出的摄像机影像A和从俯瞰影像生成部13输出的俯瞰影像B。

[0073] 例如，观察输出用人机接口25中显示的俯瞰影像B的用户对输入用人机接口24进行操作，由此指定俯瞰影像B内存在的任意移动物体后(步骤ST5：是的情况)，选择受理部14将由用户指定的移动物体作为关注对象移动物体Tb而受理选择(步骤ST6)。

[0074] 在该实施方式1中，为了便于说明，设选择俯瞰影像B内的部分区域b1中存在的移动物体作为关注对象移动物体Tb。

[0075] 选择受理部14受理关注对象移动物体Tb的选择后，参照从俯瞰影像生成部13输出的部分区域位置信息，确定存在关注对象移动物体Tb的部分区域b1，向关注对象确定部15输出表示该部分区域b1的移动物体位置信息。该移动物体位置信息包含有表示部分区域b1的位置(各顶点的坐标)的信息。

[0076] 这里，示出将俯瞰影像B内存在的移动物体作为关注对象移动物体Tb而受理选择的例子，但是，观察输出用人机接口25中显示的摄像机影像A的用户也可以对输入用人机接口24进行操作，由此指定摄像机影像A内存在的任意移动物体后，选择受理部14将由用户指定的移动物体作为关注对象移动物体Ta而受理选择。

[0077] 例如，在选择了摄像机影像A的部分区域a1中存在的移动物体作为关注对象移动物体Ta的情况下，参照从俯瞰影像生成部13输出的部分区域位置信息，确定存在关注对象移动物体Ta的部分区域a1，向关注对象确定部15输出表示该部分区域a1的移动物体位置信息。该移动物体位置信息包含有表示部分区域a1的位置(各顶点的坐标)的信息。

[0078] 关注对象确定部15从选择受理部14接收到移动物体位置信息后，判断为该移动物体位置信息所示的部分区域b1是存在关注对象移动物体Tb的部分区域，参照从俯瞰影像生成部13输出的对应关系信息，确定与存在关注对象移动物体Tb的俯瞰影像B内的部分区域b1对应的摄像机影像A内的部分区域a1(步骤ST7)。

[0079] 这里，确定与存在关注对象移动物体Tb的俯瞰影像B内的部分区域b1对应的摄像机影像A内的部分区域a1，但是，在部分区域b1中存在关注对象移动物体Tb，在部分区域a1中存在关注对象移动物体Ta，因此，相当于确定与关注对象移动物体Tb对应的移动物体Ta。

[0080] 并且，这里，示出移动物体位置信息表示俯瞰影像B内的部分区域b1的例子，但是，在移动物体位置信息表示摄像机影像A内的部分区域a1的情况下，判断为该部分区域a1是存在关注对象移动物体Ta的部分区域，参照从俯瞰影像生成部13输出的对应关系信息，确定与存在关注对象移动物体Ta的部分区域a1对应的俯瞰影像B内的部分区域b1。

[0081] 关注对象确定部15确定与俯瞰影像B内的部分区域b1对应的摄像机影像A内的部分区域a1后，向影像显示部16输出摄像机影像A，并且，向影像显示部16输出表示存在关注对象移动物体Ta的部分区域a1的移动物体位置信息。该移动物体位置信息包含有表示部分区域a1的位置(各顶点的坐标)的信息。

[0082] 并且，关注对象确定部15向影像显示部17输出俯瞰影像B，并且，向影像显示部17输出表示存在关注对象移动物体Tb的部分区域b1的移动物体位置信息。该移动物体位置信息包含有表示部分区域b1的位置(各顶点的坐标)的信息。

[0083] 影像显示部16从关注对象确定部15接收到摄像机影像A和表示存在关注对象移动物体Ta的部分区域a1的移动物体位置信息后，在画面上显示摄像机影像A，并且，在画面上明示该移动物体位置信息所示的部分区域a1(步骤ST8)。例如，以使部分区域a1的颜色或色调与其他部分区域a2～a15不同的方式强调显示部分区域a1，由此，明示在部分区域a1存在关注对象移动物体Ta。

[0084] 影像显示部17从关注对象确定部15接收到俯瞰影像B和表示存在关注对象移动物体Tb的部分区域b1的移动物体位置信息后，在画面上显示俯瞰影像B，并且，在画面上明示该移动物体位置信息所示的部分区域b1(步骤ST9)。例如，以使部分区域b1的颜色或色调与其他部分区域b2～b15不同的方式强调显示部分区域b1，由此，明示在部分区域b1存在关注对象移动物体Tb。

[0085] 由以上可知，根据该实施方式1，构成为设置如下的关注对象确定部15：如果由选择受理部14受理了选择的关注对象移动物体Ta是摄像机影像A内存在的移动物体，则从俯瞰影像B内存在的移动物体中确定与关注对象移动物体Ta对应的移动物体Tb，如果由选择受理部14受理了选择的关注对象移动物体Tb是俯瞰影像B内存在的移动物体，则从摄像机影像A内存在的移动物体中确定与关注对象移动物体Tb对应的移动物体Ta，影像显示部16、17在画面上显示摄像机影像A、俯瞰影像B，并且，明示构成摄像机影像A的部分区域a1～a25和构成俯瞰影像B的部分区域b1～b25中的、存在关注对象移动物体Ta、Tb的部分区域a1、b1。因此，发挥不设置俯瞰摄像机也能够检测关注对象移动物体Ta、Tb的位置的效果。

[0086] 在该实施方式1中，示出设关注对象移动物体Ta、Tb收敛在一个部分区域内而确定存在关注对象移动物体Ta、Tb的部分区域a1、b1的情况，但是，只要在关注对象移动物体Ta、Tb跨越多个部分区域的情况下，确定存在关注对象移动物体Ta、Tb的多个部分区域，明示多个部分区域即可。

[0087] 实施方式2

[0088] 在上述实施方式1中，示出具有显示摄像机影像A的影像显示部16和显示俯瞰影像B的影像显示部17的情况，但是，也可以对摄像机影像A和俯瞰影像B进行合成，显示该合成后的影像。

[0089] 图7是示出本发明的实施方式2的监视装置的结构图，图8是示出本发明的实施方式2的监视装置的硬件结构图。

[0090] 在图7和图8中，与图1和图2相同的标号表示相同或相当部分，因此省略说明。

[0091] 影像合成部41例如通过由GPU等构成的影像合成处理电路51实现，实施如下处理：对从关注对象确定部15输出的摄像机影像A和俯瞰影像B进行合成，向影像显示部42输出该合成后的影像。

[0092] 影像显示部42例如通过液晶显示器等显示装置52实现，在画面上显示从影像合成部41输出的合成影像，并且，明示构成摄像机影像A的部分区域a1～a25和构成俯瞰影像B的部分区域b1～b25中的、存在关注对象移动物体Ta、Tb的部分区域a1、b1。

[0093] 在图7中，假设作为监视装置2的结构要素的影像信息收集部11、影像复制部12、俯瞰影像生成部13、选择受理部14、关注对象确定部15、影像合成部41和影像显示部42分别由专用的硬件构成，但是，监视装置2也可以由计算机构成。

[0094] 在监视装置2由计算机构成的情况下，只要将记述有影像信息收集部11、影像复制部12、俯瞰影像生成部13、选择受理部14、关注对象确定部15、影像合成部41和影像显示部42的处理内容的程序存储在图3所示的计算机的存储器31中，计算机的处理器32执行存储器31中存储的程序即可。

[0095] 接着，对动作进行说明。

[0096] 除了影像合成部41和影像显示部42以外，与上述实施方式1相同，因此，这里对影像合成部41和影像显示部42的处理内容进行说明。

[0097] 影像合成部41从关注对象确定部15接收到摄像机影像A和俯瞰影像B后，对摄像机影像A和俯瞰影像B进行合成。

[0098] 图9是示出影像合成部41合成摄像机影像A和俯瞰影像B的合成例的说明图。

[0099] 在图9的(a)中，对纵型的画面进行上下2分割，以在画面上侧配置摄像机影像A、在画面下侧配置俯瞰影像B的方式进行合成。

[0100] 在图9的(b)中，对横型的画面进行左右2分割，以在画面左侧配置摄像机影像A、在画面右侧配置俯瞰影像B的方式进行合成。

[0101] 在图9的(c)中，以在画面的大部分配置摄像机影像A、在画面右上方配置俯瞰影像B的方式进行合成。

[0102] 影像显示部42从影像合成部41接收到合成影像和表示存在关注对象移动物体Ta、Tb的部分区域a1、b1的移动物体位置信息后，在画面上显示该合成影像，并且，明示构成摄像机影像A的部分区域a1～a25和构成俯瞰影像B的部分区域b1～b25中的、存在关注对象移动物体Ta、Tb的部分区域a1、b1。

[0103] 根据该实施方式2，与上述实施方式1同样，不设置俯瞰摄像机也能够检测关注对象移动物体Ta、Tb的位置，而且，影像显示部的台数为一台即可，因此，能够实现成本的降低。

[0104] 实施方式3

[0105] 在上述实施方式1、2中，示出摄像机1的台数为一台的例子，但是，也可以使用多台使用目的相同的摄像机。

[0106] 图10是示出本发明的实施方式3的监视装置的结构图，图11是示出本发明的实施方式3的监视装置的硬件结构图。

[0107] 在图10和图11中，与图1和图2相同的标号表示相同或相当部分，因此省略说明。

[0108] 摄像机1-1～1-N设置在张望监视区域的一部分的位置，向监视装置2输出表示拍摄监视区域的一部分而成的影像即摄像机影像A1～AN的影像数据。另外，由摄像机1-1～1-N拍摄到的区域相互不同。

[0109] 与图1的影像信息收集部11同样，影像信息收集部11-1～11-N通过接口设备21实现，收集从摄像机1-1～1-N输出的影像数据。

[0110] 与图1的影像复制部12同样，影像复制部12-1～12-N通过影像复制处理电路22实现，实施如下处理：向选择受理部62和关注对象确定部63输出由影像信息收集部11-1～11-N收集到的影像数据所示的摄像机影像A1～AN，并且，复制该摄像机影像A1～AN，向俯瞰影像生成部13-1～13-N输出与该摄像机影像A1～AN相同的摄像机影像A1’～AN’。

[0111] 与图1的俯瞰影像生成部13同样，俯瞰影像生成部13-1～13-N通过影像生成处理电路23实现，实施对从影像复制部12-1～12-N输出的摄像机影像A1’～AN’进行变形而生成俯瞰影像B1～BN的处理。

[0112] 俯瞰影像合成部61例如通过由GPU等构成的影像合成处理电路71实现，实施如下处理：对由俯瞰影像生成部13-1～13-N生成的俯瞰影像B1～BN进行合成，向选择受理部62和关注对象确定部63输出合成后的俯瞰影像即合成俯瞰影像B。

[0113] 并且，俯瞰影像合成部61实施如下处理：将摄像机影像A1’～AN’、合成俯瞰影像B分割成多个部分区域，向关注对象确定部63输出表示构成摄像机影像A1’～AN’的多个部分区域与构成合成俯瞰影像B的多个部分区域之间的对应关系的对应关系信息。

[0114] 与图1的选择受理部14同样，选择受理部62通过输入用人机接口24和输出用人机接口25实现，实施如下处理：在从影像复制部12-1～12-N输出的摄像机影像A1～AN或由俯瞰影像合成部61合成后的合成俯瞰影像B内存在的移动物体中，受理关注对象移动物体的选择。

[0115] 与图1的关注对象确定部15同样，关注对象确定部63通过关注对象确定处理电路26实现，实施如下处理：如果由选择受理部62受理了选择的关注对象移动物体Ta是摄像机影像A1～AN内存在的移动物体，则从合成俯瞰影像B内存在的移动物体中确定与关注对象移动物体Ta对应的移动物体Tb，如果由选择受理部62受理了选择的关注对象移动物体Tb是合成俯瞰影像B内存在的移动物体，则从摄像机影像A1～AN内存在的移动物体中确定与关注对象移动物体Tb对应的移动物体Ta。

[0116] 与图1的影像显示部16同样，影像显示部16-1～16-N通过显示装置27实现，在画面上显示摄像机影像A1～AN，并且，在画面上明示存在由选择受理部62受理了选择的关注对象移动物体Ta的摄像机影像A1～AN内的部分区域、或存在由关注对象确定部63确定的关注对象移动物体Ta的摄像机影像A1～AN内的部分区域。

[0117] 在图10中，假设作为监视装置2的结构要素的影像信息收集部11-1～11-N、影像复制部12-1～12-N、俯瞰影像生成部13-1～13-N、俯瞰影像合成部61、选择受理部62、关注对象确定部63和影像显示部16-1～16-N、17分别由专用的硬件构成，但是，监视装置2也可以由计算机构成。

[0118] 在监视装置2由计算机构成的情况下，只要将记述有影像信息收集部11-1～11-N、影像复制部12-1～12-N、俯瞰影像生成部13-1～13-N、俯瞰影像合成部61、选择受理部62、关注对象确定部63和影像显示部16-1～16-N、17的处理内容的程序存储在图3所示的计算机的存储器31中，计算机的处理器32执行存储器31中存储的程序即可。

[0119] 接着，对动作进行说明。

[0120] 摄像机1-1～1-N向监视装置2输出表示拍摄监视区域的一部分而成的影像即摄像机影像A1～AN的影像数据。

[0121] 在该实施方式3中，摄像机影像A1～AN是彼此相邻的区域，通过合并摄像机影像A1～AN，表示监视区域的整体。

[0122] 监视装置2的影像信息收集部11-n(n＝1,2,…,N)收集从摄像机1-n输出的影像数据。

[0123] 在影像信息收集部11-n收集影像数据后，影像复制部12-n(n＝1,2,…,N)向选择受理部62和关注对象确定部63输出该影像数据所示的摄像机影像An，并且，复制该摄像机影像An，向俯瞰影像生成部13-n输出与该摄像机影像An相同的摄像机影像An’。

[0124] 这里，向俯瞰影像生成部13-n输出从摄像机影像An复制而成的摄像机影像An’，但是，也可以向俯瞰影像生成部13-n输出摄像机影像An。

[0125] 俯瞰影像生成部13-n(n＝1,2,…,N)从影像复制部12-n接收到摄像机影像An’后，以与图1的俯瞰影像生成部13相同的方法，对该摄像机影像An’进行变形而生成俯瞰影像Bn，向俯瞰影像合成部61输出该俯瞰影像Bn。

[0126] 俯瞰影像合成部61从俯瞰影像生成部13-1～13-N接收到俯瞰影像B1～BN后，根据摄像机1-1～1-N的配置而以二维平面状排列俯瞰影像B1～BN，由此对俯瞰影像B1～BN进行合成，向关注对象确定部63输出合成后的俯瞰影像即合成俯瞰影像B。

[0127] 在简单的例子中，在摄像机1-1～1-N以二维平面状排成一列的情况下，将俯瞰影像B1～BN排成一列，由此对俯瞰影像B1～BN进行合成。

[0128] 俯瞰影像合成部61对俯瞰影像B1～BN进行合成而生成合成俯瞰影像B后，如图6所示，将该合成俯瞰影像B分割成多个部分区域。

[0129] 图6是摄像机1的台数为一台的例子，因此，部分区域b的数量为25个左右，但是，在该实施方式3中，是摄像机的台数为N台的例子，可认为监视区域的宽度比上述实施方式1的情况更宽，因此，例如设对合成俯瞰影像B进行100分割而得到部分区域b1～b100。

[0130] 俯瞰影像合成部61在通过与俯瞰影像生成部13-1～13-N对摄像机影像A1’～AN’的变形操作相反的变形操作使合成俯瞰影像B返回到摄像机影像A1’～AN’时，确定与部分区域b1～b100的各顶点的坐标对应的摄像机影像A1’～AN’上的各顶点的坐标。

[0131] 例如，在部分区域b1～b100的顶点的坐标由(XT,YT)表示的情况下，如果如上述式(2)所示使用Homography矩阵H的逆矩阵H-1，则能够求出与部分区域b1～b100的顶点的坐标(XT,YT)对应的摄像机影像A1’～AN’上的顶点的坐标(xT,yT)。

[0132] 俯瞰影像合成部61设该确定的摄像机影像A1’～AN’上的各顶点的坐标(xT,yT)是构成摄像机影像A1’～AN’的部分区域的各顶点的坐标。

[0133] 俯瞰影像合成部61在确定构成摄像机影像A1’～AN’的多个部分区域a1～a100的各顶点的坐标后，向关注对象确定部63输出表示构成摄像机影像A1’～AN’的多个部分区域a1～a100与构成合成俯瞰影像B的多个部分区域b1～b100之间的对应关系的对应关系信息。

[0134] 部分区域a1←→部分区域b1

[0135] 部分区域a2←→部分区域b2

[0136] 部分区域a3←→部分区域b3

[0137]       ：

[0138] 部分区域a100←→部分区域b100

[0139] 并且，俯瞰影像合成部61向选择受理部62输出表示部分区域a1～a100的位置(各顶点的坐标)和合成俯瞰影像B内的部分区域a1～a100的位置(各顶点的坐标)的部分区域位置信息。

[0140] 选择受理部62在输出用人机接口25中显示从影像复制部12-1～12-N输出的摄像机影像A1～AN和从俯瞰影像合成部61输出的合成俯瞰影像B。

[0141] 例如，观察输出用人机接口25中显示的合成俯瞰影像B的用户对输入用人机接口24进行操作，由此指定合成俯瞰影像B内存在的任意移动物体后，选择受理部62将由用户指定的移动物体作为关注对象移动物体Tb而受理选择。

[0142] 在该实施方式3中，为了便于说明，设选择合成俯瞰影像B内的部分区域b1中存在的移动物体作为关注对象移动物体Tb。

[0143] 选择受理部62受理关注对象移动物体Tb的选择后，参照从俯瞰影像合成部61输出的部分区域位置信息，确定存在关注对象移动物体Tb的部分区域b1，向关注对象确定部63输出表示该部分区域b1的移动物体位置信息。该移动物体位置信息包含有表示部分区域b1的位置(各顶点的坐标)的信息。

[0144] 这里，示出将合成俯瞰影像B内存在的移动物体作为关注对象移动物体Tb而受理选择的例子，但是，观察输出用人机接口25中显示的摄像机影像A1～AN的用户也可以对输入用人机接口24进行操作，由此指定摄像机影像A1～AN中的任意摄像机影像内存在的移动物体后，选择受理部62将由用户指定的移动物体作为关注对象移动物体Ta而受理选择。

[0145] 例如，在选择了摄像机影像A1的部分区域a1中存在的移动物体作为关注对象移动物体Ta的情况下，参照从俯瞰影像合成部61输出的部分区域位置信息，确定存在关注对象移动物体Ta的部分区域a1，向关注对象确定部63输出表示该部分区域a1的移动物体位置信息。该移动物体位置信息包含有表示部分区域a1的位置(各顶点的坐标)的信息。

[0146] 关注对象确定部63从选择受理部62接收到移动物体位置信息后，判断为该移动物体位置信息所示的部分区域b1是存在关注对象移动物体Tb的部分区域，参照从俯瞰影像合成部61输出的对应关系信息，确定与存在关注对象移动物体Tb的合成俯瞰影像B内的部分区域b1对应的摄像机影像A1～AN内的部分区域。在该例子中，设确定与合成俯瞰影像B内的部分区域b1对应的部分区域是摄像机影像A1内的部分区域a1。

[0147] 这里，确定与存在关注对象移动物体Tb的合成俯瞰影像B内的部分区域b1对应的摄像机影像A1内的部分区域a1，但是，在部分区域b1中存在关注对象移动物体Tb，在部分区域a1中存在关注对象移动物体Ta，因此，相当于确定与关注对象移动物体Tb对应的移动物体Ta。

[0148] 并且，这里示出移动物体位置信息表示合成俯瞰影像B内的部分区域b1的例子，但是，例如在移动物体位置信息表示摄像机影像A1内的部分区域a1的情况下，判断为该部分区域a1是存在关注对象移动物体Ta的部分区域，参照从俯瞰影像合成部61输出的对应关系信息，确定与存在关注对象移动物体Ta的部分区域a1对应的合成俯瞰影像B内的部分区域b1。

[0149] 关注对象确定部63确定与合成俯瞰影像B内的部分区域b1对应的摄像机影像A1内的部分区域a1后，向影像显示部16-1～16-N输出摄像机影像A1～AN，并且，向影像显示部16-1输出表示存在关注对象移动物体Ta的摄像机影像A1内的部分区域a1的移动物体位置信息。

[0150] 并且，关注对象确定部63向影像显示部17输出合成俯瞰影像B，并且，向影像显示部17输出表示存在关注对象移动物体Tb的部分区域b1的移动物体位置信息。

[0151] 影像显示部16-1从关注对象确定部63接收到摄像机影像A1和表示存在关注对象移动物体Ta的部分区域a1的移动物体位置信息后，在画面上显示摄像机影像A1，并且，在画面上明示该移动物体位置信息所示的部分区域a1。

[0152] 影像显示部16-2～16-N从关注对象确定部63接收到摄像机影像A2～AN后，在画面上显示摄像机影像A2～AN。在该例子中，未从关注对象确定部63接收到移动物体位置信息，因此，不实施明示存在关注对象移动物体Ta的部分区域的处理，但是，在从关注对象确定部63接收到移动物体位置信息后，与影像显示部16-1同样，明示存在关注对象移动物体Ta的部分区域。

[0153] 影像显示部17从关注对象确定部63接收到合成俯瞰影像B和表示存在关注对象移动物体Tb的部分区域b1的移动物体位置信息后，在画面上显示合成俯瞰影像B，并且，在画面上明示该移动物体位置信息所示的部分区域b1。

[0154] 由以上可知，根据该实施方式3，构成为设置如下的关注对象确定部63：如果由选择受理部62受理了选择的关注对象移动物体Ta是摄像机影像A1～AN内存在的移动物体，则从合成俯瞰影像B内存在的移动物体中确定与关注对象移动物体Ta对应的移动物体Tb，如果由选择受理部62受理了选择的关注对象移动物体Tb是合成俯瞰影像B内存在的移动物体，则从摄像机影像A1～AN内存在的移动物体中确定与关注对象移动物体Tb对应的移动物体Ta，影像显示部16-1～16-N、17在画面上显示摄像机影像A1～AN、合成俯瞰影像B，并且，明示构成摄像机影像A1～AN的部分区域a1～a100和构成合成俯瞰影像B的部分区域b1～b100中的存在关注对象移动物体Ta、Tb的部分区域a1、b1。因此，发挥不设置俯瞰摄像机也能够检测关注对象移动物体Ta、Tb的位置的效果。

[0155] 在该实施方式3中，具有显示摄像机影像A1～AN的影像显示部16-1～16-N，但是，也可以如图12所示，设置如下的影像选择部64：通过参照从关注对象确定部63输出的移动物体位置信息，从摄像机影像A1～AN中选择包含有存在关注对象移动物体Ta的部分区域a1的摄像机影像A(例如摄像机影像A1)，向影像显示部16输出该摄像机影像A，从而减少影像显示部的台数。

[0156] 影像选择部64例如通过例如安装有CPU的半导体集成电路或由单片机等构成的影像选择处理电路实现。

[0157] 实施方式4

[0158] 在上述实施方式3中的图12的监视装置中，示出具有显示由影像选择部64从摄像机影像A1～AN中选择出的摄像机影像A(例如摄像机影像A1)的影像显示部16、显示合成俯瞰影像B的影像显示部17，但是，也可以对由影像选择部64选择出的摄像机影像A和合成俯瞰影像B进行合成，显示该合成后的影像。

[0159] 图13是示出本发明的实施方式4的监视装置的结构图，在图13中，与图12相同的标号表示相同或相当部分。

[0160] 影像合成部41对由影像选择部64选择出的摄像机影像A(例如摄像机影像A1)和合成俯瞰影像B进行合成。

[0161] 影像合成部41合成摄像机影像A(例如摄像机影像A1)和合成俯瞰影像B的合成方法与上述实施方式2相同，例如如图9所示进行合成。

[0162] 影像显示部42从影像合成部41接收到合成影像后，在画面上显示该合成影像。

[0163] 并且，影像显示部42明示构成由影像选择部64选择出的摄像机影像A的多个部分区域和构成合成俯瞰影像B的多个部分区域中的、存在关注对象移动物体Ta、Tb的部分区域。

[0164] 根据该实施方式4，与上述实施方式3同样，不设置俯瞰摄像机也能够检测关注对象移动物体Ta、Tb的位置，而且，影像显示部的台数为一台即可，因此，能够实现成本的降低。

[0165] 另外，本申请能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或在各实施方式中省略任意结构要素。

[0166] 产业上的可利用性

[0167] 本发明的监视装置适合显示在监视区域内移动的物体。

[0168] 标号说明

[0169] 1、1-1～1-N：摄像机；2：监视装置；11、11-1～11-N：影像信息收集部；12、12-1～12-N：影像复制部；13、13-1～13-N：俯瞰影像生成部；14：选择受理部；15：关注对象确定部；
16、17：影像显示部；21：接口设备；22：影像复制处理电路；23：影像生成处理电路；24：输入用人机接口；25：输出用人机接口；26：关注对象确定处理电路；27、28：显示装置；31：存储器；32：处理器；41：影像合成部；42：影像显示部；51：影像合成处理电路；52：显示装置；61：
俯瞰影像合成部；62：选择受理部；63：关注对象确定部；64：影像选择部；71：影像合成处理电路。