增强现实显示系统、程序以及方法

摘要

本发明的课题在于，实现基于位置信息的位置游戏的多样化，进一步提高娱乐性。解决该课题的手段为，提供一种增强现实显示系统，其将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，该增强现实显示系统具备：照相机(121)，其拍摄现实世界的影像；位置信息取得部(144)，其取得照相机(121)拍摄影像的时间点的坐标和方位作为位置信息；图像解析部(145a)，其解析与构成所拍摄的现实世界的影像的各像素有关的被摄体间的相对距离作为深度信息；虚拟显示数据生成部(145b)，其基于位置信息取得部(144)取得的位置信息，在包含现实世界中的地理信息的现实地图信息(M1)上生成虚拟显示数据；以及合成处理部(145g)，其将虚拟显示数据生成部(145b)生成的虚拟显示数据重叠显示在照相机(121)拍摄的影像上。

权利要求

1.一种增强现实显示系统，其将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，其特征在于，该增强现实显示系统具备：拍摄部，其拍摄现实世界的影像；

位置信息取得部，其取得上述拍摄部拍摄影像的时间点的坐标和方位作为位置信息；

图像解析部，其解析与构成所拍摄的上述现实世界的影像的各像素有关的被摄体间的相对距离作为深度信息；

虚拟显示数据生成部，其基于上述位置信息取得部取得的上述位置信息来生成虚拟显示数据，该虚拟显示数据是表示将上述虚拟对象配置在包含上述现实世界中的地理信息的现实地图信息上的状态的数据；

合成处理部，其根据上述深度信息，将上述虚拟显示数据生成部生成的上述虚拟显示数据重叠显示在上述拍摄部拍摄的影像上；以及学习处理部，其基于在物理上分开的至少两个点拍摄到的图像，对于构成图像的像素的颜色和在图像中的位置、进行拍摄的时间点的位置信息、以及与上述相对距离有关的信息之间的相关进行学习，上述图像解析部针对上述拍摄部拍摄到的一个实际图像，参照上述学习处理部的学习结果来解析该实际图像的深度信息。

2.根据权利要求1所述的增强现实显示系统，其特征在于，

上述学习处理部将通过对在上述两个点拍摄到的图像的视差进行解析而得到的直到被摄体的距离与每个像素的特征点的分级组合图案以及在该拍摄场所中的位置信息关联起来作为相关信息进行积蓄，上述图像解析部针对上述拍摄部拍摄到的一个实际图像，参照所积蓄的上述相关信息，根据该实际图像的特征点的组合图案的一致度来解析该实际图像的深度信息。

3.根据权利要求2所述的增强现实显示系统，其特征在于，

上述现实地图信息中包含与上述现实地图中配置的建筑物或地形的形状或高度有关的信息，上述学习处理部基于上述现实地图信息中包含的与建筑物或地形的形状或高度有关的信息来修正上述相关信息。

4.根据权利要求1所述的增强现实显示系统，其特征在于，

上述增强现实显示系统还设置图层生成部，该图层生成部将构成上述影像的各像素，基于其各自的深度信息，分配给在该影像的深度方向上形成层级的多个图层，上述合成处理部根据基于上述位置信息的上述拍摄部与上述虚拟对象之间的相对距离、以及与上述图层生产部生成的图层有关的深度信息，使上述虚拟显示数据重叠。

5.一种存储有增强现实显示程序的计算机可读存储介质，该增强现实显示程序将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，其特征在于，该增强现实显示程序使计算机作为以下各部发挥功能：拍摄部，其拍摄现实世界的影像；

位置信息取得部，其取得上述拍摄部拍摄影像的时间点的坐标和方位作为位置信息；

图像解析部，其解析与构成所拍摄的上述现实世界的影像的各像素有关的被摄体间的相对距离作为深度信息；

虚拟显示数据生成部，其基于上述位置信息取得部取得的上述位置信息来生成虚拟显示数据，该虚拟显示数据是表示将上述虚拟对象配置在包含上述现实世界中的地理信息的现实地图信息上的状态的数据；

合成处理部，其根据上述深度信息，将上述虚拟显示数据生成部生成的上述虚拟显示数据重叠显示在上述拍摄部拍摄的影像上；以及学习处理部，其基于在物理上分开的至少两个点拍摄到的图像，对于构成图像的像素的颜色和在图像中的位置、进行拍摄的时间点的位置信息、以及与上述相对距离有关的信息之间的相关进行学习，上述图像解析部针对上述拍摄部拍摄到的一个实际图像，参照上述学习处理部的学习结果来解析该实际图像的深度信息。

6.一种增强现实显示方法，其将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，其特征在于，该增强现实显示方法包括如下步骤：拍摄现实世界的影像，并且取得拍摄影像的时间点的坐标和方位作为位置信息的步骤；

解析与构成所拍摄到的上述现实世界的影像的各像素有关的被摄体间的相对距离来作为深度信息的步骤；

基于所取得的上述位置信息来生成虚拟显示数据的步骤，其中，虚拟显示数据是表示将上述虚拟对象配置在包含上述现实世界中的地理信息的现实地图信息上的状态的数据；

根据上述深度信息，将所生成的上述虚拟显示数据重叠显示在所拍摄到的影像上的步骤；以及基于在物理上分开的至少两个点拍摄到的图像，对于构成图像的像素的颜色和在图像中的位置、进行拍摄的时间点的位置信息、以及与上述相对距离有关的信息之间的相关进行学习的步骤，在解析上述深度信息的步骤中，针对所拍摄到的一个实际图像，参照上述学习的结果来解析该实际图像的深度信息。

说明书

增强现实显示系统、程序以及方法

技术领域

[0001] 本发明涉及一种将虚拟对象合成显示在拍摄现实世界而得的影像上的增强现实显示系统、程序以及方法。

背景技术

[0002] 以往，能够携带且进行基于无线通信的信息通信的智能手机或便携电话、移动PC等信息处理装置已得到普及，并且能够利用GPS等位置信息服务等多功能化得到了发展。

[0003] 近年来，提出了多种利用这样的信息处理装置的便携性和位置信息服务的所谓的位置游戏(例如，专利文献1)。在该专利文献1所公开的技术中构建了如下游戏系统：将从GPS等获得的现实世界的当前所在地及其位移显示为角色扮演游戏所示的画面(虚拟世界)的虚拟位置和虚拟位移并进行控制，并且其位置与事件图标重叠时显示第二虚拟世界。由此，能够利用位置信息将以往的游戏方式或者以往没有的游戏方式与实际的位置信息组合来实现新的娱乐节目，并且能够提供一种步行者可以通过实际移动而快乐地运动的系统。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1:日本特开2001-70658号公报

发明内容

[0007] 发明要解决的课题

[0008] 然而，在上述与位置信息服务关联的位置游戏中，虚拟的建筑物或角色、生物等出现的情况比较多，在游戏的设定上，也会提供具备将建筑物或角色合成显示在用户当前位置的景观上的功能、也就是所谓的增强现实(AR：Augmented Reality)显示功能。根据这种增强现实显示功能，能够通过用智能手机或游戏机上设置的照相机对用户当前位置的周边景观进行拍摄，并将用计算机图形描绘出的影像合成到所拍摄到的实际影像上，来提供一种仿佛角色等就存在于周边景观中一般的影像，从而增加游戏的真实感。

[0009] 在这样的位置游戏中，有的时候从用户的当前位置到很远的地方均存在虚拟的建筑物或角色，在将这样的建筑物或角色合成到实际影像上时，需要将要合成的建筑物跟前和背后的景观进行前后重叠来表现出深度。但是，用照相机拍摄出的影像由于是二维数据，并不包含反映到影像中的物体的距离感或前后关系等信息，因此难以表现出上述深度。

[0010] 因此，本发明是为了解决上述问题而提出的，其目的在于，提供一种在基于位置信息的位置游戏中，通过增强现实显示功能将虚拟对象重叠合成到现实世界的实际影像中时，能够通过简单的处理而适当地显示出影像中被摄体的距离感或前后关系来实现增强现实的多样化，从而进一步提高娱乐性的对象控制系统、程序以及方法。

[0011] 用于解决课题的手段

[0012] 为了解决上述课题，本发明提供一种增强现实显示系统，其将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，该增强现实显示系统具备：

[0013] 拍摄部，其拍摄现实世界的影像；

[0014] 位置信息取得部，其取得上述拍摄部拍摄影像的时间点的坐标和方位作为位置信息；

[0015] 图像解析部，其解析与构成所拍摄的上述现实世界的影像的各像素有关的被摄体间的相对距离作为深度信息；

[0016] 虚拟显示数据生成部，其基于上述位置信息取得部取得的上述位置信息来生成虚拟显示数据，该虚拟显示数据是表示将上述虚拟对象配置在包含上述现实世界中的地理信息的现实地图信息上的状态的数据；以及

[0017] 合成处理部，其根据上述深度信息，将上述虚拟显示数据生成部生成的上述虚拟显示数据重叠显示在上述拍摄部拍摄的影像上。

[0018] 此外，本发明还提供一种增强现实显示程序，其将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，该增强现实显示程序使计算机作为以下部件发挥作用：

[0019] 拍摄部，其拍摄现实世界的影像；

[0020] 位置信息取得部，其取得上述拍摄部拍摄影像的时间点的坐标和方位作为位置信息；

[0021] 图像解析部，其解析与构成所拍摄的上述现实世界的影像的各像素有关的被摄体间的相对距离作为深度信息；

[0022] 虚拟显示数据生成部，其基于上述位置信息取得部取得的上述位置信息来生成虚拟显示数据，该虚拟显示数据是表示将上述虚拟对象配置在包含上述现实世界中的地理信息的现实地图信息上的状态的数据；以及

[0023] 合成处理部，其根据上述深度信息，将上述虚拟显示数据生成部生成的上述虚拟显示数据重叠显示在上述拍摄部拍摄的影像上。

[0024] 另外，本发明还提供一种增强现实显示方法，将虚拟对象合成到拍摄现实世界而得的影像中来进行显示，该增强现实显示方法包括如下步骤：

[0025] 拍摄部拍摄现实世界的影像，并且位置信息取得部取得上述拍摄部拍摄影像的时间点的坐标和方位作为位置信息的步骤；

[0026] 虚拟显示数据生成部基于上述位置信息取得部取得的上述位置信息来生成虚拟显示数据的步骤，其中，虚拟显示数据是表示将上述虚拟对象配置在包含上述现实世界中的地理信息的现实地图信息上的状态的数据；以及

[0027] 合成处理部根据上述深度信息，将上述虚拟显示数据生成部生成的上述虚拟显示数据重叠显示在上述拍摄部拍摄的影像上的步骤。

[0028] 在上述发明中，还设有图层生成部，该图层生成部将构成上述影像的各像素，基于其各自的深度信息，分配在该影像的深度方向上具有层级结构的多个图层，上述合成处理部能够根据基于上述位置信息的上述拍摄部和上述虚拟对象之间的相对距离、以及与上述图层部所生成的图层有关的深度信息，使上述虚拟显示数据重叠。

[0029] 此外，在上述发明中，上述图像解析部还可以基于物理上分开的至少两点上的图像视差，来计算上述被摄体间的相对距离。进一步地，在上述发明中，还设有学习处理部，该学习处理部将构成上述图像的像素的颜色和在上述图像中的位置、上述位置信息、以及与上述图像解析部计算出的相对距离有关的信息之间的相关性作为相关信息来进行累积，上述图像解析部可以参照上述相关信息来解析上述深度信息。

[0030] 进一步地，在上述发明中，优选在现实地图信息中包含与配置在现实地图上的建筑物或地形的形状或高度有关的信息，且上述学习处理部具有如下功能：根据与上述现实地图信息中包含的建筑物或地形的形状或高度有关的信息，来校正上述相关信息的功能。

附图说明

[0031] 图1是表示实施方式涉及的游戏系统的整体结构的概念图。

[0032] 图2是表示实施方式涉及的现实地图信息M1和虚拟地图信息M2之间的关系的说明图。

[0033] 图3是表示实施方式涉及的现实地图信息M1上的用户位置和虚拟地图信息M2上的对象之间的关系的说明图。

[0034] 图4是表示实施方式涉及的实际图像和增强现实显示的说明图。

[0035] 图5是表示实施方式涉及的深度信息的解析处理的说明图。

[0036] 图6是表示实施方式涉及的深度信息的解析处理的说明图。

[0037] 图7是表示实施方式涉及的深度信息的解析处理中的图层处理的说明图。

[0038] 图8是表示实施方式涉及的游戏服务器3的内部结构的框图。

[0039] 图9是表示实施方式涉及的智能手机1的内部结构的框图。

[0040] 图10是表示实施方式涉及的显示数据生成部的内部结构的框图。

[0041] 图11是表示实施方式涉及的识别功能模块进行的识别处理的概要的说明图。

[0042] 图12是表示实施方式涉及的角色移动和幻化处理之间的关系的说明图。

[0043] 图13是表示实施方式涉及的幻化处理的状态迁移的说明图。

[0044] 图14是表示实施方式涉及的幻化处理的操作的说明图。

[0045] 图15是针对实施方式涉及的基于反复往返移动的积分累积的说明图。

[0046] 图16是表示实施方式涉及的幻化处理中的街区涂装操作的说明图。

[0047] 图17是表示实施方式涉及的积分发行处理顺序的流程图。

[0048] 图18是表示实施方式涉及的批处理操作的序列图。

[0049] 图19是表示实施方式涉及的批处理操作的一个例子的说明图。

[0050] 图20是表示实施方式涉及的批处理操作的一个例子的说明图。

具体实施方式

[0051] 下面，参照附图对本实施方式涉及的游戏系统以及游戏程序的实施方式进行详细说明。

[0052] (系统的整体结构)

[0053] 图1是表示本实施方式涉及的游戏系统的整体结构的概念图。如图1所示，本实施方式涉及的游戏系统大致由用户10使用的便携终端装置即智能手机1和设置在因特网2上的游戏服务器3构成。此外，在本实施方式中，以智能手机1为便携终端装置的一个例子来进行说明。

[0054] 在本实施方式中，游戏服务器3是进行游戏进展(game progress)处理的服务器，能够通过单一的服务器装置或多个服务器装置群来实现，在CPU上虚拟构筑多个功能模块，各个功能模块协作地执行处理。此外，该游戏服务器3能够借助通信功能通过因特网2来进行数据的收发，并且能够借助Web服务器功能通过浏览器软件来进行Web页的提示等。

[0055] 智能手机1是利用无线通信的可携带的信息处理终端装置，便携电话通过无线与无线基站22等中继点进行通信，能够在移动的同时接受通话、数据通信等通信服务。作为该便携电话的通信方式，例如除了3G方式、LTE(Long Term Evolution，长期演进)方式、4G方式、FDMA方式、TDMA方式、CDMA方式、W-CDMA外，还列举了PHS(Personal Handyphone System，个人手机系统)方式等。另外，该智能手机1搭载有数字照相机功能、应用软件的执行功能、基于GPS(Global Positioning System，全球定位系统)等的位置信息取得功能等各种功能，还包括平板PC等移动计算机。

[0056] 位置信息取得功能是取得并记录表示本机的位置的位置信息的功能，如图1所示，作为该位置信息取得功能，例如包括如GPS那样通过来自卫星21的信号检测本机的位置的方法，或者通过来自便携电话的无线基站22、Wifi通信的接入点的电波强度等来检测位置的方法。

[0057] 并且，该智能手机1具备作为显示信息的显示部的液晶显示器，并且还具备用户用于进行输入操作的操作按钮等操作设备，作为该操作设备，包括与液晶显示器重叠地配置并作为获取指定液晶显示器上的坐标位置的触摸操作等的操作信号的输入部的触摸屏。具体来讲，该触摸屏是通过使用用户的指尖或笔等的触摸操作的压力、静电检测等来输入操作信号的输入设备，将显示图形的液晶显示器、接受显示于该液晶显示器的图形的坐标位置所对应的操作信号的触摸传感器重叠而构成。

[0058] (各装置的内部结构)

[0059] 接下来，对构成上述的游戏系统的各装置的内部结构进行说明。图8是表示本实施方式涉及的游戏服务器3的内部结构的框图，图9是表示本实施方式涉及的智能手机1的内部结构的框图。此外，说明中所使用的“模块”由装置或设备等硬件、或者具有其功能的软件、或者这些的组合等构成，且表示用于实现预定动作的功能单位。

[0060] (1)游戏服务器

[0061] 首先，对游戏服务器3的内部结构进行说明。游戏服务器3是配置在因特网2上的服务器装置，通过因特网2来进行与各智能手机1的数据的收发。游戏服务器3具备：通信接口31，其通过因特网2进行数据通信；认证部33，其对用户、用户终端的权限进行认证；位置信息管理部32，其收集并管理各用户终端的位置信息；游戏进展处理部36，其执行整个游戏的游戏进展处理以及各用户的游戏进展处理；虚拟地图信息管理部37，其生成虚拟地图信息；
将游戏数据传送给各用户的34；以及各种数据库群。此外，本实施方式涉及的游戏服务器3还具备深度信息管理部39作为用于增强现实显示系统的模块。

[0062] 作为数据库群包括：作为现实地图存储部的现实地图数据库35a，其存储包含现实世界中的地理信息的现实地图信息；用户数据库35b，其累积与用户有关的信息；游戏用数据库35c，其累积与虚拟地图信息、整个游戏的游戏进展处理以及各用户的游戏进展处理有关的信息；积分(point)数据库35d，其对发行的积分进行管理；以及深度信息数据库35e。作为这些各数据库，既可以设为单个的数据库，也可以设为分割成多个数据库，通过设定相互关系而将各个数据之间关联起来的关联数据库。

[0063] 现实地图数据库35a是存储包含现实世界中的地理信息的现实地图信息的存储装置，存储有山川、山谷、河流等自然地理要素、建筑物或道路、铁路等人造设施、地名或地址、交通规则等作为地理信息。在该现实地图信息中，包括与地理信息有关的文字信息，例如地名或行政区名称、街道名、河流、山川等名称等。此外，该现实地图数据库35a除了运营游戏服务器3的服务提供商自身所具有和运营的地图数据库以外，还可以是其他地图服务提供商所运营的地图数据库。

[0064] 作为用户数据库35b中累积的信息，包括将确定用户或用户所使用的便携终端装置的识别符(用户ID、终端ID)和密码等关联起来的认证信息，还包括与用户ID关联起来的用户的个人信息、终端装置的机型等。此外，在用户数据库35b中，还可以通过每个用户或每个用户终端的认证履历(接入履历)、与游戏用数据库35c的关系，来累积与每个用户的游戏进展相关的信息(纬度/经度等当前位置、游戏过程中的状态、得分、使用履历等)、与游戏过程相关的结算信息等。

[0065] 作为游戏用数据库35c中累积的信息，包括虚拟世界的地图信息、角色(character)或对象的特性、与事件处理有关的信息、图形信息等作为游戏用数据，并且还包括用于将这些游戏用数据和现实地图所包含的地理要素或建筑物、道路、铁路等关联起来的映射数据。积分数据库35d将发行的积分与用户、用户终端或应用关联起来进行管理，并累积各积分的使用履历。

[0066] 深度信息数据库35e是与从各个智能手机1或信息收集车的车载照相机等上传的影像、实际图像相结合，对其解析结果即深度信息进行累积的数据库装置。作为该深度信息而累积的信息有：构成各影像、实际图像的像素的颜色、亮度和在图像中的坐标信息；位置信息(纬度、经度、海拔、拍摄方向、倾斜角度等)；与图像中被摄体之间的相对距离有关的信息；以及这些信息之间的相关性即相关信息。此外，在深度信息数据库35e中，包括通过各个深度信息确定的被摄体的位置信息(纬度、经度、海拔、高度)以及与配置在现实地图数据库35a中的现实地图信息所包含的现实地图上的建筑物或地形的形状或高度有关的信息。

[0067] 认证部33是通过通信接口31与各智能手机1建立通信会话，并对所建立的每个通信会话进行认证处理的模块。作为该认证处理，从接入者即用户的智能手机1获取认证信息，参照用户数据库35b来确定用户等，并对其权限进行认证。将该认证部33的认证结果(用户ID、认证时刻、会话ID等)发送给游戏进展处理部36，并作为认证履历累积到用户数据库35b中。

[0068] 位置信息管理部32是获取在用户终端装置侧取得并发送给游戏服务器3的位置信息的模块，位置信息管理部32将通过认证部33的认证处理确定的用户、用户终端装置的识别符(用户ID、终端ID)与这些位置信息关联起来累积在用户数据库35b中作为使用履历。这里，作为取得的位置信息，还包括拍摄部拍摄影像时的坐标(现实地图和虚拟地图上的纬度、经度、海拔、拍摄)和拍摄方位、以及此时的日期时间。

[0069] 游戏进展处理部36是在虚拟世界中，使对应于各用户的各角色以及怪物、其他对象移动来产生各种事件处理而使游戏推进的模块，执行包括一定的规则/逻辑/算法的游戏程序，并根据角色、对象(object)的位置关系(接近/接触等)来产生对抗战、迷你游戏、电影的再生、街区的幻化(fantasy)等事件处理。尤其，游戏进展处理部36还基于从位置信息管理部32取得的每个用户的位置信息，来执行能够获得如下效果的事件处理：通过与每个用户的当前位置和每个用户所拥有的积分数量相应地使角色C1在虚拟世界中移动的处理、或角色在虚拟世界中的移动所能得到的效果，例如地图上的幻化或物品的取得等，等同于角色C1实际行走了的效果。

[0070] 此外，在本实施方式中，游戏进展处理部36与智能手机1侧的游戏进展处理部141进行协作，在游戏服务器3侧进行游戏进展处理的一部分，并通过智能手机1侧的游戏进展处理部141来执行图形处理、事件处理的一部分。例如，在游戏服务器3侧，根据其他用户的角色位置、对象位置等，预测可能产生的事件处理，使其产生条件产生在游戏服务器3侧，并将该条件发送到智能手机1侧，根据从游戏服务器3接收到的产生条件，在智能手机1侧执行实际的事件处理的产生或为此进行的图形处理。

[0071] 虚拟地图信息管理部37是按照游戏进展处理部36的游戏进展，对如图2所示的、包括与现实地图信息M1上的地理信息相对应的虚拟地理信息上的其他用户的角色、建筑物等对象坐标信息的虚拟地图信息M2的生成、累积以及传送进行管理和控制的模块。在本实施方式中，根据用户10在现实地图信息M1上实际移动的距离发行积分Tp，通过消耗该积分Tp，使与用户10对应的角色C1在虚拟地图信息M2上移动，能够将与该移动的路径相邻的区块(block)B0幻化。

[0072] 该幻化区块B0是表示将虚拟对象配置在现实地图信息M1上的状态的虚拟显示数据，通过该区块B0，现实地图信息M1被部分或全部覆盖，在被区块B0覆盖的部分上，显示配置在虚拟地图信息M2上的虚拟对象。此外，如图14的(a)和(b)所示，在该幻化区块B0上，与对应于各幻化区块的显示位置的现实地图信息M1的地理信息有关的文字信息作为关联信息被可见地显示在该幻化区块上。此外，当该幻化区块B0被重叠合成到立体显示的现实地图信息M1上时，与现实地图信息M1的立体显示相应地，进行同样的立体化处理而显示成三维形状。在该幻化区块上，配置有怪物M0等虚拟对象，当用照相机121在现实地图信息M1上的当前位置拍摄了实际图像时，该怪物M0等虚拟对象通过本实施方式中的增强现实处理重叠显示在实际图像上。

[0073] 而且，在该幻化中，如图14的(a)和(b)所示，通过用户在画面上触摸被分割为与路径相邻的街区对应的形状的区块B0，将该被触摸的区块B0幻化，并将虚拟地图中的各种区块B2～B5与现实地图信息M1上的街区重叠地显示。

[0074] 此外，积分Tp既可以与接入游戏服务器的频率或间隔对应地提供给该用户，也可以根据用户的结算操作或服务器侧的收费处理等，通过付款或积分来购买。并且，还可以通过完成游戏中的预定事件或迷你游戏等的得分、角色的升级、闯关(level clear)等，适当地提供积分Tp。

[0075] 此外，该虚拟地图信息M2有时在游戏服务器3侧生成、有时在智能手机1侧生成、有时游戏服务器3和智能手机1二者协作来生成，虚拟地图信息管理部37对在游戏服务器3侧生成或累积的虚拟地图信息M2和在智能手机1侧生成并累积的虚拟地图信息M2有关的信息进行管理，比较两种虚拟地图信息M2，根据需要将虚拟地图信息M2的全部或一部分传送到智能手机1侧，来实现两者的同步。

[0076] 在游戏服务器3侧生成虚拟地图信息M2的情况下，虚拟地图信息管理部37获取累积在现实地图数据库35a中的现实地图信息M1所包含的地理要素或建筑物、道路、铁路等，并参照在游戏用数据库35c中累积的映射数据，根据对应于现实地图信息M1的虚拟世界的地图信息、角色或对象的特性(属性)、与事件处理有关的信息、图形信息等，以区块B0为单位对虚拟世界的地图信息进行分割而生成。

[0077] 游戏数据传送部34是为了根据用户的当前位置，按照虚拟地图信息管理部37的控制使虚拟地图信息管理部37生成的虚拟地图信息M2同步，而将地图信息、虚拟世界的图形通过通信接口31传送给各用户的模块。此外，虚拟世界的图形按照与现实地图信息M1对应的街区被分割为区块，并以区块为单位进行传送。此外，该区块的分割可以根据用户在虚拟世界中的移动速度、现实世界中的移动速度、现实地图上或虚拟地图上的信息密度来自动改变其面积或形状。例如，可以在用户的移动速度较快的时候增大区块的分割单位面积，此外，在市中心等高楼或商铺较密集从而其信息密度较高的地区，也可以减少分割单位面积。

[0078] 此外，深度信息管理部39是与智能手机1侧的图像解析部145a协作来解析从各个用户终端或信息收集车的车载照相机等上传的拍摄图像而对深度信息进行解析的模块，其具有如下功能：将解析结果即深度信息累积到深度信息数据库35e中，并通过通信接口31将解析结果即深度信息传送给各终端。此外，深度信息管理部39具备学习处理部39a，在该学习处理部39a中，通过深度学习功能，对构成图像的像素的颜色和图像中的位置、拍摄的时间点的位置信息、以及与图像解析部145a计算出的相对距离有关的信息之间的相关性，参照总账目来进行学习。此外，该学习处理部39a具有如下功能：根据与现实地图上包含的建筑物或地形的形状或高度有关的信息，对解析结果中包含的相关信息进行校正。

[0079] (2)智能手机1

[0080] 接下来，对智能手机1的内部结构进行说明。如图9所示，智能手机1作为用于游戏系统的与用户接口有关的模块，具备通信接口11、输入接口12、输出接口13、应用执行部14以及存储器15。

[0081] 通信接口11是用于进行数据通信的通信接口，具备通过无线等进行非接触通信，或通过电缆、适配器单元等进行接触(有线)通信的功能。输入接口12是鼠标、键盘、操作按钮或触摸屏12a等输入用户操作的设备。此外，输出接口13是显示器或扬声器等输出视频、音频的设备。尤其，在该输出接口13中包括液晶显示器等显示部13a，该显示部与输入接口即触摸屏12a重叠。

[0082] 存储器15是存储OS(Operating System，操作系统)或固件、各种应用的程序、其他数据等的存储装置，在该存储器15中，除了识别用户的用户ID之外，还累积从游戏服务器3下载的游戏应用数据，并且累积通过应用执行部14进行处理后的游戏数据等。尤其，在本实施方式中，存储器15中存储有从游戏服务器3获取的虚拟地图信息M2和现实地图信息M1。以分割为与现实地图信息M1中的街区对应的形状后的区块为单位，存储虚拟地图信息M2。

[0083] 应用执行部14是执行一般的OS或游戏应用、浏览器软件等应用的模块，通常由CPU等来实现。在该应用执行部14中，通过执行本发明涉及的游戏程序，来虚拟地构筑游戏进展处理部141、同步处理部142、事件处理部143、显示控制部146、显示数据生成部145、以及位置信息取得部144。

[0084] 游戏进展处理部141是通过与游戏服务器3执行的游戏程序同样的规则/逻辑/算法，在虚拟世界中使对应于各用户的各角色以及怪物或其他对象移动，而产生各种事件处理来推进游戏的模块，通过同步处理部142与游戏服务器3侧的游戏进展处理部36同步的同时，根据角色、对象的位置关系(接近/接触等)，产生对抗战或迷你游戏、电影的再生以及街区的幻化等事件处理。

[0085] 在本实施方式中，游戏进展处理部141与游戏服务器3侧的游戏进展处理部141协作，在游戏服务器3侧执行游戏进展处理的一部分，并通过智能手机1侧的游戏进展处理部141执行图形处理、事件处理的一部分。例如，在游戏服务器3侧产生事件产生的条件等，并将该条件发送到智能手机1侧，在智能手机1侧执行实际的事件处理的产生或为此进行的图形处理。

[0086] 同步处理部142是使智能手机1侧的游戏进展处理、图像解析处理与游戏服务器3侧的游戏进展处理、图像解析处理同步的模块。具体地，在游戏服务器3侧，根据其他用户的角色位置、对象位置等，预测可能产生的事件处理，使其产生条件产生在游戏服务器3侧，并将该条件发送到智能手机1侧，由同步处理部142接收该产生条件，并基于从游戏服务器3接收到的产生条件，通过智能手机1侧的游戏进展处理部141执行实际的事件处理的产生或为此进行的图形处理。由该智能手机1侧的游戏进展处理部141执行的事件处理的结果(战斗或迷你游戏的胜负或得分、街区的幻化等)，通过同步处理部142通知给游戏服务器3侧的游戏进展处理部141，并反映到后续的游戏进展处理中。

[0087] 此外，同步处理部142使游戏服务器3侧的深度信息管理部39与智能手机1侧的显示数据生成部145协作，从各用户终端或信息收集车的车载照相机等上传拍摄图像，或执行拍摄图像解析来对深度信息进行解析。此外，同步处理部142将解析结果即深度信息累积到游戏服务器3侧的深度信息数据库35e中，并为了在各终端之间共享解析结果即深度信息而通过因特网2传送给各终端。并且，同步处理部142使游戏服务器3侧的学习处理部39a与智能手机1侧的图像解析部145a协作，通过深度学习功能，对构成图像的像素的颜色和在图像中的位置、拍摄的时间点的位置信息、以及与图像解析部145a计算出的相对距离有关的信息之间的相关性，参照相关信息来进行学习。

[0088] 此外，事件处理部143是对游戏进展处理部141产生的事件处理以及位置信息取得部144取得的本机的当前位置的移动速度进行监视，在当前位置的移动速度为预定值以上，且游戏进展处理部141产生的事件处理为预先确定的可批处理的事件时，在该事件的处理中允许进行批处理的模块，游戏进展处理部141在可批处理的事件中，允许进行批结束操作来取代多个典型操作，从而能够省略操作来推进游戏。同步处理部142将通过事件处理部143省略的操作执行的事件处理通知给游戏服务器3侧的游戏进展处理部141，并向游戏服务器3侧报告省略了针对满足事件处理产生条件的事件处理的操作而推进了游戏。

[0089] 位置信息取得部144是选择并取得现实世界中的坐标位置的模块，通过使用了人工卫星的全球定位系统(GPS：Global Positioning System)、基于来自基站的电波强度以及基站信息的三角定位进行的基站定位、使用了将Wifi的SSID(Service SetID，服务集ID)和电波状况与经纬度相组合的数据库的Wifi定位等，取得用户的当前位置、其他用户的当前位置。

[0090] 此外，该位置信息取得部144能够选择基于由用户操作或游戏进展导致的事件产生的任意的坐标位置，来获取位置信息或测定移动速度。另外，位置信息取得部144还具备取得任意对象的坐标位置的功能，能够对各数据库35a～c进行检索，来获取当前的坐标位置、或虚拟地图上的坐标位置、或他们的位移履历。

[0091] 尤其，作为该任意的对象，能够从各数据库35a～c检索并取得代表该用户的对象作为代表对象被设置在现实地图信息或虚拟地图信息上的任意位置上的位置。该代表对象通过游戏进展处理部36或141，地图信息上的位置可按照游戏进展而自动移动，因此可与特定用户的当前位置连动，或者按照游戏进展而自动移动。

[0092] 进一步地，在该位置信息取得部144进行的移动速度测定中，根据来自加速度传感器16的检测信号还能够检测瞬间移动，产生了预定值以上的加速度时，判定为用户正在移动。此外，在移动速度的测定中，例如当用户乘坐交通工具而高速移动时，通过GPS值的变化判定为正在移动。关于该高速移动，在地铁等地下或车站内无法接收到GPS信号时，通过Wifi或3G/4G等基站的切换、电波接收状态的变化，来监视位置信息的更新，当位置信息的变化比一般的步行移动大时，判定用户的移动。此外，在基于该基地的切换等的移动判定中，位置信息的变化不连续，因此将判定为移动后的一定时间(例如5分钟左右)视为正在移动等，根据基站间的距离或电波的变化量，间隔一定时间地预测移动距离、移动速度。

[0093] 此外，在本实施方式中，位置信息取得部144具备移动路径记录部144a，该移动路径记录部144a是根据位置信息取得部144取得的用户的当前位置、其他用户的当前位置、任意对象的坐标位置等各用户或对象的位移履历，来计算并记录移动路径、移动速度的模块。由该移动路径记录部144a进行的移动路径的计算，例如能够将采样的各位置按照时间顺序以最短距离连接相邻的两点间来确定移动路径，或者参照地理信息沿两点间的路线来确定路径。

[0094] 显示数据生成部145是生成用于显示在显示部13a上的显示数据的模块。显示数据是将图形数据、图像数据、文字数据、视频数据、音频和其他数据相组合而生成的数据。尤其，本实施方式涉及的显示数据生成部145实现了现实显示数据生成部和虚拟显示数据生成部的功能，所述现实显示数据生成部根据由位置信息取得部144取得的用户的当前位置，生成在现实地图信息M1上表示用户的当前位置的现实显示数据，所述虚拟显示数据生成部根据由位置信息取得部144取得的当前位置，生成在与用户的当前位置对应的虚拟地图信息M2上表示角色的虚拟显示数据。通过显示控制部146来控制该显示数据生成部145生成的显示数据的显示处理。

[0095] 该显示数据生成部145具备虚拟地图信息生成部，该虚拟地图信息生成部是根据游戏进展处理部141的游戏进展，来生成如图2所示那样的虚拟地图信息M2的模块，该虚拟地图信息M2包括与现实地图信息M1上的地理信息对应的虚拟地图信息上的其他用户的角色或幻化区块等的坐标信息。虚拟地图信息生成部取得存储器15或网络上的现实地图数据库35a中累积的现实地图信息M1所包含的地理要素或建筑物、道路以及铁路等，并参照存储器15或游戏用数据库35c中累积的映射数据，根据与现实地图信息M1对应的虚拟世界的地图信息、角色或对象的特性、与事件处理有关的信息、以及图形信息等，来生成虚拟世界的地图信息。在图2所示的例子中，在与现实地图信息M1上的建筑物对应的坐标位置(坐标范围)，配置有森林或山川、岩石等虚拟对象。

[0096] 此外，在本实施方式中，虽然是通过智能手机1侧的虚拟地图信息生成部来生成虚拟地图信息M2，但也可以通过游戏服务器3的虚拟地图信息管理部37来预先或实时地生成与现实地图信息M1上的地理信息对应的虚拟地图信息M2，并通过游戏数据传送部34传送给各智能手机1来取得同步。

[0097] 显示控制部146是对显示数据生成部145生成的现实显示数据和虚拟显示数据执行如下控制的模块，即，对这两个显示数据均进行显示、或者显示选择的任意一方、或者将一方的一部分与另一方重叠显示的控制。显示部13a根据该显示控制部146的控制来显示现实显示数据和虚拟显示数据。

[0098] 此外，本实施方式中的显示控制部146具备轨迹显示部。该轨迹显示部是将移动路径记录部144a记录的该用户的移动路径或其他用户的移动路径、任意的对象移动路径作为轨迹显示在现实地图信息M1或虚拟地图信息M2上的模块。由该轨迹显示部进行的轨迹显示，例如能够将采样的各位置按照时间顺序以最短距离连接相邻的两点间来确定的移动路径，间隔一定宽度地进行着色，或者将参照地理信息沿两点间的路线确定的路径，间隔一定宽度地进行着色。进一步地，在由该轨迹显示部进行的轨迹显示中，还可以在现实地图信息M1或虚拟地图信息M2上将接近各用户、对象的移动路径的区域或对象作为轨迹的一部分来进行着色并显示。

[0099] 对于该区域，还能够以根据实际的地理信息、虚拟的地理信息来划分的行政区、街区、都道府县、市镇村等区块为单位来进行着色并显示。在以该区块为单位的着色中，也能够对与用最短距离连接相邻的两点间而确定的移动路径相接触的区块进行着色，或者对与参照地理信息沿两点间的路线确定的路径相接触的区块进行着色。

[0100] 并且，如图10所示，本实施方式涉及的显示数据生成部145具备图像解析部145a、虚拟显示数据生成部145b、以及增强现实显示处理部145e，作为与增强现实显示系统有关的模块。

[0101] 虚拟显示数据生成部145b是用来生成作为增强现实而与现实图像重叠的计算机图形等虚拟显示数据的模块，其基于由位置信息取得部144取得的位置信息来生成虚拟显示数据，该虚拟显示数据是表示将虚拟对象配置在包含现实世界中的地理信息的现实地图信息上的状态的数据。所生成的虚拟显示数据被输入到增强现实显示处理部145e中。

[0102] 图像解析部145a是将与构成所拍摄到的现实世界的影像(实际图像)的各像素有关的被摄体之间的相对距离作为深度信息来进行解析的模块。在本实施方式中，图像解析部145a具备视差解析部145c和相对距离计算部145d。

[0103] 视差解析部145c是对物理上分开的至少两点上的图像的视差进行解析的模块，其对至少两点的图像进行比较，来识别被反映到图像中的建筑物或地形。基于该视差解析部145c的解析结果被输入到相对距离计算部145d中。相对距离计算部145d基于视差解析部
145c所解析出的图像的视差来计算出被摄体之间的相对距离，并输入到增强现实显示处理部145e中。

[0104] 增强现实显示处理部145e是根据深度信息，将虚拟显示数据生成部145b生成的虚拟显示数据重叠显示在由拍摄部拍摄到的影像中的模块。在本实施方式中，增强现实显示处理部145e具备图层生成部145f和合成处理部145g。

[0105] 图层生成部145f是将构成影像的各像素，基于其各自的深度信息，分配到在该影像的深度方向上具有层级结构的多个图层(layer)的模块，其基于相对距离计算部145d计算出的被摄体之间的相对距离，来生成图层。合成处理部145g是根据与图层生成部145f生成的图层有关的深度信息，使由虚拟显示数据生成部145b生成的虚拟显示数据重叠在实际图像中的模块。

[0106] 此外，本实施方式中的视差解析或相对距离计算，通过深度学习识别处理来进行。在该深度学习识别处理中，进行如下识别：对于构成图像的像素的颜色和在图像中的位置、拍摄的时间点的位置信息、以及与图像解析部145a计算出的相对距离有关的信息之间的相关性，参照相关信息，对每个像素进行将到被摄体为止的距离关联为深度信息的识别。

[0107] (系统的动作)

[0108] 在本实施方式中，具备通过消耗用户移动而获得的积分Tp，使角色C1在虚拟地图上移动该移动路径，并且作为与消耗的积分Tp对应的移动轨迹或幻化区块来进行记录和显示的对象控制功能。此外，在幻化的区块中出现怪物并产生打败该怪物等事件处理，根据其结果储存积分Tp，或扩大幻化区域来推进位置游戏。下面对各处理进行说明。

[0109] (1)游戏进展处理

[0110] 在本实施方式涉及的位置游戏中，将如下理念作为游戏的基本理念：通过对象控制功能使虚拟世界的角色与用户在现实世界中的移动相关联地移动，并将与其移动轨迹对应的区块幻化。并且，在本系统的位置游戏中，根据用户在现实世界中的移动距离来发行积分Tp，通过消耗该积分Tp使与用户对应的角色C1在增强现实世界或虚拟世界中移动，或使与街区对应的区块幻化，或产生与幻化的区块中出现的怪物进行战斗等事件来推进游戏。

[0111] 即，在游戏服务器3中设有积分发行部38，发行与智能手机1侧的位置信息取得部144检测出的用户10的移动距离对应的积分。这里的积分是具有交换价值的价值信息，在游戏的虚拟世界中视为虚拟货币单位。此外，在本实施方式中，执行能够获得如下效果的事件处理来推进游戏：与该积分数量对应地，在虚拟世界中使角色C1移动的处理、或通过虚拟世界中的角色的移动得到的效果，例如地图上的幻化或物品(item)的取得等，与角色C1实际行走相等的效果。另外，包含该积分的发行和事件处理的游戏进展由游戏进展处理部36、
141协作来执行，该游戏的进展过程、积分被纪录在用户数据库35b和游戏用数据库35c中。

[0112] 此外，在本实施方式中，通过用户移动的累积距离、接入地图上的特定设施的次数，以及对已幻化的区域进行反复往来，来储存积分。例如，如图15所示，假设用户10通过通勤、走读等反复往返于自己家(A地点)和办公大厦Bld之间时，根据其频率被授予积分Tp，通过消耗该积分Tp，能够进行上述幻化处理。即，通过消耗积分Tp能够将地点A和大厦Bld之间的区块幻化，通过触摸该区块，将幻化的区块重叠显示于现实地图上。进一步地，在本实施方式中，使用这样在已幻化的区域中获得的积分，如图16的(a)～(c)所示，对于未开发区域的区块B0u也能够进行远程幻化。

[0113] 此外，在本实施方式中，对于上述通勤和走读路径的轨迹，根据通行次数使颜色变浓，或使幻化区块的状态发生变化。另外，通过该轨迹的记录，对特定设施(这里指Bld)的接入次数(往返次数)进行计数，根据该计数发行积分，通过利用该积分，能够利用各种特殊事件。作为该特殊事件，能够通过储存的积分对未开发的区块进行幻化，或得到特殊物品。

[0114] 此外，在本实施方式中，幻化的区块根据时间经过或游戏进展，其状态发生迁移。详细而言，如图12和图13所示，根据用户10的移动距离发行积分Tp，通过消耗该积分Tp，使与用户10对应的角色C1在现实地图信息M1上移动。通过该角色C1的移动，用户触摸画面，能够使与沿该移动路径的街区对应的区块幻化(阶段F1)。在进行该幻化时，每个区块都消耗积分Tp。之后，在该幻化的区块中，如图13所示，根据时间经过或游戏进展其状态发生迁移。

[0115] 首先，随着角色C1的移动，在与该移动路径相邻的区块中，作为未点击状态区块B1的现实地图信息M1的信息显示为空白地图。然后，通过触摸该未点击状态区块B1的“本地点击”操作，如激活区块B2那样被幻化(阶段F1)。另外，此时通过消耗积分Tp，远离移动路径的未开发区块B6也能够根据触摸未开发区块的“远程街区点击”操作而被幻化(阶段F6)。此外，在通过该远程街区点击而被幻化的未开发区块B6中，显示与基于通常的本地点击的幻化不同的图像。

[0116] 该幻化的激活区块B2随着时间的经过向成为森林等植物生长后的“闪光状态”等升级后的激活区块B3迁移(阶段F2)。此外，通过使用消耗积分Tp而得到的“促进剂”等特殊物品，无需等待时间经过能够立即向“闪光状态”迁移。在通过该升级而向“闪光状态”迁移的激活区块B3中，通过点击该区块能够执行采伐森林或收获谷物等事件处理。通过该收获事件处理，能够得到积分、物品，并对幻化进行重置，而向未激活区块B4迁移(阶段F3)。在该未激活区块B4中，在预定时间内禁止点击操作，而在一定时间内不能进行幻化，成为等待状态。之后，在该未激活区块B4经过了预定时间时，向激活区块(未点击状态)B5迁移(阶段F4)，能够进行基于再次点击操作的幻化和生长(阶段F5)。这样幻化的区块的状态循环性地逐渐迁移，即使是已攻占的地区也能够保持游戏性。

[0117] (2)增强显示处理

[0118] 接下来，对本实施方式涉及的增强现实显示处理进行说明。在图3～图7中示出了增强现实显示处理的步骤。

[0119] 如上所述，在本实施方式中，如图2所示，与用户10在现实地图信息M1上的移动联动地使虚拟地图信息M2的角色移动，并将与该移动轨迹对应的区域(街区等)作为区块单位来进行幻化。进行了这一幻化后的区块B0是表示将虚拟对象配置在现实地图信息M1上的状态的虚拟显示数据，通过该区块B0，现实地图信息M1被部分或全部覆盖，在被区块B0覆盖的部分上，显示配置在虚拟地图信息M2上的虚拟对象。另外，在该幻化区块B0中，在该幻化区块上可见地显示与对应于各幻化区块的显示位置的现实地图信息M1的地理信息有关的文字信息作为关联信息。

[0120] 此外，如图3所示，在虚拟地图信息M2上配置用户以外的虚拟对象C2，可以将虚拟对象C2合成并显示在拍摄有现实世界的影像(图4的(a))中，以便作为增强现实出现在与该虚拟地图上的位置对应的现实世界的位置(图4的(b))。在与该增强现实有关的显示处理中，将用智能手机1的照相机121拍摄到的实际影像与由虚拟显示数据生成部145b生成的计算机图形等虚拟显示数据进行合成，并显示在智能手机1等的触摸屏12a中。

[0121] 详细来讲，虚拟显示数据生成部145b基于用户的位置信息，生成表示将虚拟对象C2配置在现实地图信息M1上的状态的虚拟显示数据。另一方面，图像解析部145a将与构成由照相机121拍摄到的实际图像G1的各像素有关的被摄体之间的相对距离作为深度信息来进行解析。在进行该深度信息的解析时，图像解析部145a接入深度信息数据库35e，并参照累积在深度信息数据库35e中的学习处理部30a的学习结果。

[0122] 如图5和图6所示，在图像解析部145a的视差解析部145c，将通过对物理上分开的至少两点的照相机Cm1和Cm2拍摄到的图像G11和G12的视差进行解析而得出的到被摄体为止的距离与拍摄场所中的位置信息关联起来累积到深度信息数据库35e中。

[0123] 即，视差解析部145c对通过两点的照相机Cm1和Cm2拍摄到的图像G11和G12进行比较，来识别反映在图像G11和G12中的建筑物或地形等被摄体Ob1～Ob5。基于该视差解析部145c所解析出的图像G11和G12的视差，在相对距离计算部145d中计算被摄体Ob1～Ob5之间的相对距离，并计算构成各被摄体的每个像素的深度、即从照相机位置到被摄体之间的距离(深度)作为深度信息。

[0124] 此外，本实施方式中的视差解析和相对距离计算，通过深度学习识别处理来进行。在该深度学习识别处理中，将构成图像的像素的颜色和在图像中的位置、拍摄的时间点的位置信息(纬度、经度、高度、方向、日期时间等)、以及与像素解析部145a计算出的相对距离有关的信息之间的相关性即相关信息作为上述深度信息进行累积。并且，相对距离计算部
145d针对成为解析对象的图像，参照拍摄时的位置信息，提取出与各像素的特征点一致的相关信息，并参照与相关信息关联起来的深度信息，对每个像素识别到被摄体之间的距离。

[0125] 具体来讲，在本实施方式中，学习处理部39a将由物理上分开的两台照相机装置拍摄到的图像、或由搭载在拍摄车上的车载照相机装置等边行驶边拍摄到的多个图像作为监督数据，分级提取出多个构成图像的每个像素的特征点，并将提取出的特征点的分级组合图案作为深度信息累积到深度信息数据库35e中。并且，当在智能手机1中显示增强现实时，针对由照相机121拍摄到的实际图像(此处为1张图像)，参照累积在深度信息数据库35e中的深度信息，来识别实际图像中的被摄体，并计算出到这些被摄体为止的深度。

[0126] 图11中示出了由该学习处理部39a执行的识别处理的概要。如该图所示，学习处理部39a为多级识别器，设定有多种对象的特征，对由物理上分开的两台照相机装置拍摄的视差图像G11和G12进行解析，从多个对象中检测出包含特定特征点的对象Obn(这里指“建筑物”)。该学习处理部39a具有输入单元(输入层)397、第1权重系数398、隐藏单元(隐藏层)399、第2权重系数390、以及输出单元(输出层)391。

[0127] 多个特征向量392被输入到输入单元397中。第1权重系数398对来自输入单元397的输出进行加权。隐藏单元399对来自输入单元397的输出与第1权重系数398之间的线性组合进行非线性变换。第2权重系数390对来自隐藏单元399的输出进行加权。输出单元391对各级(例如高层建筑、低层住宅、天空等)的识别概率进行计算。此处示出了三个输出单元391，但不仅限于此。输出单元391的个数与物体识别器所能检测的物体个数相同。此外，在进行这一学习的时候，也可以将每个像素的特征点和现实地图上的位置信息关联起来进行加权。

[0128] 然后，图像解析部45a参照这样由学习处理部39a累积的包含每个像素的特征点的分层组合图案的深度信息，对照相机121拍摄到的实际图像，计算出与特征点的组合图案之间的一致度对应的识别概率，根据该计算结果来识别图像中的被摄体，并计算出从照相机的位置到被摄体之间的距离，并输出为各被摄体所包含的每个像素的深度信息。

[0129] 在增强现实显示处理部145e中，根据在图像解析部45a计算出的包括被摄体间的相对距离的深度信息，将由虚拟显示数据生成部145b生成的虚拟显示数据(这里指角色C2的二维显示数据)重叠或合成而显示在由照相机121拍摄到的影像(这里指1张实际图像)中。具体地，如图7所示，图层生成部145f基于每个像素的深度信息，将构成影像(实际图像G1)的各像素分配到在该实际图像G1的深度方向上具有层级结构的多个图层Ly1～Ly5之后，在合成处理部145g中，根据由图层生成部145f生成的每个图层Ly1～Ly5各自的深度信息，使角色C2的二维显示数据重叠在实际图像中。

[0130] (3)积分发行处理

[0131] 图17是表示本实施方式涉及的上述积分发行处理步骤的流程图。如该图所示，在用户10的智能手机1中，在游戏程序的执行过程中始终或定期地执行位置信息的取得处理以及移动速度的计算处理并报告给游戏服务器3(S101)。具体地，位置信息取得部144取得如下信息作为位置信息：加速度传感器16的检测值、用户的当前位置的位移、基于GPS的纬度和经度、基于来自基站的电波强度以及基站信息的三角定位进行的基站定位、利用了将Wifi的SSID(Service SetID，服务集ID)以及电波状况与经纬度相组合的数据库的Wifi定位等进行的基站定位的变化。

[0132] 在从用户终端接受位置信息的报告的游戏服务器3中，记录每一个用户的累积路径(S201)，计算出每一个用户的移动量(累计移动距离)并进行累积，持续记录累计路径直到该移动量累积到一定量以上为止(S202中的“N”)，累积了一定量以上的移动量后(S202中的“Y”)，发行与该移动量对应的积分作为价值信息(S203)。在用户的智能手机1侧进行下载等来领取该发行的积分(S102)。

[0133] 在用户的智能手机1侧，能够根据领取的积分使角色C1在虚拟地图信息M2上移动(S104)，或将该积分储存起来。此外，用户10持续移动而反复进行积分发行(S103中的“N”)，当积分累积到一定量以上时(S103中的“Y”)能够使用特殊事件，例如能够进行路径相邻区块路段的幻化或未开发区块的幻化，或使用于购买物品等(S105)。可以根据积分数量选择性地使用该特殊事件，用户任意选择可使用的特殊事件，并根据使用要求的操作来执行。根据与积分数量相应的事件产生处理来进行该使用要求的操作。

[0134] 用户选择事件的使用时，随之事件得到进展，通过用户的触摸操作来进行相邻区块或未开发区块的幻化(S105)，并将该操作结果报告给游戏服务器3。在接收到该事件进展报告的游戏侧，根据进展的事件来执行推进游戏的处理(S204)。能够反复进行以上的积分发行、该累积以及基于积分使用的事件进展(S106和S205中的“N”)直到游戏结束为止(S106和S205中的“Y”)。

[0135] (4)批输入操作处理

[0136] 接下来，对执行事件时的批输入处理进行说明。在本实施方式中，游戏进展处理部141例如接近幻化的区块上存在的怪物M0等时，视为遭遇了该怪物并执行战斗等事件处理。
在该战斗等事件处理中，也可以通过本实施方式的增强显示处理，将怪物M0等虚拟对象与实际图像重叠并显示在屏幕上。

[0137] 在本实施方式涉及的游戏进展处理部141具备如下的输入接口控制功能：在通过事件产生区域的过程中遭遇到了怪物并产生了事件处理时，在该事件处理中，针对每个怪物通过单一的批结束操作执行本来应该单独输入的操作。在该游戏进展处理部141中，通常针对在典型事件处理中出现的多个处理对象(怪物M0等)中的每一个执行个别接受用户操作的输入的个别输入步骤，但替代该个别输入步骤，也设有根据用户的选择操作能够输入一并处理多个怪物的单一的批结束操作的批结束操作步骤。通过该批结束操作的输入，将多个怪物全部处理了的情况下，视为该事件处理得到了执行并推进游戏。

[0138] 在此，作为通常进行的个别输入，如图20所示，列举了针对战斗中出现的每一个怪物迅速在触摸屏上输入斜线的斩(slash)操作(图20的(a))、在触摸屏上绘制○或×、△等符号(图20的(b))等输入与怪物种类相应的标记的方法。另外，在如该图所示的怪物M0等虚拟对象出现的战斗画面等中，也可以通过本实施方式的增强显示处理，将怪物M0等虚拟对象与实际图像重叠并显示在屏幕上。

[0139] 另一方面，作为批结束操作，例如图19所示，是将智能手机1倾斜将怪物一并排除到画面外的操作，或者是通过摇晃智能手机1一并杀死怪物的操作，或者是通过向麦克风吹气而向麦克风输入由风压引起的的噪音的操作。此外，在这些多个处理对象即怪物中，分别设有生命积分或级别而作为处理完成所需的阈值，在批操作输入中，仅能打败阈值为预定值以下的怪物，而对于超过一定阈值的怪物，则要求进行上述的个别输入。

[0140] 对这种批输入操作处理进行具体说明。图18是表示与事件处理有关的动作的序列图。首先，在游戏进展时，周期性地在各智能手机1中取得位置信息并发送给游戏服务器3(S401和S301)。在游戏服务器3侧，按照该发送的每个用户的移动距离来发行积分(S302)，并将发行的积分发送到智能手机1侧，提供给用户(S303)。在智能手机1侧，接收该提供的该积分，根据用户操作来使用积分，由此能够使角色C1在虚拟地图上移动，或将区块幻化(S402)。

[0141] 接着，当产生了战斗事件处理时(S403中的“Y”)，如果用户选择了批处理(S404中的“Y”)，则省略个别处理，通过批结束操作来推进事件。此外，在用户未选择批处理的情况下，要求与往常一样的典型的个别输入(S406)。另外，这里虽然能够通过用户的任意的选择操作来执行批处理，但例如在智能手机1侧监视位置信息取得部144取得的本机的当前位置的移动速度，且用户的移动速度为预定值以上时，也可以在该事件处理中强制性地执行批处理。在该情况下，游戏进展处理部141在可进行批处理的事件中，强制性地选择批结束操作来代替多个典型的操作，省略个别输入操作并结束战斗来推进游戏。此时，在用户移动速度为预定值以上的情况下，可以降低战斗中出现的怪物等级，从而提高批结束的成功率。

[0142] 一方面，当通过批处理(S404中的“Y”)，怪物全部被消灭时(S405中的“Y”)，作为执行了该事件处理而通过同步处理部142通知给游戏服务器3侧的游戏进展处理部141(S407)，在游戏服务器3侧进行同步处理(S304)，并将该执行的事件处理的结果反映到后续的游戏进展处理中(S305)。另一方面，在步骤S404中没有选择批处理的情况下(S404中的“N”)，或者没有通过批处理将怪物全部消灭的情况下(S405中的“N”)，接受个别典型输入(S406)，和往常一样地展开战斗。然后，在战斗结束后，将该结果发送到服务器侧来进行同步处理(S407)，在接受到该报告的游戏服务器3侧，执行同步处理(S304)，并将战斗结果反映到后续的游戏进展处理中(S305)。

[0143] 反复进行以上的处理直到游戏结束为止(S408中的“N”)，当进行了游戏处理的操作时(S408中的“Y”)，游戏结束。

[0144] (作用和效果)

[0145] 如上所述，根据本实施方式，在虚拟世界中能够使与用户对应的角色以及其他的对象移动来执行各种事件处理从而推进游戏的游戏系统中，在通过增强现实显示功能将虚拟对象重叠并合成到现实世界的实际影像中时，能够用简单的处理适当地显示影像中被摄体的距离感、前后关系，能够实现增强现实的多样化，进一步提高娱乐性。

[0146] 符号说明

[0147] B0：区块

[0148] B0u：区块

[0149] B1：未点击状态区块

[0150] B2：激活区块

[0151] B3：升级后的激活区块

[0152] B4：未激活区块

[0153] B5：激活区块(未点击状态)

[0154] B6：未开发区块

[0155] B1d：大厦

[0156] C1：角色

[0157] M0：怪物

[0158] M1：现实地图信息

[0159] M2：虚拟地图信息

[0160] Tp：积分

[0161] 1：智能手机

[0162] 2：因特网

[0163] 3：游戏服务器

[0164] 10：用户

[0165] 11：通信接口

[0166] 12：输入接口

[0167] 12a：触摸屏

[0168] 13：输出接口

[0169] 13a：显示部

[0170] 14：应用执行部

[0171] 15：存储器

[0172] 16：加速度传感器

[0173] 21：卫星

[0174] 22：无线基站

[0175] 31：通信接口

[0176] 32：位置信息管理部

[0177] 33：认证部

[0178] 34：游戏数据传送部

[0179] 35a：现实地图数据库

[0180] 35b：用户数据库

[0181] 35c：游戏用数据库

[0182] 35d：积分数据库

[0183] 35e：深度信息数据库

[0184] 36、141：游戏进展处理部

[0185] 37：虚拟地图信息管理部

[0186] 38：积分发行部

[0187] 39：深度信息管理部

[0188] 39a：学习处理部

[0189] 45a：图像解析部

[0190] 121：照相机

[0191] 141：游戏进展处理部

[0192] 142：同步处理部

[0193] 143：事件处理部

[0194] 144：位置信息取得部

[0195] 144a：移动路径记录部

[0196] 145：显示数据生成部

[0197] 145a：图像解析部

[0198] 145b：虚拟显示数据生成部

[0199] 145c：视差解析部

[0200] 145d：相对距离计算部

[0201] 145e：增强现实显示处理部

[0202] 145f：图层生成部

[0203] 145g：合成处理部

[0204] 146：显示控制部

[0205] 390、398：权重系数

[0206] 391：输出单元

[0207] 392：特征向量

[0208] 397：输入单元

[0209] 399：单元。