模拟装置

摘要

本发明提供一种模拟装置，其疑似地显示眼镜透镜的佩戴者通过该眼镜透镜能看到的图像，具有：摄像相机(13)，其针对所述佩戴者的视野内进行拍摄；距离图像传感器(14)，其针对与所述摄像相机(13)的拍摄结果相同视角的图像的构成要素，以图像单位对视角纵深方向的距离数据进行检测；数据获取单元，其获取所述眼镜透镜的透镜数据；图像生成单元，其根据所述距离图像以及所述透镜数据，进行针对所述摄像相机(13)的拍摄结果的图像处理，并生成模拟图像；以及图像显示器(15)，其将所述模拟图像进行显示输出。

权利要求

1.一种模拟装置，其显示眼镜透镜的佩戴者通过该眼镜透镜能看到的模拟图像，其特征在于，具有：摄像相机，其针对所述佩戴者的视野内进行拍摄；

距离图像传感器，其获取与所述摄像相机的拍摄结果相同视角的距离图像；

数据获取单元，其获取所述眼镜透镜的透镜数据；

图像生成单元，其根据所述距离图像以及所述透镜数据，进行针对所述摄像相机的拍摄结果的图像处理，并生成反映了通过所述眼镜透镜时的视觉情况的模拟图像；以及图像显示器，其将所述模拟图像作为所述佩戴者通过所述眼镜透镜能看到的模拟图像进行显示输出。

2.根据权利要求1所述的模拟装置，其特征在于，至少所述图像生成单元以及所述图像显示器，是与左眼用模拟图像和右眼用模拟图像各自个别对应的。

3.根据权利要求2所述的模拟装置，其特征在于，所述摄像相机以及所述距离图像传感器也是与左右眼各自对应地个别设置的。

4.根据权利要求1～3中任一项所述的模拟装置，其特征在于，所述摄像相机、所述距离图像传感器、所述图像生成单元以及所述图像显示器所处理的图像是动态图像。

5.根据权利要求1～3中任一项所述的模拟装置，其特征在于，至少所述摄像相机、所述距离图像传感器以及所述图像显示器，被组装在能安装于所述佩戴者的头部的框体中。

6.根据权利要求5所述的模拟装置，其特征在于，具有使所述摄像相机的配置状态变化的相机驱动机构。

7.根据权利要求1～3中任一项所述的模拟装置，其特征在于，至少所述摄像相机、所述距离图像传感器以及所述图像显示器，被组装在便携式的信息处理终端机中。

说明书

模拟装置

技术领域

[0001] 本发明涉及疑似地显示眼镜透镜的佩戴者通过该眼镜透镜能看到的图像的模拟装置。

背景技术

[0002] 近年来，例如在眼镜店中，正利用一种模拟装置，其使眼镜透镜的佩戴预定者疑似体验佩戴该眼镜透镜的状态(例如，参照专利文献1、2)。若利用这种模拟装置，则眼镜透镜的佩戴预定者，能够在透镜订货前，亲身体验通过该眼镜透镜时的视觉情况(图像的失真或模糊等)。此外，对于眼镜店一方而言，由于利用基于模拟的图像形成，因此，不需要准备佩戴预定者希望的透镜处方等的样品透镜，且能够使佩戴预定者亲身体验佩戴样品透镜中没有的种类的透镜时的视觉情况。

[0003] 现有技术文献

[0004] 专利文献1：JP特许第3342423号公报

[0005] 专利文献2：国际公开第2010/044383号公报

发明内容

[0006] 所要解决的技术问题

[0007] 然而，专利文献1、2等所公开的现有的模拟装置中，成为基于模拟实现的成像的基础的原始图像(静止图像或动态图像)仅限于事先拍摄好的图像、或者由计算机图像(computer graphic以下略记为“CG”)生成的图像。也就是说，现有的模拟装置构成为：使用预先准备的原始图像，使眼镜透镜的佩戴预定者疑似体验透镜佩戴状态。

[0008] 现有的模拟装置使用预先准备的原始图像的理由如下。在基于模拟实现的成像中，除了透镜处方等的透镜数据以外，从透镜至原始图像的构成要素(例如各像素)为止的距离的数据也是必不可缺的。透镜焦点距离按照每个眼镜透镜是固定的值，因此，若至原始图像的构成要素为止的距离不同，则针对该构成要素，通过眼镜透镜时的视觉情况当然也就不同。基于该点，若预先准备好原始图像，就能够事先确定针对该原始图像的构成要素的距离。例如，若是用CG生成的图像，则针对各像素能具有距离数据。根据这样的理由，现有的模拟装置使用了预先准备的原始图像。

[0009] 然而，若局限于预先准备的CG等的情景，则利用模拟装置的眼镜透镜的佩戴预定者，就要一边观看与符合实际空间的现实的图像不同的图像，一边疑似体验透镜佩戴状态，因此有可能会感到不舒服。另一方面，如专利文献1，例如，若使用多台利用CCD(Charge Coupled Device)传感器或CMOS(Complementary Metal Oxide Semiconductor)传感器等的摄像相机，则使用基于该多台的立体视，也能够实现原始图像和与它对应的距离数据的获取。然而，此时，无法获取对比度低的面的距离数据，存在易于受到照明条件的影响的问题，因此，会制约可模拟的图像。此外，由于用于获取距离数据的计算负荷较大，因此，也存在不适合获取距离数据的实时获取的问题。

[0010] 因此，本发明的目的在于，提供一种模拟装置，其能够使眼镜透镜的佩戴预定者一边观看符合实际空间的现实的图像、一边疑似体验透镜佩戴状态，且能够进行即使在此情况下也会正确地反映与距离的不同相对应的视觉情况的不同的模拟图像的生成。

[0011] 本发明是为了实现上述目的而提出。

[0012] 为了实现该目的，本申请发明人，首先，针对使用符合实际空间的现实的图像作为基于模拟实现的成像的基础的原始图像的情形进行了研究。针对该情形，可考虑例如使用拍摄符合实际空间的现实的图像的摄像相机。在此所说的符合实际空间的现实的图像，是指与眼镜透镜的佩戴预定者的视野动态对应，并且用于实时显示该视野内的物体(被摄体)的图像。然而，即使在如上所述利用基于多台摄像相机的立体视的情况下能够获取的距离数据也会有制约，由于能够模拟的图像会受到制约，仅以摄像相机的拍摄结果，还不能适合于疑似体验透镜佩戴状态的模拟。

[0013] 若仅简单确定距离，则例如，可考虑一般广泛使用的如红外线测长传感器这样的距离测定器。然而，距离需要按照原始图像的每个构成要素(例如各像素)来确定。因此，例如利用一般的距离测定器来针对各像素检测距离的数据，若考虑到常识性的模拟装置中的信息处理能力，则不能说是现实的。

[0014] 针对该点，本申请发明人，进一步进行了认真研究。于是，本申请发明人，在使眼镜透镜的佩戴预定者疑似体验透镜佩戴状态的模拟用途中，为了与该佩戴预定者的视野动态对应，并实时显示该视野内的物体，而想到了现有技术所没有的如下这样的新的技术思想：竟在需要光学系统的光线追踪等这样的解析处理的模拟装置中使用监视系统或游戏设备等所利用的距离图像传感器，并通过该距离图像传感器获取与摄像相机的拍摄结果相同视角的距离图像。

[0015] 本发明是根据上述本申请发明人的新的技术思想而形成的。

[0016] 本发明的第一方式，是一种模拟装置，其疑似地显示眼镜透镜的佩戴者通过该眼镜透镜能看到的图像，具有：摄像相机，其针对所述佩戴者的视野内进行拍摄；距离图像传感器，其获取与所述摄像相机的拍摄结果相同视角的距离图像；数据获取单元，其获取所述眼镜透镜的透镜数据；图像生成单元，其根据所述距离图像以及所述透镜数据，进行针对所述摄像相机的拍摄结果的图像处理，并生成反映了通过所述眼镜透镜时的视觉情况的模拟图像；以及图像显示器，其将所述模拟图像作为所述佩戴者通过所述眼镜透镜能看到的图像进行显示输出。

[0017] 本发明的第二方式，在第一方式所述的发明中，至少所述图像生成单元以及所述图像显示器，是与左眼用模拟图像和右眼用模拟图像各自个别对应的。

[0018] 本发明的第三方式，在第二方式所述的发明中，所述摄像相机以及所述距离图像传感器也是与左右眼各自对应地个别设置的。

[0019] 本发明的第四方式，在第一、第二或第三方式所述的发明中，所述摄像相机、所述距离图像传感器、所述图像生成单元以及所述图像显示器所处理的图像是动态图像。

[0020] 本发明的第五方式，在第1～第4的任一方式所述的发明中，至少所述摄像相机、所述距离图像传感器以及所述图像显示器，被组装在能安装于所述佩戴者的头部的框体中。

[0021] 本发明的第六方式，在第五方式所述的发明中，具有使所述摄像相机的配置状态变化的相机驱动机构。

[0022] 本发明的第七方式，在第1～第4的任一方式所述的发明中，至少所述摄像相机、所述距离图像传感器以及所述图像显示器，被组装在便携式的信息处理终端机中。

[0023] (发明效果)

[0024] 根据本发明，能够使眼镜透镜的佩戴预定者一边观看符合实际空间的现实的图像、一边疑似体验透镜佩戴状态，且能够生成即使在此情况下也会正确地反映与距离的不同相对应的不同视觉的模拟图像。

附图说明

[0025] 图1是表示本发明的第一实施方式的模拟装置整体的概略构成例的说明图。

[0026] 图2是表示本发明的第一实施方式的模拟装置的功能构成例的方框图。

[0027] 图3是表示本发明的第一实施方式中的模拟装置进行模拟处理的执行步骤的一个示例的流程图。

[0028] 图4是表示本发明的第二实施方式中的模拟装置整体的概略构成例的说明图。

[0029] 图5是表示本发明的第二实施方式的模拟装置的模拟图像的显示例的说明图。

具体实施方式

[0030] 以下，将本发明的实施方式分为第一实施方式和第二实施方式，并按顺序根据附图来说明它们。

[0031] [第一实施方式]

[0032] 在第一实施方式中，按照以下的顺序进行项目划分来进行说明。

[0033] 1.模拟装置的概略结构

[0034] 2.模拟装置的功能结构

[0035] 3.模拟处理的步骤

[0036] 4.第一实施方式的效果

[0037] 5.变形例等

[0038] <1.模拟装置的概略结构>

[0039] 首先，针对第一实施方式中的模拟装置整体的概略结构进行说明[0040] 图1是表示第一实施方式中的模拟装置整体的概略结构例的说明图。

[0041] 第一实施方式中的模拟装置是疑似地显示眼镜透镜的佩戴者通过该眼镜透镜能看到的图像的装置，是使眼镜透镜的佩戴预定者疑似体验透镜佩戴状态的装置。因此，第一实施方式中的模拟装置大致划分为如图1(a)所示，构成为具有头戴式显示器(Head Mounted Display，以下略记为“HMD”。)部10和控制计算机部20。

[0042] (HMD部)

[0043] HMD部10具有框体11和与它连接的佩戴带12，由此构成为能够在眼镜透镜的佩戴预定者(以下，简单称为“透镜佩戴者”)的头部进行佩戴。并且，在框体11中组装有摄像相机13、距离图像传感器14以及图像显示器15。

[0044] 摄像相机13是与透镜佩戴者的视野动态地对应、并通过进行针对在该视野内存在的物体(被摄体)的摄像来拍摄与该透镜佩戴者所在的实际空间的现实相符的图像的摄像相机。摄像相机13可考虑使用利用例如CCD传感器或CMOS传感器等构成的摄像相机。而且，摄像相机13优选与透镜佩戴者的左右眼各自对应地个别设置。此时，个别设置的各摄像相机13，如图1(b)所示，一方进行针对与透镜佩戴者的左眼的视野对应的视角16L的摄像，另一方进行针对与透镜佩戴者的右眼的视野对应的视角16R的摄像。此外，摄像相机13优选与动态图像的拍摄对应的摄像相机。

[0045] 距离图像传感器14获取与摄像相机13的拍摄结果相同视角的距离图像。所谓“距离图像”，是指代替一般的二维RGB图像的颜色或浓淡等的值，而具有从距离图像传感器14至被摄体为止的距离信息的图像。也就是说，获取距离图像的距离图像传感器14，针对与摄像相机13的拍摄结果相同视角的图像中的被摄体，按照构成该被摄体的图像的每个像素，将该像素的集合体即一帧设为一个单位，来检测该被摄体与距离图像传感器14之间的视角纵深方向的距离的大小。距离检测可以采用公知的方法来进行。作为公知的方法，例如可列举：通过对射出的光照射到被摄体后又反射回的时间进行测定来进行检测的TOF(Time Of Flight)方式、或将具有某种图案的激光光线照射到被摄体后，利用反射的光的图案的失真来测定距离的SL(Structured Light)方式等。

[0046] 这种距离图像传感器14，与摄像相机13同样地，优选与透镜佩戴者的左右眼各自对应地个别设置。然而，即使在摄像相机13与透镜佩戴者的左右眼各自对应地个别设置的情况下，若具有能够将基于距离图像传感器14的距离检测结果修正为左右眼用的功能，则可考虑对左右眼用共用一个距离图像传感器14。

[0047] 此外，距离图像传感器14优选与摄像相机13同样地能够处理动态图像，而且，若能处理高帧率动态图像，则能够对应于平滑的图像，因此更优选。

[0048] 此外，距离图像传感器14，虽然获取与摄像相机13的拍摄结果相同视角的距离图像，但在此所说的“相同视角”，当然包括视角完全一致的情况，此外也包括虽然视角不完全相同但经调整而成为相同的情况。

[0049] 此外，距离图像传感器14不需要一定与摄像相机13为分体。即，距离图像传感器14也可以例如通过使用能够同时获取一般的二维RGB图像和具有距离信息的距离图像的相机装置而与摄像相机13呈一体地构成。

[0050] 图像显示器15配置在佩戴HMD部10的框体11的透镜佩戴者的眼的前方，以进行对该透镜佩戴者的图像显示。图像显示器15例如可考虑使用利用LCD(Liquid Crystal Display)来构成的图像显示器。作为这种图像显示器15所显示输出的图像，如后面所详述的那样，可列举透镜佩戴者通过眼镜透镜能看到的图像即模拟图像。此外，图像显示器15优选与左眼用模拟图像和右眼用模拟图像各自个别对应，即，通过左眼用显示面板和右眼用显示面板构成。此外，图像显示器15优选与动态图像的显示输出对应。

[0051] (控制计算机部)

[0052] 控制计算机部20具有作为进行由规定程序指示的信息处理的计算机装置的功能，具体而言，由CPU(Central Processing Unit)、HDD(Hard disk drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、外部接口(I/F)等的组合构成。此外，控制计算机部20可以在HMD10的框体11中组合，也可以与HMD部10分体设置。在与HMD部10分体设置的情况下，控制计算机部20能够与HMD部10之间，通过有线或无线的通信线进行通信。

[0053] <2.模拟装置的功能结构>

[0054] 接着，针对第一实施方式中的模拟装置的功能结构进行说明。

[0055] 图2是表示第一实施方式中的模拟装置的功能结构例的方框图。

[0056] 在第一实施方式中的模拟装置中，控制计算机部20通过执行规定程序来实现作为通信单元21、数据获取单元22、以及图像生成单元23的功能。

[0057] 通信单元21是用于进行控制计算机部20与HMD部10之间的通信的功能。具体而言，通信单元21接收基于摄像相机13的摄像图像和距离图像传感器14获取到的距离图像，或将后述的图像生成单元23生成的模拟图像送出至图像显示器15。此外，对于通信单元21使用的通信协议，没有特别限定。

[0058] 数据获取单元22是用于获取针对透镜佩戴者预定佩戴的眼镜透镜的透镜数据的功能。在获取的透镜数据中，分别针对左眼用眼镜透镜和右眼用眼镜透镜，至少包括透镜处方数据以及透镜形状设计数据。透镜处方数据是与透镜度数、加入度数、球面度数、散光度数、散光轴、棱镜度数、棱镜基底方向、近用内靠拢量等相关的数据。透镜形状设计数据是与眼镜透镜的形状相关的数据，且由与透镜材料的折射率或阿贝数、透镜折射面(前表面、后表面)的坐标值数据、透镜中心厚度等厚度数据、累进带长等的设计参数相关的数据、与透镜上各点处的折射作用(折射力、棱镜作用等)相关的数据等构成。这种透镜数据的获取，例如，可以通过未图示的网络线，由控制计算机部20中的数据获取单元22访问该网络线上的数据服务器装置来进行。此外，例如，若在控制计算机部20具有的存储装置中将透镜数据数据库化地存储保持，则可考虑由控制计算机部20中的数据获取单元22访问该存储装置来进行。在存在针对数据服务器装置等各种眼镜透镜的透镜数据的情况下，例如，根据HMD部10或控制计算机部20的未图示的操作部的操作内容，并例如通过将眼镜透镜的品牌名或产品型号等作为关键词而进行检索，来进行希望的透镜数据的获取。

[0059] 图像生成单元23是用于生成透镜佩戴者通过眼镜透镜能看到的图像即模拟图像的功能。在图像生成单元23中，如后面所详述的那样，根据距离图像传感器14所获取且由通信单元21接收到的距离图像、和数据获取单元22所获取的眼镜透镜的透镜数据，针对摄像相机13所拍摄且由通信单元21接收到的摄像图像进行反映了通过该眼镜透镜时的视觉情况的图像处理，由此进行模拟图像的生成。此外，图像生成单元23优选为：与左眼用模拟图像和右眼用模拟图像各自个别对应的图像生成单元，即能够进行左眼用模拟图像的生成和右眼用模拟图像的生成的图像生成单元。此外，图像生成单元23优选为：与基于动态图像的模拟图像的输出对应的图像生成单元。

[0060] 以上说明的通信单元21、数据获取单元22以及图像生成单元23，是由具有作为计算机装置的功能的控制计算机部20执行规定程序(即模拟执行程序)来实现的。此时，模拟执行程序是被安装在控制计算机部20的HDD等中来使用的，但是也可以是在该安装之前，通过与控制计算机部20连接的网络线来提供的程序，或者也可以是被存储在控制计算机部20可读取的存储介质来提供的程序。

[0061] <3.模拟处理的步骤>

[0062] 接着，对在如上所述构成的模拟装置中，为了使透镜佩戴者疑似体验眼镜透镜的佩戴状态而进行的模拟处理的执行步骤进行说明。

[0063] 图3是表示第一实施方式中的模拟装置进行的模拟处理的执行步骤的一例的流程图。

[0064] 在第一实施方式中说明的模拟处理，大致具有：预处理步骤(S1)；原始图像获取步骤(S2)；失真信息确定步骤(S3)；模糊信息确定步骤(S4)；图像处理步骤(S5)；模拟图像输出步骤(S6)。

[0065] 在预处理步骤(S1)中，在原始图像获取步骤(S2)以后的一系列处理之前，预先由数据获取单元22获取针对透镜佩戴者预定佩戴的眼镜透镜的透镜数据。此时，数据获取单元22设为分别针对左眼用眼镜透镜和右眼用眼镜透镜来进行透镜数据的获取的数据获取单元。透镜佩戴者预定佩戴的眼镜透镜的确定，可以根据HMD部10或控制计算机部20的未图示的操作部的操作内容来进行。

[0066] 在原始图像获取步骤(S2)中，在透镜佩戴者的头部佩戴HMD部10的状态下，针对在该透镜佩戴者的视野内存在的物体(被摄体)，由在HMD部10中组装的摄像相机13进行拍摄。然后，由通信单元21接收由摄像相机13得到的摄像图像，将该摄像图像设为成为模拟图像的基础的原始图像。由此，控制计算机部20，例如若摄像相机13是与透镜佩戴者的左右眼各自对应地个别设置的，则分别获取与透镜佩戴者的左眼的视野对应的左眼用原始图像、和与该透镜佩戴者的右眼的视野对应的右眼用原始图像。

[0067] 而且，在原始图像获取步骤(S2)中，配合摄像相机13的拍摄，距离图像传感器14获取与该拍摄结果相同视角的距离图像，且由通信单元21接收该距离图像。由此，控制计算机部20，例如，若是根据摄像相机13的拍摄结果来获取左眼用原始图像和右眼用原始图像的情况，则能够分别掌握针对构成左眼用原始图像的各像素的距离信息(距离的大小)、和针对构成右眼用原始图像的各像素的距离信息(距离的大小)。此外，当摄像相机13与动态图像的拍摄对应时，由于动态图像要使静止图像连续多个帧，因此，基于距离图像传感器14的距离图像的获取，也要将一帧设为一个单位并针对各帧分别进行。

[0068] 在失真信息确定步骤(S3)中，针对透镜佩戴者通过预定佩戴的眼镜透镜观看时产生的图像的失真，由图像生成单元23分别对左眼用眼镜透镜和右眼用眼镜透镜进行其产生情形的确定。若通过眼镜透镜来观看，则光线会被折射。即，以裸眼观看时的物体点的位置，若通过眼镜透镜来观看，则会移动到其它位置。由该移动所产生的就是图像的失真。

[0069] 对于图像的失真，在某一假设的三维坐标空间中，会根据在预处理步骤(S1)获取到的透镜数据来识别眼镜透镜中的任意的光透过点的位置，并根据在原始图像获取步骤(S2)获取到的距离图像来识别从眼镜透镜至被摄体的距离的大小，在此基础上，例如通过使用光线追踪的方法，就能够确定其产生情形。此时，距离图像传感器14所获取的距离图像是确定该距离图像传感器14与被摄体之间的距离的距离图像。然而，由于距离图像传感器14与眼镜透镜处于接近位置，因此只要将由基于距离图像传感器14的距离图像所确定的距离直接拟制为眼镜透镜与被摄体之间的距离即可。或者，针对基于距离图像传感器14的距离图像，进行规定的运算处理来进行修正，从而计算出眼镜透镜与被摄体之间的距离。这样，针对原始图像的构成要素(例如各像素)，由于知道与眼镜透镜之间的距离，因此能够确定图像的失真。此外，对于光线追踪的方法，由于可以利用公知的技术(参照JP专利第
3342423号说明书，国际公开第2010/44383号等)，因此在此省略其详细的说明。

[0070] 此外，为了确定图像的失真，例如，也可考虑通过利用光线数据的样条插值近似来实现减轻其处理负荷。此外，对于光线数据的样条插值近似，可以利用公知的技术来进行(参照JP专利第3342423号说明书，国际公开第2010/044383号等)即可。

[0071] 在模糊信息确定步骤(S4)中，针对透镜佩戴者通过预定佩戴的眼镜透镜观看时产生的图像的模糊，图像生成单元23分别对左眼用眼镜透镜和右眼用限镜透镜进行其产生情形的确定。通过眼镜透镜观看时会产生图像的模糊的原因，是由于来自物体点的所有光线未汇聚于视网膜的一点。也就是说，来自物体点的光，形成在以像点为中心的某一范围内扩散的光量分布。将该分布称为点扩散函数(Point Spread Function，以下简记为“PSF”)。因此，对于图像的模糊，通过求出PSF就能够确定其产生情形。

[0072] 然而，例如即使通过眼镜透镜上的相同位置来观看，若至物体点的距离不同，则PSF也会不同。相对于此，在图像生成单元23中，由于根据在原始图像获取步骤(S2)获取到的距离图像，会与失真信息确定步骤(S3)时同样地知道针对原始图像的构成要素(例如各像素)的距离，因此，能够恰当求出随着该距离的不同而不同的PSF。PSF的求出方法，可以根据在预处理步骤(S1)获取到的透镜数据来识别眼镜透镜中的任意的光透过点的位置，并根据在原始图像获取步骤(S2)获取到的距离图像来识别至被摄体的距离的大小，在此基础上，利用公知的技术来进行(参照JP专利第3342423号说明书，国际公开第2010/044383号等)即可。

[0073] 在图像处理步骤(S5)中，分别针对在原始图像获取步骤(S2)获取到的左眼用原始图像和右眼用原始图像，由图像生成单元23进行反映了通过眼镜透镜时的视觉情况的图像处理。具体而言，对于左眼用原始图像进行如下图像处理，该图像处理用于反映针对左眼用眼镜透镜而在失真信息确定步骤(S3)确定的失真、以及由在模糊信息确定步骤(S4)求出的PSF所确定的模糊。然后，将通过该图像处理得到的图像作为左眼用模拟图像。此外，对于右眼用原始图像进行如下图像处理，该图像处理用于反映针对右眼用眼镜透镜而在失真信息确定步骤(S3)确定的失真、以及由在模糊信息确定步骤(S4)求出的由PSF所确定的模糊。然后，将通过该图像处理得到的图像作为右眼用模拟图像。

[0074] 图像处理步骤(S5)的图像处理，例如，可考虑按如以下方式进行。

[0075] 对于失真，能够通过针对视野内的所有像素求出像侧与物体(被摄体)侧的对应关系、并根据该对应关系推测(移动)原始图像的亮度信息来得以反映。由此，得到在原始图像中反映了失真信息的失真图像。

[0076] 对于模糊，能够通过根据PSF而将各像素的亮度分配给周边像素、并对图像的整个像素的亮度进行重构来得以反映。这种处理，称为卷积运算(Convolution)。

[0077] 也就是说，在图像处理步骤(S5)中，通过进行失真图像与各像素的PSF的卷积运算，而从原始图像生成模拟图像。

[0078] 此外，对于在图像处理步骤(S5)进行的图像处理的详细方法等，由于可以利用公知的技术进行(参照JP专利第3342423号说明书，国际公开第2010/044383号等)，因而在此省略其说明。

[0079] 在模拟图像输出步骤(S6)中，通信单元21向图像显示器15分别送出图像处理步骤(S5)生成的左眼用模拟图像和右眼用模拟图像。由此，在图像显示器15中，分别在左眼用显示面板的部分显示输出左眼用模拟图像，在右眼用显示面板的部分显示输出右眼用模拟图像。

[0080] 例如，在是动态图像的情况下，模拟装置针对构成该动态图像的各帧反复进行这样一系列的模拟处理。

[0081] 若进行以上说明的模拟处理，则在头部佩戴HMD部10的透镜佩戴者，能够通过观看反映了通过眼镜透镜时的视觉情况的模拟图像，来疑似体验该眼镜透镜的佩戴状态。

[0082] <4.第一实施方式的效果>

[0083] 根据在第一实施方式说明的模拟装置，得到以下所述的效果。

[0084] 第一实施方式的模拟装置具有摄像相机13，且将基于该摄像相机13的拍摄结果作为成为模拟图像的基础的原始图像。因此，当使透镜佩戴者疑似体验眼镜透镜的佩戴状态时，不是将针对通过CG描绘的假设的空间的图像，而是能够将符合该透镜佩戴者所在的实际空间的现实的图像与该透镜佩戴者的视野动态相对应的同时，进行实时显示。

[0085] 然而，即使在这种情况下，由于距离图像传感器14获取到与摄像相机13的拍摄结果相同视角的距离图像，因此能够通过以该距离图像为基础来掌握针对构成原始图像的各像素的距离信息(距离的大小)，能够正确反映与距离的不同对应的视觉情况的不同。即，通过利用距离图像传感器14获取的距离图像，由于与例如利用一般的距离测定器来针对各像素按照每个像素分别检测距离的数据的情况不同，而是以一帧为一个单位来统一获得构成该帧的各像素的距离信息，因此能够避免模拟处理时的处理负荷过大，非常适合模拟图像的实时显示。

[0086] 由以上，根据第一实施方式的模拟装置，透镜佩戴者能够一边观看符合实际空间的现实的图像，一边疑似体验透镜佩戴状态，并且即使在这种情况下，也能够进行正确反映了与距离的不同对应的视觉情况的不同的模拟图像的生成。

[0087] 此外，第一实施方式的模拟装置，由于图像显示器15、数据获取单元22获取的透镜数据、以及图像生成单元23生成的模拟图像与透镜佩戴者的左右眼各自个别对应，因此，能够显示输出针对该左右眼不同的模拟图像。因此，根据第一实施方式的模拟装置，例如，即使在对左右眼开出了不同的眼镜透镜处方的情况下，能够对透镜佩戴者显示输出正确反映了通过各眼镜透镜时的视觉情况的模拟图像。此外，与左右眼分别对应的各模拟图像，若是考虑到左右眼的辐辏角的模拟图像，则也能够实现与称为3D的立体视图像的对应。

[0088] 此外，第一实施方式的模拟装置，不仅对于图像显示器15、透镜数据以及模拟图像，而且对于HMD部10中的摄像相机13以及距离图像传感器14，也与透镜佩戴者的左右眼各自个别对应。因此，即使在如上所述针对透镜佩戴者的左右眼显示输出不同的模拟图像的情况下，也能够直接使用由摄像相机13得到的原始图像以及由距离图像传感器14得到的距离图像。即，无需进行例如对一个原始图像的数据修正处理以取得左眼用原始图像以及右眼用原始图像等复杂的处理，因此，与必须进行该复杂处理的情况相比，可实现减轻模拟处理时的处理负荷。

[0089] 此外，第一实施方式的模拟装置，由于摄像相机13、距离图像传感器14、图像生成单元23以及图像显示器15所处理的图像为动态图像，因此，与静止图像的情况相比，对于观看模拟图像的透镜佩戴者而言，更易于感受到实时感或临场感等，成为非常适合于使该透镜佩戴者疑似体验眼镜透镜的佩戴状态的模拟装置。具体而言，例如，当佩戴HMD部10的透镜佩戴者改变头部的朝向时，在静止图像中，会继续显示输出与改变头部的朝向之前的视野对应的模拟图像，但若与动态图像对应，则能够配合透镜佩戴者改变头部的朝向来切换模拟图像的显示输出内容。

[0090] 此外，第一实施方式的模拟装置，在HMD部10的框体11中至少组装有摄像相机13、距离图像传感器14以及图像显示器15。因此，透镜佩戴者，若在头部佩戴HMD部10，则针对该头部朝向的方向的视野内存在的物体(被摄体)，能够观看作为正确反映了通过眼镜透镜时的视觉情况的模拟图像。也就是说，根据第一实施方式的模拟装置，在眼镜透镜的佩戴状态的疑似体验时，由于透镜佩戴者仅在头部佩戴HMD部10即可，因此，成为便利性非常优异的装置。

[0091] <5.变形例等>

[0092] 以上虽然对本发明的第一实施方式进行了说明，但上述公开的内容，只是表示本发明例示的实施方式，本发明的技术范围并不局限于上述例示的实施方式。

[0093] 以下，针对上述实施方式以外的变形例进行说明。

[0094] 在上述第一实施方式中，对于摄像相机13或距离图像传感器14，作为示例列举了与透镜佩戴者的左右眼各自对应地个别设置的情况，但也可以构成为以左右眼共用一个的结构。

[0095] 例如，针对摄像相机13，即使在以左右眼共用一个的情况下，若针对左右眼各自获取距离图像，则能够根据从各个距离图像确定的距离信息，进行针对一个原始图像的数据修正处理，以获取左眼用原始图像以及右眼用原始图像。具体而言，能够根据在左右眼之间的中间位置所配置的一个摄像相机13所拍摄的图像及其距离图像，生成从左右眼各自视点看到的左眼用原始图像以及右眼用原始图像。此时，由于根据一个原始图像生成左眼用原始图像以及右眼用原始图像，因此，与使用多台摄像相机13的情况不同，其优点在于，不需要对各摄像相机13的拍摄结果进行修正调整。

[0096] 此外，例如，针对距离图像传感器14，由于至被摄体的距离在左右眼并无多大的不同，因此，可考虑共用在左右眼之间的中间位置配置的一个图像传感器。

[0097] 此外，在上述第一实施方式中，作为示例列举了在能够拍摄与透镜佩戴者的视野对应的视角的位置处固定设置摄像相机13的情况。然而，摄像相机13也可以通过具有电动机等驱动源的机构而可移动地被支撑。

[0098] 此时，例如，使与透镜佩戴者的左右眼各自对应地个别设置的摄像相机13的位置移动，就能够实现使各摄像相机13的间隔与透镜佩戴者的瞳孔间距离(PD)一致。

[0099] 而且，例如，在透镜佩戴者视近时，能够配合左右眼靠近呈辐辏状态，来将摄像相机13旋转而使拍摄的视角呈内靠拢状态。

[0100] [第二实施方式]

[0101] 接着，针对本发明的第二实施方式进行说明。而且，在此主要针对与上述第一实施方式的不同点进行说明。

[0102] 在第二实施方式中，按以下的顺序进行项目划分来进行说明。

[0103] 6.模拟装置的概略结构

[0104] 7.模拟装置的功能结构

[0105] 8.模拟处理的步骤

[0106] 9.第二实施方式的效果

[0107] <6.模拟装置的概略结构>

[0108] 首先，针对第二实施方式中的模拟装置整体的概略结构进行说明。

[0109] 图4是表示第二实施方式中的模拟装置整体的概略结构例的说明图。

[0110] 第二实施方式中的模拟装置，大致构成为具有：信息处理终端部30；和控制计算机部20。即，第二实施方式中的模拟装置，取代第一实施方式中说明的HMD部10，而具有信息处理终端部30。

[0111] (信息处理终端部)

[0112] 信息处理终端部30，由例如平板终端、智能电话或PDA(Personal Digital Assistants)等便携式的信息处理终端机构成，且构成为透镜佩戴者能够用手持有来使用。因此，信息处理终端部30具有透镜佩戴者能用手持有的大小的板状(平板状)的框体31。然后，在框体31中，在一个面(被透镜佩戴者目视的一侧的面)安装图像显示器32，在另一个面(不被透镜佩戴者目视的一侧的面)安装摄像相机33以及距离图像传感器34。在图像显示器
32中，设有作为通过透镜佩戴者的操作来进行信息输入等的触摸面板的功能。此外，在框体
31内，安装有作为进行由规定程序指示的信息处理的计算机装置的功能(未图示)。根据这些功能，信息处理终端部30成为能够进行与外部的信息通信等。

[0113] 图像显示器32，与第一实施方式说明的图像显示器15同样，用于进行针对透镜佩戴者的图像显示。然而，与第一实施方式的情况不同，在框体31中仅安装有选择性地显示左眼用模拟图像和右眼用模拟图像的任一者的图像显示器32。此外，图像显示器32并不限定于一定是一个，与第一实施方式的情况同样，也可以由左眼用显示面板和右眼用显示面板构成。此外，也可以构成为：对一个显示画面进行区域分割，且与左眼用模拟图像和右眼用模拟图像各自个别对应。

[0114] 摄像相机33，与第一实施方式说明的摄像相机13同样，用于拍摄符合透镜佩戴者所处的实际空间的现实的图像相机。然而，与第一实施方式的情况不同，在框体31中仅安装有选择性拍摄与透镜佩戴者的左眼的视野对应的视角和与右眼的视野对应的视角的任一者的摄像相机33。而且，图像显示器32，并不限定一定是一个，与第一实施方式的情况相同，可以是与左右眼的各个对应分别设置的图像显示器。

[0115] 距离图像传感器34，与第一实施方式说明的距离图像传感器14同样，用于获取与摄像相机33的拍摄结果相同视角的距离图像。对于该距离图像传感器34，也与摄像相机33同样，在框体31中仅安装有一个距离图像传感器34。此外，在与左右眼各自对应地个别设置了摄像相机33的情况下，对于距离图像传感器34，也优选与左右眼各自对应地个别设置。

[0116] 此外，对于这些摄像相机33以及距离图像传感器34，优选各自非分体而呈一体构成。即，摄像相机33以及距离图像传感器34，优选通过单眼相机(传感器)构成。这是因为单眼与多眼的情况相比，容易实现信息处理终端部30的小型轻量化等。

[0117] 因此，作为摄像相机33以及距离图像传感器34，例如，可考虑使用能够同时获取通常的RGB图像和具有距离信息的距离图像的CMOS传感器。该CMOS传感器，汇集并构成用于获取距离图像的像素(Z像素)和RGB像素。根据这样的结构，能够以单一的CMOS传感器同时获取RGB图像和距离图像(例如参照URL：http：//www.nikkei.com/article/DGXNASFK24036_U2A220C1000000)。

[0118] 此外，除此之外，作为摄像相机33以及距离图像传感器34，例如，可考虑使用面向以一个图像传感器能够进行3D拍摄的单眼相机的图像传感器。该图像传感器，通过将从左右方向入射的光线变换为左右各自的电信号的左眼/右眼像素按列交替配置，从而能够由一个图像传感器同时得到左眼/右眼图像。根据这种结构，通过利用左眼/右眼图像的偏差来提取立体信息，而且从该立体信息中能够提取距离图像，因此，能够通过单一的图像传感器同时获取RGB图像和距离图像(例如参照URL：http：//panasonic.co.jp/news/topics/2013/108643.html)。

[0119] (控制计算机部)

[0120] 控制计算机部20，与第一实施方式的情况同样，具有作为进行由规定程序指示的信息处理的计算机装置的功能。而且，控制计算机部20虽然可以组装在信息处理终端部30的框体31内，即可以利用作为该框体31内的计算机装置的功能，但若考虑到信息处理能力等，则优选与信息处理终端部30分体设置。此时，控制计算机部20，能够在与信息处理终端部30之间，经由无线或有线的通信电线(例如公共无线网)进行通信。即，控制计算机部20，若从信息处理终端部30来看，则是用于实现所谓的云计算的控制计算机部。

[0121] <7.模拟装置的功能结构>

[0122] 在第二实施方式的模拟装置中，控制计算机部20具有作为通信单元21、数据获取单元22以及图像生成单元23的功能。这些各功能21～23由于与第一实施方式的情况相同，因此在此省略其说明。

[0123] <8.模拟处理的步骤>

[0124] 接着，针对在第二实施方式的模拟装置中为了使透镜佩戴者疑似体验眼镜透镜的佩戴状态而进行的模拟处理的执行步骤进行说明。在此，以摄像相机33及距离图像传感器34在信息处理终端部30中仅安装一个的情况为例进行以下的说明。

[0125] 第二实施方式中说明的模拟处理，如图3所示，具有：预处理步骤(S1)；原始图像获取步骤(S2)；失真信息确定步骤(S3)；模糊信息确定步骤(S4)；图像处理步骤(S5)；和模拟图像输出步骤(S6)。此点与第一实施方式的情况相同，与第一实施方式的情况不同之处如下所述。

[0126] 在预处理步骤(S1)中，透镜佩戴者通过操作信息处理终端部30来访问控制计算机部20，从信息处理终端部30指定将左右眼的哪个作为处理对象。接收到该指定信息，控制计算机部20由数据获取单元22获取针对左眼用限镜透镜或右眼用眼镜透镜的任一者的透镜数据。

[0127] 在原始图像获取步骤(S2)中，透镜佩戴者以用手持有信息处理终端部30的状态，通过在该信息处理终端部30中所安装的摄像相机33拍摄被摄体，并通过距离图像34获取与该拍摄结果相同视角的距离图像，且向控制计算机部20发送摄像图像以及距离图像。然后，控制计算机部20通过通信单元21接收摄像图像作为成为模拟图像的基础的原始图像，并由通信单元21接收距离图像来掌握针对构成摄像图像的各像素的距离信息(距离的大小)。

[0128] 此后进行的失真信息确定步骤(S3)、模糊信息确定步骤(S4)以及图像处理步骤(S5)，与第一实施方式的情况相同。由此，控制计算机部20生成与信息处理终端部30的拍摄结果对应的模拟图像。

[0129] 在模拟图像输出步骤(S6)中，通信单元21将在图像处理步骤(S5)生成的模拟图像发送给信息处理终端部30。由此，在信息处理终端部30中，图像显示器32对透镜佩戴者进行模拟图像的图像显示。

[0130] 之后，对于将左右眼的哪一个作为处理对象，若在信息处理终端部30有指定内容的切换，则针对该切换后的指定内容，信息处理终端部30以及控制计算机部20反复进行上述一系列的处理步骤。

[0131] 若进行以上说明的模拟处理，则操作信息处理终端30的透镜佩戴者，能够通过观看反映了通过眼镜透镜时的视觉情况的模拟图像来疑似体验该眼镜透镜的佩戴状态。

[0132] <9.第二实施方式的效果>

[0133] 根据第二实施方式说明的模拟装置，得到如下所述的效果。

[0134] 根据第二实施方式的模拟装置，透镜佩戴者能够一边观看符合实际空间的现实的图像，一边疑似体验透镜佩戴状态，并且即使在此情况下，也能够进行正确反映了与距离的不同对应的视觉情况的不同的模拟图像的生成。即，在第二实施方式中，得到与第一实施方式的情况同样的效果。

[0135] 此外，第二实施方式的模拟装置，构成为取代第一实施方式说明的HMD部10，而具有信息处理终端部30。并且，在构成信息处理终端部30的框体31中，至少安装有图像显示器32、摄像相机33以及距离图像传感器34。而且，信息处理终端部30能够与实现云计算的控制计算机部20进行通信。因此，根据第二实施方式的模拟装置，通过从信息处理终端部30向控制计算机部20进行访问，从而使透镜佩戴者得到眼镜透镜的佩戴状态的疑似体验。即，对于透镜佩戴者而言，例如，能够用自身所持有的信息处理终端部30就简单地疑似体验眼镜透镜的佩戴状态，成为便利性非常优异的模拟装置。此外，对于向透镜佩戴者提供透镜佩戴状态的疑似体验的一方(眼镜店或眼镜透镜制造商等)而言，由于能够利用透镜佩戴者所持有的信息处理终端部30，因此，不需要特别的终端装置等就能够实现以低成本进行服务提供。

[0136] 此外，第二实施方式的模拟装置，在信息处理终端部30的图像显示器32上显示模拟图像，因此，与第一实施方式说明的HMD部10的情况不同，多个人能够同时观看该模拟图像。因此，根据第二实施方式的模拟装置，例如，能够实现构筑交互式(对话型)的透镜佩戴状态的疑似体验服务，以使透镜佩戴者和眼镜店的职员同时观看模拟图像，并由眼镜店的职员向透镜佩戴者说明该模拟图像的特征。

[0137] <10.变形例等>

[0138] 以上，虽然对本发明的第二实施方式进行了说明，但上述公开的内容，不过是表示本发明例示的实施方式的内容，本发明的技术范围并不局限于上述例示的实施方式。

[0139] 以下，针对上述实施方式以外的变形例进行说明。

[0140] 在上述第二实施方式中，假设了信息处理终端部30的图像显示器32显示的模拟图像是与透镜佩戴者的整个视野对应的图像。其中，所谓“整个视野”是指透镜佩戴者通过眼镜透镜能够观看的视野角度的范围，例如，是指水平方向约90°、垂直方向约70°的范围。

[0141] 然而，信息处理终端部30优选在便携性或可移动性等上优异。因此，信息处理终端部30的图像显示器32，在显示与透镜佩戴者的整个视野对应的图像的基础上，当然有可能是并非一定足够的画面尺寸。

[0142] 因此，信息处理终端部30的图像显示器32也可以是针对相当于整个视野的一部分的部分视野选择性地进行模拟图像的显示的显示器。

[0143] 图5是表示第二实施方式的模拟装置的模拟图像的显示例的说明图。

[0144] 图5(a)例示了在眼睛透镜为累进折射力透镜的情况下，针对包括远视区域的右侧部分、中央部分、左侧部分之中的中央部分的部分区域，将其作为相当于整个视野的一部分的部分视野而在图像显示器32上进行了显示的状态。

[0145] 此外，图5(b)例示了在眼镜透镜为累进折射力透镜的情况下，针对包括近视区域的右侧部分、中央部分、左侧部分之中的中央部分的部分区域，将其作为相当于整个视野的一部分的部分视野而在图像显示器32上进行了显示的状态。

[0146] 如这些显示例所代表的那样，在图像显示器32中，若眼镜透镜为累进折射力透镜，则例如，可考虑将整个视野区域划分为9个区域，并将视远区域的右侧部分、中央部分、左侧部分、视近区域的右侧部分、中央部分、左侧部分、中间视区域的右侧部分、中央部分、左侧部分的任一者以分别属于不同区域的状态选择性地进行显示。而且，这些多个部分视野区域，既可以分别相当于整个视野区域的一部分，也可以具有各部分视野区域彼此重复的图像部分。

[0147] 这种按照部分视野的选择性显示能够通过如下方式来实现，即：在控制计算机部20中，根据规定的划分方式将在原始图像获取步骤(S2)获取到的原始图像划分为多个区域，并按照各区域进行图像处理步骤(S5)的图像处理。此外，在进行按照部分视野的选择性显示时，图像显示器32的显示切换(部分视野的切换)，可考虑利用信息处理终端30具备的公知的操作功能来进行。

[0148] 如上所述，若进行按照部分视野的选择性显示，则即使在图像显示器32为非足够的画面尺寸的情况下，也不需要缩小模拟图像等，就能够进行其显示输出。而且，即使进行按照部分视野的选择性显示，也会通过显示切换，而使透镜佩戴者等能够观看整个视野部分。也就是说，在此作为示例而列举的按照部分视野的选择性显示，非常适合于图像显示器32为非足够的画面尺寸的情形，可以说与重视便携性或可移动性等的信息处理终端部30的亲和性非常高。

[0149] 此外，在信息处理终端部30的图像显示器32上显示的模拟图像，如图5(a)或(b)所示，也可以是重叠有眼镜透镜的清晰指数的等高线图像。“清晰指数”是指对眼镜透镜(特别累进折射力透镜)的性能进行评价的指标之一。而且，对于清晰指数的细节，由于是基于公知技术的内容(例如参照JP专利第3919097号)，因此在此省略其说明。

[0150] 清晰指数的等高线图像的重叠通过如下方式来实现的，即：在控制计算机部20中，根据在预处理步骤(S1)获取到的透镜数据求出眼镜透镜的清晰指数，在图像处理步骤(S5)中生成表示该清晰指数的等高线的图像，并将该等高线图像合成为模拟图像。

[0151] 若进行这种清晰指数的等高线图像的重叠，则与没有该等高线图像的重叠的情况相比，会更容易掌握透镜视觉特性的特征。这尤其对于图像显示器32的分辨率不够的情况有效。这是因为在图像显示器32的分辨率不够的情况下，虽然有可能无法一定完全再现模拟图像中所反映的模糊·晃动等，但若重叠了等高线图像，则能够通过等高线来补足该无法完全再现的部分。图像显示器32若可以是低分辨率的显示器，则使用小型轻量价廉的信息处理终端部30就能够使透镜佩戴者疑似体验透镜佩戴状态。而且，若重叠了等高线图像，则能够根据该重叠的等高线图像的不同，而使各眼镜透镜间的透镜视觉特性的微妙的不同显著化。

[0152] 标号说明：

[0153] 10-HMD部，

[0154] 13-摄像相机，

[0155] 14-距离图像传感器，

[0156] 15-图像显示器，

[0157] 20-控制计算机部，

[0158] 21-通信单元，

[0159] 22-数据获取单元，

[0160] 23-图像生成单元，

[0161] 30-信息处理终端部，

[0162] 32-图像显示器，

[0163] 33-摄像相机，

[0164] 34-距离图像传感器。