混合光子VR/AR系统

摘要

一种包括增强器的VR/AR系统、方法、架构，其同时接收和处理现实世界图像成分信号，同时生成合成世界图像成分信号，然后对这些信号进行交错/增强以进行进一步处理。在一些实施方式中，现实世界信号(利用由增强器处理的可能性直通)被转换为IR(使用例如伪彩色图)并与合成世界信号(在IR中产生)交错以用于继续处理，包括可视化(转换为可见光谱)、幅度/带宽处理和输出整形，以生成旨在用于HVS的显示图像前体集合。

权利要求

1.一种用于可视化操作世界的光子系统，所述操作世界包括虚拟现实模式中的合成世界，包括：

增强器，从所述合成世界生成信道化合成世界图像组成信号组，所述信道化合成世界图像组成信号组中的每个信号具有增强器组所需属性，其中所述增强器在信道化增强器图像组成信号的输出组中包括所述信道化合成世界图像组成信号组；

可视化器，耦合至所述增强器，处理所述信道化增强器图像组成信号的输出组，以针对生成信道化增强器图像组成信号的输出组的每个所述信道化增强器图像组成信号修改具有所需属性的增强器组的频率/波长调制或频率/波长转换属性，所述信道化增强器图像组成信号的输出组中的每个信号具有可视化器组所需属性；以及输出构造器，耦合至所述可视化器，从所述信道化可视化器图像组成信号的输出组生成显示图像基元组。

2.如权利要求1所述的光子系统，其中，每个所述增强器组所需属性包括每个所述信道化合成世界图像组成信号的频率/波长属性，其中所述增强器组所需属性的频率/波长属性位于电磁频谱的参考人体视觉系统不可见的部分，并且其中所述频率/波长调制或所述频率/波长转换属性生成所述可视化器组所需属性，所述可视化器组所需属性的所述频率/波长属性位于所述电磁频谱的参考人体视觉系统均可见的部分。

3.如权利要求1所述的光子系统，其中，所述操作世界还包括增强现实模式下的现实世界，还包括：

现实世界接口，从所述现实世界、各自具有现实世界的所需属性组的信道化现实世界图像组成信号组生成信道化现实世界图像组成信号组；以及其中所述增强器接收所述信道化现实世界图像组成信号组，并在所述信道化增强器图像组成信号的输出组中选择性地包括所述信道化现实世界图像组成信号组。

4.如权利要求3所述的光子系统，其中每个所述现实世界的所需属性组包括每个所述信道化现实世界图像组成信号的频率/波长属性，其中每个所述增强器组所需属性包括每个信道化合成世界图像组成信号的频率/波长属性，其中所述增强器组所需属性的所述频率/波长属性位于电磁频谱的参考人类视觉系统不可见的部分，并且其中所述频率/波长调制或所述频率/波长转换属性生成所述可视化器组所需属性，所述可视化器组所需属性的所述频率/波长属性位于所述电磁频谱的参考所述人类视觉系统均可见的部分。

5.如权利要求4所述的光子系统，其中所述现实世界接口将所述现实世界的复杂复合电磁波阵列组转换成所述信道化现实世界图像组成信号组，其中所述复杂复合电磁波阵列组波阵面包括具有所述电磁频谱的可见部分和所述电磁频谱的不可见部分中的频率/波长的波阵面，并且其中所述现实世界接口包括抑制具有所述电磁频谱的可见部分的所述波阵面的输入结构，以贡献所述信道化现实世界图像组成信号组。

6.如权利要求4所述的光子系统，其中所述现实世界接口将所述现实世界的复杂复合电磁波阵列组转换成所述信道化现实世界图像组成信号组，其中所述复杂复合电磁波阵列组包括具有所述电磁频谱的可见部分和所述电磁频谱的不可见部分中的频率/波长的波阵面，并且其中所述现实世界接口包括抑制具有所述电磁频谱的不可见部分的所述波阵面的输入结构，以贡献所述信道化现实世界图像组成信号组，其中所述现实世界接口将所述电磁频谱的所述可见部分中的波阵面转换并映射到所述电磁频谱的不可见部分中的信号。

说明书

混合光子VR/AR系统

[0001] 相关申请的交叉引用

[0002] 本申请要求于2017年3月13日提交的编号为15/457,967、15/457,980、15/457,991和15/458,009的美国专利申请的权益，并且要求于2016年3月15日提交的编号为62/308,825、62/308,361、62/308,585和62/308,687的美国专利申请的权益，并且该申请与编号为
12/371,461、62/181,143和62/234,942的美国专利申请有关，其全部内容通过引用明确地并入本文用于所有目的。

技术领域

[0003] 本发明一般涉及视频和数字图像以及数据处理设备和网络，其生成、传输、转换、分配、存储和显示这样的数据，以及阵列中的非视频和非像素数据处理，例如传感阵列和空间光调制器，以及为此的数据应用和使用，更具体地但非排他地，用于数字视频图像显示器，无论是平面屏幕、柔性屏幕、2D或3D，还是投射图像，以及通过设备阵列进行的非显示数据处理，以及用于组织的空间形式和定位这些过程，包括诸如平板电视和消费者移动设备的紧凑型设备，以及提供像素信号或数据信号或其聚合或集合的图像捕捉、传输、分配、分割、组织、存储、递送、显示和投射的数据网络。

背景技术

[0004] 背景技术部分中讨论的主题不应仅仅因为在背景技术部分中提及而被认为是现有技术。类似地，不应假设在背景技术部分中提到的或与背景技术部分的主题相关的问题先前已在现有技术中有所认识。背景技术部分中的主题仅代表不同的方法，这些方法本身也可以是发明。

[0005] 本发明的领域不是单一的，而是结合了增强现实和虚拟现实这两个相关领域，而提出和提供集成的移动设备解决方案解决了两个领域中的现有技术的关键问题和限制。对这些相关领域的背景的简要回顾将明确要解决的问题和限制，并为本公开所提出的解决方案打好基础。

[0006] 这些术语的两个标准字典定义(来源：Dictionary.com)如下：

[0007] 虚拟现实：“使用交互式软件和硬件的计算机系统对环境进行的逼真模拟，包括三维图形。缩写：VR。”

[0008] 增强现实：“在屏幕或其他显示器上查看的增强图像或环境，通过在现实世界环境中叠加计算机生成的图像、声音或其他数据而生成。”以及：“用于生成此类增强环境的系统或技术。缩写：AR。”

[0009] 从定义中可以明显看出，尽管是非技术性的，并且对于这些相关领域的技术人员而言，本质区别在于模拟元素是否是完整和沉浸式的模拟，甚至是对现实的部分直接视图，或者模拟元素是否被叠加在另外清晰无障碍的现实视图上。

[0010] 在该主题的维基百科条目下提供了稍微更多的技术定义，考虑到对页面编辑的贡献的深度和范围，可以认为充分表现了该领域。

[0011] 虚拟现实(VR)，有时被称为沉浸式多媒体，是一种计算机模拟环境，能够在某些地方模拟现实世界或想象世界中的物理存在。虚拟现实能够重现感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。

[0012] 增强现实(AR)是物理的现实世界环境的实时直接或间接视图，其元素通过计算机生成的感官输入(例如声音、视频、图形或GPS数据)来增强(或补充)。

[0013] 固有但仅隐含在这些定义中的是移动视点的基本属性。虚拟或增强现实与更一般类别的计算机模拟的区别在于，无论是否有与“实时”、“直接”现实成像(本地或远程)的任何组合、融合、综合或整合，模拟的或混合的(增强或“混合”)现实“同时真实”成像，即当观看者在现实世界中移动时，观看者的视点随观看者移动。

[0014] 本公开提出，需要这种更精确的定义来区分沉浸式显示和经验模拟世界(模拟器)的静态导航与模拟世界(虚拟现实)的移动导航。然后，模拟器的子范畴将是“个人模拟器”，或者至多是“部分虚拟现实”，其中固定用户配备有沉浸式HMD(头戴式显示器)和触觉接口(例如运动跟踪手套)，其能够实现模拟世界的部分“像虚拟现实一样”的导航。

[0015] 另一方面，CAVE系统将被示意性地限定为有限的虚拟现实系统，因为只有借助于可移动层才能通过CAVE的尺寸进行导航，并且一旦达到CAVE本身的限制，接下来会是另一种形式的“部分虚拟现实”。

[0016] 注意“移动”视点与“可移动”视点之间的差异。诸如视频游戏的计算机模拟是模拟世界或“现实”，但除非该模拟世界的探索者亲身运动，或指导另一个人或机器人运动，否则所有这些都能够说成模拟世界是“可导航的”(尽管在过去的四十年中计算机图形学的主要成就之一就是简单地“建立”软件中可探索的模拟环境)。

[0017] 对于作为虚拟或混合(作者的首选术语)现实的模拟，一个重要的、最典型的特征是具有对真实空间的模拟(无论是完全合成还是混合)的映射。这样的真实空间可以像实验室或声场内的房间一样基本，并且仅仅是以某种比例映射和校准到模拟世界的网格。

[0018] 这种区分不是可估价的，因为提供实时自然接口(头部跟踪、触觉、听觉等)而无需移动或映射到实际的真实地形的局部VR(无论是自然的、人造的或者混合的)并非从根本上比模拟物理交互并提供感官沉浸的局部VR系统的价值低。但是，如果没有足部的反馈系统或者更普遍地全身的、运动范围的反馈系统，和/或支持在任何地形、任何静止状态(无论是站立、坐着还是斜倚)中用户模拟但(在其感觉上)全身的运动的可动态变形的机械接口—交互表面，则VR系统按照定义是“局部的”。

[0019] 但是，在没有这种理想的全身物理接口/反馈系统的情况下，将VR限制为“完整”和完全移动版本会将VR世界的地形限制在能够在现实世界中找到、修改或从头开始构建的地方。这种限制通常将严重限制虚拟现实体验的范围和能力。

[0020] 但是，如将在即将公开的内容中显而易见的，这种区别产生差异，因为其为现有VR和AR系统如何不同及其局限性设置了“明线”，并且提供了告知本公开教导的背景。

[0021] 将模拟的缺失但本质的特征和要求确立为完整的“虚拟现实”，下一步是确定通过什么方式实现“移动视点”的隐含问题。答案是，提供移动模拟的视图需要两个组成部分(其本身通过硬件和软件的组合实现)：运动图像显示装置，通过它能够查看模拟，以及运动跟踪装置，它能够跟踪包括3个运动轴上显示器的设备运动，这意味着从最少三个跟踪点测量三维观察设备随时间的位置(如果映射设备测量以便能够推断第三轴上的第三个位置则最少为两个)，并且相对于可以是映射到真实空间的任何任意3D坐标系的3轴参照系，尽管为了机械地导航该空间的实际目的，2轴将形成一个平面，该平面是重力水平的地平面，并且第三轴Z垂直于该地平面。

[0022] 作为时间函数准确和频繁地实际实现这种位置定向的解决方案需要传感器和软件的结合，并且这些解决方案的进步代表了VR和AR硬件/软件移动观察设备和系统领域发展的主要载体。

[0023] 这些是相对较新的领域，就最早的实验与现今的实用技术和产品之间的时间范围而言，足以记录在两类移动视觉模拟系统中的起源然和后来的当前最先进的技术，除了现有技术中的特定创新之外，这些创新对于本公开的发展具有重要意义，或者与用于更好地解释本领域中的现存问题的差异或相似的特征点或者本公开的解决方案与现有技术的区别有关。

[0024] 从1968年到九十年代末期跨越了相关模拟和模拟器、VR和AR领域的许多创新的时期，其中实现实用VR和AR的许多关键问题找到了最初的或部分的解决方案。

[0025] Ivan Sutherland及其助手Bob Sprouell从1968年开始的开创性实验和实验性头戴式显示系统通常被认为是这些相关领域的起源的标志，尽管早期的工作(基本上是概念开发)早于这种实现沉浸和导航的任何形式的AR/VR的第一次实验性实施。

[0026] 固定模拟器系统的诞生可以追溯到向飞行模拟器添加计算机生成的影像，这通常被认为是在1960年代中后期开始的。这仅限于CRT的使用，在用户到CRT的距离上显示全焦距图像，直到1972年Singer‑Link公司推出通过分光镜系统投射远焦图像的准直投影系统，这将视场改进到每单元约25‑35度(在单飞行员模拟器中使用三个单元达到100度)。

[0027] 该基准仅在1982年由Rediffusion公司改进，引入了宽视场系统，广角无限显示系统，其通过使用多个投影仪和大而弯曲的准直屏幕实现了150度和之后最终的240度FOV。正是在这个阶段，固定模拟器可能被描述为最终在虚拟现实中实现了显着程度的真实沉浸，使用HMD来隔离观察者并消除外围的视觉提示干扰。

[0028] 但当时Singer‑Link公司正在推出用于模拟器的屏幕准直系统，作为VR型体验的进身之阶，第一款非常有限的商用头盔安装式显示器首先被开发用于军事用途，其中集成了基于分划板的电子瞄准系统，具有头盔本身的运动跟踪。这些最初的开发一般被认为是南非空军在20世纪70年代以初步形式实现的(随后是在当时与七十年代中期之间的以色列空军)，可以说是初步AR或居间/混合现实系统的开端。

[0029] 这些早期的图形最小但仍具开创性的头盔安装式系统实施了叠加在分划板上的位置协调的目标信息和用户致动的运动跟踪目标的有限合成，之后Steve Mann发明了第一个“居间现实”移动通视系统，将图形叠加在眼镜上的第一代“EyeTap”。

[0030] Mann的后期版本采用了光学复合系统，该系统基于分光器/组合器光学器件合并真实的和处理后的影像。这项工作先于Chunyu Gao和Augmented Vision Inc的后来的工作，后者从本质上提出了一种双重Mann系统，将处理后的真实图像与生成的图像进行光学结合，Mann的系统完成了处理过的真实图像和电子生成的图像。在Man的系统中保留了真实的通视的影像，但是在Gao的系统中处理了所有的通视的影像，消除了任何直接的通视影像，即使是作为选项。(Chunyu Gao，2013年4月13日提交的美国专利申请20140177023)。由Gao的系统规定的“光路折叠光学”结构和方法可见于其他光学HMD系统中。

[0031] 到1985年，Jaron Lanier和VPL Reseearch成立以开发HMD和“data glove(数据手套)”，因此到1980年代，Mann，Lanier和Redefussion公司在非常活跃的发展领域中有三条VR和AR模拟的主要发展路径，取得了一些关键的进步并确立了一些基本的解决方案类型，在大多数情况下一直到现在都保持着最新水平。

[0032] 计算机生成成像(CGI)的复杂性，具有实时交互式CG技术的游戏机(硬件和软件)的持续改进，多系统间的更大系统集成，以及AR和更有限的VR的移动性的扩展，是1990年代的主要发展趋势之一。

[0033] CAVE系统由芝加哥伊利诺伊大学电子可视化实验室开发，于1992年在全球首次亮相，推出了有限形式的移动VR和新型模拟器。(Carolina Cruz‑Neira，Daniel J Sandin，Thomas A.DeFanti，Robert V.Kenyon和John C.Hart。“CAVE：Audio Visual Experience Automatic Virtual Environment(CAVE：视听体验自动虚拟环境)”，ACMCommunications，vol.35(6)，1992，pp.64‑72。)除了Lanier的HMD/数据手套组合外，CAVE还将WFOV多壁模拟器“stage(舞台)”与触觉接口相结合。

[0034] 同时，Louis Rosenberg在阿姆斯特朗美国空军研究实验室开发了一种静止局部AR，其“Virtual Fixtures(虚拟夹具)”系统(1992)，以及乔纳森沃尔登的静止“Virtuality(虚拟)”VR系统，早在1985年至1990年期间，它就被认为是初步发展，并于1992年首次商业亮相。

[0035] 移动AR集成到多单元移动车辆“wargame(作战模拟)”系统中，在“增强模拟”(“AUGSIMM”)中结合真实和虚拟车辆，将看到其以Loral WDL形式的下一个重大进步，于1993年向业界展示。Peculiar Technologies的项目参与者Jon Barrilleaux随后在1999年撰写了“Experiences and Observations in Applying Augmented Reality to Live Training(将增强现实应用于现场训练的经验和观察)”，评论了1995年SBIR最终报告的发现，并指出了到目前为止，移动VR和(移动)AR面临的持续问题：

[0036] AR vs.VR跟踪

[0037] 一般而言，为VR开发的商业产品具有良好的分辨率，但缺乏AR所需的绝对精度和广域覆盖范围，更不用说其在AUGSIM中使用。

[0038] VR应用—用户沉浸在合成环境中—更关注相对跟踪而非绝对精度。由于用户的世界是完全合成的和自洽的，他/她的头部刚好转过0.1度的事实比在10度以内知道它现在指向正北方要重要得多。

[0039] 诸如AUGSIM的AR系统没有这种待遇。AR跟踪必须具有良好的分辨率，以便虚拟元素看起来随用户的头部转动或车辆移动而在现实世界中平滑移动，并且它必须具有良好的精度，以便虚拟元素正确地覆盖并被现实世界中的对象遮挡。

[0040] 随着计算和网络速度在九十年代持续改善，户外AR系统的新项目得以启动，包括美国海军研究实验室的BARS系统，“BARS：Battlefield Augmented Reality System(战场增强现实系统)”，Simon Julier，Yohan Baillot，Marco Lanzagorta，Dennis Brown，Lawrence Rosenblum；NATO Symposium on Information Processing Techniques for Military Systems,2000。摘要：“该系统由可穿戴计算机、无线网络系统和跟踪透视头戴式显示器(HMD)组成。用户对环境的感知通过将图形叠加到用户的视野上而得到增强。图形与实际环境一起注册(对齐)。”

[0041] 非军事特性的开发也在进行中，包括Nara科学与技术研究所的Hirokazu Kato的工作，ARToolkit，后来在HITLab发布并进一步开发，其引入了软件开发套件和协议用于视点跟踪和虚拟对象跟踪。

[0042] 这些里程碑经常被认为是在此期间最重要的，尽管其他研究人员和公司在该领域也很活跃。

[0043] 而军事资金用于大规模开发和测试用于训练模拟的AR已被充分证实，并且对这种显而易见的其他系统级设计和系统演示的需求正在与军事资助的研究工作同时进行。

[0044] 其中最重要的非军事实验是视频游戏Quake的AR版本，ARQuake，由Bruce Thomas在南澳大利亚大学可穿戴计算机实验室发起并领导开发，并发表在“ARQuake：An Outdoor/Indoor Augmented Reality First Person Application(室外/室内增强现实第一人称应用)”，4th International Symposium on Wearable Computers,pp 139‑146,Atlanta,Ga,Oct 2000；(Thomas，B.，Close，B.，Donoghue，J.，Squires，J.，De Bondi，P.，Morris，M.和Piekarski，W.)。摘要：“我们提出了一种基于GPS、数字罗盘和基于视觉的基准跟踪的低成本、中等精度六自由度跟踪系统的架构。”

[0045] 在1995年开始设计开发的另一系统是由本公开的作者开发的系统。最初的目的是实现户外AR和电视节目的混合，被称为“Everquest Live(无尽的直播)”，该设计在九十年代后期得到进一步发展，其基本要素于1999年完成，当时启动了商业上的努力为原始视频游戏/电视混合提供资金，其后来包括另一个版本，用于高端主题度假开发。到2001年，其正在保密基础上向包括Ridley和Tony Scott公司在内的公司披露，特别是他们的合资企业Airtightplanet(其他合作伙伴包括Renny Harlin，Jean Giraud和European Heavy Metal)，本公开作为其监督业务的执行人员，并为其带来了当时的“Otherworld”和“Otherworld Industries”项目和风险投资作为投资和与ATP合作的拟议合资企业。

[0046] 以下是1999/2000年最终确定的系统设计和组件摘要：

[0047] 选录自“Otherworld Industries商业计划书文件”(存档文件版本，2003)：

[0048] 技术背景：现有技术“开放场”模拟和移动虚拟现实的专有集成：工具、设施和技术。

[0049] 这仅是相关技术的部分列表和概述，它们一起形成专有系统的主干。一些技术组件是专有的，一些来自外部供应商。但是结合了经过验证的组件的独特系统将是绝对专有的—并且具有革命性：

[0050] 与VR‑ALTERED WORLD交互：

[0051] 1)移动军用级VR设备，用于将客人/参与者和演员沉浸在OTHERWORLD的VR增强景观中。虽然他们的“冒险”(也就是他们在度假村周围探索OTHERWORLD的每一个动作)都是通过移动动作捕捉传感器和数码相机(带有自动遮片技术)实时捕捉的，客人/玩家和员工/演员通过他们的面甲可以看到彼此以及计算机模拟图像的叠加。面甲是双目半透明平板显示器或前面贴有双目相机的双目不透明平板显示器。

[0052] 由平板显示器叠加在视场中的这些“合成元素”可包括景观的改变部分(或整个景观，数字修改)。实际上，那些取代真实存在的“合成”景观部分是基于度假村各个部分的原始3D摄影“捕捉”而生成的。(见下面的#7)。作为计算机中准确的基于照片的几何“虚拟空间”，可以以任何方式对它们进行数字修改，同时保持原始捕获的照片般真实的质量和几何/空间精度。这使得相同空间的实况数字摄影和修改的数字部分精确组合。

[0053] 由平板显示器叠加的其他“合成元素”包括计算机生成或修改的人、生物、大气FX和“魔术”。这些通过显示器(透明或不透明)表现为视场的真实元素。

[0054] 通过使用定位数据，客人/玩家和员工/演员的运动捕捉数据，以及通过多个数码相机对其进行实时遮片，所有这些都被校准到度假区的每个区域的先前“捕获”版本(见下面的#4和5)，合成元素能够实时绝对精确地匹配通过显示器展示的真实元素。

[0055] 因此，照片般真实的计算机生成的龙似乎能够穿过真正的树，回到周围，然后飞起来并降落在度假村的真实城堡之上‑然后龙能够“燃烧”计算机生成的火焰。在平板显示器(半透明或不透明)中，火焰似乎使城堡的上部“变黑”。实现这种效果是因为通过面甲，城堡的上部已被系统文件中城堡的3D“捕获”的计算机修改版本所“遮盖”。

[0056] 2)物理电光机械装备用于真人与虚拟人、生物及FX之间的战斗。“触觉”接口提供运动传感器和其他数据，以及振动和阻力反馈，允许真人与虚拟人、生物及魔法实时交互。例如，“道具”剑柄形式的触觉设备在客人/玩家摆动其时提供数据，当客人/玩家呈现“打击”虚拟食人魔时提供物理反馈，以实现战斗的幻觉。所有这些都是实时组合并通过双目平板显示器显示。

[0057] 3)开放场运动捕捉设备。移动和固定动作捕捉设备装置(类似于用于The Matrix电影的装备)部署在整个度假区内。由客人/玩家和员工/演员佩戴的主题“装备”上的数据点由摄像机和/或传感器跟踪，以提供运动数据，用于与VR面甲中的双目平板上显示的视场中的虚拟元素交互。

[0058] 动作捕捉数据的输出使得(具有足够的计算渲染能力和运动编辑和动作库的使用)客人/玩家和员工/演员的CGI修改版本沿着“指环王”的第二和第三部电影的咕噜角色的原则成为可能。

[0059] 4)利用LAAS和GPS数据、实况激光测距数据和三角测量技术(包括来自Moller Aerobot UAV)的运动捕获数据的增强。附加的“定位数据”允许对实况和合成元素进行更有效(和纠错)的集成。

[0060] 来自无人机制造商的新闻稿：

[0061] 7月17日。一周前，霍尼韦尔为局域增强系统(LAAS)站的初始网络签订了一份合同，一些测试站已在运行。该系统可以准确地引导飞机在机场(和直升机场)着陆，精度达英寸。LAAS系统预计将于2006年投入使用。

[0062] 5)开放场“播放”的自动实时遮片。结合允许与模拟元素交互的动作捕捉数据，度假客人/参与者将使用P24(或等效)数码相机进行数字成像，使用专有的Automatte软件，从视场自动隔离(遮片)适当的元素以与合成元素整合。该技术将成为用于确保在叠加数字元素时适当分离前景/背景的套件之一。

[0063] 6)军用级仿真硬件和技术与最先进的游戏引擎软件相结合。结合来自运动捕捉系统的数据，用于与诸如道具剑之类的“合成”元素交互的触觉设备，合成元素和实况元素(遮片的或完整的)，通过军事模拟软件和游戏引擎软件整合。

[0064] 这些软件组件提供AI代码，以使合成的人和生物有生气(AI—或人工智能—软件，如用于在指环王电影中使军队有生气的Massive软件)，生成逼真的水、云、火等，整合和组合所有元素，就像电脑游戏和军事模拟软件一样。

[0065] 7)基于照片的真实位置捕获，以用基于图像的技术创建逼真的数字虚拟集合，由Paul Debevec博士开创(电影The Matrix的“子弹时间”FX的基础)。

[0066] “基础”虚拟位置(度假村的内部和外部)与现实世界无法区分，因为它们来自照片和“捕获”时的位置的真实照明。一小套高质量的数字图像，结合来自光探头的数据和激光测距查找数据，以及适当的“基于图像”的图形软件，都是在计算机中重建与原始版本完全匹配的照片般真实的虚拟3D空间所需的一切。

[0067] 尽管从真实的城堡内部和周围乡村的外部位置捕获“虚拟集合”，但是一旦将这些“基础”或默认版本数字化，具有照明参数和来自最初捕获时的确切时间的所有其他数据可以被修改，包括照明，添加的元素在现实世界中不存在，并且存在的元素被修改和“装扮”以创建我们世界的幻想版本。

[0068] 当客人/玩家和员工/演员穿过度假村不同点的“门户”(“门户”是从“我们的世界”到“其他世界”的有效“交叉点”)时，会发生校准程序。此时，采用来自客人/玩家或员工/演员在“门户”处的定位数据，以将计算机中的虚拟空间“锁定”到“门户”的坐标。计算机“知道”通过上述基于图像的“捕获”过程获得的关于其整个度假村的虚拟版本的门户点的坐标。

[0069] 因此，计算机可以将其虚拟度假村与客户/玩家或雇员/演员在其放入VR护目镜之前所看到的一起“排列”。因此，通过半透明版本的双目平板显示器，如果虚拟版本叠加在真实度假村上，那么一个世界将非常精确地匹配另一个。

[0070] 可选地，使用“不透明”双目平板显示器护目镜或头盔，佩戴者可以自信地带着头盔走路，只看到他面前的度假村的虚拟版本，因为虚拟世界的景观将完全匹配他实际上正在走路的景观。

[0071] 当然，可以通过护目镜向他展示的将是修改的红色天空，实际上并不存在的沸腾风暴云，以及顶部有龙栖息的城堡护栏，正向城堡城垛“放火”。

[0072] 还有1000名食人魔的军队冲下远处的山！

[0073] 8)度假村的超级计算机渲染和模拟设施。将使极高质量的、接近故事片质量模拟成为可能的关键资源将是在每个度假村复杂现场的超级计算机渲染和模拟。

[0074] 在单机电脑游戏控制台(Playstation 2、Xbox、GameCube)上玩以及台式电脑的电脑游戏在图形和游戏方面的改进是众所周知的。

[0075] 然而，考虑到游戏体验方面的改进是基于单个控制台或个人计算机的处理器和支持系统的改进。然后想象一下，将超级计算中心的能力支持游戏体验。仅此一点就是图形和游戏质量的巨大飞跃。这只是将作为Otherworld(其他世界)体验的移动VR冒险的一个方面。

[0076] 从对前述内容的回顾中可以明显看出，并且对于VR、AR和更广泛的模拟领域的相关领域的技术人员来说显而易见的是，提出以改进现有技术的个人硬件或软件系统必须考虑更广泛的系统参数，并明确这些系统参数的假设，以便进行适当的评估。

[0077] 因此本提案的实质内容，其重点是属于便携式AR和VR技术类别的硬件技术系统，并且实际上是两者的融合，但其最可取的版本是可穿戴技术，在优选的可穿戴版本中，是HMD技术，只考虑或重新考虑它所属的整个系统，才能成为一种优秀解决方案的完整案例。因此需要呈现更大的VR、AR和模拟系统的历史，因为例如新HMD技术的提议和商业产品的趋势太窄，没有考虑到也没有回顾系统层面的假设、要求和新的可能性。

[0078] 不必对HMD技术发展中的主要里程碑进行类似的历史回顾，因为需要在系统层面上回顾更广泛的历史，以提供能够得出用于帮助解释其HMD中现有技术的局限性和现有技术的现状的框架，以及所提出的解决方案的原因和所提出的解决方案解决所识别问题的原因。

[0079] 足以理解和识别HMD中现有技术的局限性的内容始于以下内容。

[0080] 在头戴式显示器的类别中(出于本公开的目的，其包含头盔式显示器)，到目前为止已经识别出两种主要的子类型：VR HMD和ARHMD，遵循本文中已经提供的那些定义的含义，并且在AR HMD的类别中，已经使用两个类别来区分这些类型是“视频透视”或“光学透视”(更常见地简称为“光学HMD”)。

[0081] 在VR HMD显示器中，用户观看单个面板或两个单独的显示器。这种HMD的典型形状通常是护目镜或面罩的形状，尽管许多VR HMD具有焊接头盔的外观，其具有庞大的封闭面甲。为了确保最佳的视频质量、沉浸感和无干扰，这种系统是完全封闭的，围绕显示器周边的是吸光材料。

[0082] 本公开的作者先前在合并的美国临时申请“SYSTEM，METHOD AND COMPUTR PROGRAM PRODUCT FOR MAGNETO‑OPTIC DEVICE DISPLAY(用于磁光设备显示的系统、方法和计算机程序产品)”中提出了两种类型的VR HMD。其中之一简单地提出将传统的直观LCD替换为该申请主要目的的晶片型实施方式，第一款实用磁光显示器，其优越的性能特征包括极高的帧速率，以及整体上改进了显示技术的其它优点，并且在该实施方式中，用于改进的VR HMD。

[0083] 根据该公开的教导，第二版本预期了一种新的远程生成图像显示器，其将例如在车辆驾驶舱中生成，然后经由光纤束传输，并且之后通过一种特殊的光纤阵列结构(在申请中公开了结构和方法)进行分配，建立在采用新的方法和结构用于通过光纤进行远程图像传输的光纤面板的经验基础上。

[0084] 尽管核心MO技术最初并未针对HMD进行产品化，而是针对投影系统，但这些发展与本提案的某些方面相关，并且此外对于本领域并非普遍公知。特别地，第二版本公开了一种方法，该方法的公开先于使用光纤传送来自未集成到HMD光学器件中或附近的图像引擎的视频图像的其他较新提案。

[0085] 除了具有平坦层的严格控制的舞台环境之外，全封闭VR HMD对移动性的实用性关键考虑因素是为了使运动安全，导航中的虚拟世界必须在对人类运动安全的偏差内以1：1映射到真实的表面形貌或运动路径。

[0086] 然而，正如Loral WDL的Barrilleaux，BARS的开发人员以及过去近四分之一世纪以来该领域的其他研究人员一直在观察和总结的那样，对于作为实用系统的AR系统，必须在虚拟(合成的、CG生成的图像)与现实世界的地形和建筑环境之间获得非常接近的对应关系，包括(因为军队为城市战争开发系统并不意外)移动车辆的几何形状。

[0087] 因此，更普遍的情况是，对于以移动形式启用VR或AR，在任何“虚拟”或合成元素与任何现实世界元素之间必须存在1：1的位置对应关系。

[0088] 在AR HMD的类别中，“视频透视”和“光学透视”之间的区别是用户直接通过透明或半透明的像素阵列和直接设置在观看者面前作为眼镜光学器件本身一部分的显示器观看与通过同样直接设置在观察者面前的光学元件上的半透明投影图像观看之间的区别，从一个(通常是直接相邻的)微显示器产生并通过光中继形式传送到面对的光学器件。

[0089] 主要且可能仅部分实用类型的直接通视显示器透明或半透明显示系统(历史上)是没有配置照明背板的LCD—因此，特别地，AR视频通视眼镜拥有一种或多种观看光学器件，包括透明光学基片，其上已装有LCD光调制器像素阵列。

[0090] 对于类似于原始Mann“EyeTap”的应用，其中文本/数据直接显示或投影在面对的光学器件上，不需要校准到现实世界的地形和物体，尽管某种程度的位置相关性有助于用信息文本对视场中的物品进行上下文“标记”。这就是Google Glass产品阐明的主要目的，但是如同本公开的起草，许多开发人员都专注于开发AR类型的应用程序，这些应用程序在现场场景中叠加的不仅仅是文本。

[0091] 除了在近似2D平面或粗视锥中的粗略近似位置相关性之外，对视频或光学透视系统的用户视场中的地形或对象进行这种“校准”的主要问题是确定观看者环境中对象的相对位置。如果没有参考和/或大致实时的空间定位数据及局部环境的3D映射，则不能执行透视和相对尺寸的计算而无明显不一致。

[0092] 除了相对尺寸之外，从任何观看点透视的一个关键方面是逼真的照明/阴影，包括投影，这取决于照明方向。最后，从任何给定的观看位置遮挡对象的是感知透视和相对距离及定位的关键光学特性。

[0093] 不存在或不能设计视频透视或光学透视HMD而独立于如何提供这样的数据以在视频或光学通视类型系统中实现或者确实用于移动VR、佩戴者周围环境的空间观察、必要的安全运动或寻路的问题。这些数据是在外部、本地还是多种来源提供的？如果是部分本地和部分HMD，这对整个HMD系统的设计和性能有何影响？如果有的话，这个问题对视频与光学透视之间的选择(考虑到重量、平衡、体积、数据处理要求、组件之间的滞后，以及其他影响和受影响的参数)以及显示器和具体光学组件的选择有什么影响？

[0094] 在VR HMD的演变和进步期间要解决的技术参数和问题中，主要包括的问题有增加视场，减少延迟(运动跟踪传感器与虚拟视角变化之间的滞后)，提高分辨率、帧速率、动态范围/对比度和其他一般显示器质量特性，以及重量、平衡、体积和一般人体工程学。图像准直和其他显示器光学器件的细节已得到改进，有效地解决了“模拟器疾病”的问题，这是早期的一个主要问题。

[0095] 随着这些一般技术类别以及重量、尺寸/体积和平衡的改进，显示器、光学器件和其他电子器件的重量和体积趋于减小。

[0096] 固定VR装置通常用于车辆中的夜视系统，包括飞机；然而，移动夜视镜可以被认为是一种类似于移动VR的中介观看形式，因为佩戴者正在观看的基本上是实时的真实场景(IR成像)，但是通过视频屏幕，而不是以“通视”的形式。

[0097] 该子类型类似于Barrilleaux在同样引用的1999年回顾中所定义的，如同“间接视图显示”。他提供了关于提出的AR HMD的定义，其中没有实际的“通视”，而看到的仅仅是在显示器上合并/处理的真实/虚拟图像，大概与任何VR类型或夜视系统所包含的一样。

[0098] 然而，夜视系统不是虚拟合成景观和真实的融合或混合，而是根据IR信号的强弱通过视频信号处理解读为不同强度的单色图像的IR传感器数据的直接传输视频图像。作为视频图像，它确实适用于实时文本/图形叠加，与Eyetap最初构思的简单形式相同，并且如Google已经声明的那样是其眼镜产品的主要目的。

[0099] 提取现场或从引用提供(或两者皆有)数据给移动VR或移动AR系统的方式和和内容的问题，或现在包括与两个类别有相似性的该混合现场处理视频馈送“间接视图显示”，实现虚拟和真实景观的有效整合以提供一致提示的组合视图是在设计任何新的和改进的移动HMD系统时必须考虑的设计参数和问题，而不管其类型如何。

[0100] 基于已经引用的系统开发人员的早期工作，AR的软件和数据处理已经发展到得以解决这些问题。其示例是Canon Corporation的Matsui和Suzuki的工作，如其待审的美国专利申请“Mixed reality space image generation method and mixed reality system”(2004年9月29日提交的10/951,684号美国专利申请(20050179617号美国公开—现在的7,589,747号美国专利))中所公开的。其摘要如下：

[0101] “一种用于生成通过将虚拟空间图像叠加到通过捕捉真实空间获得的真实空间图像上而形成的混合现实空间图像的混合现实空间图像生成设备，包括叠加虚拟空间图像的图像合成单元(109)，其将考虑到虚拟空间图像的真实空间上的对象的遮挡而显示在真实空间图像上，以及注释生成单元(108)，其进一步施加要显示的图像而不考虑虚拟空间图像的任何遮挡。通过这种方式，能够生成可实现自然显示和方便显示的混合现实空间图像。

[0102] 该系统的目的旨在使完全渲染的工业产品(例如相机)的组合能够被叠加在实体模型(替身道具)上；一对光学通视HMD眼镜和实体模型都配备了位置传感器。实时的逐像素查找比较过程用来遮出来自实体模型的像素，使得CG生成的虚拟模型能够叠加在合成的视频馈送上(缓冲延时，以实现轻微延迟的分层)。系统还添加了注释图形。计算机图像。用于确定遮片并因此确保合成中的正确和非错误遮挡的数据的基本来源是实体模型上的运动传感器和比较像素以拉动手部遮片和实体模型遮片的预定查找表。

[0103] 虽然该系统不适用于概括移动AR、VR或任何混合，但它是尝试提供用于在透视图中正确分析真实3D空间和定位虚拟对象的简单但不完全自动的系统的示例。

[0104] 在视频或光学透视HMD的领域中，在设计显示器或光学器件和显示系统方面几乎没有进展，该系统即使在假设理想地计算出的混合现实透视图被传递给HMD的情况下，也能够实现令人满意、逼真和准确的合并透视图，包括处理适当的透视顺序、在真实空间中从任何给定观察者位置的合并元素的适当遮挡。

[0105] 之前已经引用了一个系统，其声称即使是部分解决这个问题也是最有效的解决方案，并且也许是唯一的集成HMD系统(与之相对，软件/摄影测量/数据处理和传输系统旨在以某种通用方式解决这些问题，独立于HMD)，这是Chunyu Gao在13/857,656号美国专利申请(20140177023号美国公开)中提出的，“用于具有相互遮挡和不透明性控制能力的光学透视头戴式显示器的设备”。

[0106] Gao用以下观察开始他对用于AR的通视HMDS领域的调查：

[0107] 有两种类型的ST‑HMD：光学和视频(J.Rolland和H.Fuchs，“Optical versus video see‑through head mounted,displays(光学与视频透视头戴式显示器)”，Fundamentals of Wearable Computers and Augmented Reality(可穿戴计算机和增强现实基本原理)，113‑157页，2001)。视频透视方法的主要缺点包括：透视视图的图像质量下降；由于处理输入视频流而导致的图像滞后；由于硬件/软件故障而导致可能丢失透视视图。相比之下，光学透视HMD(OST‑HMD)通过分束器提供了现实世界的直接视图，因此对现实世界的视图具有最小的影响。在用户对现场环境的认知至关重要的苛刻应用中是非常优选的。

[0108] 然而，Gao对用视频透视的问题的观察并不合格，首先将现有技术视频透视指定为专用LCD，并且他也没有验证LCD必须(相对地，并且也对其忽略了标准)降低透视图像的断言。本领域技术人员将认识到，这种低质量图像的观点是在最近加速该领域的进展之前从早期通视LCD系统中获得的结果得出的。事实上并不真实也不明显的是，采用通过比较许多光学器件和其他显示技术对再处理或调整“真实”“透视图像”的影响的光学透视系统，与最先进的LCD或其他视频通视显示技术相比，最终结果会相对降低，或者不如诸如Gao等人的提议。

[0109] 与其他也必须处理输入现场图像的系统相比，这种毫无根据的概括的另一个问题是这类透视中的滞后假设。在这种情况下，总体来说，速度的比较是对竞争系统的组件及其性能的详细分析的结果。最后，“可能失去对硬件/软件的透视视图”的猜想基本上是无端的、武断的，并且都未通过一般对视频与光学透视方案之间或者在任一者的特定版本与其组件技术和系统设计之间比较系统鲁棒性或稳定性的任何严格分析来进行验证。

[0110] 除了在领域中进行比较的有错误和偏见的表示的初始问题之外，还存在自身提出的解决方案的定性问题，包括对所提出的HMD系统作为完整HMD系统的遗漏和缺乏考虑，包括作为更广泛的AR系统中的组件，具有先前已参考和解决的数据采集、分析和分配问题。当单独成为HMD本身及其设计能够有助于或阻碍并且不能简单地作为给定而提出的重大问题和难题时，HMD不能被允许当做“给定”某一水平和质量的数据或处理能力用于生成改变的或混合的图像。

[0111] 此外，在问题解决方案的说明书中省略了移动平台中真实和虚拟的视觉集成问题的完整维度。

[0112] 采用本公开及其教导的系统，具体为：

[0113] 如前面在该背景技术中已经描述的，Gao建议是采用两个显示型设备，因为可操作地，将要选择性地反射或传输现场图像的空间光调制器的规格基本上是出于与其在任何显示应用中相同目的的SLM的规格。

[0114] 然后将来自两个设备的输出图像组合在分束器合束器中，假设除了关于这种设备的精度的陈述之外没有任何具体解释，同时在逐像素的基础上进行排列。

[0115] 然而，为了实现两个像素化阵列的这种合并，Gao指定了他称为“折叠光学器件”的复制品，但除了Mann Eyetap方案的双版本之外基本上什么也没有，总共需要两个“折叠光学器件”元件(例如平面光栅/HOE或其他紧凑型棱镜或“扁平”光学元件，每个光源各一个，加上两个物镜(一个用于来自真实视图的波前，另一个用于结合的图像和分束器合束器的焦点)。

[0116] 因此，需要多个光学元件(为此他提供了多种常规光学器件变化)来：1)收集经由第一反射/折叠光学器件(平面型光栅/镜子、HOE、TIR棱镜或其他“扁平”光学器件)并从该处到物镜的真实场景的光，将其传到下一个平面型光栅/镜子、HOE、TIR棱镜或其他“扁平”光学器件以再次“折叠”光路，所有这些是为了确保整个光学系统相对紧凑并包含在两个矩形光学中继区的示意组中；从折叠光学系统，光束通过分束器/合束器到达SLM；然后，在像素化(采样)的基础上反射或透射，从而将可变地(从真实图像对比度和强度变化以修改灰度等级等)调制的，现在像素化的真实图像返回到分束器/合束器。虽然显示器同步生成虚拟或合成/CG图像，但可能也经过校准以确保易于与修改后的像素化/采样的真实波前整合，并经过分束器以整合真实场景的像素到像素、利用多步骤、经修改和像素化的样本，从那里通过目镜物镜，然后返回到另一个“折叠光学”元件，以从光学系统反射到观看者的眼睛。

[0117] 总的来说，对于真实图像波前的经修改的像素化采样部分，在到达观看者眼睛之前，穿过七个光学元件，不包括SLM；显示器生成的合成图像只通过两个。

[0118] 虽然光学图像组合器的精确对准问题，一直到像素级，无论是从通过激光询问的图像样本收集的反射光还是小功能SLM/显示设备产生的组合图像，但是保持对准(特别是在机械振动和热应力条件下)在本领域中被认为举足轻重。

[0119] 数字投影自由空间光束组合系统，其组合了高分辨率(2k或4k)红色、绿色和蓝色图像引擎的输出(通常由DMD或LCoS SLM生成的图像)，这样的系统很昂贵并且维护这些对准是非常重要的。有些设计比Gao的方案的七元素的情况简单。

[0120] 另外，这些复杂的多引擎多元件光学组合器系统远非HMD所需的那样紧凑。

[0121] 已经开发出单片棱镜(例如由Agilent为生命科学市场开发和销售的T‑Rhomboid组合器)专门用于解决自由空间组合器在现有应用中表现出来的问题。

[0122] 虽然诸如Microvision和其他公司已经成功地将其基于SLM的、最初为微投影开发的技术部署到HMD平台中，但是这些光学设置通常基本上不如Gao的提议复杂。

[0123] 此外，很难确定两个平台上两个图像处理步骤和计算迭代的基本原理是什么，以及为什么需要实现真实和虚拟波前输入的平滑和整合，实施正确的组合场景元素的遮挡/不透明。看起来Gao最关注和待解决的问题是合成图像竞争的问题，难以与真实图像的亮度相比，并且因此SLM的主要任务似乎有选择地降低了部分真实场景或整个真实场景的亮度。虽然Gao并未指明，也没有SLM会如何完成其相关的图像更改功能的细节，通常也可以推断，例如通过在时分多路复用系统中最小化反射位置中的DMD镜的持续时间，在降低被遮挡的真实场景元素的强度的同时，可以简单地放弃被遮挡的像素。

[0124] 在必须被兼顾进行计算、校准和对准的许多参数中，包括确切地确定来自实场的哪些像素是对于合成像素的校准像素。如果没有精确匹配，重影重叠、错误对齐和遮挡将会成倍增加，尤其是在移动场景中。将真实场景波前部分传到物镜的反射光学元件的位置相对于场景具有首先与场景中观看者的透视位置不同的真实透视位置，它不是扁平的也不是位于正当中，它只是一个波前样本，而不是位置。而且，当可移动时也同时移动，并且预先并不为合成图像处理单元所知。仅由于这些事实，该系统中的变量数量就非常大。

[0125] 如果它们是的话，并且该解决方案的目标变得更具体，则可能变得清楚的是，可能存在比使用第二显示器更简单的方法来实现这一点(在双目系统中，添加总共2个显示器，指定SLM)。

[0126] 其次，对于方案的检验很明显的是，如果任何方法，由于具有多个累积对准公差的这种复杂系统的耐久性，多元素路径中原始部件的缺陷和随时间推移的磨损的积累，合并光束的未对准形成累积的热和机械振动效应，以及由七元素加上光学系统的复杂度引起的其他复杂化，正是这个系统可能内在地形成外部现场图像波前的降级，特别是随着时间推移更明显。

[0127] 另外，如先前已经详细注意到的那样，计算真实元素和虚拟元素之间的空间关系的问题是举足轻重的。设计系统，必须从这些计算中驱动两个(在双目系统中)、四个显示型的设备，最可能是不同类型(因此具有不同的色域、帧速率等)，给已经很苛刻的系统设计参数增加了复杂性。

[0128] 此外，为了在没有重影或滞后的情况下提供高性能图像，并且不引起眼睛疲劳和视觉系统疲劳，高帧速率是必不可少的。然而，对于Gao的系统，只有使用透视而不是反射的SLM，系统设计才会略微简化；但即使使用更快的FeLCoS微显示器，帧速率和图像速度仍然远低于诸如TI DLP(DMD)的MEMS设备。

[0129] 然而，由于还需要更高的HMD分辨率，起码要实现较宽的FOV，求助于诸如TI的2k或4k设备的高分辨率DMD意味着求助于非常昂贵的解决方案，因为已知具有特征尺寸和数量的DMD产量低，缺陷率高于大众消费者或企业生产和成本通常可容忍的缺陷率，对于现在使用它们的系统来说价格非常高，例如市场上由TI OEM的Barco、Christie和NEC销售的数字电影放映机。

[0130] 尽管从平面光学投影技术用于光学透视HMDS(例如Lumus、BAE等)出发在直观上是很容易的步骤，其中遮挡既不是设计目标也不可能在这些方法的范围和能力内，本质上复制该方法并调整真实图像，然后使用诸如Gao提出的传统光学设置组合两个图像，同时依靠大量平面光学元件来达到组合的目的并且在相对紧凑的空间中完成。

[0131] 为了总结背景回顾，并回到光学透视HMD和经典VR HMD这两大HMD分类中的当前领导者，现有技术可概括如下，注意其他变体光学透视HMD和VR HMD既可以在市场上获得，也可以进行大量的研究和开发，其中有大量的商业和学术工作，包括自从Google Glass和Oculus VR HMD(Rift)产生突破后大幅升级的产品公告、出版和专利申请：

[0132] 在撰写本文时，拥有商业领先的移动AR光学HMD的Glass的Google已经为光学透视HMD类别建立了突破性的公众可见性和占优势的市场定位。

[0133] 然而，他们跟随已经在主要的国防/工业领域开发和部署产品的其他人进入市场，包括Lumus和BAE(Q‑Sight全息波导技术)。在进入其他近期市场和研究阶段时，也在全息波导领域中发现了诸如将英国国家物理现实研究商业化的TruLife Optics等企业，他们声称具有比较优势。

[0134] 对于许多军用头盔式显示器应用，以及Google官方用于Glass的初级用例，再次如前所述，文本和符号图形元素在视图空间上的叠加，仅需要粗略的位置关联，可能足以用于许多初始的、简单的移动AR应用。

[0135] 然而，即使在信息显示应用的情况下，显而易见的是，在面对(以及最终环绕)观看者的视图空间中的项目和地形的标记信息的密度越大，对标签的空间顺序/分层的需求越大，以匹配标记元素的透视/相对位置。

[0136] 重叠—即，视场中的真实元素对标签的部分遮挡，而不仅仅是标签本身的重叠，因此必然成为甚至“基本的”信息显示用途的光学通视系统的要求，以管理视觉混乱。

[0137] 另外，由于标签必须反映的不仅是标签元素在真实空间的透视图中的相对位置，而且还有自动化的(基于预定或软件计算的)优先级和实时的程度、用户指定的优先级、标签大小和透明度，以命名除了图形系统用来反映信息层级的两个主要视觉提示之外，还必须进行管理和实施。

[0138] 然后问题立即出现，详细考虑标签和叠合图形元素的半透明度和重叠/遮挡问题，如何处理通过这些基本的光学透视HMD(无论是单目分划板型还是双目全眼镜型)的光学元件和叠合生成的视频显示元件的现场元素的相对亮度问题，特别是在明亮的户外照明条件和非常昏暗的室外条件下。对于充分扩展这些显示器类型的实用性，夜间使用显然是低光问题的极端情况。

[0139] 因此，当我们经过无源光学透视HMD类型的最有限的用例条件时，由于信息密度的增加—随着这种系统在商业上取得成功并且通常密集的城市或郊区区域从商业企业获得标记信息，这将是可预期的—以及在明亮和昏暗条件下的使用参数增加了约束条件，很明显“无源”光学透视HMD无法逃避，也无法应对移动AR HMD的任何现实实际实施的问题和需求。

[0140] 此外，无源光学直通HMD必须被认为是用于实现移动AR HMD的不完整模型，并且回顾过去，将被视为仅仅是到有源系统的过渡踏脚石。

[0141] Oculus Rift VR(Facebook)HMD：与Google Glass产品营销活动的影响有些相似，但不同的是Oculus实际上也引领该领域解决和/或开始实质上解决一些实际VR HMD的重大门槛障碍(而不是就Google而言，跟随Lumus和BAE)，撰写本文时Oculus Rift VR HMD是领先的预大量发布的VR HMD产品，进入并创造了面向广泛接受的消费者和商业/工业VR的市场。

[0142] Oculus Rift VR HMD的基本门槛进步可归纳为以下产品功能清单：

[0143] 显着拓宽的视场，通过使用1080p分辨率的单个当前7英寸对角线显示器实现，位于距离用户眼睛几英寸处，并且在单一显示器上分成双目透视区域。如同本文所写，与现存HMD通用规格的总共45度相比，当前FOV为100度(改善其原始的90度)。单独的双目光学器件实现立体视觉效果。

[0144] 显着改善头部跟踪，导致低滞后；这是一个改进的运动传感器/软件的进步，并利用从Nintendo Wii、Apple和手机传感器技术中的其他快速跟随者、Playstation PSP和现在的Vita、Nintendo DS现在的3DS以及Xbox Kinect系统移植而来的微型运动传感器技术，以及其他具有用于3D维位置跟踪的内置运动传感器(加速度计、MEMS陀螺仪等)的手持式和手持式设备产品。当前的头部跟踪实现了多点红外光学系统，具有外部传感器协同工作。

[0145] 低延迟，是改进的头部跟踪和快速软件处理器更新到交互式游戏软件系统的综合结果，尽管受到所采用的显示技术的固有响应时间的限制，但最初的LCD被更快的OLED所取代。

[0146] 低持续性，是一种缓冲形式，以帮助保持视频流平顺，与更高转换速度的OLED显示器结合工作。

[0147] 更轻的重量、更小的体积、更好的平衡以及整体改进的人体工程学，通过采用滑雪护目镜形状因子/材料和机械平台来实现。

[0148] 为了总结将这些改进相结合的净效益，虽然这样的系统可能在结构上或操作上没有新的模式，改进的部件和特别有效的外观设计专利US D701,206以及任何专有软件的净效果，已经产生了突破性的性能水平和大众市场VR HMD的验证。

[0149] 跟随他们的引领并采用他们的方法，在许多情况下，有其他人已经基于Oculus VR Rift配置的成功改变他们的设计的情况下的一些同期产品程序，已经有许多VR HMD产品开发商在最初的2012年电子博览会演示和Oculus VR的Kickstarter融资活动之后制定了产品计划公告，其中既有品牌公司也有初创公司。

[0150] 在这些快速追随者和其他明显改变其策略以遵循Oculus VR模板的企业中有三星(其展示的开发模式如本文所述与Oculus VR Rift设计非常相似)和索尼的Morpheus。在该领域获得关注的初创公司包括Vrvana(以前的True Gear Player)、GameFace、InfiniteEye和Avegant。

[0151] 这些系统配置中没有一个看起来与Oculus VR完全相同，尽管一些使用2个面板，还有一些使用4个面板，InfiniteEye使用4个面板系统来将FOV扩展至声称的200+度。有些使用LCD，有些则使用OLED。光学传感器用于提高头部跟踪系统的精度和更新速度。

[0152] 所有系统都实现为基本上就地或高度约束的移动性。采用车载和基于有源光学标记的运动跟踪系统，其设计用于封闭空间，如起居室、手术室或模拟器阶段。

[0153] 与Oculus VR方案具有最大差异的系统是Avegant的Glyph和Vrvana Totem。

[0154] Glyph实际上实施了一种显示解决方案，该解决方案遵循先前建立的光学通视HMD解决方案和结构，采用Texas Instruments DLP DMD在反射平面光学元件上生成投影微图像，其配置和操作与现有的光学透视HMD的平面光学元件相同，不同之处在于采用高对比度、吸光性背板结构来实现反射/间接微型投影仪显示类型，视频图像属于一般类别的不透明、非透明显示图像。

[0155] 然而，这里如前面在Gao的公开的讨论中所建立的，当采用DLPDMD或其他MEMS组件时，对于增加显示分辨率和超出1080p/2k的其他系统性能的限制是那些在此类系统中的成本、制造产量和缺陷率、耐用性和可靠性。

[0156] 此外，平面光学元件(光栅结构、HOE或其他)的有限扩展/放大因子扩大了SLM图像尺寸，但是扩大了对人类视觉系统(HVS)的相互作用/负担，尤其是焦点系统，对来自该有限扩展/放大因子的图像尺寸/FOV的限制对安全性和观看者的舒适性提出了限制。用户对Google眼镜试验中使用类似尺寸但分辨率较低的图像的反应表明，使用更高分辨率、更亮但同样小的图像区域使HVS更加竭尽全力对HVS构成了挑战。Google的官方顾问眼科医师Eli Peli博士在接受在线网站BetaBeat采访时(2014年5月19日)向Google Glass用户发出警告，预见了一些眼睛紧张和不适，随后修改了警告(2014年5月29日)试图限制潜在用途的案例和范围。该划分是针对眼部肌肉的使用方式，它们不是设计或用于长时间使用的，并且修订后的声明中的近似原因是迫使用户查找小显示图像的位置。

[0157] 然而，在真实FOV的一小部分上焦点使用所需的眼肌使用的特定组合不能被假设为与整个真实FOV上的眼动所需的相同。事实上，局部肌肉小的微调比扫描自然FOV所涉及的运动范围更受约束和限制。因此，如本领域所知，紧缩的ROM中的重复运动不仅局限于聚焦方向，尽管由于HVS的性质，预期会增加超出正常使用范围的过度负担，而且局限于对运动范围的限制和进行非常小的、受控的微调的要求。

[0158] 增加的复杂性是受约束的眼动区域中的细节水平可能开始随着带有复杂、精细运动的场景中的分辨率增加而快速超过来自精密工具工作的眼睛疲劳。光学通视系统的任何开发人员都没有对这个问题进行严格的处理，这些问题以及Steve Mann多年来使用他的EyeTap系统报告的眼睛疲劳、头痛和头晕问题(据报道，通过将图像移动到最近Digital EyeTap更新中的视场中心得以部分改进，但也未被系统地研究过)仅收到了有限的评论，只关注部分问题和眼睛疲劳的问题，其可以从近距离工作和“计算机视力疾病”发展而来。

[0159] 然而，Google提供的有限公众评论反复声称，一般来说，Glass作为光学通视系统是慎重地用于偶尔观看，而不是长时间或高频观看。

[0160] 理解Glyph方案的另一种方式是，最高级别遵循Mann数字EyeTap系统和结构布置，具有用于光隔离VR操作的实施的变化以及采用当前光学通视系统的横向投影平面偏转光学设置。

[0161] 在Vrvana Totem中，违背Oculus VR Rift的是采用Jon Barrilleaux的“间接视图显示”方案，通过添加双目传统视频摄像机以允许在视频捕获的前向图像捕获与同一光学遮蔽的OLED显示面板上生成的仿真之间切换。Vrvana在营销材料中表示，他们可以实施这种非常基本的“间接视图显示”，完全遵循Barrilleaux确定的AR原理图和模式。显然，实际上这一代Oculus VR的任何其他VR HMD可以安装有这样的传统相机，尽管对HMD的重量和平衡有影响，但至少是这样。

[0162] 从上述内容可以明显看出，在“视频透视HMD”类别中，或者一般来说在“间接视图显示”领域中，几乎没有取得实质性进展，除了夜视镜类别之外，其作为子类型已经发展得很好，但是除了在本领域已知的视频处理器方法中提供向实况图像添加文本或其他简单图形之外，其缺少任何AR特征。

[0163] 另外，关于VR HMD的现有限制，所有这种采用OLED和LCD面板的系统都会忍受相对低的帧速率，这导致运动滞后和延迟，以及对一些用户的负面生理影响，属于“模拟器病”的广泛类别。还要注意的是，在采用诸如RealD系统之类的商用立体声系统实施于基于Texas Instruments(德州仪器)DLP DMD的投影仪或基于Sony LCoS的投影仪的电影院数字立体投影系统中，据报道，不够高的帧速率导致一小部分观众(在一些研究中高达10％)体验到头痛和相关症状。其中一些是这些个体所独有的，但其中很大一部分可以追溯到对帧速率的限制。

[0164] 而且，正如指出的那样，Oculus VR已经部分地实施了“低持久性”缓冲系统，以补偿在写入时使用的OLED显示器仍然不够高的像素转换/帧速率。

[0165] 对现有VR HMD的性能的又一影响是由于现有OLED和LCD面板显示器的分辨率限制，其部分地有助于使用5‑7”对角显示器并将其安装在距观察光学器件(和观看者眼睛)一定距离处的要求以实现足够有效的分辨率，有助于现有和计划产品的体积、尺寸和平衡显著要比大多数其他光学头戴产品更巨大、更笨重、更沉重。

[0166] 预期潜在的部分改进来自弯曲OLED显示器的使用，可以预期其在不增加体积的情况下进一步改善FOV。但是，以足够的数量投入市场而需要以可接受的产量对工厂产能进行大量额外规模投资的费用使得这一前景在短期内不太实际。它只能部分解决体积和尺寸问题。

[0167] 为了完整起见，还必须提及用于观看视频内容但不交互或具有任何运动感测能力的视频HMD，因此没有为虚拟或混合(混合现实/AR)世界导航的能力。在过去的十五年中，这种视频HMD已经得到了实质性的改进，增加了有效的FOV和分辨率以及观看舒适性/人体工程学，并提供了当前VR HMD已经能够利用和构建的发展路径和进步。但是，这些也受到所采用的显示技术的核心性能的限制，其模式遵循针对基于OLED、LCD和DMD的反射/偏转光学系统所观察的限制。

[0168] 透明眼镜光学范例的投影图像的其他重要变化包括来自Osterhoudt Design Group、Magic Leap和Microsoft(Hololens)的那些变化。

[0169] 尽管这些变化具有一些相对的优点或缺点—相对于彼此以及前面详细回顾的其他现有技术—它们都保留了基本方法的局限性。

[0170] 对于更基本和普遍的共同点，它们也受到所采用的显示/像素技术的基本类型的限制，由于现有核心显示技术的帧速率/刷新，无论是快速LC、OLED还是MEMS，以及是否采用机械扫描光纤输入或其他公开的用于将显示图像传送到观察光学器件的光学系统，全都仍不足以满足分别和共同有助于实现大众市场、高品质的令人愉悦的AR和VR的高质量、易于观看(HVS)、低功率、高分辨率、高动态范围和其他显示性能参数的要求。

[0171] 为了总结现有技术的状态，对于前面所述的细节：

[0172] ·“高视敏度”VR已经从FOV、延时、头部/运动跟踪、更轻的重量、尺寸和体积等很多方面得到实质改善。

[0173] ·但帧速率/延时和分辨率、(在显著的推论程度上)重量、尺寸和体积都受限于可用核心显示技术的约束。

[0174] ·现代VR受限于在小的受控空间中静止或高度受限且有限的移动使用。

[0175] ·VR基于光学通视系统的封闭版本，但配置为横向投影——偏转系统，其中SLM通过一系列三光学元件将图像投影到眼睛中，其在反射图像的尺寸表现中受到限制，与标准眼镜镜片的总面积相比，反射图像扩大但并非远大于SLM(DLP DMD、其他MEMS或FeLCoS/LCoS)的输出。来自“特写工作”极强版本扩展观察以及将对眼睛肌肉提出需求的眼睛疲劳风险是对实际接受度的又一限制。SLM类型和尺寸的显示器也限制了通过所引用技术的更高分辨率SLM的缩放成本来提高分辨率和整体性能的实用途径。

[0176] ·光学通视系统通常具有眼睛疲劳的相同可能性，由于将眼肌使用限制到相对较小的区域而并且在这些约束内需要相对较小且频繁的眼睛跟踪调整，并且多用于短期使用。Google Glass的设计旨在通过将光学元件向上定位并超出直视前方的眼睛的直接静止位置来体现有限持续时间使用的期望。但是用户依然报告了眼睛疲劳，正如媒体报道中已借助于来自Google Glass Explorers的文本和访谈广泛记载的那样。

[0177] ·由于需要在透视图中组织具有现实世界对象的标签，因此光学通视系统在重叠的半透明信息密度方面受到限制。即使对于图形信息显示应用，移动性和信息密度的要求也使得无源光学视图受到限制。

[0178] ·“间接视图显示”的方面已经以夜视镜的形式实现，并且Oculus VR的竞争者Vrvana仅提出了使其配备了Totem的双目视频摄像机适应AR的建议。

[0179] ·Gao的提议虽然声称是光学通视显示，但实际上更多是带有准透视方面的“间接视图显示”，借助于使用SLM设备，如在改进的投影显示器中那样起作用，用于采样真实波前的一部分并且数字地改变该波前的部分。

[0180] 介入初始波前部分的光学路由中的光学元件的数量(也是这里要添加的点，远小于一副传统眼镜中传统镜片的光学区域)为七或接近该数字，引入了图像像差、伪像和损耗的机会，但是在需要复杂的光学对准系统的领域中，其中许多元素的这种复杂的自由空间对准不常见，并且当有需要时其昂贵、难以维持并且不稳健。期望SLM管理真实场景的波前改变的方法也没有针对特定要求指定或验证。在执行计算以在透视图中的真实与合成元素之间建立适当关系已经非常苛刻的环境中，特别是当个体在信息密集、地形复杂的环境中移动时，协调2—4个显示类型设备(取决于单目系统或双目系统)之间的信号处理也不是问题，包括确切地确定来自实场的像素是适当合成像素的校准像素。安装在车辆上只会进一步加剧这个问题。

[0181] 与构建如Gao提出的光学装置的任务，或者乃至将其减小到相对紧凑的形状因子的任务相比，对于开发完整系统有无数额外问题。尺寸、平衡和重量只是对各种处理和光学阵列单元的数量和必要位置的许多影响之一，但与引用的其他问题和限制相比，它们的影响相对较小，尽管它们对于将这种系统实际部署到现场用于军事或加固工业用途或者消费者使用来说很重要。

[0182] ·除了显示类型单元的数量和对齐的细节、光学系统、像素系统匹配以及透视问题，100％的“间接视图显示”在关键方面与Gao的提议有类似的要求，因而对于这种系统的所有关键参数应该需要与实时的、单个透视实时的通视图像相协调的存储合成CG 3D映射空间的“强力”计算的程度产生疑问。问题变大到必须全部执行计算的程度，利用前视摄像机捕获的视频图像，以基本的Barrilleaux和现在可能的Vrvana设计，转发到非本地(到HMD和/或穿戴者他/她自己)的处理器用于与合成元素合成。

[0183] 真正的移动系统所需的如下所述，无论是VR还是AR，其实现对真实环境的沉浸和校准：

[0184] ·符合人体工程学的光学和观察系统，其使对人类视觉系统的任何非正常要求降到最低。这是为了实现更多的扩展使用，是移动使用所意味的。

[0185] ·宽视场，理想情况下包括120‑150度的外围视图。

[0186] ·高帧速率，理想地为60fps/眼睛，以使延时和通常由显示器造成的其他伪像最小化。

[0187] ·在该单元与面部的舒适距离处的高效分辨率。可用于测量最大值的有效分辨率标准要么是有效的8k，要么是“视网膜显示”。该距离应该类似于传统眼镜的距离，通常采用鼻梁作为平衡点。准直和光学路径光学器件是建立适当的虚拟焦平面所必需的，该虚拟焦平面也实现了这种有效的显示分辨率和光学元件到眼睛的实际距离。

[0188] ·高动态范围，尽可能接近地匹配现场、真实视图的动态范围。

[0189] ·在已知的形貌中确定头部和身体两者的定向的车载运动跟踪‑无论是提前知道还是在佩戴者的视野范围内及时知道。这在混合方案中可以通过外部系统来补充。

[0190] ·显示光学系统，其能够在真实场景波前与任何合成元素之间在人类视觉系统的环境内进行快速合成处理。应尽可能使用被动装置，以最小化车载(对于HMD和佩戴者而言)和/或外部处理系统的负担。

[0191] ·显示光学系统，相对简单和坚固，光学元件很少，有源器件元件很少，有源器件设计简单，重量和厚度都很小，在机械和热应力下也很稳固。

[0192] ·重量轻，体积小，重心平衡，以及形状因子，其适合于已知为专业用户(例如军事和加固环境工业用户)、坚固耐用的运动应用程序、一般消费及商业使用所接受的设计配置。这些因素也接受自从诸如Oakley、Wiley、Nike和Adidas等眼镜制造商到Oakley、Adidas、Smith、Zeal等稍微更专业的运动护目镜制造商的因素范围。

[0193] ·一种可以在VR体验与透视集成的混合观看AR系统之间可变地切换的系统，同时保持完全移动性以及可变遮挡。

[0194] ·一种既可以管理HVS的入射波长又可以经由传感器及其混合物从那些感兴趣的波长获得有效信息的系统。IR、可见光和UV为感兴趣的典型波长。

发明内容

[0195] 本发明公开了一种用于重新构思捕获、分配、组织、传输、存储和呈现到人类视觉系统或非显示数据阵列输出功能的过程的系统和方法，其方式是从那些过程的非优化操作级的妥协功能解放设备和系统设计，而不是将光子信号处理和阵列信号处理级分解为允许最适合每个级的设备的优化功能的操作级，这在实践中意味着以这些设备和过程最有效工作的频率设计和操作设备，然后进行有效的频率/波长调制/移位级以在那些“便利频率”之间来回移动，具有进一步实现更有效的全光学信号处理的净效应，无论是本地还是长途。

[0196] 提供以下发明内容以便于理解与信号处理有关的一些技术特征，并非旨在作为对本发明的完整描述。通过将整个说明书、权利要求、附图和摘要作为一个整体，能够获得对本发明的各个方面的全面理解。

[0197] 本发明的实施方式可以涉及将集成像素信号“调制器”的组件分解成离散信号处理级，并从而分解为电信型网络，其可以是紧凑的或空间远程的。操作上最基本的版本提出了三级“像素信号处理”序列，包括：像素逻辑“状态”编码，通常在集成像素调制器中完成，其与颜色调制级分开，而颜色调制级又与强度调制级分开。进一步详细说明了更详细的像素信号处理系统，其包括子级和选项，并且更加详细和特别调整以适合于磁光子系统的有效实现，并且包括1)有效的照明源级，其中大多数光(优选地非可见的近IR)被转换成适当的模式并发射到信道化阵列中，并提供级2)，像素逻辑处理和编码；然后是3)可选的非可见能量过滤和回收级；4)可选的信号修改级，以改善/修改诸如信号分割和模式修改的属性；5)频率/波长调制/移位以及附加带宽和峰值强度管理；6)可选的信号放大/增益；7)用于完成某MO型光阀转换的可选分析器；8)用于像素信号处理和分配的某无线(级)的可选配置。
另外，提出了该系统的DWDM型配置，其提供了全光学网络的版本和路径，具有因此获得的主要伴随成本和效率：特别激发并且使之更有效地处理现场和记录的图像信息。最后，提出了新的混合磁光子设备和结构，并且实现先前对于本公开的系统不实用的其他设备和结构，以最大限度地利用像素信号处理系统并且围绕其最佳地配置这样的系统，包括基于磁光和非磁光效应(如慢光和反磁光效应)混合的设备的新的和/或改进的版本，实现新的基本转换，以及新的混合2D和3D光子晶体结构类型，其为所有应用改进许多(如果不是大部分)MPC类型的设备。

[0198] 在本公开的发明人的共同待审申请中，提出了一类新的显示系统，其将通常集成的像素信号“调制器”的组件分解成离散的信号处理级。因此，通常在集成像素调制器中实现的基本逻辑“状态”与颜色调制级分离，其又与强度调制级分离。这可以被认为是应用于可见图像像素调制问题的电信信号处理架构。通常，提出三个信号处理级和三个分离设备组件和操作，但是可以添加和考虑附加的信号影响操作，包括偏振特性，从常规信号到诸如偏振子和表面等离子体的其他形式的转换，信号叠加(例如基本像素开/关状态叠加在其他信号数据上)等。宽带网络中的高度分布式视频信号处理架构，服务于基本上由无源材料的后续级组成的相对“非智能”的显示装置是一个主要的结果，以及紧凑的光子集成电路器件，其在分离器件之间紧密接触的一个或多个相同器件上以及在大型阵列中实施串联的离散信号处理步骤。

[0199] 在混合电信型的改进和详细版本的本公开中，像素信号处理显示系统采用磁光/磁光子级/器件与其他像素信号处理级/器件相结合，尤其包括频率/波长调制/移位级和器件，这可以在实施方式的稳固范围中实现，还包括改进的和新颖的混合磁光/光子器件，不限于经典或非线性法拉第效应MO效应，而更广泛地包括非互易MO效应和现象及其组合，还包括混合法拉第/慢光效应和基于克尔效应及基于法拉第和MO克尔效应混合的设备以及其他MO效应；并且还包括改进的“挡光板”结构，其中调制信号的路径与器件的表面在平面内折叠，以减小整个器件的特征尺寸；还包括准2D和3D光子晶体结构以及多层薄膜PC和表面光栅/偏振PC的混合；以及还有MO和Mach‑Zehnder干涉仪设备的混合。

[0200] 因此，包含早先的基于MO的设备以及本文公开的改进的设备，本公开提出了一种电信类型或电信结构的像素信号处理系统，其具有具备本公开系统特征的像素信号处理(或者同样地，PIC，传感器或电信信号处理)级和架构(及其变体)的以下处理流程：

[0201] 本文所述的任何实施方式可以单独使用或以任何组合彼此一起使用。本说明书中包含的发明还可以包括在本发明内容或摘要中仅部分提及或暗示或根本未提及或暗示的实施方式。尽管本发明的各种实施方式可能受到现有技术的各种缺陷的驱动，其可在说明书的一个或多个地方讨论或暗示，但本发明的实施方式未必解决任何这些缺陷。换句话说，本发明的不同实施方式可以解决可以在说明书中讨论的不同缺陷。一些实施方式可以仅部分地解决一些缺陷或仅可以在说明书中讨论的一个缺陷，一些实施方式可能不解决这些缺陷中的任何一个。

[0202] 通过阅读本公开，包括说明书、附图和权利要求，本发明的其他特征、益处和优点将是显而易见的。

附图说明

[0203] 附图中，相同的附图标记在各个单独视图中指代相同或功能相似的元素，并且包含在说明书中并形成说明书的一部分，进一步阐明了本发明，并与本发明的详细描述一起，用于解释本发明的原理。

[0204] 图1示出了可用于实施本发明实施方式的成像架构；

[0205] 图2示出了使用光子转换器作为信号处理器实施图1的成像架构的版本的光子转换器的实施方式；

[0206] 图3示出了图2的光子转换器的一般结构；

[0207] 图4示出了光子转换器的特定实施方式；

[0208] 图5示出了用于混合光子VR/AR系统的通用架构；以及

[0209] 图6示出了用于混合光子VR/AR系统的实施方式架构。

具体实施方式

[0210] 本发明的实施方式提供了一种用于重新构思捕获、分配、组织、传输、存储和呈现到人类视觉系统或非显示数据阵列输出功能的过程的系统和方法，其方式是从那些过程的非优化操作级的妥协功能解放设备和系统设计，而不是将光子信号处理和阵列信号处理级分解为允许最适合每个级的设备的优化功能的操作级，这在实践中意味着以这些设备和过程最有效工作的频率设计和操作设备，然后进行有效的频率/波长调制/移位级以在那些“便利频率”之间来回移动，具有进一步实现更有效的全光学信号处理的净效应，无论是本地还是长途。呈现以下描述以使得本领域普通技术人员能够制造和使用本发明，并且在专利申请及其要求的背景下提供以下描述。

[0211] 对于本领域技术人员来说，对优选实施方式和本文所述的一般原理和特征的各种修改是显而易见的。因此，本发明并非旨在限于所示的实施方式，而是与符合本文所述的原理和特征的最宽范围相一致。

[0212] 定义

[0213] 除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本发明总体构思所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解的是，诸如在常用词典中定义的那些术语应被解释为具有与其在相关领域和本公开的情况中一致的含义，并且将不被解释为理想化的或过于正式的意义，除非在本文中明确定义。

[0214] 以下定义适用于关于本发明的一些实施方式描述的一些方面。这些定义同样可以在本文中扩展。

[0215] 如本文所用，术语“或”包括“和/或”，并且术语“和/或”包括一个或多个相关所列项目的任何和所有组合。诸如“至少一个”之类的表达，当在元素清单之前时，修饰整个元素清单而不修改清单的个别元素。

[0216] 如本文所用，除非上下文另有明确规定，否则单数术语“一”、“一个”和“该”包括复数指示物。因此，例如，除非上下文另有明确规定，否则对对象的引用可包括多个对象。

[0217] 此外，如本文的描述和随后的权利要求中所使用的，“在...中”的含义包括“在......中”和“在......上”，除非上下文另有明确规定。应当理解，当一个元素被称为在另一个元素“上”时，它可以直接在另一个元素上，或者可以在其间存在中间元素。相反，当一个元素被称为“直接在”另一个元素上时，不存在中间元素。

[0218] 如本文所用，术语“集合”是指一个或多个对象的集合。因此，例如，对象的集合能够包括单个对象或多个对象。集合的对象也能够称为集合的成员。集合的对象能够相同或不同。在一些情况下，集合的对象能够共享一个或多个公共属性。

[0219] 如本文所用，术语“邻近”是指附近或邻接。邻近的物体能够彼此间隔开，或者能够彼此实际或直接接触。在一些情况下，邻近的物体能够彼此耦合或者能够彼此一体地形成。

[0220] 如本文所用，术语“连接”是指直接附件或链接。如上下文所示，连接的对象没有或没有实质的中间对象或对象集合。

[0221] 如本文所用，术语“耦合”是指操作连接或链接。耦合对象能够彼此直接连接或者能够间接地彼此连接，例如通过中间对象集合。

[0222] 如本文所用，术语“大体上”和“大体的”是指相当程度或范围。当与事件或情况一起使用时，这些术语能够指事件或情况恰好发生的实例，以及事件或情况发生的近似实例，比如考虑本文描述的实施方式的典型容差水平或可变性。

[0223] 如本文所用，术语“可选的”和“可选地”是指随后描述的事件或情况可能发生或可能不发生，并且该描述包括事件或情况发生的实例和不发生的实例。

[0224] 如本文所用，术语“功能设备”广义上是指从能量提供结构接收能量的能量消散结构。术语功能设备包括单向和双向结构。在一些实施中，功能设备可以是显示器的组件或元件。

[0225] 如本文所用，术语“显示”广义上是指用于产生显示成分的结构或方法。显示成分是由显示图像基元前体生成的处理后的图像成分信号产生的显示图像成分的集合。图像基元前体有时在其他上下文中被称为像素或子像素。不幸的是，术语“像素”已经发展出了许多不同的含义，包括来自像素/子像素的输出，以及显示图像的成分。本发明的一些实施方式包括分离这些元素并形成附加中间结构和元素的实施，一些用于独立处理，这可能会通过将所有这些元素/结构称为像素而进一步混淆，因此本文使用各种术语以明确地指代特定的组件/元素。显示图像基元前体发射图像成分信号，其可以由中间处理系统接收，以从图像成分信号产生显示图像基元集合。当在预期的观看条件下通过显示器直接观察或由投影系统反射向人类视觉系统呈现图像时，显示图像基元的集合产生图像。在该上下文中的信号意味着信号发生器的输出，该信号发生器是或等同于显示图像基元前体。重要的是，只要需要处理，这些信号就保存为在各种保持信号的传播信道中的信号，而不传输到信号产生扩展波前的自由空间，该波前与也在自由空间中传播的其他来源的其他扩展波前相结合。信号没有手性并且没有镜像(即没有反转、倒置或翻转的信号，而图像和图像部分具有不同的镜像)。另外，图像部分不是直接添加的(如果可能的话，难以预知将一个图像部分重叠在另一个上的结果)并且处理图像部分可能非常困难。有许多不同的技术可用作信号发生器，利用不同的技术提供具有不同特性或益处的信号并区分缺点。本发明的一些实施方式允许混合组件/系统，其可以借助技术组合的优点，同时最小化任何特定技术的缺点。并入的第12/371,461号美国专利申请描述了能够有利地组合这些技术的系统和方法，因此术语显示图像基元前体涵盖用于像素技术的像素结构和用于子像素技术的子像素结构。

[0226] 如本文所用，术语“信号”指的是来自信号发生器的输出，比如显示图像基元前体，其在产生信号时传达关于信号发生器状态的信息。在成像系统中，每个信号是显示图像基元的一部分，当在预期条件下被人类视觉系统感知时，产生图像或图像部分。在这个意义上，信号是编码消息，即编码消息的通信信道中的显示图像基元前体的状态序列。来自显示图像基元前体集合的同步信号的集合可以定义图像的帧(或帧的一部分)。每个信号可以具有可以与来自一个或多个其他信号的一个或多个特性组合的特性(颜色、频率、幅度、定时，但不具有手性)。

[0227] 如本文所用，术语“人类视觉系统”(HVS)是指伴随对来自多个离散显示图像基元(直接视图或投影)的图像的感知和可视化的生物和心理过程。照此，HVS在接收传播的显示图像基元的合成并且基于接收和处理的那些基元来制定图像的概念时暗示人眼、视神经和人脑。对于每个人来说，HVS并不完全相同，但是对于显著百分比的人口而言有普遍的相似性。

[0228] 图1示出了可用于实施本发明的实施方式的成像架构100。本发明的一些实施方式设想使用人类视觉系统(HVS)形成人类可感知图像—来自信号生成结构的大型集合—包括架构100。架构100包括：包括多个显示图像基元前体(DIPP)的图像引擎110i，i＝1到N(N可以是从1到数十、到数百、到数千个DIPP的任何整数)。适当地操作和调制每个DIPP 110i以产生多个图像成分信号115i，i＝1到N(单个图像成分信号115i来自每个DIPP 110i)。处理这些图像成分信号115i以形成多个显示图像基元(DIP)120j，j＝1至M，M为小于、等于或大于N的整数。当由HVS感知时，DIP 120j的聚合/集合(比如占据相同空间和横截面区域的一个或多个图像成分信号115i)将形成显示图像125(或者例如用于动画/运动效果的一系列显示图像)。当以适当的格式呈现时，HVS从DIP 120j重建显示图像125，比如以显示器上的阵列或屏幕、墙壁或其他表面上的投影图像。这是HVS从相对于到观看者(和HVS)的距离足够小的小形状(比如“点”)的不同颜色或灰度阴影的阵列感知图像的熟悉现象。因此，显示图像基元前体110i将符合于当参考从非复合颜色系统产生图像成分信号的设备时通常被称为像素的结构，并且因此将符合于当参考从复合颜色系统产生图像成分信号的设备时通常被称为子像素的结构。许多熟悉的系统采用复合颜色系统，比如RGB图像成分信号，一个图像成分信号来自每个RGB元素(例如LCD单元等)。不幸的是，在成像系统中使用术语像素和子像素来指代许多不同的概念——比如硬件LCD单元(子像素)，从单元发射的光(子像素)，以及如被HVS感知的信号(通常这些子像素已被混合在一起并且被配置成在旨在观看的条件集合下对用户来说是不可察觉的)。架构100区分这些不同的“像素或子像素”，因此采用不同的术语来指代这些不同的组成元件。

[0229] 架构100可以包括混合结构，其中图像引擎105包括用于DIPP110的一个或多个子集的不同技术。也就是说，DIPP的第一子集可以使用第一颜色技术(例如复合颜色技术)来产生图像成分信号的第一子集，DIPPS的第二子集可以使用不同于第一颜色技术的第二颜色技术(例如不同的复合颜色技术或非复合颜色技术)以产生图像成分信号的第二子集。这允许使用各种技术的组合来产生显示图像基元的集合以及能够优于当从任何单一技术产生时的显示图像125。

[0230] 架构100还包括信号处理矩阵130，其接收图像成分信号115i作为输入并在输出处产生显示图像基元120j。根据本发明实施方式的任何特定实施的适合性和目的，矩阵130有许多可能的布置(一些实施方式可以包括单维阵列)。通常，矩阵130包括多个信号信道，例如信道135—信道160。对于矩阵130的每个信道存在许多不同的可能布置。每个信道与其他信道充分隔离，比如由离散光纤信道产生的光隔离，因此对于实现/实施方式，一个信道中的信号不会干扰超过串扰阈值的其他信号。每个信道包括一个或多个输入和一个或多个输出。每个输入从DIPP 110接收图像成分信号115。每个输出产生显示图像基元120。从输入到输出，每个信道指示纯信号信息，并且在信道中的任何点处的纯信号信息可包括原始图像成分信号115，一个或多个处理过的原始图像成分信号的集合的解聚，和/或一个或多个处理过的原始图像成分信号的集合的聚合，每个“处理”可以已经包括一个或多个信号的一个或多个聚合或解聚。

[0231] 在这种情况下，聚合是指将信号(这些聚合信号本身可以是原始图像成分信号、处理过的信号或其组合)从SA(SA>1)个信道组合至TA(1

[0232] 图1中描绘了许多有代表性的信道。信道135示出了具有单个输入和单个输出的信道。信道135接收单个原始图像成分信号115k并产生单个显示图像基元120k。这并不是说信道135可以不执行任何处理。例如，处理可以包括物理特性的变换。信道135的输入的物理尺寸被设计成匹配/补充其相应/关联的产生图像成分信号115k的DIPP 110的有效区域。输出的物理尺寸不需要与输入的物理尺寸相匹配——也就是说，输出可以是相对收窄或拓宽的，或者圆形周界输入可以变成直线周界输出。其他变换包括信号的重新定位——虽然图像成分信号1151可以在图像成分信号1152附近开始，但是由信道135产生的显示图像基元1201可以位于由先前“远程”图像成分信号115x产生的显示图像基元120x的旁边。这给予交错信号/基元的极大灵活性，其分离自在其生产中所使用的技术。对于个体或集体物理变换的这种可能性是矩阵130的每个信道的选项。

[0233] 信道140示出了具有一对输入和单个输出(聚合该对输入)的信道。例如，信道140接收两个原始图像成分信号，信号1153和信号1154，并产生单个显示图像基元1202。信道140允许添加两个振幅，使得基元1202具有比任一成分信号更大的幅度。信道140还允许通过交错/多路复用成分信号来改善定时；例如，每个成分信号可以以30Hz操作，但是所得到的基元可以以60Hz操作。

[0234] 信道145示出了具有单个输入和一对输出(解聚输入)的信道。例如，信道140接收单个原始图像成分信号，信号1155，并产生一对显示图像基元——基元1203和基元1204。信道145允许再现单个信号，比如分割成具有许多解聚信号的特性的两个并行信道，或许除了振幅之外。当振幅不是所希望的时，如上所述，可以通过聚合来增加振幅，然后解聚能够产生足够强的信号，如图1所示的其他代表性信道所示。

[0235] 信道150示出了具有三个输入和单个输出的信道。包括信道150以强调实际上可以将任何数量的独立输入聚合成单个信道中的经处理的信号，以产生例如单个基元1205。

[0236] 信道155示出了具有单个输入和三个输出的信道。包括信道150以强调单个信道(以及其中的信号)可以分别解聚成几乎任何数量的独立但相关的输出和基元。在另一方面，信道155与信道145不同——即从输出产生的基元120的振幅。在信道145中，每个振幅可以被分成相等的幅度(尽管一些解聚结构可以允许可变的振幅分割)。在信道155中，基元1206可以不等于基元1207和1208的振幅(例如基元1206可以具有大约是基元1207和基元1208各自两倍的振幅，因为不需要在同一节点处解聚所有信号)。第一分割可以得到基元1206产生的信号的一半，并且得到的一半信号进一步被分成两半，用于基元1207和基元1208中的每一个。

[0237] 信道160示出了包括聚合三个输入和解聚成一对输出的信道。包括信道160以强调单个信道可以包括信号的聚合和信号的解聚。因此，在必要或期望的情况下，信道可以具有多个聚合区域和多个解聚区域。

[0238] 因此，矩阵130凭借包括聚合和解聚的处理级170的物理和信号特性操纵而成为信号处理器。

[0239] 在一些实施方式中，矩阵130可以通过界定信道的物理结构的精确编织工艺来产生，例如用于共同限定数千到数百万个信道的一套光纤的提花编织工艺。

[0240] 概括地说，本发明的实施方式可以包括耦合到基元生成系统(例如矩阵130)的图像生成级(例如图像引擎105)。图像生成级包括N个显示图像基元前体110。每个显示图像基元前体110i生成相应的图像成分信号115i。这些图像成分信号115i被输入到基元生成系统中。基元生成系统包括具有M个输入信道的输入级165(M可以等于N但不需要匹配——在图1中，例如一些信号不输入到矩阵130中)。输入信道的输入从单个显示图像基元前体110x接收图像成分信号115x。在图1中，每个输入信道具有输入和输出，每个输入信道将其单个原始图像成分信号从其输入引导到其输出，输入级165有M个输入和M个输出。基元生成系统也包括具有P个分配信道的分配级170，每个分配信道包括输入和输出。通常M＝N并且P可以根据实施而变化。对于一些实施方式，P小于N，例如P＝N/2。在那些实施方式中，分配信道的每个输入耦合到来自输入信道的唯一输出对。对于一些实施方式，P大于N，例如P＝N*2。在那些实施方式中，输入信道的每个输出耦合到分配信道的唯一输入对。因此，基元生成系统缩放来自显示图像基元前体的图像成分信号——在一些情况下，多个图像成分信号在分配信道中被组合为信号，并且其他时候单个图像成分信号被分割并呈现至多个分配信道。矩阵130、输入级165和分配级170存在许多可能的变化。

[0241] 图2示出了实现图1的成像架构版本的成像系统200的实施方式。系统200包括编码信号的集合205，比如提供给光子信号转换器215的多个图像成分信号(在IR/近IR频率下)，光子信号转换器215产生数字图像基元225的集合220，优选地在可见频率，尤其是现实世界可见成像频率。

[0242] 图3示出了图2的光子信号转换器215的一般结构。转换器215接收一个或多个输入光子信号并产生一个或多个输出光子信号。转换器215调整输入光子信号的各种特性，比如信号逻辑状态(例如开/关)、信号颜色状态(IR到可见)和/或信号强度状态。

[0243] 图4示出了光子转换器400的特定实施方式。转换器405包括有效光源405。源405可以例如包括IR和/或近IR源，以在后续级中实现最佳调制器性能(例如以IR和/或近IR发光的LED阵列)。转换器400包括可选的批量光学能量源均化器410。均化器410提供在必要或期望时对来自源405的光的偏振进行均化的结构。均化器410可以布置成用于有源和/或无源均化。

[0244] 接下来，按照来自源405的光传播的顺序，转换器400包括编码器415。编码器415提供来自源405的光的逻辑编码，其可以被均化，以产生编码信号。编码器405可以包括混合磁光子晶体(MPC)、Mach‑Zehnder(马赫‑曾德尔)、透射阀等。编码器415可以包括调制器的阵列或矩阵，以设置图像成分信号集合的状态。在这方面，个体编码器结构可以等效于显示图像基元前体(例如像素和/或子像素，和/或其他显示光能信号发生器)。

[0245] 转换器400包括可选的滤光器420，比如与平面偏转机构(例如棱镜阵列/光栅结构)结合的偏振滤光器/分析器(例如光子晶体介电镜)。

[0246] 转换器400包括可选的能量重捕器425，其重新捕获来自源405的能量(例如IR‑近IR偏转能量)，其通过滤光器420的元件偏转。

[0247] 转换器400包括调节器430，其调制/移位从编码器415产生的编码信号的波长或频率(其可能已经由滤光器420过滤)。调节器430可以包括荧光材、周期性偏振材料、震动晶体等。调节器430获取产生/转换的IR/近IR频率并将它们转换成一个或多个所需频率(例如可见频率)。调节器430不需要将所有输入频率移位/调制到相同频率，并且可以将IR/近IR中的不同输入频率移位/调制到相同的输出频率。其他调整是可能的。

[0248] 转换器400可选地包括第二滤光器435，例如用于IR/近IR能量，然后可以可选地包括第二能量重捕器440。滤光器435可以包括与平面偏转结构结合的光子晶体介电镜(例如棱镜阵列/光栅结构)。

[0249] 转换器400还可以包括可选的放大器/增益调整445，用于调整一个或多个参数(例如增加编码的、可选地过滤的和频移的信号幅度)。可以通过调整445来调整其他或附加的信号参数。

[0250] 图5示出了用于混合光子VR/AR系统505的通用架构500。架构500将系统505暴露于周围现实世界复合电磁波前，并产生用于人类视觉系统(HVS)的显示图像基元的集合510。显示图像基元的集合510可以包括或使用来自现实世界的信息(AR模式)，或者该显示图像基元集合可以包括完全由合成世界产生的信息(VR模式)。系统505可以被配置为可选择性地以任一模式或两种模式操作。此外，系统500可以被配置为使得可以选择性地改变在AR模式中使用的一定量的现实世界信息。系统505稳固且通用。

[0251] 系统505可以以许多不同方式实现。一个实施方式产生来自合成世界的图像成分信号，并在AR模式下将合成信号与从现实世界产生的图像成分信号(“现实世界信号”)交错。如所包含的专利申请12/371,461所述，可以使用隔离光学信道的信号处理矩阵对这些信号进行信道化、处理和分配。系统505包括信号处理矩阵，除了任何分配、聚合、解聚和/或物理特性整形之外，该信号处理矩阵可以包含各种无源和有源信号操纵结构。

[0252] 这些信号操纵结构也可以基于系统505的特定布置和设计目标而变化。例如，这些操纵结构可以包括现实世界接口515、增强器520、可视化器525和/或输出构造器530。

[0253] 接口515包括类似于显示图像基元前体的功能，将现实世界的复合电磁波前转换为现实世界图像成分信号集合535，其被信道化并分配和呈现给增强器520。

[0254] 如本文所述，系统505非常通用，并且存在许多不同的实施方式。操纵结构的特性和功能可能受到各种不同的考虑因素和设计目标的影响。所有这些在本文中不能明确地详述，但是阐述了一些代表性的实施方式。如所包含的专利申请和本文中所描述的，架构500能够采用技术的组合(例如混合)以产生优越的整体结果，每个技术对于DIP510集合的一部分生产可能是特别有利的，而不是依靠单一技术用于所有部分的生产。

[0255] 例如，现实世界的复合电磁波前包括可见波长和不可见波长。由于DIP 510的集合还包括可见波长，因此可以认为信号535也必须是可见的。如本文所解释的，当信号535处于可见光谱中时，并非所有实施方式都能够实现优异的结果。

[0256] 系统505可以被配置为用于包括可见信号535。一些实施方式的优点是使用对于HVS不可见的波长来提供信号535。如本文所用，电磁波谱的以下范围是相关的：

[0257] a)可见辐射(光)是波长在380nm与760nm(400‑790太赫兹)之间的电磁辐射，其将被HVS探测到并被感知为可见光；

[0258] b)红外(IR)辐射是(对于HVS)不可见的电磁辐射，其波长在1mm与760nm之间(300GHz—400THz)并且包括远红外线(1mm—10μm)、中红外线(10—2.5μm)和近红外(2.5μm—750nm)。

[0259] c)紫外(UV)辐射是(对于HVS)不可见的电磁辐射，波长在380nm—10nm(790THz—30PHz)之间。

[0260] 不可见的现实世界信号实施方式的接口515产生红外/近红外光谱中的信号535。对于一些实施方式，期望使用将可见光谱的特定波长或波长带映射到红外光谱中的预定特定波长或波长带的光谱映射来产生不可见信号535。这提供了允许信号535在系统505内有效处理为红外波长的优点，并且包括允许系统505将信号535恢复为现实世界颜色的优点。

[0261] 界面515可以包括其他功能和/或结构元素，比如滤光器，以从接收的现实世界辐射中去除IR和/或UV成份。在一些应用中，比如对于使用IR辐射的夜视模式，接口515将排除IR滤光器或将具有IR滤光器，其允许对所接收的现实世界辐射的一些IR辐射进行采样和处理。

[0262] 接口515还将包括现实世界的采样结构，以将经过滤的接收的现实世界辐射转换为处理的现实世界图像成分信号的矩阵(类似于显示图像基元前体的矩阵)，这些处理的现实世界图像成分信号被信道化为信号分配和处理矩阵。

[0263] 信号分配和处理矩阵还可以包括频率/波长转换结构，以在IR光谱中提供经处理的现实世界图像成分信号(当需要时)。根据稍后在系统505中执行何种附加信号操作以及实施何种编码/转换技术，接口515还可以预处理经过滤的现实世界图像成分信号的所选特征，比如包括偏振滤光功能(例如过滤IR/UV的现实世界图像成分信号的偏振过滤，或者偏振过滤、分选和偏振均化等等)。

[0264] 例如，在系统505包括用于基于偏振来修改信号振幅的结构或过程的情况下，接口515可以适当地准备信号535。在一些实施中，可能期望具有最大值的默认信号振幅(例如默认“开启”)，在其它实施中，可能期望具有最小值的默认信号振幅(例如默认“关闭”)，而且其他可能具有一些信道，在不同的条件下提供默认值，而不是全部处于默认开启或默认关闭。设置信号535的偏振状态，无论是否可见，是接口515的一个作用。对于所有信号535或对于信号535的所选子集，其他信号性能也可以由接口515设置，如由设计目标、技术、和实施细节所预定的那样。

[0265] 现实世界的信道化图像成分信号535被输入到增强器520。增强器520是系统505中的特殊结构，用于进一步的信号处理。该信号处理可以是对信号535进行操作的多重功能，根据增强器520如何对其进行操作，可以将一些或全部视为“直通”信号。这些多重功能可以包括：a)操纵信号535，例如每个单体现实世界图像成分信号的独立振幅控制、设置/修改频率/波长和/或逻辑状态等，b)产生具有所期望特性的独立合成世界图像成分信号的集合，以及c)以所期望比率将带有所产生的合成世界图像成分信号集合的一些或全部“直通”现实世界图像成分信号交错以产生交错图像成分信号540的集合。

[0266] 除了接收的图像成分信号(例如现实世界)的处理器之外，增强器520是合成世界图像成分信号集合的产生者。系统505被配置成使得所有信号可以由增强器520处理。可以有许多不同的方式来实施增强器520，例如当增强器520是定义多个辐射阀门(每个门与一个信号相关)的多层光学装置复合时，一些被配置为可能通过的门单独接收一些现实世界信号用于可控通过，并且一些配置用于产生合成世界信号的门接收背景辐射，与通过信号隔离，用于产生合成世界图像成分信号。因此，在这种实施方式中用于产生合成世界的门从背景辐射产生合成世界信号。

[0267] 如图所示，架构500包括多个(例如两个)独立的显示图像基元前体集合，其被选择性地和可控地处理和合并。接口515充当显示图像基元前体的一个集合，而增强器520充当显示图像基元前体的第二集合。第一集合产生来自现实世界的图像成分信号，第二集合产生来自合成世界的图像成分信号。原则上，架构500允许在系统505中可获得额外的显示图像基元前体(一个或多个形成总共三个或更多个显示图像基元前体)，其可以使图像成分信号的额外信道化集合可用于增强器520以进行处理。

[0268] 在考虑架构500的一种方式中，增强器520定义了产生交错信号540的显示图像基元前体的主集合，其中一些交错信号最初由显示图像前体的一个或多个初步集合产生(例如接口515产生现实世界图像成分信号)，并且一些由增强器520直接产生。架构500不要求所有显示图像基元前体采用相同或互补的技术。通过以有组织的和预定的格式提供所有成分成信号(例如在独立信道中并且在与信号操纵兼容的公共频率范围中，比如通过增强器520进行信号振幅调制)，架构500可以提供对于当前AR/VR系统的缺点、限制和劣势的一个或多个范围的强大、稳健以及通用的解决方案。

[0269] 如本文所述，信道化信号处理和分配布置可以在信号传播通过系统505时聚合、解聚和/或以其他方式处理各个图像成分信号。其结果是信号540中的信号信道的数量可以与通过信号数量和生成信号数量的总和不同。增强器520将第一数量的现实世界通过信号与第二数量的合成信号交错(对于系统505的纯VR模式，第一数量为零)。在该情况下的交错包括广泛地存在两种类型的信号，并且不意味着要求每个现实世界通过信号存在于与包括合成世界信号的另一信道物理相邻的信道中。经由系统505的信道分配属性可以独立地控制路由。

[0270] 可视化器525接收交错信号520并输出可见信号集合545。在系统505中，信号540的合成世界图像成分信号在电磁波谱的不可见范围(例如IR或近IR)中产生。在一些实施中，由增强器520通过的一些或所有现实世界信号535已经被转换为电磁频谱的不可见范围(其也可以重叠或者完全或部分地包括在合成世界信号的范围内)。可视化器525执行频率/波长调制和/或非可见信号的转换。当使用不可见的伪彩色图定义和生成合成和现实世界的信号时，将适当的颜色恢复到修改频率的现实世界信号，并且合成世界可以按照现实世界颜色进行可视化。

[0271] 输出构造器530从可见信号545产生显示图像基元集合510，无论是例如通过直视还是投影，以供HVS感知。输出构造器530可以包括合并、聚合、解聚、信道重新布置/重定位、物理特性定义、光纤整形等以及其他可能的功能。构造器530还可以包括一些或所有可见信号545的放大、带宽修改(例如具有预先配置定时关系的信号的多个信道的聚合和时分复用——即它们可以异相产生并且组合为信号以产生在任何流的频率的倍数处的信号流)以及其他图像成分信号操纵。180度相位差关系的两个流可以使每个流的频率加倍。120度相位关系的三个流可以使频率增至三倍，因此对于N＝1或更多个多路复用流以此类推。并且彼此同相的合并流可以增加信号振幅(例如两个同相流可以使信号振幅加倍等等)。

[0272] 图6示出了实施系统500的实施方式的混合光子VR/AR系统600。系统600包括映射系统600与图5的系统505之间的对应结构的虚线框。

[0273] 系统600包括可选的滤光器605、“信号器”610、现实世界信号处理器615、由辐射源625供能的辐射扩散器620(例如IR辐射)、磁光子编码器630、频率/波长转换器635、信号处理器640、信号合并器645和输出整形器光学器件650。如本文所述，存在许多不同的实施和实施方式，其中一些包括具有不同要求的不同技术。例如，一些实施方式可以使用可见光谱中的辐射并且不需要用于波长/频率转换的元件。对于纯VR实施，不需要现实世界的信号处理结构。在某些情况下，需要或期望最小化后可视化合并和整形。架构500非常灵活，可以适应优选的技术集合。

[0274] 滤光器605从环境现实世界入射在接口515上的照明中去除不需要的波长。那些不需要的取决于应用和设计目标(例如夜视镜可能需要一些或所有IR辐射，而其他AR系统可能希望去除UV/IR辐射)。

[0275] 信号器610用作显示图像基元前体，以将过滤的入射现实世界辐射转换成现实世界图像成分信号，并将各个信号插入信号分配器级的光学隔离信道中。这些信号可以基于复合或非复合成像模型。

[0276] 处理器615可以包括偏振结构以过滤偏振和/或过滤、分选和均化偏振，当现实世界中的一些或全部通过图像成分信号将被转换为不同的频率(例如IR)时的波长/频率转换器。

[0277] 扩散器620从辐射源获取辐射并为编码器630建立背景辐射环境以生成合成世界图像成分信号。扩散器620保持背景辐射与现实世界通过信道隔离。

[0278] 编码器630同时接收并处理现实世界的通过信号(例如除此之外它能够调制这些信号)并产生合成世界信号。编码器630对来自现实世界和来自合成世界的信号进行交错/交替，并将它们保持在光学隔离的信道中。在图6中，现实世界信号被描绘为填充箭头，并且合成世界信号被描绘为未填充箭头，以示出交错/交替。图6并不意味着暗示需要编码器630以拒绝现实世界信号的重要部分。编码器630可以包括许多显示图像基元前体类型结构的矩阵，以处理所有现实世界信号和所有合成世界信号。

[0279] 当存在时，转换器635将不可见信号转换为可见信号。因此，转换器635可以处理合成世界信号、现实世界信号或两者皆有。换句话说，可以在各个信号分配信道上启用该转换。

[0280] 当存在时，信号处理器640可以修改信号振幅/增益、带宽或其他信号修改/调制。

[0281] 当存在时，信号合并器645可以组织(例如聚合、解聚、路由、分组、群聚、复制等)来自可视化器525的信号。

[0282] 当存在时，输出整形器光学器件650执行任何必要或期望的信号整形或其他信号操纵，以产生HVS可感知的所需显示图像基元。这可以包括直视、投影、反射、组合等。路由/分组可以实现3D成像或其他视觉效果。

[0283] 系统600可以实施为功能性光子组件的堆叠(有时是集成的)，功能性光子组件从产生它们的时间开始接收、处理和传输离散的光学隔离信道中的信号，直到(如果)它们被包括在显示图像前体中，用于传播到HVS，作为其他显示图像前体中的其他信号的一部分。

[0284] 本发明的领域不是单一的，而是结合了增强现实和虚拟现实这两个相关领域，而提出和提供集成的移动设备解决方案解决了两个领域中的现有技术的关键问题和限制。对这些相关领域的背景的简要回顾将明确要解决的问题和限制，并为本公开所提出的解决方案打好基础。

[0285] 这些术语的两个标准字典定义(来源：Dictionary.com)如下：

[0286] 虚拟现实：“使用交互式软件和硬件的计算机系统对环境进行的逼真模拟，包括三维图形。缩写：VR。”

[0287] 增强现实：“在屏幕或其他显示器上查看的增强图像或环境，通过在现实世界环境中叠加计算机生成的图像、声音或其他数据而生成。”以及：“用于生成此类增强环境的系统或技术。缩写：AR。”

[0288] 从定义中可以明显看出，尽管是非技术性的，并且对于这些相关领域的技术人员而言，本质区别在于模拟元素是否是完整和沉浸式的模拟，甚至是对现实的部分直接视图，或者模拟元素是否被叠加在另外清晰无障碍的现实视图上。

[0289] 在该主题的维基百科条目下提供了稍微更多的技术定义，考虑到对页面编辑的贡献的深度和范围，可以认为充分表现了该领域。

[0290] 虚拟现实(VR)，有时被称为沉浸式多媒体，是一种计算机模拟环境，能够在某些地方模拟现实世界或想象世界中的物理存在。虚拟现实能够重现感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。

[0291] 增强现实(AR)是物理的现实世界环境的实时直接或间接视图，其元素通过计算机生成的感官输入(例如声音、视频、图形或GPS数据)来增强(或补充)。

[0292] 固有但仅隐含在这些定义中的是移动视点的基本属性。虚拟或增强现实与更一般类别的计算机模拟的区别在于，无论是否有与“实时”、“直接”现实成像(本地或远程)的任何组合、融合、综合或整合，模拟的或混合的(增强或“混合”)现实“同时真实”成像，即当观看者在现实世界中移动时，观看者的视点随观看者移动。

[0293] 本公开提出，需要这种更精确的定义来区分沉浸式显示和经验模拟世界(模拟器)的静态导航与模拟世界(虚拟现实)的移动导航。然后，模拟器的子范畴将是“个人模拟器”，或者至多是“部分虚拟现实”，其中固定用户配备有沉浸式HMD(头戴式显示器)和触觉接口(例如运动跟踪手套)，其能够实现模拟世界的部分“像虚拟现实一样”的导航。

[0294] 另一方面，CAVE系统将被示意性地限定为有限的虚拟现实系统，因为只有借助于可移动层才能通过CAVE的尺寸进行导航，并且一旦达到CAVE本身的限制，接下来会是另一种形式的“部分虚拟现实”。

[0295] 注意“移动”视点与“可移动”视点之间的差异。诸如视频游戏的计算机模拟是模拟世界或“现实”，但除非该模拟世界的探索者亲身运动，或指导另一个人或机器人运动，否则所有这些都能够说成模拟世界是“可导航的”(尽管在过去的四十年中计算机图形学的主要成就之一就是简单地“建立”软件中可探索的模拟环境)。

[0296] 对于作为虚拟或混合(作者的首选术语)现实的模拟，一个重要的、最典型的特征是具有对真实空间的模拟(无论是完全合成还是混合)的映射。这样的真实空间可以像实验室或声场内的房间一样基本，并且仅仅是以某种比例映射和校准到模拟世界的网格。

[0297] 这种区分不是可估价的，因为提供实时自然接口(头部跟踪、触觉、听觉等)而无需移动或映射到实际的真实地形的局部VR(无论是自然的、人造的或者混合的)并非从根本上比模拟物理交互并提供感官沉浸的局部VR系统的价值低。但是，如果没有足部的反馈系统或者更普遍地全身的、运动范围的反馈系统，和/或支持在任何地形、任何静止状态(无论是站立、坐着还是斜倚)中用户模拟但(在其感觉上)全身的运动的可动态变形的机械接口—交互表面，则VR系统按照定义是“局部的”。

[0298] 但是，在没有这种理想的全身物理接口/反馈系统的情况下，将VR限制为“完整”和完全移动版本会将VR世界的地形限制在能够在现实世界中找到、修改或从头开始构建的地方。这种限制通常将严重限制虚拟现实体验的范围和能力。

[0299] 但是，如将在即将公开的内容中显而易见的，这种区别产生差异，因为其为现有VR和AR系统如何不同及其局限性设置了“明线”，并且提供了告知本公开教导的背景。

[0300] 将模拟的缺失但本质的特征和要求确立为完整的“虚拟现实”，下一步是确定通过什么方式实现“移动视点”的隐含问题。答案是，提供移动模拟的视图需要两个组成部分(其本身通过硬件和软件的组合实现)：运动图像显示装置，通过它能够查看模拟，以及运动跟踪装置，它能够跟踪包括3个运动轴上显示器的设备运动，这意味着从最少三个跟踪点测量三维观察设备随时间的位置(如果映射设备测量以便能够推断第三轴上的第三个位置则最少为两个)，并且相对于可以是映射到真实空间的任何任意3D坐标系的3轴参照系，尽管为了机械地导航该空间的实际目的，2轴将形成一个平面，该平面是重力水平的地平面，并且第三轴Z垂直于该地平面。

[0301] 作为时间函数准确和频繁地实际实现这种位置定向的解决方案需要传感器和软件的结合，并且这些解决方案的进步代表了VR和AR硬件/软件移动观察设备和系统领域发展的主要载体。

[0302] 这些是相对较新的领域，就最早的实验与现今的实用技术和产品之间的时间范围而言，足以记录在两类移动视觉模拟系统中的起源然和后来的当前最先进的技术，除了现有技术中的特定创新之外，这些创新对于本公开的发展具有重要意义，或者与用于更好地解释本领域中的现存问题的差异或相似的特征点或者本公开的解决方案与现有技术的区别有关。

[0303] 从1968年到九十年代末期跨越了相关模拟和模拟器、VR和AR领域的许多创新的时期，其中实现实用VR和AR的许多关键问题找到了最初的或部分的解决方案。

[0304] Ivan Sutherland及其助手Bob Sprouell从1968年开始的开创性实验和实验性头戴式显示系统通常被认为是这些相关领域的起源的标志，尽管早期的工作(基本上是概念开发)早于这种实现沉浸和导航的任何形式的AR/VR的第一次实验性实施。

[0305] 固定模拟器系统的诞生可以追溯到向飞行模拟器添加计算机生成的影像，这通常被认为是在1960年代中后期开始的。这仅限于CRT的使用，在用户到CRT的距离上显示全焦距图像，直到1972年Singer‑Link公司推出通过分光镜系统投射远焦图像的准直投影系统，这将视场改进到每单元约25‑35度(在单飞行员模拟器中使用三个单元达到100度)。

[0306] 该基准仅在1982年由Rediffusion公司改进，引入了宽视场系统，广角无限显示系统，其通过使用多个投影仪和大而弯曲的准直屏幕实现了150度和之后最终的240度FOV。正是在这个阶段，固定模拟器可能被描述为最终在虚拟现实中实现了显着程度的真实沉浸，使用HMD来隔离观察者并消除外围的视觉提示干扰。

[0307] 但当时Singer‑Link公司正在推出用于模拟器的屏幕准直系统，作为VR型体验的进身之阶，第一款非常有限的商用头盔安装式显示器首先被开发用于军事用途，其中集成了基于分划板的电子瞄准系统，具有头盔本身的运动跟踪。这些最初的开发一般被认为是南非空军在20世纪70年代以初步形式实现的(随后是在当时与七十年代中期之间的以色列空军)，可以说是初步AR或居间/混合现实系统的开端。

[0308] 这些早期的图形最小但仍具开创性的头盔安装式系统实施了叠加在分划板上的位置协调的目标信息和用户致动的运动跟踪目标的有限合成，之后Steve Mann发明了第一个“居间现实”移动通视系统，将图形叠加在眼镜上的第一代“EyeTap”。

[0309] Mann的后期版本采用了光学复合系统，该系统基于分光器/组合器光学器件合并真实的和处理后的影像。这项工作先于Chunyu Gao和Augmented Vision Inc的后来的工作，后者从本质上提出了一种双重Mann系统，将处理后的真实图像与生成的图像进行光学结合，Mann的系统完成了处理过的真实图像和电子生成的图像。在Man的系统中保留了真实的通视的影像，但是在Gao的系统中处理了所有的通视的影像，消除了任何直接的通视影像，即使是作为选项。(Chunyu Gao，2013年4月13日提交的美国专利申请20140177023)。由Gao的系统规定的“光路折叠光学”结构和方法可见于其他光学HMD系统中。

[0310] 到1985年，Jaron Lanier和VPL Reseearch成立以开发HMD和“data glove(数据手套)”，因此到1980年代，Mann，Lanier和Redefussion公司在非常活跃的发展领域中有三条VR和AR模拟的主要发展路径，取得了一些关键的进步并确立了一些基本的解决方案类型，在大多数情况下一直到现在都保持着最新水平。

[0311] 计算机生成成像(CGI)的复杂性，具有实时交互式CG技术的游戏机(硬件和软件)的持续改进，多系统间的更大系统集成，以及AR和更有限的VR的移动性的扩展，是1990年代的主要发展趋势之一。

[0312] CAVE系统由芝加哥伊利诺伊大学电子可视化实验室开发，于1992年在全球首次亮相，推出了有限形式的移动VR和新型模拟器。(Carolina Cruz‑Neira，Daniel J Sandin，Thomas A.DeFanti，Robert V.Kenyon和John C.Hart。“CAVE：Audio Visual Experience Automatic Virtual Environment(CAVE：视听体验自动虚拟环境)”，ACM Communications，vol.35(6)，1992，pp.64‑72。)除了Lanier的HMD/数据手套组合外，CAVE还将WFOV多壁模拟器“stage(舞台)”与触觉接口相结合。

[0313] 同时，Louis Rosenberg在阿姆斯特朗美国空军研究实验室开发了一种静止局部AR，其“Virtual Fixtures(虚拟夹具)”系统(1992)，以及乔纳森沃尔登的静止“Virtuality(虚拟)”VR系统，早在1985年至1990年期间，它就被认为是初步发展，并于1992年首次商业亮相。

[0314] 移动AR集成到多单元移动车辆“wargame(作战模拟)”系统中，在“增强模拟”(“AUGSIMM”)中结合真实和虚拟车辆，将看到其以Loral WDL形式的下一个重大进步，于1993年向业界展示。Peculiar Technologies的项目参与者Jon Barrilleaux随后在1999年撰写了“Experiences and Observations in Applying Augmented Reality to Live Training(将增强现实应用于现场训练的经验和观察)”，评论了1995年SBIR最终报告的发现，并指出了到目前为止，移动VR和(移动)AR面临的持续问题：

[0315] AR vs.VR跟踪

[0316] 一般而言，为VR开发的商业产品具有良好的分辨率，但缺乏AR所需的绝对精度和广域覆盖范围，更不用说其在AUGSIM中使用。

[0317] VR应用—用户沉浸在合成环境中—更关注相对跟踪而非绝对精度。由于用户的世界是完全合成的和自洽的，他/她的头部刚好转过0.1度的事实比在10度以内知道它现在指向正北方要重要得多。

[0318] 诸如AUGSIM的AR系统没有这种待遇。AR跟踪必须具有良好的分辨率，以便虚拟元素看起来随用户的头部转动或车辆移动而在现实世界中平滑移动，并且它必须具有良好的精度，以便虚拟元素正确地覆盖并被现实世界中的对象遮挡。

[0319] 随着计算和网络速度在九十年代持续改善，户外AR系统的新项目得以启动，包括美国海军研究实验室的BARS系统，“BARS：Battlefield Augmented Reality System(战场增强现实系统)”，Simon Julier，Yohan Baillot，Marco Lanzagorta，Dennis Brown，Lawrence Rosenblum；NATO Symposium on Information Processing Techniques for Military Systems,2000。摘要：“该系统由可穿戴计算机、无线网络系统和跟踪透视头戴式显示器(HMD)组成。用户对环境的感知通过将图形叠加到用户的视野上而得到增强。图形与实际环境一起注册(对齐)。”

[0320] 非军事特性的开发也在进行中，包括Nara科学与技术研究所的Hirokazu Kato的工作，ARToolkit，后来在HITLab发布并进一步开发，其引入了软件开发套件和协议用于视点跟踪和虚拟对象跟踪。

[0321] 这些里程碑经常被认为是在此期间最重要的，尽管其他研究人员和公司在该领域也很活跃。

[0322] 而军事资金用于大规模开发和测试用于训练模拟的AR已被充分证实，并且对这种显而易见的其他系统级设计和系统演示的需求正在与军事资助的研究工作同时进行。

[0323] 其中最重要的非军事实验是视频游戏Quake的AR版本，ARQuake，由Bruce Thomas在南澳大利亚大学可穿戴计算机实验室发起并领导开发，并发表在“ARQuake：An Outdoor/Indoor Augmented Reality First Person Application(室外/室内增强现实第一人称应用)”，4th International Symposium on Wearable Computers,pp 139‑146,Atlanta,Ga,Oct 2000；(Thomas，B.，Close，B.，Donoghue，J.，Squires，J.，De Bondi，P.，Morris，M.和Piekarski，W.)。摘要：“我们提出了一种基于GPS、数字罗盘和基于视觉的基准跟踪的低成本、中等精度六自由度跟踪系统的架构。”

[0324] 在1995年开始设计开发的另一系统是由本公开的作者开发的系统。最初的目的是实现户外AR和电视节目的混合，被称为“Everquest Live(无尽的直播)”，该设计在九十年代后期得到进一步发展，其基本要素于1999年完成，当时启动了商业上的努力为原始视频游戏/电视混合提供资金，其后来包括另一个版本，用于高端主题度假开发。到2001年，其正在保密基础上向包括Ridley和Tony Scott公司在内的公司披露，特别是他们的合资企业Airtightplanet(其他合作伙伴包括Renny Harlin，Jean Giraud和European Heavy Metal)，本公开作为其监督业务的执行人员，并为其带来了当时的“Otherworld”和“Otherworld Industries”项目和风险投资作为投资和与ATP合作的拟议合资企业。

[0325] 以下是1999/2000年最终确定的系统设计和组件摘要：

[0326] 选录自“Otherworld Industries商业计划书文件”(存档文件版本，2003)：

[0327] 技术背景：现有技术“开放场”模拟和移动虚拟现实的专有集成：工具、设施和技术。

[0328] 这仅是相关技术的部分列表和概述，它们一起形成专有系统的主干。一些技术组件是专有的，一些来自外部供应商。但是结合了经过验证的组件的独特系统将是绝对专有的—并且具有革命性：

[0329] 与VR‑ALTERED WORLD交互：

[0330] 1)移动军用级VR设备，用于将客人/参与者和演员沉浸在OTHERWORLD的VR增强景观中。虽然他们的“冒险”(也就是他们在度假村周围探索OTHERWORLD的每一个动作)都是通过移动动作捕捉传感器和数码相机(带有自动遮片技术)实时捕捉的，客人/玩家和员工/演员通过他们的面甲可以看到彼此以及计算机模拟图像的叠加。面甲是双目半透明平板显示器或前面贴有双目相机的双目不透明平板显示器。

[0331] 由平板显示器叠加在视场中的这些“合成元素”可包括景观的改变部分(或整个景观，数字修改)。实际上，那些取代真实存在的“合成”景观部分是基于度假村各个部分的原始3D摄影“捕捉”而生成的。(见下面的#7)。作为计算机中准确的基于照片的几何“虚拟空间”，可以以任何方式对它们进行数字修改，同时保持原始捕获的照片般真实的质量和几何/空间精度。这使得相同空间的实况数字摄影和修改的数字部分精确组合。

[0332] 由平板显示器叠加的其他“合成元素”包括计算机生成或修改的人、生物、大气FX和“魔术”。这些通过显示器(透明或不透明)表现为视场的真实元素。

[0333] 通过使用定位数据，客人/玩家和员工/演员的运动捕捉数据，以及通过多个数码相机对其进行实时遮片，所有这些都被校准到度假区的每个区域的先前“捕获”版本(见下面的#4和5)，合成元素能够实时绝对精确地匹配通过显示器展示的真实元素。

[0334] 因此，照片般真实的计算机生成的龙似乎能够穿过真正的树，回到周围，然后飞起来并降落在度假村的真实城堡之上‑然后龙能够“燃烧”计算机生成的火焰。在平板显示器(半透明或不透明)中，火焰似乎使城堡的上部“变黑”。实现这种效果是因为通过面甲，城堡的上部已被系统文件中城堡的3D“捕获”的计算机修改版本所“遮盖”。

[0335] 2)物理电光机械装备用于真人与虚拟人、生物及FX之间的战斗。“触觉”接口提供运动传感器和其他数据，以及振动和阻力反馈，允许真人与虚拟人、生物及魔法实时交互。例如，“道具”剑柄形式的触觉设备在客人/玩家摆动其时提供数据，当客人/玩家呈现“打击”虚拟食人魔时提供物理反馈，以实现战斗的幻觉。所有这些都是实时组合并通过双目平板显示器显示。

[0336] 3)开放场运动捕捉设备。移动和固定动作捕捉设备装置(类似于用于The Matrix电影的装备)部署在整个度假区内。由客人/玩家和员工/演员佩戴的主题“装备”上的数据点由摄像机和/或传感器跟踪，以提供运动数据，用于与VR面甲中的双目平板上显示的视场中的虚拟元素交互。

[0337] 动作捕捉数据的输出使得(具有足够的计算渲染能力和运动编辑和动作库的使用)客人/玩家和员工/演员的CGI修改版本沿着“指环王”的第二和第三部电影的咕噜角色的原则成为可能。

[0338] 4)利用LAAS和GPS数据、实况激光测距数据和三角测量技术(包括来自Moller Aerobot UAV)的运动捕获数据的增强。附加的“定位数据”允许对实况和合成元素进行更有效(和纠错)的集成。

[0339] 来自无人机制造商的新闻稿：

[0340] 7月17日。一周前，霍尼韦尔为局域增强系统(LAAS)站的初始网络签订了一份合同，一些测试站已在运行。该系统可以准确地引导飞机在机场(和直升机场)着陆，精度达英寸。LAAS系统预计将于2006年投入使用。

[0341] 5)开放场“播放”的自动实时遮片。结合允许与模拟元素交互的动作捕捉数据，度假客人/参与者将使用P24(或等效)数码相机进行数字成像，使用专有的Automatte软件，从视场自动隔离(遮片)适当的元素以与合成元素整合。该技术将成为用于确保在叠加数字元素时适当分离前景/背景的套件之一。

[0342] 6)军用级仿真硬件和技术与最先进的游戏引擎软件相结合。结合来自运动捕捉系统的数据，用于与诸如道具剑之类的“合成”元素交互的触觉设备，合成元素和实况元素(遮片的或完整的)，通过军事模拟软件和游戏引擎软件整合。

[0343] 这些软件组件提供AI代码，以使合成的人和生物有生气(AI—或人工智能—软件，如用于在指环王电影中使军队有生气的Massive软件)，生成逼真的水、云、火等，整合和组合所有元素，就像电脑游戏和军事模拟软件一样。

[0344] 7)基于照片的真实位置捕获，以用基于图像的技术创建逼真的数字虚拟集合，由Paul Debevec博士开创(电影The Matrix的“子弹时间”FX的基础)。

[0345] “基础”虚拟位置(度假村的内部和外部)与现实世界无法区分，因为它们来自照片和“捕获”时的位置的真实照明。一小套高质量的数字图像，结合来自光探头的数据和激光测距查找数据，以及适当的“基于图像”的图形软件，都是在计算机中重建与原始版本完全匹配的照片般真实的虚拟3D空间所需的一切。

[0346] 尽管从真实的城堡内部和周围乡村的外部位置捕获“虚拟集合”，但是一旦将这些“基础”或默认版本数字化，具有照明参数和来自最初捕获时的确切时间的所有其他数据可以被修改，包括照明，添加的元素在现实世界中不存在，并且存在的元素被修改和“装扮”以创建我们世界的幻想版本。

[0347] 当客人/玩家和员工/演员穿过度假村不同点的“门户”(“门户”是从“我们的世界”到“其他世界”的有效“交叉点”)时，会发生校准程序。此时，采用来自客人/玩家或员工/演员在“门户”处的定位数据，以将计算机中的虚拟空间“锁定”到“门户”的坐标。计算机“知道”通过上述基于图像的“捕获”过程获得的关于其整个度假村的虚拟版本的门户点的坐标。

[0348] 因此，计算机可以将其虚拟度假村与客户/玩家或雇员/演员在其放入VR护目镜之前所看到的一起“排列”。因此，通过半透明版本的双目平板显示器，如果虚拟版本叠加在真实度假村上，那么一个世界将非常精确地匹配另一个。

[0349] 可选地，使用“不透明”双目平板显示器护目镜或头盔，佩戴者可以自信地带着头盔走路，只看到他面前的度假村的虚拟版本，因为虚拟世界的景观将完全匹配他实际上正在走路的景观。

[0350] 当然，可以通过护目镜向他展示的将是修改的红色天空，实际上并不存在的沸腾风暴云，以及顶部有龙栖息的城堡护栏，正向城堡城垛“放火”。

[0351] 还有1000名食人魔的军队冲下远处的山！

[0352] 8)度假村的超级计算机渲染和模拟设施。将使极高质量的、接近故事片质量模拟成为可能的关键资源将是在每个度假村复杂现场的超级计算机渲染和模拟。

[0353] 在单机电脑游戏控制台(Playstation 2、Xbox、GameCube)上玩以及台式电脑的电脑游戏在图形和游戏方面的改进是众所周知的。

[0354] 然而，考虑到游戏体验方面的改进是基于单个控制台或个人计算机的处理器和支持系统的改进。然后想象一下，将超级计算中心的能力支持游戏体验。仅此一点就是图形和游戏质量的巨大飞跃。这只是将作为Otherworld(其他世界)体验的移动VR冒险的一个方面。

[0355] 从对前述内容的回顾中可以明显看出，并且对于VR、AR和更广泛的模拟领域的相关领域的技术人员来说显而易见的是，提出以改进现有技术的个人硬件或软件系统必须考虑更广泛的系统参数，并明确这些系统参数的假设，以便进行适当的评估。

[0356] 因此本提案的实质内容，其重点是属于便携式AR和VR技术类别的硬件技术系统，并且实际上是两者的融合，但其最可取的版本是可穿戴技术，在优选的可穿戴版本中，是HMD技术，只考虑或重新考虑它所属的整个系统，才能成为一种优秀解决方案的完整案例。因此需要呈现更大的VR、AR和模拟系统的历史，因为例如新HMD技术的提议和商业产品的趋势太窄，没有考虑到也没有回顾系统层面的假设、要求和新的可能性。

[0357] 不必对HMD技术发展中的主要里程碑进行类似的历史回顾，因为需要在系统层面上回顾更广泛的历史，以提供能够得出用于帮助解释其HMD中现有技术的局限性和现有技术的现状的框架，以及所提出的解决方案的原因和所提出的解决方案解决所识别问题的原因。

[0358] 足以理解和识别HMD中现有技术的局限性的内容始于以下内容。

[0359] 在头戴式显示器的类别中(出于本公开的目的，其包含头盔式显示器)，到目前为止已经识别出两种主要的子类型：VR HMD和ARHMD，遵循本文中已经提供的那些定义的含义，并且在AR HMD的类别中，已经使用两个类别来区分这些类型是“视频透视”或“光学透视”(更常见地简称为“光学HMD”)。

[0360] 在VR HMD显示器中，用户观看单个面板或两个单独的显示器。这种HMD的典型形状通常是护目镜或面罩的形状，尽管许多VR HMD具有焊接头盔的外观，其具有庞大的封闭面甲。为了确保最佳的视频质量、沉浸感和无干扰，这种系统是完全封闭的，围绕显示器周边的是吸光材料。

[0361] 本公开的作者先前在合并的美国临时申请“SYSTEM，METHOD AND COMPUTR PROGRAM PRODUCT FOR MAGNETO‑OPTIC DEVICE DISPLAY(用于磁光设备显示的系统、方法和计算机程序产品)”中提出了两种类型的VR HMD。其中之一简单地提出将传统的直观LCD替换为该申请主要目的的晶片型实施方式，第一款实用磁光显示器，其优越的性能特征包括极高的帧速率，以及整体上改进了显示技术的其它优点，并且在该实施方式中，用于改进的VR HMD。

[0362] 根据该公开的教导，第二版本预期了一种新的远程生成图像显示器，其将例如在车辆驾驶舱中生成，然后经由光纤束传输，并且之后通过一种特殊的光纤阵列结构(在申请中公开了结构和方法)进行分配，建立在采用新的方法和结构用于通过光纤进行远程图像传输的光纤面板的经验基础上。

[0363] 尽管核心MO技术最初并未针对HMD进行产品化，而是针对投影系统，但这些发展与本提案的某些方面相关，并且此外对于本领域并非普遍公知。特别地，第二版本公开了一种方法，该方法的公开先于使用光纤传送来自未集成到HMD光学器件中或附近的图像引擎的视频图像的其他较新提案。

[0364] 除了具有平坦层的严格控制的舞台环境之外，全封闭VR HMD对移动性的实用性关键考虑因素是为了使运动安全，导航中的虚拟世界必须在对人类运动安全的偏差内以1：1映射到真实的表面形貌或运动路径。

[0365] 然而，正如Loral WDL的Barrilleaux，BARS的开发人员以及过去近四分之一世纪以来该领域的其他研究人员一直在观察和总结的那样，对于作为实用系统的AR系统，必须在虚拟(合成的、CG生成的图像)与现实世界的地形和建筑环境之间获得非常接近的对应关系，包括(因为军队为城市战争开发系统并不意外)移动车辆的几何形状。

[0366] 因此，更普遍的情况是，对于以移动形式启用VR或AR，在任何“虚拟”或合成元素与任何现实世界元素之间必须存在1：1的位置对应关系。

[0367] 在AR HMD的类别中，“视频透视”和“光学透视”之间的区别是用户直接通过透明或半透明的像素阵列和直接设置在观看者面前作为眼镜光学器件本身一部分的显示器观看与通过同样直接设置在观察者面前的光学元件上的半透明投影图像观看之间的区别，从一个(通常是直接相邻的)微显示器产生并通过光中继形式传送到面对的光学器件。

[0368] 主要且可能仅部分实用类型的直接通视显示器透明或半透明显示系统(历史上)是没有配置照明背板的LCD—因此，特别地，AR视频通视眼镜拥有一种或多种观看光学器件，包括透明光学基片，其上已装有LCD光调制器像素阵列。

[0369] 对于类似于原始Mann“EyeTap”的应用，其中文本/数据直接显示或投影在面对的光学器件上，不需要校准到现实世界的地形和物体，尽管某种程度的位置相关性有助于用信息文本对视场中的物品进行上下文“标记”。这就是Google Glass产品阐明的主要目的，但是如同本公开的起草，许多开发人员都专注于开发AR类型的应用程序，这些应用程序在现场场景中叠加的不仅仅是文本。

[0370] 除了在近似2D平面或粗视锥中的粗略近似位置相关性之外，对视频或光学透视系统的用户视场中的地形或对象进行这种“校准”的主要问题是确定观看者环境中对象的相对位置。如果没有参考和/或大致实时的空间定位数据及局部环境的3D映射，则不能执行透视和相对尺寸的计算而无明显不一致。

[0371] 除了相对尺寸之外，从任何观看点透视的一个关键方面是逼真的照明/阴影，包括投影，这取决于照明方向。最后，从任何给定的观看位置遮挡对象的是感知透视和相对距离及定位的关键光学特性。

[0372] 不存在或不能设计视频透视或光学透视HMD而独立于如何提供这样的数据以在视频或光学通视类型系统中实现或者确实用于移动VR、佩戴者周围环境的空间观察、必要的安全运动或寻路的问题。这些数据是在外部、本地还是多种来源提供的？如果是部分本地和部分HMD，这对整个HMD系统的设计和性能有何影响？如果有的话，这个问题对视频与光学透视之间的选择(考虑到重量、平衡、体积、数据处理要求、组件之间的滞后，以及其他影响和受影响的参数)以及显示器和具体光学组件的选择有什么影响？

[0373] 在VR HMD的演变和进步期间要解决的技术参数和问题中，主要包括的问题有增加视场，减少延迟(运动跟踪传感器与虚拟视角变化之间的滞后)，提高分辨率、帧速率、动态范围/对比度和其他一般显示器质量特性，以及重量、平衡、体积和一般人体工程学。图像准直和其他显示器光学器件的细节已得到改进，有效地解决了“模拟器疾病”的问题，这是早期的一个主要问题。

[0374] 随着这些一般技术类别以及重量、尺寸/体积和平衡的改进，显示器、光学器件和其他电子器件的重量和体积趋于减小。

[0375] 固定VR装置通常用于车辆中的夜视系统，包括飞机；然而，移动夜视镜可以被认为是一种类似于移动VR的中介观看形式，因为佩戴者正在观看的基本上是实时的真实场景(IR成像)，但是通过视频屏幕，而不是以“通视”的形式。

[0376] 该子类型类似于Barrilleaux在同样引用的1999年回顾中所定义的，如同“间接视图显示”。他提供了关于提出的AR HMD的定义，其中没有实际的“通视”，而看到的仅仅是在显示器上合并/处理的真实/虚拟图像，大概与任何VR类型或夜视系统所包含的一样。

[0377] 然而，夜视系统不是虚拟合成景观和真实的融合或混合，而是根据IR信号的强弱通过视频信号处理解读为不同强度的单色图像的IR传感器数据的直接传输视频图像。作为视频图像，它确实适用于实时文本/图形叠加，与Eyetap最初构思的简单形式相同，并且如Google已经声明的那样是其眼镜产品的主要目的。

[0378] 提取现场或从引用提供(或两者皆有)数据给移动VR或移动AR系统的方式和和内容的问题，或现在包括与两个类别有相似性的该混合现场处理视频馈送“间接视图显示”，实现虚拟和真实景观的有效整合以提供一致提示的组合视图是在设计任何新的和改进的移动HMD系统时必须考虑的设计参数和问题，而不管其类型如何。

[0379] 基于已经引用的系统开发人员的早期工作，AR的软件和数据处理已经发展到得以解决这些问题。其示例是Canon Corporation的Matsui和Suzuki的工作，如其待审的美国专利申请“Mixed reality space image generation method and mixed reality system”(2004年9月29日提交的10/951,684号美国专利申请(20050179617号美国公开—现在的7,589,747号美国专利))中所公开的。其摘要如下：

[0380] “一种用于生成通过将虚拟空间图像叠加到通过捕捉真实空间获得的真实空间图像上而形成的混合现实空间图像的混合现实空间图像生成设备，包括叠加虚拟空间图像的图像合成单元(109)，其将考虑到虚拟空间图像的真实空间上的对象的遮挡而显示在真实空间图像上，以及注释生成单元(108)，其进一步施加要显示的图像而不考虑虚拟空间图像的任何遮挡。通过这种方式，能够生成可实现自然显示和方便显示的混合现实空间图像。

[0381] 该系统的目的旨在使完全渲染的工业产品(例如相机)的组合能够被叠加在实体模型(替身道具)上；一对光学通视HMD眼镜和实体模型都配备了位置传感器。实时的逐像素查找比较过程用来遮出来自实体模型的像素，使得CG生成的虚拟模型能够叠加在合成的视频馈送上(缓冲延时，以实现轻微延迟的分层)。系统还添加了注释图形计算机图像。用于确定遮片并因此确保合成中的正确和非错误遮挡的数据的基本来源是实体模型上的运动传感器和比较像素以拉动手部遮片和实体模型遮片的预定查找表。

[0382] 虽然该系统不适用于概括移动AR、VR或任何混合，但它是尝试提供用于在透视图中正确分析真实3D空间和定位虚拟对象的简单但不完全自动的系统的示例。

[0383] 在视频或光学透视HMD的领域中，在设计显示器或光学器件和显示系统方面几乎没有进展，该系统即使在假设理想地计算出的混合现实透视图被传递给HMD的情况下，也能够实现令人满意、逼真和准确的合并透视图，包括处理适当的透视顺序、在真实空间中从任何给定观察者位置的合并元素的适当遮挡。

[0384] 之前已经引用了一个系统，其声称即使是部分解决这个问题也是最有效的解决方案，并且也许是唯一的集成HMD系统(与之相对，软件/摄影测量/数据处理和传输系统旨在以某种通用方式解决这些问题，独立于HMD)，这是Chunyu Gao在13/857,656号美国专利申请(20140177023号美国公开)中提出的，“用于具有相互遮挡和不透明性控制能力的光学透视头戴式显示器的设备”。

[0385] Gao用以下观察开始他对用于AR的通视HMDS领域的调查：

[0386] 有两种类型的ST‑HMD：光学和视频(J.Rolland和H.Fuchs，“Optical versus video see‑through head mounted,displays(光学与视频透视头戴式显示器)”，Fundamentals of Wearable Computers and Augmented Reality(可穿戴计算机和增强现实基本原理)，113‑157页，2001)。视频透视方法的主要缺点包括：透视视图的图像质量下降；由于处理输入视频流而导致的图像滞后；由于硬件/软件故障而导致可能丢失透视视图。相比之下，光学透视HMD(OST‑HMD)通过分束器提供了现实世界的直接视图，因此对现实世界的视图具有最小的影响。在用户对现场环境的认知至关重要的苛刻应用中是非常优选的。

[0387] 然而，Gao对用视频透视的问题的观察并不合格，首先将现有技术视频透视指定为专用LCD，并且他也没有验证LCD必须(相对地，并且也对其忽略了标准)降低透视图像的断言。本领域技术人员将认识到，这种低质量图像的观点是在最近加速该领域的进展之前从早期通视LCD系统中获得的结果得出的。事实上并不真实也不明显的是，采用通过比较许多光学器件和其他显示技术对再处理或调整“真实”“透视图像”的影响的光学透视系统，与最先进的LCD或其他视频通视显示技术相比，最终结果会相对降低，或者不如诸如Gao等人的提议。

[0388] 与其他也必须处理输入现场图像的系统相比，这种毫无根据的概括的另一个问题是这类透视中的滞后假设。在这种情况下，总体来说，速度的比较是对竞争系统的组件及其性能的详细分析的结果。最后，“可能失去对硬件/软件的透视视图”的猜想基本上是无端的、武断的，并且都未通过一般对视频与光学透视方案之间或者在任一者的特定版本与其组件技术和系统设计之间比较系统鲁棒性或稳定性的任何严格分析来进行验证。

[0389] 除了在领域中进行比较的有错误和偏见的表示的初始问题之外，还存在自身提出的解决方案的定性问题，包括对所提出的HMD系统作为完整HMD系统的遗漏和缺乏考虑，包括作为更广泛的AR系统中的组件，具有先前已参考和解决的数据采集、分析和分配问题。当单独成为HMD本身及其设计能够有助于或阻碍并且不能简单地作为给定而提出的重大问题和难题时，HMD不能被允许当做“给定”某一水平和质量的数据或处理能力用于生成改变的或混合的图像。

[0390] 此外，在问题解决方案的说明书中省略了移动平台中真实和虚拟的视觉集成问题的完整维度。

[0391] 采用本公开及其教导的系统，具体为：

[0392] 如前面在该背景技术中已经描述的，Gao建议是采用两个显示型设备，因为可操作地，将要选择性地反射或传输现场图像的空间光调制器的规格基本上是出于与其在任何显示应用中相同目的的SLM的规格。

[0393] 然后将来自两个设备的输出图像组合在分束器合束器中，假设除了关于这种设备的精度的陈述之外没有任何具体解释，同时在逐像素的基础上进行排列。

[0394] 然而，为了实现两个像素化阵列的这种合并，Gao指定了他称为“折叠光学器件”的复制品，但除了Mann Eyetap方案的双版本之外基本上什么也没有，总共需要两个“折叠光学器件”元件(例如平面光栅/HOE或其他紧凑型棱镜或“扁平”光学元件，每个光源各一个，加上两个物镜(一个用于来自真实视图的波前，另一个用于结合的图像和分束器合束器的焦点)。

[0395] 因此，需要多个光学元件(为此他提供了多种常规光学器件变化)来：1)收集经由第一反射/折叠光学器件(平面型光栅/镜子、HOE、TIR棱镜或其他“扁平”光学器件)并从该处到物镜的真实场景的光，将其传到下一个平面型光栅/镜子、HOE、TIR棱镜或其他“扁平”光学器件以再次“折叠”光路，所有这些是为了确保整个光学系统相对紧凑并包含在两个矩形光学中继区的示意组中；从折叠光学系统，光束通过分束器/合束器到达SLM；然后，在像素化(采样)的基础上反射或透射，从而将可变地(从真实图像对比度和强度变化以修改灰度等级等)调制的，现在像素化的真实图像返回到分束器/合束器。虽然显示器同步生成虚拟或合成/CG图像，但可能也经过校准以确保易于与修改后的像素化/采样的真实波前整合，并经过分束器以整合真实场景的像素到像素、利用多步骤、经修改和像素化的样本，从那里通过目镜物镜，然后返回到另一个“折叠光学”元件，以从光学系统反射到观看者的眼睛。

[0396] 总的来说，对于真实图像波前的经修改的像素化采样部分，在到达观看者眼睛之前，穿过七个光学元件，不包括SLM；显示器生成的合成图像只通过两个。

[0397] 虽然光学图像组合器的精确对准问题，一直到像素级，无论是从通过激光询问的图像样本收集的反射光还是小功能SLM/显示设备产生的组合图像，但是保持对准(特别是在机械振动和热应力条件下)在本领域中被认为举足轻重。

[0398] 数字投影自由空间光束组合系统，其组合了高分辨率(2k或4k)红色、绿色和蓝色图像引擎的输出(通常由DMD或LCoS SLM生成的图像)，这样的系统很昂贵并且维护这些对准是非常重要的。有些设计比Gao的方案的七元素的情况简单。

[0399] 另外，这些复杂的多引擎多元件光学组合器系统远非HMD所需的那样紧凑。

[0400] 已经开发出单片棱镜(例如由Agilent为生命科学市场开发和销售的T‑Rhomboid组合器)专门用于解决自由空间组合器在现有应用中表现出来的问题。

[0401] 虽然诸如Microvision和其他公司已经成功地将其基于SLM的、最初为微投影开发的技术部署到HMD平台中，但是这些光学设置通常基本上不如Gao的提议复杂。

[0402] 此外，很难确定两个平台上两个图像处理步骤和计算迭代的基本原理是什么，以及为什么需要实现真实和虚拟波前输入的平滑和整合，实施正确的组合场景元素的遮挡/不透明。看起来Gao最关注和待解决的问题是合成图像竞争的问题，难以与真实图像的亮度相比，并且因此SLM的主要任务似乎有选择地降低了部分真实场景或整个真实场景的亮度。虽然Gao并未指明，也没有SLM会如何完成其相关的图像更改功能的细节，通常也可以推断，例如通过在时分多路复用系统中最小化反射位置中的DMD镜的持续时间，在降低被遮挡的真实场景元素的强度的同时，可以简单地放弃被遮挡的像素。

[0403] 在必须被兼顾进行计算、校准和对准的许多参数中，包括确切地确定来自实场的哪些像素是对于合成像素的校准像素。如果没有精确匹配，重影重叠、错误对齐和遮挡将会成倍增加，尤其是在移动场景中。将真实场景波前部分传到物镜的反射光学元件的位置相对于场景具有首先与场景中观看者的透视位置不同的真实透视位置，它不是扁平的也不是位于正当中，它只是一个波前样本，而不是位置。而且，当可移动时也同时移动，并且预先并不为合成图像处理单元所知。仅由于这些事实，该系统中的变量数量就非常大。

[0404] 如果它们是的话，并且该解决方案的目标变得更具体，则可能变得清楚的是，可能存在比使用第二显示器更简单的方法来实现这一点(在双目系统中，添加总共2个显示器，指定SLM)。

[0405] 其次，对于方案的检验很明显的是，如果任何方法，由于具有多个累积对准公差的这种复杂系统的耐久性，多元素路径中原始部件的缺陷和随时间推移的磨损的积累，合并光束的未对准形成累积的热和机械振动效应，以及由七元素加上光学系统的复杂度引起的其他复杂化，正是这个系统可能内在地形成外部现场图像波前的降级，特别是随着时间推移。

[0406] 另外，如先前已经详细注意到的那样，计算真实元素和虚拟元素之间的空间关系的问题是举足轻重的。设计系统，必须从这些计算中驱动两个(在双目系统中)、四个显示型的设备，最可能是不同类型(因此具有不同的色域、帧速率等)，给已经很苛刻的系统设计参数增加了复杂性。

[0407] 此外，为了在没有重影或滞后的情况下提供高性能图像，并且不引起眼睛疲劳和视觉系统疲劳，高帧速率是必不可少的。然而，对于Gao的系统，只有使用透视而不是反射的SLM，系统设计才会略微简化；但即使使用更快的FeLCoS微显示器，帧速率和图像速度仍然远低于诸如TI DLP(DMD)的MEMS设备。

[0408] 然而，由于还需要更高的HMD分辨率，起码要实现较宽的FOV，求助于诸如TI的2k或4k设备的高分辨率DMD意味着求助于非常昂贵的解决方案，因为已知具有特征尺寸和数量的DMD产量低，缺陷率高于大众消费者或企业生产和成本通常可容忍的缺陷率，对于现在使用它们的系统来说价格非常高，例如市场上由TI OEM的Barco、Christie和NEC销售的数字电影放映机。

[0409] 尽管从平面光学投影技术用于光学透视HMDS(例如Lumus、BAE等)出发在直观上是很容易的步骤，其中遮挡既不是设计目标也不可能在这些方法的范围和能力内，本质上复制该方法并调整真实图像，然后使用诸如Gao提出的传统光学设置组合两个图像，同时依靠大量平面光学元件来达到组合的目的并且在相对紧凑的空间中完成。

[0410] 为了总结背景回顾，并回到光学透视HMD和经典VR HMD这两大HMD分类中的当前领导者，现有技术可概括如下，注意其他变体光学透视HMD和VR HMD既可以在市场上获得，也可以进行大量的研究和开发，其中有大量的商业和学术工作，包括自从Google Glass和Oculus VR HMD(Rift)产生突破后大幅升级的产品公告、出版和专利申请：

[0411] 在撰写本文时，拥有商业领先的移动AR光学HMD的Glass的Google已经为光学透视HMD类别建立了突破性的公众可见性和占优势的市场定位。

[0412] 然而，他们跟随已经在主要的国防/工业领域开发和部署产品的其他人进入市场，包括Lumus和BAE(Q‑Sight全息波导技术)。在进入其他近期市场和研究阶段时，也在全息波导领域中发现了诸如将英国国家物理现实研究商业化的TruLife Optics等企业，他们声称具有比较优势。

[0413] 对于许多军用头盔式显示器应用，以及Google官方用于Glass的初级用例，再次如前所述，文本和符号图形元素在视图空间上的叠加，仅需要粗略的位置关联，可能足以用于许多初始的、简单的移动AR应用。

[0414] 然而，即使在信息显示应用的情况下，显而易见的是，在面对(以及最终环绕)观看者的视图空间中的项目和地形的标记信息的密度越大，对标签的空间顺序/分层的需求越大，以匹配标记元素的透视/相对位置。

[0415] 重叠—即，视场中的真实元素对标签的部分遮挡，而不仅仅是标签本身的重叠，因此必然成为甚至“基本的”信息显示用途的光学通视系统的要求，以管理视觉混乱。

[0416] 另外，由于标签必须反映的不仅是标签元素在真实空间的透视图中的相对位置，而且还有自动化的(基于预定或软件计算的)优先级和实时的程度、用户指定的优先级、标签大小和透明度，以命名除了图形系统用来反映信息层级的两个主要视觉提示之外，还必须进行管理和实施。

[0417] 然后问题立即出现，详细考虑标签和叠合图形元素的半透明度和重叠/遮挡问题，如何处理通过这些基本的光学透视HMD(无论是单目分划板型还是双目全眼镜型)的光学元件和叠合生成的视频显示元件的现场元素的相对亮度问题，特别是在明亮的户外照明条件和非常昏暗的室外条件下。对于充分扩展这些显示器类型的实用性，夜间使用显然是低光问题的极端情况。

[0418] 因此，当我们经过无源光学透视HMD类型的最有限的用例条件时，由于信息密度的增加—随着这种系统在商业上取得成功并且通常密集的城市或郊区区域从商业企业获得标记信息，这将是可预期的—以及在明亮和昏暗条件下的使用参数增加了约束条件，很明显“无源”光学透视HMD无法逃避，也无法应对移动AR HMD的任何现实实际实施的问题和需求。

[0419] 此外，无源光学直通HMD必须被认为是用于实现移动AR HMD的不完整模型，并且回顾过去，将被视为仅仅是到有源系统的过渡踏脚石。

[0420] Oculus Rift VR(Facebook)HMD：与Google Glass产品营销活动的影响有些相似，但不同的是Oculus实际上也引领该领域解决和/或开始实质上解决一些实际VR HMD的重大门槛障碍(而不是就Google而言，跟随Lumus和BAE)，撰写本文时Oculus Rift VR HMD是领先的预大量发布的VR HMD产品，进入并创造了面向广泛接受的消费者和商业/工业VR的市场。

[0421] Oculus Rift VR HMD的基本门槛进步可归纳为以下产品功能清单：

[0422] 显着拓宽的视场，通过使用1080p分辨率的单个当前7英寸对角线显示器实现，位于距离用户眼睛几英寸处，并且在单一显示器上分成双目透视区域。如同本文所写，与现存HMD通用规格的总共45度相比，当前FOV为100度(改善其原始的90度)。单独的双目光学器件实现立体视觉效果。

[0423] 显着改善头部跟踪，导致低滞后；这是一个改进的运动传感器/软件的进步，并利用从Nintendo Wii、Apple和手机传感器技术中的其他快速跟随者、Playstation PSP和现在的Vita、Nintendo DS现在的3DS以及Xbox Kinect系统移植而来的微型运动传感器技术，以及其他具有用于3D维位置跟踪的内置运动传感器(加速度计、MEMS陀螺仪等)的手持式和手持式设备产品。当前的头部跟踪实现了多点红外光学系统，具有外部传感器协同工作。

[0424] 低延迟，是改进的头部跟踪和快速软件处理器更新到交互式游戏软件系统的综合结果，尽管受到所采用的显示技术的固有响应时间的限制，但最初的LCD被更快的OLED所取代。

[0425] 低持续性，是一种缓冲形式，以帮助保持视频流平顺，与更高转换速度的OLED显示器结合工作。

[0426] 更轻的重量、更小的体积、更好的平衡以及整体改进的人体工程学，通过采用滑雪护目镜形状因子/材料和机械平台来实现。

[0427] 为了总结将这些改进相结合的净效益，虽然这样的系统可能在结构上或操作上没有新的模式，改进的部件和特别有效的外观设计专利US D701,206以及任何专有软件的净效果，已经产生了突破性的性能水平和大众市场VR HMD的验证。

[0428] 跟随他们的引领并采用他们的方法，在许多情况下，有其他人已经基于Oculus VR Rift配置的成功改变他们的设计的情况下的一些同期产品程序，已经有许多VR HMD产品开发商在最初的2012年电子博览会演示和Oculus VR的Kickstarter融资活动之后制定了产品计划公告，其中既有品牌公司也有初创公司。

[0429] 在这些快速追随者和其他明显改变其策略以遵循Oculus VR模板的企业中有三星(其展示的开发模式如本文所述与Oculus VR Rift设计非常相似)和索尼的Morpheus。在该领域获得关注的初创公司包括Vrvana(以前的True Gear Player)、GameFace、InfiniteEye和Avegant。

[0430] 这些系统配置中没有一个看起来与Oculus VR完全相同，尽管一些使用2个面板，还有一些使用4个面板，InfiniteEye使用4个面板系统来将FOV扩展至声称的200+度。有些使用LCD，有些则使用OLED。光学传感器用于提高头部跟踪系统的精度和更新速度。

[0431] 所有系统都实现为基本上就地或高度约束的移动性。采用车载和基于有源光学标记的运动跟踪系统，其设计用于封闭空间，如起居室、手术室或模拟器阶段。

[0432] 与Oculus VR方案具有最大差异的系统是Avegant的Glyph和Vrvana Totem。

[0433] Glyph实际上实施了一种显示解决方案，该解决方案遵循先前建立的光学通视HMD解决方案和结构，采用Texas Instruments DLP DMD在反射平面光学元件上生成投影微图像，其配置和操作与现有的光学透视HMD的平面光学元件相同，不同之处在于采用高对比度、吸光性背板结构来实现反射/间接微型投影仪显示类型，视频图像属于一般类别的不透明、非透明显示图像。

[0434] 然而，这里如前面在Gao的公开的讨论中所建立的，当采用DLPDMD或其他MEMS组件时，对于增加显示分辨率和超出1080p/2k的其他系统性能的限制是那些在此类系统中的成本、制造产量和缺陷率、耐用性和可靠性。

[0435] 此外，平面光学元件(光栅结构、HOE或其他)的有限扩展/放大因子扩大了SLM图像尺寸，但是扩大了对人类视觉系统(HVS)的相互作用/负担，尤其是焦点系统，对来自该有限扩展/放大因子的图像尺寸/FOV的限制对安全性和观看者的舒适性提出了限制。用户对Google眼镜试验中使用类似尺寸但分辨率较低的图像的反应表明，使用更高分辨率、更亮但同样小的图像区域使HVS更加竭尽全力对HVS构成了挑战。Google的官方顾问眼科医生Eli Peli博士在接受在线网站BetaBeat采访时(2014年5月19日)向Google Glass用户发出警告，预见了一些眼睛紧张和不适，随后修改了警告(2014年5月29日)试图限制潜在用途的案例和范围。该划分是针对眼部肌肉的使用方式，它们不是设计或用于长时间使用的，并且修订后的声明中的近似原因是迫使用户查找小显示图像的位置。

[0436] 然而，在真实FOV的一小部分上焦点使用所需的眼肌使用的特定组合不能被假设为与整个真实FOV上的眼动所需的相同。事实上，局部肌肉小的微调比扫描自然FOV所涉及的运动范围更受约束和限制。因此，如本领域所知，紧缩的ROM中的重复运动不仅局限于聚焦方向，尽管由于HVS的性质，预期会增加超出正常使用范围的过度负担，而且局限于对运动范围的限制和进行非常小的、受控的微调的要求。

[0437] 增加的复杂性是受约束的眼动区域中的细节水平可能开始随着带有复杂、精细运动的场景中的分辨率增加而快速超过来自精密工具工作的眼睛疲劳。光学通视系统的任何开发人员都没有对这个问题进行严格的处理，这些问题以及Steve Mann多年来使用他的EyeTap系统报告的眼睛疲劳、头痛和头晕问题(据报道，通过将图像移动到最近Digital EyeTap更新中的视场中心得以部分改进，但也未被系统地研究过)仅收到了有限的评论，只关注部分问题和眼睛疲劳的问题，其可以从近距离工作和“计算机视力疾病”发展而来。

[0438] 然而，Google提供的有限公众评论反复声称，一般来说，Glass作为光学通视系统是慎重地用于偶尔观看，而不是长时间或高频观看。

[0439] 理解Glyph方案的另一种方式是，最高级别遵循Mann数字EyeTap系统和结构布置，具有用于光隔离VR操作的实施的变化以及采用当前光学通视系统的横向投影平面偏转光学设置。

[0440] 在Vrvana Totem中，违背Oculus VR Rift的是采用Jon Barrilleaux的“间接视图显示”方案，通过添加双目传统视频摄像机以允许在视频捕获的前向图像捕获与同一光学遮蔽的OLED显示面板上生成的仿真之间切换。Vrvana在营销材料中表示，他们可以实施这种非常基本的“间接视图显示”，完全遵循Barrilleaux确定的AR原理图和模式。显然，实际上这一代Oculus VR的任何其他VR HMD可以安装有这样的传统相机，尽管对HMD的重量和平衡有影响，但至少是这样。

[0441] 从上述内容可以明显看出，在“视频透视HMD”类别中，或者一般来说在“间接视图显示”领域中，几乎没有取得实质性进展，除了夜视镜类别之外，其作为子类型已经发展得很好，但是除了在本领域已知的视频处理器方法中提供向实况图像添加文本或其他简单图形之外，其缺少任何AR特征。

[0442] 另外，关于VR HMD的现有限制，所有这种采用OLED和LCD面板的系统都会忍受相对低的帧速率，这导致运动滞后和延迟，以及对一些用户的负面生理影响，属于“模拟器病”的广泛类别。还要注意的是，在采用诸如RealD系统之类的商用立体声系统实施于基于Texas Instruments(德州仪器)DLP DMD的投影仪或基于Sony LCoS的投影仪的电影院数字立体投影系统中，据报道，不够高的帧速率导致一小部分观众(在一些研究中高达10％)体验到头痛和相关症状。其中一些是这些个体所独有的，但其中很大一部分可以追溯到对帧速率的限制。

[0443] 而且，正如指出的那样，Oculus VR已经部分地实施了“低持久性”缓冲系统，以补偿在写入时使用的OLED显示器仍然不够高的像素转换/帧速率。

[0444] 对现有VR HMD的性能的又一影响是由于现有OLED和LCD面板显示器的分辨率限制，其部分地有助于使用5‑7”对角显示器并将其安装在距观察光学器件(和观看者眼睛)一定距离处的要求以实现足够有效的分辨率，有助于现有和计划产品的体积、尺寸和平衡显著要比大多数其他光学头戴产品更巨大、更笨重、更沉重。

[0445] 预期潜在的部分改进来自弯曲OLED显示器的使用，可以预期其在不增加体积的情况下进一步改善FOV。但是，以足够的数量投入市场而需要以可接受的产量对工厂产能进行大量额外规模投资的费用使得这一前景在短期内不太实际。它只能部分解决体积和尺寸问题。

[0446] 为了完整起见，还必须提及用于观看视频内容但不交互或具有任何运动感测能力的视频HMD，因此没有为虚拟或混合(混合现实/AR)世界导航的能力。在过去的十五年中，这种视频HMD已经得到了实质性的改进，增加了有效的FOV和分辨率以及观看舒适性/人体工程学，并提供了当前VR HMD已经能够利用和构建的发展路径和进步。但是，这些也受到所采用的显示技术的核心性能的限制，其模式遵循针对基于OLED、LCD和DMD的反射/偏转光学系统所观察的限制。

[0447] 透明眼镜光学范例的投影图像的其他重要变化包括来自Osterhoudt Design Group、Magic Leap和Microsoft(Hololens)的那些变化。

[0448] 尽管这些变化具有一些相对的优点或缺点—相对于彼此以及前面详细回顾的其他现有技术—它们都保留了基本方法的局限性。

[0449] 对于更基本和普遍的共同点，它们也受到所采用的显示/像素技术的基本类型的限制，由于现有核心显示技术的帧速率/刷新，无论是快速LC、OLED还是MEMS，以及是否采用机械扫描光纤输入或其他公开的用于将显示图像传送到观察光学器件的光学系统，全都仍不足以满足分别和共同有助于实现大众市场、高品质的令人愉悦的AR和VR的高质量、易于观看(HVS)、低功率、高分辨率、高动态范围和其他显示性能参数的要求。

[0450] 为了总结现有技术的状态，对于前面所述的细节：

[0451] ·“高视敏度”VR已经从FOV、延时、头部/运动跟踪、更轻的重量、尺寸和体积等很多方面得到实质改善。

[0452] ·但帧速率/延时和分辨率、(在显著的推论程度上)重量、尺寸和体积都受限于可用核心显示技术的约束。

[0453] ·现代VR受限于在小的受控空间中静止或高度受限且有限的移动使用。

[0454] ·VR基于光学通视系统的封闭版本，但配置为横向投影——偏转系统，其中SLM通过一系列三光学元件将图像投影到眼睛中，其在反射图像的尺寸表现中受到限制，与标准眼镜镜片的总面积相比，反射图像扩大但并非远大于SLM(DLP DMD、其他MEMS或FeLCoS/LCoS)的输出。来自“特写工作”极强版本扩展观察以及将对眼睛肌肉提出需求的眼睛疲劳风险是对实际接受度的又一限制。SLM类型和尺寸的显示器也限制了通过所引用技术的更高分辨率SLM的缩放成本来提高分辨率和整体性能的实用途径。

[0455] ·光学通视系统通常具有眼睛疲劳的相同可能性，由于将眼肌使用限制到相对较小的区域而并且在这些约束内需要相对较小且频繁的眼睛跟踪调整，并且多用于短期使用。Google Glass的设计旨在通过将光学元件向上定位并超出直视前方的眼睛的直接静止位置来体现有限持续时间使用的期望。但是用户依然报告了眼睛疲劳，正如媒体报道中已借助于来自Google Glass Explorers的文本和访谈广泛记载的那样。

[0456] ·由于需要在透视图中组织具有现实世界对象的标签，因此光学通视系统在重叠的半透明信息密度方面受到限制。即使对于图形信息显示应用，移动性和信息密度的要求也使得无源光学视图受到限制。

[0457] ·“间接视图显示”的方面已经以夜视镜的形式实现，并且OculusVR的竞争者Vrvana仅提出了使其配备了Totem的双目视频摄像机适应AR的建议。

[0458] ·Gao的提议虽然声称是光学通视显示，但实际上更多是带有准透视方面的“间接视图显示”，借助于使用SLM设备，如在改进的投影显示器中那样起作用，用于采样真实波前的一部分并且数字地改变该波前的部分。

[0459] 介入初始波前部分的光学路由中的光学元件的数量(也是这里要添加的点，远小于一副传统眼镜中传统镜片的光学区域)为七或接近该数字，引入了图像像差、伪像和损耗的机会，但是在需要复杂的光学对准系统的领域中，其中许多元素的这种复杂的自由空间对准不常见，并且当有需要时其昂贵、难以维持并且不稳健。期望SLM管理真实场景的波前改变的方法也没有针对特定要求指定或验证。在执行计算以在透视图中的真实与合成元素之间建立适当关系已经非常苛刻的环境中，特别是当个体在信息密集、地形复杂的环境中移动时，协调2—4个显示类型设备(取决于双目系统或单目系统的单眼)之间的信号处理也不是问题，包括确切地确定来自实场的像素是适当合成像素的校准像素。安装在车辆上只会进一步加剧这个问题。

[0460] 与构建如Gao提出的光学装置的任务，或者乃至将其减小到相对紧凑的形状因子的任务相比，对于开发完整系统有无数额外问题。尺寸、平衡和重量只是对各种处理和光学阵列单元的数量和必要位置的许多影响之一，但与引用的其他问题和限制相比，它们相对较小，尽管它们对于将这种系统实际部署到现场用于军事或加固工业用途或者消费者使用来说很重要。

[0461] ·除了显示类型单元的数量和对齐的细节、光学系统、像素系统匹配以及透视问题，100％的“间接视图显示”在关键方面与Gao的提议有类似的要求，因而对于这种系统的所有关键参数应该需要与实时的、单个透视实时的通视图像相协调的存储合成CG 3D映射空间的“强力”计算的程度产生疑问。问题变大到必须全部执行计算的程度，利用前视摄像机捕获的视频图像，以基本的Barrilleaux和现在可能的Vrvana设计，转发到非本地(到HMD和/或t穿戴者他/她自己)的处理器用于与合成元素合成。

[0462] 真正的移动系统所需的如下所述，无论是VR还是AR，其实现对真实环境的沉浸和校准：

[0463] ·符合人体工程学的光学和观察系统，其使对人类视觉系统的任何非正常要求降到最低。这是为了实现更多的扩展使用，是移动使用所意味的。

[0464] ·宽视场，理想情况下包括120‑150度的外围视图。

[0465] ·高帧速率，理想地为60fps/眼睛，以使延时和通常由显示器造成的其他伪像最小化。

[0466] ·在该单元与面部的舒适距离处的高效分辨率。可用于测量最大值的有效分辨率标准要么是有效的8k，要么是“视网膜显示”。该距离应该类似于传统眼镜的距离，通常采用鼻梁作为平衡点。准直和光学路径光学器件是建立适当的虚拟焦平面所必需的，该虚拟焦平面也实现了这种有效的显示分辨率和光学元件到眼睛的实际距离。

[0467] ·高动态范围，尽可能接近地匹配现场、真实视图的动态范围。

[0468] ·在已知的形貌中确定头部和身体两者的定向的车载运动跟踪‑无论是提前知道还是在佩戴者的视野范围内及时知道。这在混合方案中可以通过外部系统来补充。

[0469] ·显示光学系统，其能够在真实场景波前与任何合成元素之间在人类视觉系统的环境内进行快速合成处理。应尽可能使用被动装置，以最小化车载(对于HMD和佩戴者而言)和/或外部处理系统的负担。

[0470] ·显示光学系统，相对简单和坚固，光学元件很少，有源器件元件很少，有源器件设计简单，重量和厚度都很小，在机械和热应力下也很稳固。

[0471] ·重量轻，体积小，重心平衡，以及形状因子，其适合于已知为专业用户(例如军事和加固环境工业用户)、坚固耐用的运动应用程序、一般消费及商业使用所接受的设计配置。这些因素也接受自从诸如Oakley、Wiley、Nike和Adidas等眼镜制造商到Oakley、Adidas、Smith、Zeal等稍微更专业的运动护目镜制造商的因素范围。

[0472] ·一种可以在VR体验与透视集成的混合观看AR系统之间可变地切换的系统，同时保持完全移动性以及可变遮挡。

[0473] ·一种既可以管理HVS的入射波长又可以经由传感器及其混合物从那些感兴趣的波长获得有效信息的系统。IR、可见光和UV为感兴趣的典型波长。

[0474] 本公开提出的系统解决了问题并且满足了现有技术从根本上限制且不充分的增强和虚拟现实(任务和标准)中的功能的最终目标。

[0475] 本公开合并并实施了电信结构和像素信号处理系统以及混合磁光子学的特征(同一发明人的待审美国专利申请[2008]和光子编码器)，以及混合MPC像素信号处理、显示和网络的优选的像素信号处理子类型(同一发明人的待审美国专利申请)。设备(尤其是阵列)的寻址和供电优选地是待审美国专利申请的阵列的无线寻址和供电，并且在待审美国专利申请的3D工厂和系统中也发现了混合MPC型系统的优选实施方式。

[0476] 这些待审申请通过引用全文并入本申请。

[0477] 然而，在建立系统类型的类和关键子系统的类以及子系统的优选版本和实施方式时，并不是说本提议的细节都包含在所引用的应用中，以及本申请仅仅是这些系统、结构和方法的组合。

[0478] 相反，本提案提出了新的和改进的系统和子系统，其在大多数或许多情况下属于那些引用的(并且通常是新的)类别和级别，其详细公开了组件、系统、子系统、结构、过程和方法，同时，由于这些和其他类别的构成元素的独特组合，因此也实现了独特的新型移动AR和VR系统，具有作为可穿戴系统的优选实施方式，并且对于可穿戴系统，头戴式是最优选的。

[0479] 所提出的系统的规范最好通过以分组(列出)主要子系统来组织整体结构和操作结构，然后以分层的外形提供这些子系统的细节来展开。

[0480] 主要子系统：

[0481] I.用于具有像素信号处理平台的显示器的电信系统型架构，以及优选的混合MPC像素信号处理，包括光子编码系统和设备。

[0482] II.用于移动AR和VR的传感器系统

[0483] III.结构的和基底的系统

[0484] 这些主要子系统实现的是新颖的集成双重“生成”和可变直接透射直视混合显示系统：

[0485] I.用于具有像素信号处理平台的显示器的电信系统型架构，以及优选的混合MPC像素信号处理，包括光子编码系统和设备：

[0486] 本公开的目的是尽可能地采用无源光学系统和组件，以有助于最小化对用于处理传感器数据的有源设备系统的需求，尤其是实时地，以及用于计算计算机生成的影像和计算真实和合成/数字或存储的数字图像信息的3D透视图集成。

[0487] 图像处理和像素图像显示生成系统的结构/操作——结构级、子系统、组件和元件的以下细分将包括如何实现该目标的规范。系统的结构、组件和操作级按顺序从外部图像波前截取到将最终的中间图像传送到HVS(为简单起见，从左到右任意设置顺序(参见图1))：

[0488] A.一般情况——系统的主要元素：

[0489] 1.IR/近IR和UV过滤级和结构(在实施用于夜视系统的系统版本中省略了IR和近IR过滤)。

[0490] 2.偏振过滤，以减少输入的直通光照强度，对其有一些益处和优势的选项，或者偏振过滤/分选至信道中、偏振旋转和信道重组，以保持最大输入或直通照明级，对其有其他益处和优势的选项。

[0491] 3.现实世界直通的照明和实施这些的信道的像素化或子像素化。

[0492] 4.将直通信道与内部生成的子像素阵列整合，组合在统一的阵列中，以实现最佳的增强/混合现实或虚拟现实图像显示呈现。

[0493] i.用于处理和加工直通(现实世界)照明的两个优选的总体方案和结构/架构：虽然通过本公开的一般特征实现了其他排列和版本，但是两个优选实施方式的主要差异在进入的自然光的处理上有本质不同，结构光学系统中的信道将通过后续处理级的光传送到向内/面向观察者的复合光学器件表面的输出表面——在一种情况下，所有现实世界的直通照明向下转换为IR和/或近IR的“伪彩色”以进行有效处理；在另一种情况下，直接处理/控制现实世界直通的可见频率照明，而不进行频率/波长移位。

[0494] ii.统一阵列中的生成/“人工”子像素：优选地，混合磁光子、像素信号处理和光子编码系统。在所有直通的光被向下转换为IR和/或近IR的版本和情况下，将相同的整体方法、顺序和过程应用于直通光信道。

[0495] B.具体公开

[0496] 1.IR/近IR和UV过滤级和结构：可穿戴HMD“眼镜”或“护目镜”具有第一光学元件，其优选形式是双目元件、左右分离元件或一个类似护目镜的连接元件，其截取从观察者/佩戴者的相对向前的外部世界发出的光线的通视的现实世界波前。

[0497] 该第一元件是复合的或结构化的(例如基底的/结构的光学元件，其上沉积有多层材料/膜或者其自身是周期性或非周期性但复杂的2D或3D结构化材料，或者复合和直接结构化的混合)，实现IR和/或近IR过滤以及

[0498] UV过滤。同样，更具体地，这些可以是光栅/结构(光子晶体结构)和/或批量薄膜，其化学成分实施对于不想要的频率的反射和/或吸收。用于材料结构化的这些选择是相关领域众所周知的，有许多商业化可用的选择。

[0499] 在一些实施方式中，特别是对于夜视应用，消除了IR过滤，并且遵循本公开的模式和结构，按顺序改变了功能级序列的一些元素，进行了消除或修改。以下将对此类别和版本的实施方式的细节进行详细说明。

[0500] 2.偏振过滤(以抑制进入的直通照明强度)或偏振过滤/分选至信道中、偏振旋转和信道重组，以保留最大输入或直通照明级：一个类似的过滤器，最佳地跟随光学阵容序列中的第一个过滤器，附图的相对右边的下一个元素是偏振过滤器或偏振分选级。这可能又是批量“偏振片”或偏振器膜或沉积材料，和/或偏振光栅结构或任何其他偏振过滤结构和/或材料，其为任何给定实施方式提供实用特征和益处的最佳组合，即在效率、制造成本、重量、耐用性和其他可能需要优化权衡的参数方面。

[0501] 3.偏振过滤选项，结果：在光学/光学结构元件的整个范围内布置的这一系列光学元件之后，入射波前已经频率相等，并且它已经是偏振模式相等并且通过模式分选/分隔。对于可见光频率，已经通过偏振过滤装置减小每个模式信道的净亮度，为了简单起见，反映周期性光栅结构材料的电流效率，实际上接近100％的过滤效率意义，每个信道消除大约
50％的光。

[0502] 4.偏振过滤、分选、单信道旋转和重新组合，结果：例如将两个分离/分选的信道放在一起，组合的强度将接近但不完全是原始入射光在过滤/分离/分选之前的强度。

[0503] 5.益处和重要性：由于这些过滤也可以在相同的层/材料结构上实施，或者顺序地通过单独的层/材料结构，HVS 1)防止不良UV，2)亮度降低，3)去除IR和近IR(夜视应用除外，其可见光谱将最小，并且不需要过滤可见光)。益处/特征2和3对于系统的下一个级和整个系统具有重要意义，并将在下面进一步阐述。

[0504] 6.现实世界直通照明和实现这些的信道的像素化或子像素化：入射波前的子像素细分，光学无源或有源结构或操作级与前面的和优选地后面的一起实施，因为它将倾向于降低制造费用。该细分可以通过本领域已知的多种方法以及尚未设计的其他方法来实现，并且包括差异折射率批量材料的沉积，采用光化学抗蚀剂—掩模—蚀刻工艺或通过基于静电/范德华力的方法和其他自组装方法在胶体溶液中的纳米颗粒的材料制造；聚焦离子bam蚀刻或压花，以及特别是通过蚀刻、切割和压花方法，通过改进的总折射率实施波导的毛细管微孔阵列的制造，或实施光子晶体布拉格光栅型结构的其他周期结构的制造，或其他周期性光栅或以散装材料制造的其他结构。可选地，或者与引用的或已知的方法或将来可以设计的方法组合，在宏光学/结构元素的区域上形成阵列的子像素子细分/引导材料结构，可以通过组装构成部件来制造，比如光纤和其他光学元素前体，包括通过由本公开的作者在别处公开的方法，以及由Fink和Bayindir提出的方法，用于光纤设备结构预制组件，或熔融玻璃或复合材料组装方法。

[0505] 适用于系统的该结构/操作级的本系统的不同实施方式和版本的某些指定细节和要求将在系统的以下结构/操作细分的适当后期级中涵盖。

[0506] 7.在合并阵列中将直通信道与内生子像素集成在一起：但是，除了提供将来自前方视场的入射波前细分成适合于受控光路控制以及随后用于其他无源和/或有源过滤和/或修改的部分的装置之外，非常重要的是指出这点，有两种类型的使用本提议的系统提供给观看者的总视野阵列的像素/子像素组分，以及两个不同的“分支”处理序列和操作结构，在到观察者的最终像素呈现的途中。并且这是对于本复合结构和操作过程的序列的第一级和要求之一，在其适当的级实施逐像素和逐子像素的光路控制。

[0507] 8.两个像素信号组分类型——直通的和生成的或人工的：在像素信号处理、像素逻辑状态编码级，如下面所引用的公开，我们现在分别采用两种像素类型，或者更确切地说，两个像素信号组分类型。

[0508] 9.用于处理和加工直通(现实世界)照明的两个优选的总体方案和结构/架构：虽然通过本公开的一般特征实现了其他排列和版本，但是两个优选实施方式的主要差异在进入的自然光的处理上有本质不同，结构光学系统中的信道将通过后续处理级的光传送到向内/面向观察者的复合光学器件表面的输出表面——在一种情况下，所有现实世界的直通照明向下转换为IR和/或近IR的“伪彩色”以进行有效处理；在另一种情况下，直接处理/控制现实世界直通可见频率照明，而不进行频率/波长移位。

[0509] a.在一个优选的版本中，已经UV和IR过滤以及偏振模式分选(并且可选地，过滤以降低直通照明的总强度)的可见光信道被频移到IR或者近IR，但在任何一种情况下都是不可见的频率，实施相同比例带定位宽度和强度的“伪彩色”范围。在频率/波长调制和降频的光子像素信号处理方法之后，HVS将探测并看不到任何内容。然后，如以下部分所公开的，这些信道的后续光子像素信号处理本质上与针对所生成的像素信号信道所提出的相同。

[0510] b.在另一个优选实施方式中，直通信道不是频率/波长调制并向下转换为不可见的IR和/或近IR。在该配置中，直通信道的优选默认配置和像素逻辑状态是“开”，例如在采用用于像素状态编码/调制的传统线性法拉第旋转转换方案的情况下，包括输入和输出偏振过滤装置，对于任何给定的偏振模型分选的子信道，分析器(或输出偏振装置)将本质上与输入偏振装置相同，使得当处理并激活操作线性法拉第效应像素逻辑状态编码器时，操作是减小强度直通信道。在为所生成的信道的操作功能和结构提供的细节之后，在随后的部分中公开了该实施方式的一些特征和要求的细节。

[0511] 如果将偏振过滤与该优选实施方式和变型组合，而不是模式分选和单独模式信道的实施，然后通过偏振旋转装置将其组合成合并信道，以尽可能保持与原始像素化的直通照明一样多的程度，比如凭借无源组件(例如半波片)和/或有源磁光或其他模式/偏振角调制装置，则直通照明的整体亮度通常会降低约50％，作为优选的级别和方法，考虑到如本文磁光材料的相对可见范围性能，在一些情况下将是更优选的。

[0512] 因此，背景直通照明亮度最大值成比例地减小，对于提供“生成的”(人工的，非直通的)子像素信道的子系统以及相关的方法和装置可以相应地更容易，以在“增强现实”影像和视图的一般舒适和逼真的整体照明范围内匹配并整合并协调所生成的图像元素。

[0513] 可选地，可以在默认的“关闭”配置中配置直通信道，使得如果采用典型的线性法拉第旋转器方案，则输入偏振装置(偏振器)和输出装置(分析器)相反或“交叉”。当频率相关的MO材料(或其他光子调制方式，在采用频率相关/性能确定的材料方面而言)继续改进时，采用这种默认配置可能会有利，其中直通照明强度基态从默认的“关闭”或接近零或有效零强度通过随后的光子像素信号处理步骤和方法增加并管理。

[0514] C.虽然提出向下转换为IR是优选的，但是考虑到光子调制装置和方法的IR和近IR性能优化的共同的材料—系统依赖性，UV也是包括的选项并且可能在将来在某些情况下用于移位输入可见光照明至方便的不可见光谱域，以便在最终输出之前进行中间处理。

[0515] 10.合并阵列中的生成/“人工”子像素：首先，我们考虑图像生成像素信号组分，或者换句话说，像素信号处理结构，操作序列，其优选地为混合磁光子像素信号处理和光子编码系统。

[0516] a.在所提出的在日光条件下用于完全移动AR的整个系统的图像收集/处理/显示子系统的最常见配置中，序列中的下一个结构、过程和元素是光学IR和/或近IR平面照明散布结构和像素信号处理级。

[0517] b.对于这种结构和操作过程，光学表面和结构(沉积或机械层压到结构/基底上的膜，或者材料的图案化或沉积，或者直接在基底上进行本领域已知的方法的组合)均匀地分布IR和/或近IR照射均匀地穿过100+FOV双目镜片的整个光学区域或连续护目镜型形状因子。IR和/或近IR照射通过如下方式均匀分布：1)设置在结构的X‑Y平面上的漏光纤维的组合，全部在X或Y方向或在网格中。这种泄漏纤维已经开发出来并且可通过诸如物理光学的公司从市场上买到，其泄漏在特定设计距离上以基本均匀的方式基本上横向穿过纤维芯传输的照明，与扩散层结合，比如可从Luminit，Inc.商购的非周期性3D隆起结构化膜(压纹的非周期性微表面)和/或本领域已知的其他扩散材料和结构；2)来自IR和/或IR LED边缘阵列或IR和/或近IR边缘激光器阵列的侧面照明，比如VCSEL阵列，投射以截取为体积照明，这种平面顺序光束扩展器/散布器光学器件作为平面周期性光栅结构，包括全息元件(HOE)结构，比如可从Lumus、BAE以及在本文中和先前引用的待审申请中引用的其他商业供应商处商购获得，以及其他背板扩散结构、材料和装置；一般而言，本领域已知的其他显示背板照明方法、装置和结构可以在将来进行开发。

[0518] c.在操作和像素信号处理的序列中该级/结构的目的是发射IR和/或近IR背板照明，其被限制在迄今为止提出的复合光学/材料结构的相对内部，具有将注入的IR和/或近IR照明反射到照明层/结构的IR和/或近IR过滤器。

[0519] d.重要的是即使是显而易见的事实也要注意，IR和/或近IR对HVS是不可见的。

[0520] e.IR和/或近IR的照明源可以是LED、激光器(比如VCSEL阵列)或两者的混合，或者本领域已知的或将来可能开发的其他装置。

[0521] f.注入的IR和/或近IR照明也具有单偏振模式，优选地为平面偏振光。

[0522] g.这可以由偏振谐调装置来实现，通过利用偏振分光器或滤光器/反射器序列(比如光纤分光器)将IR和/或近IR LED和/或激光器和/或其他照明源分开，并使一个平面偏振组分穿过无源和/或有源偏振旋转装置，比如批量磁光或磁光子旋转器，或一系列无源装置，比如半波片，或这些的混合。偏振过滤器，比如高效光栅或2D或3D周期性光子晶体型结构设置成与入射光成一角度，可以将被拒绝的光反射到偏振旋转光学序列和信道中，然后其与原始照明的未改变部分重新组合。在波导、平面或光纤中，其中偏振模式(平面偏振)被分离，一个分支通过偏振谐调装置，然后重新连接另一个分支。

[0523] h.源照明也可以被约束在其自身的结构中，以仅产生在给定角度或范围内平面偏振的光。

[0524] i.光可以在HMD中局部地产生和/或谐调，或者远离HMD(比如具有电力存储装置的可穿戴背心)并且经由光纤传送到HMD。在HMD中，照明和/或谐调级和结构/装置可以紧邻所述复合光学结构，或HMD中的其他地方并且进行光学传输，如果较远就通过光纤和/或如果较近则通过平面波导。

[0525] j.到目前为止的前述结构以及以下的操作和过程的结构是如所引用申请中公开的像素信号处理的示例，其特征在于使用最优方法生成像素信号特性并传输进入最佳阶段的过程的分解，并且通常在针对该类型过程优化的波长下操作，特别是关于像素状态逻辑编码级和过程。许多MO和EO以及其他光学相互作用现象对于IR或近IR频带区域中的大多数材料系统是最佳的。在所引用的申请中公开了整个系统、方法、结构、操作和过程的结构，以及各自的细节，包括必要的和可选的元素。

[0526] k.像素信号处理、像素逻辑级编码级——调制器阵列：

[0527] l.在照明和谐调级之后，IR和/或近IR照明经过像素信号级逻辑编码过程、操作、结构和装置，优选地对于本公开，调制装置属于磁光调制方法的范畴。其中，一种优选方法基于法拉第效应。在引用的美国专利申请“混合MPC像素信号处理”中公开了该装置和方法的细节。

[0528] m.在二进制像素信号逻辑状态系统中，通过旋转入射的平面偏振光的偏振角来编码“开”的状态，使得当该光经过像素信号处理系统的后级时，随后和相反的偏振过滤装置(称为“分析仪”)，光将经过分析仪。

[0529] n.在这种类型的MO(或子类型，MPC)像素信号逻辑级编码系统中，光经过经受磁场的介质或结构和材料，一致/批量或结构化的光子晶体或超材料，通常是固体的(尽管它也可以经过包含气体或纯净蒸气或液体的封装腔)，其具有有效的品质因数，其测量介质或材料/结构的效率以使得偏振角能够旋转。

[0530] o.这种优选类型的像素信号处理逻辑级编码级和装置的优选类型和选项的细节可在引用的待审申请中找到，并且其他变体可以在现有技术中找到，或者可以在将来进行开发。

[0531] p.需要突出显示详述的混合MPC像素信号处理系统的优选和参考类别的其他方面包括：

[0532] q.混合MPC像素信号处理系统实施存储器或“锁存”，无电，直到像素逻辑状态需要改变系统。这是通过以下调整和实施本领域已知的磁性“剩磁”方法来实现的，其中磁性材料是在批量处理中制造的(例如，Integrated Photonics市售的锁存LPE厚MO Bi‑YIG膜[参考我们的其他公开内容]；和/或实施Levy等人的永久域锁存周期ID光栅[参考我们的其他公开内容]；或复合磁性材料，在并置/混合中将相对“更硬”的磁性材料与优化的MO材料结合，使得施加的场锁存低矫顽力、直线磁滞曲线材料，其作为中间体保持MO/MPC材料的磁化(锁存)。中间材料可以包围MO/MPC材料，或者它可以以对传输频率透明的周期性结构混合或结构化[此处为IR或近/IR]。这第三种复合方法是首先由本公开的作者在2004年美国临时申请中提出的，后来包括在美国专利/美国专利申请中。后来，Belotelov等人获得在2004年公开的基础上成立的公司的资助，将这种复合方法称为“交换耦合”结构，并且将在该公司针对特定ID多层磁光子晶体的设计中实施，其中相对硬度不同的MO材料被用于2004复合方法的低效变体中。

[0533] r.这些方法的组合也是可能的设计选项。

[0534] s.混合MPC方案中的这种“记忆像素”的好处与诸如电泳或“E‑Ink”单色显示的双稳态像素转换相同。作为非易失性(相对地，至少取决于磁滞曲线的设计和材料的选择)存储器，只要存在在像素信号处理信道和系统中“传输”和“处理”的IR或近IR照明源，图像将保持形成。

[0535] t.优选的像素信号处理、像素逻辑编码级和方法的第二个基本方面和要素是有效地产生磁场，该磁场转换子像素的磁状态(作为诸如RGB的颜色系统的基本原理，因此为了方便在讨论最终颜色像素的常见组分时，更广泛地保留命名惯例，并在需要时进行区分)。为了确保不存在磁串扰，优选的是，场生成结构(例如“线圈”)设置在像素透射轴的路径中，而不是设置在侧面上。这降低了所需的场强，并且通过在边缘处不设置场发生装置，借助于周围材料/矩阵中的(磁性)不可渗透材料或者周期性结构的实施来管理磁通线，如在Levy等人的域延续方法的情况下，将通量线限制在调制区域。透明材料可以包括诸如ITO之类的可用材料以及对相关频率透明的其他新的和即将出现的导电材料。和/或其他材料，其在批量中不一定是透明的，但是在适当的周期性元素尺寸、几何形状和周期性的周期性结构中，比如金属，也可以在调制区域/子像素传输路径中沉积或形成。

[0536] u.该方法首先由本公开的作者在2004年美国临时申请指定的同一公司的2004年内部设计文件中提出，后来在美国专利申请中公开。随后，在201+年，NHK的研究人员采用了他的方法，一般用于MO和MPC设备，用于克尔旋转器，在像素的路径中使用ITO[参考检索][0537] v.用于像素信号处理子系统的优选混合MPC像素信号处理解决方案的第三重要元素是寻址子像素阵列的方法。如前所述，首选方法可在待审美国专利申请中找到，设备阵列的无线寻址和供电。对于本申请，无线寻址可能足以在给定低功率要求的情况下加强无线阵列(子像素)元件的供电，经由低频磁共振摒弃无线供电方法，尽管根据材料选择和设计细节，微环谐振器可能比通过微型天线供电更有效。然而，整个HMD或可穿戴设备的无线供电是为整个单元供电同时减小头戴的重量和体积的优选方法，尤其是当与本地高功率密度介电容器系统或其他容量技术结合时，能够通过无线低频包加电。基本的低频磁共振解决方案可从Witricity，Inc.获得。对于更复杂的系统，参考美国专利申请，无线电力继电器。

[0538] w.对阵列/矩阵进行寻址和供电的其它优选方法包括基于电压的自旋波寻址，这是在所引用的申请中未标明的变体，因此对于本提议是新颖的，尽管适用于原始参考的混合MPC像素信号处理应用和其他形式因素及其用例。为其他显示技术(如OLED)开发的基于电流的高速背板/有源矩阵解决方案也是可供选择的。

[0539] x.根据其他特定设计选择，其他不太优选的像素信号处理、像素逻辑编码技术和方法也将受益于无线寻址和供电方法，以及基于电压的自旋波方法。

[0540] y.虽然不太优选，也可以使用这样的其他像素信号处理像素逻辑编码装置，包括基于Mach‑Zehnder干涉仪的调制器，其效率通常也是基于频率材料系统并且在IR和/或近IR中最有效，以及根据所引用申请的教导，任何数量的其他像素信号逻辑编码装置都设计在针对该类装置的最有效频率优化的配置和/或材料系统中。

[0541] z.根据所引用的[2008]美国专利申请电信结构化的像素信号处理方法，所提出的系统的优选实施方式对于识别双子像素阵列系统也是必要的，具有本文公开的用于本申请的这种特定变化和优化版本，以及具有类似操作要求或期望益处的其他非HMD和非可穿戴显示系统应用。

[0542] aa.在像素信号处理之后，操作结构和过程的像素逻辑状态编码级是可选的信号增益级。此选项相关的情况将在以下展示中明确指出。

[0543] bb.波长/频率移位级：对于优选的混合MPC像素信号处理系统的当前特定版本，随后是频率向上转换级，采用优选的纳米磷光体和/或量子点(例如QD视觉)增强的磷光体颜色系统(尽管周期性偏振的设备/材料系统也被指定为所引用公开的选项)。市售的基本技术包括来自GE、Cree等供应商以及商业实践中已知的各种其他供应商。

[0544] cc.现在对于本领域技术人员来说显而易见的是，正在进行的是将通常在照明级发生的向上转换过程分开或分离，并将其延迟到完成几个其他级之后，针对IR和/或近IR频率上的操作和其他原因进行优化。

[0545] dd.因此，通过优化调谐到诸如RGB子像素颜色系统的颜色系统的纳米磷光体/量子点增强磷光体材料/结构配方，完全实施颜色系统。同样，在更详细地公开的引用申请中发现了对显示系统的概念和操作的这些重新思考。

[0546] ee.采用混合MPC像素信号处理方法的优点是本机MPC调制速度的高速，已经证明在相当长的一段时间内低于10ns，而sub‑ns目前是相关的基准。磷光体激发——发射响应的速度相对较快，如果不是那么快，但在总量和净值下，总全色调制速度低于15ns，理论上将优化到更低的净持续时间测量。

[0547] ff.所提出的结构的变体在每个IR和/或近IR子像素信道上增加了一个带过滤器，在处理序列结束时，它将“开”或“关”以放大到R、G或B。虽然增加了过滤元素的复杂性，但如果1)混合MPC级本身在材料成分中是更有效地响应IR和/或近IR域中不同子带的一批定制材料，即使认为其不太可能是这种情况，由于在该波长域中可商购的甚至批量的LPE MO薄膜的几乎100％的传输效率和极低功率偏振旋转，或者更可能的是，2)如果不同纳米磷光体和/或量子点增强纳米磷光体/磷光体材料配方的效率非常高，以至于每个终极R、G和B子像素成分的更精确相等的IR和/或近IR频带是理所当然的，则该变体可以是优选的。设计折中将归结为对带包围的附加层/结构/沉积信道的添加复杂性的成本/效益分析与来自使用频率/波长移位材料的能力的效率增益的对比，其更多地“调谐到”不可见输入照明光谱的不同部分的。

[0548] gg.在该颜色处理级之后，由初始IR和/或近IR照明源实现的子像素组继续通过合并的光学像素信道。在没有添加任何其他成分最终像素组分的情况下，如可能需要的那样，输出像素将取决于调制和颜色级组件尺寸的设计选择，优选地通过扩散装置，包括那些引用的和如所引用的申请中所公开的，可选的像素扩展可能是必要的(像素点尺寸减小的可能性要小得多，这需要光学聚焦或其他方法，如相关领域所知并且如在某些参考申请中所公开的那样，尤其是[2008]。

[0549] hh.为了在与观察者眼睛相距适当距离处实现虚拟焦平面，准直光学元件，包括小透镜阵列，嵌入纺织复合物中的光纤阵列，其中光纤平行于光学透射轴设置；采用“平坦的”或平面的反向折射率超材料结构以及本领域已知的其他光学方法。优选地，所有元件在宏光学元件/结构上的复合层中制造或实现，而不需要额外的批量光学目镜元件/结构。纤维型方法对比层压复合或沉积制造的多层结构或一种以上的组合/混合的其他问题在结构/机械系统下的以下部分中进行处理。

[0550] ii.如前所述，像素信号处理像素逻辑阵列功能/光学/结构元素实现所公开的像素信号处理像素逻辑结构和操作级，包括优选的混合MO/MPC方法和操作结构，不是在之前已经过滤的入射波前的整个场中操作的批量设备，而是(如本领域技术人员所预期的)像素化阵列。

[0551] jj.每个最终像素可以包括至少两个像素组分(超出前面描述的颜色系统RGB子像素)：一个组分布置在阵列中，其确实生成从头开始的视频图像，其可以包括简单的文本和数字图形，但是对于本系统的全部目的，能够从CGI或相对远程的现场或存档的数字图像或其复合和混合的图像生成高分辨率图像。这是如前文所述的那样。

[0552] ll.直通现实世界照明和像素化阵列——对于可见频率直通的情况的详细规定(即未向下转换为IR/近IR)：返回传输和处理来自通过结构化和可操作的光学器件及光子结构和级的视场的现实世界非生成的光线；

[0553] a.与这些IR和/或近IR驱动的子像素簇共同位于寻址阵列上的是像素或其他子像素组分的另一集合，其实际上是源自观看者和HMD的佩戴者向前的现场视场的最终像素信道组分。这些是最终像素的“直通”的完全可寻址的组分。

[0554] b.这些信道源自前面的复合光学元件/结构，其按照说明被细分为像素。

[0555] c.这些光学信道通过采用可用的有效分割方法传送具有低波前损耗的波前部分。表面小透镜阵列或镜面漏斗阵列可以与所提出的细分方法结合使用，从而实现非常接近边缘到边缘的光线捕获效率，使得捕获的波前部分随后有效地耦合到细分/像素化引导光学/阵列结构的相对“核心”。因此，无论是使用传统的阶跃折射率耦合方法，还是使用MTIR微孔阵列，或真正的光子晶体结构，或者是一种以上方法的混合，用于耦合装置的像素化阵列形成的区域将接收百分比最小化的波前，使损失最小化。

[0556] d.对于本系统的某些版本和操作模式，高效的波前捕获、路由和引导/像素化分割需要聚焦和/或反射可见和IR和/或近IR频率的宽带光学元件——并且可以看出，尽管建议将IR和/或近IR过滤器实施为光学阵容和序列中的初始和第一光学过滤结构。

[0557] a.在大多数配置中，其IR和近IR照明级将穿过该级散布，引导结构用于“直通”捕获照明，该照明对IR和/或近IR是透明的，但提供可见频率光引导/路径限制，使得IR和/或近IR能够均匀分布，同时不干扰信道化的“直通”像素组分。

[0558] b.一旦被引导的入射波前部分信道到达像素信号处理、像素状态编码级，如果存在单个形成的批量MO或多层MPC膜或另外的“批量”膜的周期性结构化光栅(或者2D或3D周期性结构)，如果该材料或结构化材料的效率针对IR和/或近IR线进行了优化，那么平行像素信号处理、像素逻辑状态结构将以完全相同的方式实现，但效率低得多。

[0559] c.然而，作为宽带MO材料，无论是批量配方还是结构化光子晶体材料，都是通过各种方式制造的，效率虽然目前还比不上优化的MO/MPC材料/结构化材料的IR和近IR，但将继续改进。在本公开的作者领导的早期工作中，在2005年建模和制造了新的MO和MPC材料，这不仅首次表现出显着改进的绿色带状态的透射/法拉第旋转配对，而且证明了对于显示应用而言，首先是不可忽视的，实际上是显着的、可接受的和有竞争力的蓝色带中的性能。

[0560] 然而，这种材料的制造往往更昂贵，并且如果沉积不同的材料，作为“薄膜”，对于“生成的”像素组分和直通的像素组分，这增加了制造过程的复杂性和费用。但是这样的配置将提高最终合并像素的“直通”组分的像素逻辑状态编码的所有条件相同的效率。

[0561] d.在没有沉积或形成“定制的”MO类材料的情况下(这种逻辑也适用于不太优选的调制系统，如MO/MPC，其最大效率依赖于频率，而采用单一配方，在所有相同的情况下，直通最终像素组分的强度将更小，达到调制装置效率较低的程度。

[0562] e.通常，对于直通系统，将假设不采用磷光体类型或其他波长/频率移位装置。然而，在天然MO/MPC材料可能效率较低的程度上，在这种情况下可以采用不同配方的带优化材料，以在一定程度上解决像素逻辑级编码级的材料性能缺陷。

[0563] f.另外，并且如所提出的用于微光或夜视操作，可选的“增益”级，如作为引用申请(美国专利申请像素信号处理和美国专利申请混合MPC像素信号处理)中的一些应用的选项所提出的，其中泵送通电增益材料以在光学、电学、声学、机械或磁性方面实现增益介质中的能量增益，如引用申请中所详述的，并且通过本领域可能已知或在未来设计的其他方法，当最终像素通过增益介质时，增强最终像素的透射“直通”组分的强度。如果选择此设计选项，则不优选这是可变的、可寻址的级，而是全体增益增加设置。

[0564] g.此外，一旦引导的入射波前部分信道到达像素信号处理、像素状态编码级，如所指示的，有一个可选的但对于低光和夜视应用有价值的整个像素信号处理和光信道管理系统的可选配置。

[0565] h.在此变体中，IR过滤器是可移除的，其目标是将IR和/或近IR光从入射的现实世界波前传递到有源调制阵列序列，以便传入的“真实”IR穿过像素信号处理调制器，并直接以在视场中可见IR输出的程度，为观看者生成类似色(单色或伪彩色IR梯度)图像，而不需要传感器阵列的中介。

[0566] i.并且，如所指示的，可以实施增益级以将直通IR(+近IR，如果有益的话)的强度增强到波长/频率移位级。

[0567] j.此外，可以通过正常的全色操作模式打开基础IR和/或近IR背景照明，调制强度以设置适当的基准水平，达到输入IR辐射未达阈值的程度以激活波长/频率移位级和媒介。

[0568] k.如果无源光学元件部署在铰接式或悬臂式铰接设备中，能够“翻转”，则可以机械地实施IR过滤装置的移除/停用；或者作为有源部件停用，比如在电泳型激活的批量封装层中，其中(如本文所提出的)静电(机械)地旋转多个相对平坦的过滤微元件，使得最小入射角通过，并且多个旋转元件不再过滤IR)。可能采用其他无源或有源激活/去除方法。

[0569] l.用于低光或夜视操作的IR过滤器和偏振过滤器都可以被移除，这取决于是否“主动地”使用生成系统，而不仅仅是生成阈值，并且将数据叠加在像素化阵列中的入射真实IR波前部分的一些部分上。如果主动使用，为了使生成源的效率最大化，优选的数字像素信号处理系统需要初始偏振过滤器来实施对信号中的像素逻辑状态进行编码的光学开关/调制器。

[0570] m.直通系统的缺点是它降低了进入的IR和/或近IR的强度。

[0571] n.旨在解决该问题的本系统的可选实施方式在像素信号处理、像素逻辑状态编码级之前设置增益级，以增强进入信号。

[0572] o.具有非相干的、非准直的“自然”光的增益介质的效率必须在采用具有“自然”入射光输入的通电增益介质的该系统和任何系统的设计参数中考虑到。

[0573] p.在第二可选方案中，实施三组分系统，其包括用于生成装置的组分子信道、入射可见光组分和未经偏振过滤的入射IR组分。必须实施留下该第三子信道/组分而无偏振过滤器元件的像素化偏振过滤器元件以实现该变体。

[0574] q.对于具有这种低光夜视操作模式要求的更基本的集成双组件可选系统类型，在初始进入波前输入和信道化/像素化级需要额外的光学元件。

[0575] r.虽然进入的IR(和近IR，如果需要)可能在指向最终可视像素的正常“生成”源组件的子信道与将入射进入波前的整个可见光部分引导至最终可视像素的源组件的直通信道之间划分，但对于将任何IR和/或近IR发送到可见光子信道和最终像素的源没有特别的效率增益。

[0576] s.更确切地，在用于最大化进入的真实波前的捕获的小透镜或替代光学捕获装置之后依次是，或者与小透镜集成的是分频器。一种方法是实施相对的过滤器，一个用于可见光的频带过滤器，仅允许IR和/或近IR光，以及用于IR和/或近IR光的相邻过滤器。这种相对的过滤器的各种几何布置提供了不同的优点，包括两者成平面或两者都以偏离入射波前光学捕获结构的中心焦点的相对45度角设置，以使得能够聚焦(来自小透镜或其他光学元件或装置，包括反向折射率超材料“平面”透镜)复合可见/IR近IR光束，以首先分离一个带范围，同时将其他的反射到相对的过滤器表面——对于可能首先冲击远离中心焦点的过滤器结构的聚焦光束部分，反之亦然。光栅结构是实施双过滤器——分光器布置的优选方法，但是其他方法也是本领域已知的，基于可通过本领域已知和待开发的各种方法沉积的批量材料配方，在连续级中实施两个过滤表面。(注意在该级之前过滤UV，但优选地在IR之后过滤。在一些布置中，IR和偏振器阶段是第一和第二，UV过滤器是第三；在其他情况下，IR之后是UV，然后是偏振器。不同布置对于不同用例有不同价值，以及对制造成本和特定过程顺序的不同影响)。

[0577] 12.直通和生成/人工像素/子像素阵列的组合：

[0578] 如已经指出的，二组分光学信道共同定位并优选地一起输出到像素谐调装置(扩散和/或其他混合方法，并且可以通过本领域已知或者将来设计的其他方法获得)，使得生成源与直通源组合，正如传统的色觉人工相加色显示系统的RGB子像素，形成最终的复合像素。然后，如已经指出并且如在所引用的申请中详细描述的那样，进一步像素束整形，并且特别地，准直及另外光学定向以在虚拟焦平面处形成图像，这是对于HVS最有效和最容易的，考虑到接近面部的人体工程学设计目标，这也是本公开的目标的一部分。

[0579] a.基础集成的二组分系统的操作，具有“生成”组分(本身由RGB子像素组成)和可变“直通”组分——首先，在其主要操作模式中，其次，配置为可选的低光夜视模式：

[0580] 在户外明亮、阳光充足的日子，所提出的HMD形式的佩戴者观看集成的双目(两个单独的镜片形状因子设备结构)或连接的护目镜，其向他/她呈现通过整合像素阵列形成的图像，其本身由两个输入组分的整合形成，生成的高性能像素和面向观察者的“世界之窗”的直通可变强度波前部分：

[0581] b.用于最终集成像素的复合颜色组分，这个由“生成”像素组分形成，其始于不可见IR和/或近IR“内部”“注入”后照明，其对于每个子像素以小于10ns的速度(当前低于1ns)开启或关闭。然后，IR和/或近IR子像素激活复合磷光体材料/结构，采用可用于产生尽可能宽的色域的最佳电流材料和系统。

[0582] c.一旦设置了子像素的状态，利用该非常短的脉冲，“存储器”开关保持其开启状态直到其状态改变，而不向开关施加恒定功率。

[0583] d.因此，生成组分是高帧率、高动态范围、低功率、宽色域像素转换技术。

[0584] e.复合像素的第二组分是直通组分，其始于冲击本HMD的前光学表面上的整个波前的细分部分的有效高百分比，从佩戴者面对的方向进入。在正常模式下对这些波前部分进行UV和IR过滤，以及偏振分选或过滤(如何选择将取决于所选择的设计策略，减少的现实世界照明基准或最大化基准)。以减少的基准，即偏振过滤，这导致充分降低可见视场的整体亮度(大约1/3到1/2，取决于入射的偏振模式的组成和偏振器的效率)。

[0585] f.特别是在明亮的日光下，但通常在除极低到无光以外的所有光照条件下，直通强度的降低使得生成系统更容易“竞争”并匹配或超过进入波前部分的照明水平。因此，通过由执行双重任务或产生双重益处的系统组件来实现的无源光学装置：它是神色像素逻辑状态编码的优选调制系统(基于偏振调制)的必需组件，它还降低了功率要求，并简化了使用直通系统校准、协调和合成生成系统的值的过程。

[0586] g.该系统设计特征利用的事实是对于大多数人来说，户外明亮的照明条件是通过使用偏光太阳镜来管理的。已知室内过亮的发光或透射显示会产生眼睛疲劳，因此整体上降低室内照明水平会导致更简单的问题，即使用生成系统相对很少地提高照明水平，而无需再次创建视场中的“竞争光环境”。减少的自然直通照明(其能够通过可选的增益级可选地增强，虽然效率低于使用LED或当然低于使用激光)与可将图形或合成元素添加到场景的某些部分的生成系统的组合，导致比其他方面更协调、更低强度的基线。(生成系统—集成阵列的那部分—不一定是AR模式产生整个FOV，尽管在完全VR模式下可以)。

[0587] h.假设在用户的透视图中计算出合成物和真实元素的协调和合成—在传感和计算系统中接下来要解决的一个方面—生成和直通源的混合可以轻松快速地生成混合、移动AR/混合现实视图，在显示水平上没有可见的滞后和可感知的延迟。

[0588] i.使用以默认“关闭”方案设计的直通像素组分子信道(即优选的偏振调制形式的偏振器和分析器“交叉”而不是相同)，并且不传送直通波前部分，考虑到用真实景观和运动跟踪进行校准，移动HMD能够在移动VR模式下运行。可以看出，结合所提出的传感器和相关处理系统，HMD能够充当关闭直通的Barrilleaux的“间接视图显示”。

[0589] j.关闭生成系统，特别是如果增加了优化的可见频率MO/MPC材料结构的费用和复杂性，也能够实施没有添加像素照明/图像基元信息的生成/增强信道的可变直通系统)。

[0590] 在“间接视图显示”的反向配置中，如在所提出的传感器和相关处理系统的详述期间将看到的，如果采用本系统的另一变体，以及“直通”信道过滤器细分(遵循IR/近IR和可见光谱过滤器——分离器的模式)到RGB子像素信道，各自都有自己的像素信号逻辑状态编码调制器，直通系统的可变传输装置能够增强为直接视图系统。它的缺点在于动态范围，并且没有生成装置来补充，相比之下，相对低光限制；此外，这种变体(简单地消除生成结构的模式或系统)将不具有能够由并行处理系统解决的双阵列的益处，从而简化了执行场景整合合成和透视计算的瓶颈。另外，基于不同的调谐和可见光谱最佳MO/MPC材料/结构，这样的系统将比基于IR/近IR的生成系统更昂贵并且执行效率更低。

[0591] k.优化的系统结合了有效的生成组件和强度可变但总体上亮度较低的直通组件。

[0592] l.优选的无线寻址和供电进一步减少了智能结构系统的功能设备部分的功率、热量、重量和体积。

[0593] m.在极低光照或夜视模式下，对于可以移除或关闭IR过滤器的系统，IR(和近IR，如果需要)直通像素状态系统而不会丢失，并且可选增益级提高IR信号强度，和/或IR/近IR内部注入的照明组分提高阈值/基础强度，在此基础上将加入/叠加进入的像素化IR强度，IR/近IR经过波长/频率移位装置(优选的磷光体系统)，并且，无论系统设置为单色还是伪彩色，都实现了直接视图低光或夜视系统。适当利用偏振过滤器，生成系统能够操作并添加图形和完整影像，使用来自辅助传感器系统的信号(参见下文)补偿进入IR降低的强度，或者简单地添加基准水平，如在其他配置中提出的，以确保输入到波长/频率移位的能量足以产生足够的输出。

[0594] II.用于移动AR和VR的传感器系统：

[0595] 遵循该提议的一般情况，其中显示图像的结构不会在没有传感器系统的情况下这样做，根据所引用的公开的各种情况，该传感器系统优化和谐调合成的、生成的影像与一般内部(并且在某些情况下，可能直通的外部照明条件可能对于效率考虑是期望或需要的)；也不会在没有考虑用户的位置、观察方向以及一般的运动跟踪的情况下这样做。

[0596] 1.在本系统的优选版本中，至少一些设备组件作为结构元件具有双重功能；但是在那些根本不可能的情况下，在任何可感知的程度上，将传感与其他功能目的整合的其他元素组合了尤其是将设备区分为集成的整体系统的内容。

[0597] 2.在本公开的系统中，其以最佳形式整体地实施诸如本领域已知的运动跟踪传感器，包括加速度计、数字陀螺仪传感器、光学跟踪和其他系统，其形式为不大的单体宏观摄像机系统，更确切地，多个分布式传感器阵列是优选的实施，以实现分布式、本机和本地处理的好处，以及用于实时捕获“全局”照明条件和实时提取几何数据以便能够对存储的位置/大地测量/地形数据进行本地更新的基于图像/摄影测量方法的额外特定益处，以加速合成图像元素的校准及其有效的透视图渲染和集成以及组合成混合视图场景。

[0598] 3.如所引用的申请中所公开的，并且简要地扩展，其中特别是使用和证明的实时信息收集值的“基于图像”和摄影测量的方法是光场方法，例如市售的Lytro系统，其从多采样(并且最佳地，分布式传感器阵列)空间，能够实时地对空间进行图像采样，然后在输入/捕获足够的初始数据之后，生成视图变换的3D空间。然后，虚拟相机以给定分辨率实时地定位在从摄影测量数据中提取的3D空间中的变化位置。

[0599] 4.其他基于图像的方法能够与Lytro光场方法一起使用，与额外的本地几何/地形数据结合使用，以实现校准的透视图像合成，包括遮挡和不透明(使用优选提出的显示子系统的集成的双生成和直通组件)。这样的方法实时提供整个FOV的采样以获得照明参数匹配CGI的阴影/照明甚至简单的图形/文本元素，以及实时更新导航的现实世界3D地形空间，而不仅是简单地对来自文件、GPS和传统运动传感器的断开的、不相关的像素点执行单独的计算。一般校正能够借助于参数采样应用于照明和相对位置/几何，显着减少计算负担。

[0600] 5.结合借助于GPS和来自信号方法的其他移动网络三角测量的用户的“绝对”定位，结合HMD和任何触觉接口的运动传感器跟踪，以及包括来自现场更新的基于图像的摄影测量系统的用户身体基于图像的映射，然后依靠从快速实时基于图像的方法获得的相对位置和地形参数，采用多个小型传感器和摄像机。

[0601] 6.与此相关，在MIT开发的Bayindir/Fink“光学织物”相机是验证实施分布式阵列的特定物理方法的示例。无论是遵循本公开的发明人提出的光纤器件和智能纺织复合方法，还是更简单的MIT光纤器件制造方法和光学织物实施，或其他光纤器件智能/有源/光子纺织方法，设置在HMD机械框架的结构中的分布式纺织复合相机阵列——并且如下所述，通过也添加到结构系统解决方案而不是作为系统上的非参与负载来执行双重任务——是实施有利的多设备阵列系统的优选版本，其提供并行的分布式数据捕获。

[0602] 7.多点微型传感器阵列，其可包括多个微型相机光学传感器阵列设备，是多视角系统的另一优选实施方式。

[0603] 8.更基本的集成商业Lytro系统，与小阵列中的一些多种其他相机/传感器组合，是不太优选但仍然优秀的组合，允许多种基于图像的方法。

[0604] 9.辅助IR传感器，再次优选地布置在多个较低分辨率的设备阵列中，如已经指出的，能够向显示系统提供超控低光/夜视馈送，或者提供校正和补充数据给生成系统以与直通的真实IR和谐和协调地工作。

[0605] 10.基于相同布置的Lytro型光场系统，在一般水平的模式中，对于可见光谱，可以用于其他频带中的传感器，这取决于应用，不仅能够包括低光/夜视，而且能够包括用于其他应用和用例(比如UV或微波)的场分析。考虑到在较长波长处的分辨率的限制，依然可以生成来自不可见或由GPS/LID AR参考数据补充的不可见的空间重建，并且在执行复杂环境的传感器扫描时获得其他维度数据收集相关性。随着小型化的进行，现在以越来越小的形状因子和小型化实现的紧凑质谱也能够考虑集成到HMD中。

[0606] 11.最后，在对于照明参数的快速数据采样有优势的基于图像的方法以及它们告诉我们的关于局部环境的材料、几何形状和大气条件的内容中，一个或多个微型“光探头”是表面可以成像以提取紧凑的全局反射图的反射球体，例如位于HMD的关键顶点(左右角或单独的中心，与多个成像器配对以捕获整个反射表面；可选地，也能够单独或优选地与球体结合利用凹面反射的部分半球形“孔”，或者通过磁场保持位置，或者在强轴上或通常隐藏安装，以从紧凑压缩的反射面中提取照明数据)，能够提供高度加速的方法，结合摄影测量的其他相关方法，对空间的照明、材料和几何参数化——不仅仅是加速现场和生成的CGI/数字影像的快速图形集成(阴影、光照、透视渲染，包括遮挡等)，而且用于在复杂的快速变化的环境中对敏感操作的可能风险因素执行快速分析。

[0607] III.机械和基底系统：

[0608] 从前述内容可以明显看出，已经提出的图像显示子系统以及基于图像的分布式感测和辅助成像系统，关注于优选实施方式，已经为本公开的结构和机械和人体工程学目标提供了实质性的益处和价值。

[0609] 1.结构——功能集成的一个优选实施方式，对于重量、体积、尺寸、平衡、人体工程学和成本方面有益，是张紧薄膜的纺织复合结构与柔性光学结构基底的组合的实施，特别优选的是由Corning Willow玻璃形成的HMD框架，其折叠(并且优选地，密封)有必须集成到HMD中的所有处理和功能的电子器件，其能够包括不使用无线供电的不太优选版本的电源，在折叠的玻璃框架上制造。为了保护玻璃和佩戴者，并且为了舒适和人体工程学，对功能性光学结构构件敷上/包裹或以其他方式添加保护涂层，比如基于冲击波系统的D30，其在无震动时柔软而有弹性，但受冲击时冲击波固化材料，为不太耐用(虽然相当耐用)的Willow玻璃结构/功能系统提供保护屏障。折叠的Willow玻璃内表面是玻璃上系统电子器件的位置，成形为圆柱形或半圆柱形，以增加强度并更好地保护电子器件免受冲击，并且因此也能够实现更薄的基底。

[0610] 光纤数据和照明从口袋中或集成到用户身体上的智能纺织复合可穿戴物品上的照明、供电(优选地为无线)和数据处理单元经由柔性纺织品包裹和保护(优选地，D30作为外部复合层，或其他抗震复合组件)线缆传递，从而平整并分配和平衡重量。

[0611] 2.一旦光纤(数据、光和可选的电力)线缆与复合Willow玻璃框架集成，光纤就作为复合材料粘合(优于更昂贵和不必要的热熔合)到E‑0数据传输的数据输入点，并用于显示面上的照明插入点。

[0612] 3.在该版本中，显示框架结构元件也是具有可选的附加复合元件的Willow玻璃或Willow玻璃型材料系统：但是代替形成光学形状因子元件的实心玻璃或聚合物透镜(双目成对或连续的护目镜)，这些是薄膜复合层，按照透镜型预制以有助于形成所需的表面几何形状；也可采用压缩肋来实现适当的曲率。

[0613] 4.由于功能光学元件的序列在初始过滤器之后并且在其最复杂的级中包括光导/限制信道，因此在所提出的结构和基底系统中都存在的优选选项是实施光学信道元件，比如光纤，作为气凝胶张紧膜基质的一部分。或者，可以采用空腔IR/近IR刚性壳，具有固体(或半柔性)光学信道，用于IR直通至IR生成信道，以及可见直通信道，用气凝胶渗透空腔和中间的空间，包括正压气凝胶，将实现极其坚固、低密度、轻质量的增强结构系统。气凝胶长丝复合材料已经商业化开发，并且继续在这类复合气凝胶系统中取得进展，为二氧化硅和其他气凝胶提供了广泛的材料选择，现在以低成本制造方法制造(Cabot、Aspen气凝胶等)。

[0614] 5.其他选择和/或能够与柳树玻璃以混合形式使用的是石墨烯——CNT(碳纳米管)功能结构系统，单独使用或优选地仍与气凝胶复合。

[0615] 6.随着石墨烯或功能电子学和光子学特征的进一步发展，形成在薄的Willow玻璃基底上或在具有气凝胶的夹层系统中的石墨烯层或多层将是优选的结构实施，石墨烯和CNT的混合物用于电子互连，玻璃上的光纤和平面波导用于光学互连，并且与其他SOG系统元件相结合，以及超越SOG的越来越多的异质材料系统(将会是异质CMOS+系统，后“纯”CMOS的情况)。

[0616] 7.在较近期，石墨烯、CNT、优选地石墨烯——CNT组合作为压缩元件，单独或与卷起的Willow玻璃和任选的气凝胶单元夹层组合，提供具有优越基底质量的优选的光——重量集成结构系统。因此，对于板载处理器、传感器部署和密集像素信号处理阵列层，半柔性Willow玻璃(或Asahi、Schott等可能开发的类似玻璃产品，但近期不太优选)、聚合物或聚合物玻璃混合物也可用作沉积基质。

[0617] IV.其他移动或半可穿戴形状因子(比如平板电脑)也可以实施在优选的HMD形状因子中得到全面应用的许多移动AR和VR解决方案。

[0618] 虽然本文已经公开了特定实施方式，但是基于分解和单独优化像素调制所需的操作和级，它们不应被解释为限制所提出的新颖图像显示和投影的应用和范围。

[0619] 已经一般性地描述了上述系统和方法，以帮助理解本发明优选实施方式的细节。在本文的描述中，提供了大量具体细节，比如组件和/或方法的示例，以提供对本发明实施方式的透彻理解。本发明的一些特征和益处以这种模式实现，并且在每种情况下都不是必需的。然而，相关领域的技术人员将认识到，本发明的实施方式能够在没有一个或多个具体细节或者有其他装置、系统、组件、方法、部件、材料、部分等的情况下实施。在其他情况下，没有具体示出或描述公知的结构、材料或操作以避免使本发明的实施方式的各方面模糊不清。

[0620] 本说明书中对“一个实施方式”、“实施方式”或“特定实施方式”的引用意味着结合该实施方式描述的特定特征、结构或特性包括在本发明的至少一个实施方式中，并且不一定在所有实施方式中。因此，在整个说明书中各个地方分别出现的短语“在一个实施方式中”、“在实施方式中”或“在特定实施方式中”不一定是指相同的实施方式。此外，本发明的任何特定实施方式的特定特征、结构或特性可以以任何合适的方式与一个或多个其他实施方式结合。可以理解的是，根据本文的教导，本文描述和示出的本发明的实施方式的其他变化和修改是可能的，并且被认为是本发明的精神和范围的一部分。

[0621] 还应当理解，如根据特定应用是有用的那样，在附图/图表中描绘的元素中的一个或多个也能够以更加分离或集成的方式实施，或者甚至在某些情况下被移除或呈现为不可操作。

[0622] 另外，除非另外特别说明，否则附图/图表中的任何信号箭头应仅被视为示例性而非限制性的。此外，除非另有说明，否则本文所用的术语“或”通常旨在表示“和/或”。在术语被预见为使得分离或组合的能力不清楚的地方，成份或步骤的组合也将被认为是注意到的。

[0623] 如本文的描述和所附权利要求中所使用的，“一个”和“该”包括复数指代，除非上下文另有明确说明。此外，如本文的描述和所附权利要求中所使用的，“在...中”的含义包括“在......中”和“在......上”，除非上下文另有明确说明。

[0624] 本发明的所示实施方式的前述描述(包括摘要中所描述的内容)并非旨在穷举或将本发明限制于本文所公开的精确形式。虽然本文仅出于说明性目的描述了本发明的特定实施方式和示例，但是如相关领域的技术人员将认识和理解的，在本发明的精神和范围内可能进行各种等同修改。如所指出的，根据本发明的所示实施方式的前述描述，可以对本发明进行这些修改，并且这些修改将包括在本发明的精神和范围内。

[0625] 因此，虽然本文已经参考其特定实施方式描述了本发明，但是在前述公开内容中对进行修改、各种改变和替换的范围是有意图的，并且应当理解，在某些情况下，本发明实施方式的一些特征将在不脱离所阐述的本发明的范围和精神而无需相应地使用其他特征的情况下使用。因此，可以进行很多修改以使特定情况或材料适应本发明的基本范围和精神。本发明旨在不限于在所附权利要求中使用的特定术语和/或作为预期实施本发明的最佳方式公开的特定实施方式，而是本发明将包括属于所附权利要求的范围的任何和所有实施方式及等同物。因此，本发明的范围仅由所附权利要求确定。