一种可穿戴式设备及其中的方法转让专利
申请号 : CN201780095984.8
文献号 : CN111213111B
文献日 : 2021-06-22
发明人 : 马科·埃罗马基 , 劳里·雅斯凯拉 , 哈里·哈库利宁
申请人 : 华为技术有限公司
摘要 :
权利要求 :
1.一种可穿戴式设备(200),其特征在于,包括主单元(201)和至少一个从单元(202),其中所述主单元(201)包括第一显示屏(210)和第一处理电路(230),所述从单元(202)包括第二显示屏(220)和第二处理电路(240),用于在所述第一显示屏和第二显示屏(210、220)中输出信息;其中所述第一处理电路(230)用于:从所述主单元(201)中包括的传感器(250、260、270)获取至少一个传感器信号;
基于所述获取的传感器信号,生成同步信号;
将所述生成的同步信号发送至所述从单元(202);
渲染要在所述第一显示屏(210)中输出的信息;
将所述渲染的信息发送至所述第一显示屏(210),用于在所述第一显示屏(210)上输出所述渲染的信息;
其中,所述第二处理电路(240)用于:从所述主单元(201)接收所述同步信号;
基于所述接收的同步信号,渲染将在所述第二显示屏(220)中输出的信息;
将所述渲染的信息发送至所述第二显示屏(220),用于在所述第二显示屏(220)上输出所述渲染的信息。
2.根据权利要求1所述的可穿戴式设备(200),其特征在于,所述输出的信息包括三维信息;其中要渲染的三维信息包括在所述主单元(201)和所述从单元(202)中。
3.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述第一处理电路(230)还用于通过低带宽连接将所述生成的同步信号发送至所述从单元(202)。
4.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述第一处理电路(230)还用于通过无线通信接口将所述生成的同步信号发送至所述从单元(202)。
5.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述第一处理电路(230)还用于通过有线通信接口将所述生成的同步信号发送至所述从单元(202)。
6.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述第一处理电路(230)还用于:基于所述获取的传感器信号,生成并发送包括全局时间参考和传感器数据的同步信号。
7.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述主单元(201)中包括的所述传感器(250、260、270)至少包括陀螺仪(250)、加速度计(260)和磁力计(270)中的一个。
8.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,包括一个主单元(201)和多个从单元(202),其中每个从单元(202)包括第二显示屏(220)和第二处理电路(240)。
9.根据权利要求2所述的可穿戴式设备(200),其特征在于,所述第一处理电路(230)用于从第一角度渲染所述三维信息,所述第二处理电路(240)用于从不同于所述第一角度的第二角度渲染所述三维信息,以便在所述第一显示屏和第二显示屏(210、220)处为用户实现立体效果。
10.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述主单元(201)和所述从单元(202)分别包括单独的相应存储器(280、290)。
11.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述可穿戴式设备(200)包括一副眼镜。
12.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述可穿戴式设备(200)包括头戴式装置,其中所述第一显示屏(210)和所述第二显示屏(220)的布置确保与用户的相应眼睛位置相关联。
13.根据权利要求1或2所述的可穿戴式设备(200),其特征在于,所述渲染的信息包括增强现实或虚拟显示中的任一个。
14.一种可穿戴式设备(200)的控制方法(600),其特征在于,所述可穿戴式设备(200)包括主单元(201)和至少一个从单元(202),其中所述主单元(201)包括第一显示屏(210)和第一处理电路(230),所述从单元(202)包括第二显示屏(220)和第二处理电路(240),用于在所述第一显示屏和第二显示屏(210、220)中输出信息;其中所述方法(600)包括:由所述第一处理电路(230)从所述主单元(201)中包括的传感器(250、260、270)获取(601)至少一个传感器信号;
由所述第一处理电路(230)基于所述获取(601)的传感器信号生成(602)同步信号;
将所述生成(602)的同步信号从所述第一处理电路(230)发送(603)至所述第二处理电路(240);
基于所述同步信号,渲染(604)要在所述主单元(201)处的所述第一显示屏(210)和所述从单元(202)处的所述第二显示屏(220)中输出的信息;
根据所述发送(603)的同步信号,分别在所述第一显示屏(210)和所述第二显示屏(220)上输出(605)所述渲染(604)的信息。
说明书 :
一种可穿戴式设备及其中的方法
技术领域
背景技术
设备的情况下移动头部时“环视”人工世界,佩戴优质VR在所述世界中四处走动,还可能与
虚拟特征或物品交互。这种效果通常由包括头戴式护目镜的VR耳机产生。VR通常用于游戏
和娱乐,也可用于教育、模拟和训练等目的。
它涉及一种称为计算机介导现实的更普遍的概念,其中计算机修改了现实视图(甚至可能
减少而不是增强)。AR增强了用户对现实的当前感知,相反VR用模拟的虚构环境代替了现实
世界。增强技术通常与环境要素一起在语义上下文中实时执行,例如当所述用户站在公交
站点时将补充信息(例如,剩余时间(和/或目的地))覆盖到下一辆公共汽车。另一示例可以
是供建筑工人使用的AR设备,显示有关建筑工地的信息。
设备看起来不仅丑陋而且笨重。
发明内容
可穿戴式设备旨在在所述第一显示屏和第二显示屏中输出信息。所述第一处理电路用于从
所述主单元中包括的传感器获取至少一个传感器信号。此外,所述第一处理电路用于基于
所述获取的传感器信号生成同步信号。此外,所述第一处理电路还用于将所述生成的同步
信号发送至所述从单元。另外,所述第一处理电路用于渲染要在所述第一显示屏中输出的
信息。所述第一处理电路还用于将所述渲染的信息发送至所述第一显示屏,用于在所述第
一显示屏上输出所述渲染的信息。所述第二处理电路用于从所述主单元接收所述同步信
号。此外,所述第二处理电路用于基于所述接收的同步信号来渲染要在所述第二显示屏中
输出的信息。所述第二处理电路还用于将所述渲染的信息发送至所述第二显示屏,用于在
所述第二显示屏上输出所述渲染的信息。
间使用基于多线的重型连接。在先前已知的方案中,所述处理电路与所述显示屏之间的这
些连接包括用于每个连接的大约40至50根铜线,重量和体积都相当大。因此,提供了更大的
设计自由度,使得可穿戴式设备的结构对于用户来说穿戴起来舒适、方便和漂亮大方。
要低功耗,使得可以使用一节或多节较轻的电池,从而进一步减轻所述可穿戴式设备的重
量,同时提供进一步的设计自由度。此外,由于只需要交换非常少的信息,因此数据传输仅
需较短时间,这使得能够实现低时延,同时减少主显示屏和从显示屏上显示的图像之间的
视差问题。由此实现更佳用户体验。
信号发送至所述从单元。
低了对所述电池的要求。然后可以使用更小/更轻的电池,从而实现一种更轻便的可穿戴式
设备。
送至所述从单元。
送至所述从单元。
括全局时间参考和传感器数据的同步信号。
符合人体工程学的优点。可替代地,可以延长电池充电间隔,从而提高用户有用性。
的任一个。
以包括显示屏和处理电路。
用于从不同于所述第一角度的第二角度渲染所述三维信息,以便在所述第一显示屏和第二
显示屏处为用户实现立体效果。
减轻重量并提高灵活性。
从单元之间必须传送较少信息,例如仅传送三维空间中相机的状况和位置信息。因此,促进
了低带宽内容同步。
布置确保与所述用户的相应眼睛位置相关联。
包括第一显示屏和第一处理电路,所述从单元包括第二显示屏和第二处理电路。所述方法
旨在在所述第一显示屏和所述第二显示屏中输出信息。所述方法包括:由所述第一处理电
路从所述主单元中包括的传感器获取至少一个传感器信号。此外,所述方法还包括:由所述
第一处理电路基于所述获取的传感器信号生成同步信号。同样,所述方法还包括:将所述生
成的同步信号从所述第一处理电路发送至所述第二处理电路。所述方法还包括:基于所述
同步信号,渲染要在所述主单元处的所述第一显示屏和所述从单元处的所述第二显示屏中
输出的信息。所述方法还包括:根据所述发送的同步信号,分别在所述第一显示屏和所述第
二显示屏上输出所述渲染的信息。
电路发送至所述从单元。
发送至所述从单元。
发送至所述从单元。
步信号。
仪、加速度计和/或磁力计中的至少一个生成的传感器信号。
至多个从单元,其中每个从单元可以包括显示屏和处理电路。
同于所述第一角度的第二角度渲染所述三维信息,以便在所述第一显示屏和第二显示屏处
为用户实现立体效果。
与所述用户的相应眼睛位置相关联。
方法。
附图说明
具体实施方式
所提出的示例;实际上,提供了这些实施例的说明性示例使得本发明将变得透彻且完整。
求。进一步地,附图不一定按照比例绘制,除非另有说明,否则它们仅仅是对结构和流程的
概念性说明。
屏,所述渲染的相应3D图像经同步处理并且相对于彼此略微移位,以便实现3D效果。
的40至50根导线)连接至所述通用处理器。因此,所述处理器可以渲染和同步要输出给所述
用户的所述图像。然而,具有到每个显示屏的多个连接的传统耳机结构对可穿戴式耳机的
设计提出了严格的限制。这导致所述可穿戴式设备看起来不仅丑陋而且笨重。正如某些时
候佩戴任何任意类型眼镜的大多数人所知,重量略微增加都会给用户带来相当大的不适感
觉,长时间佩戴时尤为如此。立体AR/VR眼镜通常太重,以致于当所述用户佩戴任何相当长
的时间时,会对所述用户造成人体工程学危险。它们通常也较为笨拙,会限制所述用户的身
体运动。
以称为智能眼镜、可穿戴式计算机眼镜、智能隐形眼镜、智能双目镜、面罩、智能护目镜、太
阳镜、潜水镜、焊接面罩等。
单元201还包括一个或多个传感器,例如陀螺仪250、加速度计260和/或磁力计270。在增强
现实实现方式中,所述第一显示屏210和所述第二显示屏220可以包括例如光学头戴式显示
屏(Optical Head‑Mounted Display,简称OHMD),它是一种可穿戴式设备,具有反射投影图
像以及允许所述用户通过它进行观看的能力。在一些其它实施例中,所述显示屏210、220可
以包括具有透明平视显示屏(Heads‑Up Display,简称HUD)或AR覆盖层的嵌入式无线眼镜,
它具有反射投影的数字图像以及允许所述用户通过它进行观看的能力,或者借助它甚至可
以更好地观看(通过添加矫正镜头和/或遮阳罩等)。
(Application Specific Integrated Circuit,简称ASIC)、微处理器或其它可以解释和执
行指令的处理逻辑中的一个或多个实例。因此,本文中所使用的“处理电路”可以表示多个
处理电路,例如上述列举的任一、部分或所有的处理电路。
290可以包括集成电路,所述集成电路包括硅晶体管。进一步地,所述存储器280、290可以是
易失性或非易失性的。
息。在一些实施例中,当所述可穿戴式设备200专用于VR时,所述三维信息可以包括VR宇宙。
所述VR宇宙例如可以包括房间、建筑物或其它结构,当使用所述可穿戴式设备200时,用户
可以在其中“四处移动”。
与所述用户所处的用户感知的现实世界的对象或地理位置相关联。AR信息的一些任意示例
可以是图形、文本、文档、图像、视频和/或各种传感器数据,例如时间、温度等,具体取决于
所述可穿戴式设备200的应用。在施工现场使用所述可穿戴式设备200的情况下,所述AR信
息可以包括蓝图、图纸、施工规范等,根据所述用户的瞬时视野和位置(或者实际上是所述
可穿戴式设备200),与所述特定施工现场相关。
储器290(位于所述从单元202中)中。
节或多节叫较小/较轻的电池,从而进一步减轻所述可穿戴式设备的重量,同时提供进一步
的设计自由度。此外,由于只需要在所述主单元201与所述从单元202之间交换非常少的信
息,因此数据传输仅需较短时间,这使得能够实现低时延,同时减少主显示屏和从显示屏上
显示的图像之间的视差问题。由此实现更佳用户体验。
可以包括全局时间参考,用于在时间上使所述第一处理电路230与所述第二处理电路240同
步。
201中的一个或多个传感器生成的传感器信号,使得所述第一处理电路230和所述第二处理
电路240能够确定存储在所述相应存储器280、290中的三维世界的片段。因此,所述传感器
信号可以包括例如笛卡尔坐标系中的三个正交坐标(用于确定所述用户/可穿戴式设备200
的位置)、用于确定所述可穿戴式设备200的方向的传感器信号和用于确定所述可穿戴式设
备200的横向和/或水平倾斜的传感器信号。在所述存储的AR/VR宇宙受限的情况下,例如,
始终假设所述用户在使用所述可穿戴式设备200时站立,高度坐标可以设置为恒定值,因此
不必是所述同步信号的一部分(仅是任意非限制性示例,所述空间位置参考可以产生相同
结果的多种不同方式来实现,具体取决于实现方式)。
以由所述相应的处理电路230、240渲染,由所述相应的显示屏210、220输出,以实现所述用
户感知的立体效果。在一些实施例中,所述主单元201与所述从单元202的呈现角度之间的
差值可以是预先确定的和恒定的,用于产生所述渲染图像的立体效果。
置。这些位置差异称为水平视差,或者更普遍地称为双目视差。在大脑视觉皮层中处理视差
以产生深度感知。尽管当用两只眼睛观看现实世界的三维场景时,双目视差自然地存在,但
它们也可以通过使用在一些实施例中可以应用的称为立体视觉的方法,在所述相应的显示
屏210、220上将两个不同的图像分别人工输出到所述用户的每只眼睛进行模拟。所述输出
信息/图像中的所述深度感知也可以称为“立体视觉深度”。
将有助于无线同步,还将导致低功耗。然而,在不同的可替代实施例中,可以使用有线或无
线高带宽链路。
耗,从而可以使用较小/较轻的电源,例如一节或多节电池。因此,可以减少所述可穿戴式设
备200的总重量,从而为所述用户带来人机工程学优点。结合专注于用户人机工程学的设计
和/或极具吸引力的设计减轻重量是提高所述可穿戴式设备200的日常或长期可穿戴性的
关键问题。
自电池或电池组。在其它实施例中,所述主单元201和所述从单元202可以共享所述相同的
电池或电池组。
称NFC)、射频识别(Radio‑Frequency Identification,简称RFID)、Z‑wave、ZigBee、基于
IPv6的低速无线个域网标准(IPv6over Low power Wireless Personal Area Networks,
简称6LoWPAN)、无线高速公路可寻址远程传感器(Highway Addressable Remote
Transducer,简称HART)协议、无线通用串行总线(Universal Serial Bus,简称USB)、诸如
国际红外数据协会(Infrared Data Association,简称IrDA)之类的光通信以及诸如LoRa
等的低功耗广域网络(Low Power Wide Area Network,简称LPWAN);在一些不同的实施例
中,仅举出无线通信的几个可能的示例。
述从单元202中的无线接收器)进行的无线通信的优点在于,不需要连接电缆,同样减轻了
一些重量,但是在设计所述可穿戴式设备200时,可能更重要的是提供了更大的自由度。由
于所述无线通信,所述处理电路230、240可以例如定位在距离所述相应的显示屏210、220几
厘米/分米的位置;可以不必包括在与所述显示屏210、220相同的物理实体中(尽管包括在
如图2所示的相同的逻辑实体中)。在所述可穿戴式设备200包括头盔、帽子或其它类似头帽
的情况下,所述处理电路230、240可以包括在例如所述头帽的背部或顶部,在一些可替代实
施例中,其可以提供设计优点和/或人机工程学优点。
(Access bus,简称A.b)、视频电子标准协会(Video Electronics Standards
Association,简称VESA)显示数据信道(Display Data Channel,简称DDC)接口、系统管理
总线(System Management Bus,简称SMBus)、电源管理总线(Power Management Bus,简称
PMBus)、智能平台管理总线(Intelligent Platform Management Bus,简称IPMB)、双线接
口(Two‑Wire Interface,简称TWI)和双线串行接口(Two‑Wire Serial Interface,简称
TWSI)等。所述有线低带宽连接使用2到3条电线。所述有线连接可以具有提供稳定连接的优
点,不需要例如在蓝牙连接的情况下可能需要的配对和绑定过程。此外,有线连接还可以比
无线连接更安全,因为至少一些无线通信协议(例如,蓝牙)可能具有各种安全攻击(例如,
蓝牙劫持、蓝牙漏洞攻击和/或蓝牙窃听)的弱点。
实现低功耗以及低带宽通信,在一些实施例中,可以仅同步所述设备位置和全局时间信号。
例如所述陀螺仪250、所述加速度计260和/或所述磁力计270,以在3D世界中放置和旋转相
机。诸如相机位置、旋转和动画同步信号之类的信息可以发送到所述从单元202,所述从单
元202使用此数据在所述第二显示屏220处渲染所述相同场景,如由所述第一处理电路230
在所述第一显示屏210处所渲染的。因此,所述从单元202可以不包括自身的任何传感器;或
者至少不使用自身的任何传感器数据。因此,所述主单元201和所述从单元202可以渲染所
述相同的场景,可能以不同视角输出以产生所述用户的立体视图效果,而不会遇到例如传
感器在所述相应的单元201、202之间漂移的任何问题。
玻璃”框架,因为不需要使用电缆在模块之间物理路由高带宽视频链路。此外,低功耗节省
了电池,从而进一步减轻了所述可穿戴式设备200的重量。由此,实现了一种方便、舒适的可
穿戴式设备200,所述用户可毫不费力地、连续地或长时间地携带。
用户将能够较长时间携带所述可穿戴式设备200且鲜少感到不适;在一些实施例中,可以每
天使用所述可穿戴式设备200。
据。此外,要渲染的三维信息可以包括在所述主单元201的所述第一存储器280和所述从单
元202的所述第二存储器290中,从而使得必须在所述主单元201与所述从单元202之间传输
较少信息,继而实现低时延。所述同步信号的目的在于同步分别在所述第一显示屏210和所
述第二显示屏220上执行的所述渲染的信息的所述输出。
堆叠。在一些实施例中,所述堆叠的显示屏可以完全或部分透明。由此,可以产生增强的三
维效果。
旋转和动画同步参考等中的任何一个,在后续步骤402中将它们连同将由所述从单元202接
收的全局时间参考信号一起发送。所述全局时间参考信号可以由所述主单元201的时间测
量设备生成。发送所述数据之后,在步骤403A中,所述主单元201可以基于所述传感器数据
来渲染所述图像并将其输出到所述第一显示屏210上。当所述从单元202接收到包括所述传
感器数据的所述同步信号时,它还将基于所述同步信号在步骤403B中在所述第二显示屏
220上渲染所述图像。由于数据量非常小,因此所述数据的数据传输花费的时间较短,这使
得能够实现低时延并减少在所述主单元201的所述第一显示屏210和所述从单元202的所述
第二显示屏220上显示的所述图像之间的视差问题。
0,1ms,从而实现低带宽的低时延(因此实现低功率使用率)。
一处理电路230,所述从单元202包括第二显示屏220和第二处理电路240,用于在所述第一
显示屏和第二显示屏210、220中输出信息。
述输出信息可以包括虚拟现实信息。例如,所述要渲染的三维信息可以包括在所述主单元
201和所述从单元202中,例如以便在所述第一显示屏和第二显示屏210、220处为用户实现
立体效果。
保与所述用户的相应眼睛位置相关联。
照与所列举的顺序有所不同的时间顺序执行,可以根据不同的实施例同时执行甚至以完全
相反的顺序执行。一些动作可以只在部分实施例中执行,不一定在所有实施例中执行。进一
步地,需要注意的是,根据不同的实施例,一些动作可以在多个替代方式中执行,这些替代
方式可以只在部分实施例中执行,不一定在所有实施例中执行。
输出信息。所述方法600可以包括以下步骤:
等。
处理电路230以及随后的所述从设备202中的所述第二处理电路240能够将所述设备200正
确地定位在所述三维世界中,所述三维世界经渲染并输出到所述相应的显示屏210、220上。
因此,所述传感器数据包括使得能够确定要输出的信息的空间参考。
电路240能够确定存储在所述第二存储器290中的所述信息的哪个子集要在所述第二显示
屏220上输出,在位置上与要在所述主设备201的所述第一显示屏210上输出的所述信息同
步。
在时间上同步,从而当所述可穿戴式设备200发生移位时,提供所述用户在所述三维AR/VR
宇宙中四处移动的幻觉。
号。在又一些实施例中,所述同步信号可以包括加速度计和陀螺仪值以及所述全局时间参
考。
下,每16ms);2.1Mbit/s或类似值等))发送至所述从单元202。在一些实施例中,所述低带宽
连接可以包括无线通信接口;或者可替代地,可以包括有线通信接口。
示屏210、220渲染的所述信息在时间和空间上同步。
一角度的第二角度渲染的所述三维信息,以便在一些实施例中在所述第一显示屏和第二显
示屏210、220处为用户实现立体效果。因此,所述渲染的相应三维信息可以形成相对于彼此
略微移位的立体图像对,用于产生或增强所述用户所感知的所述图像中的深度的幻觉。
之间传输较少信息,继而实现低时延。
序产品来实现要在所述可穿戴式设备200中执行的前述方法步骤601至605的至少一个子
集。因此,当计算机程序加载到所述处理电路230、240中时,包括用于执行所述方法步骤601
至605的指令的计算机程序产品可以在所述第一显示屏和第二显示屏210、220中输出信息。
执行方法步骤601至605中的至少一些动作。所述数据载体可为,例如,硬盘、CD ROM光盘、存
储棒、光储存装置、磁储存装置或任何其它合适的介质,如可以非暂时性方式中保存机器可
读数据的磁盘或磁带。此外,所述计算机程序产品可进一步用作服务器上的计算机程序代
码并且可远程下载至所述可穿戴式设备200,例如,通过互联网或企业内部网连接。
下,可进行各种变更、替代和/或更改。
而不是数学上的异或(exclusive OR,简称XOR)。此外,单数形式“一”和“所述”解释为“至少
一个”,因此还包括多个,除非另外明确地陈述。应进一步了解,术语“包括”用于说明存在所
述特征、动作、整体、步骤、操作、元件和/或部件,但并不排除存在或添加一个或多个其它特
征、动作、整体、步骤、操作、元件、部件和/或它们的组合。单个单元例如处理器可以实现权
利要求中列举的若干项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中
这个单纯的事实并不意味着这些措施的结合不能被有效地使用。计算机程序可存储或分发
到合适的介质上,例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固
态介质,还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。