用于创造定制产品的方法和系统转让专利

申请号 : CN201480056330.0

文献号 : CN105637512B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 蒂莫西·A·方特埃里克·J·瓦劳迪

申请人 : 贝斯普客公司

摘要 :

本发明公开了用于无需完全使用现成的或预先指定的部件而从头开始创造完全定制的产品的系统和方法。一种用于创造定制产品的系统包含用于捕获用户的图像数据和/或测量数据的图像捕获装置。计算机与所述图像捕获装置以通信方式耦接,并且配置成基于所捕获到的图像数据和/或测量数据来构建用户的解剖模型。所述计算机提供可配置的产品模型,并且使得能够预览和自动或者指导用户定制所述产品模型。显示器与所述计算机以通信方式耦接,并且显示叠加在所述用户的解剖模型或图像数据上的定制产品模型。

权利要求 :

1.一种用于生成用户特有的眼镜产品的模型的系统,所述系统包括:眼镜制造装置,其根据一个或更多个指令来制造所述用户特有的眼镜产品;以及计算机,其包括数据存储装置和处理器,所述数据存储装置存储用于创建所述用户特有的眼镜产品的所述模型的指令,所述处理器配置成执行所述一个或更多个指令以使得所述计算机配置成执行包括以下操作的方法:接收用户的解剖结构的图像数据和/或测量数据;

使用所述用户的解剖结构的所述接收到的图像数据和/或测量数据量化所述用户的解剖特征的至少表面或轮廓;

获得一般化的三维解剖模型;

基于所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓来修改所述一般化的三维解剖模型,以获得所述用户的解剖模型;

接收眼镜产品的可配置的参数模型,所述眼镜产品的所述可配置的参数模型包括限定所述眼镜产品的至少镜框的三维几何形状的一个或更多个几何参数;

通过修改所述眼镜产品的所述可配置的参数模型的所述一个或更多个几何参数,将所述可配置的参数模型的表面或轮廓成形,以紧靠所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓;

确定或接收关于所述眼镜产品的所述可配置的参数模型的所述成形的表面或轮廓的一个或更多个参数约束,并且在修改所述眼镜产品的所述可配置的参数模型的所述一个或更多个几何参数期间维持所述一个或更多个参数约束;

创建所述眼镜产品的包含所述眼镜产品的所述可配置的参数模型的所述修改后的一个或更多个几何参数的经过更新的参数模型;以及生成用于基于所述经过更新的参数模型来制造所述眼镜产品的所述用户特有的版本的所述一个或更多个指令。

2.根据权利要求1所述的系统,其中修改所述一般化的三维解剖模型以获得所述用户的所述解剖模型包含使所述一般化的三维解剖模型的表面变形。

3.根据权利要求1所述的系统,其中所述一个或更多个参数约束包含产品形状、产品大小、产品长度、产品宽度、产品高度、产品厚度、产品半径或其范围或公差;或者与下面各项中的一项或更多项有关的尺寸、点、线或面:所述用户的鼻子、所述用户的面部、所述产品的鼻托、所述产品的镜片、所述产品的镜腿、所述产品的固定子部件、所述产品的所选择的紧固件、所述产品的所选择的铰链和/或所述产品的鼻梁架。

4.根据权利要求1所述的系统,其中所述处理器还配置成用于:

从所述用户接收输入,所述输入包含对所述一个或更多个几何参数或者所述可配置的参数模型的表示的位置中的一个或更多个的修改;以及进一步基于所述输入来修改所述经过更新的参数模型。

5.根据权利要求4所述的系统,其中所述处理器还配置成用于:

根据基于所述输入对所述经过更新的参数模型的所述进一步的修改,更新所述经过更新的参数模型在与所述用户相关联的图像信息或所述用户的所述解剖模型上的显示。

6.根据权利要求1所述的系统,其中所述处理器还配置成用于:

确定所述可配置的参数模型的所述表面或所述轮廓和所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓之间的交叉点;以及基于所述确定的交叉点将所述可配置的参数模型的所述表面或所述轮廓成形,以匹配所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓。

7.根据权利要求1所述的系统,其中所述获得所述用户的所述解剖模型包含通过以下操作分析所述图像数据:检测所述用户的面部作为所述用户的所述解剖特征,确定所述面部的姿势,检测所述用户的面部特征,以及将所述解剖模型与所述检测到的面部特征和图像数据配合。

8.根据权利要求1所述的系统,其中所述处理器还配置成用于:

比较所述解剖模型的测量值与所述可配置的参数模型的对应测量值;以及基于所述比较来修改所述可配置的参数模型的所述几何参数中的一个或更多个,以创建所述产品的所述经过更新的参数模型。

9.根据权利要求8所述的系统,其中所述解剖模型的所述测量值或所述可配置的参数模型的所述对应测量值包含下面中的一个或更多个:眼镜的宽度相对于所述用户的所述解剖特征的至少一部分的宽度,鼻托之间的距离相对于所述用户的所述解剖特征的至少一部分的宽度,鼻托角度相对于所述用户的所述解剖特征的至少一部分的角度,鼻托形状相对于所述用户的所述解剖特征的至少一部分的形状,鼻托大小相对于所述用户的所述解剖特征的至少一部分的大小,所述可配置的参数模型的至少一部分的长度相对于所述用户的解剖特征之间的长度,所述可配置的参数模型的高度相对于所述用户的所述解剖特征的一部分的高度,所述用户的所述解剖特征上的参考点相对于所述用户的所述解剖特征上的一个或更多个其它参考点的高度,所述可配置的参数模型的特征之间的距离相对于所述用户的所述解剖特征的一部分的特征,从与所述可配置的参数模型相关联的镜片的表面到所述用户的所述解剖特征的表面的顶点距离,所述用户的所述解剖特征的一部分相对于所述可配置的参数模型的角度,以及所述可配置的参数模型的包裹角度相对于所述用户的所述解剖特征的曲率。

10.根据权利要求1所述的系统,其中所述处理器还配置成用于:

将所述解剖模型与所述可配置的参数模型对准,以确定所述解剖模型和所述可配置的参数模型之间的测量值;以及修改所述可配置的参数模型的所述几何参数中的一个或更多个,以减小所述解剖模型和所述可配置的参数模型之间的所述测量值,以创建所述经过更新的参数模型。

11.根据权利要求1所述的系统,其中所述处理器还配置成用于:

接收一个或更多个用户偏好;以及

基于所述一个或更多个用户偏好来创建所述产品的所述经过更新的参数模型。

12.根据权利要求1所述的系统,其中所述处理器还配置成用于:

接收与相对于从所述解剖模型推导的一个或更多个几何特征的所述一个或更多个几何参数相关联的一个或更多个默认度量;以及修改所述可配置的参数模型的所述一个或更多个几何参数中的一个或更多个,以基于所述接收到的一个或更多个默认度量来创建所述经过更新的参数模型。

13.根据权利要求1所述的系统,其中所述处理器还配置成用于:

接收输入,所述输入包括所述可配置的参数模型上的点的移动;以及

基于所述可配置的参数模型上的所述点的所述移动来创建所述经过更新的可配置的参数模型。

14.根据权利要求1所述的系统,其中所述处理器还配置成用于:

基于所述用户的解剖结构的所述接收到的图像数据和/或测量数据来确定所述用户的眼睛的位置;

确定一个或更多个光学参数,以便创建与所述用户的眼睛的所述确定的位置相关联的镜片;以及基于所述确定的光学参数来创建所述眼镜产品的所述经过更新的参数模型。

15.一种用于创建用户特有的眼镜产品的模型的方法,其包括:

接收用户的解剖结构的图像数据和/或测量数据;

使用所述用户的解剖结构的所述接收到的图像数据和/或测量数据量化所述用户的解剖特征的至少表面或轮廓;

获得一般化的三维解剖模型;

基于所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓来修改所述一般化的三维解剖模型,以获得所述用户的解剖模型;

接收眼镜产品的可配置的参数模型,所述眼镜产品的所述可配置的参数模型包括限定所述眼镜产品的至少镜框的三维几何形状的一个或更多个几何参数;

通过修改所述眼镜产品的所述可配置的参数模型的所述一个或更多个几何参数,将所述可配置的参数模型的表面或轮廓成形,以紧靠所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓;

确定或接收关于所述眼镜产品的所述可配置的参数模型的所述成形的表面或轮廓的一个或更多个参数约束,并且在修改所述眼镜产品的所述可配置的参数模型的所述一个或更多个几何参数期间维持所述一个或更多个参数约束;

创建所述眼镜产品的包含所述眼镜产品的所述可配置的参数模型的所述修改后的一个或更多个几何参数的经过更新的参数模型;

生成用于基于所述经过更新的参数模型来制造所述眼镜产品的所述用户特有的版本的一个或更多个指令;以及基于所述一个或更多个指令来制造所述用户特有的眼镜产品。

16.根据权利要求15所述的方法,其还包括:

使所述一般化的三维解剖模型的表面变形,以获得所述用户的所述解剖模型。

17.根据权利要求15所述的方法,其中所述一个或更多个参数约束包含产品形状、产品大小、产品长度、产品宽度、产品高度、产品厚度、产品半径或其范围或公差;或者与下面各项中的一项或更多项有关的尺寸、点、线或面:所述用户的鼻子、所述用户的面部、所述产品的鼻托、所述产品的镜片、所述产品的镜腿、所述产品的固定子部件、所述产品的所选择的紧固件、所述产品的所选择的铰链和/或所述产品的鼻梁架。

18.根据权利要求15所述的方法,其还包括:

从所述用户接收输入,所述输入包含对所述一个或更多个几何参数或者所述可配置的参数模型的表示的位置中的一个或更多个的修改;以及进一步基于所述输入来修改所述经过更新的参数模型。

19.根据权利要求18所述的方法,其还包括:

根据基于所述输入对所述经过更新的参数模型的所述进一步的修改,更新所述经过更新的参数模型在与所述用户相关联的图像信息或所述用户的所述解剖模型上的显示。

20.根据权利要求15所述的方法,其还包括:

确定所述可配置的参数模型的所述表面或所述轮廓和所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓之间的交叉点;以及基于所述确定的交叉点将所述可配置的参数模型的所述表面或所述轮廓成形,以匹配所述用户的所述解剖特征的所述量化的表面或所述量化的轮廓。

21.根据权利要求15所述的方法,所述获得所述用户的所述解剖模型的步骤还包括通过以下操作来分析所述图像数据:检测所述用户的面部作为所述用户的所述解剖特征,确定所述面部的姿势,检测所述用户的面部特征,以及将所述解剖模型与所述检测到的面部特征和图像数据配合。

22.根据权利要求15所述的方法,其还包括:

比较所述解剖模型的测量值与所述可配置的参数模型的对应测量值;以及基于所述比较来修改所述可配置的参数模型的所述几何参数中的一个或更多个,以创建所述产品的所述经过更新的参数模型。

23.根据权利要求22所述的方法,其中所述解剖模型的所述测量值或所述可配置的参数模型的所述对应测量值包含下面中的一个或更多个:眼镜的宽度相对于所述用户的所述解剖特征的至少一部分的宽度,鼻托之间的距离相对于所述用户的所述解剖特征的至少一部分的宽度,鼻托角度相对于所述用户的所述解剖特征的至少一部分的角度,鼻托形状相对于所述用户的所述解剖特征的至少一部分的形状,鼻托大小相对于所述用户的所述解剖特征的至少一部分的大小,所述可配置的参数模型的至少一部分的长度相对于所述用户的解剖特征之间的长度,所述可配置的参数模型的高度相对于所述用户的所述解剖特征的一部分的高度,所述用户的所述解剖特征上的参考点相对于所述用户的所述解剖特征上的一个或更多个其它参考点的高度,所述可配置的参数模型的特征之间的距离相对于所述用户的所述解剖特征的一部分的特征,从与所述可配置的参数模型相关联的镜片的表面到所述用户的所述解剖特征的表面的顶点距离,所述用户的所述解剖特征的一部分相对于所述可配置的参数模型的角度,以及所述可配置的参数模型的包裹角度相对于所述用户的所述解剖特征的曲率。

24.根据权利要求15所述的方法,其还包括:

将所述解剖模型与所述可配置的参数模型对准,以确定所述解剖模型和所述可配置的参数模型之间的测量值;以及修改所述可配置的参数模型的所述几何参数中的一个或更多个,以减小所述解剖模型和所述可配置的参数模型之间的所述测量值,以创建所述经过更新的参数模型。

25.根据权利要求15所述的方法,其还包括:

接收一个或更多个用户偏好;以及

基于所述一个或更多个用户偏好来创建所述产品的所述经过更新的参数模型。

26.根据权利要求15所述的方法,其还包括:

接收与相对于从所述解剖模型推导的一个或更多个几何特征的所述一个或更多个几何参数相关联的一个或更多个默认度量;以及修改所述可配置的参数模型的所述一个或更多个几何参数中的一个或更多个,以基于所述接收到的一个或更多个默认度量来创建所述经过更新的参数模型。

27.根据权利要求15所述的方法,其还包括:

接收输入,所述输入包括所述可配置的参数模型上的点的移动;以及

基于所述可配置的参数模型上的所述点的所述移动来创建所述经过更新的可配置的参数模型。

28.根据权利要求15所述的方法,其还包括:

基于所述用户的解剖结构的所述接收到的图像数据和/或测量数据来确定所述用户的眼睛的位置;

确定一个或更多个光学参数,以便创建与所述用户的眼睛的所述确定的位置相关联的镜片;以及基于所述确定的光学参数来创建所述眼镜产品的所述经过更新的参数模型。

说明书 :

用于创造定制产品的方法和系统

[0001] 本发明涉及按照需求从头开始创造、制造和交付领先(one-up)的定制产品。更尤其是,本发明按照需求创造、制造和交付定制的个人产品,其最适合于个体用户的需要和偏好,这是通过从根据自动的和/或用户指导的用户特有的偏好简档而生成的规格构建产品,和通过基于所述简档构建独特的领先的定制产品来实现。
[0002] 虽然有许多种个人产品可能都有人想要定制或是制造成根据特定用户特制的独一无二的产品,但是这些个人产品中的重要的一种是眼镜。虽然将结合创造、生产和交付定制眼镜说明本发明,但是应当领会的是,本发明涉及创造、生产和交付多种多样的涉及到用户的解剖或身体特性以及用户对于特定产品的偏好的产品。鉴于上述内容,应当领会的是,在创造、生产和交付眼镜方面描述本发明与创造、生产和交付根据用户的特征和期望定制的多种多样的产品有大量的类似性。因此下文是在眼镜方面描述本发明,但是应当理解,本发明不限于此。
[0003] 虽然许多人必须购买眼镜,但是购买眼镜给消费者带来许多难题。对于传统的店内购买,消费者面临的店内选择是有限的,所以往往需要去多家商店。然而,用户必须研究一系列难以处理的选项,以在配合度、式样、颜色、形状、价格等等之间找到折衷。眼镜一般是批量生产的,特定式样的眼镜只有一种或两种通用的颜色和大小。用户的面部都是足够独特的,面部甚至都能用作主要的识别形式,但用户却必须在针对并非自己的面部而是一般的面部制造的产品之间作出选择。用户很难找到对于他们独特的品位、面部解剖结构和需求而言理想的一副眼镜。用户往往还难以想象他们尝试的是什么样的眼镜,因为他们首先需要光学处方。
[0004] 近年来,新生企业开拓了在线眼镜市场,试图解决这些难题中的一些。然而,商业上可用的眼镜选择系统中都未试图提供根据用户解剖特征以及用户的喜恶定制的完全独特的领先的从头开始设计的产品。因此需要向用户提供一种完全可定制的领先的产品,它不是仅仅依赖于先前设计的现成的批量生产的或储存的部件。关键部件的基础形态、大小、形状或其它属性必须定制,以便为用户提供真正独特和定制的产品。一旦能够获得用户的图像数据,于是期望分析用户的面部并对用户的面部进行关键测量,确定用户的偏好,并且按照需求制造定制的一副眼镜。
[0005] 当然期望这个过程尽可能是自动的,而且这个过程能给予用户他或她所见过的最完美的独一无二的一副眼镜。如果能用相对快捷的方式达到这个目的,那么就能向用户提供一副快速的独特的按照需求制造的眼镜。
[0006] 更尤其是,在线市场正在迅猛发展,但是对于消费者而言仍然有许多的问题。消费者很难在线购物时试戴眼镜。在线网站虽然比店内的选择更多,但是消费者往往面对的是无数页面的眼镜要从中作出选择。眼镜的质量往往是未知的,而消费者甚至更关心的是他们的新眼镜是否正确地配合,且是否舒适,因为在购买之前,他们不能实际拿到眼镜或是看到眼镜。
[0007] 显然需要一种购物体验,能得到独特的订做的产品,产品的材料和设计是高质量的,对于从头开始制造的独特的领先的物品而言,价格在用户看来是合理的并且能买得起的,并且需要一种更容易并且更定制的体验来创造和购买个人的完美产品,在这种情况下,是一副眼镜。
[0008] 多年来,现有技术中已经论述了虚拟试穿衣物(包含眼镜)的概念。下面列出的专利全都涉及预览系统,但是都不涉及提供一种从头开始设计的产品,而是依赖于特定物品的事先制造好的部件。
[0009] 例如,Spackova在US 4,539,585中描述了一种计算机系统,用于在一张图像中查看穿在人身上的衣物。Mori的US 4,730,260和Ninomiya等人的US 4,845,641描述了用于在图像中人身上虚拟地覆盖眼镜的计算机系统。Jordan的US 5,280,570描述了一种系统,需要用户到商店里面虚拟试戴眼镜,从而现实中渲染他们的眼睛在戴上眼镜后将是什么样子。Norton的US 5,592,248描述了多种在人的面部的图像上覆盖虚拟的眼镜图像以预览外表的方法。Faye的US 5,983,201描述了一种系统,用于让用户在他们的个人计算机上虚拟地试戴各种眼镜,方法是通过连接到在线商店、基于用户偏好和尺寸选择一子组的眼镜,并且允许用户购买镜框。Gao的US 6,095,650描述了另一种系统,用于捕获图像并显示叠加在用户的图像上的眼镜,包含按比例缩放图像和检测瞳孔以确定镜框的中心。Saigo的US 6,142,628描述了另一种试戴系统,它除了镜框之外还包含镜片选择和镜片形状显示。
Waupotitsh的US 7,016,824描述了一种眼镜预览系统,它使用由用户提供的3D面部模型将眼镜模型覆盖在这个面部模型上。Abitbol的US 6,692,127描述了一种眼镜试戴系统,它需要广角相机来获得3D模型。Foley的US 6,535,223描述了一种系统,用于基于包含已知比例的对象的人的面部的图像来确定瞳距,以及叠加预览眼镜和允许下订单。
[0010] 所有前述的现有技术都研究了各种方式预览被叠加在人的图像上的眼镜,但是这些现有技术都不是从头开始按照需求创造、组装和交付独特的独一无二的产品的系统。这些现有技术也无法允许预览并非先前批量生产的新的定制眼镜。这些现有技术也不会使用用户特有的信息针对用户改进眼镜。简而言之,这些现有技术并未使用按照需求从头开始提供独一无二的产品的系统来定制、调适、修改、实施或创造诸如眼镜之类的新产品。而且,所有上述技术都依赖于预览叠加在人的图像上的眼镜。
[0011] 另一方面,Fujie的US 5,576,778描述了一种基于人的面部尺寸来设计眼镜的系统。应当注意的是,Fujie限于控制从面部图像数据中提取的贝塞尔曲线(Bezier curve)上的各种锚点来实现设计。然而,这些锚点或个体对锚点的控制的规范是技术性的,而且颇为困难,因为是使用用户的语言来控制这些点以控制形状,所以技术性更高且更加困难。而且,Fujie限于具体地发送基于贝塞尔曲线的极坐标到机床。这对于用户来说过于复杂了,而且单凭用户的语言可能并不适合作为仅有的控制方式。
[0012] Soatto的US 6,944,327描述了一种基于用户面部的预览图像来定制眼镜的系统。然而,Soatto并未考虑到自动生成的用户偏好。Soatto并未描述按照需求的端对端过程,而且并未描述能够实际上制造眼镜的完整系统。而且,Soatto方法限于特定的相机,只有正面面部图像,并且使用生成面部的二维模板的方法来确定大小。将预览仅限于正面图像,未包括关于镜腿的用于确保用户的良好预览和舒适度的关键的大小确定信息。而且,大多数计算机系统没有多镜头相机方便地可供使用。请注意,调整只是通过控制点进行的,而周缘大小维持不变,其应用范围是有限的-不同的用户显然会需要不同的大小。应当领会的是,描述面部的3D模型的方法需要两个或更多个相机,大多数用户一般是没有的。
[0013] Izumitani的US 6,533,418描述了一种基于叠加在用户面部上的图像预览订做眼镜的系统。然而,这份专利只论述了改变镜片形状、镜框类型、镜框零件和颜色。它并未解释改变镜框形状,而是只是更换一些零件,或是将镜框的式样从无边改成有边,当用户想要完全定制眼镜时,其局限性很大。而且,这份专利并未描述根据用户的面部确定镜框大小或是帮助选择最佳镜框的自动的算法。相反,它是使用类似于定制订单目录之类的手动系统,其中有许多可供选择的可更换零件,这可能对于眼镜消费者而言太繁多或太复杂。另外,所描述的预览系统只示出了用户戴上眼镜的正面和侧面肖像,没有交互式视图、3D视图或视频,而且不会自动测量面部的尺寸。而且,用户必需进行辅助或输入信息才能获得适当的测量值。最后,虽然该专利描述制造眼镜,但是它并未清楚地描述可以如何实际上制造订做的眼镜。
[0014] Warden的US 7,845,797描述了一种制造定制眼镜的方法,它使用设有多个相机和照明源的系统中的正面图像和侧面图像。所述方法在确定最佳镜片位置之前,需要捕获眼镜戴在用户面部上和未戴在用户面部上的图像。这种方法颇有局限性,因为它需要用户已经实际上拥有他期望的眼镜,而且它假设用户只想改进镜片在后面一副镜框中的方位。简而言之,这并不是按照需求从头开始然后创造、设计、组装和交付定制产品的端对端系统。
[0015] 为了满足一般消费者的需求,必然需要一种能够提供可信且愉快的购物体验的容易使用的方法和系统。系统必须能够配合一般消费者可用的计算机硬件和图像捕获设备工作,这样就将最低硬件限于单镜头数码相机,该相机是独立的或是嵌入在计算机系统中,不具有深度或距离测量能力。该发明的实施方案描述了使用单相机硬件的系统还有受益于多相机或深度相机技术的系统两者,前提是这些技术可供消费者使用的形式变得更普及,或者前提是计算机系统安装在零售或办公位置。
[0016] 现有技术描述了主要针对眼镜在用户上的美观预览而设计的技术。需要更加量化的分析以实现更好的体验、定制配合、定制式样、自动化调整和推荐以及进行符合每位用户的独特解剖结构和品位的眼镜设计的总体能力。
[0017] 瞳距往往是用来确保眼镜的正确配合的唯一的测量值,而单凭这项测量值并不足以确保定制眼镜的正确的物理配合。对于先进的光学器件(诸如渐变或数字补偿或自由造型镜片)而言,尤其需要更多的信息。但是不管制作定制眼镜需要的类型和数量的面部测量值如何,都不应当要求用户手动进行测量。大部分目标用户的技术理解力仅限于遵照网络浏览器上的简单提示。消费者需要一种比现有技术中已经说明的(尤其是仅使用2D图像时)挑选和选择部分和零件或定制绘制每个细节更容易的体验。所述方法和系统必须能实现容易定制,包含如果用户期望自动推荐那么自动确定大小和式样。一般的用户应当能够获得他们期望的任何眼镜设计并且非常适合,方法是通过拥有适合他的面部的定制设计,在“所见即所得”显示中看到预览,并且能够进行改变和看到在他的面部上的效果和配合情况。
[0018] 最后,所述方法和系统必须得到可制造的产品,从而使得这种产品能以合理的费用并以可接受的交付时间生产和出售给用户。应当领会的是,如果所预览的产品最终无法以订购产品的用户满意的费用和时间范围制造出来,那么再好的预览系统也是无用的。
[0019] 因此,必然需要一种方法和系统,以允许更大程度上并且更加个性化地定制镜片和镜框、更精确地建模和预览、更自动或辅助的眼镜选择和定制、更详细的测量,以及有效且经济地生产定制眼镜以履行用户的订单的方法。
[0020] 本发明有多个重要部分。第一部分是要理解所期望的是从头开始设计的领先的定制产品,这种产品不是完全由现成的、以前设计的、量产的或储存的部件制造而成。如上文提到的,有许多系统涉及到挑选事先制作或事先制造的多个部件,然后在定制对象中将这些部件组装在一起。然而,如果有许多量产的物品,则用户就没有了他或她得到的是真正以用户的特定简档为中心的独特的一次性(one-off)的产品的感觉。由批量生产的零件制成的产品也将不会定制到适合用户的独特的解剖结构和偏好所需的期望程度。必须完全从头开始创造定制产品的至少一些部分,以便适合用户,例如将某种形式的产品制造成独特的、非批量生产的形状或尺寸。能够在用户指导下或者没有用户的指导自动地设计和更改定制产品的基本形状和形式,是优于简单地让用户浏览和组装批量生产的部件的系统的一项重要的优势。
[0021] 第二部分是如何确认个人的解剖特征,在测量解剖特征时要测量什么,以及如何在创造领先的从头开始设计的对象时利用这些解剖测量特征。
[0022] 第三部分是能够确定在一段时间中推导出的用户的简档、他的购买习惯、他的喜恶,并且能够使用所有这些喜恶和简档为用户提供建议的独特的产品。
[0023] 第四,考虑到所有以上信息,对于根据用户的解剖特征和偏好建模的产品,重要的是能够动态地制造一种独特的产品,并且在可接受的时间线内将产品交付给用户。输出的是独特的产品,用户可能会想到想要这样的产品,或者他或她可能从未想过这样的产品,但是由于导致按照需求的产品制造的工艺流程的可预测性得到。
[0024] 因此,在高层次上,本发明的系统是一种端对端系统,它使得用户能够从头开始获得完全定制的产品,而不会受到完全使用现成的、以前设计的、批量生产的或储存部件的限制。所述产品是订做的,并且最好地适合于用户的解剖结构和个人偏好。所述系统可以整合从采集关于用户的数据直到交付最终产品的步骤。这就远远超越了现有技术,因为它提供了准许从头开始设计和制造的创新,而不会完全使用储存的、预先设计或预先制造的零件。相反,利用一些或所有的下面各项从头开始并且自动地设计产品:用户的喜恶、他独特的解剖属性和独特的要求,从而使得完成后的产品在设计、形状、配合度、大小、颜色、重量、精加工、功能和艺术印象方面都将尽可能接近于用户的期望。另外,因为所述系统可以视为专业系统,所以它就像是为用户提供一位专家,以便提供具有最适合的式样和配合度的产品。本发明的系统在每个节点都给选择提供建议,反映出专家的所谓的人工智能。
[0025] 所述系统本身不但是独特的,而且描述了各种技术以便开发解剖模型,直接地推导某些解剖特征,各种成像技术,测距和大小表征技术、比例缩放技术、产品呈现技术、用户交互技术和定制制造技术;这些技术增加了本发明的系统的已经独特的特征。
[0026] 本发明的特征之一是能够获得个人且更尤其是他的或她的面部的特征。已经发现,例如通过利用智能手机或电子相机完成的自拍像可以用于提供推导必需的解剖模型所必需的图像信息。虽然照相手机拍出的所谓的“自拍”或自拍像并不是三维的,但是可以利用由智能手机形成的图像的各种特征来生成人的面部的3-D建模。因此,一种输入人的解剖特征的方便的方法是使用普及的手机进行图像捕获,本发明发现单个相机照出的自拍像中就有充分的信息以准许解剖建模。
[0027] 虽然将结合眼镜描述本发明,但是从头开始设计、制造和交付任何性质的个性化产品(例如包含珠宝、衣服、头盔、头戴耳机和其它私人物品)都在本发明的范围内。所述范围还集中于从头开始制作的领先的定制产品,但是所描述的方法也可以应用于不一定是100%领先的或从头开始制作的非常独特的定制产品。许多产品将受益于有非常多样的设计以提供定制产品(例如,成百种、成千种、成百万种设计),这使用传统的方法太难配置、储存或制造,而将非常适合于本文中描述的方法。需要定制订做产品的高度可配置性在本发明的范围内。
[0028] 本发明的按照需求的端对端系统的全面性依赖于下面各项:
[0029] 获得和分析图像数据和解剖信息
[0030] 在本发明中,提出了新的方法能实现改善的或替代的方式以实现捕获用户的图像和确定用户的解剖信息和模型。这些包含更详细的解剖数据、美观分析和其它度量,其用于影响眼镜镜框以及先进的光学设计两者。迄今为止,还没有人尝试使用解剖信息、美观信息和从图像数据提取的其它度量来给这样的详细设计提供信息。
[0031] 获得其它用户信息
[0032] 可以使用并非从图像数据自动获得的其它用户信息和偏好来提供进一步的信息以定制产品。使得产品设计能够被更改以适应特定用户的新颖的预测和学习算法中会使用这个信息。
[0033] 可配置的产品模型
[0034] 本发明描述了可配置的产品模型,其使得能够定制,这个定制远远比互换储存部件以制作定制组合件更个性化。可配置的模型允许针对个人用户完全地定制整个形状、轮廓、3D表面、测量值、颜色、精加工和更多内容。
[0035] 产品定制
[0036] 使用基于从经过分析的图像数据推导出的用户的解剖结构以及个人偏好,针对用户自动定制眼镜的形状和式样的算法。还使用预测算法来预测用户品位和设计以帮助设计和制造定制产品。这有助于向用户预先提供最高概率的设计。
[0037] 向用户预览领先的定制产品
[0038] 本发明的方法提供领先的定制产品的高保真度渲染。这些不是以前现有的产品的标准预览。诸如眼镜之类的领先的定制产品的预览发生在产品生产或存在之前,因为它是针对用户具体且独特地制作的。这些预览涉及的技术比现有产品的预览更先进,因为产品尚未存在,并且还没有产品表示的先前的照片、文档或测试。一切都必须动态地生成或配置,以使得能够对尚未构建的领先的定制产品进行高质量预览。本发明的系统不但渲染现有的产品(例如,眼镜或眼镜的零件),而且提供从头开始的全新的定制设计。
[0039] 用户与产品预览的交互
[0040] 各种改善的方法允许用户与定制产品预览交互,实时地更改定制设计,从他人那里获得反馈,并且允许其他朋友/设计者/眼镜师也为他们设计定制产品。
[0041] 制造定制产品
[0042] 不同于描述非常基本的定制方法(诸如将零件互换或者有限地定制眼镜的一些部件)的现有技术,本发明的系统从头开始制造完全定制的产品,诸如高档眼镜。领先的定制眼镜包含镜框和镜片,针对一位用户以特定的形状、尺寸和颜色订做构建。本发明的系统使用先进的技术,其允许交付具有相同的高质量材料和一般的高档眼镜的精加工但是具有完全定制的设计的眼镜。
[0043] 购物系统
[0044] 最后,本发明包含一种购物系统,其使得用户能够逐步完成获得定制产品、输入他们的数据和偏好以及选择和购买产品必要的步骤。
[0045] 定义
[0046] 下面的定义是针对说明的目的以帮助定义本文中使用的词语的范围。这些定义并不限制本发明的范围,并且本领域的技术人员将认识到可以应用于每种类别的另外的定义。通过本文中使用的定义,图像数据包含2D图像、数字图像、视频、图像系列、立体图像、3D图像、用标准光敏相机采集的图像、用带有多个镜头的相机采集的图像、用深度相机采集的图像、用激光、红外线或其它传感器模块采集的图像。计算机系统包含平板电脑、电话、台式机、笔记本、信息站、服务器、可穿戴计算机、网络计算机、分布式或并联计算机或虚拟计算机。成像装置包含单镜头相机、多镜头相机、深度相机、激光相机、红外线相机或数码相机。输入装置包含触摸屏、手势传感器、键盘、鼠标、深度相机、音频语音识别和可穿戴装置。显示器包含面板、LCD、投影仪、3D显示器、抬头显示器、柔性显示器、电视机、全息显示器、可穿戴显示器或其它显示技术。图像、视频或交互渲染形式的预览图像包含叠加着产品模型图像的用户的图像、叠加着产品模型的渲染的用户的图像、用户的解剖模型和产品模型的图像。解剖模型、细节和尺寸包含特征的长度(例如手指长度)、特征之间的距离(例如耳朵之间的距离)、特征的角度、表面积、特征的体积、特征的2D轮廓(例如手腕的轮廓)、特征的3D模型(例如鼻子或耳朵的表面)、3D坐标、3D网格或表面表示、形状估计或模型、曲率测量值、或皮肤或头发颜色定义的估计值。模型或3D模型包含点云、参数模型、纹理映射模型、表面或体积网格或表示对象的点、线和几何元素的其它集合。制造指令包含逐步制造指令、组装指令、订制规范、CAM文件、g代码、自动软件指令、用于控制机械设备的坐标、模板、图像、绘图、材料规范、检查尺寸或要求。制造系统包含配置成向用户和/或机器交付制造指令的计算机系统,包含配置成遵照制造指令的机器的联网计算机系统、指令继续通过的一系列计算机系统和机器。眼镜包含眼镜镜框、太阳眼镜镜框、镜框和镜片一起、处方眼镜、非处方(平透镜)眼镜、运动眼镜或者电子或可穿戴技术眼镜。
[0047] 定制产品
[0048] 下面的是基于从图像数据推导出的用户解剖结构定制配合和设计、预览、通过用户偏好更改且然后在定制之后首次订制制造的产品的实施方案:
[0049] 根据一个实施方案,公开了用于创造定制产品的方法。一种方法包含使用至少一个计算机系统采集用户的图像数据;使用至少一个计算机系统确定用户的解剖细节和/或尺寸;使用至少一个计算机系统和用户的解剖数据针对用户配置(例如,定制形状、大小、尺寸、颜色、精加工等等)新的产品模型;使用至少一个计算机系统向用户的图像数据或解剖模型应用可配置的产品模型;使用至少一个计算机系统预览带有可配置的产品模型的用户的图像;使用至少一个计算机系统和/或用户输入,任选地调整和更新可配置的产品模型属性(例如定制形状、大小、尺寸、颜色、精加工等等)的预览;使用执行基于预览模型制造定制产品的指令的至少一计算机系统进行准备;以及使用至少一个计算机系统和制造系统制造新的定制产品。
[0050] 根据一个实施方案,公开了用于创造定制产品的系统。一种系统包含:图像采集装置,其配置成获得用户的图像数据;输入装置,其配置成从用户接收指令;显示器,其配置成向用户显示图像数据;制造系统,其配置成生产定制产品;数字存储装置,其用以存储创造和预览定制产品的指令;处理器,其配置成执行指令以执行包含下列操作的方法:使用至少一个计算机系统采集用户的图像数据;使用至少一个计算机系统确定用户的解剖细节和/或尺寸;使用至少一个计算机系统和用户的解剖数据针对用户配置(例如,定制形状、大小、尺寸、颜色、精加工等等)新的产品模型;使用至少一个计算机系统向用户的图像数据或解剖模型应用可配置的产品模型;使用至少一个计算机系统预览带有可配置的产品模型的用户的图像;使用至少一个计算机系统和/或用户输入,任选地调整和更新可配置的产品模型属性(例如定制形状、大小、尺寸、颜色、精加工等等)的预览;使用至少计算机系统准备用于基于预览模型制造定制产品的指令;以及使用至少一个计算机系统和制造系统制造新的定制产品。
[0051] 公开了用于创造定制产品的系统。一种系统包含:图像采集装置,其配置成获得用户的图像数据;输入装置,其配置成从用户接收指令;显示器,其配置成向用户显示图像数据;制造系统,其配置成生产定制产品;数字存储装置,其用以存储创造和预览定制产品的指令;以及处理器,其配置成执行指令以执行所述方法。
[0052] 所述系统包含:采集用户的图像数据;确定用户的解剖细节和/或尺寸;通过提供对应的新的产品模型而配置产品以考虑到这些细节;向用户的图像数据或解剖模型应用可配置的产品模型;预览带有可配置的产品模型的用户的图像;任选地调整和更新预览;基于预览模型准备制造定制产品的指令;以及制造新的定制产品。上述方法可以使用经过适当地编程的计算机来实现,或者可以采用非暂时性计算机可读介质的形式。
[0053] 更尤其是,公开了用于创造定制眼镜的系统和方法,其包含配置成接收用户的图像数据的至少一个计算机系统。所述计算机系统还配置成从用户接收其它数据,包含但不限于人口统计数据、处方、偏好等等。所述系统和方法可以包含从用户提供的数据确定关于用户的量化的解剖信息。所述系统和方法可以包含定制眼镜模型的属性,包含大小、形状、颜色、精加工和式样,以满足用户的解剖结构和式样需求。所述系统还包含物理上制造定制眼镜,从而使得它与预览表示匹配。
[0054] 根据一个实施方案,公开了用于创造和可视化定制眼镜的系统和方法,包含配置有显示器的至少一个计算机系统。所述计算机系统还配置有至少一个图像捕获装置,用以捕获用户的图像数据和/或测量数据。所述计算机系统还配置成从用户接收其它数据,包含人口统计数据、处方和偏好。所述系统和方法可以包含从用户提供的数据确定关于用户的量化的解剖信息。所述系统和方法可以包含可视化在用户面部上的适当位置中叠加在用户的图像数据上的眼镜模型。所述系统和方法还可以包含定制眼镜模型的属性和提供叠加在用户的图像数据上的定制眼镜的更新预览。所述系统和方法包含物理上制造定制眼镜,从而使得它与预览表示匹配。
[0055] 根据另一个实施方案,公开了自动定制眼镜的系统和方法。所述计算机系统还配置成分析用户的图像数据、量化解剖信息和其它提供的数据,以确定眼镜模型的最佳属性,从而使得它最好地与用户的解剖结构和式样偏好匹配。
[0056] 根据另一个实施方案,公开了用于与定制眼镜模型交互的系统和方法。所述计算机系统还配置有界面应用。所述系统和方法可以包含通过计算机系统从用户获得输入或命令。所述系统和方法可以还包含控制可视化,包含眼镜预览的角度、变焦和旋转。所述系统和方法还可以包含控制用户的图像数据的眼镜模型的位置和取向。所述系统和方法还可以包含使得用户能够直接定制眼镜模型的属性并且提供更新预览。
[0057] 根据另一个实施方案,公开了用于自动地定义光学镜片设计的系统和方法。所述系统和方法包含分析用户的量化解剖信息、处方信息和定制眼镜模型,以计算影响光学设计所需要的参数,包含瞳距、顶点距离、面部包裹物、眼镜和镜框轮廓。所述系统和方法还配置成向制造系统提供参数以用于设计和制造定制镜片。
[0058] 根据另一个实施方案,公开了用于购买定制眼镜的网络界面的系统和方法。所述计算机系统还配置有数据传递装置。所述系统和方法包含提供一个界面以供用户选择眼镜设计、与眼镜设计交互、预览和定制眼镜设计、订制眼镜和传递构建定制眼镜和将定制眼镜运送给用户所需要的所有信息。
[0059] 根据另一个实施方案,公开了用于控制定制眼镜制造的系统和方法。所述计算机系统还配置成将数据和信息传递到至少一个制造系统。所述系统和方法包含将定制眼镜模型或参数、用户信息和订单传递到制造系统。所述系统和方法还包含将眼镜模型或参数转换成控制制造设备所使用的制造数据。所述系统和方法还包含提供指令以供机械设备、机器人和操作人员构建、检查和运送定制眼镜。
[0060] 根据另一个实施方案,公开了用于参数眼镜模型的系统和方法。所述系统和方法包含眼镜的表示,其含有关于眼镜设计的形状和大小的尺寸信息。所述系统和方法还包含限定眼镜模型的某些关键特征的参数,包含但不限于长度、宽度、高度、厚度和半径。所述系统和方法还包含在至少一个参数改变时更新眼镜模型,自动更改眼镜以满足所有参数的约束。
[0061] 根据另一个实施方案,公开了用于从用户的交互和偏好中学习的系统和方法,其涉及学习机器或预测器或预测机器。所述系统和方法包含追踪用户在选择、定制和预览眼镜时采取的动作。所述系统和方法还包含除了用户提供的图像数据、量化解剖信息和其它提供的信息之外对追踪到的动作的机器学习分析,以确定用户对于定制眼镜属性的偏好。所述系统和方法还包含基于学习分析向用户作出推荐。
[0062] 根据另一个实施方案,公开了用于从数据主体学习的系统和方法。所述系统和方法包含构建图像数据、量化解剖信息、偏好和使定制眼镜与用户信息相关的其它信息的数据库。所述系统和方法包含训练机器学习分类器,以基于它们的数据预测用户的偏好。所述系统和方法还包含对新的用户应用分析,以最好地提供定制眼镜设计,其将适合于用户的解剖结构和偏好。
[0063] 根据另一个实施方案,公开了用于指导用户通过定制过程的系统和方法。所述系统和方法包含提供指令或问题序列,以指导用户通过针对他们的偏好和解剖结构定制眼镜所需要的步骤。
[0064] 根据另一个实施方案,公开了用于预测不良配合的系统和方法。所述系统和方法包含分析用户的量化解剖信息与定制眼镜设计之间的配合。所述系统和方法包含使用模拟、物理建模和分析来预测何时设计了眼镜与用户之间的次优配合。所述系统和方法还包含告知用户次优设计或者自动对其进行校正。
[0065] 根据另一个实施方案,公开了用于通过定制眼镜模型预览视觉的系统和方法。所述系统和方法包含通过定制眼镜模型来渲染预览视觉,包含镜片的形状、大小和光学属性。所述系统和方法包含渲染模拟用户的视觉的即时或静态情景,包含但不限于失真、聚焦区域、颜色和其它光学效果。
[0066] 根据另一个实施方案,公开了用于复制另一副眼镜的系统和方法。所述系统和方法包含接收戴着眼镜的人(包含用户)的图像数据。所述系统和方法还包含检测眼镜和分析形状、颜色和大小。所述系统和方法还包含优化定制眼镜设计以匹配对形状、大小和颜色的分析。所述系统和方法还包含预览在用户图像数据上的定制眼镜并且允许进一步定制。
[0067] 根据另一个实施方案,公开了用于共享定制眼镜预览和定制眼镜的能力的系统和方法。所述系统和方法包含从至少一个计算机系统向至少一个其它计算机系统发送在用户的图像数据上预览和定制眼镜的许可。所述系统和方法还包含允许第三方与用户的图像数据上的眼镜模型交互、定制和更新用户的图像数据上的眼镜模型。所述系统和方法还包含第三方以向用户提供反馈和更新设计。
[0068] 根据另一个实施方案,公开了用于将眼镜颜色与另一个对象匹配的系统和方法。所述系统和方法包含获得关于具有期望颜色的对象的图像数据或信息(包含但不限于制造商、零件编号等等)。所述系统和方法还包含用参考图像来校准图像数据的颜色。所述系统和方法还包含提取期望对象的颜色属性并且将所述颜色应用于定制眼镜模型。
[0069] 结合具体实施方式配合附图,将更好地理解本发明的这些和其它特征,其中:
[0070] 图1A是用于创造从头开始的领先的定制产品而不专门使用现成的部件的系统的框图
[0071] 图1B是定制眼镜购物系统的框图;
[0072] 图2是本发明的系统的图像捕获部分的框图,其示出了图像捕获装置、用户输入和耦接至驱动制造过程的计算机系统的其它信息之间的相互影响;
[0073] 图3是可以通过使用本发明的系统而定制的眼镜和眼镜部分的图解说明;
[0074] 图4是用户的面部和解剖特征的图解说明;
[0075] 图5是用以捕获图像数据的计算机系统的图解说明;
[0076] 图6是面部与眼镜之间的用于分析面部的尺寸的图解说明,从而准许更多的面部和眼镜参数;
[0077] 图7是面部和眼镜的另外的尺寸的图解说明;
[0078] 图8是参数化的量化解剖模型的图解表示;
[0079] 图9是在加以调整以定制配合宽度而不影响其它关键尺寸之前和之后的参数化的眼镜模型的示例的图解说明;
[0080] 图10是具有最佳的眼睛中心位置的两种眼镜设计的图解说明;
[0081] 图11是用于预览、校正和定制眼镜的示例计算机系统界面的图解说明;
[0082] 图12是示出使用计算机系统界面对眼镜的宽度的定制调整的示例说明的图解说明,所述界面能够确定产品在个人的面部上的放置,以及当改进个体表示时可以进行的改进;
[0083] 图13是示出正在编辑的眼镜设计的示例说明的图解说明;
[0084] 图14是用以优化参数的自动眼镜模型调整的示例的图解说明;
[0085] 图15是转换成平面模式以便制造的定制3D眼镜模型的示例的图解说明;
[0086] 图16是定制3D眼镜模型和制造部分的示例的图解说明;
[0087] 图17是带有用以利用参考采集用户的图像的成像装置的计算机的图解说明;
[0088] 图18是用以将解剖模型与原始用户图像配准的计算机系统的图解说明;
[0089] 图19是使用计算机系统来基于图像数据重建用户面部的模型和参考目标的模型的图解说明;
[0090] 图20是使用双镜反射系统根据用户的面部按比例缩放解剖模型的图解说明;
[0091] 图21是从以前采集的图像的集合构建和按比例缩放用户面部的解剖模型并且跨特征集和相机位置配合3-D面部模型的图解说明;
[0092] 图22是使用用户已经拥有的现有眼镜按比例缩放用户面部的图解说明;
[0093] 图23是用于通过显示参考框和计算参考框的像素大小和真实大小来测量参考对象的尺寸的系统的图解说明;
[0094] 图24是用于定制经过优化以配合不对称的面部特征的眼镜设计的系统的图解说明;
[0095] 图25是用以实现模拟相机视角的系统的图解说明;
[0096] 图26是店内定制眼镜购物方法的框图;
[0097] 图27是店内定制眼镜购物系统的框图;
[0098] 图28是用于定制眼镜鼻托以配合不同的用户解剖结构的系统的图解说明;
[0099] 图29是配置定制产品模型的图解说明,其阐述了形状和大小定制程度的一小部分;
[0100] 图30是在将眼镜模型与解剖模型对齐之前定制眼镜模型的图解说明;
[0101] 图31是在将眼镜模型与解剖模型对齐之后定制眼镜模型的图解说明;
[0102] 图32是定制领先的产品的制造序列的框图;以及
[0103] 图33是创造定制头盔的图解说明。
[0104] 参照图1A,提供了一种系统,其中计算机系统14基于对计算机系统的输入(包含基于用户图像的输入)从头开始创造定制产品。从头开始是指如下事实:所提供的是领先的定制产品,它的制造无需专门使用现成的、以前设计的、以前生产的或是储存的部件。这并不意味着诸如紧固件、铰链和类似物之类的次要部件不能用作定制产品的零件。然而,产品的主要部件是从头开始设计的,因此使得产品具有新的一种独特性,不同于由预先制造的部件组装得到的产品所能提供的独特性。
[0105] 重要的要了解生成这些定制产品的计算机系统是从哪里获得信息。计算机系统获得用户的成像数据、从图像数据确定解剖数据、测量值,以及进一步的任选的用户偏好和信息,诸如用户的好恶,这是通过分析用户计算机历史来确定的。计算机系统还接受来自用户的输入,其中用户可以指定某些偏好或者直接地控制产品定制的一些方面。
[0106] 系统并不是在真空中操作;换而言之,计算机系统不是凭空生成定制产品。为了让计算机开始它的创造性过程,将可配置的产品模型安装在计算机系统上,产品模型至少以某种宽泛的概要来指定可定制产品所必需的结构和规范。
[0107] 鉴于上述内容,并且如10处所说明,计算机系统14获得并分析图像数据,并且确定用户的解剖测量值和细节。如上文所述,图像捕获可以用多种不同的方式实现,最明显的是通过利用从手持式电子装置(诸如智能手机或电子相机)生成的自拍像实现。对于可以利用普及的手机作为限定他或她自己的解剖特征的出发点的一般用户而言,这是一种方便的图像捕获方法。
[0108] 如12处说明,计算机系统获得任选的用户偏好和信息,这可以从多种多样的来源收集。向14处的计算机系统提供至少一个可配置的产品模型13,用于指导计算机系统。在分析其全部输入之后,计算机系统14自动地输出新的定制产品模型。因此,向预览系统15提供计算机系统14的输出,在预览系统15中,计算机系统创建定制产品和用户的预览。然后,如17处所说明,计算机系统准备产品模型和信息以用于制造所选择的领先的完全定制的产品。
[0109] 请注意,在16处,提供任选的用户交互以更新、通知或控制预览和定制产品。在计算机系统已经创建了定制产品的预览之后,用户可以指定任选的用户交互以更新、通知或控制预览和定制产品。当这些另外的控制指令输入到计算机系统14时,系统能够执行对定制产品的任选的新的指导,这或者是通过直接地加入用户的改变,或者是使用输入来通知新的定制产品模型。
[0110] 更尤其是,所述系统如下操作。计算机系统在10处通过诸如连接至计算机系统的相机或成像装置之类的多种装置获得图像数据,其中用户将图像数据传递至计算机系统,或者从另一个计算机系统传递的图像数据。解剖测量值和细节可以得到尺寸、模型、形状分析等等,并且将更详细地予以描述。
[0111] 如12处所说明,计算机系统14获得其它任选的用户信息和偏好。这个信息,诸如人口统计信息、医疗或处方信息、问题的回答、式样选择、关键词等等,可以用作对计算机系统针对用户的自动分析和定制产品的进一步的输入。
[0112] 如13处所说明,计算机系统获得制造商或设计者添加的可配置的产品模型。这些可配置的产品模型是定制产品的表示,并且这些可配置的产品模型可以经过修改以更改包含形状、大小、颜色、精加工等等在内的属性。可配置的模型可以有几千、几百万或者无穷多种变化,但是也用将可配置性约束或限制到制造商选择的领域(例如,只可以使用某个范围的材料厚度,或者在配置某些尺寸时,不得改变其它尺寸)的能力来创造可配置的模型。可配置的模型可以包含批量生产的或预先设计的子部件,诸如紧固件,但是主要定制部件与子部件组装在一起时,会得到高度定制的领先的从头开始的产品。
[0113] 如14处所说明的,计算机系统使用由可配置的产品模型、用户图像数据、用户解剖数据和任选的用户偏好组成的输入以生成新的定制产品模型。计算机系统可以使用多种技术,包含等式、分析、形状模型、机器学习、集群、查找表等等以产生最终定制产品模型。计算机系统还可以产生一定范围的定制模型供用户从中选择。这些定制模型被视为领先的、非储存的,并且是针对个体用户完全定制的。
[0114] 如15处所说明的,计算机系统创建定制产品模型的预览。预览可以由定制产品的图像、定制产品模型在用户的解剖模型上的渲染、定制产品模型在用户的图像数据上的渲染、定制产品模型的物理快速原型等等组成。可以在计算机系统的显示器上向用户展示预览。
[0115] 如16处所说明的,计算机系统接受用户输入以更新、通知或控制定制产品模型。用户或得到用户许可的其他人,可以改变预览,选择定制产品模型的可配置的选项(诸如颜色或大小),回答问题以改进产品模型,或者用户可以根据他们的偏好直接更改可配置的模型(即,改变形状或式样)。
[0116] 如17处所说明的,计算机系统准备经过用户核准制造的定制产品。准备可以包含将定制产品模型和用户偏好转换成制造系统可以解释的一组规范、指令、数据结构、计算机数字控制指令、2D或3D模型文件等等。准备还可以包含用于指导机械设备或人通过制造过程的每一步骤的定制计算机控制指令。
[0117] 如18处所说明的,计算机系统向生产领先的定制产品的制造系统提供指令。将描述用于生产领先的定制产品的各种具体的方法。
[0118] 图2中作为用户200使用的计算机系统220的框图总体上描述前面提到的计算机和制造系统。在示例性实施方案中,至少一个计算机系统220,包含但不限于平板电脑、电话、台式机、膝上型计算机、信息站或可穿戴计算机,配置有用于向用户呈现图像数据的显示器230。显示器230包含LCD屏幕、柔性屏幕、投影设备、3D显示器、抬头显示器或其它显示技术。
计算机系统220具有用于控制计算机系统的输入装置,包含但不限于触摸屏、键盘、鼠标、轨迹垫或手势传感器。计算机系统220还配置有图像捕获装置210,包含但不限于单镜头相机、摄像机、多镜头相机、IR相机、激光扫描仪、干涉仪等等。下文中将图像捕获装置称为“相机”。计算机系统220还配置成连接至网络或其它系统以便传达和传递数据240。计算机系统
220配置成连接至其它计算机系统250,包含但不限于服务器、远程计算机等等。其它计算机系统250连接至制造系统260或者控制制造系统260。计算机系统220还配置成向用户200提供一个界面以便查看、定制、购物和订购定制产品。
[0119] 除了用于基于用户图像数据、解剖结构和偏好创造定制产品的定制产品系统之外,本发明还描述了允许用户接入定制产品系统的购物系统:用以购物、订购、浏览、交互、提供支付等等的装置。描述围绕定制产品系统构建的定制眼镜购物系统的一个实施方案:
[0120] 定制眼镜购物系统
[0121] 参照图1B,详述了一种用于订购从头开始创造的定制的领先的眼镜的系统。如101处所说明的,用户使用计算机系统来查看眼镜和选择至少一种式样来尝试。这个第一步骤是任选的,并且用户可以查看计算机显示器上的多个眼镜,并且选择预览多个眼镜中的任一个。用户可以在他们的购物体验开始时,在购买之前,或在他们选择的任何时间,选择式样来尝试和预览。如102处所说明的,计算机系统指导用户如何采集图像数据和参考信息。计算机系统相机捕获由用户的一个或更多个图像、视频或即时预览组成的图像数据,并且计算机系统显示器通过它的显示器展示了图像数据。如103处所看到的,计算机系统分析计算机图像数据并且构建与图像数据对齐的解剖模型。之后,如104处所说明的,计算机系统向用户提示处方数据、个人数据和其它信息,这些可以在后面的步骤任选地输入。这之后是如105处所说明的,计算机系统分析输入信息:测量值、解剖模型、用户偏好和图像数据。如
106处所说明,计算机系统自动为用户调整眼镜的大小和配合度。另外,如107处所说明,计算机系统可以向用户自动推荐形状、式样和颜色选择。如步骤108处所说明,计算机系统创造至少有一个部件是从头开始设计的至少一个新的定制眼镜模型,并且将眼镜模型自动放置在用户图像数据上。计算机系统渲染定制眼镜模型(可以包含镜片)的预览,如109处所说明的。如上所述,渲染可以包含用户图像数据和用户解剖模型与定制眼镜模型的组合。
[0122] 如110处所说明的,用户可以与计算机系统交互以调整眼镜大小、形状、位置、式样、颜色、精加工和图案等等中的至少一个。111处说明了结果,其中如果基于用户交互眼镜可能不太配合或者如果眼镜是无法订购的,则计算机系统作出推荐。
[0123] 之后,如112处所说明的,计算机系统存储数据,并且计算价格和估计交付情况,以及顾客需要决定是否下订单的任何其他相关信息。如113处所说明的,用户可以选择替代的眼镜,或者用户选择要订购的定制眼镜,如114处所说明。
[0124] 如果如113处所说明,用户选择替代眼镜,则计算机系统自动生成新的定制眼镜模型(如108处所说明),并且所述过程再次开始。
[0125] 一旦用户选择了要订购的眼镜(如114处所说明),计算机系统就会分析用户信息和模型并且准备制造指令,并且如115处所说明,计算机系统准备制造设备用的定制制造文件。之后,计算机系统管理制造设备和人员以构建定制眼镜,如116所说明。最后,将眼镜运送给用户,如117处所说明。这样就完成了定制眼镜产品,它是针对用户从头开始创造和制造的。
[0126] 下面的部分将描述在针对用户创造领先的定制产品时涉及的关键步骤的更多细节:
[0127] 获得和分析图像数据和解剖信息
[0128] 下面的部分描述用于获得和分析图像数据和解剖信息的详细的系统和方法,这在图1A中的步骤10和图1B中的102、103和105处说明。
[0129] 在描述用于获得和分析图像数据和解剖信息的详细方法之前,先描述面部解剖结构和眼镜的术语以供参考。图3示出了眼镜301,其中标出了眼镜的各个部分。前框302将镜片303固持在合适位置。鼻梁架304处在前框302的中心,并且鼻托305从前框302延伸出来以将眼镜301固持在佩戴者的鼻子上。铰链306将前框302连接至镜腿307,镜腿307在特征308处搁在佩戴者的耳朵的顶部上。图3仅仅表示了一种眼镜设计,且应当认识到,这些基本部分可以应用于其它眼镜设计,或者有些眼镜设计可以有不同的部分。
[0130] 图4示出了用户的面部401、眼睛402、眼睛402的中心处的瞳孔403和眉毛404。耳朵405还有一个位置标示为耳朵的顶部406,这里将搁着眼镜的镜腿。鼻子407起到支撑眼镜的关键作用。颧骨408、嘴409、前额410、下巴/下颌411、鼻孔412和头发413是检测和分析量化解剖模型时的其它重要特征。
[0131] 采集图像数据
[0132] 图5示出了用户501使用计算机装置502采集他们的面部503的图像数据。向用户提供指令以在计算机系统捕获和分析用户面部的图像数据时将他们的面部放在某些位置。计算机系统可以利用智能手机或手持式电子相机来捕获人的面部的图像。如上文提到的,单个相机的个人视图中就有足够的信息用来准许3D建模,且更尤其是解剖模型的生成。
[0133] 计算机系统可以要求图像中存在某些对象,以提供比例参照。重要的是要确保眼镜的尺寸相对于用户的面部设计成适合的大小,并且需要向图像数据或所得解剖模型和测量值提供尺寸,以确保准确地设计大小。参照对象可以包含但不限于:硬币、尺子、纸张、信用卡、计算机光盘、电连接件或计算机连接件、印章、计算机装置上的校准目标或者计算机装置本身。对象当放在用户面部附近时,为系统给图像数据设置尺寸提供了参考尺寸。如果有诸如深度相机之类的其它图像技术可以使用,或者如果使用的是有固有尺寸的形状模型技术,则可能不需要参照对象,因为图像数据的比例可以通过成像设备或形状模型确定。
[0134] 在一个示例性实施方案中,一旦用户遵照了指令,并且位于计算机系统的成像装置的前方,就开始采集和分析他们的数据。捕获第一参考图像,其中用户将参照对象固持在与他们的面部相同的场中。计算机系统分析计算机捕获的图像数据,以检测参照对象并且测量参照对象的大小,例如以像素为单位的大小。计算机系统还分析图像数据,以检测多个特征中的一个或更多个,包含但不限于瞳孔、眼睛、鼻子、嘴、耳朵、面部、眉毛、头发等等。在一个示例性实施方案中,检测用户的瞳孔,并将界标放在每一瞳孔的中心上。在另一个实施方案中,可以任选地咨询用户以确认或编辑每一瞳孔标记的位置以确保准确性。使用先前从参照对象分析的数据,将瞳孔或其它特征之间的像素单位的距离从像素按比例缩放成诸如毫米或英寸之类的距离单位。在另一个实施方案中,用户先前可能已经采集到关于他们的面部的尺寸的数据,诸如从验光师或光学检查获得的瞳距,且用户可以将这个数据输入到计算机系统中,而不是使用参照对象获得比例。替代地,在该过程中稍后的时候,或在与其它图像数据采集相同的时间,采集参考图像。
[0135] 用参照对象按比例缩放数据的目的是确保可以从用户的最终量化解剖模型推导出测量值。有几个关键测量值可以用来最好地确定如何将眼镜虚拟地放置和配合在用户面部的图像上。
[0136] 图6示出了眼镜601与用户的面部602之间的关系的图解说明。眼镜和面部接触的位置非常重要,因为位置控制着眼镜的配合度。示出的是眼镜601和用户的鼻子603之间的接触位置。还示出了眼镜601和用户的耳朵604之间的接触位置,以及眼镜605的顶部和耳朵606的顶部之间的高度和长度。
[0137] 图7说明了各种详细的眼镜测量值。图7示出了眼镜701,其中瞳孔702之间是双眼瞳距(Pd)703a,而鼻子的中心和瞳孔702之间是单眼瞳距703b。此外,如果期望获得最高质量的光学器件,或者如果期望获得诸如渐进镜片之类的专门的光学器件,则有关眼睛和光学器件的另外测量值是有用的,诸如顶点距离709(从眼睛到镜片的距离)、前倾角度710(镜片到面部正面的角度)、面部或镜框包裹度(frame wrap)704(镜框围绕面部的曲率)、镜片高度713(瞳孔在镜片中的垂直位置)或光学中心。前述的现有技术的局限性在于,并未生成和使用从用户面部的完整量化解剖模型可以获得的丰富的信息,来完全地定制眼镜镜框和光学器件和实现最佳的眼镜购物界面和体验。
[0138] 举例而言,图7还示出了眼镜的鼻托之间的距离707。就此而言,图7示出了鼻子711的模型,这个模型用来推导量化测量值,包含但不限于鼻子的长度712和各种位置处的宽度713。因为每个用户的鼻子的尺寸是不一样的,所以巨大的优势是能够精确地测量鼻子的尺寸和形状且然后定制配合的眼镜以完美地配合该解剖结构。如果两个接触表面正确地对准并且配合,从而使得没有高压点存在,并且如果眼镜被鼻子自然地支撑在正确的位置,则能实现放在用户的鼻子上的眼镜鼻托的最佳舒适度。在他优选将他的眼镜佩戴在他鼻子上的什么位置才能最大程度上舒适、美观或实用方面,每个用户可能有独特的偏好。而且,不同种族之间,鼻子的构造/形状有很大不同。例如,亚洲人种的用户的鼻子比白种人的鼻子小,且鼻梁也更平,且他们通常更喜欢针对他们的人群专门设计的眼镜。然而,如果不是针对一个人群设计眼镜,而是针对个人用户及其独特的解剖结构设计眼镜,则有明显的优势。应当理解,鼻子的量化解剖结构使定制眼镜能精确地搁在鼻子上,其中期望的是一开箱使用就能实现最大程度的舒适性、美观性和实用性,无需随后进行调整(这一般要由光学专业人士来执行)。然而,许多眼镜设计无法在后期正确地调整诸如鼻托之类的眼镜特征,尤其是在塑料镜框上。
[0139] 图7还示出了实现与用户面部配合所需要的镜腿长度705和镜腿之间的距离706的另外的测量值。而且,额头、颧骨、鼻子长度和头部宽度可能会限制眼镜配合在用户面部上的位置。面部的其它尺寸,诸如头部形状、曲率、鼻子的长度、形状和角度等等,更用于帮助为特定用户建议最佳的眼镜式样和形状。瞳孔相对于眼镜的位置是确保良好光学质量的重要因素。
[0140] 在一个示例性实施方案中,计算机系统指导用户在相机捕获一系列图像或视频时定位和移动其头部。旋转是一侧往一侧的旋转,上下旋转,或者是组合式旋转。计算机系统指导用户将头部移动到精确的位置,或者只是请求用户近似在显示器上向其显示的移动。在另一个实施方案中,用户有手持式计算机系统,并且使相机围绕用户的头部旋转,而不是旋转头部。在另一个实施方案中,用户已经将图像或视频上传到系统,或者用户用另一个成像装置捕获图像或视频并将图像或视频上传到计算机系统,而不是用计算机系统捕获图像或视频。
[0141] 捕获到的视频可以由构成一组图像数据的各种角度下的用户面部的一系列图像组成。计算机系统可以在捕获图像后立即对图像执行分析,以便在存在问题的情况下,或者在采集的图像质量、姿势或数据数量不足的情况下,向用户提供反馈。
[0142] 在一个示例性实施方案中,计算机系统分析图像数据以确保用户的面部大概保持在镜框中心内的某些范围内。计算机系统可以对图像数据运行面部检测算法以检测每个图像内的面部的边界。如果计算机系统检测到面部在所述范围外部、在用户面部前面检测到干扰或遮挡、或者过度的模糊或其它不能接受的采集假影,则向用户提供关于如何重新采集新的图像数据集合的警告和指令。另外,计算机系统先剪切或排除图像数据的部分,然后才对其余的数据集合执行更密集的计算,以便减少计算和/或传输时间。例如,计算机系统可以剪切在检测到的面部的范围之外的任何图像部分。除了检测面部之外,计算机系统还可以估计面部的姿势(旋转程度)。通过使用经过训练以确定姿势的各种面部检测器或分类器算法来估计姿势。使用对于每个图像的姿势估计,计算机系统确定是否已经捕获到足够范围的姿势。如果没有的话,则计算机系统可以指导用户重新采集。计算机系统还可以过滤掉不必要的图像。例如,可能有重复的姿势,或者低于质量阈值的少量不能接受的图像。计算机系统可以不拒绝整个图像集合,而是可以拒绝某些数量的不能接受的图像,且只处理超过质量阈值的图像,该质量阈值是基于前述的度量。
[0143] 计算机系统自动地或者用用户输入来识别确切的图像捕获装置,且然后使用对该图像捕获装置的光学器件的理解来校正光学失真,或者利用对镜片的场深的认识来更好地分析该数据集合。根据图像捕获装置而定,计算机系统还校正失真或缺陷,诸如在广角镜头上观察到的镜筒失真。这些校正使得采集到的图像数据能够最好地代表用户。
[0144] 量化解剖模型
[0145] 往回参照图1A的10和图1B的103,所述方法描述了构造用户的面部和头部的至少一部分的量化解剖模型。一旦采集了完整的图像数据集合,计算机系统就分析图像数据以构造用户的面部的量化解剖模型。使用各种技术来构造模型,并且在一个示例性实施方案中,将量化解剖模型表示成由某些元素构成的表面网格,元素包含但不限于多边形、曲线元素等等。
[0146] 图8示出了网格804的示例。网格的分辨率基于面部上的曲率、位置和特征等等更改。例如,眼睛和鼻子周围的详细位置的分辨率比存在的细节较少的区域(诸如头顶)更高。在一个示例性实施方案中,面部网格只为正面和侧面的面部区域建模,而在其他实施方案中,面部网格给整个头部或者必要的包含面部的较小区域的任何部分(诸如只有眼睛和鼻子)建模。替代的表示包含点云、距离图、图像容积或向量。
[0147] 在一个示例性实施方案中,使通用的量化解剖模型失真以配合用户的面部。模型被参数化并表示成网格,各个网格点通过调整参数而受到影响。图8示出了具有网格元素804的模型801的示例。在这个示例中,一个参数影响嘴特征802的长度803。如果影响长度
803的参数已经经过调整,则嘴的适当元素将调整坐标以便与指定的参数匹配。诸如形状模型之类的其它模型可以具有通用参数,比如主要分量,主要分量并不是对应于特定特征,但是允许根据多个不同的面部大小和形状来调适通用解剖模型。
[0148] 计算机系统分析图像数据以迭代地执行一序列的特征检测、姿势估计、对齐和模型参数调整。使用面部检测和姿势估计算法来确定总体位置和面部朝向的方向,这有助于模型定位和对齐。使用机器学习方法来训练分类器检测面部以及确定图像中的头部的姿势,所述图像经过后期处理以限定各种特征,包含但不限于哈尔特征或局部二值特征。训练数据集由各种姿势的面部的图像组成,图像中注解出面部位置和姿势方向,且还包含具体的面部特征。输出由图像中的面部的位置和头部取向方向的向量或姿势组成。
[0149] 一旦为第一图像帧确定了面部和姿势,就开始迭代过程,其中限定与眼镜方位和总体面部几何形状相关的更详细的面部特征,包含但不限于眼睛的位置、鼻子的位置和形状、耳朵的位置、耳朵顶部的位置、嘴角的位置、下颌的位置、面部边缘等等。再次使用机器学习来分析图像以检测面部特征和边缘。当这些特征被定位时,对齐和调整通用的量化解剖模型参数以找到与特征的最佳配合,从而使检测到的特征位置与网格之间的误差最小化。可以执行通用的量化解剖模型的另外的优化,以使用图像中的纹理信息来增强模型的局部改进。
[0150] 在一个示例性实施方案中,通用的量化解剖模型具有影响特征的参数,包含但不限于眼睛位置、眼睛大小、面部宽度、颧骨结构、耳朵位置、耳朵大小、额头大小、额头位置、鼻子位置、鼻子宽度和长度和曲率、女性/男性形状、年龄等等。使用检测到的特征与模型之间的误差估计来量化优化的收敛。还使用数据集中的邻近图像之间的微小变化来改进姿势估计和模型与图像数据的对齐。所述过程迭代到随后的图像帧。
[0151] 在一个示例性实施方案中,使用从邻近图像帧检测到的特征来初始化后面的帧或前面的帧以增强特征检测。所述过程继续通过需要的数量的图像,并且可能多次循环通过图像以在最佳参数上收敛,以使失真的通用模型和图像数据之间的误差最小化。可以利用规则化和平滑处理使特征点、姿势和帧之间的解剖模型配合的噪声和变化最小化。如上所述,将基于诸如用户的输入之类的参考数据或与参照对象的比例,来按比例缩放最终的量化解剖模型。替代地,如果解剖模型是作为真实世界尺寸的形状模型推导出来的,则可以使用面部的形状与大小之间的关联性来直接提供模型的比例。
[0152] 因为模型通过一系列图像得到改进,所以模型与图像数据之间的取向和几何关系是已知的。可以对图像上的特征点和面部模型执行光束法平差,这样提供将解剖模型与图像数据对齐的确切的相机位置。这个信息能够用于确定模型的取向和将模型与图像数据对齐,以便随后渲染。
[0153] 本领域的技术人员将认识到,有许多方式以从一组图像数据构造和代表量化信息。在另一个实施方案中,不需要用现有的通用解剖模型来生成量化解剖模型。使用诸如根据运动的结构重建(structure from motion,SFM)摄影测量法之类的方法直接地构建量化解剖模型。在这项技术中,需要围绕用户面部的一系列图像。使用在每个图像中检测到的特征和不同图像中的特征之间的相对距离来构造3D表示。可以利用一种组合通用形状模型与随后的局部SFM改进的方法来增强特征的局部细节,诸如鼻子形状。
[0154] 在另一个实施方案中,量化解剖模型仅由检测到的关键特征的点云构成。例如,通过多个图像检测和追踪眼睛的中心、眼角、鼻尖、耳朵的顶部和其它重要的界标。这些在数据集中的空间中取向的简单的点提供了获得随后的分析所需要的量化信息必要的全部信息。可以使用前述方法获得信息,或者使用如主动外观模型或主动形状模型的其它方法获得信息。
[0155] 可以使用诸如深度相机或激光传感器之类的技术采集图像数据,并且有的现有技术描述这些技术如何通过检测距离的能力而能够直接生成3D模型,基本上就像3D扫描仪。另外,使用离焦区域或者使用邻近图像之间的视差来估计深度。
[0156] 替代地,可以从用户拥有的用户面部的预存在的模型推导出量化解剖模型和尺寸。可以从3D扫描系统或成像装置采集模型。如果用户已经有他们的面部的解剖模型,则他们可以通过非暂时性计算机可读介质、网络连接或其它方式将解剖模型用数字方式传递到计算机系统。
[0157] 在采集用于定制诸如眼镜之类的产品的用户图像数据期间,用户的比例和尺寸是确保所得的产品的大小适当并且用户收到与预览版本匹配的产品的重要因素。下面的实施方案描述了用于从图像数据采集、按比例缩放和重构解剖模型的各种系统和方法:
[0158] 用多个图像中存在的参照目标按比例缩放用户面部的解剖模型的实施方案[0159] 现在参照图17,关于这个实施方案,a)计算机系统1701配置有相机或成像装置1702,用于采集用户1703的图像数据;b)已知尺寸的参照目标1704(例如硬币、信用卡、电话、平板电脑、屏幕、纸张、尺子等等)定位成使得在用户的至少一些图像中能看到参照目标
1704;c)参照目标有至少一个预定尺寸1705(例如硬币的直径);d)计算机系统基于图像数据重构用户面部的解剖模型;e)计算机系统在至少一些图像中检测参照目标,包含检测至少一个预定尺寸;f)计算机系统将解剖模型与原始的用户图像配准,从而使得模型坐标和相机位置将面部模型与用户面部1703的图像的姿势、位置和比例对准;g)计算机系统使用检测到的目标尺寸与每个图像中的参照目标的已知尺寸的比率,设置解剖模型的尺寸的比例因子;以及h)计算机系统可以另外对每个帧中的参照目标的多个预定尺寸中的测量到的尺寸求平均值或者加权,以便减少任何单个尺寸测量的误差。
[0160] 用只一个图像中存在的参照目标按比例缩放用户面部的解剖模型的实施方案[0161] 在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)使用配置有相机或成像装置的计算机系统采集用户的单独的图像,图像中存在已知尺寸的参照目标;c)参照目标有至少一个预定尺寸(例如硬币的直径);d)计算机系统基于图像数据重构用户面部的解剖模型;e)计算机系统将解剖模型与包含参照目标的用户的图像配准,从而使得模型坐标和相机位置将面部模型与用户面部的图像的姿势、位置和比例对准;以及f)计算机系统使用检测到的目标尺寸与图像中的参照目标的已知尺寸的比率,设置面部模型的尺寸的比例因子。
[0162] 按比例缩放构造用户的面部的解剖模型用的图像数据的实施方案:
[0163] 在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)已知尺寸的参照目标(例如硬币、信用卡、电话、平板电脑、屏幕、纸张、尺子等等)定位成使得在用户的至少一些图像中能看到参照目标;c)参照目标有至少一个预定尺寸(例如硬币的直径);d)计算机系统在至少一个图像中检测参照目标,包含检测至少一个预定尺寸;e)计算机系统使用对象的检测到的尺寸与预定大小的比率来设置图像数据的比例因子(例如,向像素的大小应用尺寸);以及f)计算机系统基于图像数据重构用户面部的解剖模型,所述模型采用图像的基础尺寸
[0164] 用所述模型中包含的参照目标按比例缩放用户面部的解剖模型的实施方案。
[0165] 这个实施方案的一个优点是,参照目标相对于用户的面部的取向和位置并不重要,因为将用模型来重构参照目标。
[0166] 参照图19,在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)已知尺寸的参照目标(例如硬币、信用卡、电话、平板电脑、屏幕、纸张、尺子等等)定位成使得在用户的至少一些图像中能看到参照目标;c)参照目标有至少一个预定尺寸(例如硬币的直径);d)如图19所示,计算机系统基于图像数据重构用户的面部1901和参照目标1902的模型(或多个模型),其中面部和目标可以相互接触或者可以不相互接触,从而使得两个模型相对于彼此位于空间中;e)计算机系统在所述模型中检测参照目标,包含检测至少一个预定尺寸;f)计算机系统使用在模型中检测到的参照目标的尺寸与目标的预定大小的比率来设置整体模型的比例因子;以及g)任选地,计算机系统在按比例缩放之后从模型中去掉参照目标,只留下最终的缩放后的面部模型。
[0167] 用用户输入的瞳距(Pd)按比例缩放用户面部的解剖模型的实施方案。
[0168] 在这个实施方案中,用户通常让验光师测量Pd,这样为按比例缩放头部提供了参考尺寸。如下是如何执行这个操作:a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)计算机系统基于图像数据重构用户面部的解剖模型;c)计算机系统在面部模型中检测用户的眼睛特征(瞳孔、虹膜等等)和测量眼睛特征之间的距离;d)在图像采集和重构过程之前、之后或期间,用户提供他们的Pd测量值;以及e)计算机系统使用用户的Pd测量值来设置模型尺寸的比例因子,调整模型的大小,从而使得在模型中测量到的眼睛距离与用户的实际Pd匹配。
[0169] 用在图像中检测到和测量到的且然后应用以按比例缩放用户面部模型的尺寸按比例缩放用户面部的解剖模型的实施方案
[0170] 在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)已知尺寸的参照目标(例如硬币、信用卡、电话、平板电脑、屏幕、纸张、尺子等等)定位成使得在用户的至少一些图像中能看到参照目标;c)参照目标被确定为具有至少一个预定尺寸(例如硬币的直径);d)计算机系统在至少一个图像中检测参照目标,包含检测至少一个预定尺寸;e)计算机系统在至少一个图像中检测面部特征(瞳孔、虹膜、眼角、嘴角、鼻子等等)并测量面部特征之间的未缩放的距离;f)计算机系统基于图像数据重构用户面部的解剖模型;g)计算机系统使用在图像中检测到的参照目标的尺寸与目标的预定大小的比率,以设置检测到的面部特征的比例因子(Pd、眼角之间的距离、嘴部宽度等等);h)计算机系统在面部模型中检测面部特征,测量面部特征之间的距离,且使用按比例缩放后的面部特征测量值来按比例缩放面部模型;以及i)任选地,计算机系统直接在与图像数据对齐的面部模型中检测面部特征,无需首先在图像数据中检测面部特征。
[0171] 通过利用存在的参照目标确定深度来按比例缩放用户面部的解剖模型的实施方案
[0172] 在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)已知尺寸的参照目标(例如硬币、信用卡、电话、平板电脑、屏幕、纸张、尺子等等)定位成使得在用户的至少一些图像中能看到参照目标;c)参照目标有至少一个预定尺寸(例如硬币的直径);d)计算机系统在至少一些图像中检测参照目标,包含检测至少一个预定尺寸;e)如图17所示,计算机系统1701使用参照目标1704的检测到的尺寸1705、已知大小和固有的相机参数来确定从相机到目标的距离1706;f)计算机系统基于图像重构用户面部的模型;g)计算机系统使用离参照目标和用户的面部的距离和固有的相机参数来确定用户的面部模型的比例;以及h)任选地,计算机系统对从多个帧测量到的参照目标的尺寸求平均值,以在按比例缩放面部模型之前减少任何单个图像测量值的误差。
[0173] 使用计算机系统用在图像中检测到的深度按比例缩放用户面部的解剖模型的实施方案
[0174] 在这个实施方案中,a)使用配置有带有深度感测能力的相机或成像装置的计算机系统采集用户的图像数据;b)用户定位计算机系统以获得他们自己的图像,同时计算机系统还测量从计算机到用户的距离(测距仪、自动对焦距离、深度传感器等等);c)计算机系统使用从计算机到用户测量到的距离和固有的相机参数来确定图像的比例;以及d)计算机系统基于图像数据重构用户面部的模型;其中基于图像中的尺寸对模型进行了固有的按比例缩放。
[0175] 使用计算机系统用在每一像素中检测到的深度按比例缩放用户面部的解剖模型的实施方案
[0176] 在这个实施方案中,a)使用配置有带有深度感测能力的相机或成像装置的计算机系统采集用户的图像数据;b)用户定位计算机系统以获得他们自己的图像,同时计算机系统还测量从计算机到图像数据中的每个像素的距离;c)计算机系统使用在每个像素上从计算机到用户测量到的距离并使用相机固有的参数,按比例缩放图像数据的每个像素;以及d)计算机系统基于图像数据重构用户面部的模型,向模型应用每个像素的比例,从而使得完成时模型经过按比例缩放。
[0177] 使用计算机系统用只在近距离上检测到的深度按比例缩放用户面部的解剖模型的实施方案。
[0178] 在这个实施方案中,a)使用配置有带有深度感测能力的相机或成像装置的计算机系统采集用户的图像数据;b)使用配置有带有深度感测能力的相机的计算机系统采集用户的特写图像数据,例如,图像数据中包含至少用户的眼睛或其它面部特征;c)在采集特写图像期间,用户定位计算机系统以获得至少一些面部特征的图像,同时计算机系统还测量从计算机到用户的距离;d)计算机系统在特写图像中检测面部特征(虹膜、瞳孔等等)并测量特征之间的距离;e)计算机系统使用从计算机到用户测量到的距离和固有的相机属性确定图像数据中的像素的比例;f)计算机系统基于图像比例和特征之间测量到的距离来确定面部特征之间的参考距离;g)计算机系统基于用户的整个面部的图像数据来重构用户面部的模型;以及h)计算机系统在面部模型中检测面部特征,测量面部特征之间的距离,且使用参考特征测量值来按比例缩放面部模型。
[0179] 使用计算机系统和双镜反射按比例缩放用户面部的解剖模型的实施方案。
[0180] 参照图20,在这个实施方案中,a)使用配置有成像装置2003和在与成像装置相同一侧上的显示器2008的计算机系统2001来采集用户2004的图像数据;b)用户2004采集镜子2007前面的图像,其中显示器2008和成像装置2003面朝镜子2007,从而使得它们同时采集用户的图像数据,并且装置显示也由成像装置通过镜子反射捕获的图像数据的预览;c)计算机系统检测图像中的计算机系统的至少一个尺寸(屏幕大小、计算机上的特征大小、计算机上的参考图像等等);d)计算机系统通过提供它的品牌/型号、屏幕尺寸、参考图像的大小等等来确定检测到的尺寸的已知参考大小;e)计算机系统检测用户的同时图像数据集合(用户和装置的显示器上的用户)中的每一个中的至少一个尺寸(眼睛特征之间的距离、头部大小、模型尺寸等等);f)计算机系统2001使用计算机系统的参考尺寸和固有的相机属性来确定装置和镜子之间的距离2009;g)计算机系统使用装置和镜子之间的距离、在装置的显示器上的检测到的用户尺寸、在镜子中检测到的用户尺寸和成像装置的属性来设置检测到的用户尺寸的比例因子;h)计算机系统基于图像数据重构用户面部的模型;i)计算机系统在重构的模型上检测用户尺寸并基于比例因子按比例缩放模型;以及j)任选地,用户可以靠着镜子放置或握持参照对象,以确定从计算机系统到镜子的距离。
[0181] 使用计算装置的前置相机和后置相机按比例缩放用户面部的解剖模型的实施方案。
[0182] 再次参照图20,在这个实施方案中,a)使用配置有在计算机系统的正面2002上和背面2003上的成像装置的计算机系统2001来采集用户的图像数据;b)用户2004在镜子2007前面采集图像数据,从而使其同时利用一个相机采集用户的图像数据(方向2005)和利用相反的相机(方向2006)采集用户的反射的图像;c)计算机系统检测图像数据中的计算机系统的至少一个尺寸(屏幕大小、计算机上的特征大小、计算机上的参考图像等等);d)计算机系统通过提供它的品牌/型号、屏幕尺寸、参考图像的大小等等来确定检测到的尺寸的已知参考大小;e)所述计算机系统基于图像数据重构用户面部的解剖模型,其中计算机系统任选地使用这对图像数据一起作为立体数据以增强3D重构;f)计算机系统在两组图像数据上对齐解剖模型;g)计算机系统使用参考尺寸、对齐的解剖模型和相机固有的参数来确定模型的比例因子;以及,h)任选地,用户靠着镜子放置或握持参照对象,以确定从计算机系统到镜子的距离。
[0183] 使用计算机系统和镜子按比例缩放用户面部的解剖模型的实施方案:
[0184] 在这个实施方案中,a)使用配置有相机或成像装置的计算机系统来采集位于镜子前面的用户的图像数据,其中相机位于用户的面部旁边;b)已知尺寸的参照目标(例如硬币、信用卡、电话、平板电脑、屏幕、纸张、尺子等等)定位成使得参照目标在镜面上并且在用户的至少一些图像中能看到参照目标;c)参照目标有至少一个预定尺寸(例如硬币的直径);d)计算机系统在至少一个图像中检测参照目标,包含检测至少一个预定尺寸;e)计算机系统基于图像数据重构用户面部的解剖模型;f)计算机系统使用相机固有的参数、参照对象的检测到的参考尺寸和参照对象的已知尺寸来确定从相机到镜子的距离。因为镜子是用户与相机看到的用户的反射之间的中点,所以从相机到用户的距离是从相机到镜子的距离的两倍;g)计算机系统使用从相机到用户的距离和相机固有的参数来设置图像数据的比例;以及h)计算机系统基于图像数据重构用户面部的解剖模型。
[0185] 用以前采集的图像集合来构建和按比例缩放用户面部的解剖模型的实施方案[0186] 这个实施方案的优势是使用可以任由用户处理的以前采集的图像集合(例如现有照片的集合、相册、社交网络或在线图像相册等等)。参照图21,在这个实施方案中,a)计算机系统接收用户2105的图像(例如,2101、2102、2103)的集合,b)可以事先标记出图像的面部识别数据,以确定每张照片中的哪个面部是用户。c)如果事先没有标记图像,则计算机系统执行面部识别,提示用户在至少一个图像中确认哪个面部是用户的,或者使用最高频率检测到的面部来从照片中的其他人确定用户,d)计算机系统检测用户的每一图像中的面部特征(例如眼睛、鼻子、嘴、耳朵、下颌等等的各个点)并且将面部模型2104与图像数据配合,e)任选地,计算机系统确定每一图像(例如,2101对比2103)中的表情,并且将面部模型调整成中性表情,f)计算机系统确定每一图像中的用户面部的姿势,g)计算机系统通过跨用户的特征集和相机位置(2105、2106、2107)的集合配合面部模型来重构用户面部的单个模型2104。通过这些方法之一按比例缩放面部模型:h)计算机系统基于前述的方法(Pd输入、具有参照目标的图像等等)从用户请求附加数据。i)计算机系统检测图像中的已知对象以确定参考大小(例如识别纸张、徽标、电话等等)。j)计算机系统使用本文中描述的任何其他方法请求所拍摄的用户与参照对象的另外的图像数据。k)由于含有涉及形状和大小的尺寸的形状模型,固有地按比例缩放面部模型。
[0187] 使用用户已经拥有的现有的眼镜来按比例缩放用户面部的实施方案
[0188] 许多购买眼镜的人已经拥有眼镜,且不论眼镜是否很适合,它都用来帮助按比例缩放用户面部的尺寸。替代地,制造商可以发送一对样品眼镜以供这个过程使用。
[0189] 参照图22,在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户2202的图像数据2201;b)使用计算机系统采集用户佩戴自己拥有的眼镜2204的单独的图像数据2203,c)计算机系统请求用户提供关于这副眼镜的参考尺寸信息,诸如镜框的宽度2205或长度、镜片的大小等等(例如,用于按比例缩放眼镜的参照目标旁边的眼镜的照片、通过使眼镜与计算机系统显示器2206上的设置成1:1比例的参照2208对准对眼镜2207的测量值(如后面的实施方案中所解释)、输入测量值、眼镜的型号名称、尺子或屏幕上显示的用户能够用来测量他们的眼镜的交互式尺子等等),d)计算机系统基于图像数据重构用户面部的模型,e)计算机系统检测图像数据中的眼镜尺寸(例如,镜框的总体宽度或高度,镜片的宽度等等),f)计算机系统使戴着眼镜和未戴着眼镜的图像数据之间的用户面部的特征或模型(例如,眼睛2209和嘴角2210)相关联,g)计算机系统基于检测到的眼镜尺寸和参考眼镜尺寸以及戴着眼镜与未戴眼镜的图像数据之间关联的特征来确定面部模型的比例因子,以及h)计算机系统将面部模型与原始的用户图像配准,从而使得模型坐标和相机位置将面部模型与用户面部的图像的姿势、位置和比例对准。
[0190] 使用声纳来按比例缩放用户面部的实施方案
[0191] 对于要求计算从计算机系统到用户的距离或计算机系统到镜子的距离的任何实施方案,使用声纳法。
[0192] 下面的实施方案描述使用声音确定距离。a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)使用还配置有麦克风和扬声器的计算机系统来发出声音(例如,一系列频率、重复的声音等等)并且用麦克风记录相同的声音,c)从装置上的扬声器、用户身上的头戴受话器或者固持在一段距离外的头戴受话器或其它装置发出声音,d)计算机系统通过分析从计算机系统发出声音到计算机系统的麦克风检测到声音时经过的时间,计算计算机系统本身和对象之间的距离,诸如从计算机系统到镜子的距离,或从用户耳朵里的头戴受话器和计算机系统的距离,e)计算机系统可以使用多个声音、滤波或其它分析法来减少噪声、反射、假象,并且优化距离检测的准确度,以及f)计算机系统如其他实施方案中所述使用所述距离按比例缩放用户的图像数据或解剖模型。
[0193] 从已经重构和按比例缩放的面部模型确定Pd的实施方案:
[0194] 在这个实施方案中,a)计算机系统从图像数据获得用户的按比例缩放的面部模型(使用前述的任何方法),b)计算机系统从面部模型中检测眼睛的特征(虹膜、瞳孔等等),以及c)计算机系统测量面部模型上的眼睛特征之间的距离,以计算Pd。
[0195] 向用户提供用于测量他们选择的参照对象的大小的方式的实施方案。
[0196] 对要求已知尺寸的参照对象的任何实施方案,在有些情形中,用户需要使用他们或计算机系统并不知道是多大尺寸的对象,即,名片、铅笔、他们拥有的眼镜等等。
[0197] 这个具体实施方案描述了一种用于测量尺寸未知的矩形对象(或能够配合在矩形内的对象)的系统,但是该方法可以扩展到任何形状。参照图23:a)使用配置有显示器2302和输入装置的计算机系统2301在显示器上显示参考框2303,b)计算机系统获得关于计算机系统的显示器的信息,诸如分辨率、像素大小、整体显示器尺寸。计算机系统从它本身、计算机系统上的软件、从网络浏览器、从提供关于显示器或计算机系统模型的信息的用户获得这个信息,c)计算机系统计算显示器的像素大小(例如,通过将屏幕的长度和宽度除以像素数目)。d)计算机系统然后计算显示器上的参考框2303的真实大小,e)计算机系统指示用户靠着屏幕放置他们的参照对象2306,并且使用输入装置(触摸屏、鼠标、触摸垫、手势等等)如2305所说明调整参考框2303以匹配对象的大小2307,f)计算机通过计算调整过的参考框的大小来获得参照对象的大小,以及g)任选地,计算机系统配置有成像装置2308以拍摄参照对象的图像数据,从而使得它获得关于对象的外观的信息以供在将来的图像中识别。如果计算机系统配置有深度图像装置,则计算机系统使用深度和比例信息来增强对参照对象的测量。
[0198] 对于涉及到使用参照对象的任何实施方案,对象不需要垂直于成像装置以获得正确的尺寸。使用关于参照对象的先前认识,确定对象相对于相机的角度。使用图像平面上的角度和测量到的距离来确定对象的真实的参考尺寸。
[0199] 任选的用户偏好和信息
[0200] 图1A和图1B在步骤104中描述捕获用户的处方数据和其它信息以给分析提供信息。这个步骤可以在后面的时间执行,但是如果数据捕获在计算方面颇费时间,则在计算机系统分析图像数据的同时捕获数据具有优势。计算机系统通过用户借由连接至计算机系统的输入装置输入信息的形式来请求这个信息。计算机系统还可以通过获得物理信息集的图像数据(例如处方的照片)来接收信息。计算机系统可以使用光学字符识别来解码图像和提取用户的处方数据。计算机系统可以通过声音识别、电子方式传递的数据或其它方式来接收用户信息。后面将在给镜片建模和创建定制眼镜模型的描述中描述用户输入的信息的使用。
[0201] 可配置的产品模型
[0202] 图1A和图1B中,步骤106和107描述了可配置的产品或可配置的眼镜模型。在一个示例性实施方案中,可配置的模型是三维的,配置有参数特征和尺寸,并且表示成3D表面网格。由多种方法创建眼镜的3D模型,诸如经由扫描或摄影测量法的3D捕获,或通过3D计算机辅助绘图(CAD)或3D建模。应当注意,可以使用多种其它方法或可配置模型的多种其它表示,诸如2D模型、形状模型、基于特征的模型等等。
[0203] 在一个示例性实施方案中,由眼镜制造商创建3D参数模型,包含镜框和或镜框和镜片。将3D参数模型创建为由元素或特征组成的表面网格或实体模型,元素或特征包含但不限于是多边形、曲线元素等等。参数模型使得能够更改眼镜的一个或更多个尺寸,这样将会更新适当的模型和网格元素,同时维持其它特征之间的一致的关系。
[0204] 图9示出了眼镜模型901的一个示例,通过更改镜片周围的眼镜宽度903的参数,将眼镜模型901调整成眼镜模型902。参数化的眼镜模型的优势是,鼻梁架和鼻托的宽度907得到保留,高度908得到保留,且眼镜模型901和902之间的整体美观外观是一致的。参数化使得能对镜框901的仅一个方面作出大幅改变,而不会影响其它重要的设计元素。参数化的眼镜模型的一个优势是,将变化从一个特征传播到模型的其余部分,同时约束所有其它特征。这些变化表示成简单的数值,这样允许非常高效的数据传递和存储。这些参数在产品的大小和形状方面可以有无数种变化,从而在需要时允许定制模型与用户的解剖结构和偏好的配合的最终精确性。这个示例中的眼镜形状能有很大变化或无数种变化,体现了领先的从头开始的定制产品的基本原理。通过改变和定制主要部件(在这种情况下是前框)的基础形状,用预先制造的或储存的部件可能永远无法实现的非常独特的方式,所述设计是内在地领先的并且是针对个体用户定制的。
[0205] 图13说明了示例性基础眼镜设计1301,其体现了进一步的形状定制。基础设计是眼镜模型所具有的基本的式样或形状,通过配置和参数可以修改这个基础设计。计算机系统调整点1305与1307之间的曲率。或者,用户引导计算机系统输入装置,选择眼镜上的1305处的点,并且沿着点线在箭头1306的方向上朝点1307移动。然后,将在编辑后的区域1308中修改眼镜1302。为了保持对称同时减少定制眼镜必要的步骤数量,将眼镜一侧上的变化同样应用于眼镜的另一侧,如更新后的眼镜1303中所示。这个对称效应是可以作为可配置的模型的特征而引入的约束的一个示例。
[0206] 可配置的眼镜模型有约束,约束防止某些关键部分/区域被更改成制造起来不再是最佳的设计。例如,各部分的最小厚度受到限制,以确保结构强度,镜片周围的最小厚度受到限制,以确保镜片可以组装到眼镜中而眼镜不会断裂,并且可能的铰链位置受到限制,以确保铰链可以用适当的角度配合和安放。如果必须使用特定的储存部件铰链,则铰链的连接点必须是一致的,不管定制眼镜的基本形式和形状如何改变。另外,由于对称或层叠效果,某些特征是相关的;例如,如果计算机或用户调整了边缘的一个部分的宽度或厚度,则两侧上的整个边缘都要调整以确保外观对称且有吸引力。特征的整体位置(诸如铰链和鼻托的位置等等)仍然受到约束。所有这些约束和关系将由眼镜设计者预先编程,并且将整合在可配置的模型中。
[0207] 图29说明用可配置的产品模型实现的定制的示例;具体而言,是组合各种参数以改进和定制产品模型的能力。眼镜模型2900配置成图解说明中的16项变动。4列2902说明了眼镜镜片宽度2903和高度2904的示例性配置。4行2901说明了鼻梁宽度2905、镜腿接触耳朵之处的镜腿之间的距离2906、从前框到耳朵的高度2907以及其它微小的改变的各种参数的组合。诸如材料厚度2908以及铰链大小和位置2909之类的关键特征保持不变。参数配置使得眼镜设计能够有很大的可配置性,同时仍然是能够制造的。制造商可以对所有这些设计和更多的设计使用一种铰链和一种材料厚度,然而仍然允许对基础形状和大小有很大的定制。模型2900和2910区别很明显,且一般要求不同的批量生产的产品。用传统的批量生产的产品向客户提供这种水平的变化是完全不实际的,这要求设计和储存成千、成百万的或更多的部件。用本文中描述的方法和系统的其余部分可配置的模型允许在图29中说明的所有配置中配置一个基础模型,如此可以针对个人客户量身定制一个产品且然后生产出来。应当指出,这16种变化代表总的潜在设计变化的极小的子组;通过在示出的示例之间进行交叉(后面将具体阐述)和配置说明中未示出的其它参数,可以实现成千、成百万或无数种变化。例如,如果可配置的模型有10个可以更改的参数;每个参数有20个递增量(这也能是无数种),诸如距离为2mm、4mm、6mm等等;并且模型能提供20种颜色和3种精加工;则这一个模型总共有6x1021或六个千的七乘方(即6000乘以10亿乘以10亿)种配置组合。还应当指出,这些类型的配置并不会对更换和组合现成部分构成的类型造成限制。每改变一个参数,部件的基本形状和大小就会完全不同,从而要求可配置的模型并且其部分要从头开始制造。只有用本文中描述的领先的从头开始的定制方法才能实现这种程度的定制。
[0208] 除了几何形状之外,眼镜模型还可以有表面精加工、颜色、纹理和其它美容属性方面的参数。3D眼镜模型可以用一个图像纹理映射以表示所述表面,或者用纹理、照明和表面属性(诸如反射、透射、表面下散射、表面或粗糙度)来渲染,以表示眼镜的真实照片外观。模型的可配置性质将允许表示大量的材料、喷漆、颜色和表面精加工。使用本领域的技术人员已知的各种渲染技术(诸如射线追踪)用可能最真实照片的方式来渲染眼镜和镜片,目的是在显示器上准确地表示和再现镜框和镜片在制造时的确切外观。其它光学交互效果,诸如阴影和反射,可以显示在眼镜上和用户面部的3D模型上。3D眼镜模型在镜腿有铰接点,以允许镜腿相对于镜框正面弯曲并且配合到用户的面部模型。在另一个实施方案中,3D眼镜模型还允许镜框的散料属性中有合适量的弹性模数(伸展度),这个弹性属性可能取决于所选择的镜框材料。
[0209] 产品定制
[0210] 一旦构造好解剖模型,就使用解剖模型给可配置的产品模型的放置和定制提供信息。在一个示例性实施方案中,计算机系统基于下面各项中的至少一个根据用户的面部自动调整眼镜:量化解剖模型、用户的偏好输入和用户的图像数据。量化解剖模型和可配置的眼镜模型的尺寸都是计算机系统已知的,自动进行各种大小调整以确保最佳配合,或者实现非常接近最佳配合的方案。描述了三种不同的方法:在相对于解剖模型对准/放置和为用户渲染预览之前定制可配置的眼镜模型的方法,在相对于解剖模型对准/放置之后但是在为用户渲染预览之前定制可配置的眼镜模型的方法,以及在对准/放置和为用户渲染预览之后定制可配置的眼镜模型的方法,从而使得用户能够在看到他们的面部上的基础的预先配置的眼镜模型之后提供另外的输入。
[0211] 在放置于解剖模型上之前定制
[0212] 在一个实施方案中,在眼镜模型置于解剖模型上之前自动定制眼镜模型;因此在将眼镜模型直接配合或渲染到用户的图像之前,创造全新且定制的设计:
[0213] 参照图30。在这个实施方案中,a)计算机系统获得识别出了关键面部特征3005的按比例缩放的面部模型3001(使用任何前述的方法),所述关键面部特征3005包含但不限于眼睛、鼻子、耳朵、额头等等的尺寸、点、线和面,b)计算机系统获得识别出了关键特征3006的可配置的3D产品模型3002,所述关键特征3006包含但不限于镜腿、鼻托、镜片、鼻梁架等等的尺寸、点、线和面。c)计算机系统对配置产品模型参数执行优化,以基于预定义的配合度量减少面部和模型的各种特征之间的误差,所述预定义的配合度量诸如是眼镜宽度与面部宽度的最佳比率、眼睛在镜片内的最佳定心等等。例如,调整镜腿的长度,一直到镜腿和耳朵顶部之间的误差最小化为止。或者,计算机系统基于其它技术,诸如机器学习或分析等式,来优化配合和式样。d)计算机系统用新的参数来更新可配置的产品模型3003。e)计算机系统执行优化以获得刚体变换(如3004处说明的),以将产品模型3003与面部3001对准。产品和面部的关键特征之间的误差得以最小化,并且给一些特征的加权大于其它特征。f)计算机系统变换产品模型的坐标以将产品模型与解剖模型对准,从而将新的眼镜设计放置成与用户的解剖结构对准。
[0214] 在放置于解剖模型上之后定制
[0215] 在另一个实施方案中,相对于解剖模型定位基础眼镜,且然后如下完成自动调整,从而在为供用户预览而渲染之前创造全新的定制产品。参照图31。
[0216] a)计算机系统获得识别出了关键面部特征3107的按比例缩放的面部模型3101(使用任何前述的方法),所述关键面部特征3107包含但不限于眼睛、鼻子、耳朵、额头等等的尺寸、点、线和面。b)计算机系统获得识别出了关键特征3108的可配置的产品模型3102,所述关键特征3108包含但不限于镜腿、鼻托、镜片、鼻梁架等等的尺寸、点、线和面,c)计算机系统执行优化以获得刚体变换以将产品模型与面部对准,如3103处说明的。产品和面部的关键特征之间的误差得以最小化,并且给一些特征的加权大于其它特征。d)计算机系统变换产品模型的坐标以将产品模型与解剖模型对准。如3104处说明的,计算机系统分析产品模型和解剖模型之间的相互作用和尺寸和误差。在示例说明中,3103处的眼镜模型对于用户的面部而言过大,由于鼻子大小所以放得过低,并且对于面部形状而言过宽。e)计算机系统然后如3105中说明自动调适产品模型,以基于预定义配合度量使面部特征和产品特征之间的误差进一步最小化,预定义的配合度量诸如是眼镜宽度与面部宽度的最佳比率、眼睛在镜片内的最佳定心等等。所得的定制模型3106是针对用户更好地设计的。
[0217] 定制配合
[0218] 计算机分析量化解剖模型和眼镜模型之间的一组测量值。该组测量值包含但是不限于:眼镜的宽度相对于面部宽度;鼻托之间的距离相对于鼻子宽度;鼻托的角度、形状或大小相对于鼻子的角度、形状或大小;镜腿的长度相对于耳朵位置;眼镜的高度相对于面部的高度;每只耳朵相对于眼睛或其它参考点的高度;镜片中心和眼睛中心之间的距离;从镜片内表面到瞳孔的顶点距离;镜腿相对于镜框的向外角度;镜片相对于面部正面形成的平面的向外角度;眼镜包裹角度相对于面部的对应包裹曲率。
[0219] 计算机系统使用这些测量值根据用户的面部优化可配置的眼镜模型。通过诸如眼镜与面部宽度的比率的最佳值之类的默认度量给自动调整提供信息。理想地,每个度量是跨所有用户面部正确地按比例缩放的无量纲比率。然而,诸如顶点距离之类的一些测量值可以是指定尺寸。也可以使用最佳值的范围。个别优化每个度量,或者如果有相互影响的话一起优化,诸如眼镜镜框宽度和镜腿角度之间的相互影响。
[0220] 例如,图14示出了自动优化之前的视图1411中的用户量化解剖模型1401和可配置的眼镜模型1402。一组度量是眼镜宽度1403与面部宽度1404的比率、镜腿角度1407和整个镜腿的长度1406相对于到耳朵顶部的距离1405。仅举一个例子,这些度量的最佳值是0.95、87度和1,对于这些度量,预先优化的眼镜模型1402并不满足。计算机系统将试图使所有三个度量和最佳值之间的误差最小化。使用诸如最小平方、最陡下降之类的优化方法或本领域的技术人员已知的其它优化方法来获得与用户面部最佳配合的新的一组眼镜参数。在更新了参数之后,显示如1412所示的自动调整后的3D眼镜模型,从而实现所有眼镜模型的更好的第一可视化或近似,因为宽度1408、镜腿长度1409和镜腿角度1410更好地适合于用户。
将眼镜大小自动确定成针对用户的最佳配合或接近最佳配合大小,能提供更好的购物体验,这是因为用户得到最终眼镜设计要花费的时间和步骤减少了。用户在看到自己戴着从未预想过的钟爱的眼镜设计或他们以前不知道会适合自己的式样的钟爱的眼镜设计时,还可能感到非常惊喜。使得每种设计和式样良好配合的概念是确保良好的购物体验的巨大的第一步。
[0221] 举另一个例子,图28说明了鼻子2801和定制之前的眼镜模型2802的横截面。鼻托2803不与鼻子的轮廓匹配,并且与鼻子的表面相交。用针对用户定制配置的眼镜模型2805说明相同的鼻子2804。鼻托2806现在与鼻子的轮廓和角度匹配,并且恰好架在表面上。这是完全定制的优异能力的一个示例,因为现有技术并不能够完全定制鼻托轮廓使其精确地匹配和配合用户的鼻子。
[0222] 在一些情况下,当眼镜模型是高度可配置的或者最佳值完全在参数化的设计的方案空间以内时,就不需要进行优化,且可以获得确切指定的度量的直接方案。例如,如果镜腿长度需要是103.4mm并且眼镜的正面宽度需要是142.1mm,则可以将模型精确调整成这些值。
[0223] 最佳值可以基于用户输入的或从图像数据确定的其它因素改变,诸如性别、年龄、面部形状、眼镜式样、眼镜用途或者现在流行的是什么样的。例如,女性可能一般偏好相对于他们的面部大小比男性稍小的眼镜。为了休闲用途选择眼镜的用户可能更喜欢镜框包裹度增大并且镜腿配合得更紧,以减少进入他们的眼睛里的风,加宽他们校正后的视场和/或提供更大的防冲击或遮阳保护。选择塑料眼镜的用户可能比选择金属眼镜的用户喜欢更大的眼镜。可以使用这些用户限定的偏好在定制过程期间更改最佳参数。
[0224] 定制和美观预测
[0225] 在一个示例性实施方案中,计算机系统基于用户的图像数据及其提供的可能的另外信息来推荐定制配合和式样。除了针对用户所选择的基础设计的定制配合之外,计算机系统还可以建议眼镜式样,从而创造用户特有的定制产品。用于提供定制建议的从用户的成像数据和解剖模型获得的关于用户的信息包含但是不限于:
[0226] 整体面部大小,诸如模型中的面部正面的面积或头部的体积;面部宽度;面部高度;耳朵位置(每只耳朵可以有不同的高度);瞳距;眼睛大小,诸如面积或长度或高度;眼睛之间的间距;鼻子、眼睛或嘴巴的不对称性;眼睛颜色;头发颜色;头发的数量和形状;肤色;种族;年龄;位置或地区式样潮流;性别;颧骨形状和位置的评估;前额角度;面颊角度;眼睛下面的眼窝;眉毛大小和形状;面部形状(例如,圆形、方形、椭圆形等等);眼睛相对于面部中心的垂直位置;头发式样(例如,向上、向下、长、秃头、直发、卷发);面部毛发;特征的强度或柔和度。
[0227] 从图像数据限定一部分特征、所有特征或另外的特征。一些特征可以在量化解剖模型上直接测量。例如,鼻子的曲率和耳朵的位置可以直接从解剖模型测量。在一个示例性实施方案中,使用机器学习算法给特征分类。收集来自多个面部的图像数据的训练数据库,并记录所有的特征。计算机系统对每个图像执行多项分析,诸如强度图、梯度过滤器、哈尔过滤器(Haar filters)、黑塞过滤器(hessians)、索贝尔过滤器(Sobel filters)、霍尔变换(Hough transforms)、分段和坎尼过滤器(canny filters)以便测量或检测多个特征,诸如嘴巴角度、面部边缘、鼻子大小、皱纹等等。例如,为了估计皱纹特征以帮助估计年龄,计算机系统分析通过解剖模型分段的图像的部分。在模型的范围内,应用索贝尔过滤器以检测边缘和边缘的强度。将面部区域细分成多个区域,在这多个区域中应用索贝尔过滤器,并且在每个区域内量化边缘的数量和强度。面部的所有区域的总和提供用于检测皱纹的特征。没有皱纹的人将仅在诸如眼睛和嘴之类的关键面部特征处具有边缘特征,他的分数相对低于有皱纹的人,有皱纹的人的边缘特征将更多,这是由于其皱纹的缘故。使用机器学习方法给训练集中的特征分类,包含但不限于支持向量机、助推(boosting)、装包(bagging)、随机森林(random forests)等等。计算机系统然后使用机器学习分类器使图像数据与期望特征相关。
[0228] 其它的美观特性也可以量化。使用先前提到的技术来检测皮肤特征或头发特征允许隔离图像数据的那些区域。对颜色的图像分析于是将允许确定对肤色和发色的表征。丛集这种方法将使得能够确定肤色或发色的种类,将图像中的类似颜色分组在一起。替代地,可以对图像数据的颜色空间使用机器学习方法,以便训练分类器来确定美观特性。
[0229] 在一个示例性实施方案中,还要求用户提供一些信息以增强或补充从他的图像数据中分析出来的数据。用户提供包含但不限于下面各项的信息:年龄;性别;位置;职业;式样偏好,诸如“时尚”或“传统”;他们戴眼镜时想要穿的套装的类型(正装、休闲装等等);颜色偏好;他们最喜爱的衣服;不同的眼镜式样或形状的优先等级;以及描述他们自己或他们的品位的词语。
[0230] 每个特征还可以带有相应的权重,其向算法表明所述特征的重要性。替代地,用户可以将社交网络网站、个人简档、关于用户的宣传数据库信息或其它这样的私人信息源链接至计算机系统。这样使得计算机系统能够导入关于用户的多种信息,不止是通过询问用户能够得到的信息,诸如用户最喜爱的音乐的列表、明星、他们去过的地方、他们喜欢的餐馆或他们公开地使用的词语和描述词的语言分析。例如,如果分析用户在博客或社交网站上发的贴,则可能明白他们提到“红色”的频率远远高于其它颜色,或者他们在图像中最经常穿的是暗色的正装,这些信息可以用来告知计算机系统用户的颜色或式样偏好。
[0231] 在一个示例性实施方案中,计算机系统将有与各种特征相关联的偏好的训练数据库。这些偏好包含但不限于:眼镜式样、眼镜材料、眼镜形状、眼镜颜色、眼镜精加工、眼镜大小(包含局部大小调整,包含整体大小和定制局部调整,诸如宽度、厚度、等等)、眼镜在面部上的位置和镜片大小。
[0232] 偏好是通过实际的用户、设计者、测试用户或通过其它方式确定的。将偏好设置成单个偏爱、多个偏爱、偏爱范围、分级的偏爱或有分数的偏爱。另外,用户可能有不喜欢的偏好,或者对他们没有吸引力的特征。例如,用户可能同样地喜爱圆形镜框形状和椭圆形镜框形状,但是不喜欢矩形的镜框形状。基于用户对计算机系统的使用来自动设置偏好。在一个示例性实施方案中,用户购买眼镜,且当他进行某些动作时,诸如在购物过程期间给眼镜分级、将眼镜添加到他们的购物车、更换眼镜或回答关于眼镜的问题时,计算机系统记录他的动作并且将这些动作与偏好相关联。例如,如果用户反复地试戴、喜欢和更换成带有蓝色的眼镜,那么将蓝色作为该用户的偏好关联起来。
[0233] 在另一个实施方案中,可以由专业设计者或测试用户来确定这些偏好。设计者或测试用户将逐渐通过具体的一组问题或活动,其要求设计者或用户给各种眼镜设计和特征分级或评估。还可能要求他们根据他们的偏好来修改或定制眼镜。基于这些用户的详细的测试结果,可以建立他们的偏好的数据库。
[0234] 于是,数据库由下面多个变量之间的关系构成:用户的图像数据、量化的解剖模型,以及所提供的个人信息;关于用户及其图像数据的分析数据;以及他们已经设置的偏好。计算机系统应用机器学习或预测分析来基于新的用户的下面的输入而构建响应(偏好)预测:他的新的图像数据和解剖模型、个人信息和在计算机系统上的购物行为。这种方法能够实现一个优势,即提供高度定制的并且方便的眼镜购买体验。例如,用户的图像数据分析和对问题的几个基本的回答提供该用户的下面的详细的简档:30多的妇女、暗色的中等长度的头发、方脸、鼻子非常小、眼睛有点蓝色、肤色中等、时尚的流行品位、白领职业、喜欢大胆的潮流、每天戴眼镜,而且住在市区。这些特征中的每一个可以与各种眼镜偏好相关联,并且在通过机器学习方法被分类时,组合的信息能够推荐一组真正匹配用户的偏好的眼镜,即便她并没有说出来或者事先不知道她对眼镜设计的偏好。当与自动确定眼镜大小的方法结合时,在本文中描述的眼镜购买实现方式中,用户在开始她的购物体验时就有非常个性化的体验,并且与通过其它现有的购物实现方式相比,将更快且更容易地得到更理想的定制眼镜。
[0235] 在另一个实施方案中,针对不对称定制产品模型。例如,图24示出了用户2401,其具有常见的问题,即歪鼻子2402和在2403处一只耳朵低于另一只耳朵。面部的这些解剖不对称在许多人身上存在,且影响眼镜在他们的面部上的配合度或外观,因而往往要求验光师手动校正,这样可能会修正问题,或可能无法修正问题。在用户2401上,由于不对称的面部特征,眼镜2404架在角度2405上,并且偏向一侧。在任何先前的定制实施方案中,可以针对面部的左侧和右侧不同地调适产品模型。这可以通过具有不同的测量值、点、面或其它几何形状来针对产品的左右大小优化来实现。所得的眼镜可以针对左侧和右侧上的特征有不同的尺寸,例如,镜腿有不同的长度,或者鼻托偏向一侧。向优化添加另外的约束,以实现眼镜的水平并且良好对准的放置,即便用户有不对称的特征。在不对称定制之后,用户2401得到能水平地架在面部且居于中心位置的眼镜2406。
[0236] 期望考虑到各种表情时的用户面部来设计定制眼镜。例如,当人微笑的时候,面颊结构会改变,或者当人在皱眉的时候,额头的形状会改变,这样可能导致干扰眼镜设计,使得正常使用期间眼镜发生移动或感到不舒服。下面的实施方案描述了一种定制优化成对于各种表情都能配合的眼镜设计的方法:
[0237] 在这个实施方案中,a)配置有成像装置的计算机系统采集图像数据并且构造中性表情时的用户面部的模型(使用前述的任何方法),b)计算机系统采集有至少一种另外的表情的用户的另外的图像数据,并且构造至少一个另外的面部模型(或者获得根据各种表情调整单个模型时必要的参数),以及c)计算机系统使用前述的方法中的一个另外的约束来执行放置、设计优化、用户调整和预览:在表示多种表情下的用户的多个面部模型上执行眼镜设计、放置和预览。产生满足所有面部模型或所有表情的约束的最佳设计,从而得到在用户的面部表情和移动范围上与用户最佳配合的定制眼镜。
[0238] 定制和光学器件
[0239] 如上文在图1B的步骤104中描述的,计算机系统提示用户输入他的光学镜片处方信息,这是订做处方眼镜必需的信息。还使用处方信息以用户将接收的大小、形状和厚度来渲染镜片,以便提供整个眼镜的更加完整且现实的预览。因为不同的处方要求的光学器件不一样(镜片更薄或更厚,曲率更大或更小),所以用户的具体处方会影响他们的最终产品的视觉外观。如果用户未输入数据,则使用平均处方镜片的估计值或平透镜片(没有光学校正)来进行渲染,这将至少提供镜片在眼镜镜框中的视图。替代地,向用户询问关于他们的视觉的一般问题,诸如近视或远视、散光、视觉评级、他们喜欢的镜片类型等等。计算机系统可以使用这些一般性问题与用户的最可能的镜片大小和厚度关联。用户查看定制镜片渲染,以判断在给定他的处方强度的情况下,某种镜框式样和大小是否能接受,和/或他所选择的镜片指数是否适当。例如,在看到用标准指数为1.49的标准镜片渲染的-9.0的处方(所得镜片会很厚)之后,用户可能想要不同的定制眼镜设计,隐藏厚的镜片边缘,或者用户可能想要1.67或1.71这样更高的指数,以减小镜片厚度。计算机系统还基于镜框设计和处方自动建议镜片指数,以提供最佳的视觉和美观外观。例如,非常强处方的用户可能想要塑料镜框,因为塑料镜框的边沿更厚,能够更美观地掩盖很厚的镜片边缘,且计算机系统可能提出这个建议。
[0240] 在一个示例性实施方案中,用户可以选择镜片式样,包含但不限于镜片色调(透明、太阳镜的各种色荫、具有户内和户外色调的估计值的颜色自动变深的镜片、偏光镜片等等),处方式样(平透镜、单视、数码补偿、双焦、渐进式等等),镜片材料指数(1.5、1.67等等),镜片涂层,镜片边缘透镜处理(lenticularization,镜片边缘的变薄)或品牌。在3D眼镜模型上现实地渲染能看到的任何变化,包含当查看用户佩戴眼镜时,观察者可以看到的特定镜片类型和处方得出的任何失真或光学效果。
[0241] 在一个示例性实施方案中,从量化解剖模型和眼镜模型推导出更高级的测量值以能够实现数码补偿的(即,自由形态的)、渐进的或其它高级光学镜片设计。为了制造数码补偿和/或渐进式镜片,理想的是必需多种测量值,包含但不限于瞳距、顶点距离、前倾角度、镜框包裹度和镜片相对于瞳孔的高度。传统上,眼睛护理专业人士(眼镜师、验光师等等)利用专门的设备或相机亲自进行这些测量。这些测量即使用专业手段完成时,往往仍然难以估计,诸如测量从眼睛表面到镜片背面的距离。在计算机系统上使用解剖模型和眼镜模型进行测量就容易很多,而且更加精确,因为在测量时没有物理障碍或限制。用户在计算机系统上选择他们的眼镜时自动获得测量值可以得到很大的优势,这样去掉去眼睛护理专业人士的费用和时间。
[0242] 在另一个实施方案中,产品模型配置成优化用于制造镜片的光学参数。除了使用解剖模型的细节和尺寸给镜片设计提供信息之外,还可以优化眼镜镜框以增强光学设计。例如,标准顶点距离(从眼睛到镜片内表面的距离)大约是12-14mm。对于正常的眼镜,标准顶点距离差异很大,但是可配置的镜框可以经过调整以实现最佳测量值。其它参数包含但不限于:镜框包裹度、眼睛相对于镜片中心的位置、前倾角度等等。在这个实施方案中,a)计算机系统获得识别出了关键面部特征的按比例缩放的面部模型(使用任何前述的方法),所述关键面部特征包含但不限于眼睛、鼻子、耳朵、额头等等的点、线和面,b)计算机系统获得识别出了关键特征的可配置的3D产品模型,所述关键特征包含但不限于镜腿、鼻托、镜片、鼻梁架等等的点、线和面,c)计算机系统分析关注的尺寸,包含但不限于顶点距离、前倾角度、Pd和镜框包裹度,d)计算机系统优化产品模型参数,这样会改变眼镜形状和眼镜搁在用户面部上的状态,直到尺寸在他们的期望范围内为止(例如,顶点距离12-14mm),e)计算机系统用新的参数来更新可配置的产品模型,f)计算机系统执行优化以获得刚体变换以将产品模型与面部对准。产品和面部的关键特征之间的误差得以最小化,并且给一些特征的加权大于其它特征,以及g)计算机系统变换产品模型的坐标以将产品模型与解剖模型对准。
[0243] 如上所述,图7说明了需要的各种测量值中的一些测量值。测量瞳距(Pd)作为双目703a或单目703b测量值。单目测量值通常是优选的,以能实现用户的处方眼镜的最佳实现方式,但是单目测量值更难准确测量,而且总体上要求使用专门设备进行亲自的物理测量。
对用户的单个2D正面图像执行的大多数Pd测量依赖于双目测量,因为系统容易检测眼睛位置,同时由于照明约束、用户可能并未精确地面朝相机等等,更难准确地检测鼻子的确切中心。然而,通过使用用户的量化解剖模型的眼睛和鼻子特征,更好地获得单目Pd。在这种情况下,量化解剖模型提供的另外的信息允许自动确定鼻子的中心,即使单凭用于构造量化解剖模型的各个2D图像不足以执行所述测量也是如此(例如,在所有2D图像中,用户都不是完美地面朝相机)。如果在眼睛中心之间测量到直线距离,则将每只眼睛的单目Pd定义为从眼睛中心到鼻梁中心的距离。训练有素的眼睛护理专业人士往往很难亲自精确地测量顶点距离709,但是量化解剖模型同样能提供优势。顶点距离是从眼睛中心到镜片的内表面的距离。考虑到用户的镜框戴在面部和眼睛上之后,很难进入镜框中间,所以眼睛护理专业人士难以测量这个参数。亲自测量时,用户试戴每一个眼镜设计,都需要重复测量,这样很不方便,而且很费时间。因此经常要估计测量值。然而,通过应用于佩戴眼镜的用户的量化解剖模型的多种方法,以很大的精确度计算这个高难度的尺寸,这些方法诸如是给从眼睛表面的中心到眼镜模型上的镜片的内表面的射线追踪。通过使用模型中的多种特征在面部正面上构造一个平面,或者通过使用镜片的平面,确保光线相对于面部平面的垂直性。前倾角度
710是镜片从完全垂直状态的垂直角度。同样,使用与眼镜模型结合的量化解剖模型来测量这个尺寸。针对用户面部的垂直位置和穿过镜片限定一个平面。使用围绕水平轴线的平面之间的角度来计算前倾角度。镜框包裹度704是位于镜框中的镜片相对于用户面部的水平角度,且用与前倾角度相似的方法通过使用围绕垂直轴线的角度来计算镜框包裹度704。用与顶点距离类似的方式计算配合高度713。一旦计算机系统计算出直接在瞳孔上的中心的镜片位置(镜片的光学中心)(这是计算顶点距离所需要的尺寸),就计算到镜框中的镜片孔的内表面底部的垂直距离以确定配合高度。所有这些测量的优势是,这些测量值的执行是使用相对于用户的量化解剖模型定位并且由用户相对于用户的量化解剖模型预览的3D镜片。
[0244] 在一个示例性实施方案中,一旦计算机系统得到制造用户的镜片的所有必要信息(所有镜框尺寸、瞳距、另外的面部测量值(所述镜片经过数码补偿)、处方信息、镜片材料指数和镜片透镜处理的选择),系统还能够在位于用户的图像数据上的所选择的眼镜中现实地渲染用户的镜片。给给定上述信息的情况下重构镜片的3D版本的算法,已经是成熟的算法,并且在用数码方式确定现代镜片的表面和边缘时是必要的。在一个实施方案中,计算机系统使用复杂的渲染技术,诸如光栅或射线追踪,不但将镜片显示为3D对象,而且还渲染光在穿过镜片时如何弯曲。使用所述渲染技术,系统能够在位于用户面部上的镜框中渲染镜片,以便允许用户确切地看见他们在第三方眼中的样子。当带有镜片的眼镜放置在用户面部上时,可以显示出透过镜片看到的面部的准确的失真视图。而且,向用户表示防反射涂层的实际性能,以及因为包含了诸如不换行渐进、双焦(专用的放大区域)等等的镜片特征而导致镜片失真外观。得到准确的渲染后,用户就能关于所选择的镜框和镜片类型更好地作出明智的决定,各种选择之间的折衷效果更清楚。当用户在零售店环境选购镜片时,别人会劝他增加镜片材料指数,这样能将镜片厚度缩小20%。但是他的信息不完善;一般不会有人告诉他在他选择的镜框中,他的镜片实际上将有多厚,他往往经常无法想象变薄20%实际上是缩小了多少毫米,但是如果看不到真人戴着镜片的美观效果,他经常就无法抽象地进行这样的比较。这个不完善的信息,往往会导致用户要付钱升级眼镜,假如用户得到更多的信息,用户可能就不会升级了:变薄20%可能看起来很多,但是实际上可能只变薄了0.7mm,而且考虑到价格可能实用不够。在这个实施方案中,不但能向用户呈现所选择的镜片的现实照片渲染,而且呈现了各种镜框配置内的所有镜片配置方式,并且用户可以作出更明智的决定。而且,最终制造的镜片看起来和渲染的一模一样,所以不会有意外的地方。
[0245] 在另一个实施方案中,用横截面视图显示任何镜片配置,从而使得能可视化镜片在任何位置的厚度,并将其与其它镜片配置(宽度、材料指数、数码补偿等等)比较。
[0246] 根据预先存在的眼镜的定制
[0247] 在另一个实施方案中,用户捕获他已经戴着自己拥有的物理眼镜的图像数据。图像数据由计算机系统捕获,或者用户向计算机系统提供图像数据。计算机系统使用类似于前述的那些方法的方法来分析图像数据,但是另外进行图像处理以检测和确定眼镜的形状、颜色和位置。计算机系统然后调整可配置的眼镜模型以与用户佩戴的眼镜匹配,类似于如何根据用户的面部来调适量化解剖模型。可以使用形状模型或其它算法来根据图像数据或在图像数据中检测到的特征调适和配合眼镜模型。这样使得用户能够复制或者复制并修改他们已经拥有的眼镜。例如,用户可以拥有他们喜欢的一副眼镜,但是不喜欢镜框颜色和鼻托宽度。用户可以使用所述系统来创建他们的眼镜的模型,并且使用前述的方法和系统来调整镜框颜色和鼻托宽度。用户还可以使用这个系统来指出他们想要在鼻子上的哪个位置佩戴现有的眼镜(为了美观、实用或舒适的原因)。系统然后将把所有新的眼镜设计都放在用户的鼻子上的这个位置上。在另一个实施方案中,用户上传任何佩戴眼镜的人的任何照片,并且计算机系统可以检测和分析眼镜的形状和颜色,然后为用户更新与眼镜照片最匹配的新的3D眼镜模型。例如,用户可能看到过一个朋友或明星戴着某种式样的眼镜的照片,且他们可以上传照片以获得类似的设计,然后可以根据他们的品位和解剖结构进一步定制这个眼睛设计。
[0248] 在另一个实施方案中,眼镜设计者或制造商提供样品眼镜镜框,用户可以在图像数据采集过程的一部分期间佩戴样品眼镜镜框。类似于前面描述的方法,计算机系统检测和分析所述眼镜。在这个实施方案中,优势在于,眼镜模型是设计者已知的尺寸和形状。眼镜模型存在于图像数据中的用户的面部上,既能提供数据的参考比例(因为检测到的眼镜的大小是已知的),而且能提供非常强的检测特征以实现更稳健的解剖模型重构。通过在每个镜框中追踪已知对象并且知道这个对象与用户面部的其它特征有一致的关系,计算机系统将能更稳健地检测用户的特征。另外,用户将能够实际地触摸和观察样品眼镜镜框的质量和做工。
[0249] 对准
[0250] 参照图1B的108,将眼镜模型与解剖模型对准。在一个示例性实施方案中,基于参考几何形状的优化来对准可配置的眼镜模型和量化解剖模型。对准可以发生在定制之前,以向定制过程提供关于用户的解剖结构和眼镜模型之间的几何相互作用的信息,或者发生在定制之后且在渲染之前,以确保眼镜模型适当地放置在用户的面部上。理想地,眼镜戴上后,鼻托应当与鼻子表面正切并且在鼻子表面上,且镜腿在耳朵顶部上并且抵着头的侧面。对于给定的设计,眼镜顶部应当与用户的额头有一段距离。对于给定的设计,眼睛应当尽可能参照理想的眼睛位置位于中心。因为没有默认的放置方式并且每个人的面部是不同的,所以定制眼镜的方法必须考虑到每个个别用户的不同的解剖结构。
[0251] 图10示出了两个示例眼镜设计:小的圆镜框1001和大的飞行员镜框1002。设计1001的最佳眼睛位置示出为1003,就在眼镜的镜片开口内的中心;设计1002的最佳位置示出为1004,朝镜片开口的顶部偏心。眼镜的理想的最初放置方式将用户的眼睛定位成尽可能靠近这些位置(例如,直接在这些位置后面)。
[0252] 通过使下面各项之间的距离最小化来获得优化:眼镜的中心与鼻子的中线;每只建模的耳朵的顶部与头与镜腿底部的相交位置(搁在耳朵顶部上);眼镜上的鼻托与鼻子表面;眼睛的中心点与设计的最佳眼睛位置;额头和/或颧骨与具体眼镜前框之间的预先确定的偏移距离。可以使用替代的位置和测量值组合来优化放置。
[0253] 在一个示例性实施方案中,眼镜的镜腿在铰链处挠曲,以通过在耳朵上方与镜腿接触的位置与他们的面部的侧面接触,确保与用户的面部配合。例如,如果用户头部在耳朵处的宽度比眼镜的宽度更窄,则镜腿将向内弯曲以保持与这个面部的侧面接触,从而使得配合看起来是现实的,并且用户能看到眼镜对他是否能接受。计算机系统将眼镜表示成多个部分的动态组合件或灵活的组合件,其能允许铰链限定的镜腿的角度旋转。在另一个实施方案中,镜腿本身允许弹性变形、向内弯曲或向外弯曲,以确保镜腿在耳朵顶部处抵着头部侧面齐平。在这个实施方案中,计算机系统可以将眼镜镜腿表示成可变形的单元,它能够安全地弹性地挠曲预定量。
[0254] 在另一个实施方案中,通过从训练模型的数据库确立的机器学习技术和/或算法来设置量化解剖模型特征和眼镜模型之间的关系,其中解剖模型和眼镜模型之间的位置已经设置成最佳条件。基于新的解剖参数和眼镜几何形状,系统可以使用根据训练数据训练过的分类器来分配量化解剖模型和眼镜模型之间的取向和对齐。这种方法能够改进用户对于眼镜放置方式的微妙偏好。
[0255] 定制产品预览
[0256] 一旦根据图像数据和/或解剖模型确立、按比例缩放和对齐了量化解剖模型,就可以将眼镜的表示与用户的面部配合。回头参照图1A的15和图1B的109,描述了在用户的图像数据上渲染眼镜模型以创建定制预览。在一个示例性实施方案中,向用户呈现他的图像数据,定制眼镜正确地定位并叠加在他的面部上。在一个示例性实施方案中,不向用户显示量化解剖模型,而是将量化解剖模型用于对准和测量数据。数据显示成交互图像,用户能够通过与计算机系统交互来调整、旋转和缩放交互图像,计算机系统包含诸如触摸屏、鼠标之类的计算机外围设备、手势交互或者任何其他人机接口技术之类的系统。这样将使得用户能够看到定制眼镜在各种取向下在他们的面部上的样子。
[0257] 在另一个实施方案中,示出至少一个静态图像,诸如正视图和侧视图,或者围绕居中于用户面部的垂直轴线在设定的度数下的多个视图。在又一实施方案中,使用增强现实方法。使用配置有摄像机的计算机系统显示出用户面部的实况视频馈送。量化解剖模型实时地追踪用户的面部,从而在用户在计算机系统前面移动他的面部时,允许3D眼镜模型实时地显示和叠加在用户的面部上。这样会造成在试戴眼镜时往镜子里面看的错觉,就像零售店里一样。在又一实施方案中,可以不显示用户的图像数据,而改成向用户呈现他们的面部和头部的模型,同时3D眼镜模型叠加和正确地定位在他们的面部上。替代地,将眼镜表示成从各种角度预先渲染的一系列图像,而不是实际的3D模型。这种方法使得能够容易经由网络系统实施高质量预渲染的图像的显示。
[0258] 在另一个实施方案中,在诸如服务器或云端计算机之类的另一个计算机系统上远程地执行图像数据分析,以便利用比用户的计算机系统可能拥有的计算能力更快或者更专业或者更复杂的计算能力。远程服务器拥有成千个联网的CPU和GPU核心,更大且更快的数据存储装置,从而得到一个比用户拥有的本地计算机系统计算能力更强和/或效率更高很多的系统。用户的计算机系统将图像数据传递到远程计算机系统,并且在分析图像数据之后,通过网络或其它数据传输方法将解决方案或诸如渲染图像之类的附加数据传输回到用户的计算机系统。在另一个实施方案中,用户的计算机系统在发送数据到远程系统之前执行初始计算,或者在从远程系统接收回来数据之后执行最终计算,优势在于,所述初始或最终计算能减少传输到远程系统或从远程系统传输的数据数量,或者减轻远程系统的计算负担。
[0259] 计算机系统分析用户的图像数据的照明强度、质量、来源和温度。一旦构造好量化解剖模型并且将其与图像数据对齐,计算机系统就针对下面各项中的至少一项分析每个个别的图像:
[0260] -解剖模型范围内的参照正常的白平衡的色温。
[0261] -对应于高光和阴影的明亮区域和黑暗区域的位置,这样可以给照明源分析提供信息。通过迭代地调整或直接地计算解剖模型上的光源,并且使计算出的高光和阴影与测量到的高光和阴影之间的误差最小化,检测一个照明源或多个照明源。
[0262] -解剖模型范围内的整体亮度和对比度说明了光源的强度和质量。
[0263] 使用关于照明的信息向3D眼镜模型的渲染应用光源,以与图像数据最好地匹配,提供眼镜模型与用户的图像数据的接近无缝的合并。
[0264] 为了给用户实现现实的并且更好看的预览,给用户图像数据设置良好的白平衡,从而使得用户看起来是在自然照明下具有天然的皮肤色调,这种做法具有优势。使用许多图像装置或图像后期处理软件中实施的自动白平衡。另外,使用检测到的面部区域使白平衡信息局部化。在图像中具有具体对象以用于实现准确的白平衡有进一步的优势。不同照明源中一般会有黄、绿或蓝色调,且通过调整应当能去掉这些色调。在这个实施方案中,a)使用配置有相机或成像装置的计算机系统采集用户的图像数据;b)定位已知尺寸的白平衡目标,从而使得用户的至少一些图像中能看到白平衡目标,c)计算机系统指示用户使用白色或灰白色平衡目标,诸如纸、报纸、电话、手机壳、电子装置。或者,白平衡目标是已知颜色的对象,诸如纸币、电子装置或徽标,d)计算机系统在用户的至少一个图像中检测白平衡目标,e)计算机系统调整图像数据的白平衡(例如,rgb或色温和色调),直到目标变成中性白色或灰色为止。并且f)计算机系统向用户的所有图像数据应用白平衡设置。
[0265] 下面的实施方案描述用于在用户的图像或解剖数据上创建定制眼镜的预览的系统和方法。根据图像数据确立、按比例缩放和对齐用户面部的量化解剖模型,从而使得模型坐标和相机位置将面部模型与用户面部的图像的姿势、位置和缩放级对准。将可配置的3D眼镜模型与量化解剖模型对准。在用户的图像数据或模型上渲染可配置的眼镜的图像。用本领域的技术人员熟悉的多种技术渲染眼镜,包含但不限于光栅、扫描线和射线追踪渲染。
[0266] 在用户图像数据上渲染眼镜的图像的实施方案
[0267] 在这个实施方案中,a)计算机系统设置相机位置,从而使得解剖模型和可配置的3D眼镜模型与用户的图像数据的姿势和位置对准,b)计算机系统显示(或维持)位于相机与解剖模型之间的可配置的3D眼镜模型的所有表面,c)计算机系统隐藏(或删除)位于解剖模型后面的可配置的3D眼镜模型的所有表面(例如解剖模型在相机和可配置的3D眼镜模型之间),d)计算机系统只渲染可配置的3D眼镜模型的显示的(或维持的)表面,而不渲染隐藏的(或去除的)眼镜表面或解剖模型,以及e)计算机系统将渲染的眼镜图像合并到用户的图像上。
[0268] 使用深度计算在用户图像数据上渲染眼镜的图像的实施方案
[0269] 在这个实施方案中,a)计算机系统设置相机位置,从而使得解剖模型和可配置的3D眼镜模型与用户的图像数据的姿势和位置对准,b)计算机系统计算在图像上的任何给定点从相机到眼镜模型和解剖模型的所有的表面或顶点的深度(或距离)。计算机系统可以存储深度值,c)计算机系统只渲染图像上的任何给定点或像素处的最近的表面,d)计算机系统向解剖模型应用透明度,从而使得解剖模型不被明显地渲染,而是用于深度计算,以及e)计算机系统在用户的原始图像组成的背景上渲染眼镜。
[0270] 用射线追踪法在用户图像数据上渲染眼镜图像的实施方案:
[0271] 在这个实施方案中,a)计算机系统设置相机位置,从而使得解剖模型和可配置的3D眼镜模型与用户的图像数据的姿势和位置对准,b)计算机系统将解剖模型的表面设置成在最终渲染中看不见,但是是不透明的,并且不反射射线,c)计算机系统追踪相机和场景之间的射线,d)计算机系统只渲染可配置的3D眼镜模型,因为解剖模型是看不到的,e)显示可配置的3D眼镜模型,其中一些部分隐藏在不透明的但是看不到的解剖模型后面,以及f)计算机系统将渲染的图像合并到用户的图像上。还可以将解剖模型用作一个表面,射线可以将阴影投到这个表面上。
[0272] 用掩模在用户图像数据上渲染眼镜图像的实施方案:
[0273] 在这个实施方案中,a)计算机系统设置相机位置,从而使得解剖模型和可配置的3D眼镜模型与用户的图像数据的姿势和位置对准,b)计算机系统将可配置的3D眼镜模型和解剖模型渲染成二元掩模图像(例如,1是用于可配置的3D眼镜模型位于解剖模型前面的像素,且0是用于解剖模型位于可配置的3D眼镜模型的前面的像素),c)计算机系统渲染可配置的3D眼镜模型,d)向渲染图像应用二元掩模,隐藏解剖模型和可配置的3D眼镜模型的在解剖模型后面的任何部分,以及e)计算机系统将渲染的眼镜图像与应用到用户的图像上的掩模合并。
[0274] 在渲染期间用掩模在用户图像数据上渲染眼镜图像的实施方案
[0275] 在这个实施方案中,a)计算机系统设置相机位置,从而使得解剖模型和可配置的3D眼镜模型与用户的图像数据的姿势和位置对准,b)计算机系统将可配置的3D眼镜模型和解剖模型渲染成二元掩模图像(例如,1是用于可配置的3D眼镜模型位于解剖模型前面的像素,且0是用于解剖模型位于可配置的3D眼镜模型的前面的像素),c)计算机系统渲染可配置的3D眼镜模型,掩模会防止在黑色区域中渲染(解剖模型和位于解剖模型后面的任何东西在渲染期间都将看不见或者不会生成),以及d)计算机系统将渲染的眼镜图像与应用到用户的图像上的掩模合并。
[0276] 用纹理映射的面部模型渲染眼镜的实施方案
[0277] 在这个实施方案中,a)计算机系统从图像数据获得用户的按比例缩放的面部模型(使用前述的任何方法),b)计算机系统使用所采集的图像来构造面部模型以创建用户的纹理映射的图像并且向面部模型应用纹理映射的图像,c)计算机系统将可配置的3D眼镜模型定位成与用户的面部模型对准(使用前述的任何方法),d)计算机系统将纹理映射的面部模型和可配置的眼镜模型一起渲染以便为用户创建预览图像数据,e)任选地,将纹理映射的面部模型和眼镜模型渲染叠加在用户的原始图像上,或者f)任选地,计算机系统允许用户提供输入以控制或调整面部和眼镜模型的姿势和位置,在用户每次调整之后渲染图像数据。
[0278] 使用用户照片的预览
[0279] 期望用户看到定制眼镜在他们选择的任何照片上的预览。图像可以是最喜爱的照片、专业照片或不同于用于构建解剖模型的图像的其它图像。这个实施方案描述了一种将解剖模型与新图像对准且然后在新图像上渲染眼镜的方法。在这个实施方案中,a)计算机系统获得用户的新图像(不一定用来获得解剖数据)。将图像上传,经由网络连接而链接到计算机,经由电子邮件、sms或其它通信系统发送等等,b)计算机系统从图像数据获得用户的按比例缩放的面部模型(使用前述的任何方法),c)计算机系统在新图像中检测面部、估计姿势和检测面部特征,d)计算机系统执行面部模型和相机的刚体变换,以将面部模型特征与新图像中检测到的面部特征对准,e)计算机系统将可配置的3D眼镜模型定位成与用户的面部模型对准(使用前述的任何方法),以及f)计算机系统在用户的新图像上渲染眼镜(使用前述的任何方法)。
[0280] 模拟相机视角
[0281] 还期望模拟不同于用来采集图像数据的相机的相机或视觉属性(焦距、失真、视场、离主体的距离)。用户可能想要模拟人眼或照相更好看的相机镜头的视角。当与在更远距离的人眼或相机相比时,在近距离拍照的计算机相机的广角镜头往往会强调和扩大更靠近镜头的对象(鼻子或眼镜),而减小离镜头更远的对象的外观(耳朵和头部侧面)。
[0282] 参照图25:a)计算机系统从图像数据获得用户2501的按比例缩放的面部模型(使用前述的任何方法),b)计算机系统将可配置的3D眼镜模型2502定位成与用户的面部模型对准(使用前述的任何方法)c)计算机系统设置相机位置2503,从而使得解剖模型和可配置的3D眼镜模型2504与用户的图像数据的姿势和位置对准,d)计算机系统更改固有的相机参数和离模型的距离2505以模拟不同的视角和相机属性,同时仍然保持与用户的图像数据对准的眼镜的相同放置方式2506,e)计算机系统在用户的图像上渲染眼镜(使用前述的任何方法),以及f)任选地,计算机系统使用从原始的和模拟的相机属性和位置看的解剖信息以使原始的用户图像变形和失真。所述失真能够允许基本图像数据更好地表示不同的相机视角。
[0283] 物理预览的实施方案
[0284] 具有定制产品的物理预览而不是数码预览是有利的。下面的实施方案描述了向用户提供他们的眼镜的物理预览的两种方法:
[0285] 在这个实施方案中,a)计算机系统从图像数据获得用户的按比例缩放的面部模型(使用前述的任何方法),b)计算机系统定制可配置的3D眼镜模型以配合用户的面部模型(使用前述的任何方法),以及c)计算机系统将3D眼镜模型转换成数字文件以便快速制造。技术包含但不限于:
[0286] i.直接用塑料、纸或金属来3D打印眼镜模型。将模型转换成中空主体以节省成本和重量。
[0287] ii.将3D模型转换成平坦的图案,并且用CNC激光器、水注、乙烯基切割器、铣刀等等来切割平坦的薄片(纸、硬纸板、塑料、金属等等)。任选地,折叠或弯曲平坦的薄片。
[0288] iii.将3D模型转换成多个零件,诸如使用前述方法生产的前框和镜腿。使用紧固件、胶合剂或其它方法来组装零件。
[0289] d)计算机系统从用户接收输入,包含但不限于:姓名和住址、任选的支付信息、其它联系信息、运送偏好,以及e)计算机系统生成指令以向用户构建、包装和运送定制眼镜模型的快速原型。
[0290] 在这个实施方案中,a)计算机系统从图像数据获得用户的按比例缩放的面部模型(使用前述的任何方法),b)计算机系统定制可配置的3D眼镜模型以配合用户的面部模型(使用前述的任何方法),c)计算机系统将3D眼镜模型转换成数字文件以便快速制造。技术包含但不限于:
[0291] i.直接用塑料、纸或金属来3D打印眼镜模型。将模型转换成中空主体以节省成本和重量。
[0292] ii.将3D模型转换成平坦的图案,并且用CNC激光器、水注、乙烯基切割器、铣刀等等来切割平坦的薄片(纸、硬纸板、塑料、金属等等)。任选地,折叠或弯曲平坦的薄片。
[0293] iii.将3D模型转换成多个零件,诸如使用前述方法生产的前框和镜腿。使用紧固件、胶合剂或其它方法来组装零件。
[0294] d)计算机系统为用户生成文件,并且提供让用户获得数字文件的方式,包含但不限于电子邮件、从网络服务器下载的链接、数字消息的附件等等,以及e)计算机系统为用户生成用文件构建快速原型的指令,诸如使用打印机或3D打印机的指令、组装指令、发送文件到服务点以便打印或构建的指令等等。
[0295] 渲染眼镜的实物大小1:1图像的实施方案:
[0296] 用户可能除了眼镜在他们的图像或模型上的预览渲染之外,还想要了解他们的眼镜的真实大小。例如,用户可能将这个大小与他们拥有的现有的眼镜进行比较。
[0297] 在这个实施方案中,a)计算机系统从图像数据获得用户的按比例缩放的面部模型(使用前述的任何方法),b)计算机系统定制可配置的3D眼镜模型以配合用户的面部模型(使用前述的任何方法),c)计算机系统获得关于计算机系统的显示器的信息,诸如分辨率、像素大小、整体显示器尺寸。计算机系统从它本身、从网络浏览器、从提供关于显示器或计算机系统模型的信息的用户获得这个信息,d)计算机系统计算显示器的像素大小(例如,通过将屏幕的长度和宽度除以像素数目),e)计算机系统通过使用眼镜模型的像素大小和尺寸,用1:1的实物比例,在诸如正视图、侧视图、俯视图之类的各种取向中渲染眼镜模型,f)计算机系统向用户显示1:1图像,以及g)任选地,计算机系统渲染眼镜模型的实时交互图形,用户通过输入装置能够控制该图形,在实物1:1大小加以旋转和平移。
[0298] 基于物理学的预览
[0299] 眼镜配合的一个常见问题是,鼻子和镜腿的大小不正确,导致眼镜会从用户的鼻子滑下。基于物理学的预览方法能够模拟眼镜是否将停留在鼻子上。下面是一个基于物理学的调整的实施方案:
[0300] 在这个实施方案中,a)计算机系统在用户的图像数据和面部模型上显示定制眼镜模型的预览(使用前述的任何方法),b)计算机系统接受用户输入(触摸屏、滑杆、鼠标控制、手势等等)以相对于用户的面部垂直地上下移动眼镜模型的前框,和/或将前框移动成离用户的面部更近或更远,c)计算机系统强加约束以确保眼镜不会干涉到模型,诸如鼻托与面部模型的表面相交,或者镜腿与面部模型的耳朵的顶部相交,d)计算机系统向眼镜模型和面部模型应用下面的物理属性
[0301] i.眼镜模型质量,这是根据眼镜模型的体积和材料属性估计的
[0302] ii.眼镜材料的摩擦系数
[0303] iii.皮肤的摩擦系数,这是根据人类皮肤的一般性质估计的
[0304] e)计算机系统给力学方程式系统求解,力学方程式表示作用于眼镜质量上的重力与接触面部模型的鼻子表面的眼镜鼻托和接触面部模型的耳朵的眼镜镜腿的反向摩擦力之间的力的平衡,以及f)迭代地给力学方程式求解,直到达到稳定状态为止,稳定状态下,眼镜在有平衡力支撑的状态下得以定位。
[0305] 镜片视图渲染
[0306] 在另一个实施方案中,计算机系统模拟用户佩戴渐进式眼镜时的视力。向用户呈现视图,从而使得用户能够透过他配置好的镜片观看,并且看到他透过镜片会看到的世界。这项技术最好地应用于不换行的数码补偿(自由形态)渐进式镜片的定制配置。可以在屏幕上显示照片(预先选择的或用户上传的图像流,或者来自计算机系统成像装置的实况图像流),镜片位于图像前面。将信息叠加在镜片上,向用户标识出镜片的各种校正后的区域(变形区域、焦距渐变过渡区(corridor)、最大放大率区域、过渡区域等等)。系统能够显示它实际上将照片放在镜片后面多远的位置,并且使用本领域的技术人员已知的射线追踪渲染技术,在光从照片透过镜片并到达观看者时,可以使照片失真。在这个预览中,可以实时地更新对镜片设计或眼镜的形状/大小的改变。用户将能更好地理解镜片中将发生失真的区域(渐进式镜片中的外围区域),且在给定的各种数字镜片设计情况下的失真量。在另一个实施方案中,计算机系统使用它的成像传感器来提供它通过系统显示器看到的东西的实物预览,并且计算机系统在给定所选择的镜片设计的情况下,可以实时地使这个视图失真。这个实物预览增强现实视图,将允许用户体验透过他们在给定镜片参数和定制镜框参数下所定制的镜片看到的生活。
[0307] 用户交互与控制
[0308] 参照图1A的16和图1B的110、113、114,计算机系统提供了一种方式,供用户与计算机系统交互以便购物、选择、编辑、修改、预览、控制预览、可视化、购买和执行定制产品的其它相关活动。
[0309] 图11示出了示例计算机系统界面1101,这个界面可以显示在计算机系统的显示器上,眼镜预览1106在用户1102上。计算机系统界面包括用于订购、查看、配置、发送预览、共享、获得帮助或其它功能的控件1103。用控件1108能选择眼镜式样或基础设计,且用控件1105能选择颜色/精加工。通过显示1104,向用户提供指令。本领域的技术人员应当认识到,各种其它设计可以适合所描述的查看、定制和订购眼镜的同样的需求。例如,可以使用眼镜的多个视图,同时用不同的式样显示的2、4或9个窗口,或者用户的不同查看视角。在一个实施方案中,计算机系统显示用户的多个个例,每个个例佩戴着定制眼镜的不同的配置。所示出的每个眼镜可能改变了一个或多个选项。例如,显示器示出了用户面部的九个个例,每个个例示出用户佩戴同一种定制眼镜设计,但是每种设计显示的颜色、式样或镜片材料是不一样的。在另一个示例中,显示了用户的多个个例,每个个例佩戴的眼镜的式样和颜色是相同的,但是大小根据面部自动设计成稍有不同,诸如改动成稍大或稍小,或者将眼镜放置的位置更改成在面部上稍高或稍低(使用同一种大小设计算法或者多种竞争性算法)。在另一个示例中,显示器示出了用户佩戴相同或不同的定制眼镜的从不同的角度(正视、等距、侧视、俯视)查看的多个个例。当操控用户的一个个例时,所有的个例同时被更新。例如,当用户改变一个个例的视图时,相同的视图变化被应用于所有的个例。
[0310] 在一个示例性实施方案中,计算机系统允许用户调整眼镜模型在他的面部上的位置。用户用他们的输入装置选择眼镜,并且通过移动、拖动或者用输入装置作出其它控制动作,在某些位置调整眼镜。例如,用户抓住眼镜的镜腿,且将镜腿向上或向下滑动以更好地配合在耳朵上,或者用户抓住鼻梁处的眼镜,放置或调整眼镜在他的鼻子上的搁放的方式和位置。另外,用户能够校正眼镜的自动放置的任何误差。
[0311] 在另一个实施方案中,在用户对位置进行调整时,实时或接近实时地调适和配置眼镜模型。例如,通常用户只是简单地把眼镜移动到新的位置进行预览,这样可能导致眼镜在这个位置时不再配合,因为鼻子可能过窄或者镜腿过长,或者一些部分可能根据新的位置不配合。对于可配置的眼镜,在用户移动眼镜时,可以调适模型,从而使得眼镜改变形状,在新的位置上配合用户的面部。如果用户将眼镜从他们的面部上拿远一点,那么鼻托就会稍微变长,且镜腿会稍微变长(还有其它变化),而不是像未调整的时候,鼻托过短且镜腿过短,且眼镜从用户的面部上掉下来。
[0312] 例如,在图11中,用界面1101预览的用户1102上的眼镜1106放置的角度不正确。用户通过用输入装置选择眼镜1106,且在示出的方向1107上移动眼镜,来调整位置。如视图1109中所示,然后更新预览,示出眼镜1110根据用户的规定放在用户面部上的适当位置。替代地,用户能够手动地识别耳朵、眼睛、鼻子和其它特征所在的具体点,使得计算机系统能够更准确地对准眼镜。人的左右耳常常在不同的高度,这样通常会导致眼镜搁放成歪的或者斜的。调整角度并且确保定制眼镜设计考虑到左右耳的不同高度的能力,为用户获得适当并且舒适的配合提供很大的优势。通过可配置的眼镜模型,不但能显示出适当的配合以供预览,而且能实际上配置和制造出来,使得用户得到的产品在现实中就像预览效果一样良好地配合,这一点与现有技术相比有明显的优势。
[0313] 将眼镜模型自动放置在用户的解剖模型上后,期望允许用户在预览期间根据他们的偏好调整放置。例如,用户可能喜欢相对于他们的眼睛或鼻子将他们的眼镜佩戴得更高或更低,或者离他们的面部更远或更近。这些调整可能有助于告知适合根据用户的偏好来放置眼镜的定制眼镜设计。完全定制的眼镜的巨大优势之一是基础设计可以调适成配合用户的放置偏好。典型地,用户可以在他们的面部上的不同位置预览或佩戴眼镜(离眼睛更近或更远,或者在鼻子上更高或更低),但是如果眼镜不是正确的大小和形状,那么眼镜将不舒服、不会停在合适位置,或者不可能佩戴在期望的位置。下面的实施方案描述使得能够定制放置定制眼镜的系统和方法:
[0314] 通过设置垂直位置和调适眼镜模型放置来调整眼镜模型在用户的面部上的垂直位置的实施方案:
[0315] 在这个实施方案中,a)计算机系统在用户的图像数据上显示定制眼镜模型的预览,b)计算机系统接受用户输入(触摸屏、滑杆、鼠标控制、手势等等),相对于用户的面部垂直地上下移动眼镜模型的前框,c)计算机系统给约束系统求解,以在用户的面部上适当地调整眼镜模型。
[0316] i.前框垂直高度必须在用户指定的垂直位置上
[0317] ii.眼镜的镜腿必须接触面部模型中的用户的耳朵中的每一个与头相交的顶点。根据用户的面部的对称性或不对称性,将镜腿调整到不同的高度
[0318] iii.眼镜的鼻托区域必须接触用户的面部模型的鼻子但是不与用户的鼻子相交[0319] iv.任选地,如前述的,约束系统可以是其它的点、线、面或特征。
[0320] d)如果通过调整眼镜位置以实现用户指定的眼镜模型的垂直位置可以满足约束,则系统将显示具有新的眼镜模型位置的更新后的预览,以及e)任选地,如果不能满足约束,则系统告知用户,该位置是不可能的,或者他们的眼镜可能不能适当地配合(例如,会在鼻子上下滑)。替代地,如果实时地完成了计算,则用户将只能在设置的垂直距离范围内调整眼镜。
[0321] 通过设置位置和调适眼镜模型以实现期望位置来调整眼镜模型在用户的面部上的位置的实施方案:
[0322] 在这个实施方案中,a)计算机系统在用户的图像数据上显示定制眼镜模型的预览,b)计算机系统接受用户输入(触摸屏、滑杆、鼠标控制、手势等等)以相对于用户的面部垂直地上下移动眼镜模型的前框,和/或将前框移动成离用户的面部更近或更远,c)计算机系统给约束系统求解,以在用户的面部上适当地调整眼镜模型,
[0323] i.前框的垂直高度和离面部的接近度必须在用户指定的位置上
[0324] ii.眼镜的镜腿必须接触面部模型中的用户的耳朵中的每一个与头相交的顶点。根据用户的面部的对称性或不对称性,将镜腿调整到不同的高度
[0325] iii.眼镜的鼻托区域必须接触用户的面部模型的鼻子但是不与用户的鼻子相交[0326] iv.任选地,如前述的,约束系统可以是其它的点、线、面或特征。
[0327] d)如果调整在眼镜模型和用户的面部模型中的鼻子之间形成间隙或干涉,则计算机系统调适眼镜模型的镜鼻(调整厚度、鼻托的位置、宽度等等),以与用户的鼻子形成接触。e)如果调整在镜腿和用户的面部的耳朵之间形成间隙或干涉,则计算机系统调适镜腿(调整长度、角度等等),f)如果调整形成的间隙或干涉在定制眼镜模型约束的可解域之外,或者如果眼镜的很大部分导致干涉(例如整个镜框移动到面部中),则计算机系统不允许调整成不能接受的位置,以及g)系统显示具有新的眼镜模型位置的更新后的预览[0328] 通过预先计算一系列选项来调整眼镜模型在用户的面部上的位置的实施方案[0329] 在这个实施方案中,a)计算机系统计算眼镜模型在用户的图像数据上的最佳配合,b)计算机系统对眼镜的垂直位置形成多个调整,以从最佳位置用设置好的增量(即,+4mm、+2mm、-2mm、-4mm),将眼镜在鼻子上面上下移动,或者移动成离面部更远/更近,c)计算机系统预渲染用户的图像和所有调整过的配置中的眼镜模型,d)计算机系统在用户的图像数据上显示定制眼镜模型的预览,e)计算机系统接受用户输入(触摸屏、滑杆、鼠标控制、手势等等),以相对于用户的面部,用预计算调整过的配置所使用的增量,垂直地上下移动眼镜模型的前框,以及f)计算机系统显示与用户的选择匹配的调整过的配置渲染[0330] 用表面约束调整眼镜模型在用户的面部上的垂直位置的实施方案:
[0331] 在这个实施方案中,a)计算机系统计算眼镜模型在用户的图像数据上的最佳配合,b)计算机系统设置约束,约束限制眼镜和面部模型之间的可能的移动,
[0332] i.眼镜模型仅在某些方向上移动(例如,离面部更远/更近,或者垂直上下)[0333] ii.眼镜模型只沿着穿过每只耳朵和镜腿之间的接触点的线所形成的轴线旋转[0334] iii.眼镜模型必须保持镜腿和面部模型上的每个用户耳朵和头相交的顶点之间的接触
[0335] iv.眼镜模型鼻托都必须接触面部模型上的鼻子表面,或者在一定公差内[0336] v.任选地,如前述的,约束系统可以是其它的点、线、面或特征。
[0337] c)计算机系统在用户的图像数据上显示定制眼镜模型的预览,d)计算机系统接受用户输入(触摸屏、滑杆、鼠标控制、手势等等)以移动眼镜模型。计算机系统计算每个用户输入的约束系统,e)眼镜模型仅在预定义的约束内移动,以及f)计算机系统在用户移动眼镜模型时显示眼镜模型的位置调整。
[0338] 用用户的当前眼镜的图像来调整眼镜模型在用户的面部上的垂直位置的实施方案。
[0339] 用户可能已经拥有一副眼镜能搁在他们的面部上的偏爱位置。这个实施方案描述如何设计新的定制眼镜,从而即使眼镜的式样、形状和设计是不同的,也能获得相同的定位:
[0340] 在这个实施方案中,a)配置有成像装置的计算机系统采集图像数据,并且构造用户面部的模型(使用前述的任何方法),b)用户使用计算机系统采集用户佩戴着根据其偏好定位的眼镜的图像数据,c)计算机系统提取眼镜接触用户的面部的解剖位置(例如鼻托相对于用户的鼻子搁住的位置),和/或眼镜相对于面部特征定位的参考位置(例如眼镜的顶部定位成在眼睛上方的某一距离处,或者沿眼镜鼻梁架所在的鼻子的长度向下的距离),d)计算机系统使用所述解剖位置和/或参考位置来优化新的定制眼镜的配合和设计,e)计算机系统给约束系统求解,以在用户的面部上适当地调整眼镜模型。
[0341] i.前框的垂直高度、角度和与面部的接近度必须在最接近所提取的数据的位置上[0342] ii.眼镜的镜腿必须接触用户的面部模型中的耳朵中的每一个与头相交的顶点。根据用户的面部的对称性或不对称性,将镜腿调整到不同的高度
[0343] iii.眼镜的鼻托区域必须接触用户的面部模型的鼻子但是不与用户的鼻子相交[0344] iv.任选地,如前述的,约束系统可以是其它的点、线、面或特征。
[0345] f)计算机系统在用户的图像数据上显示定制眼镜模型的预览
[0346] 用户对可配置模型的交互和控制
[0347] 定制眼镜系统的一个巨大优势是用户能够根据他们的偏好直接修改和更新产品。在一个示例性实施方案中,计算机系统向用户提供从基础设计编辑或调整眼镜形状的控件,这个基础设计就用作修改模板。计算机系统可能已经为用户自动定制了基础设计,或者基础设计可以是在任何定制之前的原始的基础设计。
[0348] 图12示出了用于调整在用户1202上预览的眼镜1203的示例计算机界面1201。基础设计由多种式样或材料构成,包含但不限于全框的、半框的、无框的、塑料的或者金属的。控件包含但不限于:眼镜上的可以拖动或调整的控制点、链接到某些特征的滑块、在镜框上直接绘制,以及触摸、手势、鼠标或用于拉伸或推/拉镜框的特征的其它交互。在一个实施方案中,所述控件允许用户改变某些有限的特征,包含但不限于鼻托宽度、镜腿长度和高度,以及眼镜正面的宽度和高度。例如,如果图12中的用户1202的面部较窄,则他调整眼镜1203以使得眼镜的整体大小变窄。用户用计算机系统的输入装置选择眼镜1203,并且将眼镜的边缘向内朝他的面部移动,如图12中的箭头所示。更新后的预览1205中示出了所得的修改后的眼镜1206。用户能够在购买之前对眼镜进行这样容易的并且定制的调整,这代表了相对于现有技术中购买眼镜产品的方式的一个重大变化。反馈可能几乎是瞬时的,用户能看到在计算机系统的显示器上更新的渲染后的预览。
[0349] 在一个实施方案中,使用约束将定制限制在用可配置的模型预定义的范围内。可以使用模型的参数设计和约束来限制特征调整,以保持每副眼镜的基础设计,同时让用户能用简单的过程实现定制的配合和尺寸设计。虽然一些使用案例可能具有给用户对设计的100%控制权的优势,但是限制调整使得用户能够容易地获得美观而又能制造的产品有明显的优势。例如,如果没有任何约束,则用户可能会无意中作出自身相交或者非常不对称或不平的不合意的设计,既不配合也不好看。除了内在的约束之外,可以只在可调整的区域上突出显示诸如控制点、箭头等等之类的控件,或者当用户在区域上移动他们的输入装置时,突出显示控件,或者,有指令解释眼镜的哪个(哪些)部分是他们能够更改的。
[0350] 在另一个实施方案中,用户在能够进行调整同时仍然能保持整体眼镜设计的方面受到的限制较少。例如,计算机系统使得用户能够抓取和调整眼镜的任何部分,给予调整眼镜的任何部分的长度、高度、宽度和厚度以及诸如边缘和镜腿之类的各种构件的曲率的控件。图13示出了示例性基础眼镜设计1301。用户引导计算机系统输入装置,选择眼镜上的1305处的点,并且沿着点线在箭头1306的方向上朝点1307移动。然后,将在编辑后的区域
1308中修改眼镜1302。为了在保持对称的同时减少定制眼镜必要的步骤数量,将眼镜一侧上的变化同样应用于眼镜的另一侧,如更新后的眼镜1303中所示。
[0351] 用户调整但是不直接编辑
[0352] 在另一个实施方案中,计算机系统可以问用户一些问题,以帮助将他引导到调整或者依次执行多个调整。例如,计算机系统可以问,“眼镜现在在您的面部上是过宽还是过窄?”或者“眼镜现在是过厚还是过薄?”或者“您是想要更大还是更小的式样?”用户将能够通过界面来选择一个选项或者回答提示,且然后后续观察对响应的眼镜的调整。当结合本文中描述的机器学习技术时,这能够代表一种提供个性化和定制推荐,同时允许基于用户的实时反馈进行轻微调适的强大的方式。
[0353] 在另一个实施方案中,计算机系统警示用户注意某些关键调整区域,包含但不限于鼻托和镜腿。鼻子和两只耳朵的顶部是必须良好配合的三个关键接触点,并且每只耳朵可能处在不同的高度。计算机系统可以要求用户检查这些特定区域并在需要时加以调整。例如,用户可以调整镜腿长度,直到镜腿良好地配合在耳朵上为止,或者独立地调整镜腿角度以与用户的不同的耳朵高度对应,从而使得眼镜的前框理想地并且美观水平地搁在他的鼻子上。
[0354] 在另一个实施方案中,用户可以在他们的图像数据的预览上实时地调整、修改、重新定位或者选择新的眼镜设计。如前述,提供实时预览,并且给用户实时地修改眼镜设计的控件。
[0355] 不合适的配合
[0356] 往回参照图1B的步骤111,描述了计算机系统检测何时存在可能不合适的或不舒服的配合,或者是否创造了不可能订做的设计。这些不期望的配置,可能是因为用户对他们的模型的交互和定制,而且用户可能不知道他们作出的改变会如何影响模型。例如,如果要求镜腿挠曲地过远而无法适应用户的面部,则这些镜腿会让人不舒服,因为会对用户的头部侧面施加压力。基于铰链设计属性、铰链和/或镜腿变形的程度和从铰链到镜腿接触用户的头部的位置的距离来计算用户的头部上的压力。在另一个示例中,鼻托在鼻子上过紧,或者过松且眼镜可能滑落。可能绝对干涉超出了计算机系统的检测能力。对解剖模型和可配置的眼镜模型进行分析能够检测到发生干涉的表面。基于面部和眼镜的几何形状以及眼镜的材料属性来计算鼻托上的压力。如果确定压力过高,则提供警告或对设计的自动调整。另外,镜片可能位于非最优的角度,从而使得用户的视觉体验不良,或者视敏度并非最优。计算机系统分析3D眼镜模型和量化解剖模型之间的下面的标准(以及其它标准)以确保在用户身上正确地配合:鼻托和鼻子之间的干涉或间隙,耳朵顶部和镜腿之间的干涉或间隙,配合耳朵所需要的镜腿角度(向内或向外),镜片角度,以及眼镜在鼻子上的位置和眼睛相对于镜片的位置(例如,眼睛是否正在镜片内的中心?)
[0357] 计算机系统将尺寸信息与材料属性、力和变形计算以及应力/应变的计算模拟结合。对于所分析的每种量度可以存在规范,且如果不符合一项标准,就警告用户。替代地,计算机系统自动建议一个替代方案或者一组替代方案。
[0358] 定制精加工
[0359] 在一个示例性实施方案中,计算机系统向用户提供改变眼镜的颜色、精加工、纹理或材料的控件。用户对这些选项的控制,可以在计算机系统不作自动推荐的情况下发生,或者可以在计算机系统作出了最初的定制设计之后,给用户控制权。计算机系统显示在眼镜上预览或应用于眼镜的多种颜色。用户对于眼镜的各种部分选择不同的颜色。颜色的选择可以限于制造商确定的一组颜色/精加工,或者有成百上千种或更多种颜色/精加工。用户还选择要预览的材料精加工的选项。所选择和渲染的精加工的示例包含抛光、拉丝、缎面、透明涂层、亮漆、亚光、压花、锤锻、纹理等等。用户对眼镜的改变和编辑可以发生在编辑界面,其中更新被应用于预览视图,或者实时地应用和预览所述改变和编辑。
[0360] 在另一个实施方案中,用户拍摄诸如衣物、指甲油、图片等等对象的照片。用户提供作为数字图像的照片,或者使用计算机系统拍摄照片。用户选择照片的一个点或区域以供计算机系统匹配颜色或图案。计算机系统分析照片,并且从所述图像指定定制颜色或图案。计算机系统可能要求利用校准标准来获得颜色匹配和再现的高准确度。校准标准是上面有用户必须在图像中包含的各种校准颜色和阴影的印制卡。制造商可以向用户提供这个卡片,或者用户印制卡片。还可以在具有期望的颜色的对象旁边呈现计算机显示器。显示器上可以显示颜色校准图案,可以在镜子中或者使用第二图像捕获装置与对象一起被捕获。替代地,提示用户在照片中包含已知对象。已知对象将是经过校准并且存储在计算机系统中的物件。示例可以包含已知用高度的颜色准确性和一致性专业印刷的普遍存在的徽标,诸如食品盒或杂志、易拉罐、货币或信用卡上的徽标。替代地,计算机系统可以具有来自其它制造商的已知颜色的数据库,诸如化妆品、油漆样品、汽车或纺织品-用户能够从所述数据库中选择她最喜爱的衬衫、汽车或指甲油颜色的颜色,并且制造商于是将具有准确地再现和匹配希望的颜色所必要的颜色信息。
[0361] 在另一个实施方案中,用来自用户的图案、图像或文本来定制眼镜。图案、图像或文本在本文中将称为图案。图案被印刷、雕刻、蚀刻、喷绘或以其它方式应用于眼镜的任何表面上。从计算机系统上的可用的选项库产生图案、类似于定制颜色的先前说明用户从她的图像提供图案、或用户输入图案。例如,用户可能想在镜腿内部印制他的名字。或者他可能期望在镜腿侧面蚀刻线条设计,或者在眼镜上印制树叶纹理图案。在3D眼镜模型上向用户渲染和预览图案,且然后在所制造的眼镜上准确地再现图案。
[0362] 在另一个实施方案中,给眼镜定制成带有配件,包含但不限于徽标、护符、珠宝等等。例如,基础设计可以有在铰链附近的每支镜腿上放置配件的选项。存在默认的配件,并且用户可以选择改变、重新定位或去除配件。用户可以从包含各种形状、颜色、材料等等的各种选项中进行选择。计算机系统渲染配件,以在3D眼镜模型上显示以供用户预览。
[0363] 偏好记录
[0364] 在示例性实施方案中,一旦用户已经选择了眼镜并且调整了它的大小、颜色和其它特征,则将这些偏好记录和存储到非暂时性计算机可读介质。计算机系统还存储用户的模型、图像数据和其它信息。当用户选择替代的眼镜设计(诸如不同的材料或不同的式样)时,基于用户过去的交互和偏好,根据他们的偏好来调整眼镜,因此使得浏览眼镜的体验更有定制性,同时还减少了重复的任务。例如,一旦确立了期望的配合偏好,就能根据用户的偏好来更新任何设计或式样以配合用户。如果用户喜欢稍小于他们的面部宽度的眼镜,并且他们喜欢将眼睛佩戴成离他们的眼睛更远,则可以根据这种偏好来调整所有式样。在另一个实施方案中,在特定的用户使用计算机系统时,改进该用户的偏好。如上文在构建偏好的训练数据库的方法中所述,在用户购买和预览眼镜时,计算机系统记录和追踪用户的偏好。使用这个信息来改进用户的偏好,并且将这个信息添加到他输入的或者以前从他提供的图像数据中分析的信息。还可以使用用户存储的偏好来构建更大的数据库,用于将来对新的用户进行预测和定制,如上文提到的。
[0365] 当用户和/或计算机系统调整眼镜时,计算机系统记录变化的幅值和方向(当有关时)。通过将适当的模型参数调整一定数量以匹配用户请求的变化,来更新可配置的眼镜模型。检查被编写到模型中的任何约束,且如果超过限值,则计算机系统向用户提供警告。替代地,应用高达限值的变化,并且忽略或者不允许超过限值的任何过量变化(警告用户超过了限值,或者不警告用户超过了限值)。例如,如果用户将眼镜宽度从140mm改变成190mm,但是最大设计宽度限于170mm,则眼镜将仅调整到最大170mm,并且通知用户达到了这个限值。如前述,计算机系统渲染和显示更新后的模型,从而使得用户能够在他的图像数据上预览新的3D眼镜模型。在另一个实施方案中,在一段时间中向用户突出显示或者识别眼镜的改变的区域,或者一直突出显示或者识别到用户接受改变为止。向用户提供取消(或重做)他请求的任何改变的规定。
[0366] 配置效率
[0367] 当用户或计算机系统请求改变可配置的模型以配合不同的用户时,可能期望具有预先配置的多种定制设计以便实现效率。例如,可以将成百、成千或者成百万的设计配置预先配置和存储在计算机系统或网络可访问的计算机系统上。如果这些预备阶段的配置涵盖了最常访问的设计配置,则可以快速访问并且向用户显示它们。替代地,使用形状匹配算法、查找表或其它技术来找到最接近用户的偏好的模型。然后,从预先阶段的配置进行随后的小型调整,以根据确切的用户偏好来微调可配置模型。
[0368] 制造准备
[0369] 如图1A的17和图1B的115和116示出的,计算机系统存储用于表示用户的偏好和设计的数据,且然后计算价格和运送估计值。在用户确定他想要订购的最终定制眼镜之后,计算机系统可以生成最终表示,最终表示用更加照片现实的方式渲染,并且具有更高的质量和分辨率(如果为了实现效率,原始的预览图像被制作成较低质量)。在完成对用户的定制眼镜的订购之前,计算机系统向用户提供价格、预期运送日期和其它信息。表示可以由用户所选择的各种参数和设置或者眼镜的最终3D模型构成。计算机系统经由网络连接或其它信息传递方式,将眼镜表示和偏好、尺寸、配置数据和其它信息传递到制造商能访问的另一个计算机系统。除了眼镜表示之外,计算机系统还可以接收用户的个人信息、支付细节、运送地址、图像数据和完成订购所需要的任何其他信息。
[0370] 为了提供估计运送日期和价格,计算机系统主动地追踪多个参数,包含但不限于:所有需要的原材料的库存情况、当前生产能力、未完工程、未来计划、计划订单和材料交货期或生产能力等等。计算机系统执行调度和运送估计,以向用户提供预期交付日期,或者向制造商提供为用户实现保证交付日期所需要的行动。
[0371] 制造定制产品
[0372] 图1B的114示出了用户决定购买眼镜。图1A的18和图1B的116和117描述了分析和准备眼镜和镜片制造用的信息和文件。一旦制造商的计算机系统中有了最终眼镜表示、偏好、尺寸、配置数据,就分析这些数据以自动创建制造工作订单和制造CAD、CAM、CNC或其它制造和建模文件的集合。创建链接至用户的订单的序列标识符,以在眼镜移动通过生产过程时追踪眼镜。计算机系统将序列号与原材料、规范和质量核对单相关联。计算机系统还根据特定眼镜模型需要的制造方法来准备制造文件,包含但不限于:用于快速建立原型或增村制造方法的模型文件;用于机械加工(例如,g代码)、打槽、铣削、或其它减性制造方法的转换成工具路径CNC代码的模型文件;用于光刻的转换成平坦图案的模型文件;用于激光切割、激光打标/蚀刻、水射流切割、压模(和压模工具生产)、冲压(和冲压工具生产)或其它2-D切割方法的转换成平坦图案与工具路径或机器人控制代码的模型文件;用于注射成型、铸造或其它工具生产的转换成相反几何形状的快速建立原型或增村制造方法以形成模具的模型文件,以及用于零件处理、抛光、组装、钻孔、切割等等的转换成机器人控制指令的模型文件。
[0373] 计算机系统还根据下面各项来准备制造文件:处方信息、镜片材料和镜片制造用的转换成镜片表面加工、镜片激光打标和镜片边缘机械加工指令的用户信息;用户输入的用于更新任何上述方法用的现有的制造文件的参数;有待喷漆、阳极处理、沉积、电镀、压模、印刷、蚀刻、雕刻或者以其它方式用于改变眼镜的视觉外观的颜色和图案;以及总的来说,从用户的订单指定的自动转换成制造设备用的文件或指令的量化信息。
[0374] 图15示出了3D眼镜设计1501的示例,其自动转换成正面1502、左镜腿1503和右镜腿1504的平坦图案,以准备用于金属或塑料薄片的激光切割或机械加工。这些零件,还有其它订单的其它零件,自动布置成优化制造度量,诸如材料用量或加工时间的最小化。平坦图案还包含关于制造设备用来弯曲或形成预切割零件的弯曲位置1505的几何信息。图案存储为数字文件,或其它向制造设备提供尺寸和指令所需要的其它介质。随后的操作可以包含弯曲、折叠或其它在自动设备上执行的成形操作。制造系统可以使用序列标识符以在每个步骤确定对该零件执行什么操作,或者针对该部分获得规范。向设备提供弯曲图案或其它计算机可读指令。
[0375] 图16示出了针对用户定制的3D参数眼镜模型1601和生产出来的所得的制造零件1602的示例。诸如这些之类的零件是使用任何前述制造技术或本领域的技术人员已知的其它方法形成的。
[0376] 关于制造,图1B的步骤117描述了计算机系统控制制造设备和人员。计算机系统可以在人的帮助下或者不在人的帮助下为多个制造设备排定序列。一个说明性示例是,计算机系统可以提供一组指令来执行下面的序列来制造金属眼镜镜框:
[0377] 机器人拖拉必需的材料并且将材料供给到激光切割机或CNC机器的指令。并行地,发送到镜片制造设备以对镜片进行表面加工、抛光、打标、涂覆和加边的指令。激光切割机切出眼镜的形状并且用徽标或其它装饰性标志打标的指令和工具路径。机器人将激光切割后的零件传递到弯曲机和压模机的指令。弯曲和压模机将眼镜成形为期望的最终形状的指令。机器人将零件传递到抛光机的指令。抛光机对零件进行精加工的指令。对眼镜进行喷漆、涂覆、阳极处理、印制或染色的指令。机器人对完成后的零件进行分类并且使眼镜和镜片关联的指令。操作人员组装眼镜和镜片、鼻托和耳垫并执行最终检查的指令。机器人包装完成后的产品并贴上标签以便运送的指令。
[0378] 前面提到的指令是用于一个定制产品的一个序列。为了能够成功地制造多个定制产品,控制制造过程的计算机系统针对所生产的每个定制部分为过程的每个阶段创建一个命令序列。图32说明了一个框图,该框图示出了定制领先的产品的处理流程。从3201开始,随时间收到在3202的定制眼镜1的订单、收到在3203的定制眼镜2的订单,并且收到在3204的定制眼镜3的订单。在收到订单之后,每副眼镜在3205处收到一个序列号。计算机系统将零件分成批次3206和3207,用于基于机器的可用情况、未结订单、转移和其它数据来进行激光切割。计算机系统针对每个批次向激光切割器提供指令以切割零件。因此,当定制产品从激光切割器移动到下一个步骤时,激光切割器接收下一批定制产品的指令。在激光切割之后,计算机系统向弯曲机3208一个接一个地提供针对每个零件的指令序列。当每个零件在弯曲机上完成时,计算机系统向压模机3209提供指令。
[0379] 在一个实施方案中,计算机系统生成质量控制或检查的指令。计算机系统创建供检查人员使用的模板,用于检查的尺寸或合格/不合格标准。因为每个零件都是独特的并且领先的,所以创建独特的检查标准很重要。计算机系统还可以向自动检查提供指令,自动检查是由每个单个产品的尺寸、属性或标准构成。另外,计算机系统可以向制造设备提供用户的解剖结构的数据或模型,以生产检查或组装设备。例如,可以生成用户的耳朵和鼻子的3D印刷模型,以确保最终产品模型与用户适当地配合。
[0380] 在前面的步骤中的任一个中,可以使用分包商或多个制造场地,并且在一个实施方案中,计算机系统自动处理订单信息和/或制造指令/方案的准备。最终,在图1的步骤118中,将定制眼镜运送给用户。
[0381] 替代运送系统
[0382] 下面的实施方案描述替代或附加的系统和方法以补充或加强前面的说明。
[0383] 店内系统:
[0384] 所描述的创建定制产品和眼镜的方法和系统可以用在零售店、验光室或其它物理位置。所述系统和方法部分地或者全部地受到顾客、眼镜师、验光师、销售人员或其它专业人士的控制,帮助用户在办公室或零售位置或者通过远程协助借助计算机网络选择和购买最好的镜框和镜片。图26示出了在商店中使用一个系统购买定制眼镜的示例性方法。图27示出了示例性计算机系统。顾客2700在店内或远程专业人士2710的任选的帮助下使用店内计算机系统2730。计算机系统2730配置有图像捕获装置2720和显示器2740。计算机系统任选地校准了成像装置以测量与用户用于定制眼镜材料的对象匹配的定制颜色的颜色。店内计算机系统配置有与制造商的系统2780和2790并且任选地与计算机的计算机系统2770和专业人士的商店计算机系统2760的数据传递连接2750,所述数据传递连接2750可以包含用户的信息、资讯、处方等等。
[0385] 如果所述过程是在专业人士的商店或办公室开始,则用户的个人计算机系统在与专业人士的会话之后能访问用户的图像数据和眼镜库存,因此用户能在稍后的时间访问这个信息。例如,他们可以在商店完成初始模型和定制设置之后继续在家购物。计算机系统还可以配置成与验光装置协作以测量处方信息,并且自动将测量值合并到计算机系统中,从而使得不需要手动输入处方数据。店内系统的另一个优点是能够创建更受控制并且质量更高的图像捕获和显示系统。对于专门针对捕获图像数据和显示定制预览设计的信息站或计算机系统,可以使用更高级的专用硬件部件,诸如有校准功能的多相机系统或深度感测相机。
[0386] 图27示出了示例性方法。在这个实施方案中,在2701处,使用配置有相机或成像装置的计算机系统来采集用户的图像数据。计算机系统可以任选地还配置有参考目标、多个或校准后的成像装置、深度装置、可穿戴参考目标(诸如眼镜)、或校准距离和定位装置,以确保可以由计算机系统测量用户的比例。在2702,商店或办公室专业人士可以帮助顾客使用计算机系统和采集图像数据。在2703,计算机系统基于图像数据重构用户面部的解剖模型。在2704和2705,计算机系统任选地具有输入装置,其使得商店专业人士、医生或其他人能够输入另外的解剖数据,诸如物理测量值、处方信息等等。计算机系统计算机系统针对大小和配合2707以及式样2708自动配置或调整用户的定制眼镜模型。在2709,计算机系统创建定制产品,并且将解剖模型与原始的用户图像配准,从而使得模型坐标和相机位置将面部模型与用户面部的图像的姿势、位置和比例对准。在2710,计算机系统将眼镜模型与用户模型和图像对准,并且在用户的图像上渲染眼镜模型的预览。在2711,计算机系统任选地有快速建立原型系统或者连接至快速建立原型系统(3D打印机、CNC切割机等等),以便为用户创建物理原型或预览。在2712和2713,计算机系统有输入装置,输入装置使得用户或商店专业人士能够调整、更新或配置定制眼镜模型。计算机系统有输入装置以使得用户或商店专业人士能够选择和尝试各种眼镜模型。在2714,如果眼镜不是很适合顾客,那么计算机系统以及任选地专业人士可以推荐。在2715,计算机系统计算关于价格和制造时间的数据。在2717,用户或商店专业人士选择和尝试各种眼镜模型。在2716,顾客可以选择订购定制眼镜。在2718,计算机系统经由网络连接或其它形式的电子通信将最终眼镜模型和用户信息传递到制造商的计算机系统,从而使得制造商能够生产定制眼镜。在2719和2720,制造商的计算机系统和制造系统预处理眼镜模型和信息并且生产定制眼镜。在2721,定制眼镜完成并且运送给顾客,或者在商店位置准备好供取走。
[0387] 共享数据和设计访问:
[0388] 在另一个实施方案中,用户向另一方(诸如朋友、家庭成员、眼睛护理专业人士或流行顾问)提供对他的图像数据和解剖模型的访问。用户使得计算机系统能够经由网络或数据传递技术将他们的图像数据以及任选地其它信息(诸如偏好、眼镜模型和设置)传递到另一个计算机系统。这个传递是用超链接、验证登录或其它机制完成的,所述其它机制通过多种通信形式之一(诸如电子邮件、数字消息、社交网络、云存储等等)直接发送给另一个人。另一方然后在原始用户的面部模型或图像数据上调整、定制和预览眼镜。另一方然后保存收藏和眼镜设计,且然后将图像、设计、视图、定制、建议、通知等等发送回给原始的用户。原始的用户然后使用他的计算机系统预览另一方为他设计和配合的眼镜。这个实施方案的一个很大的优势是允许用户将他们的眼镜的设计众包给其他人,从而可能增加他们收到的用于预览的设计的多样性和质量。在这种情况下,他们兼备了计算机驱动的算法的能力与人类驱动的设计。
[0389] 在一个示例性实施方案中,用户发送他自己的多个图像数据或交互模型与眼镜的预览。经由计算机网络或其它信息传输系统,通过诸如电子邮件、数字消息、社交网络、云存储等等之类的多种通信形式之一,将图像数据或模型从用户的计算机系统发送到另一个计算机系统。计算机系统然后允许经过授权的一个人或一些人向原始的用户提供响应、评分、消息和其它形式的反馈。
[0390] 在另一个实施方案中,眼镜设计者或时尚品牌使用所述系统来创造他们自己的眼镜生产线。构建新的眼镜生产线需要大量启动成本,因为通过传统的制造方法必须批量地订购零件,高保真度的原型较为昂贵,并且在推销出去之前,必须订购并且在库存中保存许多式样、大小和颜色的组合。设计者可以使用本文中描述的系统用不同的颜色、形状、大小和其它特征来创造一组设计。装满了用户图像数据、解剖模型和偏好的数据库提供了一种用于跨大量人群样本测试和预览眼镜的特别的装置。可以提供设计样本,并且当用户查看并且想要订购设计时,可以使用按照需求的制造和交付方法,使得设计者或时尚品牌将永远不需要保持库存。
[0391] 在另一个实施方案中,如果眼睛护理专业人士进行了物理测量,并且使用计算机系统并将关于用户的解剖数据输入到用可配置的眼镜模型来生成定制设计的系统中,则可以使用没有图像分析部分的系统。专业人士或用户然后可以提供偏好和改进,并且如前述让人制造出所述眼镜。
[0392] 附加产品
[0393] 在另一个实施方案中,本文中描述的所有的方法和技术应用于定制、渲染、显示和制造定制眼镜盒。用户可以从多种材料、颜色、设计、形状和特征中作出选择,并且在他的显示器上看到对盒子的准确渲染。而且,可以自动设计盒子的大小,以便配合设计的定制眼镜,从而使得盒子内不会有过量的自由空间允许眼镜到处晃动-盒子可以自动设计成定制配合眼镜,从而使得盒子的大小最小化,并且增加盒子在运输过程中保护眼镜的能力。盒子的颜色、式样和材料以及制造方法也能与制造定制眼镜使用的那些匹配。在盒子上或盒子里面雕刻或标记定制本文,诸如用户的名字。本文中描述的相同的眼镜制造技术也能用于制造定制盒子。
[0394] 本领域的技术人员将认识到,本文中描述的系统和方法也可以用于定制、渲染、显示和制造其它定制产品。因为所描述的技术适用于使用针对定制构建的定制图像数据、解剖模型和产品模型,所以能用类似的方式设计许多种其它产品,例如:定制珠宝(例如,手镯、项链、耳环、戒指、鼻环、鼻钉、舌环/舌钉等等),定制手表(表面、表带等等),定制袖扣,定制蝶形领结和普通领带,定制领带夹,定制帽子,定制胸罩,插入物(垫子)和其它内衣,定制泳装、定制衣服(夹克、裤子、衬衣、裙子等等),定制奶瓶嘴和安抚奶嘴(基于母亲的解剖结构的扫描和再现),定制假体,定制头盔(摩托车、自行车、滑雪、滑雪板、赛马、Fl等等),定制耳塞(主动或被动的听力保护),定制音频耳机(头戴受话器)末端(耳朵上或耳朵内),定制蓝牙头戴耳机末端(耳朵上或耳朵内),定制安全护目镜或面罩,并且定制头戴显示器[0395] 作为另一种产品的示例实施方案,下面的系统和方法描述了一种定制头盔产品。参照图33。
[0396] 根据一个实施方案,公开了用于创造定制头盔的方法。一种方法包含使用至少一个计算机系统采集用户的图像数据(3301和3302示出了具有不同的头部形状的两个用户);使用至少一个计算机系统确定用户的解剖细节和/或尺寸;使用至少一个计算机系统和用户的解剖数据,为用户配置(例如定制形状、大小、尺寸、颜色、精加工等等)新的定制头盔模型(示出了带有保护元件3304和带子3305的可配置的头盔模型3303);使用至少一个计算机系统向用户的图像数据或解剖模型应用可配置的头盔模型;使用至少一个计算机系统预览带有可配置的头盔模型的用户的图像(定制头盔模型3306示出在用户头上,适配于他们独特的头部形状);使用至少一个计算机系统和/或用户输入,任选地调整和更新可配置的头盔模型属性(例如定制形状、大小、尺寸、颜色、精加工等等)的预览;使用执行基于预览模型制造定制头盔的指令的至少一计算机系统进行准备;以及使用至少一个计算机系统和制造系统制造新的定制头盔。
[0397] 根据一个实施方案,公开了用于创造定制头盔的系统。一种系统包含:图像采集装置,其配置成获得用户的图像数据;输入装置,其配置成从用户接收指令;显示器,其配置成向用户显示图像数据;制造系统,其配置成生产定制头盔;数字存储装置,其用以存储创造和预览定制头盔的指令;处理器,其配置成执行实行包含下列操作的方法的指令:使用至少一个计算机系统采集用户的图像数据;使用至少一个计算机系统确定用户的解剖细节和/或尺寸;使用至少一个计算机系统和用户的解剖数据针对用户配置(例如,定制形状、大小、尺寸、颜色、精加工等等)新的头盔模型;使用至少一个计算机系统向用户的图像数据或解剖模型应用可配置的头盔模型;使用至少一个计算机系统预览带有可配置的头盔模型的用户的图像;使用至少一个计算机系统和/或用户输入,任选地调整和更新可配置的头盔模型属性(例如定制形状、大小、尺寸、颜色、精加工等等)的预览;使用至少计算机系统准备用于基于预览模型制造定制头盔的指令;以及使用至少一个计算机系统和制造系统制造新的定制头盔。