在基板上渲染数字图像转让专利
申请号 : CN201710267615.4
文献号 : CN107545597B
文献日 : 2021-11-05
发明人 : G·D·威伦斯基
申请人 : 奥多比公司
摘要 :
权利要求 :
1.在数字介质环境中,一种由计算设备实现的方法,所述方法包括:由所述计算设备接收数字图像、基板的三维模型、以及数字内容;
由所述计算设备将所述数字图像应用于所述基板的所述三维模型,使得所述数字图像当被应用于所述基板时从多个查看方向可查看,所述多个查看方向基于来自传感器的、指示三维空间中的定向的输入;
由所述计算设备配置包括所应用的所述数字图像的所述三维模型的材料性质,以将所述数字内容包括为在所述多个查看方向中的特定查看方向可查看;以及由所述计算设备输出经配置的所述三维模型,以响应于由所述传感器对所述特定查看方向的检测而将所述数字内容渲染为所述数字图像的部分,使得所述数字内容基于所述基板的所述材料性质在所述特定查看方向可查看并且在所述多个查看方向中的另一查看方向不可查看。
2.根据权利要求1所述的方法,其中所述数字图像仅在二维中被定义。
3.根据权利要求1所述的方法,其中所述基板的所述三维模型被配置为高度地图,并且所述查看方向的确定包括确定关于所述高度地图的表面法线方向。
4.根据权利要求1所述的方法,其中经配置的所述三维模型包括关于所述三维模型的所述基板被定义的光的虚拟效果。
5.根据权利要求4所述的方法,其中所述光的虚拟效果包括所述光的强度和方向。
6.根据权利要求1所述的方法,其中经配置的所述三维模型还被配置为查明由相机接收的、与经配置的所述三维模型上的显示设备相关联的光的效果。
7.根据权利要求1所述的方法,其中所述基板包括所述材料性质。
8.根据权利要求1所述的方法,还包括接收用户输入,所述用户输入指示从所述计算设备的用户界面中的多个所述基板对所述基板的选择,其中所述多个所述基板中的每个基板与相应的所述三维模型和相应的所述材料性质相关联。
9.根据权利要求1所述的方法,其中经配置的所述三维模型被配置为将所述查看方向基于所述计算设备的显示设备在三维空间中的定向或者基于查看所述计算设备的显示设备的用户的很可能的定向。
10.根据权利要求1所述的方法,其中所述数字内容包括水印、版权信息、优惠券代码、超链接或者签名。
11.根据权利要求1所述的方法,其中所述材料性质是光泽、糙面或者反射率。
12.在用于渲染数字图像的数字介质环境中,一种由计算设备实现的方法,所述方法包括:
由所述计算设备接收经配置的三维模型,所述经配置的三维模型包括:基板上的三维模型;
所述数字图像,向所述三维模型被应用为从多个查看方向可查看;以及数字内容,被配置为具有所应用的所述数字图像的所述三维模型的部分并且基于所述三维模型的材料性质经由所述多个查看方向中的第一查看方向可查看;
由所述计算设备基于所述计算设备的传感器检测所述第一查看方向,所述第一查看方向指示三维空间中的定向;以及
由所述计算设备响应于所检测到的所述第一查看方向而将所述经配置的三维模型渲染为包括所述数字内容作为所述数字图像的部分,以在至少部分地遮挡在所述多个查看方向中的第二查看方向对所述数字内容的查看的同时,准许在所述第一查看方向查看所述数字内容,所述第二查看方向不同于所述第一查看方向。
13.根据权利要求12所述的方法,还包括由所述计算设备基于所述计算设备的所述传感器来检测由所述计算设备的移动引起的另一查看方向,并且其中所述渲染包括在没有所述数字内容的情况下在二维中渲染所述数字图像的所述经配置的三维模型。
14.根据权利要求12所述的方法,其中所述传感器包括加速度计、磁力计、惯性传感器、超声传感器、对电磁或者声波的使用、或者飞行时间相机。
15.根据权利要求12所述的方法,其中所述数字内容包括水印、版权信息、优惠券代码、超链接或者签名。
16. 根据权利要求12所述的方法,其中:所述基板包括所述材料性质;并且所述渲染基于所述基板的所述材料性质上的光的经查明的效果。
17.在数字介质环境中,一种由计算设备实现的系统,所述系统包括:查看方向子例程,被配置为由所述计算设备执行,以基于如由传感器检测到的三维空间中的定向来检测多个查看方向中的特定查看方向;以及数字图像渲染子例程,被配置为由所述计算设备执行,以:接收经配置的三维模型,包括基板的三维模型、向所述三维模型被应用为从所述多个查看方向可查看的数字图像、以及基于所述基板的材料性质而仅从所述多个查看方向中的特定查看方向可查看的数字内容;以及响应于由查看方向模块对所述特定查看方向的所述检测,将所述数字图像的所述经配置的三维模型渲染为所述数字内容的部分。
18.根据权利要求17所述的系统,其中所述数字内容包括水印、版权信息、优惠券代码、超链接或者签名。
说明书 :
在基板上渲染数字图像
技术领域
背景技术
台、电视、儿童的玩具等等)的使用。因而,数字图像已经变得和继续成为用户的日常生活的
部分。
染数字图像与如何在这一材料上形成常规物理图像之间的差距引起的。例如,艺术家可以
选择材料以实现常规材料图像的观感,比如通过对选择纸质以变更光泽、纹理、糙面、反射
率和涂层的使用。然而,用来渲染数字图像的常规技术缺乏这一选择并且因此限制用户在
与数字图像交互时的体验。
发明内容
数字图像并且将基板的材料性质添加到数字图像的三维模型。基板例如可以包括表面(例
如,拓扑)的3D模型和表面的定义的材料性质(例如,光泽、糙面、反射率等等)。
备定向。在另一示例中,输入例如通过凝视检测、头部放置等等来描述查看者定向。
虚拟光源。在另一示例中,计算设备的物理环境的环境光被检测和建模为对图像的渲染的
部分。
境中的改变或者甚至对3D模型、材料性质和作为基板的部分而被定义的虚拟光源随时间的
定义的改变。以这一方式,可以变换数字图像以支持动态交互式体验。
型的部分,从而使得数字内容在特定查看方向可查看。以这一方式,数字内容没有干扰与数
字内容的整体用户体验。
作辅助确定要求保护的主题内容的范围。
附图说明
具体实施方式
选择介质以提供不同数量的光泽和糙面反射率、纹理以及其它涂层。历史过程(比如树胶重
铬酸盐印刷)具有可变厚度的树胶涂层,白金照相通过对并入的纸质纤维的使用来强调图
像。银板照相利用金属反射率等等。附加地,在物理环境中对这些材料图像的查看是动态
的,从而使得光照与材料图像的互作用基于用户的视点而改变。这提供了细微纹理元素,这
使材料图像栩栩如生并且增加与材料图像的用户参与,这在当前数字图像用户体验中是缺
乏的。
态查看体验,该动态查看体验模仿利用材料图像的体验,该体验可以随着用户的很可能的
查看方向中的改变以及用户的物理环境中的改变来动态地改变。
设置在基板上一样。基板特性的示例包括选择的基板的材料性质、选择的基板的三维模型
(例如,作为“凸起地图”的表面纹理)、在虚拟空间中关于三维模型而被设置的虚拟光源、设
备的物理环境中的光源等等。材料性质包括光泽层、影响光的表面下散射的内部材料性质
等等。材料性质也可以由计算设备确定,该计算设备例如通过按图像强度或者颜色调制来
从数字图像的内容自动地渲染图像。可以通过从计算设备的物理环境检测到(例如,通过使
用相机)的、与用户界面的用户交互等等来“涂刷”基板的材料性质。这些特性也可以被配置
为随时间改变为基板的定义的部分,例如,材料性质和光照可以改变以模仿现实世界中的
交互。
在另一示例中,关于将要查看数字图像的用户的很可能的方向,使用计算设备的传感器来
确定很可能的查看方向,比如通过对使用计算设备的向前相机、VR/AR眼镜等等的眼睛检
测、脸部检测等等的使用。
到的改变和用户的物理环境(例如,光照)中的改变来更新渲染。以这一方式,查看渲染的图
像的用户可以在很可能的查看方向改变时被暴露于光照和材料性质中的改变,并且因此增
加逼真以模仿与材料图像的交互。在一个或者多个实现方式中,对数字图像的这一渲染没
有破坏性,并且因此可以支持在没有影响图像的情况下对基板和光照的选择中的改变。
向中不可查看。例如,艺术家可以并入在单个查看方向可查看的数字内容,比如版权公告、
签名、优惠券代码、超链接等等。以这一方式,对数字内容的查看没有干扰用户在其它查看
方向查看数字图像时的体验,由此提升了改进的用户体验。在以下章节中包括对这些和其
它示例的进一步讨论。
例环境,并且示例环境不限于对示例过程的执行。
具有大量存储器和处理器资源的全资源设备(例如,个人计算机、游戏控制台、虚拟或者增
强现实设备)到具有有限存储器和/或处理资源的低资源设备(例如,移动设备)。附加地,虽
然示出了单个计算设备102,但是计算设备102可以表示多个不同设备,比如由企业用来“在
云之上”执行操作的多个服务器。
建、数字图像106的修改和数字图像106的用于输出的渲染。虽然被图示为在计算设备102本
地实施,但是也可以作为整体或者部分经由通过网络108可用的功能实施图像处理系统104
的功能,比如如关于图12被进一步描述的web服务的部分或者“在云中”。
定义的基板上渲染被图示为被存储在计算设备102的存储装置114中的数字图像106。基板
112可由用户通过与由显示设备120显示的用户界面118交互来选择以使用选择的基板112
(例如,在所图示示例中的木质)来形成数字图像106的三维模型。
传感器的示例包括加速度计、磁力计、惯性传感器、超声传感器、对电磁或者声波的使用、飞
行时间相机等等。
或者虚拟现实的部分而被使用的定向和凝视检测的组合。例如,传感器116可以用来检测计
算设备102的物理环境中的表面,并且由此选择多个基板112之一。数字图像106然后可以被
渲染以用如下方式在三维中可查看,该方式通过对基板渲染模块110的使用来提供增强的
逼真,这可以包括对感知的校正,比如偏斜和其它变换。
渲染的版本的示例124被显示,在该示例中数字图像106被描绘为被设置于选择的木质基板
上。这可以被执行以用于在二维(例如,用于移动电话的典型显示设备上显示)或者三维(例
如,用于虚拟现实或者增强现实场景中的立体显示)中查看。
等等可以基于用户在现实生活中对材料图像的查看方向而改变。为了模仿这一点,基板渲
染模块110动态地更新对数字图像106的渲染以模仿这一现实交互,因此改进用户利用数字
图像106的体验。在下文中包括并且在对应图中示出了对基板渲染模块110的操作的进一步
描述。
的选择的定义和由计算设备102直接地或者间接地暴露的传感器116值(例如,通过操作系
统的API对定向的指示)作为输入。由此,基板渲染模块110产生如被设置在基板112上的数
字图像106的三维模型202。基板112如图所示可以定义高度地图。高度地图在基板112的不
同位置在三维模型中定义不同高度。这些不同高度可以用来如图所示形成山脊、山谷等等
以支持对可以基于查看方向而改变的纹理和其它表面特性的查看。模型202然后用来形成
被输出用于例如在计算设备102的显示设备118上显示的渲染的图像204。
112上的数字图像106的三维模型202而被定义的高度地图的表面法线。表面法线是与对象
垂直的矢量,该对象是如在这一示例中由查看方向定义的和使用虚线图示的基板112的高
度地图。通过与如倍设置在基板112上的数字图像106的三维模型202的高度地图组合来使
用表面法线,基板渲染模块110可以确定哪些部分在该查看方向可由用户查看。以这一方
式,渲染的图像204可以基于对很可能的查看方向的改变而动态地改变。
看方向与如由高度地图定义的模型的拓扑之间的关系的三维中的改变。渲染的图像202也
可以如在下文中进一步描述的那样基于光源212、材料性质等等而改变。以这一方式,基板
渲染模块204可以响应于从传感器116接收的指示很可能的查看方向的值来动态地更新对
如被设置在基板112上的数字图像106的渲染。
模型302、材料性质304和虚拟光源306。3D模型302定义基板112的表面,比如如图2中所示木
颗粒、纤维的纹理、平坦金属、陶瓷等等。因此,3D模型302提供数字图像106被设置在其上的
基板112的拓扑以形成数字图像106的三维模型202。
在定义的基板112的3D模型302的不同位置改变,并且因此也可以在形成如被设置在基板
112上的数字图像106的3D模型202时改变。
基板112上的数字图像106的3D模型202的效果被计算。作为这一点的部分,也考虑材料性质
304。
部分地在硬件中被实施以确定用户关于计算设备102的显示设备的很可能的查看方向316。
如先前描述的那样,设备定向310描述了计算设备102的显示设备在三维空间中的定向。查
看者定向312基于例如如使用相机而被检测到的、用户的头部或者眼睛位置。
硬件中由基板渲染模块110实施以通过对相机的使用来确定来自源的环境光322的方向和
强度。这一环境光322然后可以被建模为从3D模型202形成渲染的图像202的部分以关于数
字图像106将在其中被查看的、用户的环境增加逼真。
被实施以渲染如被设置在基板112上的数字图像106的3D模型202。这可以被执行以实现单
个二维图像(例如,用于由移动电话显示)、作为多个立体图像(例如,用于由增强或者虚拟
现实设备显示)等等。
每秒三十到六十次渲染图像以用于由计算设备102的显示设备118显示。以这一方式,用户
以模仿与材料图像的交互的方式实时查看对查看方向和环境的改变对3D模型202的效果。
和第三阶段406被图示示例。这些阶段图示了如朝着虚拟光源306而被旋转的计算设备102
的定向中的改变。
设备102的移动以改变很可能的查看方向316的交互以模仿在旋转图像时与材料图像的交
互的方式支持实时交互。
二阶段504和第三阶段506被图示示例。然而,在这一示例中,计算设备102的定向没有改变,
而是实际上环境光322在设备的物理环境中的移动引起对3D模型202的渲染的更新以形成
渲染的数字图像的序列。
源最近的对应部分。以这一方式,涉及计算设备102的物理环境中的改变的交互作为渲染的
部分也可以被解决。这以模仿在计算设备102的用户的物理环境中与材料图像的交互的方
式支持实时交互。
也使用第一阶段602、第二阶段604和第三阶段606被图示。
看方向被查看。以这一方式,数字内容的包括没有干扰用户在除了特定查看方向之外的查
看方向查看数字图像时的体验。这可以用来支持多种功能。
在这一示例中通过第一阶段602、第二阶段604和第三阶段606向右旋转计算设备102,光数
量在渲染的图像106上增加。
此,数字内容608被使得可用于查看,但是数字内容608没有干扰第一阶段602和第三阶段
606的查看方向。也设想了数字内容608的多种其它示例,比如水印、超链接(例如,作为指向
与广告关联的网站的广告的部分)、艺术家签名等等。
的)表示以仿真有光泽的材料。在(例如,仿真或者检测到的)光源被放置在特定查看方向
时,这一有光泽的材料被使得可见。在另一示例中,荧光被用于具有依赖于查看方向的强度
的数字内容608。以这一方式,对数字内容的观测未必依赖于光颜色和强度,而是实际上依
赖于实现用于例如虚拟或者环境光的特定查看方向的“正确查看角度”。也如在下文中进一
步描述的那样设想了多种其它示例。
第一查看方向702中,数字图像106表现为负渲染,并且在第二查看方向704中为正渲染。第
二查看方向704中的数字图像106也通过覆盖图像的反射版本而被模糊以仿真有限厚度的
透明覆盖介质。
图像106如何被查看的细微不同,这些不同可能如先前描述的那样由于查看方向和环境条
件中的改变而动态地改变。
是背景提供闪光效果。在第二示例904中,基板被用来向背景而不是花提供闪光效果。闪光
效果可以随时间改变以反映实际闪光材料的闪烁性质。它也可以响应于查看方向或者环境
条件改变而动态地改变。
定物理基板上创建涂绘或者相片。对于材料图像,画廊将仔细地放置灯具以示出图像和醒
目显示纹理,然而,常规技术如先前描述的那样失去这一丰富性。
式的,从而使得仿真的光照角度的改变模仿照明的作用对实际材料的效果。利用这一查看
器,艺术家能够共享艺术作品并且使查看器能够电子地跨距离感知艺术的更真实体验,这
是使用常规材料图像即使不是没有可能也是困难的。
术作品。这里描述的技术提供用于这样做的若干机制。基板渲染模块110例如可以配置三维
模型202以将版权公告包括为轻度地可见或者除非光在特定方向上照射(例如,虚拟地基于
由模型定义的虚拟光源306或者在环境上基于物理环境中的物理光源的环境光322)或者设
备在特定方向上被定向否则完全不可见。例如,可以执行渲染以使得信息仅在计算设备102
的物理环境中的附加物理光照射在设备上时可见。
于他的数字艺术作品以及光与介质的非物理交互。这通过将这些性质定义为基板112的部
分而被完成,并且因此可以用非破坏性方式被添加、改变和变更。也设想了多种其它示例,
在以下章节中包括对这些示例的进一步讨论。
合,这些块指定由一个或者多个设备执行的操作,并且这些过程未必限于示出的用于由相
应块执行操作的顺序。在以下讨论的部分中,将参照图1至图9。
表面的三维模型应用于数字图像(块1004)和将基板的材料性质添加到数字图像的三维模
型(块1006)。例如,基板112可以包括表面(例如,拓扑)的3D模型302、表面的材料性质304和
虚拟光源306。基板112可以由用户从用户界面中的预配置的选项的集合选择。
质等等。这些特性也可以被配置为随时间改变,例如,材料性质和光照可以改变以模仿现实
中的交互。
入描述计算设备102在三维空间中的设备定向310。在另一示例中,输入例如通过凝视检测、
头部放置等等来描述很可能的查看者定向312。查看者定向312很可能在于描述的查看者定
向312可以不同于用户的实际查看者定向312,例如,充当估计或者预测。
一个或者多个虚拟光源306。在另一示例中,计算设备102的物理环境的环境光322被检测和
建模为对图像的渲染的部分。
户的物理环境中的改变,或者甚至对3D模型302、材料性质304和作为基板112的部分而被定
义的虚拟光源306随时间的定义的改变。以这一方式,数字图像106可以被变换以支持动态
交互体验。
如,数字内容可以被配置为水印、版权通知、超链接、广告、优惠券代码、QR代码等等。
版权公告包括为轻度地可见或者除非光在特定方向上照射(例如,虚拟地或者在环境上)或
者设备在特定方向上被定向否则完全不可见。例如,可以执行渲染以使得信息仅在计算设
备102的物理环境中的附加物理光在特定查看方向照射在设备上时可见。
一方式,数字内容没有干扰用户在其它查看方向与数字图像的体验。
渲染模块110而被举例说明。计算设备1202可以例如是服务提供商的服务器、与客户端关联
的设备(例如,客户端设备)、片上系统和/或任何其它适当计算设备或者计算系统。
可以包括相互耦合各种部件的系统总线或者其它数据和命令传送系统。系统总线可以包括
不同总线结构,比如存储器总线或者存储器控制器、外围总线、通用串行总线和/或利用多
种总线架构中的任何总线架构的处理器或者本地总线中的任何总线结构或者组合。也设想
了多种其它示例,比如控制和数据线。
中被实施为专用集成电路或者使用一个或者多个半导体而形成的其它逻辑器件。硬件单元
1210不受形成它们的材料或者在其中运用的处理机制所限制。例如,处理器可以由半导体
和/或晶体管(例如,电子集成电路(IC))组成。在这样的情境中,处理器可执行的指令可以
是电子地可执行的指令。
可以包括易失性介质(比如随机存取存储器(RAM))和/或非易失性介质(比如只读存储器
(ROM)、闪存、光盘、磁盘等)。存储器/存储部件1212可以包括固定介质(例如,RAM、ROM、固定
硬驱动等)以及可拆卸介质(例如,闪存、可拆卸硬驱动、光盘等)。计算机可读介质1206可以
用如以下进一步描述的多种其它方式被配置。
示例包括键盘、光标控制设备(例如,鼠标)、麦克风、扫描仪、触摸功能(例如,被配置为检测
物理触摸的电容或者其它传感器)、相机(例如,该相机可以运用可见光或者不可见光波长
(比如红外线频率)以识别移动作为未涉及触摸的手势)等。输出设备的示例包括显示设备
(例如,监视器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此,计算设备1202可
以用如以下进一步描述的多种方式被配置以支持用户交互。
数据结构等。如这里所用的术语“模块”、“功能”和“部件”一般地表示软件、固件、硬件或者
其组合。这里描述的技术的特征独立于平台,这意味着可以在具有多种处理器的多种商用
计算平台上实施技术。
质。举例而言而非限制,计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信
号介质”。
质。计算机可读存储介质包括硬件(比如在适合用于存储信息(比如计算机可读指令、数据
结构、程序模块、逻辑元件/电路或者其它数据)的方法或者技术)中实施的易失性和非易失
性、可拆卸和非可拆卸介质以及存储设备。计算机可读存储介质的示例可以包括但不限于
RAM、ROM、EEPROM、闪存或者其它存储器技术、CD‑ROM、数字万用盘(DVD)或者其它光存储、硬
盘、磁盒、磁带、磁盘存储装置或者其它磁存储设备或者适合用来存储希望的信息并且可以
由计算机访问的其它存储设备、有形介质或者制造品。
者其它传送机制)中体现计算机可读指令、数据结构、程序模块或者其它数据。信号介质也
包括任何信息递送介质。术语“调制的数据信号”意味着如下信号,该信号让它的特性中的
一个或者多个特性以对信号中的信息进行编码这样的方式而被设置或者改变。举例而言而
非限制,通信介质包括有线介质(比如有线网络或者直接有线连接)和无线介质(比如声学、
RF、红外线和其它无线介质)。
以实施这里描述的技术的至少一些方面,比如执行一个或者多个指令。硬件可以包括集成
电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻
辑器件(CPLD)和在硅或者其它硬件中的其它实现方式。在本文中,硬件可以作为处理设备
操作,该处理设备执行由指令定义的程序任务和/或由硬件体现的逻辑以及用来存储用于
执行的指令的硬件、例如先前描述的计算机可读存储介质。
1210体现的一个或者多个指令和/或逻辑。计算设备1202可以被配置为实施与软件和/或硬
件模块对应的特定指令和/或功能。因而,可以至少部分地在硬件中(例如通过使用计算机
可读存储介质和/或处理系统1204的硬件单元1210)来实现作为软件可由计算设备1202执
行的模块的实现方式。指令和/或功能可以可由一个或者多个制造品(例如,一个或者多个
计算设备1202和/或处理系统1204)可执行/可操作以实施这里描述的技术、模块和示例。
1216在“云”1214之上)实施这一功能。
的服务器上执行计算机处理之时被利用的应用和/或数据。资源1218也可以包括通过因特
网和/或通过预订者网络(比如蜂窝或者Wi‑Fi网络)而被提供的服务。
的所遇需求对应的规模级别。因而,在一个互连设备实现方式中,可以遍及系统1200分布这
里描述的功能的实现方式。例如,可以部分在计算设备1202上以及经由将云1214的功能抽
象化的平台1216实施该功能。
被公开作为实施要求保护的本发明的示例形式。