自动3D照相亭

摘要

全自动3D照相亭使用了单镜头相机或双镜头相机或其他深度传感器。深度算法处理了所拍摄的照片，该照片能插入到主题模板中。一种模糊分割的新方法将前景和背景分割开。照相亭分发隔行扫描打印件和嵌入式相框，或提供了将3D处理结果在移动设备上观看或将3D处理结果通过电子邮件或社交网络发送出去的选项。在移动设备上，3D处理结果需要通过嵌入式或粘附式的光学覆盖物观看；该光学覆盖物需要设置透镜来解决莫阿干涉效应。在没有光学覆盖物的情况下，需要使用倾斜传感器来移动3D场景模型的视角，从而环视前景中的物体，像真实物体被前后倾斜一样。

权利要求

1.一种全自动3D照相亭，其特征在于，包括：

利用单镜头相机或双镜头相机生成数字图像或视频的机器；

用于将数字图像转换成3D模型，并将该3D模型组合于主题前景和背景中，以生成3D处理结果的电脑处理器；

用于预览3D处理结果的光栅显示屏；

用于将3D处理结果打印成隔行扫描图像的打印机；

用于存放和发出隔行扫描图像和3D相框的自动售货机；

用于将3D处理结果通过电子邮件或社交网络发送到用户的移动设备或网上的设备；

基于蓝屏、绿屏、灰度图或视场高度，利用深度键控将前景中的人物肖像从背景中分离出来，以预设置隔行扫描图像所展示的内容以促进3D转换过程。

2.根据权利要求1所述的全自动3D照相亭，其特征在于，机器为货亭或独立的便携式装置；该机器由零售商操作，或该机器具有用于售卖隔行扫描图像和/或可拆卸的3D相框的投币式自动售货机。

3.根据权利要求1所述的全自动3D照相亭，其特征在于，在对双镜头图像中前景物体的边界的内部和外部进行多色彩搜索，并同时对该前景物体进行高质量边界检测之前，利用双眼视差寻找左视图像和右视图像的最佳匹配点，以找出该前景物体的粗分割区域和指定深度，从而将双镜头图像转换成3D线框模型。

4.根据权利要求1所述的全自动3D照相亭，其特征在于，在使用动态关键帧手工预处理视频之后，将单镜头视频提供给顾客；以通过在随后的关键帧中标记具有相同特点的特征点并手工指定该特征点的深度来追踪视频中的前景物体的动作，并通过程序码将动作插入到基于关键帧之间帧数的多个关键帧之间中，等增量地移动XYZ坐标以匹配XYZ坐标从前一关键帧到后一关键帧中的移动。

5.根据权利要求1所述的全自动3D照相亭，其特征在于，通过将XYZ坐标系中的顶点加入到多边形中，并将数字图像中的特征点的XY坐标映射到3D线框中的对应的XYZ特征点上，以创建逼真的3D线框。

6.根据权利要求5所述的全自动3D照相亭，其特征在于，将前景物体的边界凸出，使该前景物体具有厚度；或者使前景物体的边界仍附于背景上，使得当视角在前景物体后面环视时，看不到前景物体和背景之间的孔隙。

7.根据权利要求5所述的全自动3D照相亭，其特征在于，自动双镜头视频转换使之能够进行实时3D视频转换，其中主题和前景物体有选择地设置于场景的不同深度中，或从场景的各种深度中移出；视频会议、立体生活广播或录制视频的所获得的3D场景以3D效果播放。

8.根据权利要求1所述的全自动3D照相亭，其特征在于，3D打印件、或数字输出的图像或视频通过使用移动设备上的光栅覆盖物或位于移动设备上的倾斜传感器进行观看来提供3D视角。

9.根据权利要求1所述的全自动3D照相亭，其特征在于，嵌入式3D相框从机器中分发；

隔行扫描图像可简单地设置于该3D相框中，光栅覆盖物嵌入在该3D相框的顶部，将隔行扫描图像以正确的对齐方式紧紧地夹持于穿过该隔行扫描图像的塑料件上。

10.根据权利要求1所述的全自动3D照相亭，其特征在于，3D相框的背后包括用于将3D相框悬挂于墙上的悬挂孔，以及用于将该3D相框支撑站立的可分离的、可发出背光的标签。

11.根据权利要求1所述的全自动3D照相亭，其特征在于，设有光栅覆盖物，所述光栅覆盖物以精准对齐的方式快速地、容易地嵌入到移动设备的保护壳中，用于显示屏上的隔行扫描过程，以基于数字内容，达到产生立体凸出效果和光栅效果。

12.根据权利要求1所述的全自动3D照相亭，其特征在于，透镜焦距有目的地超出透镜的后边界，用于光栅打印；并在超出亚像素的范围内聚焦，以使红绿以及蓝色亚像素模糊成单一颜色，来达到消除莫阿干涉效应；并使得垂直透镜用于增大立体效果的目的。

13.根据权利要求1所述的全自动3D照相亭，其特征在于，通过用app或如Flash这种不需要单独下载的视频播放器来播放3D场景模型的多个隔行扫描图像，使数字图像或数字视频通过光栅覆盖物来播放，以实现立体深度和凸出效果；并在不影响隔行扫描间距的情况下，使数字图像或数字视频通过视频尺寸的调整来播放，以适应各种显示屏尺寸从而维持校准过程。

14.根据权利要求1所述的全自动3D照相亭，其特征在于，通过使用显示屏上的旋转图标，使得用于光栅覆盖物的数字内容的方向可旋转地与不正确安装的光栅覆盖物相互对齐，来调整用于观看视频或图像的软件播放器上的方向。

15.根据权利要求1所述的全自动3D照相亭，其特征在于，为光栅隔行扫描过程，通过上升顺序和下降顺序进行两次不使用帧、使用少量的帧或所有的帧将一个区域中末尾帧插入到下一区域开始帧中，使帧重新排序，以创建无限最佳点，从而开始帧和末尾帧嫁接在一起，而使光栅隔行扫描过程不需要重复开始。

16.根据权利要求1所述的全自动3D照相亭，其特征在于，通过使用移动设备上的倾斜传感器来移动该移动设备上的视角来改变该移动设备上的视角，使3D处理结果能在不具有光栅覆盖物或3D眼镜的普通移动设备上观看，并使用户能环视前景物体，犹如在图像中或在视频播放的该前景物体在不同方向上倾斜一样。

17.根据权利要求1所述的全自动3D照相亭，其特征在于，3D模型覆盖到移动设备的视频流上，且该3D模型与场景通过移动设备中的倾斜传感器或追踪场景中的标识或条形码移动到场景中，通过隔行扫描3D模型或整个场景来创建立体深度视角，提升标准增强现实体验。

18.根据权利要求1所述的全自动3D照相亭，其特征在于，通过使用可获得的光栅覆盖物或通过在普通显示屏上的倾斜传感器进行视角控制，3D处理结果被本地用户观看，或通过电子邮件或社交网络发送给其他人观看。

19.根据权利要求1所述的全自动3D照相亭，其特征在于，适于移动设备的识别软件识别该移动设备是否具有光栅覆盖物，来确定播放的数字内容的种类；该适于移动设备的识别软件识别该移动设备是否具有光栅覆盖物的方法包括以下步骤：免费下载识别软件；

当该识别软件被激活时，该识别软件提示用户输入显示屏的屏幕保护的序列号；如果没有输入该序列号，该移动设备仅能运行2D视频播放器；

每个显示屏是与一个唯一的序列号一起售卖，该序列号仅能使用一次，并存储于服务器中；

app搜索用户联系列表来识别具有相同app的其他用户；从而当在多个设备间分享图像或视频时，发送设备将知道用户联系列表中的谁具有相同app；

如果用户注册了序列号或者移动设备具有倾斜传感器而不具有光栅覆盖物时，则被分享的3D数字内容、图像和视频会被app以适于屏幕保护的光学观影方式的格式发出。

说明书

自动3D照相亭

[0001] 本申请要求于2014年3月20日提交的美国临时专利申请号为No.61/968121的名称为“自动3D照相亭”（即Automated3D Photo Booth）的申请的优先权，其被在此引用作为所有目的的参考。

技术领域

[0002] 这里所公开的设备涉及照相亭所拍图像或视频的3D转换。虽然照相亭的发明几乎可追溯到摄像的开端，但照相亭一直局限于用于普通图像的印刷，而没有用于3D光栅印刷或在移动设备上的3D观影。与该照相亭结合使用的方法使得单镜头相机和立体相机的视频或图像能够进行全自动3D转换。

[0003] 背景技术：现有技术的局限性

[0004] 在社交场合、主题公园和公共场所进行摄像时，很难很快地将所拍摄的图像加工成个性化的纪念品。如果可为旅行者进行个性化定制并制作出引人注目的3D纪念品，那将会取得很好的效果；但实时将图像或视频进行3D转换是很困难的。如果图像或视频的实时3D转换需要通过大量的人工处理过程完成，则由于高昂的人工成本，使得增加服务人员的方式也不能解决该问题。并且，即使增加了服务人员，根据二维图像来创建逼真的3D模型也并不容易。

[0005] 数字视频中的前景物体的自动图像分割过程经常被认为是一个不能解决的科学问题。生物视觉系统使得该图像分割过程看起来很容易。增加像激光测距仪或红外图像的增补数据能提高计算机视觉的深度知觉（depth perception），但这也会增加额外的硬件成本并使该图像分割过程更为复杂。对于具有普通图像或影片剪辑的视频处理过程，将物体进行深度智能的图像分割有时被称为内容转换的圣杯(Holy Grail)。

[0006] 可以通过将一般影片预渲染成3D影片，避免实时自动图像分割过程的需要。电影工作室一直在制作的3D动画电影都是基于3D建模而完成的，而这种3D动画电影并不逼真。这也是目前现代3D电脑游戏的最先进技术。然而，在大多数情况下，3D图像或视频仍然局限在（locked inside）平面显示屏上。使用基于偏振镜片或快门镜片制成的立体眼镜来播放
3D影片的电影院出现增长性复苏。如果顾客能将诸如3D图像或视频的个性化纪念品带回家，那将是很好的。然而，直到现在，仅有影视大片才能制作成3D电影。并且尽管那样，3D电影的制作需要经过几个月或几年的预处理。

[0007] 另一个问题是要满足裸眼3D技术的需求。3D眼镜以其不好的观看而一直受到人们的批评。红蓝立体电影会导致重影，还会使得观众头痛。偏振眼镜和快门眼镜使用起来并不方便，并且对于电影院来说，大量的偏振眼镜和快门眼镜也可能会非常昂贵。还出现有双目视频面罩（visor），但是这种双目视频面罩并不是透明的，并且还阻断了用户与其他人之间的互动，并使用户无法观察其周围环境。

[0008] 另一个问题是要解决在某些时候不能进行光栅印刷，来展示3D图像或视频。对于大多数用户来说，将光栅镜片层叠在隔行打印件（interlaced print）上是非常耗费时间，并很难完成的。顾客想要有即印3D图像，但没有显而易见的方法自身去实现。手机可以显示图像，但也可能不具有可利用的光栅覆盖物（lenticular overlay）。在手机上安装光栅覆盖物，并将该光栅覆盖物按照要求精确定位和定向也是难以完成的。另一个制约是，如果光栅镜片保持垂直设置，通常会引起莫阿干涉效应，并对在液晶二极管（LCD）、发光二极管（LED）、阴极射线管（CRT）或其他种类的显示屏上的红色亚像素、绿色亚像素或蓝色亚像素进行放大。但光栅镜片偏离垂直方向越大，立体的凸显效果就越差。另一个问题是，大多数可利用的光栅镜片设计用于打印，但墨水位置具有与显示屏中的像素不同的焦距。

[0009] 或者，相机可被用来追踪用户的动作，并将用户的动作转化成计算机的鼠标或方向键输入的导航信息。通过这种方式，当一个人运动时，在3D情景、电脑游戏或虚拟旅游的屏幕上视角（perspective）将会发生改变。在普通的平板电脑或智能手机上，你可以像在全息图一样将前景物体向前或向后移动，以及环视该前景物体。然而，很遗憾地，对于不同的用户，室内照明效果有着显著差异，而这种情况导致了性能上有很大的差异。在移动显示屏上的自动立体观影过程中，当没有获得光学覆盖物时，需要采用一种方法；该这种方法比通过内置相机追踪用户动作来观看显示屏的前景物体每个面的“环视观影效果”的方式更为可靠。

[0010] 因此，一种能解决上述这些问题的设备是非常有用的。

[0011] 前景：发明内容

[0012] 这里所公开的发明揭示了现有技术的缺陷。在本部分中将概括描述本发明的方法，而在下一部分中将在优选实施例中描述该方法的细节。本发明的方法包括以下几个主要步骤：图像捕捉、3D转换以及3D转换结果的显示以及观看。

[0013] 本发明首先通过使用单镜头相机或立体相机的新颖照相亭将影像（图像和/或视频）转换成3D影像。该照相亭与机械装置一起操作，以将隔行扫描打印件和嵌入式（snap-in）光栅分发出去，如图1所示。打印机位于在座椅下方（或设置在CPU/贩卖仓中），将将隔行扫描打印件从座椅侧部的狭槽排出。

[0014] 多个相框堆叠在照相亭的侧壁上，并由自动售货机通过照相亭侧部狭槽分发出来。该自动售货机如图2所示：一个定制设计架/堆垛机将空白相框放置于正确的位置以用于分发。在每个相框架的底部设置有一个步进马达，该步进马达激发了推动和排放门，以将下一个相框带入特定位置，然后将该相框推入/喷射到一个重力式不锈钢钢滑梯中，使该相框滑下并落入到拾取（pick-up）窗口中；其中，消费者可够到该拾取窗口中，并移出该相框。步进马达由照相亭软件控制，该步进马达将会分发出所购买数量的相框。照相亭软件具有以折扣价增售额外3D图像的选项。例如，一张3D图像售价为5美元，二张3D图像售价为9美元，三张3D图像售价为12美元。

[0015] 照相亭可固定设置在诸如主题公园或购物商场的公共场所中。布景主题和引导标识可与3D灯箱一起展示在照相亭外侧后部。在照相亭的内部设置有显示屏，该显示屏朝向操作者，该显示屏可以是在其每个侧面设置有灯的2D显示屏或3D（立体）显示屏。在照相亭前壁的外侧上与该显示屏背靠背地设置有一个向外的3D显示屏，该3D显示屏用于给其他用户展示3D凸出效果。用户坐在照相亭中的座椅上，给其他用户拍照。处于照相亭外的用户将通过他们前方并处于2D显示屏下方的小孔进行付款。

[0016] 照相亭还可以是一个小的便携式机器，如图2所示，该照相亭设置于地板上，该地板内设有打印机和电脑，其中该打印机和电脑设置底板存储柜的下方，且该地板上方设置有自动立体平面显示屏。尽管该便携式照相亭可被零售商操作，但它也具有通过投币，即可与一种用于分发出隔行扫描打印件和3D相框的机械装置一起进行运转的选项。

[0017] 这里所公开的机械装置是第一全自动3D照相亭。专业软件用于将由单镜头相机拍摄的图像，或与由多镜头（立体）相机拍摄的图像进行转换，以渲染出3D深度地图（深度地图也叫做线框）；其中，图像随后映射于该3D深度地图上。3D点云或线框也可通过添加其他使用激光测距仪的距离传感器、红外图像或其他非图像方法获得，这些非图像设备包括有由以色列特拉维夫市的Prime Sense公司研制的体感传感器（Kinect sensor），或由加州山景城的Lytro公司或加州山景城的Pelican Imaging公司研制的光场相机。

[0018] 我们可使用色度键控，通过在背景上选择一种如亮绿色的独特色彩，以移除相片的背景。如在本优选实施例中的描述，我们也可将灰色的阴影部分转换成不同的深度，并为照相亭创建背景，这个背景有意地与被拍照的人物的亮度/暗度形成对比。这些确实是新式整体照相亭的一部分。然而，这里所公开的软件还包括自身具有新颖性和创造性的步骤，且简单地并不成为新式组件的部分。任何人可创建绿屏，并使用常见图像编辑软件人为地移除背景。但软件的这些算法与上述方法的主要区别在于：（1）实际深度并非通过简单的色度键控来获得；（2）软件算法需要设计成足够快，来实现实时视频效果；（3）这些软件算法都是全自动的。

[0019] 对于将双镜头视频或图像的自动转换成高质量的3D线框，这里所公开的方法通过比较两个图像，并采用每个分割区域边界的内部和外部的多色彩边界探测，找出前景物体的基本图像分割区域，以精确、自动的定义该前景物体的基本轮廓。这是非常有用的技术，可自动提供出奇有效的效果。

[0020] 双镜头3D方法的目的是在动态视差的基础上将左视图像和右视图像进行比较，找出双眼视差的粗的分割区域，来快速识别前景物体的分割区域。这个方法不必精确。然后软件利用前景物体分割区域内部和外部的色彩，搜索该前景物体分割区域内部和外部更为精确的分割线。这是用于计算机版本的有用且新颖的方法，以自动地并实时地提供前景物体的出奇地好的检测。

[0021] 一旦图像转换创建了线框场景，且图像被映射在该线框场景上时，这种逼真3D线框场景模型的图像随后保存在3D前景物体场景的几个特定图像中。这些特定图像会“隔行扫描”到一个大型图像中；每个特定图像具有隔行扫描分割条；这是一种用于为光栅透镜创建图像的标准隔行扫描方法。或者，这些逼真的3D线框模型（基于图像或视频）也可存储为工业标准3D格式，如DirectX，OpenGL,OpenGL ES或VRML，用于顾客随后的互动式3D观看。

[0022] 图像转换实时自动进行，这样顾客能接收到隔行扫描打印件，该隔行扫描打印件可以插入到相框中，或顾客可通过电子邮件、蓝牙传输或社交媒体接收数字3D线框模型以在移动设备、电视或电脑上观看。一旦初始视频转换成3D线框时，一系列显示选项可以实现。多种图像被隔行扫描并显示，用于成为光栅打印件和在具有光栅覆盖物的显示屏（或在HDTV上的内置光栅覆盖物，也已知为“自动立体显示器”）上进行光栅观看的视频或图像。

[0023] 本发明的一个目的是为了壁面叠合过程，该叠合过程一般需要和光栅打印一起完成。在这里所公开的方法中，光栅覆盖物嵌入在相框或移动设备中的隔行扫描打印件上方。光栅覆盖物与隔行扫描打印件的匹配过程和校准过程对于照相亭而言是一个重要的具有创造性的步骤，并基于我们团队研发的自动校准镜头进行的，该自动校准镜头详见PCT/CN2006/002198。

[0024] 对于没有光栅覆盖物的用户，在例如用户的手持移动设备的普通显示屏上进行“裸视”3D观影体验也是有可能的。当移动设备在任何方向上倾斜时，倾斜传感器可指示该移动设备的倾斜程度，并移动显示屏上逼真的3D前景物体。这种方式就像支撑光栅打印，当移动设备向前、向后移动时，用户能体验“环视效果”，上下地环视前景物体的一侧或环视其另一侧，像看全息图一样；但在本发明中利用的是普通显示屏；该过程与环视手持的真实物体一样。

[0025] 显示屏用于避免莫阿干涉效应的光栅覆盖物

[0026] 对于自动立体视频，这里公开的方法涉及一种能与一定尺寸的显示屏、播放器和移动设备配合使用的透明的光栅（脊状）覆盖物的聚焦方法。这种方法用于将普通视频的内容进行转换，从而进行观看。增加深度知觉为观看电影提供了一种增强的观看体验，这种增强的观看体验就像看传统的立体视频一样，但该观看体验不需要通过双目视频眼镜而仅需要通过视频来实现。用户可看到深度凸出效果；并且当用户移动头部时，他们可以在视频播放过程中环视前景物体；其中所有的前景物体都呈现于具有低成本光栅覆盖物的普通显示屏上。

[0027] 术语“光栅”指的是微透镜、或镜头。一般地，光栅上阵列排布有平行设置的长的脊；这些脊可等同于小型圆形集成镜片或同心菲涅耳透镜脊。线型脊目前在立体观影中是最普通的。然而，这些线型脊可主要被用于静态打印中。在数字视频，图像处理和3D建模存在之前，没有方法将单镜头相机拍摄的电影转化以用于光栅观看。一般地，当打印的光栅卡倾斜时，随着光路从隔行扫描分割条由一帧移动到下一帧，朝向用户的光学脊会引起翻转和运动。在这里公开的方法中，我们为实现立体观影方式和实时视频的环视效果，扩展了这个性能。

[0028] 一般地，隔行扫描图像精确打印或粘贴在光栅塑料上。然而，我们的方法的新颖性在于将光栅覆盖物卡设在用于放置打印图像或移动设备壳的相框中，并设置胶粘屏保格式。当然，这种方法也可采用于带有固定连接的光栅层的光栅显示屏。

[0029] 虽然我们公开了用于将普通电影转换成3D场景模型的工具，但是数字显示屏具有比打印标准更小的分辨率。在标准电脑显示屏上用于光栅打印的每英寸的像素可为600dpi，而目前的标准仅处于每英寸80像素，或在某些目前的显示屏高达326像素。本发明方法由此利用尽可能薄的光栅覆盖物，这种光栅覆盖物具有最小的脊（即最高间距）；使得在显示屏上的光栅观看具有非常低的分辨率。

[0030] 在没有穿戴3D眼镜的状态下，3D效果使电影看起来在显示屏前后具有深度。这种3D效果给顾客提供了一种在普通显示屏或电视上像看全息图一样的体验。当你可以体验全息图时，为什么还在你的电脑，电视或手持电子设备上看平面图片呢？而且，通过低成本的由乙烯树脂制成的脊带来了与昂贵的大显示屏的光栅显示屏一样的视觉效果。

[0031] 研究出多种用于使用快门眼镜、红绿眼镜和偏振眼镜来获得立体深度凸出效果来进行3D观影的方法。然而，在这里所描述的方法中，我们在任何种类的显示屏或移动设备上使用塑料光学覆盖物。仅随着打印，具有正确的光学性能的塑料覆盖物将产生立体深度凸出效果、“环视效果”（即视差）或在观看者移动时变换前景物体的色彩或其他特征的效果。

[0032] 在光栅阵列上设置的平行脊是微镜头。在这里公开了一种用于使这些微镜头聚焦到数字显示屏上的独特方法。这种用于透镜观看的标准方法如下：将脊的平行线朝上，塑料光栅覆盖物的远离脊的一侧被平滑化。在平滑的一侧上，隔行扫描打印图像要么直接打印在塑料上，要么打印并粘贴在纸上。透镜的聚焦面设置于塑料的平滑后侧。然而，在这里公开的方法中，考虑到显示屏具有保护栏，因此透镜的焦距需要进行调整，其调整在于将显示屏衬底内的实际照射像素可能超过光栅覆盖物平滑侧部1mm。

[0033] 第二个问题在于实现独特的显示屏；该显示屏可使用红色亚像素、绿色亚像素和蓝色亚像素进行色彩混合，以创建该显示屏全色彩显示的错觉。这些亚像素都是按列分布的。为实现立体效果，光栅脊需要垂直于显示屏。然而，当光栅脊放大了彩色亚像素的特定列时，这种情况会导致显示的图像上的色线的分散。这些分散的由亚像素形成的红色线条、绿色线条和蓝色线条被称为莫阿干涉产物。在这里公开的方法中，我们使用在光栅脊（微透镜）的曲率半径来提供用于在聚焦过程中创建模糊补丁的选项。如果模糊补丁和红-绿-蓝亚像素具有相同宽度时，预设的色彩便保存下来，而不是将分散的红色亚像素、绿色亚像素或蓝色亚像素的列进行放大。

[0034] 使用倾斜传感器在普通显示屏上看3D视频

[0035] 对于没有透镜壳体或覆盖物的移动用户来说，我们也能提供一种通过移动设备上的倾斜传感器的响应，来移动3D模型的3D观影体验。这是一种方便方法，以在网上任意发布3D体验，从而顾客可将由照相亭拍摄的顾客主题的3D图像通过电子邮件或社交媒体发送给其他人。即使其他人不具有光栅覆盖物，倾斜传感器也可以被使用来在普通显示屏上为其提供3D观影体验。

[0036] 本过程涉及两个主要阶段：电影视频的最初图像分割阶段和之后的3D倾斜观看阶段。一旦场景模型存在用于在初始真实立体相机中具有视角的3D场景模型中时，随着智能手机倾斜，我们随后可以通过加速器的控制相机的视角。下面是本过程的几个实用性的优点：

[0037] 光栅效果仅在一个方向上能够实现；为具有立体深度，光栅一般是水平的。通过移动设备的3D倾斜观看，可实现在移动设备的各方向上的3D观影体验。

[0038] 3D倾斜观看阶段没有最佳点；而在光栅观看阶段中，顾客的眼睛必须局限于一个狭窄的观影区域。

[0039] 3D倾斜观看阶段也没有“纱门效应”。当发生纱门效应时，你可以看到干扰视频的塑料脊。

[0040] 在图像分割阶段时，不存在在隔行扫描过程中对齐塑料微透镜的问题。

[0041] 我们能绕开塑料透镜状脊的生产过程中所有时间、成本、分配以及质量控制问题。

[0042] 左视图像和右视图像中的隔行扫描分割条的使用减少了光栅观看阶段的分辨率。如果有两个图像，每只眼睛看一幅图，分辨率就减半了。如果某环视效果的图像或视频具有
6帧，该环视效果的图像或视频的分辨率也仅只有正常状况的1/6。而在这里公开的方法中，图像或视频分辨率并没有减小。

[0043] 结束效果就像在手中握持内部具有一些物体的小盒子一样。随着你倾斜这个小盒子，视角会发生改变。该小盒子中的一些物体是闭合器，用来闭合另一些物体。基于手持媒体设备中的倾斜传感器的响应，我们能将虚拟相机位置以上述相同方法移动到3D场景模型中。倾斜动作并不用于3D空间内的导航，而用于去控制视角的位置。

[0044] 这里公开的方法提供了一种独特的用于将普通图像或视频转换成3D视频，并实现在内置有倾斜传感器的手持媒体设备和智能手机上的3D观影体验的方法。虽然倾斜传感器主要用于校准显示屏和移动游戏上从风景到肖像，或从肖像到风景的方向；但在本发明中，倾斜传感器已经用于手持设备中。本发明的目的在于，使用加速器或倾斜传感器来控制3D视频的视角，通过3D场景模型或者在3D电影播放时产生动态视差、闭塞效果和环视效果。

[0045] 本发明进一步的目的和优点将清楚的显示于下面段落的描述中，其中将示出本发明的几个优选实施例。

附图说明

[0046] 下面将结合附图及实施例对本发明作进一步说明，附图中：

[0047] 图1为投币式自动照相亭的示意图；

[0048] 图2为分发相框的内部自动售货机的示意图；

[0049] 图3为便携式照相亭的示意图，示出了后侧（左侧）的打开示意图和前侧（右侧）顶部的自由立体显示屏；

[0050] 图4为将特征点连成线框的示意图；

[0051] 图5为用于相框的光栅覆盖物的示意图；

[0052] 图6为将光栅覆盖物嵌入到相框中的示意图；

[0053] 图7为使相框直立起来的示意图；

[0054] 图8为用于支撑的可分离片(tab)的示意图；

[0055] 图9为用于将光栅覆盖物支撑在适合适位置的移动设备的示意图。

具体实施方式

[0056] 这里公开的设备提供了用于如何快速、自动地为顾客创建3D观影体验的新型的解决方案。该设备为第一全自动3D照相亭。

[0057] 在大多数基础实施例中，顾客会进入第一全自动3D照相亭中，或处于便携式第一全自动3D照相亭的前方。在顾客的后面是一个用于色度键控（通过软件移除色彩）的背景或绿屏。通过下面详细描述的方法，软件将2D图像转换成3D深度图像（3D线框）。这种3D线框随后能够导出用于（exported for）从自动立体显示屏到红绿立体影片的任意种类的3D观影方式。在优选实施例中，3D内容要么打印出来以在相框中观看，要么通过用于数字图像或电影视频的光栅覆盖物在显示屏上观看。为了创建光栅显示效果，将一系列的图像保存在3D线框中，并隔行扫描（interlaced），以使在每个光栅镜头后面有多个分割条（strips）。

[0058] 在优选实施例中，当顾客使用照相亭时，顾客可选择将预先隔行扫描的前景和背景添加到顾客的隔行扫描图像中。顾客然后能在标准或自动立体显示屏上进行预览3D处理结果的体验。在优选实施例中，可利用加州洛杉矶LeapMotion公司生产的红外传感器对顾客进行姿态探测。在该姿态探测过程中允许顾客滚动背景模板，并点击OK来进行关于姿态的图像捕捉，并选择图像/向后/下一张/打印。在另一实施例中，通过显示屏上的按钮可进行用户互动，在优选实施例中或者还可通过照相亭的仪表板进行用户互动，用户的姿态可通过照相亭的网络摄像头追踪。

[0059] 在用户许可下，照相亭可将3D打印件和3D相框发出。如果3D处理结果需要通过数字化方式取得时，该3D处理结果可电邮给顾客，或通过照相亭的蓝牙传送给顾客。照相亭也提供将3D图像分享到社交网络上的机会。虽然自动售货机和照相亭已经存在很多年了，但由于该第一全自动3D照相亭是第一个可以生成3D视频的，所以这里所公开的第一全自动3D照相亭整体来说具有创造性。本发明进一步的创新点在于该第一全自动3D照相亭可自动生成3D视频。在其他实施例中，第一全自动3D照相亭是便携式的或通过投币来运行。

[0060] 单眼和立体视觉算法（monocular and stereoscopic algorithms）

[0061] 1.单镜头深度提示(cue)

[0062] 一个优选实施例是为了通过机器使用最快最简单的可能的方法来将人像深度与背景相区别，这个过程要么使用色度键控，要么使用灰度级深度映射来完成。在本实施例中，照相亭可用于控制色彩和背景，以确保人像和背景具有很好的反差。在一个实施例中，背景会基于彩屏，如蓝屏或绿屏。在另一实施例中，所获得的图像更多地采用灰度级转换而不是使用色彩。随后，如果背景选择为近白色或近黑色，那背景将与前景形成反差。随后，用图像处理软件将图像简单转换成灰度级可将背景和前景相区别。随后可进行图像分割，前景物体和人像就可放置于场景的不同深度处。

[0063] 在一个优选实施例中，前景和背景的主题模板可由用户选择，并可选择地预先隔行扫描，以基于深度而进行移动。当拍摄肖像图像时，在2D图像中，用户处于前景和背景之间，以简化和加速处理过程。在另一实施例中，为了进行3D观影，一个或多个人物肖像也能进行深度映射和隔行扫描。

[0064] 2.图像高度

[0065] 在另一优选实施例中，关于图像的高度将使用简化假设，以产生深度信息。这个算法使用场景顶部的物体应该要远离场景底部的物体的传统虚拟透视深度提示，首先沿着图像底部开始寻找前景物体。场景中物体的位置越高，物体深度值越大。“深度计算算法”定义了垂直方向上一个像素的坐标，并利用该坐标确定该像素在图像中的深度。如果物体在该点上连成线，该算法会将物体留在与该像素相同深度上，并寻找其他物体。

[0066] 3.自动双镜头转换

[0067] 在另一优选实施例中，如色度键控或高度、深度通过双眼视差的自动比照进行渲染，而不是采用单镜头深度提示。在不可能简单地将图像转换成灰度图，并假设深度相关联的情况下，在一个优选实施例中使用了立体（双镜头）相机。这个双镜头相机进行图像处理的算法将在下一段具体说明。

[0068] 转换方法

[0069] 利用立体相机，我们为将左视图像和右视图像的特定点的匹配的“对应问题”做了大量的研究。然而，如以下解释的，在我们试图找到左图像和右图像的点的最佳匹配（不是明显匹配，而是最佳匹配）之前，我们为在两个场景中快速识别前景物体的粗分割区而增加了一个重要的创造性步骤。我们通过仅专注在匹配所识别的前景物体的分割区域的边界来增加另一创造性步骤，试图很好地确定该前景物体的分割区域边界的内部和外部的边缘。这是一个快速和自动的新颖的方法，可在不进行预处理或关键帧的情况下，产生令人惊讶、无法预料的结果以能够在实现对逼真3D模型的高精度的自动渲染。这里，3D模型要么是图像，要么是实时视频，或实时视频会议。

[0070] 自动双镜头比较

[0071] 在本优选实施例中，第一步是比较左视图像和右视图像，以找出图像中前景物体的粗分割区。一般地，这个比较过程需要完美，并且是一个识别物体的主要方法，以便物体的深度能通过使用动态视差（具有更大的双眼视差区别相近物体）获得。一个创造性步骤是：这里公开的方法仅利用双眼视差做出前景物体的快速粗略分割。

[0072] 在本优选实施例中，绝对误差和（SAD）是一种用于比较左视图像和右视图像的算法。本领域技术人员已知，绝对误差和是一种用于比较左视图像和右视图像的小的像素集，以找出左视图像和右视图像最佳匹配的标准方法。由于如果左视图像和右视图像之间的色彩变化，左视图像和右视图像就不可能有准确匹配，所以仅寻找最佳匹配而不是准确匹配是很重要的。由于此时我们不需要获得前景物体的分割区域的准确边界，这样只需要使用粗模糊（coarse mask）即可。目的仅是识别前景部分中所有的色彩以及背景部分中的其他色彩集。

[0073] 一般地，相机的运动在自动3D渲染中是一个大问题。相机的运动通常需要根据光流来计算，以确定任何额外动态视差。但在双镜头视频（或图像）中，关于相机运动的计算并不是必要过程。

[0074] 前景物体的分割区域内部和外部的选色

[0075] 在本优选实施例中，一旦通过寻找左视图像和右视图像的最佳匹配，识别出前景部分和背景部分时，我们就可以添加深度值（Z坐标）并找出其边界。虽然色度键控和魔棒工具经常用来将前景从背景中抠出，但当图像中具有多种不同色彩的图样或杂色区时，会有很多问题。因此，本算法沿着边界从内部到外部，搜索该分割区域中所有的色彩。相似地，本算法将该分割区域外部的色彩制成表格（tabulate），并从分割区域外部沿着该分割区域边界寻找该分割区域边界的终点。由于不需要搜索整个图像，而仅需要搜索每个分割区域的边界，所以本算法节省了处理时间。外部色彩和内部色彩的分界线就是该分割区域边界的位置。即使因为在分割区域和其周围具有不同的图案色彩使得不能使用色度键控，然而，该方法在边界的寻找方面也具新型的好处。

[0076] 渲染

[0077] 初始图像是平面的，是具有X坐标和Y坐标的二维图像，而我们的目的是对初始图像增加第三深度维度（Z轴）。一旦我们具有了分割区域，在本优选实施例中，我们将确定3D模型需要多大的分辨率，并将点转换成多边形。将点云与顶点连接以达到渲染3D线框的目的的方法需要考虑用于观影设备的3D渲染引擎。DirectX或OpenGL是工业标准，但将顶点连接到旋转的相反方向上。

[0078] 在优选实施例中，我们使用三角形作为多边形；因为三角形总是平面的。正如具有3条腿的凳子，3条腿总是处于同一平面上。如果你使用4条腿的凳子时，4条腿有可能不处于同一平面上。（当线框使用多边形时，会导致软件崩溃。）

[0079] 本算法在物体左边界的底部开始以在三角形外侧构建线网（wire mesh），如图4中的点1所示。在最简单的例子中，有在一侧的确定形状的3个点：分割区域或物体左边界上的XYZ（点1），分割区域或物体中心的XYZ（点2），分割区域或物体右边界的XYZ（点3）。从分割区域或物体像素的底部一行开始，我们在点1、点2和点4之间构建三角形。这个步骤重复直到物体顶部的一列为止；首先从底部三角形（点1-点2-点4，点4-点5-点7…），然后再从上部三角形（点8-点7-点5，点5-点4-点2…）向下重复。然后在右侧的纵列上使用相同的方法。这样，三点（或任意数量）的点穿过物体，三角形每个角随后自动进行编号，三角形的定义以及将图像映射于该三角形也都是自动完成。我们将下端左侧坐标定义为1，中间坐标定义为2，右侧坐标定义为3，然后向较高行的每个继续进行编号。

[0080] 这里用于渲染线框的方法是与VRML2.0规格保持一致。一旦结构存在，初始图像将映射（展开和粘贴）在该结构上。在本优选实施例中，图像的映射依照用于显示屏的在渲染引擎中的3D规格，例如Direct X或OpenGL来完成。然而，在另一实施例中，图像中XY点可与线框（包括Z）中相同点进行匹配，以将图像映射到线框上。

[0081] 凸起（embossing）

[0082] 在本优选实施例中，一旦图像被分割出来，就需要运用算法快速地添加现实和形状，以使图像不再是简单的设置在Z深度的平面层。该方法的前提是：即使我们想要将3D线框简化以减小计算，但其结果要逼真，图像要强化所感知的的现实和细节。本实施例利用凸出技术，边界将该前景物体包围起来，使该前景物体更厚，更加三维化。一旦该前景物体的外部边界被确定，就增加了该前景物体的内部轮廓。在本优选实施例中，内部轮廓是内部的6个像素，且内部轮廓靠近地移动了6个Z-单位。虽然该基本过程在物体外边界处产生一个
45°的角度，但如有需要的话，你可在不背离本发明的精神和范围的情况下，将该角度进行调整并添加更多的图层使前景物体更加圆润。

[0083] 通过在关键帧中标示红点来对视频进行预处理

[0084] 在另一实施例中，如果预处理过程可以使视频更加精细，可以使用关键帧（或“转描机技术”）以使之能够通过人工将线框和图像中的物体进行匹配。然后，线框自动插入到关键帧中间。如果每第X帧中有一个关键帧，则插值（in-between）帧会将顶点从第一个帧的特征点移动至第二帧，其中，该移动路径的第1/X在每个插值帧上。也可以在常规间隔过程中不设置关键帧，而仅在场景改变时，使用动态关键帧。

[0085] 本方法也使之对于每个物体而言能够输入更多精细的深度信息。在动态分析中，尽管一个前景物体可被分割，但额外信息也是需要的，从而知道该前景物体是远距离的大物体还是近距离的小物体。因此，这里概述的方法使用穿插于关键帧中的分割技术和Z轴的深度的手动验证。

[0086] 2D-3D视频转换过程通过以下步骤体现于软件程序中：

[0087] 1.通过软件打开普通二维电影。电影的帧数和每秒的帧数通过使用电影格式中可用标准数据的软件来确定。用户可随后进行所需关键帧的分割过程（虽然如果在大场景中没有运动或没有发生场景改变，为了实现动态关键帧，帧也可在其他间隔中加入）。

[0088] 2.程序将帧作为来自每X个帧（关键帧）的分开的位图图像存储下来。

[0089] 3、本程序通过图像编辑工具将第一关键帧展示出来。尽管线条画图工具、选择工具、模糊工具或动态分析工具都是可用的，但在本实施例中，我们使用光标来点击要分割出的前景物体边界上的自连接点。从底部左边开始，沿着前景物体的边界，按顺时针方向点击自连接点。

[0090] 4.当前景物体的边界已经描出时，前景物体沿Z轴的深度将保存在文字框中。尽管可以使用任何比例，但为了方便，在本实施例中，Z轴定义为与相机之间的距离，且背景处于100%的距离。在本实施例中，X轴定义为横向方向，Y轴定义为纵向方向。如果一个物体在朝向背景运动的途中，本实施例会定义该物体的深度值为50。在本实施例中，通过远离相机来测量物体的距离，尽管也可以使用物体与背景之间的距离。

[0091] 5.虽然目前仅有很少的图像格式支持移动设备的视频的图像映射，但将视频映射到线网中最为简单。因此，我们要么将需要图像映射的视频保存下来，要么将可被缓冲并按照一定顺序以一定帧速率播放的一系列的图像进行图像映射。

[0092] 6.场景模型可投影到各种各样的几何形状上，以创建虚拟透视模型。当不排除常用方法，如将逼真的场景模型投影到地平面、球体或立方体的内部时，为了简单，本实施例从视频的虚拟透视开始，简单地将在纵向背景墙前方的前景物体形状设置在Z为100的位置处。

[0093] 7.当额外物体进入或离开场景时，可添加或移除该额外物体。在关键帧过程中，为进入或离开场景的特定的物体，采用了按钮来表明特征点的添加或停止。

[0094] 8.任意数量的物体能在第一关键帧中被分割出来。然后，通过下一按钮，对相同物体在每个顺序关键帧继续进行点的标记。

[0095] 9.当每个关键帧都被手动分割出来时，软件会发出提示信息，提示关键帧的分割过程完成。这个分割过程可以在一部长电影的分离的场景中完成，并随后整合为一系列的场景。或者，也可以对一部完整的电影进行处理。

[0096] 10.即使关键帧定义成频繁核查前景物体的精确分割过程，利用动态分析能自动的移动特征点。在一个实施例中，通过使用绝对误差和的方法，可以使用采用绝对差和方法的单相机提示（cues）来对早期的帧和晚期的帧进行比较。或者，在另一实施例中，会基于上述的双镜头转换技术进行动态分析。

[0097] 11.为保存图像顺序，并为将线框运动和图像中前景物体同步，将会指示帧速率。

[0098] 12.可选择软件界面中的一个插入按钮，用来生成具有XYZ坐标、被点击的每个特征点的帧数以及基于每秒帧数的图像文件数的单数据。

[0099] 13.对于关键帧中间的帧，前一关键帧和下一关键帧在X，Y，Z坐标系之间的差值会被计算出来。这些差值被间隔帧数分隔开，以指示在线框中的X,Y和Z顶点在每一帧中应当发生多远距离的改变。

[0100] 14.在本优选实施例中，数据是以工业标准XML格式来写入，以使得能够保存该数据能，并将该数据从渲染计算机移到移动设备上。XML文件也可按标准移动3D图形格式写入，如OpenGL ES。在另一实施例中，除XML格式外，用来保存诸如文本文件的数据的其他格式也可以使用。

[0101] 15.区域填充：标准方法包括拉伸边界或将边界复制以覆盖前景物体背后的空白位置。在另一实施例中，将可对在独立于前景物体的场景模型中观察到的背景进行缓冲。即使背景被相机阻挡，当视角移动时，背景仍然可见。这里公开的方法的优选实施例是通过利用柔角继续将前景物体先后与背景、和前景物体与背景的连接面相连来凸出前景物体。可以定义参数来控制前景物体的锐度曲线、Z轴上凸出量和与背景相连接的表面的倾斜角度。凸出是一种没有使用人工填充或缝合的覆盖前景物体背后空白区域的方式。

[0102] 16.在红点添加，以描画出一个帧中的物体后，通过使用图6所示的过程加入顶点或点可以生成多边形的网格。

[0103] 17.当在关键帧期间，前景物体从背景图像移动到基于指示距离的XYZ前景坐标时，当前景物体靠近观众时，前景物体的尺寸会减小，以使该前景物体仍然和观众保持相同角度。在一个实施例中，我们能使用三角函数去计算初始图像中靠近3D场景模型的前景物体尺寸的正确减小。我们也可以计算物体在初始图像中倾斜的度数。然后，我们想要改变前景物体的尺寸，以在该前景物体在进入到前景时使相机对向（subtended）物体准确的度数。通过tanα=对边/邻边，我们通过与相机的距离乘以朝向物体的角度的正切值来计算前景物体的高度、宽度或任意横截面的尺寸。需要一个正确的三角形，从而对于外围的物体，图像中心到物体的距离是有可能测量到的（尽管这里测量精度在实际中并不必要）。第一步是基于tanα=对边/邻边，通过将物体高度除以物体和相机之间的距离，获得在初始电影帧中相机朝向物体的角度的tanα值（如果可以看到物体中心，物体的高度可被二等分，以维持从相机线到背景上物体的正确角度）。对于第二步，我们知道tanα和物体到相机的新距离。这样，我们就可得到遗漏变量，该遗漏变量是在朝向相同角度的物体的新尺寸。

[0104] 还有另一实施例比上述实施例更方便，但不够精确。在概念上，当物体靠近相机时，物体需要成比例的缩小，以使相机对向物体保持相同角度。我们可以进行逻辑定量：

[0105] 新尺寸=物体投射到背景上的初始尺寸×物体到相机的距离/100

[0106] 上述公式表明：如果我们将物体靠近70%，该物体需要缩小70%，以物体朝向相机保持相同角度。

[0107] 18.然后，软件自动地将线框3D场景模型从第一手工关键帧移动到下一个手工关键帧中，该第一手工关键帧插入在插值帧之间。写入数据文件，以对每帧上的线框进行定位；或者在随后的回放中采用关键帧，以从一个位置在特定时间移动到下一个位置。

[0108] 19.在软件中，随后可以选择一个按钮或菜单项来观看3D场景模型。3D场景模型开始于第一帧，但可以在任何之后的帧中进行播放和暂停。大量的工业标准图像引擎可以用于进行3D渲染。我们能从每帧中的线框顶点的数据文件，使用诸如DirectX、OpenGL、OpenGL ES或VRML的工业标准3D平台，输入XYZ坐标。这里公开的方法与任何标准图像格式来一起使用。

[0109] 20.当在电脑上观看3D场景时，通过诸如方向键或鼠标，（在可调节的限制内）可以移动视角，以查证当在手持媒体设备上观看3D场景时，该3D场景会是怎样的。

[0110] 21.在一个实施例中，单个图像将从3D场景中的保存下来。在从关键帧程序的输出过程中，图像将会以缩小的尺寸、适合手持媒体设备的帧速率保存下来。在另一实施例中，也可以将具有特定帧速率的电影保存下来，用于能够映射饰品的手持媒体设备中。我们将图像或视频和包含有线框数据的XML文件保存在相同的文件夹中。

[0111] 播放3D输出结果

[0112] 在优选实施例中，一旦照相亭完成3D转换后，观看或分享所获得的3D观看体验存在以下几个选项。如在以下分章的详细描述，可以对结果进行隔行扫描，并能为3D帧或显示屏而打印出来；或者也可以通过倾斜传感器在普通移动设备上对结果进行观看。该内容可以是转换的图像或视频。由于上述方法快速且自动完成，视频也可以为3D观看的实时视频会议。在以下详细描述的另一个实施例中，3D观看体验还可以由打印图像或条形码触发，以添加到增强现实的物体中。很讽刺的，虽然这些常常是3D模型，但这里的一个创造性是为观看3D模型而超出纯平显示屏，以体验增强现实的3D观看。

[0113] 在进入使用光学透镜覆盖物或倾斜传感器来创建3D视觉的的播放方法的具体细节之前，如果3D内容可通过移动终端app来观看时，将存在重要的具有创造性的步骤。在该优选实施例中，用于移动设备的软件（app）能够辨识该移动设备是否具有覆盖物，以决定播放哪种类型的内容。本实施例包括以下步骤：

[0114] a.）App是免费下载软件；

[0115] b.）当该app被激活时，该app提示用户输入显示屏的屏幕保护的序列号；如果没有输入该信息，该移动设备仅能作为2D视频播放器工作；

[0116] c.）每个显示屏是与一个独一无二的序列号一起售卖，该序列号是通过app注册并通过后台软件处理，该序列号仅能使用一次；

[0117] d.)所有注册的序列号均存储在服务器中。App搜索用户联系列表，以辨识其他具有相同app的用户。

[0118] e.)当在多个设备间分享图像或视频时，发送设备会知道用户联系列表中的谁具有相同app。如果接收设备不具有该app时，app会将不需要用光学覆盖物观看的格式的3D内容、图像和视频发送给接收设备。该3D内容将采用在下面的段3中描述的倾斜传感器进行发送从而观看。

[0119] 1.3D相框的打印

[0120] 用于观看3D输出结果的设备的一个优选实施例是相框，在该相框中光栅覆盖物精确地扣紧在隔行扫描打印件的上方。相框和光栅覆盖物的制造要求有精确的公差，以适用于特定的相片尺寸（标准和定制）。。打印件插入到相框中，然后透明的光栅覆盖物扣紧在隔行扫描打印件的上方。如图4和5所示，沿着相框的前部的边界设置有将透镜紧密地支撑在合适位置的片。虽然光栅打印件在很多年以前就出现了，但光栅打印件很难层叠在一起，通常也就很难通过平板印刷的方式批量生产出来，而非单独打印出来。该相框的一个重要的创造性的步骤是：相框以正确的方向支撑图像和镜头，并在无无需粘结剂或叠合的情况下，将隔行扫描打印件与光栅精确地匹配。另一个创造性在于将打印件和透镜扣在相框中的速度的简化。

[0121] 在本优选实施例中，在相框的后部穿设有用于固定打印件的栅格，如图5所示。透镜和相框设计成足够坚固，以确保穿过相片和光栅透镜的整个区域的接触。这个结构是重要的，并具有创造性的，该步骤比利用层压机或在光栅塑料背后的昂贵的打印处理更为迅速和简单。

[0122] 如图6所示，相框的背面也包括有用于将相框挂在墙上的悬挂孔以及一个可从相框上拆下以用作支撑脚的创新的片。

[0123] 在另一实施例中，LED背光灯也运用于打印件上。该LED背光灯所发出的光射入到灯盒中，并照射在该打印件的背后；该灯盒包括光学镜片。

[0124] 2.移动覆盖物

[0125] 为显示屏覆盖物设计的覆盖物

[0126] 在一个优选实施例中，光栅覆盖物的一侧部是平滑的，另一侧部具有多个平行脊（ridges）；该光栅覆盖物插入到包裹着移动设备的保护壳中，如图8所示。光栅覆盖物的优选为光学级透明塑料，如聚乙二醇（PETG）、丙烯酸、聚碳酸酯或柔性PVC，然而光栅覆盖物并不排除其他材料。本方法基于在覆盖物上设置有互相平行的细长的微型镜头阵列的聚焦光学器件增加了用于显示屏的创新性。在本优选实施例中，覆盖物的平滑侧部安装于数字监控显示屏上，覆盖物的脊侧部面朝观众。

[0127] 在另一实施例中，具有相同立体效果的光学覆盖物可用在光栅透镜上，例如一体成型镜头、六角形镜头、同心菲涅耳镜头或视差光栅镜头。在另一实施例中，镜头的外表面可以是平滑的而非具有朝向用户的脊，作为移动触摸屏使用。然而，当使用粘性3D屏保贴膜时，在现有的产品中，脊必须朝向用户。

[0128] 镜头的视界或“翻转角”是一种通过一个镜头下面的像素来观看，而没有通过环顾邻近的镜头下方的像素的观看区域。在知道总翻转角和一个镜头下面的像素数目后，我们能确定一个单像素所对的角度。在知道预定的观看距离和两眼之间的间隔时，我们能确定从镜头到两眼之间的角度。在一个微镜头下方设有至少一对像素的立体观影时，总视界需要为由下方的像素朝向的角度的数量。我们想要在每只眼中播放不同的像素。如果两只眼能看到相同的像素，那每只眼中播放不同的像素就是不可能的。在本优选实施例中，本发明还对镜头尺寸进行设计，以使在一只眼中可看到的一个或多个像素仅为两只眼的总视界的一半。例如，当镜头下的2个像素对向一个30°的视角时，每个像素仅对向15°。

[0129] 在插入镜头的一个具有创造性的步骤是有关数字播放的分辨率大大低于打印件的分辨率的问题。由于标准光栅板设计用于打印工业，所以这里所公开的创新点在于选取具有合适分辨率的新透镜，以适应分辨率相对低的数字播放。这些微透镜的另一个优选实施例由此为在光栅板背后的平面上的焦距。这里所公开的创新点在于有意地将聚焦面投影到光栅塑料外，而不像光学打印。优选实施例中，超过塑料的平滑侧部的距离为1mm，当然由显示屏衬底的准确厚度决定的在光栅后部的距离并不排除可以取其他值。通过这种方式，光栅将视界聚焦到显示屏中的所有像素上，而不是光栅覆盖物（该光栅覆盖物用于光栅打印的标准覆盖物）的后侧。

[0130] 在本优选实施例中，我们也改变光栅的曲率，以有目的的创造模糊补丁（blur patch）。普通光栅塑料设计成尽可能急剧地聚焦。然而，当数字显示器上设置有红色亚像素列、绿色亚像素列和蓝色亚像素列时，塑料透镜覆盖物会导致具有一个主要色彩的特定列的放大，而没有允许将这些亚像素混合来创造更大的图像。在一个较佳实施例中，透镜在红色亚像素、绿色亚像素和蓝色亚像素之上产生模糊补丁；由此我们能避免一个主要色彩的放大。由于脊经常倾斜设置以避免放大色彩列并产生伪像（artifact），因此，也可提供将光栅脊保持在纵向方向上的选项。尽管本优选实施例还利用垂直的脊以使得立体效果最大化，然而当使用通过放大亚像素导致显示屏上出现红绿蓝效果的透镜时，我们将镜头倾斜20°以避免这些色彩伪像。也可以使用除20°外的其他角度；如果镜头太竖直，色彩伪像仍会存在，如果镜头太水平，左眼和右眼会看到相同的图像。将光栅脊保持垂直会促进水平面上得到更好的立体效果。

[0131] 显示屏的衬底上1mm的距离在品牌（brand）之间发生改变，在本优选实施例中，我们产生像素尺寸大小80%的模糊补丁。然后如果衬底内的距离不同且模糊补丁变大时，模糊补丁就不能将额外的像素覆盖住，导致眼睛能看到从邻近的像素的漏出。

[0132] 模糊补丁会在计算机模拟的光路中进行测试，以确保放大亚像素的单色彩的标准问题不会重复发生。通过使用计算机模拟，我们首先查证了使用聚焦于像素上的镜头（即没有模糊补丁的这里公开的创新镜头），该镜头放大单一亚像素，这样仅能够看见被放大的亚像素的色彩。但借助于模糊补丁（现有的镜头规格基于该模糊补丁），我们能在模拟中查证到三种所有亚像素出现。这三种亚像素将混合在一起（除非从非常靠近的情况下观看，才能发现三个亚像素）。

[0133] 有两种方法在具有亚像素的聚焦面上产生模糊补丁。我们可在该聚焦面前方进行聚焦，以使该聚焦面不处于焦点上。然而，优选实施例中，由于通过在聚焦面后方进行聚焦可导致光路和模糊补丁更完全地落到亚像素上，所以，优选地在聚焦面的后方进行聚焦。当在聚焦面前方进行聚焦时，光路仍然会产生，而补丁的路径趋向于离开像素的侧部。

[0134] 用于光栅显示器的校准隔行扫描

[0135] 为了利用光栅脊来产生光学效应，这里也公开了用于在不需要下载或安装软件的情况下，在任何显示屏上对视频进行隔行扫描的方法。多平行线的栅格用作一个视频上的遮罩（mask）。左侧视频在栅格线顶部播放，右侧视频在线的中间可以看到（反之亦然）。栅格线的线宽和栅格线之间的间隔相等。隔行扫描分割条与透镜上每英寸光栅覆盖物非常精确地匹配。通过使用广泛应用的媒体播放器和与大多数操作系统诸如Adobe系统公司的Flash配合使用的浏览插件，我们在没有安装新的软件时也可以实现上述的功能。

[0136] 我们的方法允许每个用户为其显示屏的像素的间距（pitch），校准隔行扫描软件的间距。尽管电影可能会以其初始尺寸、或大或小的尺寸来播放，然而这里公开的栅格方法使得用户能够独立于电影（即视频）的尺寸来对隔行扫描分割条的宽度进行调整。如果增大电影尺寸，改变隔行扫描分割条的尺寸，那么该校准过程将不会进行；并由此不会为显示屏的脊和间距进行校准。在本优选实施例中，我们简单的在小增量范围内增加了栅格的大小，使隔行扫描分割条变大或缩小，以匹配显示屏的间距。

[0137] 在另一优选实施例中，我们的app会探测设备的尺寸和型号，并自动地校准隔行扫描间距的设置。该app读取设备的ID，来探测设备的型号，并由此相应地校准该设备的显示屏分辨率。

[0138] 我们在这里所公开的另一校准方法是在任何人为观影而下载或访问电影时，渲染左视电影和右视电影，并同时将左视电影和右视电影交错设置在单一电影中。这个步骤确保了在重放过程中，每个电影的帧都能精确地匹配。然后为在不同品牌的显示器的不同像素尺寸对隔行扫描分割条进行校准，电影的尺寸会在小增量下进行调整。在如上所述的方法中，我们有目的地将电影尺寸和隔行扫描分割条尺寸区分开。将左视电影和右视电影保持精确的同步是有用的，并且缩小隔行扫描分割条的带宽也是有用的，因此，这里公开的另一个方法是利用电影尺寸调整来调整隔行扫描分割条的宽度。一般地，对隔行扫描分割条的宽度进行微小变化是必要的，以此校准隔行扫描分割条的间距。如果电影的整体尺寸需要一定的像素尺寸，那么该电影也可稍微放大或缩小，并裁剪其边界来为隔行扫描分割条的间距进行校准。

[0139] 如果在诸如Flash的播放器进行重放电影之前，该电影将要被预渲染，并且左视图像和右视图像被预先隔行扫描；则可以选择播放该电影视频。电影播放器也可以设置成播放两部电影，或者来自指定目录（通常是相同目录）的一部隔行扫描电影。或者，媒体播放器会为隔行扫描电影的播放，让用户指定本地的路径或网络地址。这使得隔行扫描电影能够设置在一般门户网站上以进行在线分享，并与播放器（该播放器可以在本地安装，可下载或在网络浏览器播放）分开。

[0140] 在打印方面，塑料脊和底层的隔行扫描分割条之间的校准过程是困难过程。然而，在我们用于将具有透明脊的覆盖物设置在显示屏的方法中，如果底层隔行扫描分割条的校准过程不完美，则用户为了观看，可稍微移动底层的隔行扫描分割条，使该底层隔行扫描分割条达到最佳位置（sweet spot）。或者或将塑料在显示屏上移开，或将窗口或播放器移动在显示屏上移动。每个隔行扫描分割条远比打印的光栅更简单。像素已经垂直设置于显示屏上，覆盖物的边界也可抵持设置于显示屏的相框上，以确保覆盖物与像素处于相同的方向上。

[0141] 在另一优选实施例中，用于光学覆盖物的数字内容的方向能旋转，从而可校准安装不正确的覆盖物。本实施例中，替代冗长且困难的将光学覆盖物倾斜的方法，我们使用显示屏上的旋转图标来调整用于观看视频或图像的软件播放器。

[0142] 通过这里所公开的方法，我们也发现非隔行扫描内容也能通过光栅覆盖物进行观看。一些制造商制造更大的长度来消除视差屏障或使用特殊电子光学控制来消除光栅效应。在这里所公开的方法中，我们能隔行扫描或不隔行扫描相同的电影、图像或模板；而通过覆盖物，这些电影、图像或模板看起来和隔行扫描的前景物体一样清晰。其中一个原因在于，左视电影和右视电影中的背景是相同的；即使当对左视电影和右视电影进行隔行扫描时，由于在两个电影中背景是相同的，因此隔行扫描分割条几乎不可看到。由于背景清晰，其他没有隔行扫描的电影（或相同电影自身进行隔行扫描的电影）也是类似地清晰。

[0143] 为了实现立体观影，我们随后在来自左侧、右侧以及左右等的薄的交错带（alternating strip）中将两个电影合成起来。为了达到如环视效应的其他效果，可以在隔行扫描图案中添加不同的视图。例如，当电影具有环视效果并且不具有立体深度时，在上述的对显示屏间距进行校准后，每个镜头下的隔行扫描分割条能具有多动画帧的顺序：帧1、帧2、帧3…或者，能够具有动画和立体深度，并具有图案，如左帧1、左帧2、左帧3、右帧1、右帧2、右帧3。接下来所使用的帧数仅局限于像素的数目，其中该像素的数目与所选的镜头尺寸相配合。

[0144] 对于特定品牌的已知像素尺寸的显示屏、电脑和手持设备，我们能简单播放适合的隔行扫描电影，而不需要使用如Flash程序来校准显示屏间距。用户能简单地播放电影，而完全不需要进行校准过程。

[0145] 当校准过程完成，用户准备观看立体电影时，当电影第一次开始播放时，电影有可能会放大。电影短暂的放大和缩小会增大动态视差，由于运动会导致前景物体从背景中凸显出来。这对光栅重放并不是必要的，然而也是一种优化观影体验深度的方法。

[0146] 光栅视频的无限最佳点

[0147] 通过上述的光栅透镜和隔行扫描的校准过程，这里公开的本发明另一个目的是使用“无限最佳点”的特征来移除翻转（flip），而翻转通过光栅观影来建立标准。正如本领域技术人员将会已知，随着立体影像创造了深度视角和凸出效果，光栅光学设计成向左眼显示一幅图，向右眼显示一幅图。因为用户不能预期从精确的位置来准确地观看，以观看像素或打印点的一个隔行扫描的行；如果具有足够的分辨率，使用在每个透镜后面的多于两行的像素或点是常见的。通常在每个透镜背后具有4、6、8或更多的隔行扫描分割条意味着用户能将电影向后、向前移动，并获得如观看实际物体或全息图的“环视效果”。然而，如果用户在镜头下在隔行扫描分割条之外移动，从而在邻近的镜头下也可在相对于隔行扫描分割条更大的角度上观看，导致众所周知的图像的“翻转”。因此，我们改变隔行扫描分割条的顺序，以将末尾帧从一个区域移动到下一个区的开始帧中。

[0148] 在本优选实施例中，创建无限最佳点的选项要求使用更少的帧。你指定你想要帧数的一半，并以先上升，后下降的顺序两次使用所有的帧，如以下模式所示。

[0149] 在使用无限最佳点特征的权衡在于：借助于更少的不同视图，步骤将会在每个视图之间更大，图像看起来更加柔和，且分辨率更小。但和发生在视图区域的翻转过程中的恼人的翻转以及重影相比，人们强烈地倾向于没有翻转的观影体验。

[0150] 下面是我们目前的帧顺序，这里指定有24个帧：

[0151] 123456789101112131415161718192021222324

[0152] 由于从末尾帧的图像（例如最右边的图像）跳转到第一幅图像（最左边的图像），因此发生了翻转。相反，我们需要图像的开头和结尾具有相邻帧，如下：

[0153] 135791113151719212324222018161412108642

[0154] 在本优选实施例中，我们随后基于是否正在使用无限最佳点，来挑选所使用的透镜。对于每英寸具有一定数量透镜的光栅覆盖物而言，可能会有具有更厚的透镜的更强的光学效应，或使用在每英寸具有相同数量的更薄透镜的选项。在本优选实施例中，如果可以选择使用更薄的透镜，这会导致在观影区域之间的转换中，图像发生更少的变形且将背景的运动减到最少。

[0155] 将自动立体视频（和在显示屏上打印或显示的图像）中的翻转去除是其创造性的步骤，可产生令人惊讶、意料之外的结果。本领域技术人员会说，该步骤是不可能实现的，也不会起作用。但在实际中，该步骤具有被任何观影人偏爱的有益目的。将恼人的翻转去除是一种表征光栅观影的新颖方法。虽然用户不会注意到任何缺点，但用户更喜欢不具有引人注意的翻转的图像。

[0156] 具有凸出效果的增强现实技术

[0157] 在另一优选实施例中，来自照相亭、转换软件或3D播放器的图像或背景也可用于将其3D效果添加到视频中。这一般已知为“增强现实”。3D效果通常添加到实时（live）视频流中，并追踪图像中的符号来进行3D模型的定位。这里的创造性的步骤是：将所添加的3D模型隔行扫描，以使得3D模型通过光栅观影可以凸显出来。这样，当使用隔行扫描的视频播放器时，可以创建3D物体的立体图像以在移动设备上实现凸饰效果，但在双眼中观看到的相机的实时视频保持相同。在另一实施例中，相机的实时视频转换成具有正视差的3D视频，而负视差在AR图像中使用。

[0158] 在为达到增强现实的3D凸出效果的优选实施例中，移动设备的摄像机对准图像。所述图像可以是报纸、杂质或其他印刷物上的广告、在购物商场或橱窗上的海报广告、或者甚至可以是电视、电脑或其他数字显示屏上的图像。软件搜寻条形码、特殊标识或物体形状。当软件识别出标识、条形码、物体或图像时，将在特定方向和距离显示出3D模型，好像3D模型是基于相机的场景的一部分。软件能在线存储或流出2D或3D内容；其中可以对该内容进行隔行扫描，并在视频上的作为一层来显示，从而由于光栅覆盖物的存在使得2D图像凸显出来。

[0159] 本优选实施例是一种超越现有的增强现实的方法，由于该方法需要自动立体3D设备以及隔行扫描播放软件。

[0160] 3.使用倾斜传感器的3D视频播放器

[0161] 有几种工业标准低水平格式或“图像引擎”是用来在如智能手机和媒体播放器的移动设备上播放3D视频，该工业标准低水平格式或图像引擎包括OpenGL ES和M3G。OpenGL ES是在用于电脑的显卡上的OpenGL图像平台的移动版本。该方法用于处理3D图像，该3D图像如来自多个主要厂商的智能手机格式的移动电脑游戏。M3G是用于在移动设备上运动Java程序语言的移动3D图像格式。当本领域技术人员理解这些标准格式时，我们对这里所公开的方法限制为任何特定的图像格式。

[0162] 在一个优选实施例中，逼真的3D线框在普通显示屏（无论该普通显示屏是与移动设备连接，还是自身安装在移动设备）上显示。在该优选实施例中，由于移动设备上的3D图像引擎倾向于不支持视频的映射，所以播放器app在文件夹中文件名结尾为.2d3d的数据，该数据是一种我们独家开发的格式。因此，在这个优选实施例中，研究出应急措施，以使用单个图像帧，而非用于映射的视频。一旦3D转换完成时，初始电影的帧连同用于线框顶点和映射的数据文件保存到单个图像文件中。该视频格式随后涉及在适时匹配音轨的单个帧和线框的显示。这是重要的创造性的步骤。

[0163] 在本优选实施例中，.2d3d文件夹包含.aif格式的音频文件，该.aif格式的音频文件确定了电影以3D方式重放的长度。初始视频文件的每帧以如.jpg的图像格式重新保存。对于每个已编号的图像，具有定义线框的.txt文件（如采用帧23的frame23.txt格式），和定义将图像映射在线框上的已编号的.txt文件（如采用帧23的frameT23.txt格式）。app能找到的如video_details.plist的具有标准名称的XML文件将信息存储存储以配合（coordinate）其重放，该信息如帧数、音频名称、数据文件以及图像、音频和数据文件的格式。这些转换在转换过程中内置在渲染软件中，然后会通过移动app进行随后的重放。

[0164] 无论是使用上述红线方法，还是使用图像或视频的自动双镜头转换，在本优选实施例中，移动app寻找以下格式化后的数据，使用移动设备中的倾斜传感器以使视角能够环绕场景模型中的物体移动，来在普通显示屏上播放3D视频。在前一段中记载有，在我们的独有的.2d3d格式中有两个数据文件，一个用于线框，另一个用于图像映射。这些数据文件仅包括数字；尽管这些数据文件在这里通过文字来注释，以阐明数据文件是如何工作的。在每个时间点上，根据音频文件的持续时间，app读取并显示下一数据和图像文件集。这里采用简单的例子，在该例子中背景上有一个正方形，由此不需要太多行的数据。

[0165] a.)用于线框的Frame1.txt

[0166] WE HAVE4CORNERS ON THE SQUARE,AND IT IS DIVIDED INTO2TRIANGLES.（正方形有4个角，该正方形被分成2个三角形）

[0167] FIRST IS THE BACKGROUND,WITH ONE TRIANGLE:（首先是背景，该背景具有一个三角形﹕）

[0168] -100-10000

[0169] 100-10000

[0170] -10010000

[0171] AND THEN THE OTHER TRIANGLE:（另一个三角形﹕）

[0172] -10010000

[0173] 100-10000

[0174] 10010000

[0175] THE FOURTH“0”ON THE ABOVE LINES IS THE FLAG FOR TRANSPARENCY,TO INDICATE THAT THIS IS BACKGROUND.

[0176] （上面线条的第四个“0”是表示透明的标志，用来表明这是在背景上）[0177] FLAG0=FOREGROUND OBJECT(NO TRANSPARENCY)

[0178] FLAG1=SIDEWALLS(SEMI-TRANSPARENCY)

[0179] FLAG2=SHADOW HOLE IN BACKGROUND(100%TRANSPARENCY)

[0180] （FLAG0=前景物体（不透明）

[0181] FLAG1=侧壁（半透明）

[0182] FLAG2=背景上的影子洞（100%透明））

[0183] THEN COME THE SQUARE IN THE FOREGOUND IN THIS FRAME.NOTE THAT THE SQUARE IS ACTUALLY SHOWN IN RES1.BMP TWICE,ONCE ON THE BACKGROUND AND ONCE IN THE FOREGROUND.THIS ONE HAS Z=50,SO IS IN THE FOREGROUND.IT HAS FLAG=0,WHICH MEANS0%TRANSPARENCY.

[0184] （然后，正方形进入线框的前景中，注意正方形在RES1.BMP中实际显示了两次，一次在背景中，一次在前景中。因为该正方形的Z=50，因此这个正方形处于前景中。正方形的FLAG=0，则意味着该正方形0%透明）

[0185] FIRST TRIANGLE:

[0186] （第一个三角形﹕）

[0187] -12.89063-9.375500

[0188] -35.15625-9.375500

[0189] -35.5468812.89063500

[0190] AND THEN THE SECOND TRIANGLE FOR SQUARE:

[0191] （正方形的第二个三角形﹕）

[0192] -12.89063-9.375500

[0193] -35.5468812.89063500

[0194] -12.513.28125500

[0195] THE DISTANCE HAS BEEN DEFINED AS Z=50

[0196] （将距离设置为Z=50）

[0197] THE FOLLOWING LINES ENDING IN1SHOULD ALL BE SIDEWALLS OF EMBOSSING(AGAIN,IN SETS OF3VERTICES FOR TRIANGULAR POLYGONS).FLAG=1SO THERE SHOULD BE TRANSPARENCY ON THESE:

[0198] （下面以1结束的线条都应该是凸出的侧壁（也在三角化的多边形的3个顶点集之中）FLAG=1，从而下面这些线条都应该是透明的）：）

[0199] -71.0937525.7812501

[0200] -35.5468812.89063501

[0201] -70.3125-18.7501

[0202] -70.3125-18.7501

[0203] -35.5468812.89063501

[0204] -35.15625-9.375501

[0205] -2526.562501

[0206] -12.513.28125501

[0207] -71.0937525.7812501

[0208] -71.0937525.7812501

[0209] -12.513.28125501

[0210] -35.5468812.89063501

[0211] -25.78125-18.7501

[0212] -12.89063-9.375501

[0213] -2526.562501

[0214] -2526.562501

[0215] -12.89063-9.375501

[0216] -12.513.28125501

[0217] -70.3125-18.7501

[0218] -35.15625-9.375501

[0219] -25.78125-18.7501

[0220] -25.78125-18.7501

[0221] -35.15625-9.375501

[0222] -12.89063-9.375501

[0223] THEN BELOW IS THE ORIGINAL COPY OF THE SQUARE ON THE BACKGROUND,WITH Z=0MEANING THIS IS THE BACKGROUND(AND FLAG=2).

[0224] （接着，下面是背景上的正方形的原始复制件﹔该复制件的Z=0，也就是说该复制件在背景上（FLAG=2）。）

[0225] AGAIN,THIS IS A SQUARE DEFINED AS2TRIANGLES:

[0226] （再次地，该正方形定义为2个三角形：）

[0227] -25.78125-18.7502

[0228] -70.3125-18.7502

[0229] -71.0937525.7812502

[0230] -25.78125-18.7502

[0231] -71.0937525.7812502

[0232] -2526.562502

[0233] b.)用于图像映射的数据文件格式

[0234] THIS IS THE TEXTURE-MAPPING FILE,WHERE STANDARD SCORES ARE USED RANDING FROM0TO1.

[0235] （这是一个图像映射文件，在这个图像映射文件中的所采用的标准数字范围处于0-1中）

[0236] BACKGROUND:

[0237] （背景﹕）

[0238] TRIANGLE ON LEFT:

[0239] （左边的三角形﹕）

[0240] 000

[0241] 100

[0242] 010

[0243] TRIANGLE ON RIGHT:

[0244] （右边的三角形﹕）

[0245] 010

[0246] 100

[0247] 110

[0248] SQUARE IN FOREGROUND:

[0249] （前景中的正方形﹕）

[0250] FIRST TRIANGLE:

[0251] （第一个三角形﹕）

[0252] 0.37109380.406250

[0253] 0.14843750.406250

[0254] 0.14453130.62890630

[0255] SECOND TRIANGLE:

[0256] （第二个三角形﹕）

[0257] 0.37109380.406250

[0258] 0.14453130.62890630

[0259] 0.3750.63281250

[0260] SIDEWALLS(24VERTICLES)

[0261] （侧壁（24个顶点））

[0262] 0.14453130.62890630

[0263] 0.14453130.62890630

[0264] 0.14843750.406250

[0265] 0.14843750.406250

[0266] 0.14453130.62890630

[0267] 0.14843750.406250

[0268] 0.3750.63281250

[0269] 0.3750.63281250

[0270] 0.14453130.62890630

[0271] 0.14453130.62890630

[0272] 0.3750.63281250

[0273] 0.14453130.62890630

[0274] 0.37109380.406250

[0275] 0.37109380.406250

[0276] 0.3750.63281250

[0277] 0.3750.63281250

[0278] 0.37109380.406250

[0279] 0.3750.63281250

[0280] 0.14843750.406250

[0281] 0.14843750.406250

[0282] 0.37109380.406250

[0283] 0.37109380.406250

[0284] 0.14843750.406250

[0285] 0.37109380.406250

[0286] THERE IS NO COPY OF THE SQUARE ON BACKGROUND IN THIS TEXTURE-MAPPING[0287] （在图像映射过程中，背景上没有正方形的复制件）

[0288] 当显示电影或图像的时候，由于能够检测到手持设备的倾斜，视角可以在产生3D观影效果的3D场景中移动。这使用户能体验“环视效果”，使得用户能够环视前景物体，并在没有3D光学设备的普通显示屏上播放视频。本方法的创造性的步骤在于，使得不能够接触到3D覆盖物或其他3D光学设备的用户在普通移动设备上体验3D效果。深度视角基于移动媒体播放器和智能手机上的动态视差、闭塞模型（occlusion）以及环视能力而产生的，而不需要3D眼镜或透镜覆盖物。

[0289] 在3D重放过程中可以采用一些方法来获得最平滑的性能；其中该平滑性能取决于显卡是否支持视频的映射。本优选实施例是将电影以给定的帧速率在移动的线框上进行映射。然而，如果不支持视频的图像映射，就需要另一个实施例来快速地将电影文件中顺序地复制多个帧，并对每个单个帧进行图像映射。上述任一个方法使得我们能够通过电影播放器来使用现有的电影。也可以指定本地文件路径或网络地址。需要提供的唯一数据是，定义线框的XYZ数据文件。最后，如果上述两种方法均不能实现时，还有另一个实施例是可能的。在该实施例中，在预渲染阶段，如上所述，一系列图像可以与每秒的指定的数字可以保存下来。这些图像的文件夹随后可以设有音轨以及定义线框形状和运动的XYZ坐标的数据文件。

[0290] 手持设备的电影播放器具有标准VCR型控制功能，包括播放功能、暂停功能以及倒带功能。在本实施例中，电影播放器还有进度条（progress bar），该进度条用于显示该电影播放了多少，以及还剩下多少没有播放。与一般电影播放程序相比，本实施例的电影播放器主要的区别在于，本程序不能播放平面电影，而实际上只能播放3D场景，在该3D场景中帧按顺序播放。

[0291] 电影帧或分割的图像图像映射到3D场景的深度网格上。如上所述，线框（也叫深度网格）具有与图像帧速率同步的帧速率。如果视频电影中的前景物体跳转图像时，线框模型也会因此同时变化。虽然图像以每秒一定的速度进行播放，但本实施例中，线框并不需要为每个图像帧进行设置。为了减少处理资源，线框能使用其关键帧，以用于重放功能；该线框还能从一个帧中的预设位置将步骤插入到下一帧的下一预定位置。

[0292] 本领域技术人员已知，图像映射是一个标准过程，其中给出XY坐标系来定义图像；XY坐标系也可映射在线框的XYZ坐标系上。通过这种方式，我们将初始视频覆盖到立体模型上，而不像将电影投影到凹凸不平的表面上。线框的凸起部分（elevated part）为前景区域，该凸起部分在关键帧阶段被分割。

[0293] 为了保持时间顺序，在本实施例中，音轨在重放阶段优先考虑。本领域技术人员已知，音轨是用于数字视频真实重放的一个标准程序。虽然音轨不是必须的，但如果计算机资源受到限制，将视频的一帧丢弃比跳过声音更好。音轨具有预定的长度。当音轨开始运行时，该音轨会提示图像和线框运动的帧速率。当播放音频时，可以设有“回调函数”（callback）来指示音轨所在的时间点。这些回调函数用于使图像或视频的帧速率和线框的帧速率同步。

[0294] 虽然被分割的物体在Z轴上靠近相机，但在本优选实施例中，被分割的物体的边界仍然会连接（凸出）于背景的倒圆边界，由此你不能看到被分割的物体背后的空白区域；其中在该空白区域中，分割物体从背景中裁切下来。

[0295] 一旦逼真的3D场景模型与初始真实立体相机的视角同时存在，且当手中的移动设备或智能手机倾斜时，我们将用倾斜传感器或加速器控制相机视角（perspective）。虽然倾斜传感器应用在各种各样的应用中，但本发明中的目的在于，能够在不需要3D眼镜或光栅光学的情况下，基于设备的运动，简单地通过在3D电影播放时移动3D电影的视角，从而使得手持媒体播放器能够实现深度视角。这使得在3D电影中产生动态视差和闭塞，而动态视差和闭塞模型都是深度标识。这也可以描述为“环视效果”，通过该环视效果，你可以在手持媒体设备倾斜时，环视电影中的前景物体。这种虚拟体验与看全息图类似，但该虚拟体验是在普通播放显示屏上发生。

[0296] 当倾斜传感器触发时，视角会移动，好像真实物体或立体模型支撑在手中一样。在本实施例中，存在速度敏感参数；基于手持媒体设备的倾斜速度和倾斜度，通过速度敏感参数可以控制XYZ视角坐标的运动速度。

[0297] 虽然视角是基于倾斜四周移动的，但图像仍处于3D场景模型的中心。在本实施例中，对视角可移动的幅度设置并校准了限制参数。显然地，手持媒体设备能反向向右倾斜，直到完全看不到显示屏。这种情况妨碍了本发明目的的实现。然而，可以设置比例，使得对于每个倾斜度数，视角绕着数字3D模型移动多种度数；从而你可以在不需要将手持设备倾斜太多的情况下，进一步地环看3D场景中的前景物体。

[0298] 在本实施例中，为视角是否沿着X轴向后和向前运动，或为视角是否会绕着物体运动，设置有一个可调参数。这个控制参数也能允许视角的不同运动组合。

[0299] 在另一实施例中，如在电脑游戏中一样，当在电影播放时使用倾斜传感器，则倾斜传感器也能在3D电影场景中进行导航。然而，大多数人想要一个被动观影效果，以观看如电影和电视一样的视频。导航功能妨碍了用户的观影体验，而非加强了用户的观影体验。然而，当3D导航功能或物体操纵功能符合预期，能移动通过3D场景模型中的视频时，如在逼真的视频游戏制作过程中，这里所公开的用于在场景中环绕移动，而不是前后移动的方法是有用的。

[0300] 这里描述的方法的另一实施例是在图像处理过程中使用不同种类的传感器，如数字式罗盘或光流传感器，来控制在电影播放过程中的视角和3D电影的播放。在本实施例中，例如，当设备向左或向右移动以指向北或南时，电影场景的图像会相应地发生改变。这和通过相机观看并向左或向右旋转相机具有相似体验。除这里概述的本方法之外，你可以环看移动的逼真3D场景，而该3D场景刚开始只是普通电影。

[0301] 虽然通过利用手持设备中的倾斜传感器移动视角来产生3D体验；然而该3D体验主要在显示屏后面产生了深度视角。在另一实施例中，通过增加一个光栅覆盖物来组合两个步骤，以产生一个在显示屏前方凸出的前景物体的视角。

[0302] 本发明可以以其他具体形式进行跟描述，而没有背离本发明的精神以及主要特征。本实施例由此可看作是示范性的而并非局限性的；本发明的范围由附属的权利要求而不是上述的说明来表明，任意在权利要求等同意思和范围内的改变由此包含在上述权利要求中。