用于优化立体视频及图像的显示器再现的前瞻性会聚的方法

摘要

本发明涉及一种供与第一立体数据、第二立体数据及显示装置一起使用的装置(1000)。所述装置包含输入部分(1006)、会聚数据检测部分(1008)、会聚平面部分(1010)、比较部分(1012)及修改部分(1014)。所述输入部分(1006)可接收所述第一立体数据及所述第二立体数据。所述会聚数据检测部分(1008)可检测所述第一立体数据内的第一会聚数据且可检测所述第二立体数据内的第二会聚数据。所述会聚平面部分(1010)可基于所述第一会聚数据而确定第一会聚平面且可基于所述第二会聚数据而确定第二会聚平面。所述比较部分(1012)可将所述第一会聚平面与所述第二会聚平面进行比较且可产生会聚平面比较。所述修改部分(1014)可基于所述会聚平面比较而修改所述第一会聚数据。

权利要求

1.一种操作立体校正装置的方法，其包括：

(a)在存储器中以一系列立体图像帧的形式接收立体数据，其中每一帧包括左图像及右图像，且其中每一帧包括会聚数据，所述会聚数据包括会聚数据平面及融合偏移数据，所述融合偏移数据表示会聚平面与显示屏幕之间的距离，且连续的帧具有不同的会聚平面；

(b)比较当前帧、第一其次连续帧、及至少第二其次连续帧的所述融合偏移数据；且(c)修改所述第一其次连续帧的所述融合偏移数据以减小所述当前帧的会聚平面与至少所述第二其次连续帧的会聚平面之间的差异。

2.根据权利要求1所述的方法，其中所述修改包括通过在所述当前帧、所述第一其次连续帧、及至少所述第二其次连续帧之间的融合偏移数据中提供恒定变化以改变连续帧之间的所述融合偏移数据。

3.根据权利要求1所述的方法，其中所述修改包括通过平滑所述当前帧、所述第一其次连续帧、及至少所述第二其次连续帧之间的融合偏移数据的差异以改变连续帧之间的所述融合偏移数据。

4.根据权利要求1所述的方法，其中所述修改包括通过增大所述第一其次连续帧中的所述融合偏移数据以改变连续帧之间的所述融合偏移数据。

5.根据权利要求1所述的方法，其中所述修改包括通过减小所述第一其次连续帧中的所述融合偏移数据以改变连续帧之间的所述融合偏移数据。

说明书

用于优化立体视频及图像的显示器再现的前瞻性会聚的方法

技术领域

[0001] 本发明涉及立体三维(在下文中3D)视频。

背景技术

[0002] 现在将额外参考图1到7描述常规3D观看系统。

[0003] 图1图解说明大脑对立体图像的处理。如图中所展示，人100具有头部102。头部 102包含左眼114、通过水平位移120分开的右眼116及大脑104。大脑104包含图像融合器
110。大脑104可操作以存储从左眼114接收的左图像106及从右眼116接收的右图像108。左图像106表示图像118的由左眼114所观看到的图像。右图像108表示图像118的由右眼116所观看到的图像。图像融合器110可操作以组合左图像106与右图像108以形成3D图像112。

[0004] 在操作中，人100使用左眼114来接收左图像106且使用右眼116来接收右图像108。接收并处理左图像106及右图像108以产生图像118并将图像118存储于大脑104中。左眼114远离右眼116水平位移120。由于水平位移120，图像118的由左眼114所捕获的左图像106在水平方向上不同于图像118的由右眼116所捕获的右图像108。在大脑104中，左图像106从右图像108水平位移。通过组合，左图像106及右图像108形成立体图像对。图像融合器110可操作以将左图像106与右图像108组合成合成3D图像112。使用左图像106及右图像108，大脑
104可更好地操作以感知具有深度及视角的图像。

[0005] 图2图解说明常规3D相机组合件对立体图像的捕获及存储。

[0006] 常规3D相机组合件200包含左相机202、右相机204、存储器部分208及存储器部分222。存储器部分208可操作以存储由左相机202所捕获的图像。存储器部分222可操作以存储由右相机204所捕获的图像。左相机202与右相机204分开水平位移224。存储器部分208包含左图像206、左图像208、左图像210及左图像212，然而存储器部分222包含右图像214、右图像216、右图像216及右图像220。存储器部分208的图像 206、208、210及212分别与存储器部分222的图像214、216、218及220布置成对以分别形成图像对222、图像对224、图像对226及图像对228。

[0007] 常规3D相机组合件200经布置以近似大脑104的能力以捕获并存储立体图像对。类似于接收并存储水平位移的图像的左眼114及右眼116，左相机202及右相机204也接收并存储水平位移的图像，这是因为左相机202布置为从右相机204水平位移224。因此，当左相机202及右相机204分别捕获并存储图像118的左图像212、210、208及 206以及右图像220、
218、216及214时，由于左相机202与右相机204之间的水平位移224而形成立体图像对228、
226、224及222。在一个实例中，立体图像对228包含左图像212及右图像220。立体图像对228的左图像212及右图像220根据左相机202 与右相机204之间的水平位移224而彼此水平移位。

[0008] 参考图3图解说明人借助常规3D图像控制器接收并处理立体数据的操作。

[0009] 图3图解说明人100借助常规3D图像控制器302从常规立体图像源300接收立体图像数据。立体图像源300具有分别各自含有图像对222、224、226及228的相应左图像206、208、210及212以及右图像214、216、218及220的左图像集208及右图像集 222。3D图像控制器302包含左图像控制器304及右图像控制器306。3D图像控制器 302经布置以从立体图像源300接收图像。特定来说，左图像控制器304经布置以从立体图像源300接收左图像集208以用于选择性发射到左眼114。然而，右图像控制器306 经布置以从立体图像源300接收右图像集222以用于选择性发射到右眼116。

[0010] 人100能够从3D图像控制器302接收图像。特定来说，左眼114经布置以从立体图像源300顺序地接收由左图像控制器304所发射的左图像集208的图像212、210、208 及206。另外，右眼116经布置以从立体图像源300顺序地接收由右图像控制器306所发射的右图像集222的图像220、218、216及214。大脑104可操作以接收并存储来自左眼114的左图像106及来自右眼116的右图像108。图像融合器110可操作以将左图像106及右图像108合并成合成3D图像112。

[0011] 可根据图2的描述使用常规3D相机组合件形成立体图像源300的立体图像对228、 226、224及222。3D图像控制器302用于将左图像集208的左图像顺序地发射到左眼 114且将右图像集222的右图像顺序地发射到右眼116，借此将左图像106固定为对应于左图像集208且将右图像108固定为对应于右图像集222。当图像融合器110对右图像108进行操作且左图像106使用不自然水平位移224来布置时大脑104可能体验到不舒适。

[0012] 3D图像控制器302可包含左图像控制器304及右图像控制器306。在一个实例中，左图像控制器304包含经布置以使用蓝光将左图像集208的图像顺序地投影的投影装置且包含一副眼镜的第一部分，其中所述第一部分为经布置以可投影地插置于左眼114与左图像集208之间的蓝色透镜。继续所述实例，右图像控制器306包含经布置以使用红光将右图像集222的图像顺序地投影的投影装置且包含一副眼镜的第二部分，其中所述第二部分为经布置以可投影地插置于右眼116与右图像集222之间的红色透镜。在此实例中，左眼114由于左图像控制器304的滤波效应而接收蓝色经投影左图像206、208、 210及212且右眼116由于右图像控制器306的滤波效应而接收红色经投影右图像214、 216、218及220。

[0013] 参考图4A及4B图解说明立体图像的分量。图4A到4B分别图解说明左图像400 及右图像402。如图4A中所展示，左图像400包含图案406。如图4B中所展示，右图像402包含图案408。

[0014] 参考图4C描述视差。图4C图解说明左图像400与右图像402的视差410作为立体图像的实例。如图中所展示，立体图像404包含叠加到图案408上的图案406。视差410 为图案406与408之间的水平偏移。图4C图解说明视差410，其为同一对象的从不同水平位置获得的两个图像之间的水平位移。左眼114与右眼116之间的水平位移120及左相机202与右相机
204之间的水平位移224可操作以形成所捕获的图像(例如图案406 及图案408)之间的视差
410。举例来说，左眼114可捕获具有图案406的左图像400且右眼116可捕获具有图案408的右图像402，其中图案406及408实际上为同一图案的彼此水平偏移视差410的两个不同视图。图像融合器110可操作以将立体图像404转换成单个3D图像112。

[0015] 额外参考图5及6图解说明正及负视差。

[0016] 图5图解说明负视差的实例。图5包含左眼114、右眼116、图像506、右图像520、左图像522、观看平面516、会聚平面514、正融合偏移524、焦距518、显示屏500、所感知到的图像点508、右图像点510及左图像点512。如所展示，右图像520及左图像522投影到显示屏500上。左眼114及右眼116聚焦于显示屏500上。左眼114及右眼116为远离观看平面516的焦距518且移动以会聚以用于接收右图像520及左图像 522。图像506因此被感知为在显示屏500前面。更具体来说，图像506为由如参考图1 所描述的图像融合器110形成的所感知到的图像，其以与显示屏500的正融合偏移524 出现在显示屏500前面在会聚平面514上。

[0017] 3D效应为由图像融合器110在对以不自然视差布置的左图像及右图像进行操作时形成的感知。不自然视差包含左图像在右图像的右边的时候。如图5中所展示，左图像 522在显示屏500上投影到右图像520的右边，从而形成不自然视差。3D图像控制器302(未展示)可操作以确保左眼114捕获左图像522且右眼116捕获右图像520。由于左眼114在右眼116的左边，因此左眼114在自然界不捕获水平位移到右图像(例如右图像 520)的右边的左图像(例如左图像522)。图像融合器110经设计以融合左图像。左图像水平位移到左边，其中右图像水平位移到右边。当左眼114捕获在显示屏500上物理地投射到右图像520的右边的左图像522且右眼116捕获在显示屏500上物理地投射到左图像522的左边的右图像520时，图像融合器110形成具有负视差的图像506。图像506 为由图像融合器110形成的感知。左图像522及右图像520为物理图像。由于右图像520 及左图像522的不自然相对位置，因此大脑
104将图像506感知为在显示屏500前面在会聚平面514上达正融合偏移524。会聚平面514及正融合偏移524为会聚数据的实例。

[0018] 一般来说，会聚平面可被认为其中左图像及右图像朝向彼此移位以便会聚成单个图像的平面。关于图5，由左眼114观看到的左图像522与由右眼116观看到的右图像520 接近以便会聚成单个图像。照此，关于图5的讨论(及图6的以下讨论)，会聚平面可被认为辐辏平面。

[0019] 图6图解说明正视差的实例。

[0020] 图6包含左眼114、右眼116、图像600、右图像608、左图像610、观看平面516、会聚平面606、显示屏500、所感知到的图像点604、右图像点602及左图像点612。右图像608及左图像610投影到显示屏500上。左眼114及右眼116聚焦于为远离观看平面516的焦距518的显示屏500上且移动以会聚以用于接收右图像608及左图像610。图像600为由图像融合器110(未展示)形成的所感知到的图像，其以与显示屏500的负融合偏移620出现在显示屏500后面在会聚平面606上。会聚平面606及负融合偏移620 为会聚数据的实例。

[0021] 如图6中所展示，左图像610投影到右图像608的左边。图像之间的水平位移的此布置称作正视差。当左眼114接收左图像610且右眼116接收以正视差布置的右图像608 时，图像融合器110组合所述图像使得大脑104将经组合图像感知为越过屏幕显示器500 达负融合偏移620的距离，如图中的所感知到的图像点604所展示。

[0022] 图5及6图解说明事实上不被发现的图像操纵。事实上，图像出现在以焦距518定位的会聚平面上。然而，投影到显示屏500上的图像对被感知为远离显示屏500的正融合偏移524或负融合偏移620。焦距518为观看平面516与显示屏500之间的距离。在许多情形中，任何视差的经投影图像对的物理位置为远离观看平面516的焦距518，这是因为经投影图像物理地投射于屏幕上。然而，由于正或负视差，图像融合器110将图像感知为在不同于显示屏
500的会聚平面上比焦距518更近或更远。事实上，会聚平面为远离观看平面516的焦距518。
当大脑融合器110需要处理左图像106及右图像108 以形成出现在未以远离观看平面516的焦距518定位的会聚平面上的3D图像112时可导致包含疲倦、头痛、眼疲劳、头晕及类似情况的观看不舒适。此外，观看不舒适可因会聚平面的位置的大的突然迅速或频繁改变而进一步恶化。

[0023] 参考图7图解说明常规3D图像流及对应融合偏移时间曲线图。

[0024] 图7图解说明多场景3D图像流700及针对立体数据的每一例子的融合偏移的对应曲线图。如图7中所展示，3D多场景3D图像流700包含场景702、场景716及场景730。场景702含有各自具有一起形成立体数据的例子的图像对的帧704、帧708及帧712。每一帧704、708及712的立体数据分别包含融合偏移706、710及714。场景716及场景730以类似于场景702的方式而构成。还如图7中所展示，曲线图748具有y轴744 及x轴746。曲线图748包含点706、710、714、724、726、728、738、740及742。

[0025] 在操作中，多场景3D图像流700顺序地投影到显示屏500上。以大多数电影为典型，多场景3D图像流700由借助取样标注为场景702、场景716及场景730的许多场景构成，其中每一场景由数个帧构成，每一帧由具有由融合偏移测量的视差从而导致所感知到的图像位置在会聚平面上的图像对构成。举例来说，场景702的帧704具有由融合偏移706测量的负视差，此意味着由图像融合器110形成的图像将被感知为在显示屏 500前面的会聚平面上。

[0026] 图7中还展示，两个顺序融合偏移714及724的值的突然改变可发生在第一场景的最后一帧与第二场景的第一帧之间。同样地，融合偏移的值的突然改变发生在场景716 的帧722与场景730的帧732之间，如经标绘融合偏移值728及738所展示。如果在3D 电影的生产期间未加以注意，那么会聚平面的频繁突然改变可发生在不同场景的帧之间从而导致观看不舒适。回想3D图像捕获可包含定位为水平分离的2个相机(如图2中所展示)以用于各自从稍微不同视角拍摄同一场景或图像以近似由一双人眼中的每一只眼睛所捕获的稍微不同图像。

[0027] 在第一实例中，如果左相机202及右相机204未正确地定位，那么左图像及右图像可比在由一双人眼捕获的情况下将发生的水平位移显著更多。在此情形中，控制眼睛的大脑及肌肉可需要进行额外工作且可必须更快速地工作，以便聚焦于两个图像且将所述两个图像组合成大脑104所感知到的标注为3D图像112的单个图像。额外工作可为紧张、疲劳、疼痛、不舒适及缺乏乐趣的原因。

[0028] 在第二实例中，左相机202及右相机204可不超过水平位移224的正常边界。即使如此，在后期制作期间的粗心大意或缺乏计划也可导致如图7中所展示的3D图像流具有融合偏移的频繁且突然改变。

[0029] 更特定来说，将电影、影片或视频(例如如图7中所展示的多场景3D图像流700) 认为由例如场景702、场景716及场景730的许多场景构成，其中每一场景可能独立于其它场景在不同时间处使用不同装备经捕获且由不同团队形成。在不具有生产人员所做出的严谨且昂贵的记录保持的情况下，例如最大值745或最大值746的融合偏移的改变很可能发生在场景的最后一帧与随后场景的第一帧之间。

[0030] 融合偏移的迅速连续改变还导致会聚平面(如图9中所展示，会聚平面924及会聚平面928)的迅速连续改变。回想在自然界，会聚平面514为距观看平面516的焦距518，此意味着人眼感知到图像在其物理距离处，从而意味着右图像108及左图像106具有零视差。当观看以如图6中所展示的正视差或如图5中所展示的负视差形成立体图像时，左眼114、右眼116及大脑104以不同于常态的方式操作。不同操作可为3D图像流观看不舒适的一个原因。

[0031] 具有非零视差的立体图像需要大脑104感知在不同于右图像520、608及左图像610、 522的实际物理位置的位置(会聚平面514、606)处的经组合3D图像112，会聚平面514、 
606为远离观看平面516的焦距518。当大脑104、左眼114及右眼116被驱迫聚焦于在不同于其所感知到的位置的位置处的对象时，可形成观看不舒适。

[0032] 此外，由顺序立体图像操纵导致如图5及图6中所展示的正或负视差的迅速且频繁改变表征的3D图像观看致使左眼114及右眼116以与会聚平面一致的角度连续地移动同时聚焦于对应于顺序图像在不同于会聚平面的距离处的实际物理位置的距离处。

[0033] 疲劳、眼疲劳及头痛为3D图像观看的报告结果。此不舒适可归因于对处理具有非零视差的所生产不自然立体图像的眼睛及大脑的影响。

[0034] 当大脑处理由图像帧之间的迅速且突然视差改变导致迅速且突然融合偏移及会聚平面改变表征的顺序地生产的不自然立体图像的连续流时混合有疲劳、眼疲劳及头痛。

[0035] 需要一种在保留观看3D图像的新颖且快乐经历的同时减少连续立体图像帧之间的视差、融合偏移及会聚平面的改变以减少或消除疲劳、眼疲劳、头痛及其它形式的不舒适的系统及方法。

发明内容

[0036] 提供一种在保留观看3D图像的新颖且快乐经历的同时减少连续立体图像帧之间的视差、融合偏移及会聚平面的改变以减少或消除疲劳、眼疲劳、头痛及其它形式的不舒适的系统及方法。

[0037] 根据所描述的实施例，提供一种供与第一立体数据、第二立体数据及显示装置一起使用的装置。所述显示装置可基于所述第一立体数据而在第一时间处显示第一立体图像，且可基于所述第二立体数据而在第二时间处显示第二立体图像。所述第二时间在所述第一时间之后。所述第一立体图像数据具有第一会聚数据，使得所述第一立体图像将以第一会聚平面来显示。所述第二立体图像数据具有第二会聚数据，使得所述第二立体图像将以第二会聚平面来显示。所述第二会聚平面不同于所述第一会聚平面。所述装置包含输入部分、会聚数据检测部分、会聚平面部分、比较部分及修改部分。所述输入部分可接收所述第一立体数据及所述第二立体数据。所述会聚数据检测部分可检测所述第一立体数据内的所述第一会聚数据且可检测所述第二立体数据内的所述第二会聚数据。所述会聚平面部分可基于所述第一会聚数据而确定所述第一会聚平面且可基于所述第二会聚数据而确定所述第二会聚平面。所述比较部分可将所述第一会聚平面与所述第二会聚平面进行比较且可产生会聚平面比较。所述修改部分可基于所述会聚平面比较而修改所述第一会聚数据。

附图说明

[0038] 图1图解说明大脑对立体图像的处理；

[0039] 图2图解说明常规3D相机组合件对立体图像的捕获及存储；

[0040] 图3图解说明人借助常规3D图像控制器从常规立体数据源接收立体图像数据；

[0041] 图4A到4B图解说明左图像及右图像；

[0042] 图4C图解说明左图像及右图像的视差作为立体图像的实例；

[0043] 图5图解说明负视差的实例；

[0044] 图6图解说明正视差的实例；

[0045] 图7图解说明多场景3D图像流及针对立体数据的每一例子的融合偏移的对应曲线图；

[0046] 图8A图解说明图7的实例性融合偏移时间曲线图；

[0047] 图8B图解说明经平滑融合偏移时间曲线图800；

[0048] 图9图解说明在会聚平面的改变已缓和之前的图像序列及在会聚平面的改变已缓和之后的图像序列；

[0049] 图10图解说明可操作以接收立体输入数据且产生经调整立体输出数据以用于显示装置的装置；及

[0050] 图11图解说明操作可操作以接收立体输入数据且产生经调整立体输出数据以用于显示装置的装置的实例性方法。

具体实施方式

[0051] 提供通过以下方式增加人观看3D电影的观看舒适度的方法及设备：修改3D电影内容以通过从立体数据的帧前瞻到连续帧且选择性地修改帧的图像对之间的视差而缓和连续会聚平面的改变的频率、量值及急缓度。

[0052] 更特定来说，如图7中所展示的3D图像流包含一系列图像帧，每一帧具有还称为图像对的左图像及右图像。3D图像流内的帧的一部分可具有水平位移以形成正或负视差的图像对，使得大脑将把左图像及右图像融合成将被感知为在观看屏幕前面或后面处于称为会聚平面的位置处的合成图像。

[0053] 因此，当观看3D图像流时，观看者经历可能各自具有不同会聚平面的一系列图像帧。如上文详述，会聚平面的频繁、迅速及/或大改变可导致不舒适。

[0054] 因过度视差引起的观看者不舒适包含图像帧之间的会聚平面的大改变、会聚平面随 3D图像流的频繁改变以及会聚平面的极端值。

[0055] 通过改变一或多个帧图像对之间的视差(还称为水平位移)，可改变图像帧的会聚平面。因此可能通过减少连续图像帧之间的会聚平面的改变量来平滑化3D图像流，从而引起观看者不舒适的减少或消除。

[0056] 融合偏移时间曲线图748及经平滑融合偏移时间曲线图800包含标绘于X-Y轴上的多个点。连接这些点形成形状846及经平滑形状848。形状846及经平滑形状848可称为弯曲形状，其中曲率量为标绘于所述形状上的两个点之间的线的斜率的函数。较平滑曲线由更缓和斜率表征，其中较陡峭曲线由更极端斜率表征。

[0057] 如图8B中所展示的平滑化可包含通过从图像帧前瞻未来图像帧且接着操纵图像帧的一部分的图像对之间的视差来增加或减小连续图像帧之间的会聚平面及融合偏移的改变以达成会聚平面及融合偏移的越来越平滑曲线，其中所述平滑化可减少或消除3D 图像流观看不舒适的形式而不实质上减少观看乐趣。

[0058] 参考图8A到10图解说明实例性实施例。

[0059] 图8A图解说明图7的实例性曲线图。如图8A中所展示，曲线图748具有y轴744 及x轴746。融合偏移时间曲线图748包含点706、710、714、724、726、728、738、740及742。

[0060] 图8B图解说明经平滑融合偏移时间曲线图800。如图中所展示，经平滑融合偏移时间曲线图800具有y轴744及x轴746，包含点706、810、714、824、726、828、838、 840及742。

[0061] 经平滑融合偏移时间曲线图800源自曲线图748且经修改以缓和帧之间的融合偏移的改变的急缓度。回想融合偏移由左及右图像对之间的水平位移或视差确定，可想到对左右图像视差的操纵可用于修改任一立体帧的会聚平面且因此缓和任何两个连续帧之间的融合偏移的改变以用于改进观看舒适度的目的。

[0062] 可采用许多修改策略来缓和连续帧之间的融合偏移的改变以用于改进观看舒适度的目的。

[0063] 在图8A及图8B中展示在x轴746上对准的对应融合偏移点。

[0064] 用于改进观看者舒适度的修改策略的第一非限制性实例处理曲线图748的点706、 710及714的布置。在此实例中，融合偏移706与融合偏移710之间的差异比融合偏移 710与融合偏移714之间的差异更多。如图8B中所展示，融合偏移值710改变为融合偏移值810，使得融合偏移的改变在对应帧704、708及712之间是恒定的。在此实例中，修改策略包含从帧
704前瞻到帧708及712以确定使曲线图748平滑化所需要的改变。此修改策略包含均衡三个点之间的垂直距离，其中连接第一点与第二点的线的斜率的值不同于连接第二点与第三点的线的斜率的值。

[0065] 用于改进观看者舒适度的修改策略的第二非限制性实例处理曲线图748的点714、 724及726的布置。在此实例中，融合偏移724及融合偏移726为相同值。如图8B中所展示，融合偏移值724改变为融合偏移值824，使得714与724之间的融合偏移的改变可通过用融合偏移824替换融合偏移724而减小。在此实例中，修改策略包含从帧712 前瞻到帧718及726以确定使曲线图748平滑化所需要的改变。此修改策略包含均衡三个点之间的垂直距离，其中连接所述点中的任何两者的线的斜率的值为零。

[0066] 用于改进观看者舒适度的修改策略的第三非限制性实例处理融合偏移时间曲线图 748的融合偏移值726、728、738、740及742的布置。在此实例中，点726及728为与点740及742相同的值。融合偏移值728与738之间的突然改变插置于两组相似值之间。如图8B中所展示，融合偏移值728、738及740分别改变为融合偏移值828、838及840，使得728与738之间的融合偏移的改变可减小或平滑化。在此实例中，修改策略包含从帧720前瞻到帧722、732、
734及736以确定使曲线图748平滑化所需要的改变。此修改策略包含均衡任一组相连点之间的垂直距离，其中连接所述点中的任何两者的线的斜率的值为零。

[0067] 修改策略可包含任何方法，包含任何已知平滑化或曲线拟合方法，其非限制性实例包含移动平均线及最小平方最佳拟合方法。

[0068] 图9图解说明图像序列900及图像序列950。

[0069] 如图9中所展示，图像序列900含有标注为帧936、帧938、帧940、帧942及帧 944的5个立体图像帧。每一帧包含视野902、风景904、道路918及定位在会聚平面 916、会聚平面920、会聚平面924、会聚平面928及会聚平面932附近的对象906、对象908、对象910、对象912及对象914。

[0070] 图9中还展示，经平滑图像序列950含有标注为帧952、帧954、帧956、帧958及帧960的5个立体图像帧。每一帧含有视野902、风景904、道路918及定位在会聚平面972、会聚平面974、会聚平面976、会聚平面978及会聚平面980附近的对象962、对象964、对象966、对象968及对象970。

[0071] 如图9中所展示，图像序列900及950提供立体帧的图形可视化，从而实现数值融合偏移值与安置于会聚平面处的可视对象之间的关联性。图像序列900对应于曲线图748 的包含融合偏移值706到726的部分。经平滑图像序列950对应于经平滑融合偏移时间曲线图800的由点706′到726′界定的部分。对如8B中所描述的融合偏移值的修改导致对经平滑图像序列950的帧952、954、956、958及960中所展示的会聚平面的位置的修改。

[0072] 图10图解说明供与立体输入数据一起使用的立体数据校正装置1000。

[0073] 如图中所展示，3D视频产生系统包含立体数据校正装置1000及显示装置1004。在此实例中，立体数据校正装置1000及显示装置1004为相异元件。然而，立体数据校正装置1000及显示装置1004可组合为统一元件。在其它实施例中，立体数据校正装置1000 及显示装置1004中的至少一者可实施为其中存储有有形非暂时性计算机可读媒体(用于携载或其上存储有有计算机可执行指令或数据结构)的计算机。此等有形非暂时性计算机可读媒体可为可由通用或专用计算机存取的任何可用媒体。有形非暂时性计算机可读媒体的非限制性实例包含物理存储装置及/或存储器媒体(例如RAM、ROM、EEPROM、 CD-ROM或者其它光盘存储装置、磁盘存储装置或其它磁性存储装置)或可用于携载或存储呈计算机可执行指令或数据结构的形式的所要程序代码手段且可由通用或专用计算机存取的任何其它媒体。当经由网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)将信息传送或提供到计算机时，所述计算机恰当地将所述连接视为计算机可读媒体。因此，任何此类连接恰当地称作有形非暂时性计算机可读媒体。以上各项的组合还应包含于有形非暂时性计算机可读媒体的范围内。

[0074] 立体数据校正装置1000包含控制器1002、输入部分1006、会聚数据检测部分1008、会聚平面计算器部分1010、比较部分1012、修改部分1014、输出部分1016及存储器 1018。在此实例中，输入部分1006、会聚数据检测部分1008、会聚平面计算器部分1010、比较部分1012、修改部分1014、输出部分1016及存储器1018为相异元件。然而，输入部分1006、会聚数据检测部分1008、会聚平面计算器部分1010、比较部分1012及修改部分1014、输出部分1016及存储器1018中的至少两者可组合为统一元件。在其它实施例中，输入部分1006、会聚数据检测部分1008、会聚平面计算器部分1010、比较部分1012及修改部分1014、输出部分1016及存储器1018中的至少一者可实施为其中存储有有形非暂时性计算机可读媒体(用于携载或其上存储有计算机可执行指令或数据结构)的计算机。

[0075] 显示装置1004包含立体图像产生部分1020及存储器1022。在此实例中，立体图像产生部分1020及存储器1022为相异元件。然而，立体图像产生部分1020及存储器1022 可组合为统一元件。在其它实施例中，立体图像产生部分1020及存储器1022中的至少一者可实施为其中存储有有形非暂时性计算机可读媒体(用于携载或其上存储有计算机可执行指令或数据结构)的计算机。

[0076] 存储器1018包含立体输入数据存储部分1024、立体输入数据存储部分1026、会聚数据存储部分1028、会聚数据存储部分1030、会聚平面存储部分1032、会聚平面存储部分1034、会聚平面比较存储部分1036及立体输出数据存储部分1040。在此实例中，立体输入数据存储部分1024、立体输入数据存储部分1026、会聚数据存储部分1028、会聚数据存储部分
1030、会聚平面存储部分1032、会聚平面存储部分1034、会聚平面比较存储部分1036及立体输出数据存储部分1040为相异元件。然而，在一些实施例中，立体输入数据存储部分1024、立体输入数据存储部分1026、会聚数据存储部分1028、会聚数据存储部分1030、会聚平面存储部分1032、会聚平面存储部分1034、会聚平面比较存储部分1036及立体输出数据存储部分1040中的至少两者可组合为统一元件。在其它实施例中，立体输入数据存储部分1024、立体输入数据存储部分1026、会聚数据存储部分1028、会聚数据存储部分1030、会聚平面存储部分1032、会聚平面存储部分 1034、会聚平面比较存储部分1036及立体输出数据存储部分
1040中的至少一者可实施为其中存储有有形非暂时性计算机可读媒体(用于携载或其上存储有计算机可执行指令或数据结构)的计算机。

[0077] 存储器1022包含立体输入数据存储部分1042。在此实例中，立体输入数据存储部分1042为相异元件。在其它实施例中，立体输入数据存储部分1042可实施为其中存储有有形非暂时性计算机可读媒体(用于携载或其上存储有计算机可执行指令或数据结构) 的计算机。

[0078] 立体数据校正装置1000经布置以接收多场景3D图像流700且产生经调整立体数据 1060。

[0079] 显示装置1004经布置以接收经调整立体数据1060且产生立体图像1046。

[0080] 输入部分1006经布置以顺序地接收多场景3D图像流700且将立体数据分别顺序地输出到立体输入数据存储部分1024及1026。

[0081] 会聚数据检测部分1008经布置以分别通过数据线1076及数据线1078从立体输入数据存储部分1024及1026接收立体输入数据，且可操作以分别通过数据线1080及数据线1082将会聚数据输出到会聚数据存储部分1028及1030。

[0082] 会聚平面计算器部分1010经布置以分别通过数据线1084及数据线1086从会聚数据存储部分1028及1030接收会聚数据，且产生会聚平面数据以用于分别使用数据线 1088及数据线1090存储于会聚平面存储部分1032及1034中。

[0083] 比较部分1012经布置以分别通过数据线1090及1092从会聚平面存储部分1032及1034接收会聚平面数据，且产生会聚平面比较值以用于通过数据线1094存储于会聚平面比较存储部分1036中。

[0084] 如图中所展示，修改部分1014经布置以通过数据线1096从会聚平面比较存储部分 1036接收会聚平面比较值以确定是否需要修改。修改部分1014可操作以产生经调整立体数据1060以用于通过数据线1098存储于立体输出数据存储部分1040中。

[0085] 为产生经调整立体数据1060，修改部分1014可分别通过数据线1019及数据线1023 使用来自立体输入数据存储部分1024及1026的立体输入数据；分别通过数据线1025 及数据线1027使用来自会聚数据存储部分1028及1030的会聚数据；且分别通过数据线1029及数据线1031使用来自会聚平面存储部分1032及1034的会聚平面数据。

[0086] 输出部分1016经布置以通过数据线1015接收立体输出数据存储部分1040且通过数据线1013将经调整立体数据1060提供到显示装置1004。

[0087] 立体图像产生部分1020经布置以通过数据线1017从立体输入数据存储部分1042 接收经调整立体数据1060且产生具有会聚平面1048的立体图像1046。

[0088] 当控制器1002调用指令线1011时，输入部分1006通过数据线1070接收多场景3D 图像流700且分别通过数据线1072及1074将图像帧704、708、712、718、720、722、 732、734及736顺序地存储于立体输入数据存储部分1024及1026中。

[0089] 当控制器1002调用指令线1009时，会聚数据检测部分1008分别通过数据线1076 及1078从立体输入数据存储部分1024及1026接收立体输入数据，产生会聚数据，且分别通过数据线1080及1082将所述会聚数据存储于会聚数据存储部分1028及1030中。会聚数据检测部分1008估计立体图像对(例如图4A的左图像400及图4B的右图像402) 以确定图像对的视差(例如图4C的视差410)。

[0090] 当控制器1002调用指令线1007时，会聚平面计算器部分1010分别通过数据线1084 及1086从会聚数据存储部分1028及1030接收会聚数据，产生会聚平面数据，且分别通过数据线1088及1090将所述会聚平面数据存储于会聚平面存储部分1032及1034中。会聚平面计算器部分1010可估计左图像点512、右图像点510、右图像520及左图像522 以产生额外会聚数据，例如如图5中所展示的会聚平面514及正融合偏移524。

[0091] 当控制器1002调用指令线1005时，比较部分1012分别通过数据线1090及1092 从会聚平面存储部分1032及1034接收会聚平面数据，产生会聚平面比较数据，且通过数据线1094将所述数据存储于会聚平面比较存储部分1036中。比较部分1012估计会聚平面数据，例如如图7中所展示的融合偏移时间曲线图748的多个融合偏移点706到 742。

[0092] 当控制器1002调用指令线1003时，修改部分1014可通过数据线1096接收会聚平面比较存储部分1036中的数据，分别通过数据线1029及1031接收会聚平面存储部分 1032及1034中的数据，分别通过数据线1025及1027接收会聚数据存储部分1028及 1030中的数据，且分别通过数据线1019及1023接收立体输入数据存储部分1024及1026 中的数据；应用修改策略；且通过数据线1098将经调整立体数据1060存储于立体输出数据存储部分1040中。
修改部分1014产生由如图8B中所展示的经平滑融合偏移时间曲线图800例示的经调整立体数据1060。

[0093] 当控制器1002调用指令线1033时，输出部分1016通过数据线1015从立体输出数据存储部分1040接收立体输出数据且将经调整立体数据1060提供到显示装置1004。

[0094] 立体图像产生部分1020通过数据线1017从立体输入数据存储部分1042接收经调整立体数据1060且产生立体图像1046。立体图像1046进一步由图9的帧952、954、 956、958及960(其为对应于如图8B中所展示的经平滑融合偏移时间曲线图800的图像) 例示。

[0095] 在操作中，立体数据校正装置1000读取多场景3D图像流700的立体数据且将经调整立体数据1060提供到显示装置1004以用于通过减少对多场景3D图像流700的邻近图像帧的会聚平面的过度改变来改进在观看经历期间的观看者舒适度的目的。

[0096] 更特定来说，输入部分1006将多场景3D图像流700(还展示为图9的图像帧936、 938、940、942及944)的立体数据存储于立体输入数据存储部分1024及1026中以供由会聚数据检测部分1008使用。

[0097] 会聚数据检测部分1008产生会聚数据且将所述会聚数据存储于会聚数据存储部分 1028及1030中。会聚平面计算器部分1010读取会聚数据存储部分1028及1030以形成会聚平面以用于存储于会聚平面存储部分1032及1034中。

[0098] 比较部分1012从会聚平面存储部分1032及1034检索会聚平面以形成会聚平面比较数据以用于存储于会聚平面比较存储部分1036中。

[0099] 修改部分1014使用存储于会聚平面比较存储部分1036中的数据来确定是否且如何修改会聚数据存储部分1028及1030的会聚数据。如果修改部分1014确定需要修改，那么修改部分1014选择修改策略以产生经调整立体数据1060以用于存储于立体输出数据存储部分1040中。

[0100] 输出部分1016通过数据线1015从立体输出数据存储部分1040接收立体输出数据且将经调整立体数据1060提供到显示装置1004。

[0101] 图9的图像序列900及图9的经平滑图像序列950分别为与如上文所描述的立体数据校正装置1000相关联的输入及输出(经调整)立体图像数据的实例。

[0102] 立体数据校正装置1000将多场景3D图像流700的部分存储于立体输入数据存储部分1024及1026中。显示装置1004接收经调整立体数据1060以用于存储于立体输入数据存储部分1042中，借此立体图像产生部分1020产生具有会聚平面1048的立体图像 1046。

[0103] 因此，立体数据校正装置1000能够通过以下方式改进3D电影的观看舒适度：通过使用能够从给定立体帧前瞻到随后立体帧的各种修改策略来估计并修改立体图像的会聚数据以确定会聚数据的改变而缓和会聚平面的顺序改变以用于优化观看舒适度。

[0104] 现在将额外参考图11描述立体数据校正装置1000的更详细实例性操作。

[0105] 图11图解说明操作立体数据校正装置1000的实例性方法1100。

[0106] 如图11中所展示，方法1100开始(S1102)，且接收数据(S1104)。举例来说，如图 10中所展示，输入部分1006接收3D图像流700以用于存储于立体输入存储部分1024 或1026中。

[0107] 返回到图11，接着检测会聚数据(S1106)。举例来说，如图10中所展示，会聚数据检测部分1008从立体输入数据存储部分1024或1026接收立体数据且会聚数据存储于会聚数据存储部分1028或1030中。

[0108] 返回到图11，接着计算会聚平面(S1108)。举例来说，如图10中所展示，会聚平面计算器部分1010从会聚数据存储部分1028或1030接收会聚数据且会聚平面值存储于会聚平面存储部分1032或1034中。

[0109] 返回到图11，接着将至少两个会聚平面进行比较(S1110)。举例来说，如图10中所展示，比较部分1012从会聚平面存储部分1032及1034接收至少两个会聚平面且将所得比较数据存储于会聚平面比较存储部分1036中。

[0110] 返回到图11，接着确定修改决策(S1112)。举例来说，如图10中所展示，修改部分 1014从会聚平面比较存储部分1036接收会聚平面比较数据以确定是否应修改所接收到的立体数据。

[0111] 如果不需要修改(在S1112处为否)，那么接收额外图像(S1104)。

[0112] 如果需要修改(在S1112处为是)，那么执行修改(S1114)。举例来说，如图10中所展示，修改部分1014应用适当修改策略以调整至少一个图像对的图像之间的视差且将经调整立体数据存储于立体输出数据部分1040中(S1116)。

[0113] 返回到图11，接着确定停止请求决策(S1118)，其中操作返回到(S1104)且操作如先前所描述而继续或暂停操作(S1120)。

[0114] 关于常规系统的问题是，针对每一图像帧的会聚平面在图像捕获期间(更特定来说在拍摄期间)建立且不可被容易地改变或量化。不具有自动管理针对每一图像帧的会聚平面的改变的量值、急缓度或频率的能力的常规系统必然会产生含有多个图像帧(其会聚平面极度不同于随后图像帧的会聚平面从而导致包含眼疲劳、头痛及类似情况的观看不舒适) 的3D图像流。此外，问题的缓解可包含：手动确定3D图像流的融合偏移曲线图；分析所述曲线图以确定所需要的修改；及重新拍摄3D图像流的一部分以形成所述修改。所述缓解是昂贵的且耗时的。

[0115] 根据上文，装置可操作以接收包含多个图像帧的3D图像流，从图像帧中的一者前瞻到随后图像帧且调整随后图像帧的一部分的视差，使得针对随后帧的会聚平面的经调整值在随着时间顺序地标绘的情况下将表示比经预调整值的曲线更加平滑的曲线。换句话说，前瞻是显示的一种滞后，其中数个未来帧可在当前帧之前经解码及分析。此外，装置可操作以输出包含具有经调整视差值的图像帧(其最小化图像帧与随后图像帧之间的会聚平面的改变的频率、急缓度及量值借此改进观看舒适度)的新3D图像流。此外，能够自动且快速地产生具有越来越平滑的融合偏移时间曲线图的新3D图像流的装置提供用于改进由过度视差及视差改变所导致的观看者不舒适的一种具成本效益解决方案。

[0116] 所属领域的技术人员将了解，在所主张发明的范围内，可对所描述的实施例做出修改，且许多其它实施例也为可能的。