数字接收器以及在数字接收器中处理字幕数据的方法

摘要

数字接收器以及在数字接收器中处理字幕数据的方法。本发明提供了一种提供3D字幕数据的数字接收器和用于在本发明的数字接收器中处理3D字幕数据的方法。根据本发明的一个方面的用于发送用于3D服务的广播信号的方法包括下述步骤：编码包括3D字幕服务的3D视频ES；生成用于信令包括编码后的3D视频ES的3D视频服务的信令信息；以及发送包括3D视频服务和信令信息的数字广播信号，其中，所述3D字幕服务包括用于生成左字幕数据的第一命令代码以及指示字幕窗口的视差值的第二命令代码，并且基于第一命令代码和第二命令代码生成右字幕数据。

权利要求

1.一种用于在数字接收器中处理用于三维3D服务的广播信号的方法，该方法包括以下步骤：接收视频基本码流，并且对所述视频基本码流进行解析；

从所述视频基本码流对3D字幕服务数据进行解码，

其中，所述3D字幕服务数据包括携带指示视差数据的视差信息的命令代码，其中，所述视差数据表示右视点与左视点之间的差异，并且使用水平分辨率来指定所述视差数据，并且其中，所述视差信息包括指示所述视差数据在多个帧中是应用于所有字幕窗口还是仅应用于一个字幕窗口的信息、以及所述多个帧的数目；以及显示3D字幕服务，其中，所述3D字幕服务是通过在与所述多个帧的数目对应的时间内应用所述视差数据来显示的。

2.根据权利要求1所述的方法，其中，所述视差信息包括指示按斜率应用于所述视差数据的变化的量的信息；并且其中，随着根据所述变化的量的变化来显示所述3D字幕服务。

3.一种用于处理用于三维3D服务的广播信号的数字接收器，该数字接收器包括：接收器，所述接收器用于接收视频基本码流并且对所述视频基本码流进行解析；

解码器，所述解码器用于从所述视频基本码流对3D字幕服务数据进行解码，其中，所述3D字幕服务数据包括携带指示视差数据的视差信息的命令代码，其中，所述视差数据表示右视点与左视点之间的差异，并且使用水平分辨率来指定所述视差数据，并且其中，所述视差信息包括指示所述视差数据在多个帧中是应用于所有字幕窗口还是仅应用于一个字幕窗口的信息、以及所述多个帧的数目；以及显示器，其用于显示3D字幕服务，其中，所述3D字幕服务是通过在与所述多个帧的数目对应的时间内应用所述视差数据来显示的。

4.根据权利要求3所述的数字接收器，其中，所述视差信息包括指示按斜率应用于所述视差数据的变化的量的信息；并且其中，随着根据所述变化的量的变化显示所述3D字幕服务。

说明书

数字接收器以及在数字接收器中处理字幕数据的方法

[0001] 本申请是原案申请号为201180031454.X的发明专利申请(申请日为2011年6月27日、PCT申请号：PCT/KR2011/004683、发明名称为“数字接收器以及在数字接收器中处理字幕数据的方法”)的分案申请。

技术领域

[0002] 本发明涉及一种数字接收器和在数字接收器中处理字幕数据的方法，并且更具体地，涉及一种提供三维(3D)字幕数据的数字接收器和在数字接收器中处理3D字幕数据的方法。

背景技术

[0003] 三维(3D)图像允许用户使用立体视觉的原理体验3D效果，该立体视觉的原理通过分离大约65mm的两眼的不同视点(即，由于两眼之间的距离导致的双眼视差)提供立体感觉。3D图像被提供为利用左眼和右眼观看对应的平面图像，从而允许用户体验3D和立体效果。

[0004] 尽管数字广播目前已经相当普遍，但是从模拟广播时代到目前为止，现有的广播服务还是二维(2D)服务。

[0005] 然而，从具体应用领域开始，对于提供比平面的2D服务更真实且立体的3D(或立体)图像的3D服务的兴趣近来正在增加，并且因此，对于3D服务以及相关的服务的研究逐渐增加。

[0006] 对于能够提供3D服务的数字接收器的兴趣和研究也在增加。

[0007] 然而，传统的数字接收器仅提供2D字幕数据并且即使当内容为3D时也将内容的字幕数据作为2D字幕数据来处理，使得用户不能够满意地观看字幕，因此不能够给用户提供舒服的感觉。

发明内容

[0008] 本发明用于克服上述问题，并且本发明的目的在于提供一种能够提供3D字幕数据同时保持与老式装置的兼容性的数字接收器。

[0009] 本发明的另一目的在于当提供多个3D字幕数据时适当地控制多个字幕数据中的全部或每一个。

[0010] 本发明的另一目的在于当3D字幕数据的视差信息已经改变时，防止用户由于与3D字幕数据的改变相关的处理而感觉到眩晕。

[0011] 本发明提供了一种用于提供3D字幕数据的数字接收器及其处理方法。

[0012] 本发明的一个方面的一种用于发送用于三维3D服务的广播信号的方法，包括编码3D视频基本码流ES，该3D视频基本码流ES包括3D字幕服务；生成用于信令包括编码后的3D视频ES的3D视频服务的信令信息；以及发送包括3D视频服务和信令信息的数字广播信号，其中，3D字幕服务包括用于生成左字幕数据的第一命令代码以及指示字幕窗口的视差值的第二命令代码，并且基于第一命令代码和第二命令代码生成右字幕数据。

[0013] 第二命令代码可以包括指示是否不管接收器中的窗口ID而将同一视差值应用于所有当前解码窗口的标志。

[0014] 根据标志的值，由第二命令代码指示的视差值可以应用于所有字幕窗口或者应用于在第二命令代码中指示的特定窗口ID的字幕窗口。

[0015] 可以从3D视频ES的补充增强信息SEI消息或图片头中的一个提取3D字幕服务数据。

[0016] 根据本发明的另一方面的用于处理用于三维(3D)服务的广播信号的方法包括：接收包括编码3D服务和用于编码3D服务的信令信息的数字广播信号；从3D服务提取3D视频基本码流ES；从提取的3D视频ES提取用于3D字幕服务的数据；以及使用提取的3D字幕服务数据提供3D字幕服务，其中，提取的3D字幕服务包括用于生成左字幕数据的第一命令代码和指示字幕窗口的视差值的第二命令代码，并且基于第一命令代码和第二命令代码生成右字幕数据。

[0017] 第二命令代码可以包括指示是否不管接收器中的窗口ID而将同一视差值应用于所有当前解码窗口的标志。

[0018] 根据标志的值，由第二命令代码指示的视差值可以应用于所有字幕窗口或者应用于在第二命令代码中指示的特定窗口ID的字幕窗口。

[0019] 可以从3D视频ES的补充增强信息SEI消息或图片头中的一个提取3D字幕服务数据。

[0020] 3D字幕服务数据可以进一步包括第三命令代码，该第三命令代码用于执行下述控制，该控制用于允许在已经过去了对应于帧计数的数目的帧之后将对应的字幕窗口定位在对应于不同视差的深度。

[0021] 对应于第三命令代码的值可以在每帧或者预定帧时段的间隔逐渐地改变视差。

[0022] 根据本发明的另一方面的用于处理用于三维(3D)服务的广播信号的方法，包括：接收数字广播信号，该数字广播信号包括编码3D服务和用于编码3D服务的信令信息；从3D服务提供3D视频基本码流ES；从提取的3D视频ES提取用于3D字幕服务的数据；以及使用提取的3D字幕服务数据提供3D字幕服务，其中，提取的3D字幕服务包括用于生成左字幕数据的第一命令代码、指示字幕窗口的视差值的第二命令代码以及用于执行下述控制的第三命令代码，该控制用于允许在已经过去了对应于帧计数的数目的帧之后将对应的字幕窗口定位在对应于不同视差的深度，并且基于第一命令代码和第二命令代码生成右字幕数据。

[0023] 根据本发明的另一方面的用于处理三维(3D)服务的广播信号的方法，包括：接收数字广播信号，该数字广播信号包括3D服务和用于编码3D服务的信令信息；从3D服务提取3D视频基本码流ES；从提取的3D视频ES提取用于3D字幕服务的数据；使用用于生成左字幕数据的第一命令代码确定字幕窗口的坐标，该第一命令代码包括在提取的3D字幕服务数据中；根据第二命令代码确定字幕窗口的视差值，该第二命令代码指示字幕窗口的视差值；使用视差和视频ES的水平大小信息确定将叠加在右字幕数据上的对应的字幕窗口的坐标；以图像格式存储字幕数据；将左字幕数据和左视频图片以及右字幕数据和右视频图片混合；
以及根据显示格式对混合图像进行交错并且输出交错后的图像。

[0024] 根据本发明的另一方面的用于处理三维(3D)服务的数字接收器，包括接收单元，该接收单元被构造为接收数字广播信号，该数字广播信号包括3D服务和用于3D服务的信令信息；解复用器，该解复用器被构造为将数字广播信号解复用为3D服务和信令信息；解码器，该解码器被构造为从3D服务提取并且解码3D视频基本码流ES并且从提取的3D视频ES提取并输出3D字幕数据；字幕数据处理器，该字幕数据处理器被构造为对提取的3D字幕数据进行解码；图形处理器，该图形处理器被构造为基于解码3D字幕数据对左视点图像和右视点图像进行处理和存储；混合器，该混合器被构造为将3D视频数据和3D字幕数据进行混合；3D格式化器，该3D格式化器被构造为根据显示格式对混合数据进行交错和输出；以及显示单元，该显示单元被构造为输出交错后的3D服务数据。

[0025] 3D字幕数据可以包括用于生成左字幕数据的第一命令代码、指示字幕窗口的视差值的第二命令代码和用于执行下述控制的第三命令代码，该控制用于允许在已经过去了对应于帧计数的数目的帧之后将字幕窗口定位在对应于不同视差的深度，并且可以基于第一命令代码和第二命令代码生成右字幕数据。

[0026] 第二命令代码可以包括指示是否不管窗口ID而将同一视差值应用于所有当前解码字幕窗口的标志，并且数字接收器可以根据标志的值将由第二命令代码指示的视差值应用于所有字幕窗口或者应用于在第二命令代码中指示的特定窗口ID的字幕窗口。

[0027] 本发明具有各种优点。

[0028] 首先，能够给数字接收器提供3D字幕数据同时保持与老式装置的兼容性。

[0029] 其次，当提供多个3D字幕数据时，能够完全或个别地控制多个3D字幕数据。

[0030] 第三，即使当3D字幕数据的视差信息快速地变化时，也能够执行处理以防止用户感觉到眩晕。

附图说明

[0031] 图1示出了根据本发明的示例性数字接收器；

[0032] 图2和图3示出了根据本发明的用于立体显示的字幕；

[0033] 图4示出了根据本发明的数字接收器中的3D字幕数据的示例性处理过程；

[0034] 图5示出了根据本发明的用于视差编码的示例性代码集映射；

[0035] 图6示出了根据本发明的用于视差编码的示例性命令代码；

[0036] 图7示出了根据本发明的示例性使用场景；

[0037] 图8示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性代码集映射；

[0038] 图9和图10示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性命令代码；以及

[0039] 图11示出了根据本发明的数字接收器中的3D字幕数据的另一示例性处理过程。

具体实施方式

[0040] 将在下面参考附图详细描述根据本发明的图像处理设备和方法的各种实施方式。

[0041] 本发明涉及一种数字接收器和数字接收器的处理字幕数据的方法，并且更具体地，涉及一种提供三维(3D)字幕数据的数字接收器和在数字接收器中处理3D字幕数据的方法。

[0042] 本公开在下述方面描述了本发明的各种实施方式。首先，3D字幕数据被提供给数字接收器同时保持了与老式装置的向后兼容性。其次，当提供多个3D字幕数据时，适当地控制该多个字幕数据的全部或每一个。第三，当提供的3D字幕数据的视差信息改变时，执行视差信息的处理使得用户由于视差信息的处理而不会感觉到晕眩。具体地，如果在视差信息剧烈改变时立即应用视差信息，则剧烈改变的视差会使得用户感觉到不舒服，从而导致用户在3D观看期间感觉到不舒服。

[0043] 将在下面参考附图顺序地描述本发明的上述方面。

[0044] 为了本发明的更好的理解并且便于说明，数字接收器可以示例为包括用于3D服务处理的组件的数字电视接收器。数字电视接收器可以是接收设备，其包括用于3D服务处理的组件的机顶盒和用于输出由机顶盒处理后的3D服务的数字单元。数字电视接收器还可以被提供为集成的处理模块的形式。数字接收器也可以包括接收、处理和/或提供3D服务的任何装置，例如个人数字助理(PDA)、移动电话或智能电话。数字接收器也可以是仅3D接收器和用于2D和3D的接收器中的一种。

[0045] 显示3D图像的方法包括考虑2个视点的立体图像显示方法和考虑3个或更多视点的多视点图像显示方法。传统的单视点图像显示方法也被称为单视场图像显示方法。

[0046] 立体图像显示方法使用通过使用两个相机(即，左相机和右相机)捕获同一对象获取的一对图像。多视点图像显示方法使用通过使用3个或更多具有预定距离或角度的相机捕获同一对象获取的3个或更多图像。

[0047] 虽然在下面参考立体图像显示方法作为示例来描述本发明，但是本发明的精神也可以根据相同或类似原理应用于多视点图像显示方法。

[0048] 立体图像的传输格式被分类为单视频流格式和多视频流格式。

[0049] 单视频流格式包括并排、上下、交错、帧顺序、棋盘和立体影片格式并且多视频流格式包括全左/右、全左/半右和2D视频/深度格式。

[0050] 立体图像或多视点图像可以在通过各种图像压缩编码方案(例如，活动图像专家组(MPEG))进行压缩和编码之后进行发送。

[0051] 例如，并排、上下、交错、帧顺序或棋盘格式的立体图像可以在通过H.264/高级视频编码(AVC)方案进行压缩和编码之后进行发送。这里，接收系统可以通过以H.264/AVC编码方案的相反方式对立体图像进行解码来获得3D图像。

[0052] 全左/半右视点图像中的左视点图像或者多视点图像中的一个图像是基层图像并且剩余的图像被指派为增强层图像。基层图像可以在使用与单视场图像相同的方案编码之后进行发送。另一方面，增强层图像可以在仅编码基层与增强层图像之间的相关信息之后进行发送。例如，可以使用JPEG、MPEG-1、MPEG-2、MPEG-4、H.264/AVC等等作为基层图像的压缩编码方案。H.264/多视点视频编码(MVC)可以用作上层图像的压缩编码方案。这里，虽然立体图像被分配为基层图像和增强层图像，但是多视点图像被分配为基层图像和多个增强层图像。用于将多视点图像划分为基层图像和一个或多个增强层图像的基准可以根据相机的位置来确定或者根据相机的布置方案来确定。这样的划分基准也可以在没有特定标准或规则的情况下任意地确定。

[0053] 这样的3D图像显示类型被宽泛地分类为立体类型、体型和全息型。例如，采用这样的立体技术的3D图像显示装置将深度信息添加到2D图像并且允许用户通过这样的深度信息感觉3D生动性和真实性。

[0054] 3D图像观看类型被宽泛地分类为眼镜类型和无眼镜类型。

[0055] 眼镜类型被分类为被动式和主动式。被动式使用偏振光滤光片以允许用户分别地观看左眼图像和右眼图像。被动式还包括允许用户分别用两个眼睛使用绿色和红色眼镜观看3D图像。另一方面，主动式使用随时间顺序地打开左眼镜和右眼镜来分离左眼图像和右眼图像的液晶快门分离左视点图像和右视点图像。在主动式中，按时间划分的画面以预定时间间隔重复并且与时段同步的电子快门安装在用户佩戴用于观看3D图像的眼镜上。这样的主动式也称为时间分割式或快门眼镜式。

[0056] 典型的无眼镜类型包括其中其上垂直地布置柱状透镜阵列的柱状透镜板安装在显示面板的前方的柱状透镜类型和其中具有周期性狭缝的屏障层设置在显示面板的顶部的视差屏障类型。然而，为了解释的方便起见，下面参考眼镜类型作为示例来描述本发明。

[0057] 图1示出了根据本发明的示例性数字接收器。

[0058] 如图1中所示，根据本发明的数字接收器包括接收单元110、解调器(或解调部)120、解复用器(解复用部)130、信令信息处理器(或SI处理部)140、音频/视频(A/V)解码器
150、字幕数据处理器160、图形引擎170、屏上显示(OSD)处理器180、混合器185、3D输出格式化器190和控制器195。

[0059] 下面描述数字接收器的组件的基本操作并且将在下面描述的每个实施方式中更详细地描述本发明。

[0060] 接收单元110通过RF信道从内容源接收包括3D图像数据和用于3D图像数据的字幕数据的数字广播信号。

[0061] 解调器120使用对应于在发送侧已经应用于数字广播信号的调制方案的解调方案解调接收到的数字广播信号。

[0062] 解复用器130将解调后的数字广播信号解复用为音频数据、视频数据和信令信息。这里，解复用器130可以使用分组标识符(PID)对解调后的数字广播信号进行解复用以将解调后的数字广播信号解复用为音频数据、视频数据和信令信息。解复用器130将解复用后的音频和视频信号输出到A/V解码器150并且将信令信息输出到信令信息处理器140。

[0063] 信令信息处理器140对从解复用器130接收的信令信息进行处理并且将处理后的信令信息提供给要求处理后的信令信息的每个组件。这里，虽然信令信息可以包括诸如数字视频广播服务信息(DVB-SI)、节目专用信息(PSI)和节目和系统信息协议(PSIP)信息的系统信息(SI)，但是为了说明的方便起见，参考PSI/PSIP信息作为示例来进行下面的描述。信令信息处理器140可以在内部或外部包括数据库(DB)，其临时地存储处理后的信令信息。
将在下面描述的每个实施方式中更详细地描述信令信息。

[0064] 信令信息处理器140确定是否存在指示对应的内容是2D图像还是3D图像的信令信息。在确定存在信令信息的情况下，信令信息处理器140读取信令信息并且将信令信息发送给控制器195。信令信息处理器140解析用于3D字幕服务的节目映射表(PMT)和/或事件信息表(EIT)并且从解析的PMT和/或EIT提取用于字幕服务的描述符并且将提取的描述符传递给视频解码器(和/或控制器)使得在视频解码器(和/或控制器)处适当地处理用于3D服务的字幕服务。

[0065] A/V解码器150接收和解码解复用后的音频/视频数据。这里，A/V解码器150可以例如基于由信令信息处理器140处理的信令信息对数据进行解码。

[0066] 在下面，省略音频数据处理的描述，并且首先，将更详细地描述与本发明相关的视频数据处理。视频信号(即，3D视频ES)包括头&扩展部分，其包括用于视频数据处理的信息项目；以及包括实际视频数据的部分。

[0067] 与此相关地，根据本发明的视频解码器可以例如基于从PMT和/或EIT提取的字幕服务描述符识别并且处理通过对应的字幕服务信道接收的字幕数据。

[0068] A/V解码器150包括处理头&扩展部分的头&扩展单元154和视频数据处理器152。

[0069] 与本发明相关地，头&扩展单元154提取字幕数据并且将提取的字幕数据提供给字幕数据处理器160。这里，根据本发明，字幕数据包括例如3D字幕数据。

[0070] 字幕数据处理器160对从头&扩展单元154提取并且提供的字幕数据进行解码。这里，字幕数据处理器160可以例如基于由信令信息处理器140处理的信令信息对字幕数据进行解码。

[0071] 图形引擎170以3D格式生成提供由字幕数据处理器160解码的每个字幕数据项目所要求的处理等等的控制信号并且通过OSD处理器180生成根据本发明的包括3D字幕数据的OSD数据。图形引擎170和OSD处理器180生成用于左眼图像和右眼图像的全分辨率字幕图像并且将生成的字幕图像存储在缓冲器或存储器(未示出)中。

[0072] 视频数据处理器152从3D视频ES提取并解码实际视频数据。

[0073] 解码后的3D视频ES的每个数据项目经由对应的组件在混合器185处适当地混合。

[0074] 3D输出格式化器190对在混合器185处混合的3D视频信号和包括用于3D视频信号的3D字幕数据的OSD数据格式化并且输出为3D输出格式。这里，3D输出格式化器190可以仅在解码后的图像数据为3D图像数据时才激活。即，当解码后的图像数据为2D图像数据时，3D输出格式化器190被去激活，即，3D输出格式化器190输出输入图像数据而没有进行任何特殊处理。即，这里，图像数据可以绕过3D输出格式化器190。3D输出格式化器190例如在图像数据的输入过程中根据3D显示的3D格式类型(例如，并排或上下)对输入图像数据进行调整大小等等。

[0075] 3D输出格式化器190执行从解码后的输入视频格式转换为输出格式所要求的处理。

[0076] 与此相关地，可以在A/V解码器150与3D输出格式化器190之间执行用于伪影消除、锐度增强、对比度增强、去交错、帧率转换和/或其它类型的质量增强模块的视频处理模块(3D输出格式化器执行从输入(解码)视频格式转换到原生3D显示格式所要求的处理，可以在A/V解码器150与3D输出格式化器190之间存在例如伪影消除、锐度、对比度增强、去交错、帧率转换和其它类型的质量增强模块的视频处理模块)。

[0077] 控制器195执行数字接收器的整体控制并且还可以基于由信令信息处理器140处理的信令信息控制A/V解码器150、控制器195、字幕数据处理器160、图形引擎170、OSD处理器180和3D输出格式化器190以允许3D字幕数据与3D服务一起适当地进行处理。将在下面更详细地描述这样的详细控制。

[0078] 关于数字接收器中提供3D字幕数据，本发明定义了用于使用左眼和右眼图像的偏移的立体3DTV的字幕数据命令代码同时保持了与老式数字接收器的字幕数据处理方法的向后兼容性并且还提出了与所定义的字幕数据命令代码关联的处理方法。特别地，在本发明中，当同一深度应用于同一画面中的多个窗口时，能够使用单个命令指定所有窗口的深度。

[0079] 在下面的描述中，为了说明的方便起见，将通过主要描述用于3D服务的3D字幕数据的处理和提供来描述本发明。即，将省略对于与本发明关联的3D服务的内容的详细描述，即3D服务的识别、处理等等的详细描述，并且将仅描述必要的描述。

[0080] 图2和图3示出了根据本发明的用于立体显示的字幕。

[0081] 图2和图3的示例示出了具有3D定位特征的2D字幕。具体地，图2(a)和图2(b)示出了如何定位2D字幕以创建3D字幕并且更三维地示出了3D字幕。

[0082] 图2(a)和图2(b)还分别示出了左视频面(主面)和右视频面(副面)。

[0083] 当字幕文本定位在作为主面的左视频面上(如图2(a)中所示)时，字幕文本被定位在作为副面的右视频面上的对应于用于字幕窗口的视差值的位置，如图2(b)中所示。

[0084] 最终，图2(a)和图2(b)的面被组合以提供3D字幕。

[0085] 参考图3，屏幕面310位于x-y面上，该x-y面具有对应于零视差的z轴值0(z＝0)，并且视频对象#1(320)和视频对象#2(330)分别具有负视差和正视差。

[0086] 还存在具有比视频对象#1更负的负视差的字幕窗口340。字幕窗口340的负视差具有从下面描述的视差参数获得的深度值。

[0087] 下面描述根据本发明的数字接收器中的3D字幕数据的示例性处理过程。

[0088] 图4示出了根据本发明的数字接收器中的3D字幕数据的示例性处理过程。

[0089] 视频解码器接收3D视频基本码流(ES)(S402)。这里，假设3D视频ES已经被解码为例如上下格式。在该情况下，左视点图像数据可以位于下并且右视点图像数据可以位于上。

[0090] 视频解码器检测3D视频ES的图片头(或者补充增强信息(SEI)消息)中包括的字幕数据并且将检测到的字幕数据提供给字幕数据处理器并且字幕数据处理器然后对接收到的字幕数据进行解码(S404)。

[0091] 图形引擎和/或OSD处理器使用DefineWindow命令确定字幕窗口的x-y坐标(S406)。这里，确定的x-y坐标可以与例如左视点图像数据关联。

[0092] 图形引擎和/或OSD处理器通过SetDepthPos命令确定用于对应的字幕窗口的视差值(S408)。这可以称为起始视差。

[0093] 图形引擎和/或OSD处理器提取aw_flag并且如果提取的aw_flg为1，则不管视窗ID字段如何而将同一视差值应用于所有当前检测到的窗口。另一方面，图形引擎和/或OSD处理器提取aw_flag并且如果提取的aw_flag为0，则将视差值仅应用于由窗口ID字段指定的字幕窗口(S410)。

[0094] 图形引擎和/或OSD处理器使用视差和视频ES的水平大小确定将叠加在右视点图像数据上的对应的字幕窗口的x-y坐标(S412)。这里，将更详细地描述如何确定坐标。

[0095] 图形引擎和/或OSD处理器将通过解码诸如笔命令和文本命令的其它命令获取的字幕数据存储为图像格式(S414)。这里，同一图像用于左视频图片和右视频图片。然而，左视频图片和右视频图片的坐标可以由于视差而不同。

[0096] 数字接收器通过混合器混合左字幕和左视频图片。在该过程中，当3D视频ES的左视点图像数据是半分辨率图像数据时，对左字幕执行垂直大小调整(S416)。通过这样的混合获得的图像在下面称为左输出图像。

[0097] 数字接收器通过混合器混合右字幕和右视频图片(S418)。在该过程中，由于3D视频ES的右视点图像为半分辨率，因此以与左字幕相同的方式对右字幕执行垂直大小调整。通过这样的混合获得的图像在下面被称为右输出图像。

[0098] 在立体视频显示输出过程中，3D输出格式化器根据显示类型适当地交错左输出图像和右输出图像并且输出获得的图像(S420)。例如，当显示类型是要求被动眼镜的水平线交错类型时，3D输出格式化器在屏幕上逐行地交替地输出左输出图像和右输出图像。

[0099] 与上述实施方式相关地，在下面详细地定义并描述用于3D服务和用于3D服务的3D字幕数据的处理的元数据(例如，与左视点图像和右视点图像之间的视差关联的元数据)。

[0100] 可以根据在相关标准中描述的典型方法来对文本(字符)数据进行编码。

[0101] 可以使用诸如基于锚位置的方法的典型方法来对用于左视点图像的3DTV隐藏字幕的X-Y坐标进行编码。

[0102] 接收器可以使用典型方法显示左视点图像的隐藏字幕数据。

[0103] 接收器可以然后沿着深度轴在画面面的前侧或后侧(即，前面或后面)显示右视点图像的字幕。

[0104] 根据所提出的方法，使用给出的视差(偏移)值确定右视点图像上的隐藏字幕的位置。

[0105] 编码方案用于发送视差信息。这里，视差信息可以与现有的2D隐藏字幕编码方案的扩展相关联。

[0106] 这里描述的视差可以应用于由视差命令代码中的窗口ID指定的字幕窗口中显示的任何隐藏字幕数据。当对于具有预定视差值的窗口接收到新的视差值时，字幕窗口仅沿着深度轴移动。

[0107] 下面描述根据图像的显示分辨率(1920像素宽)确定的视差值。当接收器根据显示分辨率在更窄或更宽的区域中显示图像时，根据适当的值对用于显示字幕的像素偏移进行缩放。例如，当将要显示的图像的分辨率为640像素宽时，应用于右图像字幕的偏移为D×640/1920，其中D是在隐藏字幕数据串中接收的视差。

[0108] 将在下面描述根据本发明定义的元数据。

[0109] 图5示出了根据本发明的用于视差编码的示例性代码集映射，并且图6示出了根据本发明的用于视差编码的示例性命令代码。

[0110] 为了更好地理解本发明并且为了说明的方便起见，例如可以使用在图5中所示的相关标准的C0集(3字节控制代码)中的未使用的代码中的一个来将根据本发明定义的元数据(即，命令代码)定义为新代码。然而，本发明不限于该示例。

[0111] 下面将参考图6更详细地描述根据本发明的用于视差编码的命令代码。

[0112] 用于视差编码的命令代码总共为3字节。即，图6的命令代码定义了例如描述字幕窗口的深度位置的SetDepthPos(0x19)和相关数据(数据1和数据2)。

[0113] 这里，命令类型可以是窗口并且格式可以是深度代码的格式。另外，深度代码包括窗口ID和视差参数。

[0114] 如图6中所示，数据1的最高有效字节(MSB)可以是aw_flag字段。这里，当aw_flag字段具有值1时，aw_flag字段表示由下面描述的dp_sign和dp指定的视差参数被应用于所有字幕窗口，并且当aw_flag字段具有值0时，aw_flag字段表示视差参数仅应用于由窗口ID指定的窗口。

[0115] 窗口ID表示唯一窗口标识符。每个画面可以存在最多8个窗口并且窗口ID的值可以表示0至7中的一个。

[0116] 视差参数(dp_sign，dp)按像素指定左图像和右图像中的隐藏字幕窗口之间的视差(偏移)值。可以针对1920像素宽的显示图像分辨率来指定(描述)视差参数。

[0117] SetDepthPos指定窗口的深度位置和深度位置所应用于的窗口ID(SetDepthPos指定窗口的深度位置和该深度位置应用于的窗口ID)。窗口ID需要指示(或定位)已经由DefineWindow命令创建的窗口(窗口ID需要定位已经由DefineWindow命令创建的窗口)。深度位置由与左图像和右图像上的字幕窗口之间的移位关联的视差参数来确定(深度位置由作为左图像和右图像之间上的字幕窗口之间的移位的视差参数来确定)。SetDepthPos是3字节命令代码以携带视差信息(SetDepthPos是3字节命令代码以携带视差信息)。代码0x19(用于SetDepthPos的代码)表示接下来的指定字幕窗口的视差的两个字节(代码0x19(用于SetDepthPos的代码)表示接下来的指定字幕窗口的视差的两个字节)。

[0118] 老式装置将SetDepthPos命令处理为未定义的3字节代码。因此，老式装置将忽略SetDepthPos命令与接下来的两个字节。

[0119] 图7示出了根据本发明的示例性使用场景。

[0120] 图7的表主要分为根据本发明的使用场景的3D字幕数据的编码值和在显示系统(即，在数字接收器)中显示的值。

[0121] 编码值包括两种类型的值，即编码视差值(N)和锚水平位置(A)。

[0122] 在数字接收器中显示的值包括显示的视频宽度(W)、用于显示字幕的描述(偏移)值、左图像中的字幕窗口的水平位置和右图像中的对应的字幕窗口的水平位置。

[0123] 在使用场景中，例如假设左图像是主视点图像并且右图像是副视点图像。

[0124] 表中的所有数字可以表示例如像素。

[0125] 根据相关标准，水平位置表示字幕窗口的最左像素。

[0126] 字幕窗口的水平位置和显示的偏移可以基于显示的左图像和右图像的分辨率而不是空间压缩分辨率来获得。

[0127] 下面描述根据本发明的字幕深度的平滑变化的处理方法。

[0128] 上面和下面的描述与支持提供有帧的数目、结束视差和初始视差的字幕窗口的深度轴的变化的机制相关。

[0129] 初始视差值可以由上述SetDepthPos命令来指定。

[0130] 这里，ChangeDepthPos指定在字幕深度发生平滑变化过程中的结束视差值和帧的数目(ChangeDepthPos将指定发生字幕深度的平滑变化的过程中的结束视差值和帧计数的数目)。

[0131] 图8示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性代码集映射。

[0132] 虽然图8的代码集映射与图5中所示的视差编码的代码集映射在某些方面类似，但是二者存在不同。

[0133] 如下面所描述的，在图8的示例中，至少两个命令代码SetDepthPos和ChangeDepthPos用于根据本发明的字幕窗口的深度的平滑变化，并且两个命令代码的不同之处在于第一个命令代码SetDepthPos在“C0”中使用并且第二个命令代码ChangeDepthPos在“C2”中使用。

[0134] 在该方面，下面描述代码空间、命令代码等等。

[0135] 图9和图10示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性命令代码。

[0136] 基本上，ChangeDepthPos命令代码指定了字幕窗口的深度位置。这里，命令类型可以是窗口并且格式可以是ChangeDepthPos(窗口ID、结束视差值和帧的数目)的格式。

[0137] 下面是参数的详细描述。

[0138] ChangeDepthPos命令代码可以包括总共4个字节。命令代码(或命令编码)可以包括EXT1+ChangeDepthPos+++。这里，在图10的示例中，ChangeDepthPos被定义为0x19，而在图9的示例中，ChangeDepthPos被定义为0x18。两个命令代码之间的差异与是否与本发明关联地使用aw_flag相关。

[0139] 由于aw_flag和窗口ID与前面的图中所示的类似，因此省略图9中的aw_flag和窗口ID的详细描述。

[0140] 参考图9和图10，结束视差值(dp_sign，dp)按像素指定在由帧计数指定的数目的帧之后的左图像和右图像中的隐藏字幕窗口之间的最终视差(偏移)值。针对1920像素宽的显示图像分辨率指定(或描述)该视差参数。

[0141] 帧计数(fc)可以表示在视差从窗口的初始视差值平滑变化到结束视差值的过程中的帧的数目(帧计数(fc)可以表示在视差从窗口的初始视差值平滑变化到结束视差值的过程中的帧的数目)。

[0142] 下面描述用于上述过程中的字幕窗口的平滑(或逐渐)变化的ChangeDepthPos命令代码。

[0143] ChangeDepthPos通过指定变化持续时间和目标视差值来指定窗口的深度位置的平滑变化(ChangeDepthPos通过指定变化持续时间和目标视差值来指定窗口的深度位置的平滑变化)。ChangeDepthPos还指定这样的平滑变化所应用到的窗口的窗口ID。窗口ID表示已经由DefineWindow命令创建的窗口(窗口ID需要定位已经由DefineWindow命令创建的窗口)。窗口的初始深度位置由在SetDepthPos命令中指定的视差值来确定(窗口的初始深度位置由在SetDepthPos命令中指定的视差值来确定)。窗口将使用结束视差值和帧计数沿着z轴移动(窗口将使用结束视差值和帧计数沿着z轴移动)。接收器将调整由帧计数指定的数目的帧之后的窗口ID的视差使得窗口的最终视差为结束视差值(接收器将调整窗口ID的视差使得在由帧计数指定的数目的帧之后，窗口的最终视差为结束视差值)。

[0144] 老式装置将4字节ChangeDepthPos命令处理为未定义的4字节代码。因此，老式装置将忽略ChangeDepthPos命令与下面的三个字节。

[0145] 这里，注意的是，ChangeDepthPos能够指定针对最多255个帧的深度的变化。如果需要在超过255个帧的持续时间中进行深度变化，则这可以使用多对SetDepthPos和ChangeDepthPos命令来信令(注意的是，ChangeDepthPos能够指定针对最多255个帧的深度的变化。如果深度变化要求超过255个帧的持续时间，则这可以使用多对SetDepthPos和ChangeDepthPos命令来信令)。

[0146] 当数字接收器不能够平滑地改变深度时，数字接收器可以忽略例如SetDepthPos命令。

[0147] 字幕的编写者(或作者)将需要将第二SetDepthPos命令插入在帧数目(fc)之后以便于通知接收器窗口的最终深度的有限能力。

[0148] 下面描述上述实施方式的使用场景。

[0149] 例如，用于具有有限能力的接收器的简单的弹出字幕的命令序列如下。

[0150] a)移除除了一个显示窗口之外的所有窗口的DeleteWindow命令。

[0151] b)定义隐藏窗口的DefineWindow命令。

[0152] c)定制隐藏窗口的SetWindowAttributes命令。

[0153] d)Pen Commands&Caption Text命令。

[0154] e)清除显示的窗口的ClearWindows命令。

[0155] f)定义隐藏窗口的深度位置的SetDepthPos命令。

[0156] g)定义隐藏窗口与显示窗口之间的切换的ToggleWindows命令。

[0157] h)SetDepthPos命令

[0158] i)Pen Commands&Caption Text命令

[0159] j)SetDepthPos命令

[0160] k)Pen Commands&Caption Text命令

[0161] 可以顺序地使用这些和其它命令。

[0162] 下面是根据本发明的具有用于字幕窗口的深度的平滑变化的命令的简单的弹出字幕的命令序列。该命令序列可以用于具有改进的性能的接收器。

[0163] a)DeleteWindow命令

[0164] b)DefineWindow命令

[0165] c)SetWindowAttributes命令

[0166] d)Pen Commands&Caption Text命令

[0167] e)ClearWindows命令

[0168] f)SetDepthPos命令(如果aw_flag值为1则将深度值应用于所有窗口)[0169] g)定义深度位置的平滑变化的ChangeDepthPos命令(如果aw_flag值为1则将深度值应用于所有窗口)

[0170] h)ToggleWindows命令

[0171] i)SetDepthPos命令

[0172] j)Pen Commands&Caption Text命令

[0173] k)ChangeDepthPos命令

[0174] l)SetDepthPos命令

[0175] m)Pen Commands&Caption Text命令

[0176] n)ChangeDepthPos命令

[0177] 可以顺序地使用这些和其它命令

[0178] 图11示出了根据本发明的数字接收器中的3D字幕数据的另一示例性处理过程。

[0179] 图11的过程可以是上述图4接下来的过程。因此，对于之前的过程的细节，可以参考上面关于图4的描述，并且这里将省略详细的描述。

[0180] 当图形引擎和/或OSD处理器已经接收到ChangeDepthPos命令时，起始视差值用作对应于初始显示对应的3D字幕时的时间点的视差值(S1102)。这里，3D字幕可以使用窗口ID使得可以根据aw_flag应用不同的窗口。

[0181] 图形引擎和/或OSD处理器允许字幕窗口定位在对应于已经过去了对应于帧计数的数目的帧之后的结束视差的深度(S1104)。

[0182] 当在步骤S1104的实施过程中在显示中发生帧率转换时，图形引擎和/或OSD处理器考虑原始帧率和最终的输出帧率适当地校正帧计数值。即，如果在显示过程中，原始帧率为30并且输出帧率为240，则在显示过程中在对应于8×(帧计数)的数目的帧之后应用结束视差(S1106)。

[0183] 如果在步骤S1104的实施过程中，初始显示字幕窗口的时间点为“A”，则图形引擎和/或OSD处理器允许“A+(fram_count)/original_frame_rate”之后的字幕窗口的视差具有结束视差值。这里，在“A”与“A+(fram_count)/original_frame_rate”之间的时间间隔中，接收器执行用于字幕窗口视差的平滑过渡的处理以防止字幕窗口中的快速变化(S1108)。

[0184] 当在步骤S1108的实施过程中，图形引擎和/或OSD处理器在每帧改变视差时，在每帧发生与(end_disparity-start_disparity)/(frame_count)相同的改变量。因此，当这样的实施是接收器的性能的负担时，图形引擎和/或OSD处理器按t帧逐渐地改变视差。

[0185] 在上述过程中，如果aw_flag值为1，则不管窗口ID字段如何都将该过程应用于在当前服务中定义的所有窗口。如果aw_flag值为0，则仅对由窗口ID字段指定的字幕窗口执行上述过程。

[0186] 下面描述根据本发明的数字接收器的性能相关的上述实施方式。

[0187] 当解码器为理想的解码器时，解码器可以将SDP命令解释为与用于右眼图像的DFn命令相关的偏移。如果视差值劣化或不正确，则偏移可以限于实际屏幕显示空间(该解码器将SDP命令解释为与用于右眼图像的DFn命令相关的偏移。如果视差值劣化或不正确，则偏移将限于实际屏幕显示空间)。

[0188] 该解码器可以通过针对由该命令定义的数目的帧中的每一个将右图像移动当前窗口视差值和结束视差值之间的差的分段来解释CDP命令。如果结束视差值劣化或不正确，最终的偏移可以限于实际屏幕显示空间(该解码器可以通过针对由该命令定义的数目的帧中的每一个将右图像移动当前窗口视差值和结束视差值之间的差的分数来解释CDP命令。如果结束视差值劣化或不正确，最终的偏移可以限于实际屏幕显示空间)。

[0189] 上述命令的窗口ID应用于深度命令并且不重置用于其它命令的当前窗口值(上述命令的窗口ID应用于深度命令并且不重置用于其它命令的当前窗口值)。

[0190] CDP命令的运动将开始显示或者切换窗口命令以使得窗口可见。如果窗口已经可见，则该动作将立即开始(CDP命令的运动将开始显示或者切换窗口命令以使得窗口可见。如果窗口已经可见，则该动作将立即开始)。

[0191] 如果在之前的CDP命令完成之前发出了新的CDP命令，则解码器将仅计算朝向修改后的结束视差值的新的分段移动(如果在之前的CDP命令完成之前发出了新的CDP命令，则解码器将仅计算朝向修改后的结束视差值的新的分段移动)。

[0192] 清除窗口命令对于字幕窗口的位置或移动没有影响。删除或隐藏窗口命令将移动相对于结束视差值的偏移(清除窗口命令对于字幕窗口的位置或移动没有影响。删除或隐藏窗口命令将移动对于结束视差值的偏移)。

[0193] 下面描述静态字幕窗口。该字幕解码器没有动态地移动字幕窗口。SDP命令无效并且利用理想的解码器来处理(该字幕解码器不能够动态地移动字幕窗口。SDP命令无效并且在理想解码器中进行处理)。

[0194] 解码器没有连续地移动字幕窗口并且因此，略微不同地处理CDP命令(由于解码器没有连续地移动字幕窗口，因此略微不同地处理CDP命令)。解码器可以在“帧数目”的时段中执行延迟动作(解码器将在“帧数目”的时段中执行延迟动作)。之后，对应的字幕窗口将改变到结束视差值(之后，对应的字幕窗口将移动到结束视差值)。如上所述，结束视差值受到显示空间的限制(如上，结束视差值受到显示空间的限制)。

[0195] 另一方面，仅2D解码器不能够处理SDP或CDP命令。即，解码器仅能够处理与字幕相关的2D图像和简单的命令。因此，SDP和CDP命令被忽略(该解码器不能够处理SDP或CDP命令。在该情况下，解码器仅处理标准命令，如同图像是标准2D图像一样。SDP和CDP命令被忽略)。

[0196] 已经在上面描述了用于实施本发明的各种实施方式。

[0197] 如上述描述中显而易见地，根据本发明的数字接收器能够提供3D字幕数据同时保持与老式装置的兼容性。此外，当提供多个3D字幕数据时，数字接收器能够完全或个别地控制该多个3D字幕数据。即使当3D字幕数据的视差信息快速地变化时，数字接收器也能够执行处理以防止用户感觉到眩晕。

[0198] 涉及提供3D服务的数字广播系统的本发明能够完全或部分地应用于数字广播系统。