选择性手语位置

摘要

本发明涉及选择性手语位置。内容替代和/或画中画技术被用来提供手语窗口，该手语窗口提供对主要节目音频/视频内容中音频内容的手语解释。手语窗口可以选择性地被不希望观看手语视频的用户禁用。而且，在一些实现中，用户可以将手语窗口移动到显示器上期望的位置。期望的位置可以是多个预定义的显示位置之一。本摘要不应当被认为是限制性的，因为其它实施例可以偏离本摘要中所描述的特征。

权利要求

1.一种用于利用手语翻译选择性地补充主要节目视频内容的装置，包括：视频接收器设备，被配置为接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符PID，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联；

其中主要节目视频内容被编码为视频内容帧，在视频内容帧中多个位置被处理为能够接受手语视频内容替代；

用户接口，构成视频接收器设备的一部分，被配置为产生指示对所述多个位置中用于显示手语视频内容的选定位置的用户选择的信号；及内容代替电路，构成视频接收器设备的一部分；

其中，响应于指示用户选择的信号，内容代替电路被配置为用手语视频内容替代视频内容帧中与用户选择对应的所述选定位置处的内容，使得视频内容帧中所述选定位置处的主要节目视频内容的编码数据被替代为手语视频内容的编码数据，而视频内容帧中其它位置处的主要节目视频内容的编码数据保持不变。

2.如权利要求1所述的装置，其中所述多个位置是帧间编码的，从而仅依赖于在所述多个位置当中每一个中存在的信息。

3.如权利要求1所述的装置，其中所述手语视频内容是帧间编码的，从而仅依赖于在所述手语视频内容中存在的手语视频数据。

4.如权利要求1所述的装置，还包括：

其中所述用户接口还被配置为产生指示不显示手语视频内容的用户选择的禁用信号；

及

其中，响应于所述禁用信号，所述内容代替电路被配置为不用帧间编码的手语视频内容替代在所述多个位置当中任何位置的帧间编码的内容。

5.如权利要求1所述的装置，其中所述内容代替电路包括硬件内容代替状态机。

6.如权利要求1所述的装置，还包括被定尺寸以存储所述手语视频内容的单个单元的缓冲区，其中所述单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。

7.如权利要求1所述的装置，其中所接收的数据被排序，以使得所述手语视频内容在对在被处理为接受手语视频内容替代的多个位置的主要节目内容视频进行编码的数据之前被接收。

8.如权利要求1所述的装置，其中所述手语视频内容具有比主要节目A/V内容低的帧频。

9.如权利要求1所述的装置，其中所述装置构成电视机顶盒的一部分。

10.如权利要求1所述的装置，其中所述主要节目内容和所述手语视频内容包括流化数据、数据文件和包含数据文件的打包媒体之一。

11.一种用于利用手语翻译选择性地补充主要节目视频内容的装置，包括：视频接收器设备，被配置为接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符PID，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联；

其中主要节目视频内容被编码为视频内容帧，在视频内容帧中多个位置被处理为能够接受所述手语视频内容替代；

其中所述多个位置是帧间编码的，从而仅依赖于所述多个位置当中每一个中存在的信息；

其中所述手语视频内容是帧间编码的，从而仅依赖于在所述手语视频内容中存在的手语视频数据；

用户接口，构成视频接收器设备的一部分，被配置为产生指示对所述多个位置中用于显示手语视频内容的选定位置的用户选择的信号；

内容代替电路，构成视频接收器设备的一部分；

其中，响应于指示用户选择的信号，内容代替电路被配置为用帧间编码的手语视频内容替代视频内容帧中与用户选择对应的所述选定位置处的帧间编码内容，使得视频内容帧中所述选定位置处的主要节目视频内容的编码数据被替代为手语视频内容的编码数据，而视频内容帧中其它位置处的主要节目视频内容的编码数据保持不变。

12.如权利要求11所述的装置，还包括：

其中所述用户接口还被配置为产生指示不显示手语视频内容的用户选择的禁用信号；

及

其中，响应于所述禁用信号，所述内容代替电路被配置为不用帧间编码的手语视频内容替代在所述多个位置当中任何位置的帧间编码的内容。

13.如权利要求11所述的装置，其中内容代替电路包括硬件内容代替状态机。

14.如权利要求11所述的装置，还包括缓冲区，所述缓冲区被定尺寸为存储手语视频内容的单个单元，其中所述单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。

15.如权利要求11所述的装置，其中所接收的数据被排序，以使得手语视频内容在对在被处理为接受手语视频内容替代的多个位置的主要节目内容视频进行编码的数据之前被接收。

16.如权利要求11所述的装置，其中所述手语视频内容具有比所述主要节目A/V内容低的刷新率。

17.如权利要求11所述的装置，其中所述装置构成电视机顶盒的一部分。

18.一种利用手语翻译选择性地补充主要节目视频内容的方法，包括：在视频接收器设备，接收代表视频内容帧和音频的数据，所述数据具有多个数据包标识符PID，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联；

其中所述主要节目视频内容被编码为视频内容帧，在视频内容帧中多个位置被处理为能够接受手语视频内容替代；

在视频接收器设备，接收指示对所述多个位置中用于显示所述手语视频内容的选定位置的用户选择的信号；及响应于接收到指示选定位置的用户选择的信号，在视频接收器设备中的内容代替电路，用手语视频内容替代视频内容帧中与用户选择对应的所述选定位置处的内容，使得视频内容帧中所述选定位置处的主要节目视频内容的编码数据被替代为手语视频内容的编码数据，而视频内容帧中其它位置处的主要节目视频内容的编码数据保持不变。

19.如权利要求18所述的方法，其中所述多个位置是帧间编码的，从而仅依赖于在所述多个位置当中每一个中存在的信息。

20.如权利要求18所述的方法，其中所述手语视频内容是帧间编码的，从而仅依赖于在所述手语视频内容中存在的手语视频数据。

21.如权利要求18所述的方法，还包括：

在视频接收器设备，接收指示不显示手语视频内容的用户选择的信号，并且响应于该信号，不用帧间编码的手语视频内容替代在所述多个位置当中任何位置的帧间编码的内容。

22.如权利要求18所述的方法，其中内容代替电路包括硬件内容代替状态机。

23.如权利要求18所述的方法，还包括缓冲区，所述缓冲区被定尺寸为存储手语视频内容的单个单元，其中所述单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。

24.如权利要求18所述的方法，其中所接收的数据被排序，以使得手语视频内容在对在被处理为接受手语视频内容替代的所述多个位置的主要节目内容视频进行编码的数据之前被接收。

25.如权利要求18所述的方法，其中所述手语视频内容具有比所述主要节目A/V内容低的帧频。

26.如权利要求18所述的方法，是在电视机顶盒中执行的。

27.一种用于利用位置可选择的手语图像对数字视频进行编码的视频编码器，包括：主要节目音频/视频A/V内容的源；

对应于所述主要节目A/V内容的音频的手语视频内容的源；

数据包标识符PID映射器，被配置为把第一PID映射到主要节目A/V内容的视频部分并且把第二PID映射到所述手语视频内容；

重编码器，被配置为重新编码主要节目A/V内容，以确立被指定为用于手语窗口的位置的多个预定义的显示位置；及多路复用器，被配置为接收并多路复用重新编码的主要节目A/V内容和手语视频内容，以产生包含所述重新编码的主要节目A/V内容和所述手语视频内容的统一数据结构，其中，重新编码的主要节目A/V内容包括视频内容帧，在视频内容帧中多个位置被处理为能够接受手语视频内容替代，使得在所述多个位置中的一个位置被用户选择为显示手语视频内容的情况下，视频内容帧中与用户选择对应的该位置处的主要节目A/V内容的编码数据被替代为手语视频内容的编码数据，而视频内容帧中其它位置处的主要节目A/V内容的编码数据保持不变。

28.如权利要求27所述的视频编码器，其中所述多个位置被重编码器帧间编码，从而仅依赖于所述多个位置当中每一个中存在的信息。

29.如权利要求27所述的视频编码器，其中所述手语视频内容是帧间编码的，从而仅依赖于在所述手语视频内容中存在的手语视频数据。

30.如权利要求27所述的视频编码器，其中所述多路复用器多路复用所述数据，以使得所述手语视频内容位于对在被处理为接受所述手语视频内容替代的所述多个位置的主要节目内容视频进行编码的数据前面。

31.如权利要求27所述的视频编码器，其中所述多路复用器还多路复用系统信息与所述手语视频内容和所述主要节目A/V内容。

32.如权利要求27所述的视频编码器，还包括时间同步器，所述时间同步器向所述手语视频内容数据并向所述主要节目A/V内容数据提供时间代码，其中相同的时间代码用于所述手语视频内容数据和所述主要节目A/V内容数据二者。

33.如权利要求27所述的视频编码器，其中所述手语视频内容具有比所述主要节目A/V内容低的帧频。

34.如权利要求27所述的视频编码器，其中所述主要节目内容和所述手语视频内容被编码为流化数据、数据文件或包含数据文件的打包媒体之一。

说明书

选择性手语位置

[0001] 对相关申请的交叉引用

[0002] 本申请涉及全都授予Candelore等人并且完全或部分地受让给本申请的受让人的美国专利No.7,319,753；7,765,567；7,823,174；7,882,517；7,992,167；8,051,443；8,041,190；8,392,942；8,435,172；8,453,172；8,645,988和8,667,525。本申请还涉及标题分别为“SELECTIVE ENABLEMENT OF SIGN LANGUAGE DISPLAY”和“SIGN“LANGUAGE WINDOW USING PICTURE-IN-PICTURE”并且都属于Shintani和Candelore的美国专利申请序列号：14/503,
574和14/503,621，并且这两个申请都在本文的提交日提交。这些专利和申请当中每一个的全部内容都通过引用被结合于此。

[0003] 版权和商标通知

[0004] 本专利文档公开内容的一部分包含受版权保护的素材。版权拥有者不反对对专利文档或专利公开内容按照在专利商标局的专利文件或记录中出现那样进行的传真复制，但是除此之外在任何情况下都保留所有版权。商标是其各自所有者的财产。

背景技术

[0005] 隐藏式字幕已被用于模拟和数字电视系统，以便使听力受损的人能够阅读电视对话的字幕，从而更容易了解电视节目。先进电视系统委员会(ATSC)标准3.0正在被开发，以便结合更先进的条款来适应具有各种感官残疾的用户。

附图说明

[0006] 说明操作的组织和方法连同目标和优点的某些说明性实施例可以通过结合附图参考以下详细描述来得到最好的理解，其中：

[0007] 图1示出了具有手语窗口的视频显示器。

[0008] 图2是以与本发明某些示例实施例一致的方式具有多个手语窗口位置的显示器的示例说明。

[0009] 图3A至3F绘出了以与本发明某些示例实施例一致的方式用于在多个手语窗口位置之间循环以及开关手语窗口的机制的示例说明。

[0010] 图4示出了与本发明某些示例实施例一致的、具有手语控制键的示例遥控器。

[0011] 图5是与本发明某些示例实施例一致的、循环通过手语窗口的多个位置以及开关控制的说明性过程。

[0012] 图6是与本发明某些示例实施例一致的、在所显示的主要图像的左上角附近具有手语窗口的显示的说明。

[0013] 图7通过例子示出了与本发明某些示例实施例一致的、用于手语窗口的四个位置以及所显示图像的宏块的示例视频片。

[0014] 图8是与本发明某些示例实施例一致的、具有说明性宏块和视频片的手语窗口的例子。

[0015] 图9是以与本发明某些示例实施例一致的方式处理主要节目内容以便结合手语窗口位置和手语内容的示例过程200的流程图。

[0016] 图10是绘出以与本发明某些示例实施例一致的方式重新编码手语窗口中的主要频道内容的示例过程的流程图。

[0017] 图11是绘出以与本发明某些示例实施例一致的方式重新编码手语窗口中的主要节目内容的示例过程的流程图。

[0018] 图12是绘出以与本发明某些示例实施例一致的方式重新编码手语窗口之外的主要频道内容的示例过程的流程图。

[0019] 图13是与本发明某些示例实施例一致的、在手语窗口位置具有手语内容和重新编码的主要节目内容的主要节目内容的示例打包。

[0020] 图14是以与本发明某些示例实施例一致的方式编码手语内容连同重新编码主要节目内容的说明性例子的框图。

[0021] 图15是以与本发明某些示例实施例一致的方式解码手语内容和主要节目内容的接收器设备的说明性例子的框图。

[0022] 图16是与本发明某些示例实施例一致的手语内容替代的示例过程的流程图。

[0023] 图17是与本发明某些示例实施例一致的手语内容替代的示例过程的流程图。

[0024] 图18是绘出与本发明某些示例实施例一致的数据布置的说明。

[0025] 图19是用于与本发明某些示例实施例一致的示例状态机的示例状态图。

[0026] 图20是与本发明某些示例实施例一致的接收器设备的示例框图。

[0027] 图21是绘出与本发明某些示例实施例一致的示例解码过程的流程图。

[0028] 图22绘出了与本发明某些示例实施例一致的示例数据布置。

[0029] 图23是绘出与本发明某些示例实施例一致的示例解码过程的流程图。

[0030] 图24是与本发明某些示例实施例一致的示例系统框图。

[0031] 图25是与本发明某些示例实施例一致的示例实现过程的流程图。

[0032] 图26示出了用于示例实现的数据包布置，其中手语以与本发明某些示例实施例一致的方式利用与主要节目内容分离的IP数据包传送。

[0033] 图27示出了用于示例实现的数据包布置，其中手语以与本发明某些示例实施例一致的方式与主要节目内容在相同的IP数据包中传送。

[0034] 图28示出了以与本发明某些示例实施例一致的方式执行的数据包替代。

[0035] 术语表

[0036] 贯穿本文档对“一种实施例”、“某些示例实施例”、“例子”、“实施例”、“例子”、“实现”或类似术语的引用意味着联系该实施例、例子或实现所描述的特定特征、结构或特点包括在本发明的至少一种实施例、例子或实现中。因此，这种短语贯穿本说明书在各个地方的出现不一定全都指相同的实施例、例子或实现。此外，特定的特征、结构或特点可以以任何合适的方式在一个或多个实施例、例子或实现中组合，不作为限制。

[0037] 如在本文所使用的，术语“或者”应当被解释为包含性的或者意味着任何一个或任意组合。因此，“A、B或C”意味着“以下任何一个：A；B；C；A和B；A和C；B和C；A、B和C”。对这种定义的例外将只在元素、功能、步骤或动作的组合以某种方式固有地相互排斥的时候发生。

[0038] 如在本文所使用的，术语“一个”被定义为一个或多于一个。如在本文所使用的，术语“多个”被定义为两个或多于两个。如在本文所使用的，术语“另一个”被定义为至少第二个或更多。如在本文所使用的，术语“包括”和/或“具有”被定义为“包括”(即，开放式语言)。

[0039] 如在本文所使用的，术语“耦合到”被定义为连接到，但不一定是直接地，并且不一定是机械地。

[0040] 如在本文所使用的，术语“程序(program)”或“计算机程序”或类似的术语被定义为设计为在计算机系统上执行的指令序列。“程序”或“计算机程序”可以包括子例程、函数、过程、对象方法、对象实现、在可执行应用中、应用程序(app)、窗口小部件(widget)、Java小程序(applet)、小服务程序(servlet)、源代码、目标代码、纲要(sketch)、共享库/动态装载库和/或设计为在计算机系统上执行的其它指令序列。如在本文所使用的，术语“处理器”、“控制器”、“CPU”、“计算机”等涵盖硬编程的、专用的、通用的和可编程的设备并且可以涵盖在分布式或集中式配置中多个此类设备或单个设备，不作为限制。

[0041] 如在本文所使用的，术语“非临时性”是要描述排除信号和传播介质的存储介质。例子包括盘储存器、光学储存器、只读存储器、闪存存储器和随机存取存储器。术语非临时性仅仅是要排除传播波并且不是可以被重写的储存器或者在电力被除去时丢失其所存储的信息的储存器。

[0042] 如在本文所使用的，术语“节目(program)”还可以在第二种语境下使用(以上定义是用于第一种语境)。在第二种语境下，该术语在“电视节目”或“演出”的意义上使用。这个术语的适用与交付方法(例如，广播、线缆、卫星、因特网，等等)无关。在这种语境下，该术语被用来指音频视频内容的任何连贯序列，诸如将在电子节目指南(EPG)中作为单个电视节目被解释并报告的那些，而不考虑内容是否是电影、运动赛事、多部分系列剧的片段、新闻广播，等等。该术语还可以被解释为涵盖不能在电子节目指南中作为节目被报告的商业广告和其它像节目的统一内容。而且，术语“节目”和“电视节目”和“节目内容”以及类似的术语可以在正常的对话意义上被解释，以及其中该术语意味着可以在电视显示器或类似监视器设备上显示的A/V内容的任何片段的意义。

[0043] 术语“机顶盒”或“STB”与术语“机顶终端”是同义词并且以习惯上在有线电视行业中所使用的方式被使用，作为提供经由有线电视基础设施接收的电视信息的解调和解码的电视部件。该术语扩展到提供类似目的的卫星、互联网和广播电视设备。

[0044] 如在本文所使用的，术语“接收器设备”被用作充当电视节目或类似音频/视频内容的接收器、解码器等等设备的一般性术语，包括但不限于电视机、电视接收器、线缆或卫星机顶盒或终端、TV接收器模块、互联网协议电视接收器/解码器设备、具有调谐器或者以别的方式访问电视音频/视频内容的数字视频记录器，等等。

[0045] 术语“视频”可以在本文用来包括不仅真正的可视信息，而且在对话意义上(例如，“视频带记录器”)并且可以包含不仅纯视频信号而且还包含连同关联的音频、控制和其它数据一起打包的视频信号。

[0046] 术语“视频帧”或“帧”意味着对于呈现的一次完整通过，例如从左上角到右下角，占据渐进性编码显示的数据的单个视频帧。

[0047] 术语“视频子帧”或“子帧”意味着一帧视频中的完整的独立图像，诸如包含手语视频的手语窗口的呈现，如在本文档中所讨论的。

[0048] 如在本文所使用的，术语“包装介质”和类似的术语是要包含记录介质，诸如通常作为包含电子存储介质的包装商品化并且作为零售商品出售的数字多样化盘(DVD)、紧凑盘(CD)或者其它磁、光或其它记录介质，与可电子下载的数据流形成对比。

[0049] 术语“手语”意味着所谓的“聋人手语”，包括村和社区手语。手语是被用作交流语言的姿态语言(通常是手和手臂的姿态)，为了听力障碍者的利益，手语代替或增强语言和唇读。手语是要指被用来传送或改进与听力障碍者的非口语通信的姿态。例子包括，但不限于，标准的美式手语及其各种速记扩展，鉴于地区差异和基于语言、位置及对各种手语中差异起作用的其它因素的差异，不管符号是否被标准化和普遍认可。

[0050] 术语“手语窗口”(SLW)指所显示图像中像窗口的显示，包含，或者被指定为包含，手语视频内容。

[0051] 术语“宏块”被用来指由一个或多个数据块的集合构成的对象，这些数据块被用来产生视频画面。这个术语与该术语在各种MPEG(运动图像专家组)视频标准以及AVC(高级视频编码)中的使用一致，但是不限于其，因为该术语还可以被解释为关于在其它标准中定义的等效结构来理解。

[0052] 术语“内容替代”或“内容代替”指对于显示器的至少一部分利用其它内容替代在显示器上显示的视频内容。

[0053] 术语“数据包标识符”或“PID”以与MPEG程序和系统协议(PSIP)中的常规使用一致的方式使用，但是可以等效地指以与PSIP PID相同的方式被使用的数据结构。

[0054] 术语“I-帧”意味着与各种MPEG标准中的使用一致的帧间编码视频帧。I-帧是独立并且不依赖于来自相邻或附近视频帧的视频数据的视频帧。

[0055] 术语“P-帧”是在MPEG和其它视频压缩技术中使用的帧内编码的预测视频帧，以通过对前一帧的参考并通过预测丢失的数据来创建完整的视频帧。

[0056] 术语“B-帧”是在MPEG和其它视频压缩技术中使用的帧内编码的双向视频帧，以通过对B-帧之前和之后的视频帧的参考来创建完整的视频帧。

[0057] 术语“I-数据包”在本文用来指携带I-帧的至少一部分的数据包。

[0058] 术语“I-宏块”是要指只包含I-数据包或者以别的方式不依赖于驻留在该宏块之外的视频数据的视频宏块。即，宏块可以包括宏块内的P或B数据，但是不依赖于宏块之外的其它数据。

[0059] 术语“P-宏块”和“B-宏块”指利用来自其它宏块的数据帧内编码的宏块。

[0060] 术语“I-编码位置”或“帧间编码位置”等等在本文用来指视频帧中被编码的区域，使得该位置的每一片以I-宏块开始和结束或者以别的方式编码，从而使该位置自包含并且在空间上或时间上不依赖于驻留在该位置之外的数据。

具体实施方式

[0061] 虽然本发明易于有许多不同形式的实施例，但是在附图中示出并且将在本文详细描述具体的实施例，应当理解，这种实施例的公开内容应当认为是原理的例子而不是要把本发明限定到所示出并描述的具体实施例。在以下描述中，相同的标号被用来描述附图的几个视图中相同、相似或对应的部分。

[0062] 以上引用的共同拥有的专利描述与通常被称为内容替代的方法及用于其的装置的各个方面有关的发明。

[0063] 一些有听力障碍的人可能喜欢手语更甚于隐藏式字幕。在一些场景中，隐藏式字幕可能不是选项。关于在正常的电视节目中显示手语窗口的一个问题是，就像隐藏式字幕，有些人可能会发现它非常令人分心，如果这些人是不需要它的观众的话。手语窗口还占用显示屏的一部分并且会掩盖或遮蔽主要内容。

[0064] 参考图1，一些电视节目(例如，紧急新闻发布会或演讲)利用显示器100上所示的主要内容中的窗口进行广播，包括把口语翻译成手语的翻译人员。这在图1中通过例子来说明。主要内容104在显示器100的主要观看区域内提供。手语翻译人员出现在手语窗口(SLW)108中，把对话翻译成手语，诸如美式手语。但是，这对于那些不需要手语解释的人来说会分心。由于这种内容常规上在起点被嵌入，因此观看者不能禁用手语或者把手语移动到优选的位置。将期望能够根据需要或期望开关手语窗口。以这种方式，那些需要手语的人可以看到该窗口并且，当没有听力障碍的观众在消费该主要内容时，其他人如果不需要就可以把它关掉。

[0065] 为了区分两种或更多种类型的数字电视内容信号，即，在主要视频内容与包含提供音频的手语解释的图像的辅助内容之间，可以利用多个数据包标识符(例如，符合MPEG的PID)。通常，单个数据包标识符集合被用来识别特定的电视节目。然后，电视接收器设备把全部适当的视频内容都重新映射到单个PID或PIDS的单个集合，供重放。

[0066] 与本发明一致的某些实施例利用与内容的可替代宏块关联的多个PID作为提供启用手语窗口(SLW)连同主要内容显示的内容替代的机制。手语窗口可以被启用、禁用或者指定为驻留在显示器上多个指定的位置之一。这可以利用本示教实现，而无需带宽的显著增加并且以合理的硬件成本。

[0067] 在与本示教一致的一方面，如在以上引用的专利中所描述的帧内“数据包交换”适于在期望时允许手语内容替代主要内容的一部分或者如果不期望或需要访问就关闭手语内容。在这方面，内容创建者创建主要内容和要替代到显示屏的一个或多个预定义区域中的手语内容。主要内容和手语内容在混合的内容流中交织。

[0068] 在本文档中将要首先讨论的另一方面，被代替的主要内容没有固定到屏幕上单个特定位置。不是让主要内容数据包和手语内容“代替”数据包交织，代替数据在帧中它们将代替的数据的前面发送。这种代替数据包在编码时“帧同步”到一个或多个可能的位置。在其它实施例中，位置可以固定到单个位置，但是在任何一种情况下，手语窗口都可以被开关。

[0069] 如以上所指出的，视频可以被创建为具有嵌在视频中的、示出利用手语交流的人的插入画面。但是，没有用户控制允许示出或忽略该手语，因为它被处理为主要节目内容的一部分。根据本示教，提供了用于对视频的手语支持的高效布置，该布置在用户控制之下。手语窗口将只在用户希望看到手语窗口时可见；否则该窗口就不可见并且图像包含正常的主要视频节目内容。这有效地为用户提供了启用带有手语的节目版本(用于听力有障碍者)和不带手语的节目版本(用于无听力障碍者)。在某些实施例中，手语窗口的位置可以被用户改变。

[0070] 参考图2，利用数据包替代技术，提供了在显示器100上显示的主要视频内容104的一个或多个区域，这些区域对应于其中主要内容可用结合了同步的手语内容的手语窗口(SLW)代替的可选位置。在这个例子中，提供了用于手语窗口位置的四个可能位置，位于位置120、122、124和126的#1、2、3和4。在一个例子中，位置可以由观看者从预定义的位置中选择，从而在屏幕上多个规定的位置当中任何一个代替主要视频内容。不需要发送两个完整的视频流，即，一个用于典型观众并且另一个用于需要手语的观众。只有某些主要内容宏块或视频帧中的其它数据片段被代替。由此，不需要发送两个完整的数据流并且由此最小化带宽的消耗。

[0071] 利用数据包/内容替代方法，除主要视频内容之外，只有被用来代表手语的视频的数据还被发送。这种数据只代表主要节目视频内容的完整帧的数据的一小部分。当用户打开手语时，数据包交换被启用并且对应于原始视频的手语位置的数据包用手语区域的那些数据包代替。由于这种手语视频可能只占据所显示的视频图像的大约10-15％，因此被用来支持这种手语窗口的附加数据的量相比而言也小。

[0072] 在与本示教一致的某些实现中，一个或多个窗口位置还可以与窗口128重叠，以虚线示出，这允许观众选择更大的窗口位置用于手语的显示。在图2中，位置127是重叠窗口位置126的全部或一部分的更大窗口，并且是示出的唯一更大窗口。但是，在不背离本示教的情况下，可以提供相同或多个尺寸和位置的一个或多个窗口。如果提供多个尺寸的窗口，则手语视频可以在播放器设备放大或缩小，以适合更大或更小的窗口尺寸。

[0073] 如图2中所绘出的，绘出了可以充当手语窗口的位置的五个可能位置(为了容易说明，在随后的图中将只绘出四个并进行讨论)。当选择启用手语窗口时，手语窗口可以用任何位置或屏幕上示出手语窗口的上一个位置或者缺省位置来替代。手语的位置可以基于主要内容显示什么来四处移动。在一些情况下，观众可能希望把手语放在屏幕上刚好挨着人物或者不显眼的位置，例如，在右下象限。

[0074] 在某些实现中，处理器计算观众想把手语内容放在什么地方。为了实现此目的，驻留在手语内容可位于的位置中的主要内容的主要宏块的片用插入它们位置的新宏块来终止。当手语内容的显示完成后，主要内容宏块的片重启。这在一个例子中可以对视频一片一片地、一个数据包一个数据包地或者一个位置一个位置地实现。在本实现中，这可以利用I-宏块完成。手语宏块可以插入在预定义位置中的主要宏块的位置。手语内容可以被编码为I-宏块或者至少第一个宏块可以是不利用该位置之外的任何空间或时间宏块的I-宏块(例如，不使用在使用手语窗口的开始之前紧挨着存在的主要内容的宏块)。类似地，(空间上)在该窗口位置之后的主要内容的第一个宏块也是I-宏块。

[0075] 在某些方面，组装内容的最终版本的传输过程可以创建句法上正确的编码，使得避免闪烁。计算的进行是为了拼接手语内容。

[0076] 在图2的例子中，用于手语窗口(SLW)在屏幕上的放置的几个位置是预定义的。在那些位置当中，主要节目内容宏块以I-宏块开始并且段可以延续既定数目的宏块，不需要全都是I-宏块。当到达该位置的边界时，可以发送另一个主要内容I-宏块。

[0077] 在任何情况下，单个视频解码器都可以在接收端被使用，这从许可的角度来说是有利的，因为许可成本常常依赖于在给定接收器实现的解码器的数目。因此，两个独立的完整视频流和解码器是不需要的。观众有能力选择性地原样或者带手语观看视频。由此，不希望观看手语窗口的观众可以关闭该窗口并且希望看手语窗口的观众可以打开该窗口。

[0078] 以下是使得传输处理器更容易在屏幕上“任何地方”进行内容交换的讨论。但是，在本例中，手语可以位于四个指定位置之一。那些位置中的主要内容将在每一行具有I-宏块，然后以I-宏块终止，以便在拼接之后开始剩下的行。框住要用I-宏块代替的内容将使得实时删除和拼接(内容代替)对于“非解码器”过程更容易进行。这个例子的过程限制编码器以在指定位置产生I-宏块的方式压缩内容。

[0079] 本领域技术人员将认识到，在某些实施例中，I-宏块也可以从在接收器设备常规编码的视频来创建，从而通过重新编码视频以提供I-宏块来允许SLW出现在任何期望的位置。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0080] 现在回过头来参考图2，(忽略位置127)，在这个示例实现中，四个区域被指定为用于显示器100的手语窗口的可能位置。在这个示例情况下，一般而言，在显示器100的四个角落附近提供四个可能的位置。手语窗口#1出现在120。手语窗口#2出现在122。手语窗口#3出现在124。手语窗口#4出现在126。在这个例子中，用户可以选择显示或不显示SLW，例如，通过遥控命令或菜单选择；并且，如果显示，则指定四个SLW位置中要在其中显示手语翻译人员的一个。在一个例子中，手语按钮/键可以在遥控器上提供并且一系列按钮按下循环通过在位置#1启用、在位置#2启用、在位置#3启用、在位置#4启用和禁用。其它布置也是可能的，包括利用导航命令从一个位置移动到另一个或者利用菜单指定优选位置。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0081] 在某些MPEG和其它数字视频实现(例如，诸如AVC、ATSC和HEVC)中，要被代替的主要内容数据包可以利用适应字段中的私有数据标记。要被代替的每个数据包可以具有适应字段或者可以提供之后跟着长度参数的第一数据包，该第一数据包将发信号通知在第一数据包之后将有一定数量的数据包被代替。在一个例子中，以下语法可以被用来定义四个可能的位置中要使用哪个。

[0082]

[0083] 数据包可以只把一个位置设置为“1”。手语数据包可以存储在缓冲区中，并且可以执行一对一的数据包代替–来自手语缓冲区的一个数据包代替流中(包含I-宏块)的一个数据包。更高级的应用对用户接口作出响应，其中人可以开启手语并且挑选一个位置，即，Location_1、Location_2、Location_3或Location_4；并且还可以选择启用或禁用SLW。传输处理器查看每个数据包的适应字段，以便了解它是什么类型的数据包(它处于什么位置)，以确定是否应当进行替代。

[0084] 参考图3，该图由图3A-3F组成，绘出了操作过程的例子，其中用户利用遥控来循环位置以及激活或停用，如所描述的。在图3A中，手语窗口被关闭，但是用于手语窗口120、122、124和126的四个示例位置当中每一个都以虚线示出，供参考。在手语控制被致动后(不管以什么形式)，手语视频内容128出现在#1-120，如图3B中所示。然后，位置可以被循环，例如，利用导航控制或者遥控手语键的重复按下，等等，以选择手语视频要移动到的位置。在这个例子中，手语移动到在位置#2-122呈现，如图3C中所绘出的。然后，进一步的致动或导航动作可以被用来把手语视频移动到位置#3-124，如图3D中所示。然后，进一步的致动或导航动作可以被用来把手语视频移动到位置#4-126，如图3E中所示。最后，进一步的致动或导航动作关闭手语窗口视频。应当理解，在这些图中示出的虚线框仅仅是为了参考并且没有显示。

[0085] 在其它实施例中，用户可以直接选择位置或无需循环通过所有可能就选择位置。或者，用户可以指定那个用户优选的缺省位置并且总是在那个位置显示手语。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0086] 图4绘出了具有为以上动作保留的遥控按钮132的遥控器130，该按钮在这个例子中被标记为“SL”。SL按钮132的重复选择可以循环通过显示设备激活、停用和重新定位手语窗口的操作，如在图5的示例流程图中所绘出的。在其它实施例中，可以提供其它控制机制。

[0087] 在图5中，过程在134开始，其后，在136，系统等待经由遥控器接收器从遥控器130接收指示手语(SL)键被按下的信号。当在136被按下时，在138，系统确定SLW是否开启并且，如果没有，则SL键的按下被解释为指要开启SLW并且在140这是利用窗口的位置是例如指定的第一窗口、指定的缺省窗口、如在菜单中或在设置时指定的用户优选窗口位置或者被使用的上一个窗口位置来进行的。当在138 SLW开启时，在136 SL键被按下后，过程在142确定该位置是否是SLW显示位置序列中最后一个位置。如果是，则在144该信号被解释为关闭SLW并且过程返回136，以等待下一次SL按钮压下。如果在142 SLW位置不是序列中最后一个，则过程在146把SLW移动到序列中下一个位置并且过程返回136。

[0088] 这仅仅是可以被用来启用和禁用手语窗口以及关于显示器定位窗口的一种说明性示例技术。在其它实施例中，缺省位置可以从用户菜单选择，并且各种位置可以被禁用，从而有效地使SL按钮成为ON/OFF控制。类似地，在其它实施例中，一旦SLW开启，诸如上、下、左和右控制的导航控制或者触控板或操纵杆就可以被用来识别SLW的期望位置。例如，SLW可以在启用之后在显示器上高亮一段时间，在这段时间内，导航控制是有效的。在某些实施例中，导航控制的执行可以延长导航控制处于活动的时间。在其它实施例中，导航控制可以一直到“回车”键被激活或者SL键被再次激活都处于活动。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0089] 图6绘出了如果用户选择在位置#1-120放置隐藏式字幕视频128时将出现的示例图像。

[0090] 现在参考图7，示出了简化的示例视频帧，示出了手语窗口子帧的四个说明性位置在位置120、122、124和126的定位。还绘出的是简化的多个视频片，诸如片150、152、154、156、158、160、162、170、172、174、176、178和180(为了手语的更好分辨率，比所示更多的片是期望的)。数字视频图像布置在视频片中，每一片由宏块组成，宏块由一般在数据包中接收的I、B和P-宏块组成(帧间编码的、双向帧内编码的和预测的帧内编码的数据包)。

[0091] 在一种示例实施例中，为了方便用窗口128的手语内容代替主要节目内容，主要节目内容被处理，以便以提供手语视频的方便插入的方式保留一个或多个手语窗口位置。编码更改在手语窗口位置的主要内容，使得主要内容是空间上不依赖于手语窗口位置的界限之外的帧内编码数据包的独立内容“块”。而且，包围并在手语窗口位置之外的主要内容的边界被编码，从而空间上不依赖于手语窗口位置的界限之内的内容。即，紧挨着在SLW边界之外并与其相邻(左和右)的界定数据包可以被编码为，例如，帧间编码的数据包，而依赖于SLW边界之内的内容的帧内编码数据包不被允许。

[0092] 作为例子，考虑手语窗口位置#1-120的处理，如以简化形式在图8的更详细说明中所绘出的，示出了主要内容编码的简化说明。在这个说明中，为了容易说明，手语窗口位置#1-120的尺寸示为具有比有可能将使用的更少的宏块。其原理是通过单个片156的隔离连同窗口位置120的描绘来说明的。为了本文档，诸如位置#1-120的区域可以被称为“帧间编码位置”。术语“I-编码位置”或“帧间编码位置”等等在本文被用来指视频帧中被编码为使得区域的每一片以I-宏块开始和结束或者以别的方式被编码为使得区域自包含并且空间上或时间上不依赖于该区域之外的数据的子帧。

[0093] 为了实现此目的，位置120中在位置120的左侧开始的初始宏块可以全都是I-宏块。这是沿列190示出的。类似地，位于位置120右边缘的每个宏块可以是I-宏块，如沿列194示出的。190和194之间的宏块也可以是I-宏块，或者可以是帧内编码的宏块，只要对该SLW之外的宏块没有时间或空间依赖性就可以。这使得位置120是视频的完全自包含位置，从而简化手语视频内容的替代。

[0094] 为了确保主要视频图像的剩余部分不受这种编码并且不受发生的任何替代动作的影响，情况还可以是在左侧在位置120开始之前紧挨着的每个宏块都应当是I-宏块，诸如宏块196，并且在右侧在位置120之后的第一个宏块也应当是I-宏块，诸如198。以这种方式，跨SLW的每片视频都被处理，以确保在SLW左和右侧的视频数据都以不依赖于利用SLW中内容的帧内编码的方式被编码。类似地，可以代替SLW中主要内容数据的手语内容被编码以使得为独立的并与利用SLW之外数据的任何帧内编码无关。

[0095] 通过简单地调用主要内容数据的重新编码，以创建SLW中的独立数据块，所给出的例子提供了关于SLW编码的简单决策。另外，编码是以确保在左边和右边界定SLW的数据块也独立于利用SLW中数据的帧内编码的方式执行的。主要内容的这种重新编码将一般而言使用比原始内容稍多的数据，因为重新编码减小了利用在SLW边界处(内和外)的预测编码进行数据压缩的可能性。还应当指出，为了完整，如果SLW位于视频片的开始或结束(即，SLW位于所显示图像的左或右边缘)，则编码被相应地调节。即，如果SLW在视频图像的最左边开始，则在SLW左边之前不存在宏块，并且由此在SLW左边没有主要内容要被重新编码。其结果是重新编码更高效并且，如果SLW位于所显示图像的左和右边缘，则能够利用更多帧内编码。

[0096] 应当指出，在某些实现中，视频数据的进一步压缩可以通过继续在某些边界使用帧内编码来保持，但是假定在边界没有依赖于边界之外的宏块的帧内编码宏块。例如，如果宏块199只依赖于位置120中之前的数据并且不依赖于宏块198，则它可以保持原样，而无需重新编码就可以把该宏块转换成帧间编码宏块。列190和194之间的数据可以全都被编码为I-宏块，或者编码为I、B或P-宏块，但是不应当有任何会潜在地使用不是手语视频数据一部分的数据的时间或空间数据依赖性。

[0097] 当手语对特定SLW被启用时，手语内容被用来代替该SLW中的主要内容。由此，手语内容也被编码，从而确保它独立于在插入手语窗口中的手语内容的左和右边界之前和之后的宏块。

[0098] 图9绘出了用于执行如以上讨论的编码连同打包视频内容供存储或分发的一个示例过程200。过程在204开始，其后，在208，主要内容被一帧一帧地接收(或者作为被作为流进行处理的流)。对这个例子假设有一帧视频可用，则在212，对于N个手语窗口位置当中每一个，在216 SLW位置中的数据被重新编码，以便消除依赖于SLW之外数据的帧内编码宏块。在220，与SLW位置的左和右边界相邻并在其外面的数据被重新编码，以消除依赖于SLW之内数据的任何帧内编码宏块。

[0099] 在224，用于代替SLW的同步手语视频(例如，通过利用手语视频和主要节目内容视频中的共同时间戳被同步的)被接收。在228，手语视频和重新编码的主要内容视频被打包到单一的数据布置中，其中手语数据以把其与主要内容数据区分，例如通过使用其自己指定的数据包标识符(PID)，的方式被识别。然后，这种数据可以在232作为单一的数据包被存储、流化、发送等等。

[0100] 在212，N个SLW位置当中每一个以这种方式被处理，如通过212与216之间的循环所示出的，直到每个SLW都对当前帧进行了处理。在这个时候，当前帧的处理完成并且在236接收或检索下一帧并且过程对视频中可以使用手语窗口的每一帧重复。应当指出，当视频很长部分不附带音频时，有可能SLW可以在这种暂停中被禁用，从而最小化对主要内容显示的遮蔽。

[0101] 当每个帧都在240被处理时，到达内容的结束，并且过程在244结束。如果在240还没有到达内容的结束，则控制返回208，以检索或接收主要内容视频的下一帧。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0102] 图10绘出了如被用来如上所述重新编码主要内容数据的示例过程216。这个例子假设SLW不一定在视频显示的左或右边缘并且单独地处理每一种情况。在这个例子中，从212接收视频帧并且在250开始一个宏块一个宏块地被操纵，在250中接收宏块。在254，过程确定宏块是否位于SLW的左或右边界(并且在SLW中)。如果不，则在258不执行重新编码并且输出原始宏块。在262，过程前进到在250接收的下一宏块。如果在254宏块是SLW中的边界宏块，则控制传递到266。在266，过程确定边界是右边界还是左边界。如果是左边界，则过程前进到270。

[0103] 在270，如果宏块是I-宏块，则在258再次不执行编码，输出原始宏块并且过程在262前进到下一宏块。但是，如果在270宏块不是I-宏块，则过程在274重新把宏块编码为I-宏块并且在278输出重新编码后的宏块。然后，过程在262前进到下一个宏块。

[0104] 在266，如果边界是右边界，则控制传递到282，以确定宏块是否是I-宏块。如果在282宏块是I-宏块，则在258不进行重新编码并且过程前进到262。如果在282宏块不是I-宏块，则在286宏块可以被重新编码为I-宏块并且在278输出该宏块。然后，控制在262传递到下一个宏块。

[0105] 根据以上的示例过程，处于SLW右边缘的宏块被编码为I-宏块，以简化处理。在如图11中所绘出的这个过程的变体中，过程216被修改为允许预测编码的宏块(P-宏块)驻留在SLW的右边界。在这个例子中，除在282如果宏块不是I-宏块就可以在290进一步检查它是否是双向帧内编码的宏块(B-宏块)之外，相同的过程如以上所讨论的那样执行。如果不是，则可以得出结论，该宏块是P-宏块并且不用重新编码就可以被使用。应当认识到，如以虚线示出的决定282和290用来确定宏块是否可以被使用或者是否应当被重新编码并且使用消除过程来确定宏块是I还是P宏块。很清楚，在备选方案中，可以等效地确定宏块是否是B-宏块并且只重新编码B-宏块，同时不用重新编码就传递I和P-宏块。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0106] 类似的机制可以被用来重新编码与SLW相邻并驻留在边界之外的主要内容宏块。220的一个示例过程在图12中绘出。在这个例子中，在300，从216接收宏块。在304，过程确定宏块是否位于SLW边界(这次是在SLW的边界之外)。如果不是，则在308执行重新编码并且在
300接收下一个宏块312。

[0107] 如果在304宏块在边界之外，并且在316处于右边界，则在320确定它是否是I-宏块。如果是，则在308不执行重新编码并且在300接收或检索下一个宏块312。如果在320宏块不是I-宏块，则在324宏块被重新编码为I-宏块并且在328输出重新编码的宏块。然后，在300检索下一个宏块312。

[0108] 在316，如果宏块在SLW边界的左边，则在这个例子中，过程前进到332，在那里确定宏块是否是B-宏块。如果不是，则可以得出结论，宏块是I-或P-宏块(通过直接分析而不是如以上讨论的消除过程)。由此，在SLW边界左侧的、是I-或P-宏块的宏块不需要重新编码并且过程前进到308。但是，如果宏块是B-宏块，则在336被

[0109] 重新编码并且过程前进到328。

[0110] 由此，检查图10-12，以下表1示出对宏块重新编码存在的可能性：

[0111]

[0112] 表1

[0113] 回过头来参考图8，228的打包操作的示例实现可以如图13中所示的那样执行。在这个例子中，为了容易说明，只绘出了主要节目内容视频数据包和手语视频数据包。在这种示例实施例中，为了说明，使用图2中所示不包括位置127的四个位置。在这个例子中，手语视频数据包被指定PID值101，如在350所示出的。手语视频数据包可以有利地在节目内容数据包之前被发送(流化、存储，等等)，使得它们可以方便地以低存储容量需求被缓冲在用于SLW的窗口缓冲区中。在354，手语视频数据包之后是具有不同PID(例如，在这里如所说明的是100)的节目内容数据包。在视频数据包流的剩余部分中分布的是具有PID 100的主要节目内容视频数据包的多个片段。

[0114] 散布在节目内容数据包中的还有用于被指定360、362、364和366的SLW位置#1、#2、#3和#4的节目内容数据包。视频帧的这些独立部分也携带主要内容数据包标识符(PID 
100)并且，不作为限制，可以对每个SLW位置如所示的那样组合到一起、分成自由地分布到数据流中的多个数据包或者背靠背定位。在一些情况下，保持SLW位置数据包在一起可以简化手语视频对SLW数据包的替代。虽然该过程通过使用用于主要节目内容的所有部分的主要内容PID进行了简化，但是，如果期望，单独的PID值可以指定给SLW位置。在一帧被完全打包之后，下一帧接着–在这种实现中，从具有PID101的手语视频数据包再次开始。

[0115] 现在参考图14，绘出了与某些实现一致的示例编码系统，其中主要节目视频内容源400和与主要节目视频内容源400时间同步(例如，经由在406生成的共同时间代码的使用)的手语视频源404产生要处理的视频内容。这些视频内容源400和404可以是存储的内容或者可以是实时内容(即，来自两个不同的相机)或者内容400可以被存储并且内容404可以是视频内容400的实时解释。

[0116] 手语视频源404可以被预处理为帧间编码并且缩放，从而适合放在适当尺寸的SLW中，从而代替其中的主要内容。手语窗口可以是例如所显示的主要内容图像尺寸的大约1/8至1/10并且可以相应地缩放。如果没有预处理，则附加的处理可以在编码器利用预处理器410执行，该预处理器410执行缩放、修剪和重新编码功能，以产生形式为帧间编码结构的合适尺寸和分辨率的输出，该结构不依赖于已经被除去的数据并且将不依赖于在手语窗口子帧的界限之外的数据。

[0117] 主要节目视频内容400以例如以上所讨论的方式被处理，以便利用重编码器408在(一个或多个)既定的位置提供手语窗口(在这个例子中，重编码器基于宏块进行重新编码，但是这不应当被认为是限制，因为其它实施例可以基于片或数据包进行重新编码)。宏块重编码器408可以是被配置为操纵主要内容的硬连线编码器，以利用以上示教在指定的位置提供独立的手语窗口位置。作为替代，宏块重编码器可以是可配置或可编程逻辑，或者可以利用编程的处理器实现。当主要节目视频内容在408被重新编码时，重新编码后的内容传递到PID映射器412，在处理器416的控制下，映射器把合适的数据包标识符指定给重新编码后的主要节目视频内容。PID映射器412还把合适的PID值指定给来自404的手语视频内容。主要和手语视频内容都由PID映射器412提供给多路复用器418，多路复用器418把主要内容与手语内容以及系统信息(SI)420和来自406的时间代码组合，以产生，在这个例子中，诸如在图13中绘出的流，该流附加地可以包含SI信息420。这个流被绘制为输出流424，该流可以与其它内容流(未示出)进一步多路复用，以产生用于在428编码/调制/发送到接收方的多路复用输出流。

[0118] 在另一方面，多路复用的内容424可以被存储到存储设备432，作为包含主要内容、手语内容和重新编码的手语内容的统一文件。在各种实现中，内容424可以包括或排除SI信息来存储。在方框436执行的过程是在一个或多个处理器416的控制下执行的，处理器416可以例如选择PID值，从而使用独特的值并且设计被多路复用的系统信息以及其它管理功能。

[0119] 当内容如上所述地被编码和发送或流化时，诸如在图15中绘出的示例设备的接收器设备可以被用来解码内容并产生带或不带手语内容的期望视频图像并且，当呈现时，手语窗口显示在用户选定的位置。内容流(在解调之后，等等)424由解复用器设备450接收，该解复用器设备450把进入的内容分成三个流。第一个流是具有手语指定PID的手语内容，它被传递到手语窗口缓冲区454，该缓冲区大到足以保持手语视频的至少单个子帧。系统信息(SI)也被450解复用，以产生由处理器458用来控制各种系统功能的输出。解复用功能是在450通过利用PID过滤把与每个PID关联的内容分成单独的输出流来执行的。

[0120] 在处理器458的控制下，在这个例子中，PID重映射器466把缓冲区454中手语内容的PID值重新映射到与主要视频内容PID相同的PID，其中控制器对通过用户接口462输入的用户命令并且对SI作出响应。处理器458利用与手语内容同步的主要节目内容的时间代码维持同步。然后，重新映射的手语视频可以传递到内容代替状态机470。在处理器458的控制下，这个状态机基于PID值在指定的手语位置中用手语内容替代主要节目内容并且产生具有用手语视频填充的指定SLW的输出474。在这个时候，PID值可以被删除，除非要执行基于PID的进一步处理。然后，这个输出以常规方式被处理，作为视频在视频显示器上显示。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0121] 现在参考图16，示出了与某些说明性实施例一致的内容替代过程500的例子，如在诸如电视接收器或电视机顶盒被执行的，该过程在504开始。在506接收内容424，其中内容具有通过多个PID(例如，在这个例子中是PID 100和PID 101)识别的部分，这代表用于手语内容的位置的多种可能性。这种内容可以作为内容流被接收(就像在有线、卫星或互联网协议电视中)或者可以在打包媒体或可下载文件中存在。在任何情况下，在508，如果手语位置被选定，处理操作(诸如内容的重放或接收)就被启动，一般而言是利用用特定数据包标识符指定的主要节目内容。

[0122] 在510，过程在开始替代过程之前等待主要内容视频的下一个I-帧。这允许数据替代以独立的帧开始并且简化SLW与帧内编码问题的隔离。在512，从数据流过滤手语内容并且放到缓冲区中。缓冲区的尺寸可以小，从而保持最近接收的手语数据帧。在516，用于视频帧的数据处理被启动。当在520到达指定的手语替代位置时，在524，具有初始PID 101的手语内容被替代到(具有PID 100的)SLW位置，直到到达一片SLW位置的结束(或者作为替代，依赖于过程是如何配置的，直到到达SLW的结束)。

[0123] 当在528到达主要内容的结束时，过程在532结束。直到过程结束，控制从528传递到536，用于递增到下一个帧、窗口或片，以便为每个帧执行内容替代。

[0124] 在这个例子中，如果没有选择手语位置，则在510，主要节目内容可以被处理，无需在540的手语内容替代，并且过程在544结束。在其它实现中，举例来说并且如前面所讨论的，缺省位置可以被使用或者上一个选定的位置被使用，位置的选择以及是否显示手语窗口可以由用户确定。

[0125] 图17绘出了如所讨论的示例手语替代过程600的更高级抽象。在这个过程600中，在602开始，其后，在606，选择手语窗口位置(或者检索选择)。接收或检索数据流并且，如果在614选择了区域，则在616下一个I-帧，在618手语数据与主要节目内容通过(例如)PID过滤分离并且存储(否则的话，SL数据可以被丢弃)。在622，对于选定的手语窗口位置，调解位置(interceded location)内容被调解手语替代视频数据代替，以产生SL增强视频。然后，这种视频可以呈现给显示器、被存储、发送等等，并且过程在630结束。如果在614没有设置位置，则视频可以被处理，而无需在634的内容替代，并且过程在630结束。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0126] 因此，用于用手语翻译选择性地补充主要节目视频内容的装置具有视频接收器设备，被配置为接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联。主要节目视频内容具有其中多个位置被处理为接受手语视频内容替代的视频内容帧。用户接口构成视频接收器设备的一部分并且被配置为产生指示多个位置中用于显示手语视频内容的选定位置的用户选择的信号。内容代替电路构成视频接收器设备的一部分。响应于指示用户选择的信号，内容代替电路被配置为用手语内容替代选定位置的内容，以产生具有包含在选定位置的手语视频内容的子帧的视频帧。

[0127] 在某些示例实现中，多个位置是帧间编码的，从而仅依赖于在这多个位置当中每一个中存在的信息。在某些示例实现中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实现中，用户接口还被配置为产生指示不显示手语内容的用户选择的禁用信号；并且响应于该禁用信号，内容代替电路被配置为不用帧间编码的手语内容替代在所述多个位置当中任何位置的帧间编码的内容。在某些示例实现中，内容代替电路包括硬件内容代替状态机。在某些示例实现中，缓冲区被尺寸为存储手语视频内容的单个单元，其中这单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。在某些示例实现中，所接收的数据被排序，使得手语视频内容在编码在被处理为接受手语视频内容替代的多个位置的主要节目内容视频的数据之前被接收。在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实现中，该装置构成电视机顶盒的一部分。在某些示例实现中，主要节目内容和手语内容包括流化数据、数据文件和包含数据文件的打包媒体之一。

[0128] 用于利用手语翻译选择性地补充主要节目视频内容的另一种示例装置具有视频接收器设备，被配置为接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联。在某些示例实现中，主要节目视频内容具有其中多个位置被处理为接受手语视频内容替代的视频内容帧。这多个位置是帧间编码的，从而仅依赖于这多个位置当中每一个中存在的信息。手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。用户接口构成视频接收器设备的一部分，并且被配置为产生指示多个位置中用于显示手语视频内容的选定位置的用户选择的信号。内容代替电路构成视频接收器设备的一部分。内容代替电路被配置为用帧间编码的手语内容替代选定位置的帧间编码内容，以产生具有包含在选定位置的手语视频内容的子帧的视频帧。

[0129] 在某些示例实现中，用户接口还被配置为产生指示不显示手语内容的用户选择的禁用信号；并且响应于该禁用信号，内容代替电路被配置为不用帧间编码的手语内容替代在多个位置当中任何位置的帧间编码的内容。在某些示例实现中，内容代替电路包括硬件内容代替状态机。在某些示例实现中，缓冲区被尺寸为存储手语视频内容的单个单元，其中这单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。在某些示例实现中，所接收的数据被排序，使得手语视频内容在编码在被处理为接受手语视频内容替代的多个位置的主要节目内容视频的数据之前被接收。在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的刷新率。在某些示例实现中，该装置构成电视机顶盒的一部分。

[0130] 与某些示例实现一致的、利用手语翻译选择性地补充主要节目视频内容的方法涉及：在视频接收器设备，接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联；其中主要节目视频内容包括其中多个位置被处理为接受手语视频内容替代的视频内容帧；在视频接收器设备，接收指示多个位置中用于显示手语视频内容的选定位置的用户选择的信号；以及响应于接收到指示选定位置的用户选择的信号，在视频接收器设备中的内容代替电路，用手语内容替代选定位置的内容，以产生具有包含在选定位置的手语视频内容的子帧的视频帧。

[0131] 在某些示例实现中，多个位置是帧间编码的，从而仅依赖于在这多个位置当中每一个中存在的信息。在某些示例实现中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实现中，在视频接收器设备，接收指示不显示手语内容的用户选择的信号；并且响应于该信号，不用帧间编码的手语内容替代在所述多个位置当中任何位置的帧间编码的内容。在某些示例实现中，内容代替电路包括硬件内容代替状态机。在某些示例实现中，缓冲区被定尺寸为存储手语视频内容的单个单元，其中这单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。在某些示例实现中，所接收的数据被排序，使得手语视频内容在编码在被处理为接受手语视频内容替代的多个位置的主要节目内容视频的数据之前被接收。在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实现中，该过程是在电视机顶盒中执行的。

[0132] 用于利用位置可选择的手语图像编码数字视频的视频编码器具有主要节目音频/视频(A/V)内容的源和对应于主要节目A/V内容的音频的手语视频内容的源。数据包标识符(PID)映射器被配置为把第一PID映射到主要节目A/V内容的视频部分并且把第二PID映射到手语视频内容。重编码器被配置为重新编码主要节目A/V内容，以确立被指定为用于手语窗口的多个预定义的显示位置。多路复用器被配置为接收并多路复用重新编码的主要节目A/V内容和手语视频内容，以产生包含重新编码的主要节目A/V内容和手语视频内容的统一数据结构。

[0133] 在某些示例实现中，多个位置被重编码器帧间编码，从而仅依赖于在这多个位置当中每一个中存在的信息。在某些示例实现中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实现中，多路复用器多路复用数据，使得手语视频内容位于编码在被处理为接受手语视频内容替代的多个位置的主要节目内容视频的数据前面。在某些示例实现中，多路复用器还多路复用系统信息与手语内容和主要节目A/V内容。在某些示例实现中，时间同步器向手语视频内容数据并向主要节目A/V内容数据提供时间代码，其中相同的时间代码用于手语视频内容数据和主要节目A/V视频内容数据二者。在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实现中，主要节目内容和手语内容被编码为流化数据、数据文件或包含数据文件的打包媒体之一。

[0134] 这些过程中的许多变化是可能的。如以上所讨论的，编码可以一帧一帧地执行，其中图13中所示的数据布置代表用于完整一帧视频的数据。在这种情况下，缓冲是用于完整一帧视频。在另一种实现中，编码可以一个视频片一个视频片地执行，如图18中所绘出的。作为例子，考虑片156和158。用于片156的手语数据128在640被编码，就像其将在片156中的SLW 120或SLW 122中出现的，并且在640定位。这种数据可以被缓冲在缓冲区中，缓冲区至少和单个片中的手语数据一样大；由此，缓冲区尺寸可以非常小。在642的数据代表用于片
156的主要节目内容。如所说明的，用于片156的主要节目内容包括在SLW位置120(#1)左边和右边以及在SLW位置122(#2)右边的数据。用于SLW位置120的主要节目内容数据包在644对片156进行编码并且对于SLW位置122在646对于片156被编码。

[0135] 当所有内容都像对片156所示的那样编码后，片158的编码在648利用用于片158的手语视频数据包接着开始。这个过程对视频图像的所有片重复。当在片中没有遇到SLW时，视频图像正常编码，没有手语视频数据包并且没有编码的SLW视频编码。应当指出，一旦手语视频的片被编码过一次，它就被缓冲并且可被用于沿相同片遇到的任何SLW位置。如果使用更大的缓冲区，存储整个SLW视频帧的缓冲区，则手语视频的编码可以对任何后续片遇到的任何SLW存储并使用，因为画面是从左上到右下来处理的(例如，图7的SLW位置#3或#4，这个说明中未示出)。为了保持缓冲区尺寸小，手语视频数据可以对遇到的具有可能SLW的每一片进行一片一片地编码，因为画面是从左上到右下来处理的。

[0136] 现在转向图19，示出了与本发明某些实施例一致的、用于说明性内容代替状态机470的状态图，该图绘出了用于实现解码具有多个PID的传输流的解码器的一种机制。实现被设计为支持如在以上引用的专利申请中所描述的多个选择性加密的这种硬件状态机的设备是商业可用的，例如，集成电路的Broadcom BCM 7500和BCM7400系列，诸如7583、7584、
7400、7404、7418、7421、7422、7429以及由其它制造商制造的其它硬件状态机。这种电路被设计为处理Sony公司的 选择性加密数据包处理操作并且包括可被编程为结合
本示教使用的软传输处理的基于硬件的状态机。状态图的编号路径在以下表2中解释，其中具有PID A的内容是主要节目内容，而具有PID B的内容是手语内容(在以下也被称为主和次)“

[0137]路径号 条件
650 从初始状态的过渡
652 PID＝A:队列数据包
654 (PID＝B,Mode＝2):PID＝A:队列数据包
656 (PID＝B,Mode＝1):PID＝A:队列数据包
658 PID＝A:PID＝NULL
660 (PID＝B,Queue_on_Error):Error_IRQn
662 (PID＝B,Queue_on_Error):PID＝A:队列数据包:Error_IRQn
664 Decode_RSTn+MPEG传输错误
666 PID＝B:PID＝A:队列数据包
668 (PID＝B,Mode＝4):PID＝A:队列数据包
670 Decode_RSTn+MPEG传输错误
672 PID＝A:PID＝NULL
674 PID＝B:PID＝A:队列数据包
676 PID＝A:PID＝NULL
678 Decode_RSTn+MPEG传输错误

[0138] 表2–状态表

[0139] 这种状态机在以上列出的、通过引用被结合于此的交叉引用专利申请中描述。对于这种讨论，主PID是用于主要节目视频内容的PID(PID A)。次PID是用于手语视频内容的PID(PID B)。

[0140] 用次PID数据包代替主PID数据包被称为“替代模式”。次PID数据包可以插入流中，而不代替主PID数据包。这种模式被称为“插入模式”。实际上，解码器可以在其中这两个操作都同时处于活动的模式中被使用。这被称为“插入与删除模式”。所有三种离散的解码器模式是相互排斥的并且遵循一连串特定于每种模式的状态过渡。活动的模式是通过特定于解码器的变量mode来发信号通知的。如果mode的值被设置为零，则解码不被启用并且传输解码器状态机被绕过。如果mode的值无效(没有专门定义的状态)，则就像mode被设置为零那样采取相同的动作，即，传输解码器状态机被绕过。用于每种模式的状态过渡的定义如下详细描述。

[0141] 用于解码编码的传输流的算法在图19的状态机中体现。示出状态和状态等式/动作的Petri网可以结合以上的状态表从图19得出。该算法具有四种运算状态；系统主要留在状态1。只有当遇到包含影子PID(非主PID)的数据包时才进入状态2。依赖于系统模式，如通过在PSI中从头端器(headend)的消息传送确立的，可以采取到完全不同的第二个状态的不同路径。

[0142] 依赖于IC制造商的设备体系架构，状态机可以在硬件或软件中实现。编程处理器上的软件实现一般被预期提供设计中更大的灵活性。

[0143] 识别一种错误情况(非法状态过渡)。这个错误是除MPEG传输层错误，就像连续性计数、传输错误等等，之外的唯一错误。Error_IRQn是对没有中间传统数据包的两个相邻的阴影数据包的检测，其中n代表特定解码器的编号。依赖于特定于解码器的变量queue_on_error的设置，两个不同的操作会发生。如果变量被设置为真，则解码器将处理第二影子数据包(PID＝B)，就像在无错情况中一样。如果变量被设置为假，则第二影子数据包被丢弃。

[0144] 无论何时当数据包被插入或删除时，主流(PID＝A)的连续性计数(CC)将通过适当地调整CC来保留。decode_RSTn变量是非锁存位，可以通过配置寄存器来设置或者由其它函数访问，以强制解码器状态机n为已知状态。

[0145] 解码器传输处理算法的一种操作模式被称为替代模式。在这种模式下，通过用PID B代替PID A，具有PID B的数据包被插入传输流，以产生用于符合MPEG的传输流的输出数据包，其中该数据包具有包含匹配A的PID字段的期望内容数据包，其中A是之前在解码器的配置寄存器中定义的13位值。“无操作”对PID A数据包执行。在“原点(home)”状态，状态1，诸如508的A数据包变成诸如510的数据包、被发送到传输过滤器输出队列，供进一步处理，诸如A/V解压和显示。在模式1中，在接收到替代标记之后，当接收到具有匹配B的PID字段的MPEG数据包时，解码器状态机从状态1过渡到状态2A。B是之前在解码器的配置寄存器中定义的13位值。B代表要替代下一个出现的、具有匹配A的PID的数据包的次要或“影子”数据包。B数据包的PID值在插入流中之前变成A。替代的发生是因为，在过渡到状态2A时，B数据包内容被发送到传输过滤器输出队列。

[0146] 当接收到下一个A PID时，发生到状态1的返回。在这种情况下，它不入队列并且被转换成NULL(0x1fff)PID值，从而有效地从流中将其擦除，而不更改整个流的定时，就像被物理地除去时所发生的。返回到状态1还可以通过指示替代模式终止的另一个替代标记的接收来发信号通知。

[0147] 解码器传输处理算法的另一种操作模式被称为插入模式，对于具有包含匹配A的PID字段的期望内容数据包的符合MPEG的传输流，其中A是之前在解码器的配置寄存器中定义的13位值。在“原点”状态，状态1，A数据包被发送到传输过滤器输出队列，供进一步处理，诸如A/V解压和显示。在模式2中，解码器状态机从来不从状态1过渡。在接收到具有匹配B的PID字段的MPEG数据包时，其中B是之前在解码器的配置寄存器中定义的13位值，B代表要插入流中的次要或“影子”数据包，其中PID值变成A。在这种模式下，从状态1到状态2B的过渡会由于插入标记的接收而发生。PID B数据包就像PID A数据包一样被插入传输流。插入模式可以通过下一个插入标记的接收而终止。

[0148] 用于插入/删除模式的解码器传输处理算法是对于具有包含匹配A的PID字段的期望内容数据包的符合MPEG的传输流，其中A是之前在解码器的配置寄存器中定义的13位值。在“原点”状态，状态1，A数据包被发送到传输过滤器输出队列，供进一步处理，诸如A/V解压和显示和变成数据包。在模式4，当接收到具有匹配B的PID字段的MPEG数据包时，解码器状态机从状态1过渡到状态2B，其中B是之前在解码器的配置寄存器中定义的13位值，B代表要插入的次要或“影子”数据包，其中PID值变成匹配A。在处于状态2B时所接收的、其PID值匹配A的任何数据包将导致到状态3的过渡并且数据包PID变成NULL，从而有效地从传输流将其除去。所有在处于状态3时接收的、其PID匹配A的后续数据包都将导致其PID值也变成NULL。从状态1和到状态1的过渡可以分别通过插入/删除标记来启动和终止。在处于状态3时，具有PID B的数据包被转换成具有PID A的数据包。

[0149] 当下一个具有B PID值的数据包被接收时，发生到状态2B的返回，并且该数据包被排队并转换成A PID值。同样，当相应地下一个具有B PID值的数据包被接收时，发生从状态2B到状态1的返回，并且该数据包也被排队并转换成A PID值。

[0150] 在与本发明一致的方法中，私有信令可以被用来选择关于次PID的手语内容单元，同时接收关于主PID的主要节目内容。作为替代，私有信令可以被用来选择具有次PID的内容的多个单元，同时丢弃具有主PID的内容的单元。类似地，私有信令可以被用来选择具有次PID的多个内容单元，同时接收具有主PID的内容单元。而且，私有信令可以被用来从选择具有次PID的多个内容单元同时丢弃具有主PID的内容单元的模式切换成选择具有次PID的多个内容单元同时接收具有主PID的内容单元的模式。私有信令还可以被用来从选择具有次PID的多个内容单元同时接收具有主PID的多个内容单元的模式切换成选择具有次PID的多个内容单元同时丢弃具有主PID的内容单元的模式。

[0151] 具有次PID的内容单元可以在具有主PID的对应内容单元之前发送。替代操作可以通过在数据流中构成数据包适应层的一部分的私有信令被启动和终止。适应层可以在具有次PID、主PID或另一PID的数据包中。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0152] 诸如以上的解码器可以被结合到电视STB、机后盒、电视机、IPTV接收器或其它电视接收器设备中并且可以被用来向终端用户提供手语能力。现在参考图20，示出了用于数字电视机顶盒的示例性系统配置。用于这种STB的许多配置是可能的，并且所示出的STB只应被视为这种STB配置的示例。在这种示例性机顶盒中，传输介质704，诸如同轴电缆，通过合适的接口耦合到调谐器708。调谐器708可以，例如，包括用于接收视频内容的广播带内调谐器。然后，被格式化为例如MPEG-2信息的调制信息在解调器710被解调。在解调器710的输出端的解调信息被提供给手语代替电路714，在那里，信息被分成离散的节目通道。

[0153] 节目被划分成数据包，每个数据包具有把数据包识别为包含与特定节目相关的特定类型数据(例如，音频、视频、数据、手语数据)的PID。解密器(未示出)根据解密算法解密加密的信息，例如，以防止对节目内容的未经授权的访问。手语代替电路714可以在程序控制下以类似于由图19状态图所描述的解码器的方式操作，以执行如以上和以下所述的代替过程。

[0154] 来自714的音频数据包(利用音频PID识别的那些)被解密并转发到音频解码器718，在那里，它们可以被转换成模拟音频，以驱动扬声器系统(例如，立体声或家庭影院多声道音频系统)或其它音频系统722(例如，立体声或家庭影院多声道放大器和扬声器系统)或者可以仅仅在726提供解码的音频输出。来自714的视频数据包(利用视频PID识别的那些)被解密并转发到视频解码器730。以类似的方式，来自解复用器714的数据数据包(利用数据PID识别的那些)被解密并转发到数据解码器734。

[0155] 来自数据解码器734的解码的数据包经由系统总线734被发送到机顶盒的计算机系统。因此，控制计算机744可以经由系统总线734访问来自数据解码器734的解码的数据以及存储器746中的程序和数据。由视频解码器730解码的视频数据被传递到图形处理器748，其中图形处理器748是被优化为快速处理图形信息的计算机。图形处理器748在处理与因特网浏览、游戏和多媒体应用关联的，诸如与MHEG(多媒体和超媒体信息编码专家组)机顶盒应用关联的，图像密集数据时特别有用。但是，应当指出，图形处理器748的功能在一些具有较低能力的机顶盒设计中可能是不必要的，并且，在其中解码视频直接从714传递到视频编码器的一些应用中，图形处理器748的功能可以由控制计算机744处理。图形处理器748还耦合到系统总线738并且在控制计算机744的控制下操作。

[0156] STB 700可以以双向通信模式操作，使得数据和其它信息可以不仅从系统的头端器发送到终端用户，或者从服务提供商发送到STB 700的终端用户，而且利用带外通道从终端用户上游发送。在一种实施例中，这种数据通过系统总线738经由构成调谐器704一部分的双工器传递到调制器752并且通过传输介质704离开。这种能力被用来为STB 700和/或其用户提供向头端器发送信息(例如，服务请求或变化、注册信息，等等)以及提供与因特网的快速带外通信或者在头端器向终端用户提供的其它服务的机制。

[0157] 机顶盒700可以包括由I/O接口756表示的任何多种I/O(输入/输出)接口，该接口允许I/O设备互连到机顶盒700。作为例子，但不是限制，通用串行总线(USB)端口可以被提供，以启用到由STB 700的内部软件支持的任何合适的串行设备的互连。类似地，与适当兼容设备的通信可以通过以太网端口、端口、IEEE 1394(所谓的FireWireTM或i-linkTM)或IEEE 1394宽端口或者S-video端口、HDMI端口等等提供。红外线接口760提供与遥控器766的通信。这种接口可以被用来互连STB 700与任何各种附属设备，诸如存储设备、音频/视频设备、游戏设备(未示出)、因特网家用电器，等等。

[0158] I/O接口756还可以包括具有调制解调器端口的调制解调器(不论是拨号、线缆、DSL还是其它调制解调器技术)，以方便对因特网或其它数据通信功能的高速或备选访问。在一种实施例中，调制解调器端口是DOCSIS(电缆数据系统接口规范)电缆调制解调器的端口，以方便通过电缆系统的高速网络接入，并且端口适当地耦合到体现为同轴电缆的传输介质604。因此，STB 700可以经由DOCSIS电缆调制解调器执行与通过唯一IP地址识别的STB 
700的双向通信。DOCSIS规范是公开可获得的。

[0159] PS/2、蓝牙或其它键盘/鼠标/操纵杆接口可以被提供，以允许数据容易录入到STB 700。这种输入为用户提供利用指向设备容易地录入数据和/或导航的能力。诸如鼠标或操纵杆的指向设备可以在游戏应用中使用。

[0160] 当然，STB 700还可以结合可用于直接连接到电视机的视频输出，而不是(或附加到)IEEE 1394连接。在一种实施例中，视频输出可以提供被格式化为NTSC(国家电视系统委员会)视频的复合视频。在一些实施例中，视频输出可以通过直接连接到图形处理器748或手语代替电路714来提供，而不是像在示例性框图中所说明的那样经过系统总线738。

[0161] 红外线接口760从红外线遥控器766、红外线键盘或其它红外线控制设备接收命令。虽然没有明确示出，但是前面板控制可以在一些实施例中使用，以便通过前面板控制接口作为所提供的接口之一来直接控制STB 700的操作。选定的接口，诸如上述的那些及其它，可以根据要求或期望以各种组合在STB 700中提供。

[0162] 因此，参考图21，用手语翻译选择性地补充主要节目视频内容的方法涉及，在770，视频接收器设备接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联。在772，主要节目视频内容具有其中多个位置被处理为接受手语视频内容替代的视频内容帧。在774，视频接收器设备接收指示多个位置中用于显示手语视频内容的选定位置的用户选择的信号。在776，响应于接收到指示选定位置的用户选择的信号，在视频接收器设备中的内容代替电路，用帧间编码的手语内容替代选定位置的帧间编码内容，以产生具有包含在选定位置的手语视频内容的子帧的视频帧。

[0163] 在上述的讨论中，多个位置为手语内容的放置保留。在另一种与本示教一致的实施例中，一个或多个位置可以是在编码过程期间指定的单个位置。用于这种实施例的数据配置在图22中绘出，其中正常的主要节目内容被再次示为具有PID 100并且手语内容被示为具有PID 101。在这个例子中，主要节目内容780被正常编码，并且主要包括在手语窗口位置之外的内容。手语窗口位置既利用主要节目内容在784又利用手语内容在786编码。如在本说明的底部的数据包细分所描绘的，手语被交织到主要节目内容中，以便利用上述状态机的数据包代替规定基于一个数据对包一个数据包地提供内容的代替。有利的是，手语内容数据包可以紧挨着在当手语显示被启用的情况下将被代替的主要内容数据包的前面。这允许手语数据包被缓冲并准备好在当手语显示被启用时进行代替操作。

[0164] 虽然可提供多个位置，但是每个位置可以有助于所发送的数据量。在这个例子中，尺寸只有单个数据包的数据包缓冲区可以被用来缓冲手语数据包。用于手语的位置可以是屏幕上如由编码器确定的任何位置，并且甚至可以动态改变，以保持手语窗口处于最低限度地破坏主要内容图像的位置。而且，多个手语帧可以被显示，例如，为主要内容图像帧的每一个说话者提供一个解释人员。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0165] 示例数据布置具有在主要节目内容和要代替主要内容数据包的手语视频内容数据包之间交替的数据包流。数据包的次序可以有利地如所描绘的那样，但也可以根据期望把主要和手语数据包颠倒过来提供或者在其它布置中提供。

[0166] 在这个例子中，用户可以利用遥控器或利用菜单选择等进行选择，以便根据期望启用或禁用手语。当被启用时，命令解码器执行数据包替代过程，以便例如用PID 101数据包替代对应的PID 100数据包。当被禁用时，没有替代发生。以这种方式，用户能够通过手语内容的存在或不存在行使控制。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0167] 因此，参考图23，用手语翻译选择性地补充主要节目视频内容的方法涉及，在视频接收器设备，在804，接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联。在808，在视频接收器设备，接收器设备接收指示用户启用或禁用手语视频内容显示的信号。在812，响应于指示用户选择的信号，内容代替电路被配置为在手语视频内容的显示被启用时选择性地用手语内容替代主要节目视频内容，以便产生具有包含手语视频内容的子帧的视频帧。在816，响应于指示用户选择的信号，内容代替电路被配置为在手语视频内容的显示被禁用时不用手语内容替代主要节目视频内容。

[0168] 在另一种实现中，数据包交换不被使用。相反，提供基本上作为链接到主要视频通道的单独通道的较低分辨率的第二视频流，其可以叠加到主要视频上。这种实现以类似于“画中画”的方式操作。这个方案的缺点是将使用两个视频解码器，这可能导致增加的许可费用。

[0169] 因此，用手语翻译选择性地补充主要节目视频内容的示例性装置具有被配置成接收代表视频内容帧和音频的数据的视频接收器设备，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联。用户接口构成视频接收器设备的一部分，被配置为产生指示用户启用或禁用手语视频内容显示的信号。内容代替电路构成视频接收器设备的一部分。响应于指示用户选择的信号，内容代替电路被配置为在手语视频内容的显示被启用时选择性地用手语内容替代主要节目视频内容，以便产生具有包含手语视频内容的子帧的视频帧。响应于指示用户选择的信号，内容代替电路被配置为在手语视频内容的显示被禁用时不用手语内容替代主要节目视频内容。

[0170] 在某些示例实施例中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实施例中，内容代替电路包括硬件内容代替状态机。在某些示例实施例中，缓冲区被定尺寸为存储手语视频内容的单个单元，其中这单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。在某些示例实施例中，主要节目视频内容包括其中手语窗口的位置被处理为接受手语视频内容替代的视频内容帧。在某些示例实施例中，所接收的数据被排序，使得手语视频内容在编码在被处理为接受手语视频内容替代的位置的主要节目内容视频的数据之前被接收。在某些示例实施例中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实施例中，该装置构成电视机顶盒的一部分。在某些示例实施例中，主要节目内容和手语内容包括流化数据、数据文件或包含数据文件的打包媒体之一。

[0171] 用手语翻译选择性地补充主要节目视频内容的另一种示例性装置具有被配置成接收代表视频内容帧和音频的数据的视频接收器设备，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供音频内容到手语的翻译的手语视频内容关联。内容代替电路具有构成视频接收器设备的一部分的硬件状态机。用户接口构成视频接收器设备的一部分，被配置为产生指示用户启用或禁用手语视频内容显示的信号。一个或多个编程的处理器对由用户接口产生的信号作出响应，以控制内容代替电路：把内容代替电路配置为当信号指示手语视频内容的显示被启用时选择性地用手语内容替代主要节目视频内容，以产生具有包含手语视频内容的子帧的视频帧；并且把内容代替电路配置为当信号指示手语视频内容的显示被禁用时不用手语内容替代主要节目视频内容。

[0172] 在某些示例实施例中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实施例中，缓冲区被定尺寸为存储手语视频内容的单个单元，其中这单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。在某些示例实施例中，主要节目视频内容具有其中手语窗口的位置被处理为接受手语视频内容替代的视频内容帧。在某些示例实施例中，所接收的数据被排序，使得手语视频内容在编码在被处理为接受手语视频内容替代的位置的主要节目内容视频的数据之前被接收。在某些示例实施例中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实施例中，该装置构成电视机顶盒的一部分。

[0173] 利用手语翻译选择性地补充主要节目视频内容的方法的例子涉及：在视频接收器设备，接收代表视频内容帧和音频的数据，该数据具有多个数据包标识符(PID)，其中第一PID与主要节目视频内容关联，并且其中第二PID与提供将音频内容作为手语的解释的手语视频内容关联；在视频接收器设备，接收指示用户启用或禁用手语视频内容的显示的信号；并且响应于接收到指示用户选择的信号，把内容代替电路配置为当手语视频内容的显示被启用时选择性地用手语内容替代主要节目视频内容，以产生具有包含手语视频内容的子帧的视频帧；并且响应于接收到指示用户选择的信号，把内容代替电路配置为当信号手语视频内容的显示被禁用时不用手语内容替代主要节目视频内容。

[0174] 在某些示例实施例中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实施例中，主要节目视频内容包括其中预定位置被处理为接受手语视频内容替代的视频内容帧。在某些示例实施例中，内容代替电路包括硬件内容代替状态机。在某些示例实施例中，该过程还涉及存储手语视频内容的单个单元到被定尺寸以存储视频内容的单个单元的缓冲区，其中这单个单元包括手语视频内容数据包、手语视频内容子帧和手语视频内容片之一。在某些示例实施例中，所接收的数据被排序，使得手语视频内容在数据编码在被处理为接受手语视频内容替代的位置的主要节目内容视频的数据之前被接收。在某些示例实施例中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实施例中，该装置构成电视机顶盒的一部分。在某些示例实施例中，主要节目内容和手语内容包括流化数据、数据文件或包含数据文件的打包媒体之一。

[0175] 与某些实施例一致的、用可选择的手语图像编码数字视频的视频编码器的例子具有主要节目音频/视频(A/V)内容的源和对应于主要节目A/V内容的音频的手语视频内容的源。手语视频内容的尺寸和分辨率被缩放，以适合放在手语窗口中。数据包标识符(PID)映射器被配置为把第一PID映射到主要节目A/V内容的视频部分并且把第二PID映射到手语视频内容。重编码器被配置为重新编码主要节目A/V内容，以确立被指定为用于手语窗口的多个预定义的显示位置。多路复用器被配置为接收并多路复用重新编码的主要节目A/V内容和手语视频内容，以产生包含重新编码的主要节目A/V内容和手语视频内容的统一数据结构。

[0176] 在某些示例实施例中，预定义的显示位置被重编码器帧间编码，从而仅依赖于该预定义位置当中存在的信息。在某些示例实施例中，手语视频内容是帧间编码的，从而仅依赖于在手语视频内容中存在的手语视频数据。在某些示例实施例中，多路复用器多路复用数据，使得手语视频内容位于对在被处理为接受手语视频内容替代的预定义位置处的主要节目内容进行编码的数据前面。在某些示例实施例中，多路复用器还多路复用系统信息与手语内容和主要节目A/V内容。在某些示例实施例中，时间同步器向手语视频内容数据并向主要节目A/V内容数据提供时间代码，其中相同的时间代码用于手语视频内容数据和主要节目A/V视频内容数据。在某些示例实施例中，重编码器被配置为重新编码主要节目A/V内容，用于一个数据包一个数据包的替代；并且其中多路复用器利用在被指定为由手语视频数据包替代的对应主要节目A/V内容数据包之前的手语视频数据包，交织手语视频内容与重新编码后的主要节目A/V内容。在某些示例实施例中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实施例中，主要节目内容和手语内容包括流化数据、数据文件或包含数据文件的打包媒体之一。

[0177] 参考图24，在这种实现中，主要节目内容850和手语内容854在编码器侧作为两个单独的节目在858被多路复用到一起。手语内容被缩放到适当的尺寸，用于在SLW中呈现，在这个例子中，SLW是画中画窗口的尺寸。主要内容和手语内容可以利用相同的时间代码862进行编码，供在解码器侧的同步中使用。在一种实施例中，适应字段数据866(用户的私人数据)可以被用来在控制编码过程的处理器868的控制下链接主要节目内容与关联的手语内容。然后，这种多路复用被发送到解码器侧的接收器(例如，电视STB或其它电视接收器设备)。

[0178] 在解码器侧，基于两个流的PID值，接收到的多路复用在870被解复用为两个节目流。然后，这两个流在用于主要节目内容的解码器874和用于手语内容的解码器878被解码。然后，内容利用画中画处理882进行处理，以便在PIP窗口产生具有手语内容覆盖主要节目内容的输出886。

[0179] 关于常规的PIP，在PIP窗口中出现的内容在视频缩放电路890从全分辨率(如高清晰度或标准清晰度)按比例缩小至适合于PIP窗口覆盖的尺寸(例如，主要节目图像的尺寸的大约1/8至1/10)。但是，在这种实施例中，手语窗口已经被编码为尺寸减小的图像(例如，主要节目的尺寸的1/8-1/10)。因此，利用链接主要内容和手语内容的适应字段，链接信息利用适应字段数据866被传递到处理器894。在处理器894，适应数据被解释，以确定手语内容已经处于减小的尺寸并且不需要在视频缩放器890缩放。从而，处理器894在890禁用视频缩放，以允许在882手语内容的缩小尺寸的图像不经缩放地传递到PIP处理。此外，常规PIP处理常常允许在主要内容和画中画内容之间切换位置。由于可能不期望作为主要视频图像来显示较低分辨率的手语内容，因此，在某些实施例中，处理器894也可以把PIP窗口锁定到手语内容并且把更大的图像锁定到主要节目内容。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0180] 因此，与某些实现一致的、用手语翻译选择性地补充主要节目视频内容的示例性装置具有被配置成接收代表作为主要节目内容一部分的音频/视频(A/V)内容的数据的视频接收器设备，其中主要节目视频内容具有第一数据包标识符(PID)。视频接收器设备还被配置为接收代表音频内容的手语解释的手语视频内容数据，其中手语内容具有第二PID。用户接口构成视频接收器设备的一部分，被配置为产生指示用户启用或禁用手语视频内容显示的信号。画中画(PIP)电路被配置为选择性地生成利用手语视频内容覆盖主要节目内容的画中画窗口的显示。视频缩放器被配置为选择性地把输入信号缩小至PIP窗口的尺寸。处理器被配置为控制PIP电路和视频缩放器。响应于指示用户启用PIP窗口中手语视频的显示的信号，视频缩放器被禁用并且PIP电路被启用。响应于指示用户禁用PIP窗口中手语视频的显示的信号，PIP电路被禁用。

[0181] 在某些示例实现中，所接收的数据被排序，使得手语视频内容在编码主要节目内容的数据之前被接收到。在某些示例实现中，通过在主要节目内容和手语内容中使用相同的时间代码，手语内容同步到主要节目内容。在某些示例实现中，处理器被配置成确定主要节目内容和手语节目内容是通过读取适应字段数据来链接的。在某些示例实现中，解复用器基于它们各自的PID值分离主要节目内容与手语内容。在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实现中，该装置构成电视机的一部分。在某些示例实现中，主要节目内容和手语内容包括流化数据、数据文件或包含数据文件的打包媒体之一。

[0182] 与某些示例实施例一致的、利用可选择的手语图像编码数字视频的视频编码器具有主要节目音频/视频(A/V)内容的源和对应于主要节目A/V内容的音频的手语视频内容的源。手语视频内容的尺寸和分辨率被缩放，以适合放在手语窗口中。数据包标识符(PID)映射器被配置为把第一PID映射到主要节目A/V内容的视频部分并且把第二PID映射到手语视频内容。处理器被配置为利用用户私有数据生成适应字段作为链接具有第一PID的主要视频内容与具有第二PID的手语视频内容的系统信息的一部分。重编码器被配置为重新编码主要节目A/V内容，以确立被指定为用于手语窗口的预定义的显示位置。多路复用器被配置为接收并多路复用主要节目A/V内容和手语视频内容以及联系适应字段的系统信息，作为输出。

[0183] 在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实现中，多路复用器多路复用数据，使得手语视频内容位于编码主要节目内容视频的数据之前。在某些示例实现中，时间同步器向手语视频内容数据并向主要节目A/V内容数据提供时间代码，其中相同的时间代码用于手语视频内容数据和主要节目A/V内容数据。在某些示例实现中，主要节目内容和手语内容包括流化数据、数据文件或包含数据文件的打包媒体之一。

[0184] 参考图25，用手语解释选择性地补充主要节目视频内容的方法涉及，在视频接收器设备，在900接收代表音频/视频(A/V)内容的数据作为主要节目内容一部分，其中主要节目内容具有第一数据包标识符(PID)。视频接收器设备还被配置为在904接收代表音频内容的手语解释的手语视频内容数据并且手语视频内容具有第二PID。在视频接收器设备，在908接收指示用户启用或禁用手语视频内容的显示的信号。在912，响应于指示用户选择观看手语内容的信号，画中画(PIP)电路被配置为选择性地生成用手语视频内容覆盖主要节目内容的PIP窗口的显示。在916，响应于指示用户选择观看手语内容的信号，视频缩放器被禁用，以便不缩放手语内容。

[0185] 因此，用手语解释选择性地补充主要节目视频内容的方法涉及，在视频接收器设备，接收代表音频/视频(A/V)内容的数据作为主要节目内容一部分，其中主要节目内容具有第一数据包标识符(PID)。视频接收器设备还被配置为接收代表音频内容的手语解释的手语视频内容数据并且手语视频内容具有第二PID。在视频接收器设备，接收指示用户启用或禁用手语视频内容的显示的信号。响应于指示用户选择观看手语内容的信号，画中画(PIP)电路被配置为选择性地生成用手语视频内容覆盖主要节目内容的PIP窗口的显示。响应于指示用户选择观看手语内容的信号，视频缩放器被禁用，以便不缩放手语内容。

[0186] 在某些示例实现中，响应于指示用户选择不观看手语内容的信号，禁用PIP电路，从而不用手语内容覆盖主要节目视频内容。在某些示例实现中，响应于指示用户选择不观看手语内容的信号，启用视频缩放器。在某些示例实现中，所接收的数据被排序，使得手语视频内容在主要节目内容视频内容之前被接收。在某些示例实现中，通过在主要节目内容和手语内容中使用相同的时间代码，手语内容同步到主要节目内容。在某些示例实现中，该过程还涉及通过读取适应字段数据来确定主要节目内容和手语节目内容是链接的。在某些示例实现中，手语视频内容具有比主要节目A/V内容更低的帧频。在某些示例实现中，该方法是在电视机中执行的。

[0187] 现在参考图26，应当指出，存在其中手语内容和主要节目内容可从编码器侧传送到解码器侧的几种途径。在所绘出的一种情况下，视频流可以被编码，使得手语流920与主要内容流924分离。在这个例子中，单独的一个或一组数据包为手语内容提供，包括IP报头928，之后是识别流的字段，由标签和报头信息932组成。后续的数据936代表手语内容，例如，被编码为I-宏块或以别的方式被编码为独立数据。

[0188] 在这个例子中使用单独的一组数据包924，以IP报头940开始，之后是标签和报头信息，诸如MPEG-2传输流报头944。这个头部944之后是一个或多个携带主要节目内容的有效载荷的打包基本流(PES)层视频数据包。

[0189] 在备选实现中，主要节目内容和手语内容都可以利用相同的IP数据包传输，如在图27中所绘出的。在这里，数据流952被布置成具有IP报头956，之后是标签和报头信息960，例如，用于MPEG-2传输。这之后是在964代表诸如I-宏块的手语视频内容的PES层视频，使得手语数据在主要节目内容数据之前，其中主要节目内容数据在968在PES层视频中存在。以这种方式，主要节目内容和手语内容可以合并在一起，这有助于把内容链接在一起，并有助于确保手语内容首先到达，以供缓冲，从而准备好替代主要节目内容。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0190] 现在参考图28，绘出了如以上联系非PIP实现所描述的内容替代过程。对于这个例子，主要节目内容被示为1000，每个块代表具有PID A的内容，从而把内容识别为主要节目内容。在这个例子中，手语代替位置是作为适应字段1004中的私有数据提供的。在这个例子中，私有数据指定替代过程要使用的应用以及要替代的位置和字节数(在这个例子中是8个字节)。要被替代的字节被示为1008。以这种方式，编码器侧生成数据流1000和指定要被代替的内容的适应字段1004。

[0191] 在解码器侧，手语内容(由“SL”识别)作为流1012被接收，在这个时候，该流由PID B来识别。然后，这个手语内容的PID值在PID重映射器1016被重新映射并且重新映射后的手语内容，现在含有PIDA，存储在8字节的缓冲区1020中(缓冲区的尺寸设计为匹配要被代替的内容的量)。当状态机内容替代电路进行内容替代时，缓冲区1020的内容被插入流中，以代替被指定为1008的数据包。在这个8字节段1008的边界之外的数据包，诸如1024和1028，未改变，并且这个过程的输出是示为1032的流。

[0192] 在以上讨论的每一种实施例中，较低的帧频可以用于手语数据，以便进一步减小代表手语内容的数据的尺寸。例如，主要数据可以利用60或120帧每秒(fps)的帧频编码。手语内容可以利用30fps的帧频编码并且提供可接受的性能，以供手语窗口的显示，同时减少被编码和发送的数据量。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0193] 因此，内容替代和/或画中画技术被用来提供手语窗口，该手语窗口提供对主要节目音频/视频内容中音频内容的手语解释。手语窗口可以被不希望观看手语视频的用户选择性地禁用。而且，在一些实现中，用户可以将手语窗口移动到显示器上期望的位置。期望的位置可以是多个预定义的显示位置之一。借助本示教的考虑，其它变体将是本领域技术人员可以想到的。

[0194] 本领域技术人员将认识到，本发明已关于利用编程的处理器(例如，处理器416、458、744、868和894)的示例性实施例进行了描述。但是，本发明不应当局限于此，因为本发明可以利用硬件组件等效物来实现，诸如等效于所描述和要求保护的本发明的专用硬件和/或专用处理器。类似地，通用计算机、基于微处理器的计算机、微控制器、光学计算机、模拟计算机、专用处理器和/或专用硬连线逻辑可以被用来构建本发明的备选等效实施例。相反，某些设备已经关于状态机进行了描述并且这种状态机可以被实现为基于硬件或软件的状态机。而且，本领域技术人员将理解，联系以上示例性实施例描述的许多细节不应当被认为是限制性的，而是作为说明给出的。

[0195] 本领域技术人员将认识到，在不背离本发明的情况下，用于实现上述实施例的程序操作和相关的数据可以利用盘储存器以及其它形式的储存器来实现，诸如像只读存储器(ROM)设备、随机存取存储器(RAM)设备；光学存储元件、磁存储元件、磁-光存储元件、闪存存储器、核心存储器和/或其它等效的存储技术。这种备选的存储设备应当被认为是等效物。

[0196] 如在本文实施例中描述的本发明可以利用执行编程指令的编程的处理器执行，指令是以上广义描述的形式，可以存储在任何合适的电子存储介质或者以别的方式在任何计算机可读介质中存在。但是，本领域技术人员将认识到，在不背离本发明的情况下，上述过程可以在任意数量的变体中并且以许多合适的编程语言或者利用硬件等效物实现。例如，在不背离本发明的情况下，某些被执行的操作次序常常可以改变，另外的操作可以被添加或者操作可以被删除。在不背离本发明的情况下，错误俘获可以被添加和/或增强，并且变化可以在用户接口和信息呈现中进行。这些变化是预期的并且被认为是等效的。

[0197] 体现本发明某些方面的软件代码和/或数据可以在任何非临时性计算机可读介质或存储介质中存在，包括，但不限于，诸如以上所述的电子存储设备，以及存储代码和/或数据的光学信号和其它介质。在给出的示例性实施例中，使用了符合MPEG的数据包、片、宏块、表和其它数据结构，但是这些不应当被认为是限制性的，因为，在不背离本发明的情况下，其它数据结构可以类似地被使用。

[0198] 虽然本发明已经结合具体实施例进行了描述，但很明显，根据前面的描述，许多备选方案、修改、置换和变体将对本领域技术人员变得显而易见。从而，本发明意欲包括所有这些属于权利要求范围的备选方案、修改和变体。