记录设备、记录方法、回放设备和回放方法

摘要

本发明涉及记录设备、记录方法、回放设备、回放方法、程序和记录介质，其定义了通过根据例如H.264AVC/MVC简档标准执行编码而获得的从属视点视频流的GOP结构，并记录在诸如BD之类的记录介质中。基本视点视频流是H.264/AVC视频流。基本视点视频流的GOP结构是与BD-ROM标准中定义的、H.264 AVC/MVC视频流的GOP结构相同的结构。从属视点视频流的GOP结构也被定义为与基本视点视频流的GOP结构相同的结构。本发明适用于与BD-ROM标准兼容的回放设备。

权利要求

1.一种回放设备，包括：

读取单元，该读取单元从记录介质读取

基本流，所述基本流是通过利用H.264 AVC/MVC对从两个视点捕获的第一视频流和第二视频流中的第一视频流进行编码而获得的，以使得从一幅I图片到在解码次序中处于后一幅I图片前的紧邻的一幅图片的群组被当作一个单元，根据该单元之前的单元内的图片来预测该单元内的在显示次序上比所述I图片更晚的图片被禁止，并且根据该单元之前的单元内的图片来预测该单元内的在显示次序上比所述I图片更早的图片被禁止，扩充流，所述扩充流是通过利用H.264 AVC/MVC对所述第二视频流进行编码而获得的，以使得从一幅锚定图片到在解码次序中处于后一幅锚定图片前的紧邻的一幅图片的群组被当作一个单元，根据在该单元之前的单元内的图片来预测该单元内的在显示次序上比所述锚定图片更晚的图片被禁止，并且根据在该单元之前的单元内的图片来预测该单元内的在显示次序上比所述锚定图片更早的图片被禁止，第一表信息，其中，所述I图片的显示时间被与在所述基本流上的位置相关联，以及第二表信息，其中，所述锚定图片的显示时间被与在所述扩充流上的位置相关联；以及解码单元，该解码单元基于所述第一表信息对从所述记录介质读取的所述基本流从预定I图片起进行解码，并且基于所述第二表信息对所述扩充流从与所述预定I图片的显示时间相同的显示时间处的锚定图片起进行解码。

2.根据权利要求1所述的回放设备，还包括：

第一分离单元，该第一分离单元基于被分配作为固定值的第一PID从自所述记录介质读取的第一传输流分离出构成所述基本流的分组；

第二分离单元，该第二分离单元基于被分配作为固定值的第二PID从自所述记录介质读取的第二传输流分离出构成所述扩充流的分组；

第一缓冲器，该第一缓冲器存储由所述第一分离单元分离出的所述基本流的分组；以及

第二缓冲器，该第二缓冲器存储由所述第二分离单元分离出的所述扩充流的分组，其中，所述解码单元对其分组存储在所述第一缓冲器中的所述基本流进行解码，并且对其分组存储在所述第二缓冲器中的所述扩充流进行解码。

3.根据权利要求2所述的回放设备，还包括：

第三缓冲器，该第三缓冲器存储已通过解码获得的构成所述基本流的每幅图片的数据和构成所述扩充流的每幅图片的数据；以及输出单元，该输出单元将存储在所述第三缓冲器中的构成所述基本流的每幅图片的数据输出作为用于左眼和右眼的图片中的一者的数据，并且将存储在所述第三缓冲器中的构成所述扩充流的每幅图片的数据输出作为用于所述左眼和右眼的图片中的另一者的数据。

4.一种回放方法，包括以下步骤：

从记录介质读取

基本流，所述基本流是通过利用H.264 AVC/MVC对从两个视点捕获的第一视频流和第二视频流中的第一视频流进行编码而获得的，以使得从一幅I图片到在解码次序中处于后一幅I图片前的紧邻的一幅图片的群组被当作一个单元，根据该单元之前的单元内的图片来预测该单元内的在显示次序上比所述I图片更晚的图片被禁止，并且根据该单元之前的单元内的图片来预测该单元内的在显示次序上比所述I图片更早的图片被禁止，扩充流，所述扩充流是通过利用H.264 AVC/MVC对所述第二视频流进行编码而获得的，以使得从一幅锚定图片到在解码次序中处于后一幅锚定图片前的紧邻的一幅图片的群组被当作一个单元，根据在该单元之前的单元内的图片来预测该单元内的在显示次序上比所述锚定图片更晚的图片被禁止，并且根据在该单元之前的单元内的图片来预测该单元内的在显示次序上比所述锚定图片更早的图片被禁止，第一表信息，其中，所述I图片的显示时间被与在所述基本流上的位置相关联，以及第二表信息，其中，所述锚定图片的显示时间被与在所述扩充流上的位置相关联；

基于所述第一表信息对从所述记录介质读取的所述基本流从预定I图片起进行解码；

以及

基于所述第二表信息对所述扩充流从与所述预定I图片的显示时间相同的显示时间处的锚定图片起进行解码。

5.一种记录方法，包括以下步骤：

创建

基本流，所述基本流是通过利用H.264 AVC/MVC对从两个视点捕获的第一视频流和第二视频流中的第一视频流进行编码而获得的，以使得从一幅I图片到在解码次序中处于后一幅I图片前的紧邻的一幅图片的群组被当作一个单元，根据该单元之前的单元内的图片来预测该单元内的在显示次序上比所述I图片更晚的图片被禁止，并且根据该单元之前的单元内的图片来预测该单元内的在显示次序上比所述I图片更早的图片被禁止，扩充流，所述扩充流是通过利用H.264 AVC/MVC对所述第二视频流进行编码而获得的，以使得从一幅锚定图片到在解码次序中处于后一幅锚定图片前的紧邻的一幅图片的群组被当作一个单元，根据在该单元之前的单元内的图片来预测该单元内的在显示次序上比所述锚定图片更晚的图片被禁止，并且根据在该单元之前的单元内的图片来预测该单元内的在显示次序上比所述锚定图片更早的图片被禁止，第一表信息，该第一表信息与将由回放设备使用的所述基本流一起被读取以用于解码所述基本流，其中，所述I图片的显示时间被与在所述基本流上的位置相关联，以及第二表信息，该第二表信息与将由所述回放设备使用的所述扩充流一起被读取以用于解码所述扩充流，其中，所述锚定图片的显示时间被与在所述扩充流上的位置相关联；以及将所创建的基本流、所述扩充流、所述第一表信息和所述第二表信息记录在记录介质中。

说明书

记录设备、记录方法、回放设备 和回放方法

[0001] 本申请是国家申请号为201210045608.7、申请日为2010年4月2日、题为“记录设备、记录方法、回放设备、回放方法、程序和记录介质”的发明专利申请的分案申请。其中，该国家申请号为201210045608.7的发明专利申请又是国际申请号为PCT/JP2010/056079、国际申请日为2010年4月2日、国家申请号为201080001729.0、题为“记录设备、记录方法、回放设备、回放方法、程序和记录介质”的发明专利申请的分案申请。

技术领域

[0002] 本发明涉及记录设备、记录方法、回放设备、回放方法、程序和记录介质，更具体而言涉及使得能定义通过例如根据H.264AVC/MVC简档标准进行编码而获得的从属视点视频流(Dependent view video stream)的GOP结构并记录在诸如BD之类的记录介质中的记录设备、记录方法、回放设备、回放方法、程序和记录介质。

背景技术

[0003] 二维图像内容是内容的主流，例如电影等，但是近来，实现立体视觉景象的立体视觉图像内容已被关注。

[0004] 为了显示立体视觉图像必须要有专用设备，例如包括由NHK(日本广播公司)开发的IP(积分照相)立体视觉图像系统的立体视觉设备。

[0005] 立体视觉图像的图像数据包括多视点图像数据(从多个视点拍摄的图像的图像数据)，视点数目越多，视点覆盖的范围越广，物体就可以从更多个方向被看到，从而可以实现一类“可以看到深度的电视”。

[0006] 在立体视觉图像中，视点数目最少的是两个视点的立体图像(也称作3D图像)。立体图像的图像数据包括作为由左眼观看的图像的左图像的数据和作为由右眼观看的图像的右图像的数据。

[0007] 另一方面，高分辨率图像内容具有较大的数据量，因此为了记录这种大数据量内容，大容量记录介质是必需的。

[0008] 作为这种大容量记录介质，有Blu-Ray(蓝光)(注册商标)盘(下文也称作BD)，例如BD(Blu-Ray(注册商标))-ROM(只读存储器)等。

[0009] 引用列表

[0010] 专利文献

[0011] PTL 1：日本未实审专利申请公开No.2005-348314

发明内容

[0012] 技术问题

[0013] 顺便提及，在BD标准中，尚未规定如何记录包括立体图像在内的立体视觉图像的图像数据到BD中或者如何播放它。

[0014] 例如，立体图像的图像数据包括两个数据流：左图像的数据流和右图像的数据流。因此，除非定义并匹配这两种数据流的GOP结构，否则可能导致不便。

[0015] 考虑到这种情形作出了本发明，本发明使得能定义通过例如根据H.264 AVC/MVC简档标准进行编码而获得的从属视点视频流的GOP结构并记录在诸如BD之类的记录介质中。

[0016] 解决问题的方案

[0017] 根据本发明第一方面的记录设备包括：编码装置，配置来以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片，来对一个视频流进行编码，并且输出通过编码而获得的流，作为与基本流一起用于显示3D图像的扩充流；创建装置，配置来创建第一表信息，该第一表信息将所述可独立解码图片的显示时间点与在所述扩充流上的位置相关联；以及记录装置，配置来将所述扩充流和所述第一表信息记录在记录介质中。

[0018] 该记录设备还包括：分组化装置，配置来将所述扩充流划分成预定大小的各个分组。在该情形中所述创建装置可以创建其中以分组单元表示所述扩充流上的位置的第一表信息，并且所述记录装置可以将经分组化的扩充流记录到所述记录介质中。

[0019] 所述编码装置还可以从可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片，来对另一个视频流进行编码，并且输出通过编码而获得的流，作为所述基本流。

[0020] 所述创建装置还可以创建第二表信息，该第二表信息将所述基本流的所述可独立解码图片的显示时间点与所述基本流上的位置相关联，并且所述记录装置还可以将所述基本流和所述第二表信息记录在记录介质中。

[0021] 所述创建装置可以创建包括第一子表和第二子表的所述第一表信息，所述第一子表将粗略时间点与所述扩充流上的位置相关联，而所述第二子表将具体时间点与所述扩充流上的位置相关联。

[0022] 所述编码装置可以基于H.264 AVC/MVC简档标准执行编码，并且所述扩充流的可独立解码图片可以是锚定图片。

[0023] 所述编码装置可以基于H.264 AVC/MVC简档标准执行编码，所述基本流的可独立解码图片可以是I图片，并且所述扩充流的可独立解码图片可以是与所述I图片相对应的锚定图片。

[0024] 所述记录设备还可以包括复用装置，配置来将所述基本流和所述扩充流复用成同一个流或者分别与其他数据复用成不同的流。

[0025] 根据本发明第一方面的一种记录方法包括以下步骤：以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片，来对一个视频流进行编码，并且输出通过编码而获得的流，作为与基本流一起用于显示3D图像的扩充流；创建第一表信息，该第一表信息将所述可独立解码图片的显示时间点与在所述扩充流上的位置相关联；以及 将所述扩充流和所述第一表信息记录在记录介质中。

[0026] 根据本发明第一方面的一种程序，使计算机执行包括以下步骤的处理：以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片，来对一个视频流进行编码，并且输出通过编码而获得的流输出，作为与基本流一起用于显示3D图像的扩充流；创建第一表信息，该第一表信息将所述可独立解码图片的显示时间点与在所述扩充流上的位置相关联；以及将所述扩充流和所述第一表信息记录在记录介质中。

[0027] 根据本发明第二方面的一种回放设备包括：读取装置，配置来从记录了扩充流和第一表信息的记录介质读取数据，所述扩充流是以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对一个视频流进行编码而生成的，并且与基本流一起用于显示3D图像，所述第一表信息将所述可独立解码图片的显示时间点与在所述扩充流上的位置相关联；以及解码装置，配置来基于所述第一表信息，对从所述记录介质读取的所述扩充流从与预定时间点相对应的位置起进行解码。

[0028] 可以基于所述第一表信息执行对所述扩充流的随机访问。

[0029] 所述读取装置还可以从所述记录介质读取基本流和第二表信息，所述基本流是以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对另一个视频流进行编码而生成的，并且所述第二表信息将所述可独立解码图片的显示时间点与在所述基本流上的位置相关联，并且其中所述解码装置基于所述第二表信息，对从所述记录介质读取的所述基本流从与预定时间点相对应的位置起进行解码。

[0030] 所述扩充流可以通过被划分成预定大小的各个分组而被记录在所述记 录介质上，并且在所述第一表信息中，以分组单元来表示所述扩充流。

[0031] 所述第一表信息可以包括第一子表和第二子表，所述第一子表将粗略时间点与所述扩充流上的位置相关联，而所述第二子表将具体时间点与所述扩充流上的位置相关联，并且所述回放设备还可以包括：控制装置，配置来基于指定的回放时间点从所述第一子表中搜索粗略时间点，基于搜索到的粗略时间点从所述第二子表中搜索具体时间点，利用搜索到的具体时间点获得所述扩充流中与所述回放时间点相对应的解码位置。

[0032] 所述扩充流可以是通过基于H.264AVC/MVC简档标准执行编码而获得的流，并且所述扩充流的可独立解码图片可以是锚定图片。

[0033] 所述扩充流和所述基本流每个都可以是基于H.264AVC/MVC简档标准执行编码而获得的流，所述基本流的可独立解码图片可以是I图片，并且所述扩充流的可独立解码图片可以是与所述I图片相对应的锚定图片。

[0034] 所述基本流和所述扩充流可以以被复用成同一个流或者分别与其他数据复用成不同的流的方式被记录在所述记录介质中。

[0035] 根据本发明第二方面的一种回放方法包括：从记录了扩充流和表信息的记录介质读取数据，所述扩充流是以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对一个视频流进行编码而生成的，并且与基本流一起用于显示3D图像，所述表信息将所述可独立解码图片的显示时间点与在所述扩充流上的位置相关联；以及基于所述表信息，对从所述记录介质读取的所述扩充流从与预定时间点相对应的位置起进行解码。

[0036] 根据本发明第二方面的一种记录介质，使计算机执行包括以下步骤的处理：从记录了扩充流和表信息的记录介质读取数据，所述扩充流是以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对一个视频流进行编码而生成的，并且与基本流一起用于 显示3D图像，所述表信息将所述可独立解码图片的显示时间点与在所述扩充流上的位置相关联；以及基于所述表信息，对从所述记录介质读取的所述扩充流从与预定时间点相对应的位置起进行解码。

[0037] 根据本发明第三方面的一种记录介质，其中记录了：扩充流，所述扩充流是以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对一个视频流进行编码而生成的，并且与基本流一起用于显示3D图像；第一表信息，所述第一表信息将所述扩充流的可独立解码图片的显示时间点与在所述扩充流上的位置相关联；基本流，所述基本流是以从一幅可独立解码图片到在解码次序中处于将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过禁止根据在显示次序上比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对另一个视频流进行编码而生成的；以及第二表信息，所述第二表信息将所述基本流的可独立解码图片的显示时间点与在所述基本流上的位置相关联。

[0038] 在本发明的第一方面中，以从一幅可独立解码图片到在解码次序中将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过防止根据比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对一个视频流进行编码，并且通过该编码而获得的流被输出为要与基本流一起用于显示3D图像的扩充流。另外，创建了将所述可独立解码图片的显示时间点与所述扩充流上的位置相关联的表信息，并且所述扩充流和所述表信息被记录到记录介质中。

[0039] 在本发明的第二方面中，从记录了扩充流和表信息的记录介质读取数据，所述扩充流是以从一幅可独立解码图片到在解码次序将来的下一幅可独立解码图片前紧邻的一幅图片的群组为一个单元，通过防止根据比该单元更早的单元内的图片来预测该单元内的在显示次序上比所述可独立解码图片更晚的图片来对一个视频流进行编码而生成的，并且与基本流一起用于显示3D图像，所述表信息将所述可独立解码图片的显示时间点与所述 扩充流上的位置相关联。另外，基于所述表信息对自所述记录介质读取的所述扩充流从与预定时间点相对应的位置起进行解码。

[0040] 本发明的有益效果

[0041] 根据本发明，可以定义通过根据例如H.264AVC/MVC简档标准进行编码而获得的从属视点视频流的GOP结构并记录在诸如BD之类的记录介质中。

附图说明

[0042] 图1示出了包括本发明被应用到的回放设备的回放系统的配置示例。

[0043] 图2示出了拍摄示例。

[0044] 图3的框图示出了MVC编码器的配置示例。

[0045] 图4示出了参考图像的示例。

[0046] 图5示出了TS的配置示例。

[0047] 图6示出了TS的另一个配置示例。

[0048] 图7示出了TS的又一个配置示例。

[0049] 图8示出了AV流管理的示例。

[0050] 图9示出了主路径(Main Path)和辅路径(Sub Path)的结构。

[0051] 图10示出了要记录到光盘中的文件的管理结构的示例。

[0052] 图11示出了PlayList(播放列表)文件的语法。

[0053] 图12示出了如何使用图11中的reserved_for_future_use的示例。

[0054] 图13示出了3D_PL_type的值的含义。

[0055] 图14示出了view_type的值的含义。

[0056] 图15示出了图11中的PlayList()的语法。

[0057] 图16示出了图15中的SubPath()的语法。

[0058] 图17示出了图16中的SubPlayItem(i)的语法。

[0059] 图18示出了图15中的PlayItem()的语法。

[0060] 图19示出了图18中的STN_table()的语法。

[0061] 图20示出了回放设备的配置示例。

[0062] 图21示出了图20中的解码器单元的配置示例。

[0063] 图22示出了用于执行视频流处理的配置。

[0064] 图23示出了用于执行视频流处理的配置。

[0065] 图24示出了用于执行视频流处理的另一个配置。

[0066] 图25示出了访问单元(Access Unit)的示例。

[0067] 图26示出了用于执行视频流处理的又一个配置。

[0068] 图27示出了合成单元及其前级的配置。

[0069] 图28是示出了合成单元及其前级的配置的另一个图。

[0070] 图29的框图示出了软件装配处理单元的配置示例。

[0071] 图30示出了包括软件装配处理单元的各个配置的示例。

[0072] 图31示出了要提供给记录设备的3D视频TS生成单元的配置示例。

[0073] 图32示出了要提供给记录设备的3D视频TS生成单元的另一个配置示例。

[0074] 图33示出了要提供给记录设备的3D视频TS生成单元的又一个配置示例。

[0075] 图34示出了用于对访问单元进行解码的回放设备侧的配置。

[0076] 图35示出了解码处理。

[0077] 图36示出了封闭GOP(Close GOP)结构。

[0078] 图37示出了开放GOP(Open GOP)结构。

[0079] 图38示出了一个GOP内的帧/场的最大数目。

[0080] 图39示出了封闭GOP结构。

[0081] 图40示出了开放GOP结构。

[0082] 图41示出了设置给EP_map的解码开始位置的示例。

[0083] 图42示出了在未定义从属(Dependent)视点视频的GOP结构时导致的问题。

[0084] 图43示出了图片搜索的概念。

[0085] 图44示出了记录在光盘上的AV流的结构。

[0086] 图45示出了ClipAV流的示例。

[0087] 图46在概念上示出了与图45中的ClipAV流相对应的EP_map。

[0088] 图47示出了由SPN_EP_start指示的源分组的数据结构的示例。

[0089] 图48示出了EP_map中包括的子表。

[0090] 图49示出了条目PTS_EP_coarse和条目PTS_EP_fine的格式的示例。

[0091] 图50示出了条目SPN_EP_coarse和条目SPN_EP_fine的格式的示例。

[0092] 图51示出了访问单元的配置。

[0093] 图52的框图示出了记录设备的配置示例。

[0094] 图53的框图示出了图52中的MVC编码器的配置示例。

[0095] 图54的流程图描述了记录设备的记录处理。

[0096] 图55的流程图描述了在图54的步骤S2中执行的编码处理。

[0097] 图56的框图示出了回放设备的配置示例。

[0098] 图57的框图示出了图56中的MVC解码器的配置示例。

[0099] 图58的流程图描述了回放设备的回放处理。

[0100] 图59的流程图描述了在图58中的步骤S32中执行的解码处理。

[0101] 图60的流程图描述了从图59继续的在图58中的步骤S32中执行的解码处理。

[0102] 图61的流程图描述了回放单元的随机访问回放处理。

[0103] 图62示出了基本(Base)视点视频流和从属视点视频流的状态。

[0104] 图63示出了基本视点视频流的HRD参数的编码位置的示例。

[0105] 图64示出了将HRD参数编码在图63中示出的位置时的描述格式。

[0106] 图65示出了基本视点视频流的max_dec_frame_buffering的编码位置的示例。

[0107] 图66示出了将max_dec_frame_buffering编码在图65中示出的位置时的描述格式。

[0108] 图67示出了从属视点视频流的HRD参数的编码位置的示例。

[0109] 图68示出了将HRD参数编码在图67中示出的位置时的描述格式。

[0110] 图69示出了将HRD参数编码在图67中示出的位置时的另一个描述格式。

[0111] 图70示出了从属视点视频流的max_dec_frame_buffering的编码位置的示例。

[0112] 图71示出了将max_dec_frame_buffering编码在图70中示出的位置时的描述格式。

[0113] 图72示出了将max_dec_frame_buffering在图70中示出的位置时的另一个描述格式。

[0114] 图73的流程图描述了记录设备的记录处理。

[0115] 图74的流程图描述了回放设备的回放处理。

[0116] 图75示出了参数的一个设置示例。

[0117] 图76示出了参数的另一个设置示例。

[0118] 图77的框图示出了MVC解码器的另一个配置示例。

[0119] 图78示出了参数的又一个设置示例。

[0120] 图79示出了参数的一个设置示例。

[0121] 图80示出了参数的另一个设置示例。

[0122] 图81示出了参数的又一个设置示例。

[0123] 图82示出了验证设备。

[0124] 图83示出了HRD的功能配置。

[0125] 图84示出了验证示例。

[0126] 图85示出了另一个验证示例。

[0127] 图86示出了view_type的描述示例。

[0128] 图87示出了view_type的另一个描述示例。

[0129] 图88的框图示出了计算机的硬件的配置示例。

具体实施方式

[0130] <第一实施例>

[0131] [回放系统的配置示例]

[0132] 图1示出了包括本发明被应用到的回放设备1的回放系统的配置示例。

[0133] 如图1所示，该回放系统包括通过HDMI(高清多媒体接口)线缆等连接的回放设备1和显示设备3。诸如BD之类的光盘2被安装到回放设备1。

[0134] 显示视点数目为2的立体图像(也称作3D图像)所必需的流记录在光盘2中。

[0135] 回放设备1是与记录在光盘2中的流的3D回放兼容的播放机。回放设备1播放光盘2中记录的流，并且在由电视接收机等构成的显示设备3上显示通过回放获得的3D图像。回放设备1以同样的方式播放音频，并且从提供给显示设备3的扬声器等中输出。

[0136] 已提出了多种方法作为3D图像显示方法。现在，将采用下面的type-1显示方法和type-2显示方法作为3D图像显示方法。

[0137] type-1显示方法是这样一种方法，其中3D图像的数据包括由左眼观看的图像(L图像)的数据和由右眼观看的图像(R图像)的数据，并且通过交替显示L图像和R图像来显示3D图像。

[0138] type-2显示方法是一种通过显示利用原始图像的数据和Depth(深度)数据生成的L图像和R图像来显示3D图像的方法，其中原始图像是用作用于生成3D图像的起源的图像。type-2显示方法要使用的3D图像的数据包括原始图像的数据、以及可以通过提供给其的原始图像来生成L图像和R图像的Depth数据。

[0139] type-1显示方法是在观看和收听时需要眼镜的显示方法。而type-2显示方法是可以不需要眼镜来观看和收听3D图像的显示方法。

[0140] 流被记录到光盘2中，从而可以利用type-1显示方法和type-2显示方法方法之一来显示3D图像。

[0141] 例如H.264 AVC(高级视频编码)/MVC(多视点视频编码)简档标准被用作用于对光盘2中的这种流进行记录的编码方法。

[0142] [H.264AVC/MVC简档]

[0143] 在H.264AVC/MVC简档标准中，定义了称作基本视点视频的图像流和称作从属视点视频的图像流。此后，将H.264 AVC/MVC简档标准适当地简称为MVC。

[0144] 图2示出了拍摄示例。

[0145] 如图2所示，通过将同一物体作为对象来利用用于L图像的相机和用 于R图像的相机执行拍摄。由用于L图像的相机和用于R图像的相机拍摄的视频的基础流(elementary stream)被输入到MVC编码器。

[0146] 图3的框图示出了MVC编码器的配置。

[0147] 如图3所示，MVC编码器11包括H.264/AVC编码器21、H.264/AVC解码器22、Depth计算单元23、从属视点视频编码器24和复用器25。

[0148] 由用于L图像的相机拍摄的视频#1的流被输入到H.264/AVC编码器21和Depth计算单元23。另外，由用于R图像的相机拍摄的视频#2的流被输入到Depth计算单元23和从属视点视频编码器24。也可以作出另一种布置，其中视频#2的流被输入到H.264/AVC编码器21和Depth计算单元23，而视频#1的流被输入到Depth计算单元23和从属视点视频编码器24。

[0149] H.264/AVC编码器21将视频#1的流编码成例如H.264 AVC/高级简档视频流。H.264/AVC编码器21将经编码获得的AVC视频流作为基本视点视频流，输出到H.264/AVC解码器22和复用器25。

[0150] H.264/AVC解码器22对自H.264/AVC编码器21提供来的AVC视频流进行解码，并且将经解码获得的视频#1的流输出到从属视点视频编码器24。

[0151] Depth计算单元23基于视频#1的流和视频#2的流计算Depth，并且将计算出的Depth数据输出到复用器25。

[0152] 从属视点视频编码器24对自H.264/AVC解码器22提供来的视频#1的流和外部输入的视频#2的流进行编码，并输出从属视点视频流。

[0153] 对于基本视点视频，不允许利用另一个流作为参考图像的预测编码，但是如图4所示，对于从属视点视频，允许利用基本视点视频作为参考图像的预测编码。例如，在L图像作为基本视点视频并且R图像作为从属视点视频的情况下执行了编码时，作为编码结果获得的从属视点视频流的数据量小于基本视点视频流的数据量。

[0154] 注意，根据利用H.264/AVC的编码，已对基本视点视频执行了时间方向上的预测。另外，同样对于从属视点视频，与视点之间的预测一起执行了时间方向上的预测。为了解码从属视点视频，需要先完成对对应的基本 视点视频的解码，因为基本视点视频在编码时曾被作为参考目标。

[0155] 从属视点视频编码器24将通过利用这种视点间预测编码而获得的从属视点视频流输出到复用器25。

[0156] 复用器25将自H.264/AVC编码器21提供来的基本视点视频流、自Depth计算单元23提供来的从属视点视频流(Depth的数据)和自从属视点视频编码器24提供来的从属视点视频流复用成例如MPEG2TS。基本视点视频流和从属视点视频流可以被复用到单个MPEG2 TS中，或者可以被包括在分离的MPEG2TS中。

[0157] 复用器25输出所生成的TS(MPEG2 TS)。从复用器25输出的TS与其他管理数据一起被记录到记录设备中的光盘2中，并且以记录在光盘2中的方式被提供给回放设备1。

[0158] 如果需要将在type-1显示方法中与基本视点视频一起使用的从属视点视频和在type-2显示方法中与基本视点视频一起使用的从属视点视频(Depth)区分开，则前者将称作D1视点视频，而后者称作D2视点视频。

[0159] 另外，要利用基本视点视频和D1视点视频执行的type-1显示方法中的3D回放将称作B-D1回放。要利用基本视点视频和D2视点视频执行的type-2显示方法中的3D回放将称作B-D2回放。

[0160] 如果根据用户等的指令执行B-D1回放，则回放设备1从光盘2读取并播放基本视点视频流和D1视点视频流。

[0161] 同样，如果执行B-D2回放，则回放设备1从光盘2读取并播放基本视点视频流和D2视点视频流。

[0162] 此外，如果执行一般2D图像的回放，则回放设备1从光盘2单独读取并播放基本视点视频流。

[0163] 基本视点视频流是通过H.264/AVC编码的AVC视频流，因此，只要回放设备1是与BD格式兼容的播放机，回放设备1就可以播放其基本视点视频流来显示2D图像。

[0164] 下面将在原理上描述从属视点视频是D1视点视频的情形。在仅被称作从属视点视频时，代表D1视点视频。D2视点视频也以与D1视点视频 相同的方式记录在光盘2中，并被播放。

[0165] [TS的配置示例]

[0166] 图5示出了TS的配置示例。

[0167] 基本视点视频、从属视点视频、主音频、基本PG、从属PG、基本IG和从属IG中的每个的流都被复用到图5中的主TS中。如上所述，从属视点视频流可以与基本视点视频流一起被包括在主TS中。

[0168] 主TS和辅TS被记录到光盘2中。主TS是至少包括基本视点视频流的TS。辅TS是要与主TS一起使用的、包括基本视点视频流之外的流的TS。

[0169] 基本视点和从属视点的流中的每个针对后面将描述的PG和IG被准备，使得3D中的显示与视频相同的方式可用。

[0170] 通过对每个流进行解码而获得的PG和IG的基本视点的平面经过与通过对基本视点视频流进行解码而获得的基本视点视频的平面合成而被显示。类似地，PG和IG的从属视点的平面经过与通过对从属视频视点流进行解码而获得的从属视点视频的平面合成而被显示。

[0171] 例如，如果基本视点视频流是L图像的流，并且从属视点视频流是R图像的流，则同样对于PG和IG，其基本视点的流变成L图像的图形流。另外，从属视点的PG流和IG流变成R图像的图形流。

[0172] 另一方面，如果基本视点视频流是R图像的流，并且从属视点视频流是L图像的流，则同样对于PG和IG，其基本视点的流变成R图像的图形流。另外，从属视点的PG流和IG流变成L图像的图形流。

[0173] 图6示出了TS的另一个配置示例。

[0174] 基本视点视频和从属视点视频的每个的流都被复用到图6中的主TS中。

[0175] 另一方面，主音频、基本PG、从属PG、基本IG和从属IG中的每个的流都被复用到辅TS中。

[0176] 因此，可以作出视频流被复用到主TS中而PG和IG等的流被复用到辅TS中的布置。

[0177] 图7示出了TS的又一个配置示例。

[0178] 基本视点视频、主音频、基本PG、从属PG、基本IG和从属IG每个的流都被复用到图7中示出的A中的主TS中。

[0179] 另一方面，从属视点视频流被包括在辅TS中。

[0180] 因此，从属视点视频流可以被包括在与基本视点视频流不同的另一个TS中。

[0181] 基本视点视频、主音频、PG和IG每个的流被复用到图7中的B中的主TS中。另一方面，从属视点视频、基本PG、从属PG、基本IG和从属IG每个的流被复用到辅TS中。

[0182] 包括在主TS中的PG和IG是用于2D回放的流。包括在辅TS中的流是用于3D回放的流。

[0183] 因此，PG的流和IG的流可能不被2D回放和3D回放共享。

[0184] 如上所述，基本视点视频流和从属视点视频流可以包括在不同的MPEG2 TS中。将说明基本视点视频流和从属视点视频流被包括在不同的MPEG2 TS中并被记录的优点。

[0185] 例如，考虑可以作为单个MPEG2TS执行的复用的比特速率受到限制的情形。在该情形中，当基本视点视频流和从属视点视频流二者都被包括在单个MPEG2 TS中时，需要降低每个流的比特速率来满足其约束。结果，图像质量恶化了。

[0186] 由于各个流被包括在不同的MPEG2 TS中因此不需要降低比特速率，所以可以防止图像质量恶化。

[0187] [应用格式]

[0188] 图8示出了回放设备1的AV流管理的示例。

[0189] AV流管理是利用图8中示出的PlayList和Clip两层执行的。可以将AV流记录在回放设备1的本地存储设备中，而不是仅在光盘2中。

[0190] 在这里，包括一个AV流和作为与其相伴的信息的Clip信息的一个对被作为一个对象，并且将被总地称作Clip。在这里，存储AV流的文件将被称作AV流文件。另外，存储Clip信息的文件也称作Clip信息文件。

[0191] AV流被映射到时间轴上，并且每个Clip的访问点原理上由PlayList中的时间戳指定。Clip信息文件用于寻找AV流内开始解码的地址等。

[0192] PlayList是AV流的一组回放节(section)。AV流内的一个回放节称作一个PlayItem。PlayItem在时间轴上由回放节的一对入点(In point)和出点(Out point)代表。如图8所示，PlayList由单个或多个PlayItem构成。

[0193] 从图8的左侧起的第一个PlayList包括两个PlayItem，左侧的Clip中包括的AV流的前半部分和后半部分分别由它的两个PlayItem引用。

[0194] 从左侧起的第二个PlayList包括一个PlayItem，由其引用右侧的Clip中包括的整个AV流。

[0195] 从左侧起的第三个PlayList包括两个PlayItem，由这两个PlayItem来引用左侧的Clip中包括的AV流的一部分和右侧的Clip中包括的AV流的一部分。

[0196] 例如，如果从左侧起第一个PlayList中包括的左侧的PlayItem已被盘导航程序指定为回放对象，则执行对由该PlayItem引用的、左侧的Clip中包括的AV流的前半部分的回放。因此，PlayList被用作用于管理AV流的回放的回放管理信息。

[0197] 由PlayList内的一个或多个PlayItem的排列创建的回放路径将称作主路径(Main Path)。

[0198] 另外，由PlayList内的一个或多个SubPlayItem的排列创建的回放路径将称作辅路径(Sub Path)。

[0199] 图9示出了主路径和辅路径的结构。

[0200] 一个PlayList可以具有一个主路径和一个或多个辅路径。

[0201] 上述基本视点视频流作为构成主路径的PlayItem引用的流被管理。另外，从属视点视频流作为构成辅路径的SubPlayItem引用的流被管理。

[0202] 图9中的PlayList具有一个主路径和三个辅路径，该一个主路径包括三个PlayItem的排列。

[0203] 从头开始按照次序为构成主路径的每个PlayItem设置了ID。也从头开始按照次序分别向辅路径设置了ID Subpath_id＝0、Subpath_id＝1并且 Subpath_id＝2。

[0204] 在图9中的示例中，在Subpath_id＝0的辅路径中包括一个SubPlayItem，在Subpath_id＝1的辅路径中包括两个SubPlayItem，并且在Subpath_id＝2的辅路径中包括一个SubPlayItem。

[0205] 由一个PlayItem引用的Clip AV流包括至少一个视频流(主图像数据)。

[0206] 另外，该Clip AV流可能包括或者可能不包括要在与该Clip AV流中包括的视频流相同的定时处(同步)播放的一个或多个音频流。

[0207] Clip AV流可能包括或者可能不包括要与该Clip AV流中包括的视频流同步播放的一个或多个位图字幕数据(PG(呈现图形))流。

[0208] Clip AV流可能包括或者可能不包括要与该Clip AV流文件中包括的视频流同步播放的一个或多个IG(交互图形)流。IG流用于显示要由用户操作的按钮等图形。

[0209] 在由一个PlayItem引用的Clip AV流中，复用了视频流、要与其同步播放的零个或多个音频流、零个或多个PG流和零个或多个IG流。

[0210] 另外，一个SubPlayItem引用作为与由PlayItem引用的Clip AV流不同的流的视频流、音频流、PG流等。

[0211] 利用这种PlayList、PlayItem和SubPlayItem管理AV流在日本未实审专利申请公开No.2008-252740和日本未实审专利申请公开No.2005-348314中有所描述。

[0212] [目录结构]

[0213] 图10示出了要记录在光盘2上的文件的管理结构的示例。

[0214] 如图10所示，文件是以层级方式通过目录结构管理的。在光盘2上创建了一个根目录。根目录下是将由一个记录/回放系统管理的范围。

[0215] BDMV目录布置在根目录下。

[0216] 作为设置了名“Index.bdmv”的文件的Index文件(索引文件)和作为设置了名“MovieObject.bdmv”的文件的MovieObject文件紧接着被存储在BDMV目录下面。

[0217] 在BDMV目录下面还提供了BACKUP目录、PLAYLIST目录、CLIPINF目录、STREAM目录等。

[0218] 描述了PlayList的PlayList文件被存储在PLAYLIST目录中。5位数字和扩展名“.mpls”组合而成的名称被设置给每个PlayList文件。文件名“00000.mpls”被设置给图10中示出的一个PlayList文件。

[0219] Clip信息文件被存储在CLIPINF目录中。5位数字和扩展名“.clpi”组合而成的名称被设置给每个Clip信息文件。

[0220] 文件名“00001.clpi”、“00002.clpi”和“00003.clpi”分别被设置给图10中的三个Clip信息文件。下文中，Clip信息文件将被适当地称作clpi文件。

[0221] 例如，clpi文件“00001.clpi”是其中描述了与基本视点视频的Clip有关的信息的文件。

[0222] clpi文件“00002.clpi”是其中描述了与D2视点视频的Clip有关的信息的文件。

[0223] clpi文件“00003.clpi”是其中描述了与D1视点视频的Clip有关的信息的文件。

[0224] 流文件被存储在STREAM目录中。5位数字和扩展名“.m2ts”组合而成的名称或者5位数字和扩展名“.ilvt”组合而成的名称被设置给每个流文件。下文中，设置了扩展名“.m2ts”的文件将被适当地称作m2ts文件。另外，设置了扩展名“.ilvt”的文件将称作ilvt文件。

[0225] m2ts文件“00001.m2ts”是用于2D回放的文件，并且通过指定该文件而执行对基本视点视频流的读取。

[0226] m2ts文件“00002.m2ts”是D2视点视频流文件，而m2ts文件“00003.m2ts”是D1视点视频流文件。

[0227] ilvt文件“10000.ilvt”是用于B-D1回放的文件，并且通过指定该文件而执行对基本视点视频流和D1视点视频流的读取。

[0228] ilvt文件“20000.ilvt”是用于B-D2回放的文件，并且通过指定该文件而执行对基本视点视频流和D2视点视频流的读取。

[0229] 除了图10中所示的目录外，在BDMV目录下面还提供了存储音频流 文件等的目录。

[0230] [每个数据的语法]

[0231] 图11示出了PlayList文件的语法。

[0232] PlayList文件是设置了扩展名“.mpls”的文件，存储在图10中的PLAYLIST目录中。

[0233] 图11中的type_indicator表示“xxxxx.mpls”文件的类型。

[0234] version_number表示“xxxxx.mpls”文件的版本号。version_number由4位数字构成。例如，“0240”表示为用于3D回放的PlayList文件设置的“3D规格版本”。

[0235] PlayList_start_address表示PlayList()的开头地址，以从PlayList文件的开头字节起的相对字节数为单位。

[0236] PlayListMark_start_address表示PlayListMark()的开头地址，以从PlayList文件的开头字节起的相对字节数为单位。

[0237] ExtensionData_start_address表 示 ExtensionData()的 开 头 地 址，以 从PlayList文件的开头字节起的相对字节数为单位。

[0238] 160比特的reserved_for_future_use被包括在ExtensionData_start_address后。

[0239] 与诸如回放限制之类的PlayList的回放控制有关的参 数存储在AppInfoPlayList()中。

[0240] 与主路径、辅路径等有关的参数存储在PlayList()中。后面将描述PlayList()的内容。

[0241] PlayList标记信息，即，与作为用户操作的跳跃目的地(跳跃点)或者用于指示章跳跃等的命令的标记有关的信息，存储在PlayListMark()中。

[0242] 私有数据可以被插入到ExtensionData()中。

[0243] 图12示出了PlayList文件的描述的具体示例。

[0244] 如图12所示，2比特的3D_PL_type和1比特的view_type在PlayList文件中描述。view_type在例如图11中的AppInfoPlayList()中描述。

[0245] 3D_PL_type表示PlayList的类型。

[0246] view_type表示其回放由PlayList管理的基本视点视频流是L图像(L视点)流还是R图像(R视点)流。

[0247] 图13示出了3D_PL_type的值的含义。

[0248] 3D_PL_type的值00表示这是用于2D回放的PlayList。

[0249] 3D_PL_type的值01表示这是用于3D回放中的B-D1回放的PlayList。

[0250] 3D_PL_type的值10表示这是用于3D回放中的B-D2回放的PlayList。

[0251] 例如，如果3D_PL_type的值是01或者10，则3DPlayList信息被登记到PlayList文件的ExtensionData()中。例如，与从光盘2读取基本视点视频流和从属视点视频流相关的信息被登记为3DplayList信息。

[0252] 图14示出了view_type的值的含义。

[0253] 如果执行3D回放，则view_type的值0表示基本视点视频流是L视点流。如果执行2D回放，则view_type的值0表示基本视点视频流是AVC视频流。

[0254] view_type的值1表示基本视点视频流是R视点流。

[0255] 回放设备1可以利用PlayList文件中描述的view_type来识别基本视点视频流是L视点流还是R视点流。

[0256] 例如，如果视频信号经由HDMI线缆被输出到显示设备3，则可以认为要求回放设备1在区分了每个信号后输出L视点信号和R视点信号。

[0257] 回放设备1可以通过使得能标识出基本视点视频流是L视点流还是R视点流来区分并输出L视点信号和R视点信号。

[0258] 图15示出了图11中的PlayList()的语法。

[0259] length(长度)是一个32比特的无符号整数，指示从该length字段到PlayList()的末尾的字节数。即，length表示从reserved_for_future_use到PlayList末尾的字节数。

[0260] 在length之后准备了16比特的reserved_for_future_use。

[0261] number_of_PlayItems是一个16比特的字段，指示一个PlayList内 PlayItem的数目。在图9中的示例的情形中，PlayItem的数目为3。按照PlayItem()在PlayList内出现的次序从0起向PlayItem_id赋值。例如，在图9中赋予了PlayItem_id＝0、1、2。

[0262] number_of_SubPaths是一个16比特的字段，指示一个PlayList内辅路径的数目。在图9的中的示例的情形中，辅路径的数目为3。按照SubPath()在PlayList中出现的次序从0起向SubPath_id赋值。例如，在图9中赋予了SubPath_id＝0、1、2。在下文中，PlayItem()被引用了PlayItem的个数次，并且SubPath()被引用了辅路径的个数次。

[0263] 图16示出了图15中的SubPath()的语法。

[0264] length是一个32比特的无符号整数，指示从该length字段到SubPath()的末尾的字节数。即，length表示从reserved_for_future_use到PlayList末尾的字节数。

[0265] 在length之后准备了16比特的reserved_for_future_use。

[0266] Subpath_type是一个8比特的字段，指示辅路径的应用的类型。例如SubPath_type被用于例如指示辅路径的类型是音频、位图字幕或者文本字幕。

[0267] 在SubPath_type之后准备了15比特的reserved_for_future_use。

[0268] is_repeat_SubPath是一个1比特的、指定辅路径的回放方法的字段，其指示在主路径的回放期间重复执行对辅路径的回放还是只执行一次对辅路径的回放。例如，如果由主路径引用的Clip的回放定时和由辅路径引用的Clip的回放定时不同(如果主路径作为静止图像的幻灯片播放的路径，而辅路径作为用作BGM等的音频的路径)，则使用该字段。

[0269] 在is_repeat_SubPath之后准备了8比特的reserved_for_future_use。

[0270] number_of_SubPlayItems是一个8比特的字段，指示在一个辅路径中的SubPlayItem的数目(条目的数目)。例如，图9中的SubPath_id＝0的SubPlayItem的 number_of_SubPlayItems 为1，而 SubPath_id ＝ 1 的 SubPlayItem 的 number_of_SubPlayItems为2。在后续的for语句中，SubPlayItem()被引用了SubPlayItem的数目的次数。

[0271] 图17示出了图16中的SubPlayItem(i)的语法。

[0272] length是一个16比特的无符号整数，指示从该length字段到SubPlayItem()的末尾的字节数。

[0273] 按照划分成SubPlayItem引用一个Clip的情形和SubPlayItem引用多个Clip的情形对图17中的SubPlayItem(i)进行了描述。

[0274] 将针对SubPlayItem引用一个Clip的情形进行描述。

[0275] Clip_Information_file_name[0]表示要被引用的Clip。

[0276] Clip_codec_identifier[0]表示Clip编解码方法。在Clip_codec_identifier[0]之后包括有reserved_for_future_use。

[0277] is_multi_Clip_entries是指示对多个Clip的登记存在/不存在的标志。如果is_multi_Clip_entries标志为on，则参考在SubPlayItem引用多个Clip的情形中的语法。

[0278] ref_to_STC_id[0]是与STC间断点有关的信息(系统时间基础的间断点)。

[0279] SubPlayItem_IN_time表示辅路径的回放节的开始位置，并且SubPlayItem_OUT_time表示结束位置。

[0280] sync_PlayItem_id和sync_start_PTS_of_PlayItem表示当辅路径在主路径的时间轴上开始回放时的时间点。

[0281] SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id 和 sync_start_PTS_of_PlayItem共同用在由SubPlayItem引用的Clip处。

[0282] 下面将针对“如果is_multi_Clip_entries＝＝1b”，并且SubPlayItem引用多个Clip的情形进行描述。

[0283] num_of_Clip_entries表示要引用的Clip的数目。Clip_Information_file_name[SubClip_entry_id]的数目指定排除了Clip_Information_file_name[0]的Clip的数目。

[0284] Clip_codec_identifier[SubClip_entry_id]表示Clip编解码方法。

[0285] ref_to_STC_id[SubClip_entry_id]是与STC间断点有关的信息(系统时间基础的间断点)。在ref_to_STC_id[SubClip_entry_id]之后包括有reserved_for_future_use。

[0286] 图18示出了图15中的PlayItem()的语法。

[0287] length是一个16比特的无符号整数，指示从该length字段到PlayItem()的末尾的字节数。

[0288] Clip_Information_file_name[0]表示由PlayItem引用的Clip的Clip信息文件的文件名。注意，相同的5位数字被包含在Clip信息文件的文件名与其相对应的、包括Clip的m2ts文件的文件名中。

[0289] Clip_codec_identifier[0]表示Clip编解码方法。在Clip_codec_identifier[0]之后包括有reserved_for_future_use。在reserved_for_future_use之后包括有is_multi_angle和connection_condition。

[0290] ref_to_STC_id[0]是与STC间断点有关的信息(系统时间基础的间断点)。

[0291] IN_time表示PlayItem的回放节的开始位置，而OUT_time表示结束位置。

[0292] 在OUT_time 后 包 括 有UO_mask_table()、PlayItem_random_access_mode 和still_mode。

[0293] STN_table()包括由对象PlayItem引用的AV流的信息。另外，如果存在辅路要与对象PlayItem相关联地被播放，则还包括由构成其辅路径的SubPlayItem引用的AV流的信息。

[0294] 图19示出了图18中的STN_table()的语法。

[0295] STN_table()被设置为PlayItem的属性。

[0296] length是一个16比特的无符号整数，指示从该length字段到STN_table()的末尾的字节数。在该length之后还准备有16比特的reserved_for_future_use。

[0297] number_of_video_stream_entries表示要输入(登记)到STN_table()表中的video_stream_id被提供给的流的数目。

[0298] video_stream_id是用于标识视频流的信息。例如，基本视点视频流就是利用该video_stream_id确定的。

[0299] 从属视点视频流的ID可以定义在STN_table()中，或者可以通过例如这样的计算获得：将一个预定值与基本视点视频流的ID相加，等等。

[0300] video_stream_number是从用户看的视频流号，用于视频切换。

[0301] number_of_audio_stream_entries表示被输入到STN_table()中的audio_stream_id被提供给的第一音频流的流的数目。audio_stream_id是用于标识音频流的信息，并且audio_stream_number是从用户看的音频流号，用于音频切换。

[0302] number_of_audio_stream2_entries表示被输入到STN_table()中的audio_stream_id2被提供给的第二音频流的流的数目。audo_stream_id2是用于标识音频流的信息，并且audio_stream_number是从用户看的音频流号，用于音频切换。在该示例中，要播放的音频被布置为将被切换。

[0303] number_of_PG_txtST_stream_entries表示被输入到STN_table()中的PG_txtST_stream_id被提供给的流的数目。在这些之中，通过对位图字幕进行游标长度编码而获得的PG流和文本字幕文件(txtST)被输入。PG_txtST_stream_id是用于标识字幕流的信息，并且PG_txtST_stream_number是从用户看的字幕流号，用于字幕切换。

[0304] number_of_IG_stream_entries表示被输入到STN_table()中的IG_stream_id被提供给的流的数目。在这些之中，IG流被输入。IG_stream_id是用于标识IG流的信息，并且IG_stream_number是从用户看的图形流号，用于图形切换。

[0305] 主TS和辅TS的ID也被登记到STN_table()中。在stream_attribute()中描述了其ID不是基础流的ID，而是TS的ID。

[0306] [回放设备1的配置示例]

[0307] 图20的框图示出了回放设备1的配置示例。

[0308] 控制器51执行准备好的控制程序来控制回放设备1的整个操作。

[0309] 例如，控制器51控制盘驱动器52读取用于3D回放的PlayList文件。另外，控制器51还控制盘驱动器52基于STN_table中登记的ID读取主TS和辅TS，并将这些提供给解码器单元56。

[0310] 盘驱动器52根据控制器51的控制从光盘2读取数据，并且将读取的数据输出到控制器51、存储器53和解码器单元56。

[0311] 存储器53适当地存储控制器51执行各种类型的处理必需的数据。

[0312] 本地存储设备54由例如HDD(硬盘驱动器)配置而成。从服务器72下载的从属视点视频流等被记录到本地存储设备54中。记录在本地存储设备54中的流也被适当地提供给解码器单元56。

[0313] 因特网接口55根据控制器51的控制经由网络71执行与服务器72的通信，并将从服务器72下载的数据提供给本地存储设备54。

[0314] 用于更新记录在光盘2中的数据是从服务器72下载的。通过使得下载的从属视点视频流能够与记录在光盘2中的基本视点视频流一起使用，可以实现对与光盘2的内容不同的内容的3D回放。在下载了从属视点视频流时，PlayList的内容也被适当地更新。

[0315] 解码器单元56对自盘驱动器52或本地存储设备54提供来的流进行解码，并将获得的视频信号输出到显示设备3。音频信号也经由预定的路线被输出到显示设备3。

[0316] 操作输入单元57包括诸如按钮、按键、触摸板、拨盘、鼠标之类的输入设备和用于接收从预定的遥控器发送来的红外线之类的信号的接收单元。操作输入单元57检测用户的操作，来将代表检测到的操作的内容的信号提供给控制器51。

[0317] 图21示出了解码器单元56的配置示例。

[0318] 图21示出了其中执行对视频信号的处理的配置。在解码器单元56中，还执行音频信号的解码处理。将音频信号作为对象执行的解码处理的结果经由未示出的路由被输出到显示设备3。

[0319] PID过滤器101基于构成TS的流的ID和分组的PID来识别自盘驱动器52或本地存储设备54提供来的TS是主TS还是辅TS。PID过滤器101将主TS输出到缓冲器102，将辅TS输出到缓冲器103。

[0320] 基于PID，PID过滤器104顺序地读取缓冲器102中存储的主TS的分组来分发该分组。

[0321] 例如，PID过滤器104将构成主TS中包括的基本视点视频流的分组输出到B视频缓冲器106，并将构成从属视点视频流的分组输出到开关107。

[0322] 另外，PID过滤器104还将构成主TS中包括的基本IG流的分组输出 到开关114，并将构成从属IG流的分组输出到开关118。

[0323] PID过滤器104将构成主TS中包括的基本PG流的分组输出到开关122，并将构成从属PG流的分组输出到开关126。

[0324] 如参考图5所述，基本视点视频、从属视点视频、基本PG、从属PG、基本IG和从属IG每个的流可以被复用到主TS中。

[0325] 基于PID，PID过滤器105顺序地读取缓冲器103中存储的辅TS的分组来分发该分组。

[0326] 例如，PID过滤器105将构成辅TS中包括的从属视点视频流的分组输出到开关107。

[0327] 另外，PID过滤器105还将构成辅TS中包括的基本IG流的分组输出到开关114，并将构成从属IG流的分组输出到开关118。

[0328] PID过滤器105将构成辅TS中包括的基本PG流的分组输出到开关122，并将构成从属PG流的分组输出到开关126。

[0329] 如参考图7所述，从属视点视频流可以被包括到辅TS中。另外，如参考图6所述，基本PG、从属PG、基本IG和从属IG每个的流可以被复用到辅TS中。

[0330] 开关107将构成自PID过滤器104或者PID过滤器105提供来的从属视点视频流的分组输出到D视频缓冲器108。

[0331] 开关109根据规定了解码定时的时间点信息顺序地读取存储在B视频缓冲器106中的基本视点视频分组、存储在D视频缓冲器108中的从属视点视频分组，例如，同一时间点信息被设置给存储基本视点视频的某一图片的数据的分组和存储对应从属视点视频的该图片的数据的分组。

[0332] 开关109将从B视频缓冲器106或D视频缓冲器108读取的分组输出到视频解码器110。

[0333] 视频解码器110对自开关109提供来的分组进行解码，来将通过解码获得的基本视点视频或从属视点视频输出到开关111。

[0334] 开关111将通过对基本视点视频分组进行解码获得的数据输出到B视频平面生成单元112，并将通过对从属视点视频分组进行解码获得的数据输出到D视频平面生成单元113。

[0335] B视频平面生成单元112基于自开关111提供来的数据生成基本视点视频平面，并将其输出到合成单元130。

[0336] D视频平面生成单元113基于自开关111提供来的数据生成从属视点视频平面，并将其输出到合成单元130。

[0337] 开关114将自PID过滤器104或PID过滤器105提供来的构成基本IG流的分组输出到B IG缓冲器115。

[0338] B IG解码器116对B IG缓冲器115中存储的构成基本IG流的分组进行解码，来将通过解码获得的数据输出到B IG平面生成单元117。

[0339] B IG平面生成单元117基于自B IG解码器116提供来的数据生成基本IG平面，并将其输出到合成单元130。

[0340] 开关118将自PID过滤器104或PID过滤器105提供来的构成从属IG流的分组输出到D IG缓冲器119。

[0341] D IG解码器120对D IG缓冲器119中存储的构成从属IG流的分组进行解码，来将通过解码获得的数据输出到D IG平面生成单元121。

[0342] D IG平面生成单元121基于自D IG解码器120提供来的数据生成从属IG平面，并将其输出到合成单元130。

[0343] 开关122将自PID过滤器104或PID过滤器105提供来的构成基本PG流的分组输出到B PG缓冲器123。

[0344] B PG解码器124对B PG缓冲器123中存储的构成基本PG流的分组进行解码，来将通过解码获得的数据输出到B PG平面生成单元125。

[0345] B PG平面生成单元125基于自B PG解码器124提供来的数据生成基本PG平面，并将其输出到合成单元130。

[0346] 开关126将自PID过滤器104或PID过滤器105提供来的构成从属PG流的分组输出到D PG缓冲器127。

[0347] D PG解码器128对D PG缓冲器127中存储的构成从属PG流的分组进行解码，来将通过解码获得的数据输出到D PG平面生成单元129。

[0348] D PG平面生成单元129基于自D PG解码器128提供来的数据生成从属PG平面，并将其输出到合成单元130。

[0349] 合成单元130通过按照预定次序覆盖自B视频平面生成单元112提供 来的基本视点视频平面、自B IG平面生成单元117提供来的基本IG平面和自B PG平面生成单元125提供来的基本PG平面来对它们进行合成，从而生成基本视点平面。

[0350] 另外，合成单元130还通过按照预定次序覆盖自D视频平面生成单元113提供来的从属视点视频平面、自D IG平面生成单元121提供来的从属IG平面和自D PG平面生成单元129提供来的从属PG平面来对它们进行合成，从而生成从属视点平面。

[0351] 合成单元130输出基本视点平面和从属视点平面的数据。自合成单元130输出的视频数据被输出到显示设备3，通过交替显示基本视点平面和从属视点平面来执行3D显示。

[0352] [T-STD(传输流-系统目标解码器)的第一示例]

[0353] 现在，将描述图21中示出的配置中的解码器及其周围的配置。

[0354] 图22示出了其中执行对视频流的处理的配置。

[0355] 在图22中，与图21中所示的配置相同的配置用相同的标号标注。图22示出了PID过滤器104、B视频缓冲器106、开关107、D视频缓冲器108、开关109、视频解码器110和DPB(解码图片缓冲器)151。尽管图21中末示出，但是其中存储了解码图片的数据的DPB151被提供到视频解码器110的后级。

[0356] PID过滤器104将构成主TS中包括的基本视点视频流的分组输出到B视频缓冲器106，并且将构成从属视点视频流的分组输出到开关107。

[0357] 例如，PID＝0作为PID的固定值已被赋予构成基本视点视频流的分组。另外，除0之外的固定值作为PID已被赋予构成从属视点视频流的分组。

[0358] PID过滤器104将其头部描述了PID＝0的分组输出到B视频缓冲器106，并将其头部描述了除0之外的PID的分组输出到开关107。

[0359] 输出到B视频缓冲器106的分组经由TB(传输缓冲器)1和MB(复用缓冲器)1被存储到VSB1中。基本视点视频的基础流的数据被存储到VSB1中。

[0360] 自PID过滤器104输出的分组和构成在图21中的PID过滤器105处从辅TS提取的从属视点视频流的分组都被提供给开关107。

[0361] 如果已从PID过滤器104提供了构成从属视点视频流的分组，则开关107将其输出到D视频缓冲器108。

[0362] 另外，如果已从PID过滤器105提供了构成从属视点视频流的分组，则开关107也将其输出到D视频缓冲器108。

[0363] 输出到D视频缓冲器108的分组经由TB2和MB2被存储到VSB2中。从属视点视频的基础流的数据被存储到VSB2中。

[0364] 开关109顺序地读取存储在B视频缓冲器106的VSB1中的基本视点视频分组和存储在D视频缓冲器108的VSB2中的从属视点视频分组，并将它们输出到视频解码器110。

[0365] 例如，开关109连续将同一时间点处的基本视点视频分组和从属视点视频分组输出到视频解码器110，使得在某一时间点处输出了基本视点视频分组之后立即输出在与该时间点相同的时间点处的从属视点视频分组。

[0366] 对于存储基本视点视频的某一图片的数据的分组和存储与其对应的从属视点视频的图片的数据的分组，在其编码定时处，设置了确保PCR(程序时钟参考)同步的相同时间点信息。即使在基本视点视频流和从属视点视频流各自被包括在不同的TS中的情形中，相同时间点信息也被设置给存储了对应图片的数据的分组。

[0367] 时间点信息是DTS(解码时间戳)和PTS(呈现时间戳)，并且被设置给每个PES(分组化基础流)分组。

[0368] 即，当按编码次序/解码次序排列每个流的图片时，位于同一时间点的基本视点视频的图片和从属视点视频的图片成为对应的图片。相同的DTS被设置给存储了某一基本视点视频图片的数据的PES分组和存储了在解码次序中与该图片相对应的从属视点视频图片的数据的PES分组。

[0369] 另外，当按显示次序排列每个流的图片时，位于同一时间点的基本视点视频图片和从属视点视频图片也成为对应的图片。相同的PTS被设置给存储了某一基本视点视频图片的数据的PES分组和存储了在显示次序中与该图片相对应的从属视点视频图片的数据的PES分组。

[0370] 如果基本视点视频流的GOP结构和从属视点视频流的GOP结构是相同的结构，则在解码次序中相对应的图片成为在显示次序中对应的图片，后面将进行描述。

[0371] 如果串行执行分组传送，则在特定定时处从B视频缓冲器106的VSB1读取的分组的DTS1和在紧随其后的定时处从D视频缓冲器108的VSB2读取的分组的DTS2表示相同的时间点，如图22所示。

[0372] 开关109将从B视频缓冲器106的VSB1读取的基本视点视频分组或者从D视频缓冲器108的VSB2读取的从属视点视频分组输出到视频解码器110。

[0373] 视频解码器110顺序地对自开关109提供来的分组进行解码，来将通过解码获得的基本视点视频图片的数据或者从属视点视频图片的数据存储到DPB 151中。

[0374] 开关111在预定定时处读出存储在DPB 151中的经解码图片的数据。另外，DPB151中存储的经解码图片的数据也被视频解码器110用于预测另一幅图片。

[0375] 如果串行执行数据传送，则在某一定时处输出的基本视点视频图片的数据的PTS和在紧随其后的定时处输出的从属视点视频图片的数据的PTS表示相同的时间点。

[0376] 基本视点视频流和从属视点视频流可被复用到单个TS中，例如参考图5等描述的，或者可以各自被包括在不同的TS中，如参考图7描述的。

[0377] 即使在基本视点视频流和从属视点视频流被复用到单个TS中或者可以各自被包括在不同的TS中的情形中，回放设备1也可以通过实现图22中的解码器模型来处理这种情形。

[0378] 例如，如图23所示，如果仅假设提供单个TS的情形，则回放设备1不能处理基本视点视频流和从属视点视频流各自被包括在不同的TS中等情形。

[0379] 另外，根据图22中的解码器模型，即使基本视点视频流和从属视点视频流各自被包括在不同的TS中，但是二者具有相同的DTS，因此可以 在正确的定时将分组提供给视频解码器110。

[0380] 可以并行设置用于基本视点视频的解码器和用于从属视点视频的解码器。在这种情形中，在相同时间点处的分组在同一定时处被提供给用于基本视点视频的解码器和用于从属视点视频的解码器中的每个。

[0381] [第二示例]

[0382] 图24示出了用于执行对视频流的处理的另一个配置。

[0383] 除了图22中的配置之外，图24还示出了开关111、L视频平面生成单元161和R视频平面生成单元162。另外，PID过滤器105被示为在开关107的前级上。适当地省略了多余的描述。

[0384] L视频平面生成单元161生成L视点视频平面，并且被提供来替换图21中的B视频平面生成单元112。

[0385] R视频平面生成单元162生成R视点视频平面，并且被提供来替换图21中的D视频平面生成单元113。

[0386] 在该示例中，开关111需要识别并输出L视点视频数据和R视点视频数据。

[0387] 即，开关111需要识别通过对基本视点视频分组进行解码而获得的数据是L视点还是R视点的任意视频数据。

[0388] 另外，开关111还需要识别通过对从属视点视频分组进行解码而获得的数据是L视点还是R视点的任意视频数据。

[0389] 参考图12和图14描述的view_type被用于识别L视点和R视点。例如，控制器51将在PlayList文件中描述的view_type输出到开关111。

[0390] 如果view_type的值为0，则开关111将DPB 151中存储的数据中的、通过对由PID＝0标识的基本视点视频分组进行解码而获得的数据输出到L视频平面生成单元161。如上所述，view_type的值0表示基本视点视频流是L视点流。

[0391] 在该情形中，开关111将通过对由除0之外的PID标识的从属视点视频分组进行解码而获得的数据输出到R视频平面生成单元162。

[0392] 另一方面，如果view_type的值为1，则开关111将DPB 151中存储 的数据中的、通过对由PID＝0标识的基本视点视频分组进行解码而获得的数据输出到R视频平面生成单元162。view_type的值1表示基本视点视频流是R视点流。

[0393] 在该情形中，开关111将通过对由除0之外的PID标识的从属视点视频分组进行解码而获得的数据输出到L视频平面生成单元161。

[0394] L视频平面生成单元161基于自开关111提供来的数据生成L视点视频平面，并将其输出到合成单元130。

[0395] R视频平面生成单元162基于自开关111提供来的数据生成R视点视频平面，并将其输出到合成单元130。

[0396] 在利用H.264 AVC/MVC简档标准编码的基本视点视频和从属视点视频的基础流中不存在表示流是L视点还是R视点的信息(字段)。

[0397] 因此，通过向PlayList文件设置view_type，记录设备可以识别基本视点视频流和从属视点视频流各自是L视点还是R视点。

[0398] 回放设备1识别基本视点视频流和从属视点视频流各自是L视点还是R视点，并且可以根据该识别结果切换输出目的地。

[0399] 如果对于IG和PG平面中的每个也准备了L视点和R视点，则可以区分出视频流的L视点和R视点，从而回放设备1可以容易地执行L视点平面和R视点平面的合成。

[0400] 如上所述，如果经由HDMI线缆输出视频信号，则要求L视点信号和R视点信号各自被区分开再输出，而回放设备1可以处理该要求。

[0401] 可以基于view_id而不是PID执行对通过对DPB 151中存储的基本视点视频分组进行解码而获得的数据和通过对从属视点视频分组进行解码而获得的数据的识别。

[0402] 在利用H.264 AVC/MVC简档标准进行编码时，向构成编码结果的流的访问单元设置了view_id。可以根据该view_id识别每个访问单元是哪个视点分量单元。

[0403] 图25示出了访问单元的示例。

[0404] 图25中的访问单元#1是包括基本视点视频的数据的单元。从属单元#2是包括从属视点视频的数据的单元。访问单元(在从属视点的情形中是 从属单元)是例如收集了一幅图片的数据使得能以图片为单位访问的单元。

[0405] 通过执行遵循H.264 AVC/MVC简档标准的编码，基本视点视频和从属视点视频的每幅图片的数据被存储在这种单元中。在遵循H.264AVC/MVC简档标准的编码时，如从属单元#2内所示，MVC头部被添加到每个视点分量。view_id被包括在该MVC头部中。

[0406] 在图25中的示例的情形中，对于从属单元#2，可以根据view_id识别出要存储在其单元中的视点分量是从属视点视频。

[0407] 另一方面，如图25中所示，未向作为访问单元#1中存储的视点分量的基本视点视频添加MVC头部。

[0408] 如上所述，基本视点视频流是也要用于2D回放的数据。因此，为了确保与其兼容，在编码时未向基本视点视频添加MVC头部。或者，移除了曾添加的MVC头部。下面将描述利用记录设备的编码。

[0409] 在回放设备1中，定义(设置)了未添加MVC头部的视点分量，使得其view_id为0，并且该视点分量被识别为基本视点视频。在编码时向从属视点视频设置了除0之外的值作为view_id。

[0410] 因此，回放设备1可以基于被识别为0的view_id识别基本视点视频，并且可以基于实际设置的除0之外的view_id识别从属视点视频。

[0411] 在图24中的开关111中，可以基于这种view_id执行对通过对基本视点视频分组进行解码而获得的数据和通过对从属视点视频进行解码而获得的数据的识别。

[0412] [第三示例]

[0413] 图26示出了其中执行对视频流的处理的又一个示例。

[0414] 在图26中的示例中，提供了B视频平面生成单元112来替换图24中的L视频平面生成单元161，并且提供了D视频平面生成单元113来替换R视频平面生成单元162。在B视频平面生成单元112和D视频平面生成单元113的后级上设置了开关171。同样对于图26中示出的配置，布置为基于view_type切换数据输出目的地。

[0415] 开关111将DPB 151中存储的数据中的、通过对基本视点视频分组进行解码而获得的数据输出到B视频平面生成单元112。另外，开关111将通过对从属视点视频分组进行解码而获得的数据输出到D视频平面生成单元113。

[0416] 如上所述，通过对基本视点视频分组进行解码而获得的数据和通过对从属视点视频分组进行解码而获得的数据基于PID或者view_id而被识别出。

[0417] B视频平面生成单元112基于自开关111提供来的数据生成基本视点视频平面，并将其输出。

[0418] D视频平面生成单元113基于自开关111提供来的数据生成从属视点视频平面，并将其输出。

[0419] 在PlayList文件中描述的view_type被从控制器51提供到开关171。

[0420] 如果view_type的值为0，则开关171将自B视频平面生成单元112提供来的基本视点视频平面作为L视点视频平面输出到合成单元130。view_type的值0表示基本视点视频流是L视点流。

[0421] 另外，在该情形中，开关171将自D视频平面生成单元113提供来的从属视点视频平面作为R视点视频平面输出到合成单元130。

[0422] 另一方面，如果view_type的值为1，则开关171将自D视频平面生成单元113提供来的从属视点视频平面作为L视点视频平面输出到合成单元130。view_type的值1表示基本视点视频流是R视点流。

[0423] 另外，在该情形中，开关171将自B视频平面生成单元112提供来的基本视点视频平面作为R视点视频平面输出到合成单元130。

[0424] 同样根据图26的配置，回放设备1识别L视点和R视点，并且可以根据识别结果切换输出目的地。

[0425] [平面合成模型的第一示例]

[0426] 图27示出了图21中所示配置中的合成单元130及其后级的配置。

[0427] 同样在图27中，与图21中所示的配置相同的配置用相同的标号标注。

[0428] 构成主TS或辅TS中包括的IG流的分组被输入到开关181。要被输入到开关181的构成IG流的分组包括基本视点分组和从属视点分组。

[0429] 构成主TS或辅TS中包括的PG流的分组被输入到开关182。要被输入到开关182的构成PG流的分组包括基本视点分组和从属视点分组。

[0430] 如参考图5等所述，同样对于IG和PG，准备了用于执行3D显示的基本视点流和从属视点流。

[0431] 基本视点的IG以与基本视点视频合成的方式被显示，并且从属视点的IG以与从属视点视频合成的方式被显示，从而用户可以观看到3D的视频和按钮、图标等。

[0432] 基本视点的PG以与基本视点视频合成的方式被显示，并且从属视点的PG以与从属视点视频合成的方式被显示，从而用户可以观看到3D的视频和字幕文字等。

[0433] 开关181将构成基本IG流的分组输出到B IG解码器116，并且将构成从属IG流的分组输出到D IG解码器120。开关181包括图21中的开关114和开关118的功能。在图27中，省略了每个缓冲器的图示。

[0434] B IG解码器116对自开关181提供来的构成基本IG流的分组进行解码，来将通过解码而获得的数据输出到B IG平面生成单元117。

[0435] B IG平面生成单元117基于自B IG解码器116提供来的数据生成基本IG平面，来将其输出到合成单元130。

[0436] D IG解码器120对自开关181提供来的构成从属IG流的分组进行解码，来将通过解码而获得的数据输出到D IG平面生成单元121。可以将基本IG流和从属IG流布置为由一个解码器解码。

[0437] D IG平面生成单元121基于自D IG解码器120提供来的数据生成从属IG平面，来将其输出到合成单元130。

[0438] 开关182将构成基本PG流的分组输出到B PG解码器124，并将构成从属PG流的分组输出到D PG解码器128。开关182包括图21中的开关122和开关126的功能。

[0439] B PG解码器124对自开关182提供来的构成基本PG流的分组进行解码，来将通过解码而获得的数据输出到B PG平面生成单元125。

[0440] B PG平面生成单元125基于自B PG解码器124提供来的数据生成基本PG平面，来将其输出到合成单元130。

[0441] D PG解码器128对自开关182提供来的构成从属PG流的分组进行解码，来将通过解码而获得的数据输出到D PG平面生成单元129。可以将基本PG流和从属PG流布置为由一个解码器解码。

[0442] D PG平面生成单元129基于自D PG解码器128提供来的数据生成从属PG平面，来将其输出到合成单元130。

[0443] 视频解码器110顺序地对自开关109(图22等)提供来的分组进行解码，来将通过解码而获得的基本视点视频的数据和从属视点视频的数据输出到开关111。

[0444] 开关111将通过对基本视点视频的分组进行解码而获得的数据输出到B视频平面生成单元112，并将通过对从属视点视频的分组进行解码而获得的数据输出到D视频平面生成单元113。

[0445] B视频平面生成单元112基于自开关111提供来的数据生成基本视点视频平面，并将其输出。

[0446] D视频平面生成单元113基于自开关111提供来的数据生成从属视点视频平面，并将其输出。

[0447] 合成单元130包括加法单元191至194和开关195。

[0448] 加法单元191以覆盖的方式将自D PG平面生成单元129提供来的从属PG平面合成到自D视频平面生成单元113提供来的从属视点视频平面上，并将合成结果输出到加法单元193。自D PG平面生成单元129提供到加法单元191的从属PG平面经过颜色信息转换处理(CLUT(颜色查找表)处理)。

[0449] 加法单元192以覆盖的方式将自B PG平面生成单元125提供来的基本PG平面合成到自B视频平面生成单元112提供来的基本视点视频平面上，并将合成结果输出到加法单元194。自B PG平面生成单元125提供到加法单元192的基本PG平面经过颜色信息转换处理或者利用偏移值的修正处理。

[0450] 加法单元193以覆盖的方式将自D IG平面生成单元121提供来的从属 IG平面合成到加法单元191的合成结果上，并将合成结果作为从属视点平面输出。自D IG平面生成单元121提供到加法单元193的从属IG平面经过颜色信息转换处理。

[0451] 加法单元194以覆盖的方式将自B IG平面生成单元117提供来的基本IG平面合成到加法单元192的合成结果上，并将合成结果作为基本视点平面输出。自B IG平面生成单元117提供到加法单元194的基本IG平面经过颜色信息转换处理或者利用偏移值的修正处理。

[0452] 要基于由此生成的基本视点平面和从属视点平面显示的图像成为这样的图像，该图像使得按钮和图标在前面被看到、在其下(深度方向)看到字幕文本、在字幕文本下看到视频。

[0453] 如果view_type的值为0，则开关195将基本视点平面作为L视点平面输出，并将从属视点平面作为R视点平面输出。view_type被从控制器51提供到开关195。

[0454] 另外，如果view_type的值为1，则开关195将基本视点平面作为R视点平面输出，并将从属视点平面作为L视点平面输出。哪个平面是所提供的平面中的基本视点平面或从属视点平面是基于PID或者view_id识别出的。

[0455] 因此，在回放设备1中，执行了对基本视点平面、从属视点平面，和视频、IG和PG每个的平面的合成。

[0456] 在对视频、IG和PG所有的平面的合成都已完成的阶段，基于view_type确定基本视点平面的合成结果是L视点还是R视点，并且R视点平面和L视点平面每个都被输出。

[0457] 另外，在对视频、IG和PG所有的平面的合成都已完成的阶段，基于view_type确定从属视点平面的合成结果是L视点还是R视点，并且R视点平面和L视点平面每个都被输出。

[0458] [第二示例]

[0459] 图28示出了合成单元130及其前级的配置。

[0460] 在图28所示的配置中，与图27中所示的配置相同的配置用相同的标 号标注。在图28中，合成单元130的配置与图27中的配置不同。另外，开关111的操作与图27中的开关111的操作不同。L视频平面生成单元161被设置来替换B视频平面生成单元112，并且R视频平面生成单元162被设置来替换D视频平面生成单元113。将省略多余的描述。

[0461] 相同的view_type的值被从控制器51提供到开关111和合成单元130的开关201和202。

[0462] 开关111以与图24中的开关111相同的方式基于view_type切换通过对基本视点视频的分组进行解码而获得的数据和通过对从属视点视频的分组进行解码而获得的数据的输出目的地。

[0463] 例如，如果view_type的值为0，则开关111将通过对基本视点视频的分组进行解码而获得的数据输出到L视频平面生成单元161。在该情形中，开关111将通过对从属视点视频的分组进行解码而获得的数据输出到R视频平面生成单元162。

[0464] 另一方面，如果view_type的值为1，则开关111将通过对基本视点视频的分组进行解码而获得的数据输出到R视频平面生成单元162。在该情形中，开关111将通过对从属视点视频的分组进行解码而获得的数据输出到L视频平面生成单元161。

[0465] L视频平面生成单元161基于自开关111提供来的数据生成L视点视频平面，并将其输出到合成单元130。

[0466] R视频平面生成单元162基于自开关111提供来的数据生成R视点视频平面，并将其输出到合成单元130。

[0467] 合成单元130包括开关201、开关202和加法单元203至206。

[0468] 开关201基于view_type切换自B IG平面生成单元117提供来的基本IG平面和自D IG平面生成单元121提供来的从属IG平面的输出目的地。

[0469] 例如，如果view_type的值为0，则开关201将自B IG平面生成单元117提供来的基本IG平面作为L视点平面输出到加法单元206。在该情形中，开关201将自D IG平面生成单元121提供来的从属IG平面作为R视点平面输出到加法单元205。

[0470] 另一方面，如果view_type的值为1，则开关201将自D IG平面生成 单元121提供来的从属IG平面作为L视点平面输出到加法单元206。在该情形中，开关201将自B IG平面生成单元117提供来的基本IG平面作为R视点平面输出到加法单元205。

[0471] 开关202基于view_type切换自B PG平面生成单元125提供来的基本PG平面和自D PG平面生成单元129提供来的从属PG平面的输出目的地。

[0472] 例如，如果view_type的值为0，则开关202将自B PG平面生成单元125提供来的基本PG平面作为L视点平面输出到加法单元204。在该情形中，开关202将自D PG平面生成单元129提供来的从属PG平面作为R视点平面输出到加法单元203。

[0473] 另一方面，如果view_type的值为1，则开关202将自D PG平面生成单元129提供来的从属PG平面作为L视点平面输出到加法单元204。在该情形中，开关202将自B PG平面生成单元125提供来的基本PG平面作为R视点平面输出到加法单元203。

[0474] 加法单元203以覆盖的方式将自开关202提供来的R视点的PG平面合成到自R视频平面生成单元162提供来的R视点视频平面上，并将合成结果输出到加法单元205。

[0475] 加法单元204以覆盖的方式将自开关202提供来的L视点的PG平面合成到自L视频平面生成单元161提供来的L视点视频平面上，并将合成结果输出到加法单元206。

[0476] 加法单元205以覆盖的方式将自开关201提供来的R视点的IG平面合成到加法单元203的合成结果的平面上，并将合成结果作为R视点平面输出。

[0477] 加法单元206以覆盖的方式将自开关201提供来的L视点的IG平面合成到加法单元204的合成结果的平面上，并将合成结果作为L视点平面输出。

[0478] 这样，在回放设备1中，在与另一个平面合成之前，对于视频、IG和PG中的每个的基本视点平面和从属视点平面，确定了哪个平面是L视点或者R视点。

[0479] 在执行了该确定之后，执行对视频、IG和PG的每个平面的合成，从而合成了L视点的平面以及R视点的平面。

[0480] [记录设备的配置示例]

[0481] 图29的框图示出了软件装配处理单元301的配置示例。

[0482] 视频编码器311具有与图3中的MVC编码器11相同的配置。视频编码器311通过根据H.264 AVC/MVC简档标准对多个视频数据进行编码来生成基本视点视频流和从属视点视频流，并且将它们输出到缓冲器312。

[0483] 例如，视频编码器311在编码时将具有相同PCR的DTS和PTS设置为参考。即，视频编码器311将相同的DTS设置到用于存储某一基本视点视频图片的数据的PES分组和用于存储在解码次序中与该图片相对应的从属视点视频图片的数据的PES分组。

[0484] 另外，视频编码器311将相同的PTS设置到用于存储某一基本视点视频图片的数据的PES分组和用于存储在显示次序中与该图片相对应的从属视点视频图片的数据的PES分组。

[0485] 后面将描述，视频编码器311将相同的信息设置到基本视点视频图片和在解码次序中相对应的基本视点视频图片中的每个，作为附加信息(其是与解码有关的补充信息)。

[0486] 此外，后面将描述，视频编码器311将相同的值设置到基本视点视频图片和在显示次序中相对应的基本视点视频图片中的每个，作为表示图片的输出次序的POC的值。

[0487] 另外，后面将描述，视频编码器311执行编码，使得基本视点视频流的GOP结构和从属视点视频流的GOP结构相匹配。

[0488] 音频编码器313对输入音频流进行编码，并将获得的数据输出到缓冲器314。要记录到盘中的音频流与基本视点视频流和从属视点视频流一起被输入到音频编码器313。

[0489] 数据编码器315对除视频和音频之外的前述各种类型的数据(例如，PlayList文件等)进行编码，并将通过编码而获得的数据输出到缓冲器316。

[0490] 数据编码器315根据视频编码器311的编码将表示基本视点视频流是L视点流还是R视点流的view_type设置给PlayList文件。可以设置表示从属视点视频流是L视点流还是R视点流的信息来替换基本视点视频流的类型。

[0491] 另外，数据编码器315还将后面将描述的EP_map设置给基本视点视频流的Clip信息文件和从属视点视频流的Clip信息文件中的每个。被设置给作为解码开始位置的EP_map的基本视点视频流的图片和从属视点视频流的图片成为对应图片。

[0492] 复用单元317对每个缓冲器中存储的视频数据和音频数据、以及除与同步信号一起的流之外的数据进行复用，并将其输出到纠错编码单元318。

[0493] 纠错编码单元318将纠错码添加到由复用单元317复用后的数据。

[0494] 调制单元319对自纠错编码单元318提供来的数据进行调制，并将其输出。调制单元319的输出成为要记录到光盘2上的、能在回放设备1中播放的软件。

[0495] 也向记录设备设置了具有这种配置的软件装配处理单元301。

[0496] 图30示出了包括软件装配处理单元301的配置示例。

[0497] 图30中示出的配置的一部分可以设置在记录设备内部。

[0498] 软件装配处理单元301生成的记录信号在预母盘处理单元(premastering processing unit)331中经过母盘处理，并且生成要记录到光盘2中的格式信号。所生成的信号被提供给母盘记录单元333。

[0499] 在 用 于 记 录 的 母 盘 制 作 单 元 (a mastering for recording fabricationunit)332，准备了由玻璃等构成的母盘，在其上涂覆了由光刻胶(photoresist)构成的记录材料。从而制作了用于记录的母盘。

[0500] 利用母盘记录单元333，激光束响应于自预母盘处理单元331提供来的记录信号而被调制，并被照射到母盘上的光刻胶上。从而母盘上的光刻胶响应于该记录信号而被曝光。随后，该母盘被显影，并且在母盘上出现凹坑(pit)。

[0501] 在金属母盘制作单元334中，对母盘进行电铸之类的处理，从而制作 出玻璃母盘上的凹坑被转移到其的金属母盘。此外，从该金属母盘制作金属压模(stamper)，并将其作为成型模具(molding die)。

[0502] 在成型处理单元335中，诸如PMMA(丙烯酸)、PC(聚碳酸酯)之类的材料被注入到成型模具中，从而固定成型模具。或者，在2P(紫外线固化树脂)等被涂覆到金属压模上后，将紫外线照射到其上，从而硬化成型模具。从而，金属压模上的凹坑可以转移到由树脂制成的复制品上。

[0503] 在膜形成处理单元336中，通过汽相沉积或者溅射在复制品上形成反射膜。或者，通过旋涂在复制品上形成反射膜。

[0504] 在后处理处理单元337中，对该盘进行直径处理，从而经过必要的测量使得两张盘被粘合到一起。此外，在其上粘贴了标签或者向其附加了轴心(hub)后，盘被插入到盘盒中。从而，完成了其中记录了可由回放设备1播放的数据的光盘2。

[0505] <第二实施例>

[0506] [H.264 AVC/MVC简档视频流的操作1]

[0507] 如上所述，在作为光盘2的标准的BD-ROM标准中，采用H.264AVC/MVC简档实现了对3D视频的编码。

[0508] 另外，在BD-ROM标准中，基本视点视频流被作为L视点视频流，并且从属视点视频流被作为R视点视频流。

[0509] 基本视点视频被编码为H.264 AVC/高级简档视频流，从而即使在过去的播放机或者在仅与2D回放兼容的播放机中也可以播放作为3D兼容盘的光盘2。即，可以保证向下兼容。

[0510] 具体而言，即使在遵循H.264 AVC/MVC简档标准的解码器中，也可以单独解码(播放)基本视点视频流。即，基本视点视频流成为即使在现有的2D BD播放机中也必然可以被播放的流。

[0511] 另外，基本视点视频流在2D回放和3D回放中都被使用，从而可以减少写作(authoring)时的负担。对于AV流，写作方通过除了传统工作之外还准备从属视点视频流来制作3D兼容盘。

[0512] 图31示出了要设置到记录设备的3D视频TS生成单元的配置示例。

[0513] 图31中的3D视频TS生成单元包括MVC编码器401、MVC头部移除单元402和复用器403。如参考图2所述拍摄的L视点视频#1的数据和R视点视频#2的数据被输入到MVC编码器401。

[0514] MVC编码器401以与图3中的MVC编码器11相同的方式利用H.264/AVC对L视点视频#1的数据进行编码，将通过编码而获得的AVC视频数据作为基本视点视频流输出。另外，MVC编码器401还基于L视点视频#1的数据和R视点视频#2的数据生成从属视点视频流，并将其输出。

[0515] 从MVC编码器401输出的基本视点视频流由访问单元构成，在访问单元中存储了基本视点视频的每幅图片的数据。另外，从MVC编码器401输出的从属视点视频流由从属单元构成，在从属单元中存储了从属视点视频的每幅图片的数据。

[0516] 构成基本视点视频流的每个访问单元和构成从属视点视频流的每个从属单元包括MVC头部，在MVC头部中描述了用于识别所存储的视点分量的view_id。

[0517] 等于或者大于1的固定值被用作要在从属视点视频的MVC头部中描述的view_id。这也适用于图32和图33中的示例。

[0518] 即，与图3中的MVC编码器11不同的MVC编码器401是用于以添加MVC头部的形式生成基本视点视频和从属视点视频的每个流并将其输出的编码器。在图3的MVC编码器11中，MVC头部仅被添加到利用H.264 AVC/MVC简档标准编码的从属视点视频。

[0519] 自MVC编码器401输出的基本视点视频流被提供到MVC头部移除单元402，并且从属视点视频流被提供到复用器403。

[0520] MVC头部移除单元402移除构成基本视点视频流的访问单元中包括的MVC头部。MVC头部移除单元402将由已移除了MVC头部的访问单元构成的基本视点视频流输出到复用器403。

[0521] 复用器403生成包括自MVC头部移除单元402提供来的基本视点视频流和自MVC编码器401提供来的从属视点视频流的TS，并将其输出。在图31的示例中，包括基本视点视频流的TS和包括从属视点视频流的 TS被分别输出，但是如上所述这些流可以通过被复用到同一个TS中而被输出。

[0522] 从而，可以设想一MVC编码器，其中取决于安装方法，L视点视频和R视点视频被作为输入，添加了MVC头部的基本视点视频和从属视点视频的每个流被输出。

[0523] 注意，图31中所示的整个配置可以被包括在图3中所示的MVC编码器中。这也适用于图32和图33中所示的配置。

[0524] 图32示出了要设置到记录设备的3D视频TS生成单元的另一个配置示例。

[0525] 图32中的3D视频TS生成单元包括混合处理单元411、MVC编码器412、分离单元413、MVC头部移除单元414和复用器415。L视点视频#1的数据和R视点视频#2的数据被输入到混合处理单元411。

[0526] 混合处理单元411按照编码次序排列L视点的每幅图片和R视点的每幅图片。从属视点视频的每幅图片参考基本视点视频的对应图片被编码，因此，按照编码次序排列的结果是L视点的图片和R视点的图片被交替排列。

[0527] 混合处理单元411将按照编码次序排列的L视点的图片和R视点的图片输出到MVC编码器412。

[0528] MVC编码器412根据H.264AVC/MVC简档标准对自混合处理单元411提供来的每幅图片进行编码，将通过编码而获得的流输出到分离单元413。基本视点流和从属视点视频流被复用到自MVC编码器412输出的流中。

[0529] 自MVC编码器412输出的流中包括的基本视点视频流由其中存储了基本视点视频的每幅图片的数据的访问单元构成。另外，自MVC编码器412输出的流中包括的从属视点视频流由其中存储了从属视点视频的每幅图片的数据的从属单元构成。

[0530] 其中描述了用于识别所存储的视点分量的view_id的MVC头部被包括在构成基本视点视频流的每个访问单元和构成从属视点视频流的每个从属单元中。

[0531] 分离单元413将复用在自MVC编码器412提供来的流中的基本视点视频流和从属视点视频流分离开，并将它们输出。自分离单元413输出的基本视点视频流被提供到MVC头部移除单元414，并且从属视点视频流被提供到复用器415。

[0532] MVC头部移除单元414移除构成自分离单元413提供来的基本视点视频流的每个访问单元中包括的MVC头部。MVC头部移除单元414将由已移除了MVC头部的访问单元构成的基本视点视频流输出到复用器415。

[0533] 复用器415生成包括自MVC头部移除单元414提供来的基本视点视频流和自分离单元413提供来的从属视点视频流的TS，并将其输出。

[0534] 图33示出了要设置到记录设备的3D视频TS生成单元的又一个配置示例。

[0535] 图33中的3D视频TS生成单元包括AVC编码器421、MVC编码器422和复用器423。L视点视频#1的数据被输入到AVC编码器421，而R视点视频#2的数据被输入到MVC编码器422。

[0536] AVC编码器421根据H.264/AVC对L视点视频#1的数据进行编码，并将通过编码而获得的AVC视频流作为基本视点视频流输出到MVC编码器422和复用器423。构成自AVC编码器421输出的基本视点视频流的访问单元不包括MVC头部。

[0537] MVC编码器422对自AVC编码器421提供来的基本视点视频流(AVC视频流)进行解码来生成L视点视频#1的数据。

[0538] 另外，MVC编码器422基于通过解码而获得的L视点视频#1的数据和外部输入的R视点视频#2的数据来生成从属视点视频流，并将其输出到复用器423。构成自MVC编码器422输出的从属视点视频流的每个从属单元包括MVC头部。

[0539] 复用器423生成包括自AVC编码器421提供来的基本视点视频流和自MVC编码器422提供来的从属视点视频流的TS，并将其输出。

[0540] 图33中的AVC编码器421具有图3中的H.264/AVC编码器21的功能，并且MVC编码器422具有图3中的H.264/AVC编码器22和从属视点视频编码器24的功能。另外，复用器423具有图3中的复用器25的功 能。

[0541] 具有这种配置的3D视频TS生成单元被设置在记录设备中，从而可以禁止对存储基本视点视频的数据的访问单元的MVC头部的编码。另外，其view_id被设置为等于或者大于1的MVC头部可以被包括在存储从属视点视频的数据的从属单元中。

[0542] 图34示出了回放设备1侧的用于对访问单元进行解码的配置。

[0543] 图34示出了参考图22描述的开关109和视频解码器110等。包括基本视点视频的数据的访问单元#1和包括从属视点视频的数据的从属单元#2被从缓冲器读出，并被提供给开关109。

[0544] 参考基本视点视频执行了编码，并且因此为了正确地解码从属视点视频，首先需要已对对应的基本视点视频进行了解码。

[0545] 在H.264/MVC简档标准中，解码侧被布置来利用MVC头部中包括的view_id来计算每个单元的解码次序。另外，最小值总是被布置为作为编码时的view_id的值被设置给基本视点视频。解码器被布置为通过从包括设置了最小view_id的MVC头部的单元开始解码，以能够按照正确次序解码基本视点视频和从属视点视频。

[0546] 顺便提及，禁止对要被提供给回放设备1的视频解码器110的、存储基本视点视频的访问单元的MVC头部进行编码。

[0547] 因此，在回放设备1中，定义了存储在不具有MVC头部的访问单元中的视点分量以使得能识别出其view_id为0。

[0548] 因此，回放设备1可以基于被识别为0的view_id来识别基本视点视频，并且可以基于实际被设置为除0之外的值的view_id来识别从属视点视频。

[0549] 图34中的开关109首先将被识别出最小值0被设置为view_id的访问单元#1输出到视频解码器110供执行解码。

[0550] 另外，在完成了对访问单元#1的解码后，开关109将从属单元#2(其是大于0的固定值Y被设置为view_id的单元)输出到视频解码器110供执行解码。存储在从属单元#2中的从属视点视频的图片是与存储在访问单元#1中的基本视点视频的图片相对应的图片。

[0551] 这样，禁止了对存储基本视点视频的访问单元的MVC头部的编码，从而记录在光盘2中的基本视点视频流即使在传统播放机中也可以作为可播放流处理。

[0552] 作为从BD-ROM标准扩充到BD-ROM 3D标准的基本视点视频流的条件，如果确定了即使在传统播放机中基本视点视频也是可播放流这样的条件，则该条件可以得到满是。

[0553] 例如，如图35所示，如果MVC头部预先被添加到基本视点视频和从属视点视频中的每个并且先从基本视点视频执行解码，则基本视点视频不能在传统播放机处播放。在安装在传统播放机中的H.264/AVC解码器中，MVC头部是未定义的数据。如果输入了这种未定义的数据，则依据解码器，其不能被忽略，因此处理可能失败。

[0554] 注意，在图35中，基本视点视频的view_id是X，并且从属视点视频的view_id是大于X的Y。

[0555] 另外，即使禁止了对MVC头部的编码，通过将基本视点视频的view_id定义为被认为是0，也可以使回放设备1先执行对基本视点视频的解码，随后执行对对应的从属视点视频解码。即，可以按照正确的次序执行解码。

[0556] [操作2]

[0557] 关于GOP结构

[0558] 在H.264/AVC标准中，未定义根据MPEG-2视频标准的GOP(图片群组)结构。

[0559] 因此，在用于处理H.264/AVC视频流的BD-ROM标准中，定义了H.264/AVC视频流的GOP结构，并且实现了诸如随机访问之类的利用GOP结构的各种功能。

[0560] 作为通过遵循H.264 AVC/MVC简档标准的编码而获得的视频流的基本视点视频流和从属视点视频流没有关于GOP结构的定义，这与H.264/AVC视频流相同。

[0561] 基本视点视频流是H.264/AVC视频流。因此，基本视点视频流的 GOP结构具有与BD-ROM标准中定义的H.264/AVC视频流的GOP结构相同的结构。

[0562] 从属视点视频流的GOP结构也被定义为与基本视点视频流的GOP结构，即，BD-ROM标准中定义的H.264/AVC视频流的GOP结构相同的结构。

[0563] BD-ROM标准中定义的H.264/AVC视频流的GOP结构具有以下特征。

[0564] 1.关于流结构的特征

[0565] (1)开放GOP/封闭GOP结构

[0566] 图36示出了封闭GOP结构。

[0567] 图36中的每幅图片是构成H.264/AVC视频流的图片。封闭GOP包括IDR(即时解码刷新)图片。

[0568] IDR图片是I图片，并且在包括IDR图片的GOP中先被解码。在解码IDR图片时，诸如参考图片缓冲器(图22中的DPB 151)的状态、迄今为止管理的帧号、POC(图片顺序计数)之类的所有与解码有关的信息都被重置。

[0569] 如图36所示，对于作为封闭GOP的当前GOP，防止在当前GOP的图片中，显示次序早于(较旧)IDR图片的图片参考上一GOP中的图片。

[0570] 另外，在当前GOP的图片中，防止显示次序晚于(较新)IDR图片的图片参考上一GOP中超过该IDR图片的图片。在H.264/AVC中，允许按照显示次序在I图片后的P图片参考该I图片前的图片。

[0571] 图37示出了开放GOP结构。

[0572] 如图37所示，对于作为开放GOP的当前GOP，允许当前GOP的图片中显示次序早于(较旧)非IDR I图片(IDR图片之外的I图片)的图片参考上一GOP中的图片。

[0573] 另外，禁止当前GOP的图片中显示次序晚于非IDR I图片的图片参考上一GOP中超过非IDR I图片的图片。

[0574] (2)SPS和PPS必须被编码在GOP的排头访问单元中。

[0575] SPS(序列参数集)是序列的头部信息，包括与对整个序列的编码有 关的信息。在对某一序列解码时，包括该序列的标识信息等的SPS首先被需要。PPS(图片参数集)是图片的头部信息，包括与对整个图片进行编码有关的信息。

[0576] (3)可以在GOP的排头访问单元中编码最多30个PPS。如果利用排头访问单元对多个PPS进行了编码，则每个PPS的id(pic_parameter_set_id)不应当相同。

[0577] (4)可以在除GOP的排头之外的访问单元中对多至最大一个PPS进行编码。

[0578] 2.关于参考结构的特征

[0579] (1)要求I、P和B图片为分别由I、P和B片段单独配置而成的图片。

[0580] (2)要求显示次序中刚好在参考图片(I或P图片)之前的B图片在编码次序中必须在其参考图片之后立即被编码。

[0581] (3)要求参考图片(I或P图片)的编码次序和显示次序被维持(相同)。

[0582] (4)禁止从P图片参考B图片。

[0583] (5)如果在编码次序中非参考B图片(B1)早于非参考图片(B2)，则还要求在显示次序中B1比B2早。

[0584] 非参考B图片是在显示次序中不被较晚的另一幅图片参考的B图片。

[0585] (6)参考B图片可以参考显示次序中的上一个或者下一个参考图片(I或P图片)。

[0586] (7)非参考B图片可以参考显示次序中的上一个或者下一个参考图片(I或P图片)、或者一个参考B图片。

[0587] (8)要求连续B图片的数目最大为3。

[0588] 3.关于一个GOP内的帧或场的最大数目的特征

[0589] 根据视频的帧速率规定了一个GOP内的帧或场的最大数目，如图38所示。

[0590] 如图38所示，例如，如果按照每秒29.97帧的帧速率执行交织显示，则能够以1GOP的图片显示的最大场数目为60。另外，如果按照每秒 59.94帧的帧速率执行渐进显示，则能够以1GOP的图片显示的最大帧数目为60。

[0591] 具有上述特征的GOP结构也被定义为从属视点视频流的GOP结构。

[0592] 另外，还将基本视点视频流的某一GOP的结构与对应的从属视点视频流的GOP的结构相匹配规定为一个约束。

[0593] 图39示出了如上定义的基本视点视频流或从属视点视频流的封闭GOP结构。

[0594] 如图39所示，对于作为封闭GOP的当前GOP，禁止该当前GOP的图片中的显示次序在IDR图片或者锚定图片(anchor picture)之前(较旧)的图片参考上一GOP的图片。后面将描述锚定图片。

[0595] 另外，禁止当前GOP的图片中的显示次序晚于(较新)IDR图片或锚定图片的图片参考上一GOP中超出IDR图片或锚定图片的图片。

[0596] 图40示出了基本视点视频流或从属视点视频流的开放GOP结构。

[0597] 如图40所示，对于作为开放GOP的当前GOP，允许该当前GOP的图片中显示次序在非IDR锚定图片(不是IDR图片的锚定图片)之前的图片参考上一GOP的图片。

[0598] 另外，禁止当前GOP的图片中的显示次序晚于非IDR锚定图片的图片参考上一GOP中超出非IDR锚定图片的图片。

[0599] 如上所述定义了GOP结构，从而在诸如开放GOP或者封闭GOP之类的流结构的特征方面，基本视点视频流的某一GOP和对应的从属视点视频流的GOP匹配。

[0600] 另外，图片参考结构的多个特征被匹配，使得与基本视点视频的非参考B图片相对应的从属视点视频的图片必要地成为非参考B图片。

[0601] 此外，在基本视点视频流的某一GOP和对应的从属视点视频流的GOP之间，帧的数目和场的数目也被匹配。

[0602] 这样，从属视点视频流的GOP结构被定义为与基本视点视频流的GOP结构相同的结构，从而流之间的对应GOP可以具有相同的特征。

[0603] 另外，即使从流的中部开始执行解码，也可以不存在问题地执行。例如在自由播放(trick play)或者随机访问时执行从流的中部开始的解码。

[0604] 如果对应GOP的结构在流之间不同，例如帧的数目不同，则要关注可能发生一个流可以正常播放而另一个流不能播放的情形，但是这可以被防止。

[0605] 如果在假设对应GOP的结构在流之间不同的情况下从一个流的中部开始解码，则要关注可能发生用于对从属视点视频进行解码所必须的基本视点视频图片尚未被解码的情形。在这种情形中，作为结果，不能对从属视点视频图片解码，因此不能执行3D显示。另外，取决于安装方法可能不能输出基本视点视频的图像，但是可以防止这种不便。

[0606] [EP_map]

[0607] 随机访问和自由播放时解码的开始位置可以通过利用基本视点视频流和从属视点视频流的GOP结构而被设置在EP_map。EP_map被包括在Clip信息文件中。

[0608] 下面两个约束被规定为对可被设置给EP_map作为解码开始位置的图片的约束。

[0609] 1.SubsetSPS中连续布置的锚定图片的位置或者SubsetSPS中连续布置的IDR图片的位置被作为可被设置给从属视点视频流的位置。

[0610] 锚定图片是由H.264 AVC/MVC简档标准规定的图片，并且是通过执行视点之间的参考替代时间方向上的参考而编码的从属视点视频流的图片。

[0611] 2.如果从属视点视频流的某一图片被设置给EP_map作为解码开始位置，则对应的基本视点视频流的该图片也被设置给EP_map作为解码开始位置。

[0612] 图41示出了满足上述两个约束的、被设置给EP_map的解码开始位置的示例。

[0613] 在图41中，按照解码次序示出了构成基本视点视频流的图片和构成从属视点视频流的图片。

[0614] 利用颜色示出的从属视点视频流的图片中的图片P1是锚定图片或IDR图片。包含图片P1的数据的访问单元包括SubsetSPS。

[0615] 在图41的示例中，如白色箭头#11所示，图片P1被设置给从属视点视频流的EP_map作为解码开始位置。

[0616] 作为基本视点视频流中与图片P1相对应的图片的图片P11是IDR图片。如白色箭头#12所示，作为IDR图片的图片P11也被设置给基本视点视频流的EP_map作为解码开始位置。

[0617] 如果响应于指示随机访问或自由播放而从图片P1和P11开始解码，则首先执行对图片P11的解码。图片P11是IDR图片，因此，可以在不参考另一个图片的情况下对图片P11进行解码。

[0618] 在完成了对图片P11的解码时，接下来，对图片P1进行解码。在对图片P1进行解码时参考已解码的图片P11。图片P1是IDR图片或者锚定图片，因此，如果完成了对图片P11的解码就可以执行对图片P1的解码。

[0619] 随后，按照例如基本视点视频的图片P1之后的图片、从属视点视频的图片P11之后的图片等等的方式执行解码。

[0620] 对应的GOP的结构是相同的，因此解码也从对应的位置开始，并且因此可以在不存在有关基本视点视频和从属视点视频的问题的情况下解码被设置给EP_map的图片和后续图片。从而可以实现随机访问。

[0621] 在图41中的垂直方向上示出的虚线左侧排列的图片成为不需要解码的图片。

[0622] 图42示出了如果未定义从属视点视频的GOP结构将导致的问题。

[0623] 在图42的示例中，利用颜色示出的、作为基本视点视频的IDR图片的图片P21被设置给EP_map作为解码开始位置。

[0624] 考虑如果从基本视点视频的图片P21开始解码，而作为从属视点视频中与图片P21相对应的图片的图片P31不是锚定图片的情形。如果未定义GOP结构，则不保证与基本视点视频的IDR图片相对应的从属视点视频的图片是IDR图片或锚定图片。

[0625] 在该情形中，即使在对基本视点视频的图片P21的解码结束时，也不能解码图片P31。用于对图片P31进行解码的在时间方向上的参考也是必需的，但是垂直方向上示出的虚线左侧的图片不被解码。

[0626] 图片P31不能被解码，结果参考图片P31的从属视点视频的其他图片也 不能被解码。

[0627] 通过定义从属视点视频流的GOP结构可以防止这种情形。

[0628] 对于基本视点视频和从属视点视频二者，解码开始位置被设置给EP_map，从而回放设备1可以容易地确定解码开始位置。

[0629] 如果基本视点视频的某一图片单独被设置给EP_map作为解码开始位置，则回放设备1需要通过计算来确定与该解码开始位置的图片相对应的从属视点视频的图片，因此处理变复杂了。

[0630] 即使基本视点视频和从属视点视频的对应图片具有相同的DTS/PTS，如果视频的比特速率不同，导致TS中的字节排列不匹配，因此在这种情形中，处理变复杂了。

[0631] 图43示出了以基本视点视频流和从属视点视频流构成的MVC流作为对象执行随机访问或自由播放所需的图片搜索的概念。

[0632] 如图43所示，在执行随机访问或自由播放时，搜索非IDR锚定图片或IDR图片，并且确定解码开始位置。

[0633] 现在，将描述EP_map。将针对基本视点视频的解码开始位置被设置给EP_map但从属视点视频的解码开始位置也以同样方式设置给从属视点视频的EP_map的情况进行描述。

[0634] 图44示出了记录在光盘2上的AV流的结构。

[0635] 包括基本视点视频流的TS由整数个对准的具有6144字节大小的单元(对准单元(Alighed Unit))配置而成。

[0636] 对准单元由32个源分组(源分组)构成。源分组具有192字节。一个源分组由4字节的传输分组额外头部(TP_extra header)和188字节的传输分组(Transport packt)构成。

[0637] 基本视点视频的数据被分组化成MPEG2PES分组。PES分组是通过向PES分组的数据部分添加PES分组头部形成的。PES分组包括用于确定要通过该PES分组传送的基础流的类型的流ID。

[0638] PES分组还被分组化成传输分组。即，PES分组被划分成传输分组的有效负载的大小，传输分组头部被添加到该有效负载，从而形成传输分组。传输分组头部包括PID，其作为要存储在有效负载中的数据的标识信 息。

[0639] 注意，向源分组提供了源分组号，源分组号例如以Clip AV流的开头为0对于每个源分组递增1。另外，对准单元从源分组的第一个字节开始。

[0640] 在给出了Clip的访问点的时间戳时，EP_map被用于搜索数据地址来开始读取Clip AV流文件内的数据。EP_map是从基础流和传输流提取的一列入口点(a list of entry points)。

[0641] EP_map具有用于搜索开始AV流内的解码的入口点的地址信息。EP_map内的一个EP数据由一个PTS和访问单元的AV流内的与该PTS相对应的一个地址组成的对配置而成。在AVC/H.264中，相当于一个图片的数据存储在一个访问单元中。

[0642] 图45示出了Clip AV流的示例。

[0643] 图45中的Clip AV流是由利用PID＝x标识出的源分组构成的视频流(基本视点视频流)。对于每个源分组，该视频流由源分组内的传输分组的头部中包括的PID区分。

[0644] 在图45中，该视频流的源分组中的包括IDR图片的开头字节的源分组被标以颜色。无色方框指示包括不作为随机访问点的数据的源分组或者包括另一个流的数据的源分组。

[0645] 例如，由PID＝x区分的、包括视频流的可随机访问IDR图片的开头字节的、具有源分组号X1的源分组被布置在Clip AV流的时间轴上的PTS＝pts(x1)的位置。

[0646] 类似地，包括可随机访问IDR图片的开头字节的下一个源分组被作为具有源分组号X2的源分组，并且被布置在PTS＝pts(x2)的位置。

[0647] 图46在概念上示出了与图45中的Clip AV流相对应的EP_map的示例。

[0648] 如图46所示，EP_map由stream_PID、PTS_EP_start和SPN_EP_start配置而成。

[0649] stream_PID表示用于传送视频流的传输分组的PID。

[0650] PTS_EP_start表示从可随机访问IDR图片开始的访问单元的PTS。

[0651] SPN_EP_start表示包括了要由PTS_EP_start的值引用的访问单元的第一字节的源分组的地址。

[0652] 视频流的PID存储在stream_PID中，并且生成了作为表示PTS_EP_start和SPN_EP_start之间的相关性的表信息的EP_map_for_one_stream_PID()。

[0653] 例如，PTS＝pts(x1)和源分组号X1、PTS＝pts(x2)和源分组号X2、…、以及PTS＝pts(xk)和源分组号Xk各自以相关的方式在PID＝x的视频流的EP_map_for_one_stream_PID[0]中被描述。

[0654] 也针对复用在同一Clip AV流中的每个视频流生成这种表。包括所生成的表的EP_map被存储到与该Clip AV流相对应的Clip信息文件中。

[0655] 图47示出了由SPN_EP_start指定的源分组的数据结构的示例。

[0656] 如上所述，源分组由向188字节的传输分组添加4字节的头部的形式配置而成。传输分组部分由头部部分(TP头部)和有效负载部分构成。SPN_EP_start表示包括了从IDR图片起的访问单元的第一个字节的源分组的源分组号。

[0657] 在AVC/H.264中，访问单元(即，图片)从AU定界符(访问单元定界符)开始。在AU定界符后，SPS和PPS继续。此后，存储了IDR图片的开头部分或者整个数据片段。

[0658] 传输分组的TP头部的payload_unit_start_indicator的值1表示一个新的PES分组从该传输分组的有效负载开始。访问单元从该源分组开始。

[0659] 这种EP_map是针对基本视点视频流和从属视点视频流中的每个准备的。

[0660] 图48示出了EP_map中包括的子表。

[0661] 如图48所示，EP_map被划分成作为子表的EP_coarse和EP_fine。子表EP_coarse是用于以粗单位执行搜索的表，而子表EP_fine是以更准确的单位执行搜索的表。

[0662] 如图48所示，子表EP_fine是其中条目PTS_EP_fine和SPN_EP_fine被互相关联的表。例如，以最上栏为“0”，按照升序向子表中的每个条目提供了条目号。对于子表EP_fine，条目PTS_EP_fine和条目 SPN_EP_fine相组合的数据宽度是4个字节。

[0663] 子表EP_coarse是其中条目ref_to_EP_fine_id、条目PTS_EP_coarse和条目SPN_EP_coarse被互相关联的表。条目ref_to_EP_fine_id、条目PTS_EP_coarse和条目SPN_EP_coarse相组合的数据宽度是8个字节。

[0664] 子表EP_fine的条目由条目PTS_EP_start和条目SPN_EP_start中每个的LSB(最低有效位)侧上的比特信息构成。同样，子表EP_coarse的条目由PTS_EP_start和条目SPN_EP_start中每个的MSB(最高有效位)侧上的比特信息和与其相对应的子表EP_fine的表中的条目号构成。该条目号是子表EP_fine中的、具有从相同数据PTS_EP_start提取出的LSB侧的比特信息的条目的号码。

[0665] 图49示出了条目PTS_EP_coarse和条目PTS_EP_fine的格式的示例。

[0666] 条目PTS_EP_start的数据length是一个33比特的值。如果MSB比特是第32比特，并且LSB比特是第0比特，则条目PTS_EP_start的从第32比特到第19比特共14比特被用于条目PTS_EP_coarse。根据该条目PTS_EP_coarse，可以以5.8秒的分辨率在多至26.5个小时的范围内执行搜索。

[0667] 另外，条目PTS_EP_start中的从第19比特到第9比特共11比特被用于条目PTS_EP_fine。根据该条目PTS_EP_fine，可以以5.7毫秒的分辨率在多至11.5秒的范围内执行搜索。注意，第19比特被条目PTS_EP_coarse和条目PTS_EP_fine共用。另外，LSB侧上从第0比特到第8比特共9比特未被使用。

[0668] 图50示出了条目SPN_EP_coarse和条目SPN_EP_fine的格式的示例。

[0669] 条目SPN_EP_start的数据length是一个32比特的值。如果MSB比特是第31比特，并且LSB比特是第0比特，则条目SPN_EP_start中的从第31比特到第0比特的所有比特都被用于条目SPN_EP_coarse。

[0670] 另外，条目SPN_EP_start中的从第16比特到第0比特共17比特被用于条目SPN_EP_fine。

[0671] 后面将描述如何利用EP_coarse和EP_fine来确定在执行随机访问时的 读出开始地址。例如，在日本未实审专利申请公开No.2005-348314中也描述了EP_map。

[0672] [操作3]

[0673] 在解码时，采用与对应基本视点视频流的图片的POC(图片顺序计数)的值相同的值作为从属视点视频流的图片的POC的值。POC是表示由AVC/H.264标准规定的图片的显示顺序的值，并且是通过在解码时计算获得的。

[0674] 例如，通过计算来获得基本视点视频流的图片的POC的值，按照所获得的值指示的顺序来使基本视点视频流的图片从解码器输出。另外，在输出基本视点视频流的图片的同时，从属视点视频流的对应图片也被输出。从而，实质上，与基本视点视频流的图片的POC的值相同的值被用作从属视点视频流的图片的POC的值。

[0675] 另外，SEI(补充增强信息)被添加到构成基本视点视频流和从属视点视频流的每幅图片的数据中。SEI是包括由H.264/AVC规定的与解码有关的次要信息的附加信息。

[0676] 作为SEI之一的图片定时SEI包括解码时从CPB(编码图片缓冲器)的读取时间点、从DPB的读取时间点等。另外，显示时间点的信息、图片结构的信息等也被包括在图片定时SEI中。

[0677] 图51示出了访问单元的配置。

[0678] 如图51所示，包括基本视点视频流的一幅图片的数据的基本视点视频的访问单元和包括从属视点视频流的一幅图片的数据的从属视点视频的从属单元具有相同的配置。一个单元由指示每个单元的边界的定界符、SPS、PPS、SEI和图片数据构成。

[0679] 在编码时，以统一的方式对要添加到基本视点视频流的图片的图片定时SEI和要添加到从属视点视频流的图片定时SEI进行操作。

[0680] 例如，如果表示从CPB的读取时间点为T1的图片定时SEI被添加到基本视点视频流的编码序列中的第一幅图片，则表示从CPB的读取时间点为T1的图片定时SEI也被添加到从属视点视频流的编码序列中的第一幅 图片。

[0681] 即，对于编码序列或解码序列中的对应图片具有相同内容的图片定时SEI被添加到基本视点视频流和从属视点视频流的每幅图片。

[0682] 从而，回放设备1可以将相同的图片定时SEI被添加到的视点分量作为解码序列中的对应视点分量处理。

[0683] 图片定时SEI包括在基本视点视频和从属视点视频的基础流中，并且被回放设备1中的视频解码器110参考。

[0684] 视频解码器110可以基于基础流中包括的信息来识别对应的视点分量。同样，视频解码器110可以基于图片定时SEI按照正确的解码次序执行解码处理。

[0685] 无需参考PlayList等来识别对应的视点分量，从而可以应对发生关于系统层的问题的情形，并且可以实现其上的层。另外，也可以实现不依赖于其中发生了问题的层的解码器安装。

[0686] [记录设备的配置]

[0687] 图52的框图示出了记录设备的配置示例，该记录设备用于根据上述操作执行编码来将基本视点视频流和从属视点视频流记录到记录介质中。

[0688] 在图52中的记录设备501中，生成了基本视点视频流，并且还生成了D1视点视频流作为从属视点视频流。即，在记录设备501中，不生成参考图3描述的Depth(深度)的信息。

[0689] 如图52所示，记录设备501包括信息生成单元511、MVC编码器512和记录单元513。信息生成单元511对应于上述图29中的数据编码器315，而MVC编码器512对应于图
29中的视频编码器311。L图像数据和R图像数据被输入到MVC编码器512。

[0690] 信息生成单元511生成数据库信息，该数据库信息由PlayList文件、包括基本视点视频的EP_map的Clip信息文件和包括从属视点视频的EP_map的Clip信息文件构成。信息生成单元511生成数据库信息是根据记录设备501的用户(内容创建者)的输入而执行的。信息生成单元511将所生成的数据库信息输出到记录单元513。

[0691] 另外，信息生成单元511还生成基本视点视频的附加信息和从属视点视频的附加信息，基本视点视频的附加信息例如是要被添加到基本视点视频的每幅图片的图51中的SPS、PPS、SEI等，，而从属视点视频的附加信息例如是要被添加到的从属视点视频的每幅图片的SPS、PPS、SEI等。要由信息生成单元511生成的基本视点视频的附加信息和从属视点视频的附加信息各自都包括图片定时SEI。信息生成单元511将所生成的附加信息输出到MVC编码器512。

[0692] MVC编码器512根据H.264AVC/MVC简档标准对L图像数据和R图像数据进行编码，生成通过对L图像数据进行编码而获得的基本视点视频的每幅图片的数据和通过对R图像数据进行编码而获得的从属视点视频的每幅图片的数据。

[0693] 另外，MVC编码器512还通过将由信息生成单元511生成的基本视点视频的附加信息添加到基本视点视频的每幅图片的数据来生成基本视点视频流。类似地，MVC编码器512通过将由信息生成单元511生成的从属视点视频的附加信息添加到从属视点视频的每幅图片的数据来生成从属视点视频流。

[0694] MVC编码器512将所生成的基本视点视频流和从属视点视频流输出到记录单元513。

[0695] 记录单元513将自信息生成单元511提供来的数据库信息和自MVC编码器512提供来的基本视点视频流和从属视点视频流记录到诸如BD之类的记录介质中。记录单元513已在其中记录了数据的记录介质例如作为上述光盘2被提供给回放侧的设备。

[0696] 注意，在记录单元513中，在记录基本视点视频流和从属视点视频流之前执行了多种类型的处理。例如，执行了用于将基本视点视频流和从属视点视频流复用到同一个TS中或者将这些流中的每个与其他数据一起复用到不同的TS中的处理，用于从基本视点视频的访问单元移除MVC头部的处理，用于将基本视点视频流和从属视点视频流划分成源分组的分组化处理等。

[0697] 图53的框图示出了图52中的MVC编码器512的配置示例。

[0698] 如图53所示，MVC编码器512包括基本视点视频编码器521和从属视点视频编码器522。L图像数据被输入到基本视点视频编码器521和从属视点视频编码器522，并且R图像被输入到从属视点视频编码器522。可以作出一种其中R图像数据被输入到基本视点视频编码器521并且被编码为基本视点视频的布置。

[0699] 基本视点视频编码器521根据H.264AVC标准对L图像数据进行编码。另外，基本视点视频编码器521将基本视点视频的附加信息添加到通过编码而获得的每幅图片，并将其作为基本视点视频流输出。

[0700] 从属视点视频编码器522适当地参考L图像数据来根据H.264AVC/MVC简档标准对R图像数据进行编码。另外，从属视点视频编码器522还将从属视点视频的附加信息添加到通过编码而获得的每幅图片，并将其作为从属视点视频流输出。

[0701] [记录设备的操作]

[0702] 现在将参考图54中的流程图描述记录设备501的记录处理。

[0703] 在步骤S1中，信息生成单元511生成由PlayList文件、Clip信息文件构成的数据库信息和要被添加到L图像数据和R图像数据的每幅图片的附加信息。

[0704] 在步骤S2中，MVC编码器512执行编码处理。通过该编码处理生成的基本视点视频流和从属视点视频流被提供给记录单元513。

[0705] 在步骤S3中，记录单元513将由信息生成单元511生成的数据库信息和由MVC编码器512生成的基本视点视频流和从属视点视频流记录到记录介质中。然后，该处理结束。

[0706] 接下来，将参考图55中的流程图描述图54中的步骤S2中执行的编码处理。

[0707] 在步骤S11中，基本视点视频编码器521选择输入的L图像中的一幅图片(一帧)作为编码对象图片。

[0708] 在步骤S12中，基本视点视频编码器521判断是把将要被编码的L图像作为I图片还是IDR图片编码。如果已设置了编码条件，例如构成 1GOP的图片的数目、1GOP中包括的I图片或IDR图片的数目等，则例如根据按照编码顺序排列的图片的位置来确定要编码的L图像的图片类型。

[0709] 如果在步骤S12中判断出要被编码的L图像被作为I图片或者IDR图片编码，则在步骤S13中基本视点视频编码器521把将要被编码的L图像的类型确定为I图片或IDR图片。

[0710] 在步骤S14中，从属视点视频编码器522检测输入的R图像中的、与在步骤S13中已确定了其图片类型的L图像相对应的一幅图片。如上所述，在按照显示次序、编码次序排列每幅图像时位于相同时间点、相同位置的L图像和R图像变成对应的图片。

[0711] 在步骤S15中，从属视点视频编码器522确定检测出的R图像的图片类型是锚定图片。

[0712] 另一方面，如果在步骤S12中判断出要被编码的L图像不被作为I图片或者IDR图片编码，则在步骤S16中基本视点视频编码器521根据要被编码的L图像的位置来确定图片类型。

[0713] 在步骤S17中，从属视点视频编码器522检测输入的R图像中的、与在步骤S16中已确定了其图片类型的L图像相对应的一幅图片。

[0714] 在步骤S18中，从属视点视频编码器522将接着可被输出的、被选为编码对象的L图像的类型确定为检测出的R图像的图片类型。

[0715] 在步骤S19中，基本视点视频编码器521根据所确定的图片类型对要编码的L图像进行编码。同样，从属视点视频编码器522根据所确定的图片类型对在步骤S14或S17中检测出的R图像进行编码。

[0716] 在步骤S20中，基本视点视频编码器521将附加信息添加到通过编码而获得的基本视点视频图片。同样，从属视点视频编码器522将附加信息添加到通过编码而获得的从属视点视频。

[0717] 在步骤S21中，基本视点视频编码器521判断当前被选作编码对象的L图像是否是最后的图片。

[0718] 如果在步骤S21中判断出当前被选作编码对象的L图像不是最后的图片，则流程返回到步骤S11，在该步骤中切换要编码的图片，重复上述处理。如果在步骤S21中判断出当前选择的L图像是最后的图片，则流程返 回到图54中的步骤S2，并将执行该处理和其后的处理。

[0719] 根据上述处理，L图像的数据和R图像的数据可以被编码，使得编码后的基本视点视频流和编码后的从属视点视频流具有相同的GOP结构。

[0720] 另外，具有相同内容的附加信息可以被添加到基本视点视频的图片和从属视点视频的对应图片。

[0721] [回放设备的配置]

[0722] 图56的框图示出了回放设备的配置示例，该回放设备用于播放记录设备501在其中记录了数据的记录介质。

[0723] 如图56所示，回放设备502包括获取单元531、控制单元532、MVC解码器533和输出单元534。获取单元531对应于例如图20中的盘驱动器52，而控制单元532对应于图20中的控制器51。MVC解码器533对应于图20中的解码器单元56的部分配置。

[0724] 获取单元531根据控制单元532的控制，从安装到回放设备502中的、记录设备501已在其中记录了数据的记录介质读取数据。获取单元531将从记录介质读取的数据库信息输出到控制单元532，并将基本视点视频流和从属视点视频流输出到MVC解码器533。

[0725] 控制单元532控制回放设备502的整个操作，例如从记录介质读取数据。

[0726] 例如，控制单元532通过控制获取单元531从记录介质读取数据库信息来获得数据库信息。另外，如果指示了对所获得的数据库信息中所包括的用于3D回放的PlayList(具有图13中的3D_PL_ype的值为01的PlayList)的回放，则控制单元532将该PlayList中描述的诸如流ID之类的信息提供给获取单元531，并且控制获取单元531从记录介质读取基本视点视频流和从属视点视频流。控制单元532控制MVC解码器533来对基本视点视频流和从属视点视频流进行解码。

[0727] MVC解码器533根据控制单元532的控制对基本视点视频流和从属视点视频流进行解码。MVC解码器533将通过对基本视点视频流和从属视点视频流进行解码而获得的数据输出到输出单元534。例如，MVC解码器 533根据view_type(图14)分别将通过对基本视点视频流进行解码而获得的数据作为L图像数据、将通过对从属视点视频流进行解码而获得的数据作为R图像数据输出。

[0728] 输出单元534将自MVC解码器533提供来的L图像数据和R图像数据输出到显示器来显示L图像和R图像。

[0729] 图57的框图示出了MVC解码器533的配置示例。

[0730] 如图57所示，MVC解码器533包括CPB 541、解码器542和DPB543。CPB 541包括图22中的B视频缓冲器106和D视频缓冲器108。解码器542对应于图22中的视频解码器110，而DPB 543对应于图22中的DPB 151。尽管附图中未示出，但是在CPB 541和解码器542之间也设置了对应于图22中的开关109的电路。

[0731] CPB 541存储从获取单元531提供来的基本视点视频流的数据和从属视点视频流的数据。解码器542以构成一个访问单元的数据为单位读出存储在CPB 541中的基本视点视频流的数据。解码器542还以构成一个从属单元的数据为单位类似地读取存储在CPB541中的从属视点视频流的数据。

[0732] 解码器542对从CPB 541读取的数据进行解码，将通过解码而获得的基本视点视频和从属视点视频的每幅图片的数据输出到DPB 543。

[0733] DPB 543存储自解码器542提供来的数据。解码器542在对解码次序中的后续图片进行解码时适当地参考存储在DPB 543中的基本视点视频和从属视点视频的每幅图片的数据。存储在DPB 543中的每幅图片的数据根据由图片定时SEI所表示的每幅图片的显示时间点而被输出。

[0734] [回放设备的操作]

[0735] 现在将参考图58的流程图描述回放设备502的回放处理。

[0736] 注意，图58将每个步骤示为在执行了对基本视点视频流的处理后执行对从属视点视频流的处理，但是可以适当地并行执行对基本视点视频流的处理和对从属视点视频流的处理。对于涉及对基本视点视频流的处理和对从属视点视频流的处理的其他流程图也是如此。

[0737] 在步骤S31中，获取单元531从安装在回放设备502上的记录介质读取数据。获取单元531将读取的数据库信息输出到控制单元532，并且将基本视点视频流的数据和从属视点视频流的数据输出到MVC解码器533。

[0738] 在步骤S32中，MVC解码器533执行解码处理。

[0739] 在步骤S33中，输出单元534将自MVC解码器533提供来的L图像数据和R图像数据输出到显示器来显示L图像和R图像。随后，该处理结束。

[0740] 现在将参考图59和图60中的流程图描述要在图58中的步骤S32中执行的解码处理。

[0741] 在步骤S41中，CPB 541存储基本视点视频流的数据和从属视点视频流的数据。存储在CPB 541中的数据由控制单元532适当地读取。

[0742] 在步骤S42中，控制单元532参考存储在CPB 541中的数据来检测基本视点视频流的访问单元的边界。检测访问单元的边界是通过例如检测访问单元定界符来执行的。从某个边界位置到下一个边界位置的数据成为一个访问单元的数据。一个访问单元的数据包括基本视点视频的一幅图片的数据和添加给它的附加信息。

[0743] 在步骤S43中，控制单元532判断图片定时SEI是否已被编码到(包括到)已检测出其边界的基本视点视频的一个访问单元中。

[0744] 如果在步骤S43中判断出图片定时SEI已被编码，则在步骤S44中，控制单元532读取该图片定时SEI。

[0745] 在步骤S45中，按照所提取出的在读取出的图片定时SEI中描述的时间点(读取时间点)，控制单元532将已检测出其边界的一个访问单元的数据中的、基本视点视频的图片数据从CPB 541提供到解码器542。

[0746] 另一方面，如果在步骤S43中判断出图片定时SEI尚未被编码，则在步骤S46中，按照系统信息(DTS)，控制单元532将已检测出其边界的一个访问单元的数据中的、基本视点视频的图片数据从CPB 541提供给解码器542。

[0747] 在步骤S47中，解码器542对自CPB 541提供来的数据进行解码。在 对基本视点视频的图片进行解码时，适当地参考存储在DPB 543中的已解码图片。

[0748] 在步骤S48中，DPB 543存储通过解码而获得的基本视点视频的图片数据。

[0749] 在步骤S49中，控制单元532计算基本视点视频的已解码图片的POC，并将其存储。

[0750] 在步骤S50中，控制单元532检测从属视点视频流的从属单元的边界，并且检测从属视点视频流中的与在步骤S42中已检测出其边界的基本视点视频流的访问单元相对应的从属单元。

[0751] 在步骤S51中，控制单元532判断图片定时SEI是否已被编码到其边界已被检测出的从属视点视频的一个从属单元中。

[0752] 如果在步骤S51中判断出图片定时SEI已被编码，则在步骤S52中，控制单元532读取该图片定时SEI。

[0753] 在步骤S53中，按照所提取出的在读取出的图片定时SEI中描述的时间点，控制单元532将已检测出其边界的一个从属单元的数据中的、从属视点视频的图片数据从CPB541提供到解码器542。

[0754] 另一方面，如果在步骤S51中判断出图片定时SEI尚未被编码，则在步骤S54中，按照系统信息，控制单元532将已检测出其边界的一个从属单元的数据中的、从属视点视频的图片数据从CPB 541提供给解码器542。

[0755] 注意，如果用于基本视点视频的解码器和用于从属视点视频的解码器都被提供给MVC解码器533，则在与基本视点视频的图片数据被从CPB541提供到用于基本视点视频的解码器时的定时相同的定时处，存储在CPB 541中的从属视点视频的图片数据被提供给用于从属视点视频的解码器。

[0756] 在步骤S55，解码器542对自CPB 541提供来的数据进行解码。在对从属视点视频的图片进行解码时，适当地参考存储在DPB 543中的基本视点视频的已解码图片和从属视点视频的已解码图片。

[0757] 在步骤S56中，DPB 543存储通过解码而获得的从属视点视频的图片 数据。根据被重复的上述处理，其POC值已被计算出的基本视点视频的多幅图片和从属视点视频的对应图片被存储到DPB 543中。对于从属视点视频的图片，未计算POC值。

[0758] 在步骤S57中，控制单元532将存储在DPB 543中的基本视点视频的图片中的、POC值最小的图片从DPB 543输出，并且在同一定时也将从属视点视频的对应图片从DPB543输出。自DPB 543输出的图片被提供给输出单元534。

[0759] 如果图片定时SEI被添加到了基本视点视频的图片，则根据在该图片定时SEI中描述的显示时间点来输出基本视点视频的图片。另一方面，如果未添加图片定时SEI，则根据由系统信息(PTS)表示的显示时间点执行该输出。

[0760] 在步骤S58中，控制单元532判断是否已输出了基本视点视频和从属视点视频的所有图片。如果在步骤S58中判断出尚未输出完全部图片，则控制单元532返回到步骤S41，并且重复执行上述处理。如果在步骤S58中判断出已输出了所有图片，则控制单元532返回到图58中的步骤S32，并且将执行该处理及其后的处理。

[0761] 根据上述处理，执行编码以使得具有相同的GOP结构，并且可以对每幅图片都已添加了相同的附加信息的基本视点视频流和从属视点视频流进行解码。

[0762] 接下来将参考图61的流程图描述将利用EP_map执行的回放设备502的随机访问回放处理。

[0763] 在步骤S71中，控制单元532控制获取单元531来读取基本视点视频流的Clip和从属视点视频流的Clip中的每个的Clip信息文件。另外，控制单元532还获得基本视点视频的EP_map和从属视点视频的EP_map。如上所述，分别地准备基本视点视频的EP_map和从属视点视频的EP_map。

[0764] 在步骤S72中，控制单元532基于用户的操作等获得表示随机访问回放的开始时间点的PTS。例如，如果已从菜单屏幕选择了设置给视频流的章，则获得所选章的PTS。

[0765] 在步骤S73中，控制单元532确定与从基本视点视频的EP_map获得的回放开始时间点的PTS相对应的SPN_EP_start所指示的源分组号。另外，控制单元532还将记录介质上由所确定的源分组号所标识的源分组被记录到的地址设置为读取开始地址。

[0766] 例如，基于构成PTS的32比特中的MSB侧的14比特，将作为基本视点视频的EP_map的子表的EP_coarse作为对象来执行搜索，确定PTS_EP_coarse、对应的ref_to_EP_fine_id和SPN_EP_coarse。另外，基于所确定的ref_to_EP_fine_id，将EP_fine作为对象来执行搜索，确定与从LSB侧的第10比特起的11比特值相对应的条目PTS_EP_fine。

[0767] 确定由与PTS_EP_fine相对应的SPN_EP_coarse所指示的源分组号，将由该源分组号所标识的源分组被记录到的地址确定为读取开始地址。利用用于管理记录介质中记录的数据的文件系统来确定每个源分组在记录介质上的地址。

[0768] 在步骤S74中，控制单元532确定由与从从属视点视频的EP_map所获得的回放开始时间点的PTS相对应的SPN_EP_start所指示的源分组号。也利用构成从属视点视频的EP_map的子表来确定由与PTS相对应的SPN_EP_start所指示的源分组号。另外，控制单元532将记录介质上由所确定出的源分组号所标识的源分组被记载到的地址确定为读取开始地址。

[0769] 在步骤S75中，获取单元531从在步骤S73中设置的读取开始地址起开始读取构成基本视点视频流的每个源分组的数据。另外，获取单元531还从在步骤S74中设置的读取开始地址起开始读取构成从属视点视频流的每个源分组的数据。

[0770] 所读取的基本视点视频流的数据和所读取的从属视点视频流的数据被提供给MVC解码器533。执行参考图59和图60的描述的处理，并且从而执行从由用户指定的回放开始位置起的解码。

[0771] 在步骤S76中，控制单元532判断是否执行下一次搜索，即，是否已指示了开始从另一位置起的随机访问回放，并且如果判断出已指示了开始从另一个位置起的随附访问回放，则控制单元532重复执行步骤S71中的处理和其后的处理。

[0772] 如果在步骤S76中判断出未指示开始从另一个位置起的随机访问回放，则处理结束。

[0773] [缓冲器控制信息]

[0774] 如上所述，在H.264 AVC/MVC简档标准中，定义了基本视点视频流和从属视点视频流，其中基本视点视频流是作为基础的视频流，而从属视点视频流是利用基本视点视频流作为基础执行编码/解码的视频流。

[0775] 在H.264 AVC/MVC简档标准中，允许基本视点视频流和从属视点视频流作为单个视频流存在，或者分别作为独立的视频流。

[0776] 图62中的A示出了基本视点视频流和从属视点视频流作为单个视频流存在的状态。

[0777] 在图62的A中的示例中，针对每个预定的节对整个基本视点视频流和整个从属视点视频流每个都作了划分，并且单个基础流被配置为使得各个节被混合。在图62的A中，用字母“B”标注的节表示基本视点视频流的节，并且用字母“D”标注的节表示从属视点视频流的节。

[0778] 图62的B示出了基本视点视频流和从属视点视频流分别作为独立的视频流存在的状态。

[0779] 在BD-ROM 3D标准中，如图62的B中所示，要求基本视点视频流和从属视点视频流分别作为独立的基础流被记录到盘上。另外，还要求基本视点视频流是根据H.264/AVC标准编码的流。这些限制允许与3D回放兼容的BD播放机仅回放(2D回放)基本视点视频流。

[0780] 因此，在BD-ROM 3D标准中，即使仅播放根据H.264/AVC标准编码的基本视点视频流，或者即使一起播放基本视点视频流和从属视点视频流，也必需预先在记录设备侧对流进行编码，以使得能正确地播放流。具体而言，需要执行编码以便不使缓冲器下溢或上溢。

[0781] 在H.264/AVC标准中，允许将两种缓冲器控制信息编码到一个流中，以不使缓冲器下溢等。同样在BD-ROM 3D标准中，假定仅对基本视点视频流解码，和对基本视点视频流和从属视点视频流一起解码，都需要将缓冲器控制信息编码到一个流中。

[0782] 顺便提及，与BD-ROM 3D标准兼容的回放设备包括利用一个解码器对基本视点视频流和从属视点视频流进行解码的回放设备、以及利用一个用于基本视点视频的解码器和一个用于从属视点视频的解码器这两个解码器对基本视点视频流和从属视点视频流进行解码的回放设备。在BD-ROM3D标准中，未规定解码器的数目。

[0783] 因此，在BD-ROM 3D标准中，即使利用一个解码器或者两个解码器对基本视点视频流和从属视点视频流进行解码，都需要在记录设备侧将缓冲器控制信息编码到流中以使得能正确地播放流。

[0784] 因此，在记录设备中，缓冲器控制信息被如下这样编码。

[0785] 1.如果仅播放基本视点视频流，则用于使得这种回放能被正确执行的值被编码到基本视点视频流中。

[0786] 2.如果利用独立的解码器(用于从属视点视频的解码器)播放从属视点视频流，则用于使得这种回放能被正确执行的值被编码到从属视点视频流中。

[0787] 3.如果利用单个解码器一起播放基本视点视频流和从属视点视频流，则用于使得这种回放能够被正确地执行的值被编码到从属视点视频流中。

[0788] [编码位置的具体示例]

[0789] 在基本视点视频流和从属视点视频流中，HRD参数和max_dec_frame_buffering被编码为缓冲器控制信息。

[0790] HRD参数包括表示从CPB到解码器的输入的最大比特速率的信息。还可以包括：表示到CPB的输入的最大比特速率的信息、表示CPB的缓冲器大小的信息、或者指示HRD是否是CBR(恒定比特速率)的标志。

[0791] max_dec_frame_buffering是表示可存储在DPB中的图片(参考图片)的最大张数的信息。

[0792] 图63示出了基本视点视频流中的HRD参数的编码位置的示例。

[0793] 如图63所示，HRD参数被编码为构成基本视点视频流的每个访问单元中所包括的SPS单条信息。在图63所示的示例中，HRD参数被编码为 SPS中包括的VUI(视频可用性信息)单条信息。

[0794] 图63中的HRD参数表示在仅播放基本视点视频流的情况下到解码器的输入的最大比特速率。如果采用CPB和解码器之间的总线来发送仅基本视点视频流的数据，则发送速率被限制到由HRD参数表示的比特速率或者更小的比特速率。

[0795] 注意，图63中的AUD表示参考图51描述的AU定界符，与一幅图片的数据相对应的片段被包括在图63的访问单元中。

[0796] 图64示出了在将HRD参数编码到图63中所示的位置中的情况下seq_parameter_set_data()(SPS)的描述格式。

[0797] 如图64所示，在seq_parameter_set_data()内的vui_parameters()(VUI)中描述了hrd_parameters()(HRD参数)。

[0798] 图65示出了max_dec_frame_buffering在基本视点视频流中的编码位置的示例。

[0799] 如图65所示，max_dec_frame_buffering也被编码为构成基本视点视频流的访问单元的每个中包括的单条信息。在图65中的示例中，max_dec_frame_buffering被编码为SPS中所包括的VUI单条信息。

[0800] 图65中的max_dec_frame_buffering表示在仅播放基本视点视频流的情况下可以存储在DPB中的图片的最大张数。如果一个DPB被用于存储仅基本视点视频流的经解码图片，则要存储到该DPB中的图片的张数被限制到由max_dec_frame_buffering表示的张数或者更少的张数。

[0801] 图66示出了在将max_dec_frame_buffering编码到图65中所示的位置中的情况下seq_parameter_set_data()的描述格式。

[0802] 如图66所示，在seq_parameter_set_data()内的vui_parameters()中描述了max_dec_frame_buffering。

[0803] 下文中，如图63中所示，编码在基本视点视频流中的HRD参数将被适当地称作第一HRD参数。另外，如图65中所示，编码在基本视点视频流中的max_dec_frame_buffering将被称作第一max_dec_frame_buffering。

[0804] 图67示出了从属视点视频流中的HRD参数的编码位置的示例。

[0805] 如图67所示，HRD参数被编码为构成从属视点视频流的每个从属单 元中所包括的SubsetSPS单条信息。在图67所示的示例中，HRD参数被编码为SubsetSPS中所包括的SPS单条信息。

[0806] 编码为SPS单条信息的HRD参数表示在利用独立的解码器播放从属视点视频流的情况下到用于从属视点视频的解码器的输入的最大比特速率。如果采用CPB和独立解码器之间的总线来发送仅从属视点视频流的数据，则发送速率被限制到由HRD参数表示的比特速率或者更小的比特速率。

[0807] 图68示出了在将HRD参数编码为SPS单条信息的情况下subset_seq_parameter_set_data()(SubsetSPS)的描述格式。SubsetSPS是对从H.264/AVC的SPS扩展来的参数的描述，并且包括表示视点之间的依赖关系等的信息。

[0808] 如图68所示，在subset_seq_parameter_set_data()中的seq_parameter_set_data()内的vui_parameters()中描述了hrd_parameters()。

[0809] 在图67中的示例中，HRD参数被编码为SubsetSPS中所包括的MVCVUI Ext单条信息。

[0810] 被编码为MVC VUI Ext单条信息的HRD参数表示在利用单个解码器来一起播放基本视点视频流和从属视点视频流时输入到该解码器的最大比特速率。如果采用CPB和该单个解码器之间的总线来发送基本视点视频流的数据和从属视点视频流的数据，则发送速率被限制到由HRD参数表示的比特速率或者更小的比特速率。

[0811] 图69示出了在将HRD参数编码为MVC VUI Ext单条信息的情况下subset_seq_parameter_set_data()的描述格式。

[0812] 如图69所示，在subset_seq_parameter_set_data()内的mvc_vui_parameters_extension()(MVC VUI Ext)中描述了hrd_parameters()。

[0813] 在下文中，如图67中所示，在从属视点视频流中被编码为SPS单条信息的HRD参数(图67中的左侧)将被适当地称作第二HRD参数。另外，在从属视点视频流中被编码为MVC VUI Ext单条信息的HRD参数 (图67中的右侧)将称作第三HRD参数。

[0814] 图70示出了从属视点视频流中max_dec_frame_buffering的编码位置的示例。

[0815] 如图70中所示，max_dec_frame_buffering被编码为构成从属视点视频流的从属单元的每个中所包括的SubsetSPS单条信息。在图70的示例中，max_dec_frame_buffering被编码为SubsetSPS中包括的SPS单条信息。

[0816] 被编码为SPS单条信息的max_dec_frame_buffering表示在利用独立解码器播放从属视点视频流的情况下可存储在DPB中的图片的最大张数。如果采用单个DPB来存储仅从属视点视频流的经解码图片，则要存储到该DPB中的图片的张数被限制为利用max_dec_frame_buffering表示的张数或者更少的张数。

[0817] 图71示出了在将max_dec_frame_buffering编码为SPS单条信息的情况下subset_seq_parameter_set_data()的描述格式。

[0818] 如图71所示，在subset_seq_parameter_set_data()中的seq_parameter_set_data()内的vui_parameters()中描述了max_dec_frame_buffering。

[0819] 在图70中的示例中，max_dec_frame_buffering被编码为SEI单条信息。

[0820] 被编码为SEI单条信息的max_dec_frame_buffering表示在利用单个解码器来一起播放基本视点视频流和从属视点视频流的情况下可存储到DPB中的图片的最大张数。如果采用单个DPB来存储基本视点视频流的经解码图片和从属视点视频流的经解码图片，则要存储到该DPB中的图片的张数被限制为利用max_dec_frame_buffering表示的张数或者更少的张数。

[0821] 图72示出了在将max_dec_frame_buffering编码为SEI单条信息的情况下sei_message()(SEI)的描述格式。

[0822] 如图72所示，在sei_message()中的view_scalability_info()(视点可扩展性信息SEI)中描述了max_dec_frame_buffering。

[0823] 在下文中，如图70中所示，在从属视点视频流中被编码为SPS单条信息的max_dec_frame_buffering(图70中的左侧)将被适当地称作第二 max_dec_frame_buffering。另外，在从属视点视频流中被编码为SEI单条信息的max_dec_frame_buffering(图70中的右侧)将称作第三max_dec_frame_buffering。

[0824] 这样，HRD参数和max_dec_frame_buffering以三种类型为单位被编码在基本视点视频流和从属视点视频流中。

[0825] [设备的配置]

[0826] 用于将包括缓冲器控制信息的数据记录到BD中的记录设备具有与图52中所示的记录设备501相同的配置。另外，用于播放BD中记录的数据的回放设备具有与图56中所示的回放设备502相同的配置。

[0827] 下文中，将参考图52和图56中的配置描述用于利用缓冲器控制信息执行处理的记录设备和回放设备的配置。将适当地省略上述描述中多余的描述。

[0828] 记录设备501的信息生成单元511生成由PlayList文件和Clip信息文件构成的数据库信息，并且还生成基本视点视频的附加信息和从属视点视频的附加信息。基本视点视频的附加信息包括第一HRD参数和第一max_dec_frame_buffering。另外，从属视点视频的附加信息包括第二和第三HRD参数，以及第二和第三max_dec_frame_buffering。

[0829] 信息生成单元511将所生成的数据库信息输出到记录单元513，并且将所生成的附加信息输出到MVC编码器512。

[0830] MVC编码器512根据H.264 AVC/MVC简档标准对L图像数据和R图像数据进行编码，来生成通过对L图像数据进行编码而获得的基本视点视频的每幅图片的数据和通过对R图像数据进行编码而获得的从属视点视频的每幅图片的数据。

[0831] 另外，MVC编码器512还通过将由信息生成单元511所生成的基本视点视频的附加信息添加到基本视点视频的每幅图片的数据中来生成基本视点视频流。在该基本视点视频流中，第一HRD参数被编码到图63中所示的位置中，并且第一max_dec_frame_buffering被编码到图65中所示的位置中。

[0832] 类似地，MVC编码器512还通过将由信息生成单元511所生成的从属视点视频的附加信息添加到从属视点视频的每幅图片的数据中来生成从属视点视频流。在该从属视点视频流中，第二和第三HRD参数被编码到图67中所示的位置中，并且第二和第三max_dec_frame_buffering被编码到图70中所示的位置中。

[0833] MVC编码器512将所生成的基本视点视频流和从属视点视频流输出到记录单元513。

[0834] 记录单元513将自信息生成单元511提供来的数据库信息和自MVC编码器512提供来的基本视点视频流和从属视点视频流记录到BD中。记录单元513在其中记录了数据的BD被提供给回放设备502。

[0835] 回放设备502的获取单元531从记录设备501已在其中记录了数据的、已被安装到回放设备502的BD中读取数据。获取单元531将自BD读取的数据库信息输出到控制单元532，并将基本视点视频流和从属视点视频流输出到MVC解码器533。

[0836] 控制单元532控制回放设备502的整个操作，例如从记录介质读取数据等。

[0837] 例如，如果仅播放基本视点视频流，则控制单元532从基本视点视频流读取第一HRD参数和第一max_dec_frame_buffering。控制单元532基于读取的信息控制利用MVC解码器533对基本视点视频流的解码。

[0838] 另外，如果播放基本视点视频流和从属视点视频流(3D回放)，则在MVC解码器533包括单个解码器时，控制单元532从从属视点视频流读取第三HRD参数和第三max_dec_frame_buffering。控制单元532基于读取的信息控制利用MVC解码器533对基本视点视频流和从属视点视频流的解码。

[0839] MVC解码器533根据控制单元532的控制对基本视点视频流、或者基本视点视频流和从属视点视频流进行解码。MVC解码器533将通过解码而获得的数据输出到输出单元534。

[0840] 输出单元534将自MVC解码器533提供来的图像输出到显示器以显示出2D图像或3D图像。

[0841] [设备的操作]

[0842] 现在参考图73中的流程图描述记录设备501的记录处理。

[0843] 在步骤S101中，信息生成单元511生成数据库信息和附加信息，附加信息包括要添加到基本视点视频和从属视点视频的每幅图片中的缓冲器控制信息。

[0844] 在步骤S102中，MVC编码器512执行编码处理。在这里，执行与参考图55描述的处理相同的处理。在步骤S101中生成的缓冲器控制信息被添加到基本视点视频和从属视点视频的每幅图片。通过编码处理而生成的基本视点视频流和从属视点视频流被提供给记录单元513。

[0845] 在步骤S103中，记录单元513将由信息生成单元511所生成的数据库信息和由MVC编码器512所生成的基本视点视频流和从属视点视频流记录到BD中。随后，处理结束。

[0846] 接下来将参考图74中的流程图描述回放设备502的回放处理。

[0847] 在步骤S111中，获取单元531从安装在回放设备502中的BD读取数据。获取单元531将读取的数据库信息输出到控制单元532，并且例如如果执行3D回放，则将基本视点视频流和从属视点视频流的数据输出到MVC解码器533。

[0848] 在步骤S112中，控制单元532从自BD读取并提供来的流的数据中读取缓冲器控制信息，并向MVC解码器533设置参数。用作缓冲器控制信息的读取源的流根据自BD读取的流或者MVC解码器533的配置而改变，后面将进行描述。

[0849] 在步骤S113中，MVC解码器533根据由控制单元532设置的参数，执行参考图59和图60描述的处理。

[0850] 在步骤S114中，输出单元534将通过利用MVC解码器533执行的解码处理而获得的图像数据输出到显示器。随后，处理结束。

[0851] [参数设置的具体示例]

[0852] 现在将描述要利用缓冲器控制信息执行的参数设置的具体示例。

[0853] 现在，假设在仅播放基本视点视频流的情况下到解码器的输入的最大比特速率为40Mbps。另外，假设在利用独立解码器播放从属视点视频流的情况下到用于从属视点视频的解码器的输入的最大比特速率为40Mbps。假设在利用单个解码器来一起播放基本视点视频流和从属视点视频流的情况下到该解码器的输入的最大比特速率为60Mbps。

[0854] 这样，在记录设备501中，在任意情形中都将表示40Mbps的值编码为第一HRD参数的值和第二HRD参数的值。表示60Mbps的值被编码为第三HRD参数的值。

[0855] 另外，假设在仅播放基本视点视频流的情况下可以存储到DPB中的图片的最大张数为4张。假设在利用独立解码器播放从属视点视频流的情况下可存储到DPB中的图片的最大张数为4张。假设在利用单个解码器来一起播放基本视点视频流和从属视点视频流的情况下可以存储到DPB中的图片的最大张数为6张。

[0856] 这样，在记录设备501中，在任意情形中都将表示4张的值编码为第一max_dec_frame_buffering的值和第二max_dec_frame_buffering的值。表示6张的值被编码为第三max_dec_frame_buffering的值。

[0857] 图75示出了包括单个解码器的MVC解码器533中仅解码基本视点视频流的示例。

[0858] 在该情形中，如图75所示，控制单元532读取被编码在基本视点视频流中的第一HRD参数和第一max_dec_frame_buffering。通过在基本视点视频流上添加斜线而标注出的缓冲器控制信息D1表示第一HRD参数和第一max_dec_frame_buffering。

[0859] 另外，控制单元532基于第一HRD参数将从CPB 541到解码器542的输入的最大比特速率设置为40Mbps。例如，最大比特速率是根据40Mbps大小所保证的CPB 541和解码器542之间的总线带宽来设置的。

[0860] 此外，控制单元532基于第一max_dec_frame_buffering将可存储到DPB 543中的图片的最大张数设置为4张。例如，在DPB 543的存储区域中，可存储仅4张经解码图片大小的区域被保证，从而设置了可存储的图片的最大张数。

[0861] 因此，例如由记录侧来承担利用单个解码器执行对基本视点视频流的解码。如果已在记录侧对基本视点视频流进行了编码以使得在受限的范围内对其进行解码，则可以防止回放侧的缓冲器崩溃。

[0862] 图76示出了利用包括单个解码器的MVC解码器533对基本视点视频流和从属视点视频流进行解码的情形的示例。

[0863] 在该情形中，如图76所示，控制单元532读取编码在从属视点视频流中的第三HRD参数和第三max_dec_frame_buffering。通过在从属视点视频流上添加斜线标注的缓冲器控制信息D2表示第二HRD参数和第二max_dec_frame_buffering。另外，缓冲器控制信息D3表示第三HRD参数和第三max_dec_frame_buffering。

[0864] 另外，控制单元532基于第三HRD参数将从CPB 541到解码器542的输入的最大比特速率设置为60Mbps。

[0865] 此外，控制单元532基于第三max_dec_frame_buffering将可存储到DPB 543中的图片的最大张数设置为6张。

[0866] 因此，例如由记录侧来承担执行对基本视点视频流和从属视点视频流的解码。如果已在记录侧对基本视点视频流和从属视点视频流进行了编码使得在受限的范围内对它们进行解码，则可以防止回放侧的缓冲器崩溃。

[0867] 图77的框图示出了MVC解码器533的另一个配置。

[0868] 在图77所示的配置中，与图57中所示的配置相同的配置用相同的标号标注。适当地省略了多余的描述。

[0869] 在图77的示例中，设置了两个解码器：解码器542-1和542-2。解码器542-1是用于基本视点视频的解码器，而解码器542-2是用于从属视点视频的解码器。

[0870] 解码器542-1以构成一个访问单元的数据为单位读取存储在CPB 541中的基本视点视频流的数据。另外，解码器542-2以构成一个从属单元的数据为单位读取存储在CPB541中的从属视点视频流。

[0871] 解码器542-1对自CPB 541读取的数据进行解码，来将通过解码而获得的基本视点视频的每幅图片的数据输出到DPB 543。

[0872] 解码器542-2对自CPB 541读取的数据进行解码，来将通过解码而获 得的从属视点视频的每幅图片的数据输出到DPB 543。

[0873] 将描述例如MVC解码器533包括两个解码器的情形。

[0874] 图78示出了在包括两个解码器的MVC解码器533处仅解码基本视点视频流的示例。

[0875] 在该情形中，如图78所示，控制单元532读取编码在基本视点视频流中的第一HRD参数和第一max_dec_frame_buffering。

[0876] 另外，控制单元532基于第一HRD参数将从CPB 541到解码器542的输入的最大比特速率设置为40Mbps。

[0877] 此外，控制单元532基于第一max_dec_frame_buffering将可存储到DPB 543中的图片的最大张数设置为4张。

[0878] 在图78中，利用虚线标出了解码器542-2，表明在解码器542-2处不执行处理。

[0879] 图79示出了在包括两个解码器的MVC解码器533处解码基本视点视频流和从属视点视频流的示例。

[0880] 在该情形中，如图79所示，控制单元532读取编码在基本视点视频流中的第一HRD参数和编码在从属视点视频流中的第二HRD参数和第三max_dec_frame_buffering。

[0881] 另外，控制单元532基于第一HRD参数将从CPB 541到解码器542-1的输入的最大比特速率设置为40Mbps，并且基于第二HRD参数将从CPB541到解码器542-2的输入的最大比特速率设置为40Mbps。

[0882] 此外，控制单元532基于第三max_dec_frame_buffering将可存储到DPB 543中的图片的最大张数设置为6张。DPB 543被共用于基本视点视频和从属视点视频，因此，第三max_dec_frame_buffering被用作用于设置可存储到DPB 543中的图片的最大张数的参数。

[0883] 图80示出了在包括两个解码器的MVC解码器533处解码基本视点视频流和从属视点视频流的另一个示例。

[0884] 在图80中的MVC解码器533中，对于CPB 541和DPB 543中的每个，还设置了用于基本视点视频的缓冲器和用于从属视点视频的缓冲器。

[0885] 在该情形中，如图80所示，控制单元532读取编码在基本视点视频 流中的第一HRD参数和第一max_dec_frame_buffering。另外，控制单元532还读取编码在从属视点视频流的第二HRD参数和第二max_dec_frame_buffering。

[0886] 控制单元532基于第一HRD参数将从作为用于基本视点视频的CPB的CPB 541-1到解码器542-1的输入的最大比特速率设置为40Mbps。另外，基于第二HRD参数将从作为用于从属视点视频的CPB的CPB 541-2到解码器542-2的输入的最大比特速率设置为40Mbps。

[0887] 此外，控制单元532基于第一max_dec_frame_buffering将可存储到作为用于基本视点视频的DPB的DPB 543-1中的图片的最大张数设置为4张。另外，基于第二max_dec_frame_buffering将可存储到作为用于从属视点视频的DPB的DPB 543-2中的图片的最大张数设置为4张。

[0888] 图81示出了在包括两个解码器的MVC解码器533处解码基本视点视频流和从属视点视频流的又一个示例。

[0889] 在图81中的MVC解码器533中，对于CPB设置了用于基本视点视频的缓冲器和用于从属视点视频的缓冲器，而对于DPB则为基本视点视频和从属视点视频共同设置了一个缓冲器。另外，作为用于基本视点视频的CPB的CPB 541-1和解码器542-1之间的数据传输和作为用于从属视点视频的CPB的CPB 541-2和解码器542-2之间的数据传输经由同一总线执行。

[0890] 在该情形中，如图81中所示，控制单元532读取编码在从属视点视频流中的第三HRD参数和第三max_dec_frame_buffering。

[0891] 另外，控制单元532还基于第三HRD参数，将要用于CPB 541-1和解码器542-1之间的数据传输和CPB 541-2和解码器542-2之间的数据传输的总线的最大比特速率设置为60Mbps。

[0892] 此外，控制单元532基于第三max_dec_frame_buffering将可存储到DPB 543中的图片的最大张数设置为6张。

[0893] [验证设备]

[0894] 图82示出了用于验证由记录设备501记录在BD中的视频流是否能在 回放设备502中被正确播放的验证设备。

[0895] 图82中的验证设备551由计算机配置而成。自BD读取的视频流被输入到验证设备551。

[0896] 在要作为视频流输入到验证设备551的基本视点视频流中，编码有第一HRD参数和第一max_dec_frame_buffering。另外，在从属视点视频流中，编码有第二和第三HRD参数以及第二和第三max_dec_frame_buffering。

[0897] 在验证设备551中，控制单元551A由CPU执行的预定程序实现。控制单元551A验证输入视频流是否能在回放设备502中正确播放，并输出表示验证结果的信息。验证结果例如被显示，并由利用验证设备551执行验证的用户确认。

[0898] 另外，在验证设备551中，利用执行预定程序的CPU实现HRD(假想参考解码器)。HRD实质上再现了回放设备502的MVC解码器533。图83中示出了HRD的功能配置。

[0899] 如图83所示，HRD 561包括CPB 571、解码器572和DPB 573。

[0900] CPB 571存储输入基本视点视频流的数据和输入从属视点视频流的数据。解码器572以构成一个访问单元的数据为单位读取存储在CPB 571中的基本视点视频流的数据。
类似地，解码器572以构成一个从属单元的数据为单位读取存储在CPB 571中的从属视点视频流的数据。

[0901] 解码器572对自CPB 571读取的数据进行解码，并将通过解码而获得的基本视点视频和从属视点视频的每幅图片的数据输出到DPB 573。

[0902] DPB 573存储自解码器572提供来的数据。DPB 573中存储的基本视点视频和从属视点视频的每幅图片的数据根据由图片定时SEI表示的每幅图片的显示时间点被输出。

[0903] 将描述验证的具体示例。

[0904] 以与上述相同的方式，假设已分别编码了表示40Mbps、40Mbps和60Mbps的值作为第一、第二和第三HRD参数的值。另外，也已分别编码了表示4张、4张和6张的值作为第一、第二和第三max_dec_frame_buffering的值。

[0905] 图83示出了仅对基本视点视频流进行解码的示例。

[0906] 在该情形中，如图83所示，控制单元551A读取编码在基本视点视频流中的第一HRD参数和第一max_dec_frame_buffering。

[0907] 另外，控制单元551A基于第一HRD参数将从CPB 571到解码器572的输入的最大比特速率设置为40Mbps。此外，控制单元551A基于第一max_dec_frame_buffering将可存储到DPB 573中的图片的最大张数设置为4张。

[0908] 在该状态中，是否可以正确地执行对基本视点视频流的解码是由控制单元551A验证的，并且表示验证结果的信息被输出。如果确定可以正确执行解码，则基于编码在其中的第一HRD参数和第一max_dec_frame_buffering确定输入基本视点视频流是可被正确播放的流，如参考图75、图78和图80所述。

[0909] 图84示出了利用用于从属视点视频的解码器仅解码从属视点视频流的示例。

[0910] 在该情形中，如图84所示，控制单元551A读取编码在从属视点视频流中的第二HRD参数和第二max_dec_frame_buffering。

[0911] 另外，控制单元551A基于第二HRD参数将自CPB 571到解码器572的输入的最大比特速率设置为40Mbps。此外，控制单元551A基于第二max_dec_frame_buffering将可存储到DPB 573中的图片的最大张数设置为4张。

[0912] 在该状态中，是否可以正确地执行对从属视点视频流的解码是由控制单元551A验证的，并且表示验证结果的信息被输出。如果确定可以正确执行解码，则基于编码在其中的第二HRD参数和第二max_dec_frame_buffering确定输入从属视点视频流是可被用于从属视点视频的解码器正确播放的流，如参考图80所述。

[0913] 注意，为了解码从属视点视频流，基本视点视频流是必需的。基本视点视频流的已解码图片的数据被适当地输入到图84中的解码器572，并被用于对从属视点视频流的解码。

[0914] 图85示出了利用单个解码器对基本视点视频流和从属视点视频流进 行解码的示例。

[0915] 在该情形中，如图85所示，控制单元551A读取编码在从属视点视频流中的第三HRD参数和第三max_dec_frame_buffering。

[0916] 另外，控制单元551A基于第三HRD参数将自CPB 571到解码器572的输入的最大比特速率设置为60Mbps。

[0917] 此外，控制单元551A基于第三max_dec_frame_buffering将可存储到DPB 573中的图片的最大张数设置为6张。

[0918] 在该状态中，是否可以正确地执行对基本视点视频流和从属视点视频流的解码是由控制单元551A验证的，并且表示验证结果的信息被输出。如果确定可以正确执行解码，则基于第三HRD参数和第三max_dec_frame_buffering确定输入基本视点视频流和从属视点视频流是可被正确播放的流，如参考图76所述。

[0919] [view_type的位置]

[0920] 在上述描述中，如参考图12所述，表示基本视点视频流是L图像流还是R图像流的view_type被布置为在PlayList中描述，但是也可以在其他位置描述。

[0921] 例如，可以设想基本视点视频流和从属视点视频流被复用到同一个TS中，或者各自被复用到不同的TS中，并且经由广播波或网络发送。在该情形中，在作为传输控制信息的PSI中、或者在基本视点视频流或从属视点视频流(基础流)中描述view_type。

[0922] 图86示出了在PSI(节目专用信息)中所包括的PMT(节目映射表)中描述view_type的示例。

[0923] 如图86所示，可以作出这样的布置，在该布置中，MVC_video_stream_descriptor()被新定义为MVC的描述符，并且在MVC_video_stream_descriptor()中描述view_type。注意，例如65被分配作为descriptor_tag的值。

[0924] 在已接收到TS的回放设备1中，基于PMT中描述的view_type的值，确定复用在该TS中的基本视点视频流是L图像流还是R图像流，并 且因此执行参考图24和图26描述的处理，例如切换解码结果的输出目的地等。

[0925] 也可以在例如SIT(选择信息表)之类的另一个位置中而不是在PMT内描述view_type。

[0926] 图87示出了在基础流中描述view_type的示例。

[0927] 如图87中所示，可以在SEI内的MVC_video_stream_info()中描述view_type。如上所述，SEI是要添加到构成基本视点视频流和从属视点视频流的每幅图片的数据中的附加信息。该包括view_type的SEI被添加到基本视点视频流和从属视点视频流中的至少一个流的每幅图片。

[0928] 在已读取了SEI的回放设备1中，基于在该SEI中描述的view_type的值，判断基本视点视频流是L图像流还是R图像流，并且从而执行参考图24和图26描述的处理，例如切换解码结果的输出目的地等。

[0929] 上述处理序列可利用硬件执行也可以利用软件执行。如果利用软件执行该处理序列，则构成该软件的程序被从程序记录介质安装到专用硬件中容纳的计算机、通用个人计算机等。

[0930] 图88的框图示出了通过程序执行上述处理序列的计算机的硬件的配置示例。

[0931] CPU(中央处理单元)701、ROM(只读存储器)702和RAM(随机访问存储器)703由总线704互连。

[0932] 总线704还与输入/输出接口705连接。输入输出接口705与由键盘、鼠标等构成的输入单元706、由显示器、扬声器等构成的输出单元707连接。另外，总线704与由硬盘、非易失性存储器等构成的存储单元708，由网络接口等构成的通信单元709，以及用于驱动可移除介质711的驱动器710连接。

[0933] 在这样配置的计算机中，例如，通过CPU 701经由输入/输出接口705和总线704将存储单元708中存储的程序加载到RAM 703并执行来执行上述处理序列。

[0934] CPU 701执行的程序被记录在例如可移除介质711中并被安装到存储单元708中，该程序是经由有线或者无线传输媒介(例如，局域网、因特 网、数字广播等)提供的。

[0935] 注意，计算机执行的程序可以是用于根据本说明书中描述的次序按照时序执行处理的程序，或者可以是用于并行执行处理或者在例如被调用时之类的必要定时处执行处理的程序，等等。

[0936] 本发明的实施例不限于上述实施例，而是在不脱离本发明的实质的情况下可以作出各种类型的修改。

[0937] 标号列表

[0938] 1回放设备，2光盘，3显示设备，11MVC编码器，21H.264/AVC编码器，22H.264/AVC解码器，23深度计算单元，24从属视点视频编码器，25复用器，51控制器，52盘驱动器，53存储器，54本地存储装置，55因特网接口，56解码器单元，57操作输入单元