信息处理装置和方法

摘要

本技术涉及一种信息处理装置和一种信息处理方法，其被配置成能够控制与主图像一起使用的辅助图像的提供。该信息处理装置生成包含轨道的文件，所述轨道存储通过编码与主图像一起使用的辅助图像的图像数据而获得的编码数据，以及用作关于该辅助图像的辅助信息。本技术可以应用于例如信息处理装置、图像处理装置、图像编码装置或图像解码装置。

权利要求

1.一种信息处理装置，包含文件生成单元，被配置成生成包含轨道的文件，所述轨道存储与主图像一起用于图像生成、图像处理或图像显示的辅助图像的编码数据，以及用作关于所述辅助图像的信息的辅助信息，以及其中所述辅助信息包括指示所述轨道存储所述辅助图像的编码数据的识别信息。

2.根据权利要求1所述的信息处理装置，其中

所述辅助信息还包含指示所述辅助图像的类型的信息。

3.根据权利要求2所述的信息处理装置，其中

指示所述辅助图像的类型的信息包含指示所述辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在所述主图像上而显示的覆盖的信息的信息。

4.根据权利要求2所述的信息处理装置，其中

所述辅助信息进一步包含关于所述编码数据的附加信息，其对应于指示所述辅助图像的类型的信息。

5.根据权利要求4所述的信息处理装置，其中

所述辅助信息为辅助增强信息。

6.根据权利要求1所述的信息处理装置，其中

所述辅助信息存储在所述轨道的样本条目中。

7.根据权利要求1所述的信息处理装置，其中

所述文件生成单元生成包含存储其中编码所述主图像的图像数据的、所述主图像的编码数据的轨道的文件，作为与包含存储其中编码所述辅助图像的图像数据的、所述辅助图像的编码数据的轨道的所述文件不同的文件。

8.根据权利要求1所述的信息处理装置，其中

所述文件生成单元生成包含存储其中编码所述辅助图像的图像数据的、所述辅助图像的编码数据的轨道和存储其中编码所述主图像的图像数据的、所述主图像的编码数据的轨道这两者的文件。

9.一种信息处理方法，其被配置成生成包含轨道的文件，所述轨道存储与主图像一起用于图像生成、图像处理或图像显示的辅助图像的编码数据，以及用作关于所述辅助图像的信息的辅助信息，以及其中所述辅助信息包括指示所述轨道存储所述辅助图像的编码数据的识别信息。

10.一种信息处理装置，包含元数据生成单元，被配置成生成控制文件的再现的元数据，所述文件包含与主图像一起用于图像生成、图像处理或图像显示的辅助图像的编码数据，同时包含用作关于所述辅助图像的信息的辅助信息，以及其中所述辅助信息包括指示轨道存储所述辅助图像的编码数据的识别信息。

11.根据权利要求10所述的信息处理装置，其中所述辅助信息设置在段所属的表示中，在该段中设置包含所述辅助图像的编码数据的文件。

12.根据权利要求10所述的信息处理装置，其中所述辅助信息还包含指示所述辅助图像的类型的信息。

13.根据权利要求12所述的信息处理装置，其中指示所述辅助图像的类型的信息包含指示所述辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在所述主图像上而显示的覆盖的信息的信息。

14.根据权利要求12所述的信息处理装置，其中所述辅助信息进一步包含关于所述编码数据的附加信息，其对应于指示所述辅助图像的类型的信息。

15.根据权利要求14所述的信息处理装置，其中所述辅助信息为辅助增强信息。

16.根据权利要求10所述的信息处理装置，其中所述辅助信息的至少一部分设置在段所属的表示的基本属性中，在该段中设置包含其中编码所述辅助图像的图像数据的、所述辅助图像的编码数据的所述文件。

17.根据权利要求10所述的信息处理装置，其中所述元数据具有包含关于包含其中编码所述辅助图像的图像数据的、所述辅助图像的编码数据的所述文件的信息的自适应集，和包含关于包含其中编码所述主图像的图像数据的、所述主图像的编码数据的文件的信息的自适应集。

18.根据权利要求17所述的信息处理装置，其中所述元数据具有属于所述自适应集的多个表示，所述自适应集包含关于包含所述主图像的编码数据的所述文件的信息。

19.根据权利要求10所述的信息处理装置，其中所述元数据具有自适应集，其包含关于包含其中编码所述辅助图像的图像数据的所述辅助图像的编码数据和其中编码所述主图像的图像数据的、所述主图像的编码数据这两者的文件的信息。

20.一种信息处理方法，其被配置成生成控制文件的再现的元数据，所述文件包含与主图像一起用于图像生成、图像处理或图像显示的辅助图像的编码数据，同时包含用作关于所述辅助图像的信息的辅助信息，以及其中所述辅助信息包括指示轨道存储所述辅助图像的编码数据的识别信息。

说明书

信息处理装置和方法

技术领域

[0001] 本技术涉及一种信息处理装置和一种信息处理方法。具体来说，本技术涉及被配置成能够控制与主图像一起使用的辅助图像的提供的一种信息处理装置和一种信息处理方法。

背景技术

[0002] 近年来，作为使用超文本传输协议(HTTP)的内容递送技术，已经将运动图像专家组-通过HTTP的动态自适应串流(MPEG-DASH)标准化(例如，参考非专利文献1)。MPEG-DASH使用自适应比特率串流(ABS)技术，其中将表示具有不同比特率的相同内容的多项编码数据存储在内容服务器中，使得客户端根据要再现的网络频带选择多项编码数据中的一项。

[0003] 顺便提及，例如，包括能够编码多个层级(层)的可伸缩高效视频编码(SHVC)的一些编码模式使用这些层中的一个来编码与一般图像(即，主图像)一起使用的辅助图像(也称为AUX图像等)，诸如深度信息(Depth)和字幕。

[0004] 引文列表

[0005] 非专利文献

[0006] 非专利文献1：MPEG-DASH(通过HTTP的动态自适应串流)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

发明内容

[0007] 本发明要解决的问题

[0008] 然而，在常规的递送格式(诸如MPEG-DASH标准)中，这种辅助图像不能被识别。因此，存在在接收和再现侧的设备上将辅助图像错误地处理为一般图像的风险。

[0009] 考虑到这样的情况，提出了本技术，并且其目的是使得能够控制与主图像一起使用的辅助图像的提供。

[0010] 问题的解决方案

[0011] 本技术的一个方面是一种信息处理装置，包括文件生成单元，被配置成生成包含轨道的文件，所述轨道存储其中编码与主图像一起使用的辅助图像的图像数据的编码数据，以及用作关于辅助图像的信息的辅助信息。

[0012] 辅助信息可以被配置成包含识别信息，其指示轨道是存储其中编码辅助图像的图像数据的编码数据的轨道。

[0013] 辅助信息可以被配置成包含指示辅助图像的类型的信息。

[0014] 指示辅助图像的类型的信息可以被配置成包含指示辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在主图像上而显示的覆盖的信息的信息。

[0015] 辅助信息可以被配置成进一步包含关于编码数据的附加信息，其对应于指示辅助图像的类型的信息。

[0016] 辅助信息可以被配置成存储在轨道的样本条目中。

[0017] 文件生成单元可以被配置成生成包含存储其中编码主图像的图像数据的编码数据的轨道的文件，作为与包含存储其中编码辅助图像的图像数据的编码数据的轨道的文件不同的文件。

[0018] 文件生成单元可以针对包含存储其中编码辅助图像的图像数据的编码数据的轨道的一个文件生成多个文件，每个文件包含存储其中编码主图像的图像数据的编码数据的轨道。

[0019] 文件生成单元可以生成包含存储其中编码辅助图像的图像数据的编码数据的轨道和存储其中编码主图像的图像数据的编码数据的轨道的文件。

[0020] 另外，本技术的一个方面是一种信息处理方法，其被配置成生成包含轨道的文件，所述轨道存储其中编码与主图像一起使用的辅助图像的图像数据的编码数据，以及用作关于辅助图像的信息的辅助信息。

[0021] 本技术的另一方面是一种信息处理装置，包括元数据生成单元，被配置成生成控制文件的再现的元数据，所述文件包含其中编码与主图像一起使用的辅助图像的图像数据的编码数据，同时包含用作关于辅助图像的信息的辅助信息。

[0022] 辅助信息可以被配置成设置在段所属的表示中，在该段中设置包含其中编码辅助图像的图像数据的编码数据的文件。

[0023] 辅助信息可以被配置成包含指示辅助图像的类型的信息。

[0024] 指示辅助图像的类型的信息可以被配置成包含指示辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在主图像上而显示的覆盖的信息的信息。

[0025] 辅助信息可以被配置成进一步包含关于编码数据的附加信息，其对应于指示辅助图像的类型的信息。

[0026] 辅助信息的至少一部分可以被配置成设置在段所属的表示的基本属性中，在该段中设置包含其中编码辅助图像的图像数据的编码数据的文件。

[0027] 元数据可以被配置成具有包含关于包含其中编码辅助图像的图像数据的编码数据的文件的信息的自适应集，和包含关于包含其中编码主图像的图像数据的编码数据的文件的信息的自适应集。

[0028] 元数据可以被配置成具有属于自适应集的多个表示，所述自适应集包含关于包含其中编码主图像的图像数据的编码数据的文件的信息。

[0029] 元数据可以被配置成具有自适应集，其包含关于包含其中编码辅助图像的图像数据的编码数据和其中编码主图像的图像数据的编码数据的文件的信息。

[0030] 另外，本技术的另一方面是一种信息处理方法，其被配置成生成控制文件的再现的元数据，所述文件包含其中编码与主图像一起使用的辅助图像的图像数据的编码数据，同时包含用作关于辅助图像的信息的辅助信息。

[0031] 在本技术的一个方面中，生成包含轨道的文件，所述轨道存储其中编码与主图像一起使用的辅助图像的图像数据的编码数据，以及用作关于辅助图像的信息的辅助信息。

[0032] 在本技术的另一方面中，生成控制文件的再现的元数据，所述文件包含其中编码与主图像一起使用的辅助图像的图像数据的编码数据，同时包含用作关于辅助图像的信息的辅助信息。

[0033] 本发明的效果

[0034] 根据本技术，可以处理信息。另外，根据本技术，可以控制与主图像一起使用的辅助图像的提供。

附图说明

[0035] 图1是用于说明MPEG-DASH的概要的图解。

[0036] 图2是图示MPD的示例性配置的图解。

[0037] 图3是用于说明内容的时间分离的图解。

[0038] 图4是图示用于指示MPD中的时段和其较低级别的示例性层级结构的图解。

[0039] 图5是用于说明时间轴上的MPD文件的示例性配置的图解。

[0040] 图6是图示区块图像(tile images)的示例性比特流的图解。

[0041] 图7是用于说明区块图像的示例性MP4文件的图解。

[0042] 图8是用于说明区块图像的另一示例性MP4文件的图解。

[0043] 图9是图示文件生成装置的示例性主要配置的方框图。

[0044] 图10是图示MP4文件的示例性主要配置的图解。

[0045] 图11是图示配置盒的示例性语法的图解。

[0046] 图12是图示MPD的示例性主要配置的图解。

[0047] 图13是用于说明MP4文件生成处理的示例性流程的流程图。

[0048] 图14是用于说明MPD生成处理的示例性流程的流程图。

[0049] 图15是图示文件再现装置的示例性主要配置的方框图。

[0050] 图16是用于说明MP4文件再现处理的示例性流程的流程图。

[0051] 图17是用于说明MPD再现处理的示例性流程的流程图。

[0052] 图18是图示MP4文件的另一示例性配置的图解。

[0053] 图19是图示MPD的另一示例性配置的图解。

[0054] 图20是图示MP4文件的又一示例性配置的图解。

[0055] 图21是图示MPD的又一示例性配置的图解。

[0056] 图22是图示递送系统的示例性主要配置的方框图。

[0057] 图23是图示计算机的示例性主要配置的方框图。

具体实施方式

[0058] 以下将描述用于实施本公开的模式(以下称为实施方案)。应注意，将按以下顺序给出描述。

[0059] 1.第一实施方案(文件生成装置和文件再现装置)

[0060] 2.第二实施方案(在通用辅助图像相对于多个主图像的情况下)

[0061] 3.第三实施方案(将主图像和辅助图像集成到一个文件)

[0062] 4.第四实施方案(递送系统)

[0063] 5.第五实施方案(计算机)

[0064] <1.第一实施方案>

[0065]

[0066] 在过去，运动图像专家组-通过HTTP的动态自适应串流(MPEG-DASH)被已知作为使用超文本传输协议(HTTP)的内容递送技术，如在例如非专利文献1中所述。MPEG-DASH使用自适应比特率串流(ABS)技术，其中将表示具有不同比特率的相同内容的多项编码数据存储在内容服务器中，使得客户端根据要再现的网络频带选择多项编码数据中的一项。

[0067] 将参照图1描述通过DASH传输内容的程序。首先，在获取内容的一侧的视频再现终端中，用于控制流数据的软件选择所需内容的媒体呈现描述(MPD)文件来从网络服务器获取文件。MPD是管理要递送的内容(诸如视频或音频)的元数据。

[0068] 在获取MPD后，用于控制视频再现终端中的流数据的软件分析该MPD以执行控制，使得从网络服务器获取适合于通信线路的质量、视频再现终端的性能等的所需内容的数据(DASH段)。在用于HTTP访问的客户端软件的控制下，客户端软件通过使用HTTP从网络服务器获取这个DASH段。以这种方式获取的内容由视频再现软件再现。

[0069] 例如，MPD具有图2中所示的配置。在MPD的分析(解析)中，客户端从包含在MPD(图2中的媒体呈现)中的时段(Period)中的表示(Representation)的属性中选择最佳的一个。

[0070] 客户端读取所选表示(Representation)的顶部段(Segment)，并且获取初始化段(Initialization Segment)来处理。随后，客户端获取后续段(Segment)来再现。

[0071] 同时，MPD中的时段(Period)、表示(Representation)和段(Segment)之间的关系如图3中所示。具体来说，可以基于时段(Period)管理一块媒体内容，其中时段用作时间方向上的数据单元，而可以基于段(Segment)管理每个时段(Period)，其中段用作时间方向上的数据单元。另外，可以相对于每个时段(Period)配置具有属性(诸如彼此不同的比特率)的多个表示(Representation)。

[0072] 因此，MPD的这个文件(也称为MPD文件)在时段(Period)和其较低级别具有层级结构，如图4中所示。另外，当在时间轴上按顺序放置时，MPD的这种结构如图5中的实例中所示。从图5中的实例可以看出，相对于同一段(Segment)存在多个表示(Representation)。客户端自适应地选择这些表示中的一个，并且因此可以根据通信环境、自己的装置的解码能力等来获取适当的流数据来再现。

[0073] <区块结构>

[0074] 尽管如上所述在常规的DASH中自适应地控制整个图像的数据递送，但是已经考虑了自适应地选择部分图像作为整个图像的一部分而不是整个图像来递送的想法。该想法的实例包括递送对应于由终端在接收图像数据的一侧选择的整个图像的一部分的部分图像，以及根据终端的性能(例如，CPU等的吞吐量和显示器的大小)、传输路径、服务器的负载状态等控制要递送的部分图像的大小。

[0075] 为了如上所述自适应地递送部分图像，已经使用了区块(Tile)的概念。区块(Tile)表示通过将整个图像分为预先确定的布局(通过大小、形状、数量等)而获得的部分区域。在下文中，一个区块中的图像将被称为区块图像。如上所述，一旦将整个图像预先分为区块，就可能仅通过选择要递送的区块图像来容易地自适应地递送部分图像。在这种情况下，部分图像由单个数量或多个数量的区块图像构成。

[0076] 在如在DASH中那样使用HTTP进行递送的情况下，图像数据被编码，然后，其比特流被转换为要递送的文件(作为文件公开给公众)。在具有如上所述的区块结构的整个图像的情况下，针对每个区块图像独立地对图像数据进行编码。此时，如在图6的A中所示的实例中，每个区块的编码数据可以被转换为单个比特流。

[0077] 在图6的A中的实例中，准备具有大小为640×480的整个图像、具有大小为1980×1080的整个图像，以及通过在纵向和横向上将整个图像分为两个以便各自具有大小为960×540而获得的区块图像(四个部分图像)的各自的图像作为要递送的图像。具有大小为640×480的整个图像的数据被编码，以便转换为一个比特流(比特流1)，并且类似地，具有大小为1980×1080的整个图像的数据被编码，以便转换为一个比特流(比特流2)。此外，与数据的这些项目分开地，每个具有大小为960×540的各自的区块图像的数据被彼此独立地编码，使得编码数据的每个项目被转换为一个比特流(比特流3到比特流6)。

[0078] 标题信息，诸如视频参数集(Video Parameter Set(VPS))、序列参数集(Sequence Parameter Set(SPS))、辅助增强信息(Supplemental Enhancement Information(SEI))和图片参数集(Picture Parameter Set(PPS))被添加到每个比特流，并且图像数据的比特流以条带(Slice)为单位被按顺序放置。

[0079] 当使用如上所述的结构时，通过从比特流3到比特流6中选择要递送的比特流，可以选择要递送的区块图像。另外，在图6的A中所示的实例的情况下，可以如在整个图像中那样递送各自的区块图像。

[0080] 顺便提及，例如，诸如高效视频编码(HEVC)的编码模式支持被称为区块(Tile)的结构，其中整个图像被划分并且能够独立地对每个区块进行编码。例如，可以执行解码，使得仅获得这些区块中的一些区块的图像。换句话说，可以执行解码，使得仅获得部分图像(即，整个图像的一部分)。

[0081] 当利用编码模式的这种功能时，如在图6的B中所示的实例中，多个区块图像的编码数据可以转换为一个比特流(比特流7)。具体来说，在这种情况下，编码被配置成以将用于递送的上述区块(Tile)处理为由编码模式支持的区块(Tile)的方式来执行。在这种情况下，每个区块的数据按顺序作为条带(Slice)放置在比特流中。

[0082]

[0083] 如上所述，要递送的比特流根据例如MP4文件格式被转换为文件。在这种情况下，如在图7中所示的实例中，可以将各自的区块的比特流转换为单独的文件。以称为轨道(Track)的单位来管理每个区块的比特流。另外，提供了其中描述各自的区块的标题(Header)信息和对各自的轨道的参考的基本轨道(Base Track)，并且将其转换为与各自的区块的比特流的文件不同的文件。当所有区块将被解码时，再现基本轨道，并且当每个区块将被解码时，针对标题信息参考基本轨道。

[0084] 同时，如在图8中所示的实例中，也可以将各自的区块的比特流一起转换为一个文件。此时，各自的区块的数据可以作为一个轨道一起被管理，如在图8的A中，或替代地，各自的区块可以作为彼此不同的轨道被管理，如在图8的B中。在这种情况下，如在图7的情况下，提供了其中描述各自的区块的标题(Header)信息和对各自的轨道的参考的基本轨道(Base Track)。

[0085] <辅助图像>

[0086] 顺便提及，例如，包括能够编码多个层级(层)的可伸缩高效视频编码(SHVC)的一些编码模式使用这些层中的一个来编码与一般图像(即，主图像)一起使用的辅助图像(也称为AUX图像等)。

[0087] 辅助图像的实例包括主图像的深度信息(Depth)、用作色度键等的α通道图像(alpha_channel)，以及诸如字幕和屏幕字幕的覆盖图像(overlay)。只要信息与主图像一起使用，当然可以使用任何信息。

[0088] 在许多情况下，以与一般图像不同的方式处理如上所述的辅助图像。例如，辅助图像基本上由用于协助主图像的信息(诸如上述实例)构成，并因此被认为与相应的主图像一起使用(例如，显示)。因此，辅助图像是不适合单独使用(例如，显示)的信息。例如，当与相应的主图像一起显示时，诸如深度信息、色度键和字幕的信息可以获得精确的效果。

[0089] 在深度信息的情况下，例如，以当与主图像组合时创建用于立体视觉的图像的方式使用深度信息。作为附加实例，对于色度键，例如，当与主图像一起使用时，可以执行图像处理以将主要对象的一部分与图像内的背景的一部分分离。此外，在用作覆盖图像的字幕的示例性情况下，当与主图像一起显示时，字幕本身可以是有意义的。为了获得如上所述的这些精确的效果，需要将辅助图像与主图像一起使用。即使当单独使用(例如，显示)辅助图像时，也难以获得如上所述的这些精确的效果。

[0090] 应注意，在编码期间不对辅助图像执行层间预测。

[0091] 与此相反，可以单独使用(可以显示)对应于辅助图像的主图像。换句话说，辅助图像是并不总是需要的并且仅需要在必要时单独使用的信息。

[0092] 因此，当递送该辅助图像时，需要使接收和再现侧的设备识别所递送的图像是辅助图像。也需要提供使用辅助图像所需的信息。另外，需要主图像和辅助图像在被提供时彼此链接，并且辅助图像也是可选择的，以便在必要时被单独接收。

[0093] 作为用于控制图像的提供以使得可以根据需要提供图像的方法，在MPEG-DASH中使用MP4文件和MPD的方法是已知的。通过使用这些方法，在接收和再现侧的设备上实现在使用时辅助图像的简易控制。

[0094] 然而，在MP4文件和MPD中不提供用于区分辅助图像与通用文件的功能，因此，诸如常规的MPEG-DASH标准的递送格式不能识别如上所述的这种辅助图像。因此，存在在接收和再现侧的设备上将辅助图像错误地处理为一般图像的风险。

[0095] <辅助图像的识别和辅助信息的提供>

[0096] 为了解决这个问题，配置成生成包含轨道的文件，所述轨道存储其中编码与主图像一起使用的辅助图像的图像数据的编码数据，以及用作关于该辅助图像的信息的辅助信息。例如，MP4文件可以被配置成生成为上述文件。

[0097] 如上所述，当辅助信息与辅助图像一起存储在一个轨道中并且辅助信息与辅助图像一起被提供给接收和再现侧的设备时，接收和再现侧的设备可以将该图像识别为辅助图像以与一般图像区分开。由此，可能抑制由于被视为一般图像而对辅助图像的错误处理。换句话说，可以控制与主图像一起使用的辅助图像的提供。

[0098] 另外，该辅助信息可以被配置成包含识别信息，其指示该轨道是存储其中编码辅助图像的图像数据的编码数据的轨道。通过将这种识别信息作为辅助图像提供给接收和再现侧的设备，使得接收和再现侧的设备更容易识别辅助图像。

[0099] 同时，辅助信息可以被配置成包含指示辅助图像的类型的信息。如上所述，辅助图像的使用不限于特定的一个。因此，当指示辅助图像的类型的这种信息作为辅助信息被呈现给接收和再现侧的设备时，可以容易地在接收和再现侧的设备上适当地利用辅助图像。

[0100] 此外，指示辅助图像的类型的信息可以被配置成包含指示辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在主图像上而显示的覆盖的信息的信息。尽管辅助图像的特定分量是任意的，但是当假设该分量被限制为上述实例时，例如，识别信息可以用于向接收和再现侧的设备呈现哪一种类型的特定分量更容易应用于该辅助图像。

[0101] 另外，辅助信息可以被配置成进一步包含关于编码数据的附加信息，其对应于指示辅助图像的类型的信息。例如，当辅助图像的编码模式是高效视频编码(HEVC)等时，根据辅助图像的类型的辅助增强信息(SEI)包含在编码数据中。该SEI可以被配置成包含在辅助信息中，以便被提供给接收和再现侧的设备。因此，接收和再现侧的设备可以基于获得的信息而获得更多信息来更适当地处理辅助图像。

[0102] 另外，辅助信息可以被配置成存储在轨道的样本条目中。尽管辅助信息的存储位置是任意的，但是当辅助信息存储在样本条目中时，对于接收和再现侧的设备来说，对于其的参考变得容易。

[0103] 同时，包含存储其中编码主图像的图像数据的编码数据的轨道的文件可以被配置成生成为与包含存储其中编码辅助图像的图像数据的编码数据的轨道的文件不同的文件。简而言之，主图像和辅助图像可以被配置成个别地转换为单独的文件。

[0104] 作为除了用于生成上述文件的方法之外的方法，例如，可以配置成生成控制文件的再现的元数据，所述文件包含其中编码与主图像一起使用的辅助图像的图像数据的编码数据，同时包含用作关于辅助图像的信息的辅助信息。例如，MPD可以被配置成生成为上述元数据。

[0105] 如上所述，也在将辅助信息作为用于辅助图像的元数据提供给接收和再现侧的设备的情况下，接收和再现侧的设备可以识别出由该元数据控制的对象是辅助图像以将辅助图像与一般图像区分开。由此，可能抑制由于被视为一般图像而对辅助图像的错误处理。换句话说，可以控制与主图像一起使用的辅助图像的提供。

[0106] 另外，辅助信息可以被配置成设置在段所属的表示中，在该段中设置包含其中编码辅助图像的图像数据的编码数据的文件。尽管辅助信息的存储位置是任意的，但是在MPD的情况下，通过设置在表示中，对于接收和再现侧的设备来说，辅助信息的处理(对于其的参考等)变得容易。

[0107] 同时，辅助信息可以被配置成包含指示辅助图像的类型的信息。此外，指示辅助图像的类型的信息可以被配置成包含指示辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在主图像上而显示的覆盖的信息的信息。另外，辅助信息可以被配置成进一步包含关于编码数据的附加信息，其对应于指示辅助图像的类型的信息。这些信息以与用于生成文件的上述情况类似的方式来配置。

[0108] 另外，辅助信息的至少一部分可以被配置成设置在段所属的表示的基本属性中，在该段中设置包含其中编码辅助图像的图像数据的编码数据的文件。尽管用于设置辅助信息的方法是任意的，但是在MPD的情况下，通过设置在如上所述的基本属性中，对于接收和再现侧的设备来说，辅助信息的识别和其特定分量的识别变得容易。

[0109] 元数据也可以被配置成具有包含关于包含其中编码辅助图像的图像数据的编码数据的文件的信息的自适应集，和包含关于包含其中编码主图像的图像数据的编码数据的文件的信息的自适应集。简而言之，自适应集可以被配置成为主图像和辅助图像中的每个个别地生成。

[0110] <文件生成装置>

[0111] 接着，将描述生成上述MP4文件和MPD的装置。图9是图示作为应用本技术的信息处理装置的实施方案而呈现的文件生成装置的示例性主要配置的方框图。在图9中，文件生成装置100用作一种装置，其被配置成编码基层的图像(BL图像)和辅助视频层的图像，具体来说，辅助图像(AUX图像)，使得生成存储每个已经获得的层级的编码数据的MP4文件并且生成控制该MP4文件的递送的MPD。

[0112] 如图9中所示，文件生成装置100包括基层编码单元101、辅助视频层编码单元102、MP4文件生成单元103、样本条目设置单元104、MPD生成单元105和表示设置单元106。

[0113] 基层编码单元101根据预定编码模式(例如，HEVC)编码基层的输入图像(BL图像)以生成基层的编码数据。基层编码单元101将已经生成的基层的编码数据(HEVC)提供给MP4文件生成单元103。

[0114] 辅助视频层编码单元102根据预定编码模式(例如，SHVC)编码辅助视频层的输入图像(AUX图像)以生成增强层的编码数据。辅助视频层编码单元102将已经生成的辅助视频层的编码数据(SHVC)提供给MP4文件生成单元103。辅助视频层编码单元102也将用作关于AUX图像的信息的辅助信息提供给样本条目设置单元104。

[0115] MP4文件生成单元103生成存储从基层编码单元101提供的基层的编码数据(HEVC)和从辅助视频层编码单元102提供的辅助视频层的编码数据(SHVC)的文件(MP4文件)。MP4文件生成单元103将基层的编码数据(HEVC)和辅助视频层的编码数据(SHVC)存储到MP4文件中彼此不同的轨道。MP4文件生成单元103也在存储辅助视频层的编码数据(SHVC)的轨道中设置从样本条目设置单元104提供的样本条目。该样本条目包含用作关于AUX图像的信息的辅助信息。MP4文件生成单元103输出生成的MP4文件。MP4文件生成单元103也将生成的MP4文件提供给MPD生成单元105、表示设置单元106等。

[0116] 样本条目设置单元104通过使用从辅助视频层编码单元102提供的辅助信息生成样本条目。样本条目设置单元104将该样本条目提供给MP4文件生成单元103，并且使MP4文件生成单元103在存储辅助视频层的编码数据(SHVC)的轨道中设置该样本条目。

[0117] MPD生成单元105生成控制从MP4文件生成单元103提供的MP4文件的递送的MPD。此时，MPD生成单元105在MPD中的表示中设置从表示设置单元106提供的信息。MPD生成单元105输出生成的MPD。

[0118] 表示设置单元106通过使用从MP4文件生成单元103提供的MP4文件生成由MPD生成单元105生成的在MPD中的表示中设置的信息，然后将生成的信息提供给MPD生成单元105，使得相应地设置MPD。

[0119]

[0120] 图10图示由文件生成装置100的MP4文件生成单元103生成的MP4文件的示例性主要配置。

[0121] 在图10中的实例的情况下，MP4文件生成单元103生成具有1mbps带宽(带宽＝1mbps)的主图像(基层)的MP4文件(1mbps.mp4)、其辅助图像(辅助视频层)的MP4文件(1mbps_aux.mp4)、具有3mbps带宽(带宽＝3mbps)的主图像(基层)的MP4文件(3mbps.mp4)，以及其辅助图像(辅助视频层)的MP4文件(3mbps_aux.mp4)中的每个。换句话说，主图像和其辅助图像(AUX图像)被存储在彼此不同的轨道中，并且这些轨道被转换为文件作为彼此不同的文件。

[0122] 基层的编码数据(即，主图像的编码数据)的样本(HEVC样本)被存储在MP4文件(1mbps.mp4)中包含的轨道1(Track1)中。另外，在样本条目(样本条目＝'hvc1')中设置指示基层的编码模式是HEVC的编码信息。此外，在该样本条目中设置存储用于解码HEVC编码数据所需的配置(configuration)信息的hvcC盒(hvcC box)。

[0123] 辅助视频层的编码数据(即，对应于轨道1中的主图像的AUX图像的编码数据)的样本(SHVC辅助样本)被存储在MP4文件(1mbps_aux.mp4)中包含的轨道2(Track2)中。另外，在样本条目(样本条目＝'lha1')中设置指示轨道2是辅助视频层的轨道并且其编码模式是SHVC的编码信息。换句话说，其中设置与在编码模式是SHVC的主图像的情况下的编码信息(lhv1)不同的编码信息。此外，在该样本条目中设置存储用于以SHVC编码模式解码辅助图像的编码数据所需的配置(configuration)信息的lhaC盒(lhaC box)。

[0124] 另外，指示对基层的轨道1的参考对应于轨道2的信息是必要的(1)，并且在轨道2(sbas＝1)中的轨道参考(Track Reference)中设置该参考的类型(sbas)。

[0125] MP4文件(3mbps.mp4)的配置与MP4文件(1mbps.mp4)的配置类似，只是其带宽与MP4文件(1mbps.mp4)的带宽不同。因此，MP4文件(3mbps_aux.mp4)的配置也与MP4文件(1mbps_aux.mp4)的配置类似，只是其带宽与MP4文件(1mbps_aux.mp4)的带宽不同。应注意，然而，MP4文件(3mbps_aux.mp4)中的轨道4(Track4)的轨道参考(Track Reference)指示对轨道3的参考是必要的(sbas＝3)。

[0126] 如上所述，在存储关于辅助图像的信息的轨道的样本条目中的编码信息中，设置指示该轨道存储关于辅助图像的信息的值。具体来说，样本条目设置单元104基于辅助信息在样本条目中的编码信息中设置这样的值。换句话说，在存储关于辅助图像的信息的轨道的样本条目中，指示该轨道存储关于辅助图像的信息的识别信息被设置为辅助信息。因此，通过参考该编码信息，在接收和再现该MP4文件的一侧的设备可以容易地识别关于辅助图像的信息被存储在该轨道中。

[0127] 另外，包含在lhaC盒(lhaC box)中的信息是任意的。图11图示lhaC盒(lhaC box)的示例性语法。

[0128] 在图11中的实例的情况下，将“auxId”存储在lhaC盒(lhaC box)中作为指示辅助图像的类型的信息。该“auxId”的值指示当设置为“1”(auxId＝1 alpha_chanel_info)时，辅助图像(AUX图像)是α通道的图像。同时，该“auxId”的值指示当设置为“2”(auxId＝2 depth_representation_info)时，辅助图像(AUX图像)是深度信息。另外，该“auxId”的值指示当设置为“3”(auxId＝3 overlay_info)时，辅助图像(AUX图像)是用于覆盖的图像。

[0129] 当这种识别信息“auxId”存储在lhaC盒(lhaC box)中以便提供给接收和再现侧的设备时，可以在接收和再现侧的设备上容易地确定该辅助图像的类型，由此可以正确地利用辅助图像。尽管用于指定辅助图像的类型的方法是任意的，但是当如上所述预先限制辅助图像的类型时，可以通过使用这种识别信息指定辅助图像的类型来抑制信息量的增加。另外，信息的格式被制定为标准，因此，对于接收和再现侧的设备来说，该信息的处理变得容易。因此，可以更容易地确定辅助图像的类型。

[0130] 上述识别信息“auxId”当然是一个实例。辅助图像(AUX)图像的类型是任意的，并且不限于上述实例。用作候选的辅助图像的类型的数量也是任意的。另外，指定辅助图像的类型的识别信息“auxId”的值也是任意的。

[0131] 此外，在图11中的实例的情况下，对应于辅助图像的类型的SEI(识别信息“auxId”的值)存储在该lhaC盒(lhaC box)中。如上所述，当另外存储根据辅助图像的类型的附加信息时，接收和再现侧的设备可以因此基于所获得的信息来获得更多的信息以更正确地处理辅助图像。

[0132]

[0133] 接着，图12图示由文件生成装置100的MPD生成单元105生成的MPD的示例性主要配置。

[0134] 在图12中的实例的情况下，两个自适应集(AdaptationSet)被设置在时段(Period)的较低级别。关于主图像的信息被存储在一个自适应集中，而关于辅助图像的信息被存储在另一个自适应集中。

[0135] 两个表示(Representation)被设置在主图像的自适应集的较低级别。关于具有1mbps带宽的主图像的信息被存储在一个表示中，而关于具有3mbps带宽的主图像的信息被存储在另一个表示中。

[0136] 段(Segment)被设置在关于具有1mbps带宽的主图像的信息的表示的较低级别，其中关于具有1mbps带宽(带宽＝1mbps)的主图像(基层)的MP4文件(1mbps.mp4)的信息被设置(注册)到该段。

[0137] 另外，指示关于具有1mbps带宽的主图像的信息被存储在其中的识别信息()、指示该主图像的编码模式是HEVC模式的编码信息()，以及指示带宽(<带宽＝"1mbps">)的信息被设置在该表示中。

[0138] 段被设置在关于具有3mbps带宽的主图像的信息的表示的较低级别，其中关于具有3mbps带宽(带宽＝3mbps)的主图像(基层)的MP4文件(3mbps.mp4)的信息被设置(注册)到该段。

[0139] 另外，指示关于具有3mbps带宽的主图像的信息被存储在其中的识别信息()、指示该主图像的编码模式是HEVC模式的编码信息()，以及指示带宽(<带宽＝"3mbps">)的信息被设置在该表示中。

[0140] 同时，两个表示被设置在辅助图像的自适应集的较低级别。关于具有1mbps带宽的辅助图像的信息被存储在一个表示中，而关于具有3mbps带宽的辅助图像的信息被存储在另一个表示中。

[0141] 段被设置在关于具有1mbps带宽的辅助图像的信息的表示的较低级别，其中关于具有1mbps带宽(带宽＝1mbps)的辅助图像(基层)的MP4文件(1mbps_aux.mp4)的信息被设置(注册)到该段。

[0142] 另外，指示关于具有1mbps带宽的辅助图像的信息被存储在其中的识别信息()、指示该辅助图像的编码模式是SHVC模式的编码信息()，以及指示带宽(<带宽＝"1mbps">)的信息在该表示中被设置为辅助信息。通过参考信息的这些项目，接收和再现侧的设备可以识别出由该元数据控制的对象是辅助图像以将该辅助图像与一般图像区分开。由此，可能抑制由于被视为一般图像而对辅助图像的错误处理。换句话说，可以控制与主图像一起使用的辅助图像的提供。另外，当如上所述的辅助信息被设置在表示中时，对于接收和再现侧的设备来说，辅助信息的处理(对于其的参考等)变得容易。

[0143] 此外，指示对关于具有1mbps带宽(id＝"bs1")的主图像和该参考的类型(sbas)的信息的表示的参考的链接信息(关联信息)()在该表示中被设置为辅助信息。使用这种辅助信息，可以在接收和再现侧的设备上容易地识别表示之间(MP4文件之间)的参考关系。

[0144] 同时，指示辅助图像的类型的信息在该表示中被设置为基本属性(EssentialProperty)。例如，将辅助图像的方案设置为元素(schemeIdUri＝"urn:mpeg:
DASH:hevc:aux:2014")，并且将指示辅助图像的类型的识别信息“auxId”设置为其值(value)。该识别信息“auxId”是与MP4文件的识别信息“auxId”类似的信息。例如，设置如下所示的信息。

[0145]

[0146] 当指示辅助图像的类型的这种信息作为辅助信息被呈现给接收和再现侧的设备时，可以容易地在接收和再现侧的设备上适当地利用该辅助图像。此外，可以通过使用这种识别信息指定辅助图像的类型来抑制信息量的增加。另外，信息的格式被制定为标准，因此，对于接收和再现侧的设备来说，该信息的处理变得容易。因此，可以更容易地确定辅助图像的类型。另外，当辅助信息被设置在基本属性中时，对于接收和再现侧的设备来说，辅助信息的识别和其特定分量的识别变得容易。

[0147] 当然，除了上述信息之外的另一类型的信息可以被配置成设置在表示中。例如，对应于关联图像的类型(识别信息“auxId”的值)的SEI(附加信息)可以被配置成设置在其中。

[0148] 段被设置在关于具有3mbps带宽的辅助图像的信息的表示的较低级别，其中关于具有3mbps带宽(带宽＝3mbps)的辅助图像(基层)的MP4文件(3mbps_aux.mp4)的信息被设置(注册)到该段。

[0149] 另外，指示关于具有3mbps带宽的辅助图像的信息被存储在其中的识别信息()、指示该辅助图像的编码模式是SHVC模式的编码信息()，以及指示带宽(<带宽＝"3mbps">)的信息在该表示中被设置为辅助信息。

[0150] 此外，指示对关于具有3mbps带宽(id＝"bs3")的主图像和该参考的类型(sbas)的信息的表示的参考的链接信息(关联信息)()在该表示中被设置为辅助信息。

[0151] 同时，如下所示，指示辅助图像的类型的信息在该表示中被设置为基本属性(EssentialProperty)。

[0152]

[0153] MPD生成单元105如上所述生成MPD，由此可以在文件生成装置100中实现与主图像一起使用的辅助图像的提供的控制。

[0154]

[0155] 将参照图13中的流程图描述作为由图9中的文件生成装置100生成如图10中的MP4文件的处理而执行的MP4文件生成处理的示例性流程。

[0156] 当开始MP4文件生成处理时，在步骤S101，基层编码单元101编码基层图像(BL图像)。

[0157] 在步骤S102，辅助视频层编码单元102编码辅助图像(AUX图像)。

[0158] 在步骤S103，MP4文件生成单元103将编码数据的各自的项目分为单独的轨道以生成MP4文件。在图10中的实例的情况下，MP4文件生成单元103为每个轨道生成MP4文件。

[0159] 在步骤S104，MP4文件生成单元103对辅助视频层的轨道中的基层的轨道设置轨道参考。

[0160] 在步骤S105，样本条目设置单元104通过使用辅助信息来设置用于辅助视频层的轨道的样本条目。

[0161] 在步骤S106，MP4文件生成单元103输出生成的MP4文件。

[0162] 如上所述，通过执行MP4文件生成处理，文件生成装置100可以生成具有如图10中所示的配置的MP4文件。具体来说，文件生成装置100可以被配置成通过该MP4文件控制与主图像一起使用的辅助图像的提供。换句话说，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0163]

[0164] 将参照图14中的流程图描述作为由图9中的文件生成装置100生成如图12的实例中的MPD的处理而执行的MPD生成处理的示例性流程。

[0165] 当开始MPD生成处理时，在步骤S121，基层编码单元101、辅助视频层编码单元102、MP4文件生成单元103和样本条目设置单元104生成基层的图像(BL图像)和辅助视频层的图像(AUX图像)的MP4文件。以与参照图13中的流程图描述的MP4文件生成处理类似的方式来执行该处理。

[0166] 一旦生成MP4文件，则在步骤S122，MPD生成单元105将自适应集设置在时段的较低级别。

[0167] 在步骤S123，MPD生成单元105为MP4文件中的每个轨道将表示或子表示设置在自适应集的较低级别。

[0168] 在步骤S124，MPD生成单元105为MP4文件中的每个轨道将段设置在每个表示的较低级别。

[0169] 在步骤S125，表示设置单元106在每个表示或每个子表示中设置关于相应的轨道的信息。

[0170] 在步骤S126，MPD生成单元105输出如上所述生成的MPD。

[0171] 如上所述，通过执行MPD生成处理，文件生成装置100可以生成具有如图12中所示的配置的MPD。具体来说，文件生成装置100可以被配置成通过该MPD控制与主图像一起使用的辅助图像的提供。换句话说，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0172] <文件再现装置>

[0173] 接着，将描述再现如上所述生成的MP4文件和MPD的装置。图15是图示作为应用本技术的信息处理装置的实施方案而呈现的文件再现装置的示例性主要配置的方框图。在图15中，文件再现装置200用作一种装置，其再现如上所述由图9中的文件生成装置100生成的MP4文件和MPD，并且生成基层的解码图像或基层和辅助视频层的解码图像来输出。

[0174] 如图15中所示，文件再现装置200包括MPD分析单元201、MP4文件再现单元202、基层解码单元203和辅助视频层解码单元204。

[0175] MPD分析单元201获取具有如图12中所示的配置的MPD作为实例，以分析然后基于分析的结果控制MP4文件再现单元202。

[0176] 在MPD分析单元201的控制下，MP4文件再现单元202获取具有如图10中所示的配置的MP4文件作为实例，以再现然后从基层的轨道提取编码数据。MP4文件再现单元202将已经提取的基层的编码数据提供给基层解码单元203。

[0177] MP4文件再现单元202也根据需要从MP4文件中的辅助视频层的轨道提取编码数据。MP4文件再现单元202将已经提取的辅助视频层的编码数据提供给辅助视频层解码单元204。

[0178] 基层解码单元203解码从MP4文件再现单元202提供的编码数据，并且生成基层的解码图像(BL解码图像)。基层解码单元203输出基层的该解码图像(BL解码图像)。

[0179] 辅助视频层解码单元204解码从MP4文件再现单元202提供的编码数据，并且生成辅助视频层的解码图像(AUX解码图像)。辅助视频层解码单元204输出辅助视频层的该解码图像(AUX解码图像)。

[0180]

[0181] 将参照图16中的流程图描述由该文件再现装置200执行的MP4文件再现处理的示例性流程。应注意，这里将描述再现基层和辅助视频层的编码数据的情况。

[0182] 当开始MP4文件再现处理时，在步骤S201，MP4文件再现单元202获取MP4文件。

[0183] 在步骤S202，基于样本条目和轨道参考中的信息，MP4文件再现单元202定位要再现的基层的轨道。

[0184] 在步骤S203，MP4文件再现单元202提取定位的轨道的编码数据。

[0185] 在步骤S204，基层解码单元203解码基层的编码数据。

[0186] 在步骤S205，基层解码单元203输出已经生成的基层的解码图像(BL解码图像)。

[0187] 在步骤S206，基于样本条目和轨道参考中的信息，MP4文件再现单元202定位要再现的辅助视频层的轨道。

[0188] 在步骤S207，MP4文件再现单元202提取定位的轨道的编码数据。

[0189] 在步骤S208，辅助视频层解码单元204解码辅助视频层的编码数据。

[0190] 在步骤S209，辅助视频层解码单元204输出已经生成的辅助视频层的解码图像(AUX解码图像)。

[0191] 应注意，在仅解码基层的情况下，仅执行从步骤S201到步骤S205的每个处理。

[0192] 如上所述，通过执行MP4文件再现处理，文件再现装置200可以再现具有如图10中所示的配置的MP4文件，并且生成每个层的解码图像。此时，基于存储在MP4文件中的信息，文件再现装置200可以容易地识别辅助视频层的图像是辅助图像而不是一般图像。因此，可以抑制对辅助视频层的图像的错误处理。具体来说，在文件再现装置200中，可以通过MP4文件实现与主图像一起使用的辅助图像的提供的控制。换句话说，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0193]

[0194] 将参照图17中的流程图描述由图15中的文件再现装置200执行以生成具有如图12中所示的配置作为实例的MPD的MPD再现处理的示例性流程。

[0195] 当开始MPD再现处理时，在步骤S221，MPD分析单元201获取MPD。

[0196] 在步骤S222，基于MPD中的表示、子表示等中的信息，MPD分析单元201选择要再现的段。

[0197] 在步骤S223，根据MPD分析单元201的控制，MP4文件再现单元202向辅助视频层再现单元204再现在步骤S222选择的段中注册的MP4文件，并且生成其解码图像来输出。以与参照图16中的流程图描述的MP4文件再现处理类似的方式执行该处理。

[0198] 如上所述，通过执行MPD再现处理，文件再现装置200可以再现具有如图12中所示的配置的MPD，并且生成每个层的解码图像。此时，基于存储在MPD中的信息，文件再现装置200可以容易地识别辅助视频层的图像是辅助图像而不是一般图像。因此，可以抑制对辅助视频层的图像的错误处理。具体来说，在文件再现装置200中，可以通过MPD实现与主图像一起使用的辅助图像的提供的控制。换句话说，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0199] <2.第二实施方案>

[0200]

[0201] 应注意，尽管已经参照图10描述MP4文件的示例性配置，但是配置不限于该实例。例如，多个主图像(BL图像)可以与一个辅助图像(AUX图像)相关联。具体来说，该多个主图像可以被配置成使得其中的任何一个可以与一个通用辅助图像一起使用(例如，显示)。

[0202] 图18图示这种情况的MP4文件的示例性配置。在这种情况下，轨道3(Track3)存储关于与具有1mbp带宽的主图像(其被存储在轨道1(Track1)中)和具有3mbps带宽的主图像(其被存储在轨道2(Track2)中)相关联的辅助图像的信息。因此，在这种情况下，在轨道3的轨道参考(sbas＝1.2)中指示与轨道1和轨道2的参考关系。其他配置与图10的情况类似。

[0203] 在MP4文件中，如上所述，可以通过使用轨道参考容易地将一个辅助图像与多个主图像链接。

[0204] 在这种情况下的MP4文件生成处理和MP4文件再现处理与第一实施方案的情况类似，因此，将省略其描述。

[0205] 具体来说，也在这种情况下，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0206]

[0207] 另外，图19图示在这种情况下的MPD的示例性配置。如图19中所示，存储有关于具有500kbps带宽的辅助图像的信息的一个表示被设置在辅助图像的自适应集的较低级别。该辅助图像与具有1mbps带宽的主图像和具有3mbps带宽的主图像链接。

[0208] 因此，指示对关于具有1mbps带宽(id＝"bs1")的主图像的信息的表示以及关于具有3mbps带宽(id＝"bs3")的主图像和这些参考的类型(sbas)的信息的表示的参考的链接信息(关联信息)()在该辅助图像的表示中被设置为辅助信息。其他配置与图12的情况类似。

[0209] 在MPD中，如上所述，可以通过使用关联信息容易地将一个辅助图像与多个主图像链接。

[0210] 在这种情况下的MPD生成处理和MPD再现处理与第一实施方案的情况类似，因此，将省略其描述。

[0211] 具体来说，也在这种情况下，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0212] <3.第三实施方案>

[0213]

[0214] 或者，在MP4文件中，例如，存储关于主图像(BL图像)的信息的轨道和存储关于辅助图像(AUX图像)的信息的轨道可以被配置成包含在一个文件中。图20图示这种情况的MP4文件的示例性主要配置。

[0215] 在图20中的实例的情况下，存储关于具有1mbps带宽的主图像的信息的轨道1和存储相应的辅助信息的轨道2包含在一个MP4文件(1mbps.mp4)中。同样地，存储关于具有3mbps带宽的主图像的信息的轨道3和存储相应的辅助信息的轨道4包含在一个MP4文件(3mbps.mp4)中。

[0216] 当使用如上所述的配置时，可以通过仅获取一个MP4文件来获取彼此链接的主图像和辅助图像两者。换句话说，在接收和再现侧的设备上MP4文件的处理变得容易。例如，如在图10中的实例中，当轨道个别地转换为单独的文件时，需要获取对应于轨道的数量的多个MP4文件，以便使用多个轨道。另一方面，如在图20中的实例中，当将彼此链接的主图像和辅助图像保存在一个MP4文件中时，可能减少要获取的MP4文件的数量。在这种情况下，然而，在MP4文件中可以包含不使用的轨道，因此，存在被迫获取不必要的信息的可能性。在图10中的实例的情况下，可以进一步减少不必要的信息的获取。

[0217] 同时在这种情况下，MP4文件生成处理和MP4文件再现处理与第一实施方案的情况类似，因此，将省略其描述。

[0218] 具体来说，也在这种情况下，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0219]

[0220] 另外，图21图示在这种情况下的MPD的示例性配置。如图21中所示，在这种情况下，将关于彼此对应的辅助图像和主图像的信息存储在一个(通用)自适应集中。

[0221] 另外，在这种情况下，子表示被设置在表示的较低级别，其中关于辅助图像的信息被设置在该子表示中。在图21中的实例的情况下，指示辅助图像的编码模式是SHVC模式的编码信息()和指示带宽(<带宽＝"500kbps">)的信息被设置在子表示中。

[0222] 同时，设置如下所示的基本属性(EssentialProperty)，其中将辅助图像的方案设置为元素(schemeIdUri＝"urn:mpeg:DASH:hevc:aux:2014")，并且将指示辅助图像的类型的识别信息“auxId”设置为其值(value)。

[0223]

[0224] 另外，指示主图像和辅助图像之间的参考关系的级别信息被设置为如下所示。

[0225]

[0226] 在该级别信息中，主图像(轨道1)被设置在0级(level0)，而辅助图像(轨道2)被设置在1级(level1)。具体来说，上面的描述表示辅助图像位于1级并且依赖于0级的主图像。

[0227] 在这种情况下的MPD生成处理和MPD再现处理与第一实施方案的情况类似，因此，将省略其描述。

[0228] 具体来说，也在这种情况下，在图像递送中实现与主图像一起使用的辅助图像的提供的控制。

[0229] <4.第四实施方案>

[0230] <递送系统>

[0231] 到目前为止各自的实施方案中描述的每个装置可以用于例如一种递送系统，其被配置成递送静止图像和运动图像。下文将描述这种情况。

[0232] 图22是图示应用本技术的递送系统的示例性主要配置的图解。图22中所示的递送系统300是递送静止图像和运动图像的系统。如图22中所示，递送系统300包括递送数据生成装置301、递送服务器302、网络303、终端装置304和终端装置305。

[0233] 递送数据生成装置301生成用于从要递送的静止图像和运动图像的数据递送的格式的递送数据。递送数据生成装置301将生成的递送数据提供给递送服务器302。递送服务器302通过存储到存储单元等来管理由递送数据生成装置301生成的递送数据，并且通过网络303将该递送数据的递送服务提供给终端装置304和终端装置305。

[0234] 网络303是用作通信介质的通信网络。网络303可以被配置成任何类型的通信网络，并且可以是有线通信网络、无线通信网络，或替代地其两者。例如，可以使用有线局域网(LAN)、无线LAN、公共电话线网络、用于诸如所谓的3G线路和4G线路的无线移动体的广域通信网络，或互联网等。或者，可以使用其组合。另外，网络303可以由单个数量的通信网络或多个数量的通信网络构成。同时，例如，网络303的一部分或全部可以被配置成包括预定标准的通信电缆，诸如通用串行总线(USB)电缆或高清晰度多媒体接口(HDMI)(注册商标)电缆。

[0235] 递送服务器302、终端装置304和终端装置305连接到该网络303并被设置为使得其中的通信是可能的。用于将这些构件连接到网络303的方法是任意的。例如，这些装置可以被配置成通过有线通信连接到网络303，或替代地，可以被配置成通过无线通信连接到网络303。另外，例如，这些装置可以被配置成通过诸如接入点、中继装置或基站的任意通信装置(通信设施)连接到网络303。

[0236] 终端装置304和终端装置305中的每个是具有通信功能的任意电子电器，诸如便携式电话、智能电话、平板式计算机或笔记本型计算机。终端装置304或终端装置305基于来自例如用户的指令请求递送服务器302对递送文件的递送。

[0237] 递送服务器302将请求的递送数据发送到请求者。已请求递送的终端装置304或终端装置305接收要再现的该递送数据。

[0238] 在如上所述的递送系统300中，在各自的实施方案中较早描述的本技术被应用为递送数据生成装置301。具体来说，使用上述文件生成装置100来用作递送数据生成装置301。

[0239] 另外，在各自的实施方案中较早描述的本技术被应用为终端装置304和终端装置305。具体来说，使用上述文件再现装置200来用作终端装置304和终端装置305。

[0240] 当以这种方式配置时，可以在递送数据生成装置301、终端装置304和终端装置305中获得与上述各自的实施方案的效果类似的效果。换句话说，可以在递送系统300中控制与主图像一起使用的辅助图像的提供。

[0241] <5.第五实施方案>

[0242] <计算机>

[0243] 一系列的上述处理也可以通过使用硬件来执行，并且还可以通过使用软件来执行。当该系列的处理由软件执行时，构成该软件的程序安装在计算机中。这里，计算机包括内置于专用硬件中的计算机，以及当安装有各种类型的程序时能够执行各种类型的功能的计算机，例如，通用个人计算机。

[0244] 图23是图示使用程序来执行上述一系列处理的计算机的示例性硬件配置的方框图。

[0245] 在图23中所示的计算机400中，中央处理单元(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403通过总线404互连。

[0246] 另外，输入/输出接口410连接到总线404。输入单元411、输出单元412、存储单元413、通信单元414和驱动器415连接到输入/输出接口410。

[0247] 例如，输入单元411包括键盘、鼠标、麦克风、触摸面板和输入终端。例如，输出单元412包括显示器、扬声器和输出终端。例如，存储单元413包括硬盘、RAM磁盘和非易失性存储器。例如，通信单元414包括网络接口。驱动器415驱动移动介质421，诸如磁盘、光盘、磁光盘或半导体存储器。

[0248] 在如上所述配置的计算机中，例如，以CPU 401通过输入/输出接口410和总线404将存储在存储单元413中的程序加载到RAM 403来执行的方式执行上述一系列处理。当执行各种类型的处理等时CPU 401所需的数据也根据需要存储在RAM 403中。

[0249] 例如，由计算机(CPU 401)执行的程序可以通过记录在用作封装介质等的移动介质421中来应用。在这种情况下，通过将移动介质421安装在驱动器415中，可以通过输入/输出接口410将程序安装到存储单元413。

[0250] 另外，也可以通过有线或无线传输介质(诸如局域网、互联网或数字卫星广播)来提供该程序。在这种情况下，程序可以由通信单元414接收以安装到存储单元413。

[0251] 作为替代方式，该程序可以预先安装到ROM 402或存储单元413。

[0252] 应注意，由计算机执行的程序可以是其中根据本描述中描述的顺序沿着时间序列执行处理的程序，或替代地，可以是其中并行地或在必要的定时(例如，当被调用时)执行处理的程序。

[0253] 另外，在本描述中，描述要记录在记录介质中的程序的步骤当然包括根据描述步骤的顺序沿着时间序列执行的处理，并且另外包括不必沿着时间序列处理但以并行方式或个别地执行的处理。

[0254] 此外，可以通过上述各自的装置或除了上述各自的装置之外的任意装置来执行上述步骤的处理。在这种情况下，要执行该处理的装置简单地被配置成具有执行上述处理所需的功能(例如，功能块)。另外，用于处理所需的信息可以被配置成根据需要传输到该装置。

[0255] 同时，在本描述中，系统是指多个构成构件(例如，装置和模块(组件))的集合，并且是否所有构成构件被布置在同一机柜内不被认为是重要的。因此，容纳在分离的机柜中以通过网络彼此连接的多个装置和其中多个模块容纳在一个机柜内的一个装置都被视为系统。

[0256] 另外，在上述情况下，被描述为一个装置(或处理单元)的配置可以被划分以被配置成多个装置(或处理单元)。或相反，在上述情况下，被描述为多个装置(或处理单元)的配置可以被集成以被配置成一个装置(或处理单元)。另外，当然，可以使用除了上述配置之外的配置来添加到各自的装置(或各自的处理单元)的配置。此外，某一装置(或某一处理单元)的一部分可以被配置成包括在另一装置(或另一处理单元)的配置中，只要系统的配置或操作整体上保持大体上不变。

[0257] 到目前为止已经参照附图详细描述了本公开的有利实施方案。然而，本公开的技术范围不限于这些实例。显然，具有本公开的技术领域的普通知识的人可以在权利要求中所公开的技术精神的范围内进行各种变化或修改，并且当然，这些被理解为本公开的技术范围的一部分。

[0258] 例如，本技术可以使用云计算配置，其中一个功能被划分并分配给多个装置，以便通过网络在其中协调处理。

[0259] 另外，在上述流程图中描述的各自的步骤可以由每个占有一部分的多个装置执行，以及由单个装置执行。

[0260] 此外，当在一个步骤中包括多个处理时，包括在一个步骤中的该多个处理可以由每个占有一部分的多个装置执行，以及由单个装置执行。

[0261] 另外，本技术不限于此，并且也可以作为配备在构成上述装置或系统的装置中的任何配置来执行，例如，用作系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元，或将另一功能进一步添加到单元等的集合(即，装置的部分配置)。

[0262] 应注意，本技术也可以如下所述进行配置。

[0263] (1)一种信息处理装置，包括文件生成单元，被配置成生成包含轨道的文件，所述轨道存储其中编码与主图像一起使用的辅助图像的图像数据的编码数据，以及用作关于所述辅助图像的信息的辅助信息。

[0264] (2)根据(1)所述的信息处理装置，其中

[0265] 所述辅助信息包含识别信息，其指示所述轨道是存储其中编码所述辅助图像的所述图像数据的所述编码数据的轨道。

[0266] (3)根据(1)或(2)所述的信息处理装置，其中

[0267] 所述辅助信息包含指示所述辅助图像的类型的信息。

[0268] (4)根据(3)所述的信息处理装置，其中

[0269] 指示所述辅助图像的所述类型的所述信息包含指示所述辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在所述主图像上而显示的覆盖的信息的信息。

[0270] (5)根据(3)或(4)所述的信息处理装置，其中

[0271] 所述辅助信息进一步包含关于所述编码数据的附加信息，其对应于指示所述辅助图像的所述类型的所述信息。

[0272] (6)根据(1)至(5)中任一项所述的信息处理装置，其中

[0273] 所述辅助信息存储在所述轨道的样本条目中。

[0274] (7)根据(1)至(6)中任一项所述的信息处理装置，其中

[0275] 所述文件生成单元生成包含存储其中编码所述主图像的所述图像数据的所述编码数据的所述轨道的文件，作为与包含存储其中编码所述辅助图像的所述图像数据的所述编码数据的所述轨道的所述文件不同的文件。

[0276] (8)根据(7)所述的信息处理装置，其中

[0277] 所述文件生成单元针对包含存储其中编码所述辅助图像的所述图像数据的所述编码数据的所述轨道的一个文件生成多个文件，每个文件包含存储其中编码所述主图像的所述图像数据的所述编码数据的所述轨道。

[0278] (9)根据(1)至(8)中任一项所述的信息处理装置，其中

[0279] 所述文件生成单元生成包含存储其中编码所述辅助图像的所述图像数据的所述编码数据的所述轨道和存储其中编码所述主图像的所述图像数据的所述编码数据的所述轨道这两者的文件。

[0280] (10)一种信息处理方法，其被配置成生成包含轨道的文件，所述轨道存储其中编码与主图像一起使用的辅助图像的图像数据的编码数据，以及用作关于所述辅助图像的信息的辅助信息。

[0281] (11)一种信息处理装置，包括元数据生成单元，被配置成生成控制文件的再现的元数据，所述文件包含其中编码与主图像一起使用的辅助图像的图像数据的编码数据，同时包含用作关于所述辅助图像的信息的辅助信息。

[0282] (12)根据(11)所述的信息处理装置，其中

[0283] 所述辅助信息设置在段所属的表示中，在该段中设置包含其中编码所述辅助图像的所述图像数据的所述编码数据的所述文件。

[0284] (13)根据(11)或(12)所述的信息处理装置，其中

[0285] 所述辅助信息包含指示所述辅助图像的类型的信息。

[0286] (14)根据(13)所述的信息处理装置，其中

[0287] 指示所述辅助图像的所述类型的所述信息包含指示所述辅助图像是否是关于用作色度键的α通道的信息、深度信息或关于通过叠加在所述主图像上而显示的覆盖的信息的信息。

[0288] (15)根据(13)或(14)所述的信息处理装置，其中

[0289] 所述辅助信息进一步包含关于所述编码数据的附加信息，其对应于指示所述辅助图像的所述类型的所述信息。

[0290] (16)根据(11)至(15)中任一项所述的信息处理装置，其中

[0291] 所述辅助信息的至少一部分设置在所述段所属的所述表示的基本属性中，在该段中设置包含其中编码所述辅助图像的所述图像数据的所述编码数据的所述文件。

[0292] (17)根据(11)至(16)中任一项所述的信息处理装置，其中

[0293] 所述元数据具有包含关于包含其中编码所述辅助图像的所述图像数据的所述编码数据的所述文件的信息的自适应集，和包含关于包含其中编码所述主图像的所述图像数据的所述编码数据的文件的信息的自适应集。

[0294] (18)根据(17)所述的信息处理装置，其中

[0295] 所述元数据具有属于所述自适应集的多个表示，所述自适应集包含关于包含其中编码所述主图像的所述图像数据的所述编码数据的所述文件的所述信息。

[0296] (19)根据(11)至(18)中任一项所述的信息处理装置，其中

[0297] 所述元数据具有自适应集，其包含关于包含其中编码所述辅助图像的所述图像数据的所述编码数据和其中编码所述主图像的所述图像数据的所述编码数据这两者的文件的信息。

[0298] (20)一种信息处理方法，其被配置成生成控制文件的再现的元数据，所述文件包含其中编码与主图像一起使用的辅助图像的图像数据的编码数据，同时包含用作关于所述辅助图像的信息的辅助信息。

[0299] 参考符号列表

[0300] 100 文件生成装置

[0301] 101 基层编码单元

[0302] 102 辅助视频层编码单元

[0303] 103 MP4文件生成单元

[0304] 104 样本条目设置单元

[0305] 105 MPD生成单元

[0306] 106 表示设置单元

[0307] 200 文件再现装置

[0308] 201 MPD分析单元

[0309] 202 MP4文件再现单元

[0310] 203 基层解码单元

[0311] 204 辅助视频层解码单元

[0312] 300 递送系统

[0313] 301 递送数据生成装置

[0314] 302 递送服务器

[0315] 303 网络

[0316] 304、305 终端装置

[0317] 400 计算机。