再现装置、集成电路、记录介质转让专利

申请号 : CN201080002646.3

文献号 : CN102160389B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 池田航佐佐木泰治小川智辉矢羽田洋

申请人 : 松下电器产业株式会社

摘要 :

再现装置根据记录介质中记录的流选择表,再现图形流。程序部件根据性能寄存器所示的再现能力,决定对应于当前流序号的图形再现类型。图形流的再现类型中有使用平面视觉图形流进行再现的第1再现类型、与使用左眼用图形流和右眼用图形流的组来进行立体视觉再现的第2再现类型,性能寄存器表示图形解码器中是否存在使用左眼用图形流和右眼用图形流的组执行立体视觉再现的能力。

权利要求 :

1.一种再现装置,将记录在记录介质中的图形流进行再现,在所述记录介质中记录有流选择表,该流选择表将所述再现装置能够选择的图形流与流序号对应起来表示,所述再现装置具备:流序号寄存器,存储所述流选择表中登录的流序号中、对应于作为再现对象的图形流的流序号;和性能寄存器,表示所述再现装置的图形再现能力,

在图形流的再现类型中,有使用了平面视觉图形流进行立体视觉再现的第1再现类型、和使用左眼用图形流与右眼用图形流的对来进行立体视觉再现的第2再现类型,所述性能寄存器表示再现装置中是否存在使用了左眼用图形流与右眼用图形流的对来进行立体视觉再现的能力;其中,根据所述性能寄存器所示的再现能力,选择与所述流序号寄存器中存储的流序号对应的图形流的再现类型。

2.根据权利要求1所述的再现装置,其特征在于,

在所述性能寄存器表示再现装置中不存在使用了左眼用图形流与右眼用图形流的对来进行立体视觉再现的能力的情况下,所述再现装置选择所述第1再现类型。

3.根据权利要求1所述的再现装置,其特征在于,

在图形流中存在显象图形流与交互式图形流。

说明书 :

再现装置、集成电路、记录介质

技术领域

[0001] 本发明是属于3D映像及2D映像再现技术的技术领域的发明。

背景技术

[0002] 所谓2D映像是将显示装置的显示画面作为X-Y平面、由该X-Y平面上的象素表现的图像,也称为平面视觉图像。
[0003] 对照地,所谓3D映像是在显示装置画面中的X-Y平面上的象素上加上Z轴方向进深的图像。3D映像同时再现应由左眼视听的左视野映像、与应由右眼视听的右视野映像,通过由这些左视野映像、右视野映像发挥立体视觉效果,供用户视听。3D映像中的象素中具有正的Z轴坐标的象素让用户感到位于显示装置的画面之前,具有负的Z轴坐标的象素让用户感到存在于画面之后。
[0004] 在光盘中存储3D映像的情况下,要求与仅可再现存储2D映像的光盘之再现装置(下面称为‘2D再现装置’)的再现互换性。存储3D映像的光盘在2D再现装置不能将3D映像作为2D映像再现的情况下,必需就相同内容制作3D用盘与2D用盘两种,成本会提高。由此,要求存储3D映像的光盘可由2D再现装置再现为2D映像,可由再现2D映像与3D映像的再现装置(下面称为‘2D/3D再现装置’)再现为2D映像或3D映像。
[0005] 作为确保存储3D映像的光盘中的再现互换性的技术之现有技术,有如以下专利文献1中记载的技术。
[0006] 专利文献1:日本特许第3935507号公报
[0007] 发明的概要
[0008] 发明要解决的课题
[0009] 但是,在对动态图像进行立体视觉效果的情况下,要求即便对表示字幕或GUI的图形也实现某些立体视觉效果。这些字幕或GUI通常与动态图像合成后显示。这是因为为了动态图像能实现立体视觉效果,由于字幕或 GUI仍以平面视觉再现显示,所以未取得两者的整合。
[0010] 作为制造商(作为再现装置的制造主体的机构)设计再现装置时对表示字幕或GUI的图形的处理,有始终保障图形的立体视觉效果的设计思想、和不保障图形的立体视觉效果的设计思想。
[0011] 始终保障图形的立体视觉效果的设计思想存在如下问题。即,即便仅实现动态图像的立体视觉效果,但硬件的设计或评价、品质管理工作很多,向再现装置追加图形的立体视觉功能后进行其品质管理对制造商造成很大负担。
[0012] 从而,在即便对表示字幕或GUI的图形也始终保障立体视觉效果等再现装置的设计思想中,存在无法实现制品的廉价的问题。
[0013] 所谓不保障图形的立体视觉效果的设计思想如下所示。就图形而言,大多不必动态图像那种真正的立体视觉效果,仅通过平面存储器的偏移控制简单地带来进深感就足够了。从而,图形的再现部若贯彻采用再现装置以便通过偏移控制来实现简单的立体视觉效果的设计思想,则可推进可实现立体视觉效果的再现装置的廉价化。但是,图形中存在使电影作品中的角色与动态图像同步动作的类型。在始终采用偏移控制的设计思想中,不得不使这种角色平面显示,立体视觉效果很一般。若不抹除这种一般性,则难以将再现装置作为高级机型出售。
[0014] 从而,若偏向思想之一,则均产生上述弊病。另外,再现装置仅是高级机型或仅是廉价机型,均妨碍市场中制品的充实化,妨碍可实现立体视觉再现的再现装置的普及。 发明内容
[0015] 本发明的目的在于,提供一种再现装置,将具有高品位立体视觉效果功能的机型、不具有高品位立体视觉效果功能的机型等多种机型投入市场,可实现制品阵容的充实化。 [0016] 用于解决上述课题的再现装置的特征在于,具备流序号寄存器,存储所述流选择表中登录的流序号中、对应于作为再现对象的图形流的流序号;和
[0017] 表示所述再现装置的图形再现能力的性能寄存器,
[0018] 在图形流的再现类型中,有进行使用了平面视觉图形流的再现的第1再现类型、和使用左眼用图形流与右眼用图形流的对来进行立体视觉再现的第2再现类型,
[0019] 所述性能寄存器表示再现装置中是否存在使用了左眼用图形流与右眼用图形流的对来进行立体视觉再现的能力,
[0020] 根据所述性能寄存器所示的再现能力,选择对应于所述流序号寄存器中存储的流序号的图形流的再现类型。
[0021] 发明效果
[0022] 图形立体视觉效果的可否实现性示于性能标志中,在扩展流选择表中,设定为是可实现立体视觉效果的图形流由于利用该性能标志来对是否执行该图形的立体视觉效果附加条件,所以制造商即便例如在记录介质中记录具有立体视觉效果的图形流,也可通过将性能标志设定为‘无性能’,对这种图形流的立体视觉效果加以制动,可使用易进行品质管理的平面视觉图形流来代替执行立体视觉再现。
[0023] 由此,将具有高品位立体视觉效果功能的机型、不具有这种立体视觉效果功能的机型等多种机型的再现装置投入市场,可实现制品阵容的充实化。
[0024] 以上是实现要解决的课题栏中描述的技术课题解决的技术思想的创作。虽然是任意的,但上述再现装置也可实现以下追加的技术课题的解决。
[0025] (追加的技术课题之1)
[0026] 当前再现装置中成为主流的是戴立体视觉视听用眼镜来视听显示装置。在这种视听风格下,为了享受立体视觉,必需将记录了立体视觉电影作品的记录介质装填于再现装置中,戴上眼镜等两个动作,所以至享受立体视觉再现的视听花费时间,在执行这些动作期间,也不会有‘立体视觉映像从此开始’等高涨感。
[0027] 本发明的目的在于提供一种再现装置,可在存在‘立体视觉映像从此开始’等高涨感中开始立体视觉再现。
[0028] 可解决上述课题的再现装置的特征在于,
[0029] 具备性能寄存器,表示连接于所述再现装置上的显示装置中是否存在立体视觉显示能力;和
[0030] 存储本机的输出模式的模式寄存器,
[0031] 判定多个条件是否成立,在多个条件成立的情况下,对所述模式寄存器设定立体视觉输出模式,
[0032] 所述多个条件中的第1条件是所述性能寄存器表示在连接于所述再现装置上的显示装置中存在立体视觉显示能力,
[0033] 所述多个条件中的第2条件是表示记录介质中记录的输出模式的初始值是立体视觉输出模式,
[0034] 当读入盘时,判定所述第1条件与所述第2条件是否成立,在所述第1条件与所述第2条件成立的情况下,对所述模式寄存器设定立体视觉输出模式。
[0035] 在记录介质中的输出模式的初始值表示可立体视觉再现的情况下,再现装置以存在立体视觉再现的再现能力为要件,在装填盘的同时,再现装置变为立体视觉输出模式。由此,在初始值表示可立体视觉再现的情况下,通过在装填记录介质后马上戴上眼镜,可沉浸在立体视觉再现带来的虚拟现实感中。
[0036] (追加的技术课题之2)
[0037] 在现有的平面视觉用再现装置的流选择步骤中,确立称为流选择程序的控制程序。立体视觉再现装置中,有必要保障立体视觉输出模式与平面视觉输出模式的切换,但如果输出模式的选择步骤与这种流选择程序不相容,则存在控制程序的开发工数倍增的问题。
[0038] 本发明的目的在于提供一种再现装置,与平面视觉用再现装置中的流选择程序的亲和性高,可实现模式设定。
[0039] 可解决上述课题的再现装置的特征在于,
[0040] 具备性能寄存器,表示连接于所述再现装置上的显示装置中是否存在立体视觉显示能力;和
[0041] 存储本机的输出模式的模式寄存器,
[0042] 判定多个条件是否成立,在多个条件成立的情况下,对所述模式寄存器设定立体视觉输出模式,
[0043] 在所述记录介质中记录表示再现路径的播放列表信息,
[0044] 所述多个条件中的第1条件是所述性能寄存器表示在连接于所述再现 装置上的显示装置中存在立体视觉显示能力,
[0045] 所述多个条件中的第2条件是再现的播放列表信息中包含立体视觉用扩展流选择表,
[0046] 所述扩展流选择表是在立体视觉再现模式下,将所述再现装置能够选择的基础流与流序号对应起来表示的列表,
[0047] 当播放列表再现开始时,在所述模式寄存器中存储的输出模式是立体视觉输出模式的情况下,判定所述第1条件与所述第2条件是否成立,在所述第1条件与所述第2条件成立的情况下,维持所述模式寄存器中存储的立体视觉输出模式。
[0048] 与平面视觉用流选择表不同,以立体视觉用扩展流选择表存在于当前播放列表信息中为要件,切换输出模式,所以不对以播放列表为基准的现有流选择程序进行大的改变,可选择平面视觉输出模式、立体视觉输出模式中适当的模式。
[0049] (追加的技术课题之3)
[0050] 播放列表再现中,考虑构成播放列表的播放项目间的无缝连接,创制(authoring)者细心注意该再现品位。但是,若在播放列表再现途中、输出模式从立体视觉输出模式切换为平面视觉输出模式、或从平面视觉输出模式切换到立体视觉输出模式,则担心损害创制者以该播放列表单位保障的再现品位。
[0051] 本发明的目的在于提供一种再现装置,不损害创制者以播放列表单位保障的再现品位。
[0052] 可解决上述课题的再现装置的特征在于,若所述模式寄存器中存储的输出模式是平面视觉输出模式,则即便所述多个条件成立,也维持模式寄存器中存储的平面视觉输出模式。
[0053] 播放列表再现中,禁止立体视觉输出模式与平面视觉输出模式的切换,所以可避免播放列表再现途中因从平面视觉切换到立体视觉造成的显示图像的突然混乱的发生。 [0054] (追加的技术课题之4)
[0055] 播放列表再现中,考虑构成播放列表的播放项目间的无缝连接,创制者细心注意该再现品位。但是,若由于来自用户的要求,在播放列表再现 途中,输出模式从立体视觉输出模式切换为平面视觉输出模式、或从平面视觉输出模式切换到立体视觉输出模式,则担心损害创制者以该播放列表单位保障的再现品位。
[0056] 本发明的目的在于提供一种再现装置,不损害创制者以播放列表单位保障的再现品位。
[0057] 可解决上述课题的再现装置的特征在于,若正在再现播放列表,则维持所述模式寄存器中存储的输出模式。
[0058] 可避免播放列表再现途中因从平面视觉切换到立体视觉造成的显示图像的突然混乱的发生。
[0059] (追加的技术课题之5)
[0060] 虽然今后成为主流的立体视觉显示形式是戴上眼镜,但在最近的将来充分考虑将可裸眼立体视觉的显示装置投入市场。若将进行这种裸眼立体视觉的显示装置投入市场,则迫使再现装置的控制程序进行大的改变。此时,不得不开发控制程序,制造商的负担倍增。另外,可裸眼立体视觉的显示装置的开发时期现阶段不能预测,近期不可能立案实践这种将来性的再现装置的开发计划。
[0061] 本发明的目的在于提供一种再现装置,即便连接于可裸眼立体视觉的显示装置,也可不对控制程序进行大的改变。
[0062] 可解决上述课题的再现装置的特征在于,
[0063] 具备性能寄存器,表示连接于所述再现装置上的显示装置中是否存在立体视觉显示能力;和
[0064] 存储本机的输出模式的模式寄存器,
[0065] 判定规定条件是否成立,在规定条件成立的情况下,对所述模式寄存器设定立体视觉输出模式,
[0066] 在具有所述立体视觉显示能力的显示装置中有当观看立体视觉映像时必需戴立体视觉眼镜的显示装置与不必戴立体视觉眼镜的显示装置,
[0067] 所述性能寄存器包含是否需要标志,所述是否需要标志表示在连接于所述再现装置上的显示装置中存在立体视觉显示能力的情况下,当观看立体视觉映像时是否必需戴立体视觉眼镜,
[0068] 在所述是否需要标志表示当观看立体视觉映像时不必戴立体视觉眼镜 的情况下,判定为满足所述规定条件,对所述模式寄存器设定立体视觉输出模式。
[0069] 根据上述再现装置,在连接于可裸眼立体视觉的显示装置的情况下,即便可裸眼立体视觉的立体视觉显示装置或不可裸眼立体视觉的立体视觉显示装置之一有可能变为连接对方,也可实现适当的输出模式的选择。
[0070] (追加的技术课题之6)
[0071] 立体视觉再现具有长的历史,但由于原来的立体视觉再现无法确保映像具有充分的分辨率,所以无法成为电影作品的主流。通过以构成再现装置连接对方的显示装置的显示能力极大地改变立体视觉再现的品位,担心重履原来的立体视觉再现的覆辙。 [0072] 本发明的目的在于提供一种再现装置,可以映像或显示装置的分辨率来提供不极大地改变品位的保障。
[0073] 可解决上述课题的再现装置的特征在于,
[0074] 具备性能寄存器,表示连接于所述再现装置上的显示装置中是否存在立体视觉显示能力;和
[0075] 存储本机的输出模式的模式寄存器,
[0076] 判定规定条件是否成立,在规定条件成立的情况下,对所述模式寄存器设定立体视觉输出模式,
[0077] 所述性能寄存器包含显示类型标志,所述显示类型标志表示连接于所述再现装置上的显示装置中的显示方式是标准画质还是高画质,若显示装置中的显示方式是标准画质,则判定为不满足所述规定条件。
[0078] 根据上述再现装置,由于电视是标准画质,所以在不能确保立体视觉再现所需的画质的情况下,可维持平面视觉再现模式的设定,所以可防止尽管分辨率不充分仍实现立体视觉再现造成的对视听者视觉等的影响。
[0079] (追加的技术课题之7)
[0080] 上述再现装置当连接于显示装置时,必需通过某个接口来连接两装置。 [0081] 这里,在再现装置进行立体视觉再现的情况下,在以非压缩状态将应显示的图片数据传送到显示装置的传送系统中,协议中必需称为视频格式帧速率的参数。理由如下。即,在以图片数据的非压缩传送为前提的传送系统中,由于必需将显示装置的各帧期间中应显示的图片数据保持非压缩 状态不变地传送到作为连接对方的显示装置,所以在显示装置与再现装置之间,必需实现与水平显示期间、垂直显示期间同步的非压缩象素数据传送。
[0082] 另一方面,应与水平显示期间、垂直显示期间同步传送的象素数据的量取决于图像的视频格式,所以必需彼此变换显示装置侧可处理的视频格式或帧速率为什么、再现装置侧可处理的视频格式或帧速率为什么等信息,决定双方可处理的帧速率、视频格式中最好的帧速率和视频格式。
[0083] 但是,再现装置中的帧速率、视频格式的处理能力取决于记录介质中记录的视频流的帧速率、视频格式,若未确定应选择标题后再现的播放列表,则无法取得这些信息。 [0084] 从而,在装填盘的阶段,若未确定盘中记录的多个视频流中哪个为再现对象,或等待选择播放列表,将这些帧速率或格式传递给显示装置后开始协议,则产生显示装置执行的立体视觉映像的显示开始延迟、实际的立体视觉再现怎么也不开始的事态。具体地,由该协议产生的起动延迟为5秒左右的等级。
[0085] 本发明的目的在于提供一种再现装置,可消除记录介质装填时协议造成的起动延迟。
[0086] 可解决上述课题的记录介质的特征在于,
[0087] 一种记录索引表的记录介质,其中,
[0088] 所述索引表包含应用信息,
[0089] 所述应用信息包含初始输出模式信息与格式帧速率信息,
[0090] 所述初始输出模式信息是表示再现装置中优先设定的输出模式是平面视觉输出模式还是立体视觉输出模式的信息,
[0091] 所述格式帧速率信息表示当插入记录介质时、能够用作再现装置的输出模式信息的映像格式及帧速率。
[0092] 在上述记录介质中,索引表中存在应用程序信息,该应用程序信息作为协议必需的参数,包含视频格式、视频速率的信息,所以在读取索引表之后,可与快速播放标题的再现处理同时开始与对方侧设备的协议。由于可平行执行快速播放标题的再现处理与同对方侧设备的协议,所以可使起动延迟降低到约一半的时间。
[0093] (追加的技术课题之8)
[0094] 另外,在上述再现装置实现存储视频流的流文件的随机访问的情况下,将记录介质中记录的入口地图作为线索,特定GOP的开头位置。
[0095] 入口地图通过在视频流的记录中、向入口地图追加指示相当于GOP开头的图片数据的入口来生成。
[0096] 在根据主视野视频流生成主传输流的同时,根据副视野视频流生成副传输流,在将其作为立体视觉交互流文件记录的情况下,将由扩展入口地图中的入口指示的图片数据与由基本入口地图中的入口指示的图片数据配置在各个区段对中。
[0097] 主视野视频流及副视野流中各个图片数据其信息量就每个帧而言均不同。若以不导致读取缓冲器上溢的固定长度分割包含就每个帧而言信息量不同的主视野视频流的主传输流及包含副视野流的副传输流、并记录在记录介质中,则由于每帧的信息量彼此不同,所以由基本入口地图指示的基础视野图片数据与由扩展入口地图指示的副视野图片数据不构成相同的对区域,它们也有可能会归属于不同对区域。
[0098] 在基础视野图片数据与副视野图片数据归属于不同对区域的情况下,若执行这些基础视野图片数据及副视野图片数据的随机访问,则由于将对应于任意再现时刻的图片数据组送入解码器,所以必需访问不同区段组,读出其中记录的图片数据的组。每当随机访问时,访问不同区段对都会导致光拾取器多次寻址,造成再现开始的延迟。
[0099] 本发明的目的在于提供一种记录介质,可削除随机访问基础视野图片数据、副视野图片数据组时的延迟。
[0100] 解决上述课题的记录介质的特征在于,
[0101] 一种记录流文件与流管理文件的记录介质,其中,
[0102] 所述流文件包含由多个图片数据构成的视频流,
[0103] 所述流管理文件包含入口地图,
[0104] 所述入口地图包含将图片数据的地址与再现时刻对应起来显示的入口, [0105] 在所述图片数据中,有构成立体视觉映像的主视野的主视野图片数据、与构成立体视觉映像的副视野的副视野图片数据,
[0106] 在所述入口地图中,有平面视觉映像再现时使用的基本入口地图、与立体视觉映像再现时与所述基本入口地图一起使用的扩展入口地图,
[0107] 对应的扩展入口地图具有与基本入口地图的入口相同时刻的入口。
[0108] 另外,其特征在于,
[0109] 所述流文件是通过交互配置构成主视野流的区段与构成副视野流的区段来构成的立体视觉交互(interleave)文件,
[0110] 在构成主视野流的区段中由识别序号i特定的第i个区段包含由基本入口地图的入口表示的主视野图片数据的情况下,
[0111] 构成副视野流的区段中、由与所述识别序号i相同的识别序号i确定的第i个区段包含由扩展入口地图的与所述基本入口地图的所述入口相同时刻的入口表示的副视野图片数据。
[0112] 在上述记录介质中,当将主传输流中的GOP及副传输流中的GOP记录在记录介质中时,扩展入口地图的入口是副视野图片数据,应以相同再现时刻再现的基础视图图片数据仅指示由基本入口地图的入口指示的图片数据。
[0113] 由于由基本入口地图的入口指示的图片数据与由扩展入口地图的入口指示的图片数据存在于相同区段对中,所以若以入口地图、扩展入口地图为线索访问区段,则可统一再现基础视野的GOP、副视野的GOP。由此,可消除再现开始的延迟。

附图说明

[0114] 图1表示由作为封装媒体的记录介质、作为播放器设备的再现装置、显示装置、眼镜构成的家庭影院系统。
[0115] 图2在左侧描绘用户的脸,在右侧表示从左眼看作为对象物的恐龙骨格时的实例、与从右眼看作为对象物的恐龙骨格时的实例。
[0116] 图3表示立体视觉用基础视野视频流、从属视野视频流的内部构成的一例。 [0117] 图4表示根据第1实施方式的记录介质中的内部构成。
[0118] 图5表示主TS及副TS的内部构成。
[0119] 图6表示播放列表信息的内部构成。
[0120] 图7表示基本流选择表的一例。
[0121] 图8表示扩展流选择表的内部构成。
[0122] 图9表示扩展流选择表中的流登录串。
[0123] 图10表示由基本流选择表、扩展流选择表从主TS、副TS多路复用分离哪个ES。 [0124] 图11表示2D输出模式、3D输出模式中流序号的分配变化。
[0125] 图12表示再现装置的内部构成。
[0126] 图13表示PG解码器的内部构成。
[0127] 图14表示文本字幕解码器的内部构成。
[0128] 图15表示IG解码器的解码器模块。
[0129] 图16表示用于合成解码器模块的输出并以3D-LR方式输出的电路构成。
[0130] 图17表示合成这些解码器模块的输出并以1plane+Offset模式方式输出用的电路构成。
[0131] 图18是描绘寄存器组203的内部构成与再现控制部的图。
[0132] 图19表示PSR24的位赋值。
[0133] 图20表示播放列表再现步骤。
[0134] 图21是表示PGtestST流的重放条件改变时的程序的处理步骤的流程图。 [0135] 图22是表示对当前播放项目选择最佳的PG_文本字幕流的处理步骤的流程图。 [0136] 图23是表示在由组立体视觉流指令(组流SS指令)要求流变化时应执行的“要求流变化时的程序”的处理步骤的流程图。
[0137] 图24是表示由组流指令或要求流序号变更的用户操作来要求流变化时应执行的“要求流变化时的程序”的处理步骤的流程图。
[0138] 图25是表示当前IG流的决定及当前IG流的再现类型决定的处理步骤的流程图。 [0139] 图26表示通过结合流登录串将哪个数据包识别符输出到多路复用分离部。 [0140] 图27表示通过结合流登录串将哪个数据包识别符输出到多路复用分 离部。 [0141] 图28是描绘寄存器组203的内部构成与再现控制部210的图。
[0142] 图29表示输出模式的选择模块的状态迁移。
[0143] 图30表示初始化的处理步骤。
[0144] 图31表示重放条件改变时的程序的处理步骤。
[0145] 图32表示3D输出模式实现用的播放器设定寄存器的位赋值。
[0146] 图33是表示BD-J对象的内部构成一例的图。
[0147] 图34是表示BD-J标题中输出模式设定的处理步骤的流程图。
[0148] 图35是表示最初的HAVi器件配置选择的行为一例的流程图。
[0149] 图36表示PSR23的位赋值。
[0150] 图37是表示PSR23中的立体视觉再现性能的判定步骤的流程图。
[0151] 图38是用于说明索引表的说明图。
[0152] 图39是表示盘插入时的处理步骤的流程图。
[0153] 图40是表示显示装置与再现装置之间的交换的图。
[0154] 图41表示区段、文件2D/文件基础、与文件从属的对应。
[0155] 图42表示立体视觉交互流文件与文件2D/文件基础的关系。
[0156] 图43表示立体视觉交互流文件、文件2D、文件基础的相互关系。
[0157] 图44表示2D播放列表、3D播放列表。
[0158] 图45表示片段信息文件的内部构成。
[0159] 图46表示片段信息文件、播放列表与立体视觉交互流文件的关系。
[0160] 图47是表示片段基础信息、片段从属信息的内部构成的图。
[0161] 图48是表示基本入口地图与扩展入口地图的图。
[0162] 图49表示扩展入口地图中不允许的入口。
[0163] 图50表示播放项目的再现步骤。
[0164] 图51表示如何根据立体视觉交互流文件构成的数据块来复原ATC序列。
[0165] 图52是表示如何进行ATC序列复原的图。
[0166] 图53表示基础视野片段信息中的区段开始点信息的一例、与从属视野片段信息中的区段开始点信息的一例。
[0167] 图54是用于说明ATC序列1、2中的任意数据块的源数据包序号的图。
[0168] 图55表示ATC序列复原步骤。
[0169] 图56表示光盘的记录方法。
[0170] 图57是表示创制行程的处理步骤的流程图。
[0171] 图58表示AV文件写入工序的处理步骤。
[0172] 图59是表示基本入口地图、扩展入口地图的制作步骤的流程图。
[0173] 图60是表示BD-J应用程序、BD-J对象、电影对象、索引表的制作步骤的流程图。 [0174] 图61表示多层化的光盘的内部构成。
[0175] 图62表示以文件系统为前提的光盘的应用程序格式。
[0176] 图63表示2D/3D再现装置的构成。
[0177] 图64是表示根据本发明的记录介质的使用行为方式、BD-ROM的内部构成、索引文件的内部构成的图。
[0178] 图65是模式表示AV片段的构成、各流如何多路复用于AV片段的图。
[0179] 图66进一步详细示出PES数据包串中如何存储视频流及音频流,是表示AV片段中的TS数据包与源数据包构造的图。
[0180] 图67是表示PMT的数据构成、片段信息文件的内部构成的图。
[0181] 图68是表示流属性信息的内部构成、入口地图的内部构成的图。
[0182] 图69是表示播放列表的内部构成、播放项目的内部构成的图。
[0183] 图70是说明2D再现装置的内部构成、播放器变量的图。
[0184] 图71是表示系统目标解码器的内部构成的图。
[0185] 图72是说明识别对应3D方式的系统参数的图。
[0186] 图73是说明识别对应3D方式的系统参数的自动取得状态的图。
[0187] 图74是表示切换2D播放列表与3D播放列表的再现的数据构造的图。
[0188] 图75是表示切换2D播放列表与3D播放列表的再现的流程图。
[0189] 图76是说明同时输出3D映像与2D映像的情况的图。
[0190] 图77是说明表示2D/3D显示形式的系统参数的状态迁移的图。
[0191] 图78是表示示出2D/3D显示形式的系统参数的状态迁移的初始化流程图。 [0192] 图79是表示示出2D/3D显示形式的系统参数的状态迁移的标题变更流程、表示2D/3D显示形式的系统参数的状态迁移的播放列表变更流程的 图。
[0193] 图80是表示示出2D/3D显示形式的系统参数的状态迁移的2D/3D切换流程图。 [0194] 图81是表示示出2D/3D显示形式的系统参数的状态迁移的电影标题时的图。 [0195] 图82是表示示出2D/3D显示形式的系统参数的状态迁移的Java标题时的图。 [0196] 图83是表示示出2D/3D显示形式的系统参数的状态迁移的标题切换时的图。 [0197] 图84是效率化流再现开始前的HDMI认证的方法的说明图。
[0198] 图85是说明2D/3D再现装置中3D映像再现的图。
[0199] 图86是2D映像流时的时间地图的说明图。
[0200] 图87是3D映像流为独立的2个流时的时间地图的说明图。
[0201] 图88是3D映像流为1个传输流时的时间地图的说明图。
[0202] 图89是3D映像流为1个传输流时的时间地图的说明图。
[0203] 图90是字幕·图形的偏移信息与有效·无效切换的说明图。
[0204] 图91是表示示出2D/3D显示形式的系统参数的状态迁移的初始化流程图。 [0205] 图92是立体视觉的说明图。
[0206] 图93是使用集成电路来实现2D/3D再现装置的构成例。
[0207] 图94是表示流处理部的代表构成的功能框图。
[0208] 图95是切换部为DMAC时的切换部53外围的概念图。
[0209] 图96是表示AV输出部的代表构成的功能框图。
[0210] 图97是详细示出AV输出部或再现装置的数据输出部分的构成例。
[0211] 图98是表示集成电路中控制总线及数据总线的配置的图。
[0212] 图99是表示集成电路中控制总线及数据总线的配置的图。
[0213] 图100是使用集成电路来实现显示装置的构成例。
[0214] 图101是表示显示装置中AV输出部的代表构成的功能框图。
[0215] 图102是简单表示再现装置中的动作步骤的流程图。
[0216] 图103是详细表示再现装置中的动作步骤的流程图。
[0217] 符号说明
[0218] 100 记录介质
[0219] 200 再现装置
[0220] 300 显示装置
[0221] 400 3D眼镜

具体实施方式

[0222] 具备上述课题解决手段的记录介质可作为用于店面出售内容的封装媒体来实施。另外,对应于该记录介质的再现装置可作为用于再现封装媒体的播放器设备来实施,对应于该记录介质的集成电路可作为组入该播放器设备中的系统LSI来实施。
[0223] 图1表示由作为封装媒体的记录介质、作为播放器设备的再现装置、显示装置、眼镜构成的家庭影院系统。如图1(a)所示,上述作为封装媒体的记录介质100、作为播放器设备的再现装置200与显示装置300、3D眼镜400、遥控器500一起构成家庭影院系统,供用户使用。
[0224] 记录介质100向上述家庭影院系统提供例如电影作品。该电影作品中,有构成立体视觉映像的作品。这里,立体视觉映像至少由两个视野映像构成。所谓视野映像是具有某种偏向性的映像,上述两个视野映像由主视野映像与副视野映像构成。记录介质100中,如图1所示,存在盘型、存储卡型等各种类型的媒体,但只要未特别限定,设以后说明中描述的‘记录介质’是盘媒体。
[0225] 再现装置200与显示装置300连接,再现记录介质100。再现装置由于再现表示主视野映像的主视野视频流、表示副视野映像的副视野视频流,所以具备2D输出模式、3D输出模式等两个输出模式,是可执行两种输出模式的相互切换的2D/3D再现装置(播放器)。 [0226] 显示装置300是电视,通过显示电影作品的再现映像或显示菜单等,向用户提供对话的操作环境。本实施方式的显示装置300通过用户戴3D眼镜400来实现立体视觉,但如果显示装置300是透镜方式的装置,则不必3D眼镜400。
[0227] 3D眼镜400具备液晶快门,让用户视听基于继时分离方式或偏光眼镜 方式的视差图像。所谓视差图像是由进入右眼的映像与进入左眼的映像构成的一组映像,仅对应于各个眼的图片进入用户的眼睛,进行立体视觉。图1(b)表示左眼用映像显示时。在画面上显示左眼用映像的瞬间,所述3D眼镜400将对应于左眼的液晶快门变为透过,对应于右眼的液晶快门遮光。图1(c)表示右眼用映像显示时。在画面上显示右眼用映像的瞬间,与之前相反,将对应于右眼的液晶快门变为透光,对应于左眼的液晶快门遮光。
[0228] 遥控器500是用于受理AV再现用操作项目的设备。另外,遥控器500是从用户受理对分层的GUI的操作的设备,为了这种操作受理,遥控器500具备调用构成GUI的菜单的菜单键、使构成菜单的GUI部件的聚焦移动的箭头键、对构成菜单的GUI部件进行确定操作的决定键、将分层的菜单返回到上位菜单的返回键、数值键。
[0229] 在图1的家庭影院系统中,将让显示装置300执行3D输出模式下的图像显示的再现装置的输出模式称为‘3D输出模式’。将让显示装置300执行2D输出模式下的图像显示的再现装置的输出模式称为‘2D输出模式’。
[0230] 以上是对记录介质及再现装置的使用方式的说明。
[0231] (第1实施方式)
[0232] 第1实施方式的特征在于,在再现装置的寄存器中设定可否实现使用右眼用图形流、左眼用图形流的立体视觉的性能。
[0233] 在以后的说明中,设主视野及副视野实现视差图像方式。视差图像方式(称为3D-LR模式)是如下方法,即分别准备进入右眼的映像与进入左眼的映像,仅对应于各个眼的图片进入,进行立体视觉。图2在左侧描绘用户的脸,在右侧表示从左眼看作为对象物的恐龙骨格时的实例、与从右眼看作为对象物的恐龙骨格时的实例。若从右眼及左眼的透光、遮光重复,则在用户的脑海内,因眼睛的残像残留,左右场景重合,可识别为脸的中央延长线上存在立体映像。
[0234] 作为用于实现这种立体视觉的视频流的编码方式,使用基于MPEG4-MVC方式的方式。在以后的说明中,设MPEG4-MVC中的‘基础视野视频流’是主视野视频流,MPEG4-MVC中的‘从属视野视频流’是副视野视频流。
[0235] MPEG4-MVC基础视野视频流是view_id为0的副位流,是view_id为0的视野成分的序列。MPEG4-MVC基础视野视频流遵守MPEG-4AVC视频流的限制。
[0236] MPEG4-MVC从属视野视频流是view_id为1的副位流,是view_id为1的视野成分的序列。
[0237] 所谓视野成分是指在一个帧期间中、为了立体视觉再现而同时再现的多个图片数据各自的视野成分。使用视野间相关性的压缩编码通过将基础视野视频流及从属视野视频流的视野成分用作图片数据,实现使用图片间相关性的压缩编码来执行。一个帧期间分配的基础视野视频流的视野成分与从属视野视频流的视野成分的组构成一个访问单元,可以该访问单元的单位进行随机访问。
[0238] 基础视野视频流及从属视野视频流均具有设各个视野成分为‘图片’的GOP构造,由关闭GOP、打开GOP构成。关闭GOP由IDR图片、接续于该IDR图片的B图片、与P图片构成。打开GOP由Non-IDR I图片、接续于Non-IDR I图片的B图片、P图片构成。
[0239] Non-IDR I图片、P图片、B图片根据与其他图片的帧相差性来压缩编码。所谓B图片是指由Bidirectionally predictive(B)形式的切片数据构成的图片,P图片是指由Predictive(P)形式的切片数据构成的图片。B图片中有refrenceB(Br)图片与nonrefrenceB(B)图片。
[0240] 关闭GOP将IDR图片配置在开头。虽然显示顺序上IDR图片不在开头,但IDR图片以外的其他图片(B图片、P图片)不能与存在于关闭GOP之前的GOP中的图片具有依赖关系。这样,关闭GOP起到使依赖关系完结的作用。
[0241] 图3表示立体视觉用基础视野视频流、从属视野视频流的内部构成的一例。 [0242] 该图的第2段表示基础视野视频流的内部构成。该流中包含图片类型为I1、P2、Br3、Br4、P5、Br6、Br7、P9等视野成分。这些视野成分根据Decode Time Stamp(DTS)解码。第1段表示左眼图像。通过根据PTS按I1、Br3、Br4、P2、Br6、Br7、P5的顺序再现如此解码的视野成分I1、P2、Br3、Br4、P5、Br6、Br7、P9,再现左眼图像。
[0243] 第4段表示从属视野视频流的内部构成。该从属视野视频流包含P1、P2、B3、B4、P5、B6、B7、P8等图片类型的视野成分。这些视野成分根据DTS解码。第3段表示右眼图像。根据PTS,按P1、B3、B4、P2、B6、B7、P5的顺序再现解码的视野成分P1、P2、B3、B4、P5、B6、B7、P8,由此再现右眼图像。
[0244] 第5段表示如何使3D眼镜400的状态变化。如该第5段所示,可知当视听左眼图像时,关闭右眼快门,当视听右眼图像时,关闭左眼快门。
[0245] 将在1/48秒的显示周期按‘B’-‘D’-‘B’-‘D’等交互输出基础视野视频流的视频帧与从属视野视频流的视频帧的模式称为‘B-D显象模式(presentation mode,演示模式)’。
[0246] 另外,B-D显象模式中,除使用L图像、R图像来实现立体视觉效果的3D-LR方式外,还有使用2D图像与深度信息来实现立体视觉效果的3D-Depth方式。
[0247] 将执行不交互输出基础视野视频流的视频帧与从属视野视频流的视频帧、将输出模式维持在3D模式不变、将相同视频帧重复输出2次以上的处理的再现类型称为B-B显象模式。在B-B显象模式中,仅可单独再现的基础视野视频流的视频帧如‘B’-‘B’-‘B’-‘B’所示重复输出。
[0248] 以上的B-D显象模式、B-B显象模式为再现装置的输出模式的基本,但除这些模式外,再现装置中还存在称为1plane+Offset模式的输出模式。
[0249] 1plane+Offset模式(也称为3D-Offset模式)是在平面存储器的后段组入移位部、通过使移位部使用来实现立体视觉的输出模式。平面偏移部在左视野期间及右视野期间每个期间中,使平面存储器中的线单位的象素坐标向左或向右移位,使右眼视线及左眼视线的成像点向面前方向或进深方向位移,由此使进深感变化。具体地,若在左视野期间向左、在右视野期间向右使象素坐标变化,则两眼的视线成像点在面前,若在左视野期间向右、在右视野期间向左使象素坐标变化,则两眼的视线成像点在面前,
[0250] 在这种平面移位中,由于立体视觉用平面存储器仅1平面就足以,所以适于简易作出立体视觉映像。在该平面移位中,由于不过是产出平面映像来到面前或进到里面等立体视觉映像,所以尽管适于菜单或字幕的立体视觉效果,但对于实现角色或物体的立体视觉效果则稍显不足。这是因为 无法再现角色的脸的下洼或凹凸等。
[0251] 在支持1plane+Offset模式的情况下,再现装置的构成如下。为了再现图形,再现装置中存在平面存储器与CLUT部、合成部,在该CLUT部、合成部之间组入移位部。之后,移位部使用组入从属视野视频流的访问单元构造中的偏移序列中的偏移,实现上述象素的坐标变化。由此,1plane+Offset模式中象素的飞出程度与MVC视频流紧密同步。在该1plane+Offset模式中,有1plane+Zero Offset模式。1plane+Zero Offset模式是如下显示模式,在弹出菜单为打开的情况下,将偏移值设为0,仅向弹出菜单提供立体视觉效果。 [0252] 构成基于偏移序列的移位控制对象的平面存储器是构成规定层模块的多个平面存储器。所谓平面存储器是指如下存储器,即以线(line)单位来存储解码基本流得到的一画面大小的象素数据,沿水平同步信号、垂直同步信号输出这些象素数据。各个平面存储器存储通过视频解码器、PG解码器、IG解码器的解码得到的一画面大小的象素数据。 [0253] 规定的层模块由左眼视频平面及右眼视频平面的阶层、PG平面的阶层、IG/BD-J平面的阶层构成,期望按视频平面→PG平面→IG/BD-J平面的顺序层合成各阶层的平面存储器的存储内容。
[0254] 上述层合成通过在平面存储器的层模块中、对层模块中的两个阶层的全部组合执行使两个阶层的平面存储器中存储的象素数据的象素值重叠的处理来执行。下面,描述各阶层的平面存储器。
[0255] 左眼视频平面是可存储解码视野成分得到的一画面大小的象素数据中、构成左眼用图片数据的象素数据的平面存储器。右眼视频平面是可存储解码视野成分得到的一画面大小的象素数据中、构成右眼用图片数据的象素数据的平面存储器。
[0256] 所谓显象图形(PG)平面是用于存储以管道(pipeline)式动作的图形解码器进行解码处理得到的图形的平面存储器。所谓IG/BD-J平面是在某个动作模式下用作IG平面、在其他动作模式下用作BD-J平面的平面存储器。所谓交互式图形(IG)平面是用于存储以对话处理为前提动作的图形解码器进行解码得到的图形的平面存储器。BD-J平面是可用于存储对象指向编程语言的应用程序进行描绘处理得到的描绘图象图形的平面存储器。IG平面 与BD-J平面是互斥平面,在利用任一方的情况下,不能利用另一方,所以IG平面与BD-J平面中兼用一个平面存储器。
[0257] 在上述层模块中,视频平面存在基础视野用视频平面与从属视野用视频平面,但IG/BD-J平面、PG平面就基础视野用、从属视野用每个而言不存在平面存储器。由此,IG/BD-J平面、PG平面变为移位控制的对象。
[0258] 以上是对3D输出模式的说明。接着说明根据本实施方式的记录介质的内部构成。 [0259] 图4表示根据第1实施方式的记录介质中的内部构成。如图4(a)所示,在根据第1实施方式的记录介质中记录‘索引表’、‘动作模式对象的程序文件’、‘播放列表信息文件’、‘流信息文件’、‘流文件’。
[0260] <索引表>
[0261] 索引表是涉及记录介质整体的管理信息,当在将记录介质插入再现装置之后,通过首先读出索引表,再现装置唯一识别记录介质。
[0262] <动作模式对象的程序文件>
[0263] 动作模式对象的程序文件存储用于使再现装置动作的控制程序。该程序中有由指令记述的程序、和由对象指向的编译器语言记述的程序。前者的程序在指令基础的动作模式下将多个导航指令作为成批作业提供给再现装置,根据这些导航指令使再现装置动作。将该指令基础的动作模式称为‘HDMV模式’。
[0264] 后者的程序在对象指向型编译器语言基础的动作模式中,将作为等级构造体的实例的字节代码应用程序提供给再现装置,并根据该实例使再现装置动作。等级构造体的实例中可使用作为字节代码应用程序之一的Java(TM)应用程序。将对象指向型编译器语言基础的动作模式称为‘BD-J模式’。
[0265] <流文件>
[0266] 流文件存储通过多路复用视频流、一个以上的音频流、图形流而得到的传输流。流文件中有2D专用与2D-3D兼用的流文件。2D专用流文件是通常的传输流形式,2D-3D兼用流文件具有立体视觉交互流文件的文件形式。
[0267] 所谓立体视觉交互流文件形式是以交互形式交互配置包含基础视野流 的主传输流(主TS)的区段与包含从属视野视频流的副传输流(副TS)的区段的形式。
[0268] 流文件中存储的主TS作为管理控制用多种PES流的信息,具备欧洲数字广播标准中规定的数据包管理信息(PCR、PMT、PAT)。
[0269] PCR(Program_Clock_Reference)为了取得作为ATS时间轴的ATC(Arrival Time Clock)与作为PTS·DTS时间轴的STC(System TimeClock)的同步,具有对应于将该PCR数据包传送到解码器的ATS的STC时间的信息。
[0270] PMT(Program_map_table)具有流文件中包含的映像、声音、图形等各流的PID与对应于各PID的流的属性信息,还具有涉及TS的各种描述符。描述符中有指示允许、不允许流文件拷贝的拷贝控制信息等。
[0271] PAT(Program Association Table)表示TS中利用的PMT的PID是什么,以PAT自身的PID排列登录。
[0272] 这些PCR、PMT、PAT在欧洲数字广播标准中起到规定构成一个广播节目(Program)的部分TS的作用,再现装置如欧洲数字广播标准中处理构成一个广播节目的部分TS那样,可将TS提供给解码器执行的处理。这期望欧洲数字广播标准的终端装置与记录介质再现装置的互换性。
[0273] 主TS中的区段及副TS中的区段的组设定为再现时不使双缓冲器上溢的数据尺寸,再现装置可不中继地读入这些区段的组。
[0274] 以上是对流文件的说明。
[0275] <流信息文件>
[0276] 流信息文件保障对流文件中的传输流内任意源数据包的随机访问、或与其他传输流的无中继再现。通过该流信息文件,将流文件管理为‘AV片段’。流信息文件具有与帧期间的显象时间戳对应表示AV片段中的流的编码形式、流速率、位速率、分辨率等信息、或GOP开头位置的源数据包序号的基本入口地图,所以在访问流文件之前,若将该流信息文件下载到存储器中,则可把握要访问的流文件中的传输流是什么,所以可保障随机访问的执行。流信息文件中有2D流信息文件与3D流信息文件,3D流信息文件包含基础视野用的片段信息(片段基础信息)、从属视野用的片段信息(片段从属信息)与立体视觉用扩展入口地图。
[0277] 片段基础信息包含基础视野用的区段开始点信息,片段从属信息包含从属视野用的区段开始点信息。基础视野用的区段开始点信息由多个源数据包序号构成。各个源数据包序号表示主TS中的区段的分割位置存在于第几个数据包中。从属视野用的区段开始点信息也由多个源数据包序号构成,表示副TS中的分割位置存在于哪个数据包中。通过使用这些区段开始点信息,将立体视觉交互流文件分割为构成主TS的ATC序列1、与构成副TS的ATC序列2。所谓‘ATC序列’是源数据包的排列,是指在其Arrival_Time_Stamp参照的Arrival_Time_Clock中不存在不连续点(noarriveal time-base discontimutiy)。ATC序列是ATC的时间戳连续的源数据包串,所以在计时再现装置的到达时间时钟的时钟计数器进行计时期间,构成ATC序列的各源数据包供于连续的源数据包去包处理及连续的数据包滤波处理。
[0278] ATC序列是源数据包的排列,相反,将STC时间轴中时间戳连续的TS数据包的排列称为STC序列。所谓‘STC序列’是TS数据包的排列,是指不具有作为TS的系统基准时刻的STC(System Time Clock)的不连续点(system time-base discontinueity)之序列。所谓STC的不连续点是运送解码器为了得到STC而参照的PCR(Program Clock Reference)的PCR数据包的不连续信息(discontinuity_indicator)为ON的点。STC序列是STC的时间戳连续的TS数据包串,所以在计时再现装置的系统时间时钟的时钟计数器进行计时期间,将构成STC序列的各TS数据包供于再现装置内存在的解码器的连续解码处理。
[0279] 扩展入口地图对应于表示GOP开头的帧期间的显象时间戳,表示从属视野视频流中构成GOP开头的视野成分开头位置的访问单元定界符的源数据包序号。
[0280] 另一方面,3D流信息文件中的基本入口地图也具有与2D流信息文件的互换,同时,还对应于表示GOP开头的帧期间的显象时间戳,表示基础视野视频流中构成GOP开头的视野成分开头位置的访问单元定界符的源数据包序号。
[0281] <播放列表信息文件>
[0282] 播放列表信息文件是存储用于让再现装置再现播放列表的信息的文 件。所谓‘播放列表’是在传输流(TS)的时间轴上规定再现区间的同时、通过逻辑指定来规定该再现区间彼此的再现顺序的再现路径,起到规定仅再现TS中哪部分的哪些、按何顺序场景展开的作用。播放列表信息定义这种播放列表的‘型’。由播放列表信息定义的再现路径是所谓的‘多路径’。所谓多路径是集合对主TS定义的再现路径(主路径)与对从流定义的再现路径(副路径)的路径。若规定该多路径中基础视野视频流的再现路径,并规定副路径中从属视野视频流的再现路径,则可最佳规定用于再现立体视觉的视频流的组合。
[0283] 对象指向编程语言基础的应用程序可通过命令生成再现该播放列表信息的框架播放器实例,使基于多路径的AV再现开始。所谓框架播放器实例是根据媒体框架播放器等级、在虚拟机的堆栈存储器上生成的实际数据。另外,指令基础的程序通过发行以自变量指定该播放列表信息的再现指令,也可开始基于多路径的再现。
[0284] 播放列表信息包含一个以上的播放项目信息。所谓播放项目信息是定义一个以上视频流的再现时间轴中构成In_Time的时刻与构成Out_Time的时刻的组的再现区间信息。 [0285] 播放列表信息具有播放项目信息-流信息-传输流等阶层构造,对于传输流及流信息的组与播放项目信息的比率,为1对多的关系,可根据多个播放项目信息来多重参照一个传输流。从而,通过将为了某个播放列表制作的传输流采用为库电影(bank film),根据多个播放列表信息文件中的播放项目信息来参照该传输流,可高效制作电影作品的变化(另外,所谓库电影是电影业界的术语,是多个场景中使用的映像内容)。
[0286] 一般,由于播放列表等单位不被用户识别,所以将从流文件派生出的多个变化(例如剧场公开版或TV放映版)识别为播放列表。
[0287] 播放列表信息中有2D播放列表信息与3D播放列表信息,其差异在于3D播放列表信息内存在基础视野指示符与立体视觉流序号表。
[0288] 所谓‘立体视觉流序号表’是对应于流序号来表示应仅在3D输出模式下再现的基本流的流入口及流属性的表。
[0289] ‘基础视野指示符’是表示应将构成利用视野间相关性的压缩编码基础的基础视野视频流作为左眼及右眼哪个来显示的信息。通过使该播放列 表信息中的基础视野指示符变化,可以播放列表的水平使将基础视野视频流变为左眼及右眼用中哪个的分配变化。 [0290] 在不依据流构造的播放列表水平下,由于可使上述分配变化,所以在存在将图像中的物体位置及角度设定成基础视野=左眼、从属视野=右眼用的播放列表的情况下,可作为与该播放列表不同的版本,制作设定成基础视野=右眼用、从属视野=左眼的播放列表。
[0291] 若在播放列表的水平下使相对基础视野、从属视野的左眼、右眼用分配逆转,则可使立体视觉效果逆转。例如,在已制作期望对象物出现在画面之前的立体视觉效果的播放列表的情况下,可与这种播放列表不同,制作期望对象物出现在画面里面的立体视觉效果的播放列表。由此,3D播放列表可实现立体视觉效果不同的、可简易制作播放列表变化的效果。
[0292] 图4(b)表示主TS的内部构成,图4(c)表示副TS的内部构成。如图4(b)所示,主TS包含1个基础视野视频流、32个左眼PG流、32个左眼用IG流、32个音频流。如图4(c)所示,副TS包含1个从属视野视频流、32个右眼PG流、32个右眼用IG流。
[0293] 下面,说明TS的内部构成。
[0294] 多路复用于TS上的基本流(ES)具有视频流、音频流、显象图形流、交互式图形流。 [0295] .视频流
[0296] 基础视野视频流构成画中画应用程序中的主要视频流。画中画应用程序除该主要视频流外,还由次要视频流构成。所谓主要视频流是画中画应用程序中构成母画面的图片数据构成的视频流。对照地,所谓次要视频流是画中画中作为子画面埋入母画面一部分中的图片数据构成的视频流。
[0297] 构成主要视频流的图片数据与构成次要视频流的图片数据在解码后,存储在不同的平面存储器中。在存储构成次要视频流的图片数据的平面存储器的前段,存在进行构成次要视频流的图片数据的定标变更及显示坐标定位的构成要素(Scalling&Positioning) [0298] .音频流
[0299] 音频流中存在主要音频流、次要音频流两种。主要音频流是在进行混合再现时应成为主声音的音频流,次要音频流是在进行混合再现时应成为 副声音的音频流。次要音频流存在该混合用下采样用的信息、增益控制用的信息。
[0300] .显象图形流(PG流)
[0301] PG流通过在解码器中采用管道,可实现与映像的紧密同步,是适于字幕显示的图形流,有2DPG流与立体视觉PG流等两种。立体视觉PG流中有左眼PG流及右眼PG流等两种。
[0302] 2DPG流最大可定义32个,左眼PG流最大可定义32个,右眼PG流也最大可定义32个。向这些PG流分别赋予不同的数据包识别符,通过向多路复用分离部指示应再现的数据包识别符,将这些PG流中期望的PG流供于再现。
[0303] 通过基于管道的解码器动作的实现,实现与动态图像的紧密同步,所以PG流的用途不限于字幕等字符再现。若是显示电影作品的福神角色、使其与动态图像同步动作等必需紧密同步的图形再现,则无论哪个均可作为基于PG流的再现对象采用。
[0304] 虽然未多路复用于流文件,但呈现字幕的流中,除了PG流外,还有文本字幕(textST)流等流。textST流是以角色代码呈现字幕内容的流。
[0305] PG流、文本字幕流不区别其类型,作为相同流类型,这些PG流及文本字幕流登录在相同流登录串中。另外,当执行流选择的程序时,根据流登录串中的流登录顺序,确定应再现的PG流或文本字幕流。PG流、文本字幕流不区别流类型,供于流选择的程序,所以以一个流类型、即‘PG_文本字幕流(有时也简称为字幕流)’等类型来处理这些PG流及文本字幕流。
[0306] 2D用PG_文本字幕流在1plane+Offset模式下再现。在后面的说明中,将2DPG_文本字幕流说明为是1plane+OffsetPG_文本字幕流。
[0307] .交互式图形(IG)流
[0308] IG流是通过具备对话操作的信息,可伴随视频流的再现进行显示菜单或根据用户操作显示弹出菜单的图形流。
[0309] IG流也与PG流一样,有2DIG流与立体视觉IG流等两种。IG流的控制信息(称为对话控制段)具有规定用户界面模块的信息(User_interface_model),创制者通过设定该用户界面模块信息,可指定伴随视频流的再现进行显示菜单(称为Always打开)、或根据用户操作显示弹出 菜单(弹出菜单打开)中的哪个。
[0310] IG流具有对话操作的信息的意义如下所述。Java虚拟机对应于来自应用程序的要求将播放列表再现开始指示给作为再现控制主体的再现控制引擎的情况下,Java虚拟机在命令再现控制引擎再现之后,将开始播放列表再现的响应返回到应用程序。即,在继续再现控制引擎执行播放列表再现的期间,Java虚拟机不等待执行终止。这是因为Java虚拟机是所谓的事件驱动型动作主体,在再现控制引擎执行播放列表再现的期间,也可进行动作。 [0311] 另一方面,在HDMV模式下,指令翻译器在命令再现控制引擎再现播放列表的情况下,在播放列表再现终止之前,为该播放列表再现的执行终止等待。在继续再现控制引擎执行的再现期间,指令执行部不能执行对话处理。代替该指令翻译器,图形解码器进行对话处理。由于让图形解码器进行对话处理,所以在IG流中组入规定使用按钮部件的对话操作的控制信息。
[0312] .各流类型允许的显示模式
[0313] 允许3D显示模式哪个因流类型不同而不同。主要视频流的3D显示模式中允许B-D显象模式、B-B显象模式等两个输出模式。主要视频流中允许B-B显象模式的仅是弹出菜单打开的情况。将以B-D显象模式再现的情况下的主要视频流的类型称为‘立体视觉B-D再现类型’。将以B-B显象模式再现的情况下的主要视频流的类型称为‘立体视觉B-B再现类型’。
[0314] PG流的3D显示模式中允许B-D显象模式、1plane+Offset模式、1plane+Zero Offset模式等3个输出模式。PG流中允许1plane+Zero Offset模式仅是弹出菜单为打开的情况。将以B-D显象模式再现时的PG流的类型称为‘立体视觉再现类型’。将以1plane+Offset模式再现时的PG流、PG_文本字幕流的类型称为1plane+Offset类型。将以
1plane+Zero Offset模式再现时的PG流、PG_文本字幕流的类型称为1plane+Zero Offset类型。
[0315] 文本字幕流的3D显示模式中允许1plane+Offset模式、1plane+ZeroOffset模式等两个输出模式。文本字幕流中允许1plane+Zero Offset模式仅是弹出菜单为打开的情况。
[0316] IG流的3D显示模式中允许B-D显象模式、1plane+Offset模式、 1plane+Zero Offset模式等3个输出模式。IG流中允许1plane+Zero Offset模式仅是弹出菜单为打开的情况。以后的说明中,只要未特别限定,设3D输出模式执行时不能使用画中画。这是因为画中画及3D输出模式均必需两个用于存储非压缩图片数据的视频平面。另外,只要未特别限定,设3D输出模式下也不能使用调音。
[0317] 接着,说明主TS及副TS的内部构成。图5表示主TS及副TS的内部构成。
[0318] 图5(a)表示主TS的内部构成。主TS由以下源数据包构成。
[0319] 具有0x0100的数据包ID的源数据包构成Program_Map_Table,具有0x1001的数据包ID的TS数据包构成PCR。
[0320] 具有0x1011的数据包ID的源数据包串构成主要视频流。
[0321] 具有0x1200至0x121F的数据包ID的源数据包串构成32个2DPG流。
[0322] 具有0x1400至0x141F的数据包ID的源数据包串构成32个2DIG流。
[0323] 具有0x1100的数据包识别符的源数据包串至具有0x111F的数据包识别符的源数据包串构成主要音频流。
[0324] 通过将这些源数据包的数据包识别符指示给多路复用分离部,可分离多路复用于主TS上的多个ES中期望的ES供于解码器。
[0325] 图5(b)表示副TS的内部构成。副TS由以下源数据包构成。
[0326] 具有0x1012的数据包识别符的源数据包串构成从属视野视频流。
[0327] 具有0x1220的数据包识别符的源数据包串至具有0x123F的数据包ID的源数据包串构成32个左眼PG流。
[0328] 具有0x1240的数据包识别符的源数据包串至具有0x125F的数据包识别符的源数据包串构成32个右眼PG流。
[0329] 具有0x1420的数据包识别符的源数据包串至具有0x143F的数据包ID的源数据包串构成32个左眼用IG流。
[0330] 具有0x1440的数据包识别符的源数据包串至具有0x145F的数据包识别符的源数据包串构成32个右眼用IG流。
[0331] 以上是对流文件的说明。接着,说明播放列表信息的细节。
[0332] 为了定义上述多路径,具有图6的内部构成。图6表示播放列表信息的内部构成。如图6(a)所示,播放列表信息包含‘主路径信息’、‘副路径 信息’、‘播放列表标记信息’、‘扩展名数据’。下面,说明这些构成要素。
[0333] 1)主路径信息由一个以上主再现区间信息构成。图6(b)是表示主路径信息及副路径信息的内部构成的图,如图所示,主路径信息由一个以上主再现区间信息构成。副路径信息由一个以上从再现区间信息构成。
[0334] 主再现区间信息被称为播放项目信息,是通过在TS再现时间轴中定义一个以上为In_Time的时刻与为Out_Time的时刻的组,定义逻辑的再现区间。再现装置中包含存储当前播放项目序号的播放项目序号寄存器,多个播放列表信息中、存储在该播放项目序号寄存器中的播放列表信息变为当前的再现对象。
[0335] 图6(c)表示播放项目信息的内部构成。如图所示,包含‘流参照信息’、‘及时超时信息’、‘连接状态信息’、‘基本流选择表’。
[0336] 流参照信息包含表示将构成播放项目的传输流作为‘AV片段’来管理的流信息文件的‘流信息文件名称信息(clip_information_file_name)’、表示该TS中的编码方式的‘片段编码方式识别符(Clip_codec_indentifier)’、表示该TS的STC序列中设定及时及超时的STC序列是哪个的‘STC识别符参考(STC_ID_Dreferrence)’。
[0337] 以上是对播放项目信息的说明。
[0338] 2)从再现区间信息被称为副路径信息,由多个副播放项目信息构成。图6(d)表示副播放项目的内部构成。如图所示,副播放项目信息是通过在STC序列的时间轴上规定及时与超时的组来定义构成副路径的再现区间的信息,包含‘流参照信息’、‘及时超时信息’、‘同步播放项目参考’、‘同步开始时刻信息’。
[0339] ‘流参照信息’与播放项目信息一样,包含‘流信息文件名称信息’‘片段编码方式识别符’、‘STC识别符参考’。
[0340] ‘及时超时信息(SubPlayItem_In_Time,SubPlayItem_Out_Time)’表示STC序列时间轴上的副播放项目的起点与STC序列时间轴上的副播放项目的终点。
[0341] ‘同步播放项目参考(Sync_PlayItem_Id)’是唯一指定播放项目中该副播放项目应同步的播放项目的信息。副播放项目及时存在于由该同步播放项目参照符指定的播放项目的再现时间轴上。
[0342] ‘同步开始时刻信息(Sync_Start_PTS_of_PlayItem)’表示由同步播放项目参照符指定的播放项目的STC序列时间轴中、由副播放项目及时指定的副播放项目的起点在哪个时刻被摄像。
[0343] 3)播放列表标记信息是定义再现区间固有的标记点的信息,包含表示再现区间的参照符、表示数字流的时间轴上标记点位于何处的时间戳、与表示标记点的属性的属性信息。
[0344] 所述属性信息表示由播放列表标记信息定义的标记点是链接点还是入口标记。 [0345] 链接点是虽然可基于链接指令链接、但在由用户执行章节跳过操作的情况下不构成选择对象的标记点。
[0346] 入口标记是可基于链接指令链接、且在由用户执行章节跳过操作的情况下构成选择对象的标记点。
[0347] 组入IG流的按钮信息内的链接指令以经播放列表标记信息的间接参照形式来指定出头位置。
[0348] <基本流选择表(StreamNumber_table)>
[0349] 所述基本流选择表是如下表,即对多个流类型每个规定当构成播放列表的多个播放项目中、包含该基本流选择表的播放项目变为当前播放项目时,允许多路复用于由多路径的主路径参照的AV片段上的ES、及多路复用于由多路径的副路径参照的AV片段上的ES中哪个ES再现。这里所谓的流类型是指画中画中的主要视频流、画中画中的次要视频流、调音中的主要音频流、调音中的次要音频流、PG_文本字幕流、IG流等类型,基本流选择表可对这些流类型每个登录应允许再现的流。具体地,基本流选择表由流登录的排列构成。这里,所谓流登录是指与该流序号对应表示当基本流选择表归属的播放项目变为当前播放项目时,应允许再现的ES是哪个流,流登录为向逻辑流序号对应流入口及流属性的组合等数据构造。
[0350] 流登录中的流序号由1、2、3等整数值表现,流序号的最大数为对应的流类型的流个数。
[0351] 再现装置中,对该流类型每个,存在流序号寄存器,其中存储的流序号所指示的ES为构成当前再现对象的ES,即当前流。
[0352] 在该流入口内,记述应再现的ES的数据包识别符。由于在流入口内 可记述应再现的ES的数据包识别符,所以将流登录中的流序号存储在再现装置的流序号寄存器中,并根据流登录中的流入口内的数据包识别符,再现装置让再现装置的PID滤波器执行数据包滤波。由此,将基本流选择表中允许再现的ES的TS数据包输出到解码器,进行ES的再现。 [0353] 基本流选择表中的这些流登录根据流序号的顺序排列,基于流序号的顺序的流登录顺序在存在多个满足‘再现装置可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流的情况下,利用流登录串中的流序号的顺序,决定构成选择对象的流。 [0354] 由此,在基本流选择表中的流登录中,在存在再现装置不能再现的流登录的情况下,从再现中去除这种流,另外,在存在多个满足‘再现装置可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流的情况下,创制者可将应优先选择其中哪个的指针传递给再现装置。
[0355] 将是否存在满足‘再现装置可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流的判定、或选择满足‘可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流中哪个的选择步骤称为流选择程序。流选择程序当将当前播放项目切换为新的时或从用户要求流切换时执行。
[0356] 将在当前播放项目切换为新的等再现装置的状态变化发生时,进行上述判定或选择,对再现装置的流序号寄存器设定流序号的一连串步骤称为‘应在状态变化时执行的程序’。流序号寄存器对每个流类型存在,所以上述程序对每个流类型执行。
[0357] 将在用户执行流切换要求的情况下,进行上述判定或选择,对再现装置的流序号寄存器设定流序号的一连串步骤称为‘要求流变化时的程序’。
[0358] 将当装填盘时,将流序号寄存器设定为流登录串中的初始值的步骤称为‘初始化’。
[0359] 基本流选择表中的流登录串对由副播放项目信息指定的流与由播放项目信息指定的流一律赋予优先顺序,所以即便是未与视频流多路复用的流,只要由副播放项目信息指定,则也构成应与视频流同步再现的流选择中的选择对象。
[0360] 另外,在再现装置可再现由副播放项目信息指定的流,且由副播放项 目信息指定的流的优先顺序比与视频流多路复用的图形流的优先顺序高的情况下,可代替与视频流多路复用的流,将由副播放项目信息指定的流供于再现。
[0361] 描述基本流选择表中的流序号的用途。基本流选择表中记载的流序号可用于组流指令的操作数。
[0362] 所谓组流指令是将指定给操作数的流序号作为当前流序号设定给流序号寄存器、命令再现装置切换当前流的指令,指令基础的程序用于让再现装置执行流的切换时。 [0363] 另外,也可用于流改变U0的自变量或组流API的自变量中。所谓流改变U0是将指定给自变量的流序号作为当前流序号设定给流序号寄存器、命令再现装置切换当前流的用户操作事件。
[0364] 所谓组流API是将指定给自变量的流序号作为当前流序号设定给流序号寄存器、命令再现装置切换当前流的API,对象指向编程语言基础的程序用于让再现装置执行流切换时。
[0365] 图7表示基本流选择表的一例。图7(a)表示按流类型存在主要视频流、次要视频流、PG流、IG流、次要视频流、次要音频流等类型的情况下,基本流选择表中设置的多个流登录串。图7(b)表示通过基本流选择表从主TS、副TS中分离哪个ES。该图左侧表示主TS、副TS,正中表示基本流选择表与多路复用分离部。右侧表示根据基本流选择表分离的主要视频流、主要音频流、PG流、IG流、次要视频流、次要音频流。
[0366] 接着,说明扩展名数据的细节。
[0367] 在播放列表信息参照MVC视频流的情况下,扩展流选择表必需存储在播放列表信息文件的扩展名数据中的数据块中。
[0368] 在播放列表信息参照盘上的MVC视频流的情况下,副路径信息的扩展信息(副路径块扩展名)必需存储在播放列表信息文件的扩展名数据中的数据块中。
[0369] 2D再现装置当遭遇播放列表文件中的扩展名数据时,必需忽视未知的扩展名数据。
[0370] <扩展流选择表(StreamNumber_table_StereoScopic(SS))>
[0371] 扩展流选择表是仅在立体视觉输出模式下与流选择表一起使用的流选 择表,当播放项目再现或再现与之关联的副路径时,定义可选择的ES。
[0372] 所述扩展流选择表表示仅立体视觉输出模式下应允许再现的ES,包含流登录串。流登录串中的各个流登录信息包含流序号、对应于该流序号的流入口、与流属性。由于扩展流选择表意味着立体视觉输出模式固有的扩展,所以将向各播放项目信息关联扩展流选择表(STN_table_SS)的播放列表称为‘3D播放列表’。
[0373] 扩展流选择表中的流入口表示在将再现装置设定为立体视觉输出模式的情况下,当将对应的流序号设定给再现装置中的流序号寄存器时,再现装置应用于多路复用分离的数据包识别符。这里,与基本流选择表的不同之处在于扩展流选择表中的流登录串不构成流选择程序的对象。即,基本流选择表中的流登录串中的流登录信息解释为各个ES的优先顺序,将某个流登录信息内的流序号写入流序号寄存器中。但是,扩展流选择表中的流登录串不构成流选择程序的对象,扩展流选择表中的流登录信息仅用于当在将某个流序号存储在流序号寄存器中时,取出对应于该流序号的流入口及流属性的目的。
[0374] 当输出模式从2D输出模式切换为3D输出模式时,构成对象的流选择表为了从基本流选择表切换为扩展流选择表,若执行流选择程序,则不能维持流序号的同一性,尤其是有可能还丧失语言属性的同一性。
[0375] 当从2D输出模式切换到3D输出模式时,为了维持以语言属性为主的流属性的同一性,将扩展流选择表的用途也预备为上述用作。
[0376] 描述扩展流选择表中流序号的用途。扩展流选择表中记载的流序号可用于组流指令或组立体视觉流指令的操作数。
[0377] 所谓组立体视觉流指令是将指定给操作数的立体视觉用流序号作为当前流序号设定给流序号寄存器、命令再现装置切换当前流的指令,指令基础的程序用于让再现装置执行向立体视觉流的切换时。
[0378] 另外,流改变U0的自变量或组流API的自变量中也可使用。
[0379] 所述扩展流选择表由从属视野视频流的流登录串、PG流的流登录串、IG流的流登录串构成。
[0380] 将扩展流选择表的流登录串结合于流选择表中的相同流类型的流登录串上。该结合通过在流选择表的主要视频流的流登录串上结合扩展流选择 表中的从属视野视频流的流登录串、在流选择表中的PG流的流登录串上结合扩展流选择表中的PG流的流登录串、并在IG流的流登录串上结合扩展流选择表中的IG流的流登录串来执行。
[0381] 若执行上述结合,则对结合后的流选择表中、基本流选择表中的流登录串执行上述程序。
[0382] 图8表示扩展流选择表的内部构成。扩展流选择表由扩展流选择表的整体长度(length)、弹出期间固定偏移(Fixed_offset_during_Popup)、对应于各播放项目中各个流类型的流登录串构成。
[0383] 这里,在存在播放项目#1-#N等N个播放项目的情况下,对应于播放项目#1-#N每个的流登录串设置在扩展流选择表中。对应于各播放项目的流登录串是从属视野流登录串、PG流登录串、IG流登录串。
[0384] ‘Fixed_offset_during_Popup’是弹出期间固定偏移,在将基于IG流的弹出菜单设定为打开的情况下,控制视频或PG_文本字幕流的再现类型。该‘Fixed_offset_during_Popup’字段在IG流中的user_interface_model字段设定为打开、即弹出菜单的用户界面设定为打开的情况下,设定为打开。在IG流中的user_interface_model字段设定为关闭、即AlwaysON的用户界面的情况下,设定为关闭。
[0385] 在弹出期间固定偏移‘=0’,即IG流的用户界面中将弹出菜单设定为关闭的情况下,视频流变为B-D显象模式。立体视觉PG流变为立体视觉再现类型。在1plane+Offset模式的再现时,PG_文本字幕流变为1plane+Offset模式。
[0386] 在弹出期间固定偏移‘1’,即IG流的弹出菜单为打开的情况下,视频流变为B-B显象模式。立体视觉PG流变为1plane+Offset模式,1plane+Offset用的PG流作为1plane+Zero Offset再现类型再现。
[0387] 在1plane+Offset模式中,PG_文本字幕流变为1plane+Zero Offset。
[0388] ‘偏移序列个数信息(图中的number_of_offset_sequence)’表示从属视野流中的偏移序列的个数。
[0389] 扩展流选择表中的该值与从属视野流中包含的偏移序列的个数相同。
[0390] 图9表示扩展流选择表中的流登录串。
[0391] 图9(a)表示从属视野视频流的流登录串的内部构成。从属视野视频流 的流登录串由v(x)个SS_dependet_view_block构成。这里,所谓v(x)是播放项目信息#x的基本流选择表中、允许再现的主要视频流的个数。图中的引出线闭合表示从属视野视频流的流登录串的内部构成。如引出线所示,SS_dependet_view_block由流序号、流入口、流属性与偏移序列数量(number_of_offset_sequence)构成。
[0392] 流入口包含指定从属视野视频流的再现路径归属的副路径的副路径识别符参考(ref_to_Subpath_id)、指定存储从属视野视频流的流文件的流文件参考(ref_to_subClip_entry_id)、与该流文件中的从属视野视频流的数据包识别符(ref_to_stream_PID_subclip)。
[0393] ‘流属性’包含从属视野视频流的语言属性。
[0394] ‘偏移序列数量(number_of_offset_sequence)’表示从属视野视频流内存在的偏移的个数。
[0395] 图9(a)中,从属视野视频流的流登录串在数据构造上设置对多个从属视野视频流的流登录信息。通常,由于基础视野视频流的个数为1个,所以从属视野视频流中的流登录信息的个数也唯一。
[0396] 图9(b)表示PG流的流登录串的内部构成。PG流的流登录串由P(x)个流登录信息构成。这里,所谓P(x)是播放项目信息#x的基本流选择表中、允许再现的PG流的个数。 [0397] 图中的引出线闭合表示流登录串的共同内部构成。
[0398] ‘PG_文本字幕偏移序列ID参考信息(PGtextST_offset_sequence_id_ref)’是PG_文本字幕流偏移序列参考信息,指示对1plane+Offset模式的PG_文本字幕流的偏移序列。
[0399] 偏移元数据由从属视野视频流的访问单元提供。再现装置必需使由该字段提供的偏移适用于plane+Offset模式类型的显象图形(PG)平面。
[0400] 在该字段为不定值(FF)的情况下,再现装置不将该偏移适用于PG流平面存储器。 [0401] ‘立体视觉PG是否存在标志(is_SS_PG)’指示PG流中的左眼用IG的流入口、右眼用IG的流入口、流属性的有效性与存在。在立体视觉PG流中的构造不存在的情况下,必需将该字段设定为0。在立体视觉PG流中的构造存在的情况下,必需将该字段设定为1。 [0402] ‘左眼流入口’包含指定左眼PG流的再现路径归属的副路径的副路径识别符参考(ref_to_Subpath_id)、指定存储左眼PG流的流文件的流文件参考(ref_to_subClip_entry_id)、与该流文件中的左眼PG流的数据包识别符(ref_to_stream_PID_subclip)。 [0403] ‘右眼流入口’包含指定右眼PG流的再现路径归属的副路径的副路径识别符参考(ref_to_Subpath_id)、指定存储右眼PG流的流文件的流文件参考(ref_to_subClip_entry_id)、该流文件中的右眼PG流的数据包识别符(ref_to_stream_PID_subclip)。由扩展流选择表的流登录信息中的stream_entry_for_depentdent_view参照的流文件与由基本流选择表的流入口参照的流文件不同的情况下,必需改为读出存储右眼PG流的流文件。 [0404] ‘共同流属性’包含左眼PG流及右眼PG流的语言属性。
[0405] ‘立体视觉PG_文本字幕偏移序列参考信息(SS_PG_textST_offset_sequence_id_ref)’是用于参照PG_文本字幕流用偏移序列的参考信息,指示PG_文本字幕流用的偏移序列。再现装置必需将由该字段提供的偏移适用于PG平面。
[0406] 在该字段为不定值(FF)的情况下,再现装置不将该偏移适用于PG流平面存储器。 [0407] 图9(c)表示IG流的流登录串的内容构成。IG流的流登录串由I(x)个流登录信息构成。这里,所谓I(x)是播放项目信息#x的基本流选择表中、允许再现的IG流的个数。图中的引出线闭合表示流登录串的共同内部构成。
[0408] ‘IG偏移序列ID参考信息(IG_offset_sequence_id_ref)’是交互式图形偏移序列参考,是1plane+Offset模式的IG流的序列ID的参考。该值指示对偏移序列定义的偏移序列ID。如上所述,偏移元数据由从属视野视频流提供。再现装置必需将由该字段提供的偏移适用于1plane+Offset模式类型的IG流。
[0409] 在该字段为不定值(FF)的情况下,再现装置不将该偏移适用于交互式图形平面。 [0410] ‘B-B模式时的偏移方向信息(IG_Plane_offset_direction_during_BB_video)’指示B-B显象模式中弹出菜单的用户界面再现IG流期间、1plane+Offset模式中的交互式图形(IG)平面 中的偏移方向。
[0411] 值‘0’前向设定,即,平面存储器存在于TV与视听者之间,在左视野期间,平面向右移位,在右视野期间,平面向左移位。
[0412] 值‘1’后向设定,即,平面存储器存在于TV或屏幕背后,左平面向左移位,右平面向右移位。
[0413] ‘B-B模式时的偏移值信息(IG_Plane_offset_value_during_BB_video)’在B-B显象模式下由弹出菜单的用户界面再现IG流期间,以象素单位指示1plane+Offset模式下的IG平面的偏移值。
[0414] ‘立体视觉IG是否存在标志(is_SS_IG)’指示IG流中的左眼用IG的流入口、右眼用IG的流入口、流属性的有效性与存在。在立体视觉IG流的数据构造不存在的情况下,必需将该字段设定为值0。在允许再现的IG流是立体视觉IG流的情况下,必需将该字段设定为值1。
[0415] ‘左眼流入口’包含指定左眼用IG流的再现路径归属的副路径的副路径识别符参考(ref_to_Subpath_id)、指定存储左眼用IG流的流文件的流文件参考(ref_to_subClip_entry_id)、与该流文件中的左眼用IG流的数据包识别符(ref_to_stream_PID_subclip)。 [0416] ‘右眼流入口’包含指定右眼用IG流的再现路径归属的副路径的副路径识别符参考(ref_to_Subpath_id)、指定存储右眼用IG流的流文件的流文件参考(ref_to_subClip_entry_id)、该流文件中的右眼用IG流的数据包识别符(ref_to_stream_PID_subclip)。由扩展流选择表的流登录信息中的stream_entry_for_depentdent_view参照的流文件与由基本流选择表的流入口参照的流文件不同的情况下,必需改为读出存储右眼用IG流的流文件。
[0417] ‘共同流属性’包含左眼用IG流及右眼IG流的语言属性。
[0418] ‘立体视觉IG偏移序列参考信息’是立体视觉类型的IG流用的偏移序列ID的参考,指示从属视野视频流的偏移元数据中的偏移序列。再现装置必需将由该字段提供的偏移适用于立体视野类型的IG平面。
[0419] 在该字段为不定值(FF)的情况下,再现装置不将该偏移适用于IG平面。 [0420] PG_文本字幕流用偏移序列的参考信息及IG流用的偏移序列的参考信息对应于流序号,记载于流登录信息中,所以当装置状态变化时或流变更要求发生时,执行流选择程序,在将对应于装置侧的语言设定的流序号设 定给流序号寄存器的情况下,将由对应于该新的流序号的参考指示的偏移序列从视频解码器提供给移位部。由此,由于将对应于再现装置中语言设定的最佳偏移序列提供给移位部,所以可将1plane+Offset模式中的图形进深设为对应于再现装置语言设定的最佳进深。
[0421] 说明扩展流选择表中的限制。
[0422] 立体视觉从属视野块中的流入口在播放列表中不变化。
[0423] 若立体视觉从属视野块中的流入口的类型是由副路径使用的ES类型(流类型=2),则副路径ID参考与副片段入口ID参考(ref_to_subclip_entry_id)在播放列表中不变化。
[0424] 允许作为流入口、基础视野用的流入口、从属视野用的流入口的类型的ES类型仅是由播放项目使用的AV片段内的ES(流类型‘=1’)、由副路径使用的AV片段内的ES(流类型=2)这两个类型。
[0425] 立体视觉从属视野块中的流属性的流编码方式设定为‘0x20’。
[0426] 图10表示由基本流选择表、扩展流选择表从主TS、副TS多路复用分离哪个ES。 [0427] 该图的正中表示多路复用分离部,其上侧表示基本流选择表与扩展流选择表的组。左侧表示主TS、副TS,右侧表示多路复用分离的基础视野视频流、从属视野视频流、左眼PG流、右眼PG流、左眼用IG流、右眼用IG流、主要音频流。
[0428] 图11表示2D输出模式、3D输出模式中流序号的分配变化。
[0429] 纵栏表示主要视频流#1的流序号、主要音频流#1、#2的流序号、PG_文本字幕流#1、#2、#3的流序号、IG流#1、#2的流序号。
[0430] 仅由左侧虚线框包围的ES是仅2D输出模式下变为多路复用分离对象的ES,表示允许由流选择表(STN_table)再现。
[0431] 仅由右侧虚线框包围的ES是3D输出模式下变为多路复用分离对象的ES,表示允许由扩展流选择表(STN_table_SS)再现。
[0432] 由左侧及右侧虚线框双方包围的ES表示2D输出模式及3D输出模式下变为多路复用分离对象的ES。
[0433] 若仅着眼于视频流#1的流序号,则由于MPEG4-MVC基础视野视频流被左右双方的虚线框包围,所以可知在2D输出模式及3D输出模式双方 中变为再现对象。但是,由于MPEG4-MVC从属视野视频流仅由右侧虚线框包围,所以可知仅在3D输出模式再现。 [0434] 若着眼于主要音频流#1、#2的流序号,则由于音频流被左右双方的虚线框包围,所以可知在2D输出模式及3D输出模式双方中变为再现对象。
[0435] 若着眼于PG_文本字幕,则PG流#1、PG流#2是2DPG流,由左右虚线框包围。可知PG流#1、PG流#2在2D输出模式、3D输出模式双方中变为再现对象。另一方面,左眼PG流、右眼PG流仅由右侧虚线框包围,所以可知仅在3D输出模式再现。
[0436] 若着眼于IG流,则IG流#1、IG流#2是2DIG流,由左右虚线框包围。可知IG流#1、IG流#2在2D输出模式及3D输出模式变为再现对象。另一方面,左眼IG流、右眼IG流仅由右侧虚线框包围,所以可知仅在3D输出模式再现。
[0437] 从上述可知,在3D输出模式中视频流等流类型下,将从属视野视频流加为再现对象。
[0438] 另外,可知在3D输出模式中PG流等流类型下,再现对象追加左眼PG流及右眼PG流,在3D输出模式中IG流等流类型下,追加左眼IG流及右眼IG流。左眼PG流及右眼PG流加为再现对象是因为在3D输出模式中使用左眼PG流及右眼PG流来实现立体视觉再现。左眼IG流及右眼IG流加为再现对象是因为在3D输出模式中使用左眼IG流及右眼IG流来实现立体视觉再现。
[0439] 以上是对记录介质的说明。接着说明再现装置的细节。
[0440] 图12表示再现装置的内部构成。如图所示,再现装置由读出部201、存储器202、寄存器组203、解码器204、多路复用分离部205、平面存储器组206、移位部207、层合成部208、发送接收部209、再现控制部210构成。该图的内部构成不过记述用于实施具备课题解决手段的再现装置的必要最低限度的构成要素。更详细的内部构成在后段的实施方式中说明。
[0441] 读出部201从记录介质中读出索引表、程序文件、播放列表信息文件、流信息文件、流文件。读出部201当读出立体视觉交互流文件时,使用3D流信息文件中的片段基础信息内的区段开始点信息与片段从属信息内的区段开始点信息,执行将立体视觉交互流文件分割为对应于主TS的ATC序 列1与对应于副TS的ATC序列2,将ATC序列1与ATC序列2存储在不同读出缓冲器中的处理。该分割通过重复如下处理来执行:以片段从属信息中区段开始点信息所示的源数据包序列的数据包数量,从立体视觉交互流文件中取出源数据包,追加到ATC序列1;和以片段基础信息中区段开始点信息所示的源数据包序列的数据包数量,从立体视觉交互流文件中取出源数据包,追加到ATC序列2。
[0442] 存储器202存储通过结合播放列表信息中包含的基本流选择表与扩展流选择表所得到的结合流登录串。
[0443] 寄存器组203由再现装置进行动作用的各种寄存器构成。
[0444] 每个流类型的解码器204由视频解码器211、PG解码器212、文本字幕解码器213、IG解码器214、音频解码器构成。
[0445] 多路复用分离部205具备将源数据包变换为TS数据包的源去包器、执行数据包滤波的PID滤波器,将具有3D播放列表信息的基本流选择表的流入口中记述的数据包识别符之源数据包变换为TS数据包后,输出到解码器,将具有3D播放列表信息的立体视觉流选择表的流入口中记述的数据包识别符之源数据包变换为TS数据包后,输出到解码器。基本流选择表的多个入口及扩展流选择表的多个入口中具有哪个数据包识别符根据层状态寄存器中流序号寄存器的设定。所谓流序号寄存器是存储当前流序号的寄存器。
[0446] 平面存储器组206由多个平面存储器构成。
[0447] 这些平面存储器构成层模块,将各个平面存储器的存储内容供于层合成。平面存储器组包含左眼用平面存储器、右眼用平面存储器,将解码各个访问单元的基础视野的视野成分得到的非压缩的图片数据、解码从属视野的视野成分得到的非压缩的图片数据写入这些左眼用平面存储器、右眼用平面存储器中。该写入在各个访问单元的显象时间戳所示的再现开始时刻到来时执行。
[0448] 向左眼用平面存储器、右眼用平面存储器哪个中写入解码后的图片数据根据播放列表信息中的基础视野指示符。若基础视野指示符将基础视野视频流指定为‘左眼用’,则将构成基础视野视频流的视野成分的图片数据写入左眼用平面存储器,将构成从属视野视频流的视野成分的图片数据写 入右眼用平面存储器。
[0449] 若基础视野指示符将基础视野视频流指定为‘右眼用’,则将作为基础视野视频流的视野成分的图片数据写入右眼用平面存储器,将作为从属视野视频流的视野成分的图片数据写入左眼用平面存储器。之后,将这些视野成分依次输出到显示装置。具体而言,在一个帧期间,同时输出左眼用平面存储器的图片数据与右眼用平面存储器的图片数据。 [0450] 移位部207执行象素的坐标移位。
[0451] 层合成部208执行多个平面存储器中的层合成。
[0452] 发送接收部209当经界面与家庭影院系统中的其他设备连接时,经协议阶段,移动到数据传送阶段,进行数据传送。
[0453] 该协议阶段把握对方侧设备的性能(包含解码能力、再现能力、显示频率),设定给播放器设定寄存器,确定以后传送用的传送方式,包含确认彼此装置的正当性的相互认证阶段。经该协议阶段,根据显示装置中的水平同步期间,将层合成后的图片数据中的一线大小的非压缩平文形式的象素数据以高的传送速率传送到显示装置。另一方面,在显示装置的水平回扫期间及垂直回扫期间,向与再现装置连接的其他装置(不仅显示装置,还包含放大器、扬声器)传送非压缩平文形式的音频数据。由此,显示装置、放大器、扬声器等设备可受理非压缩平文形式的图片数据、非压缩平文形式的音频数据,可实现再现输出。另外,在对方侧设备存在解码能力的情况下,可通过传送视频流、音频流。在通过传送中,可以压缩编码形式不变地传送视频流、音频流。
[0454] 再现控制部210执行从时间轴上任意时刻随机访问视频流。具体地,在命令从时间轴上任意时刻再现视频流的情况下,使用3D流信息文件中的基本入口地图与扩展入口地图,搜索对应于该任意时刻的访问单元的源数据包序号。这种访问单元包含基础视野视频流的视野成分及从属视野视频流的视野成分的组,通过上述搜索,特写存储该访问单元的访问单元定界符的源数据包的源数据包序号。通过这种从源数据包序号读出及执行解码,执行随机访问。在3D播放列表再现中,使用由3D播放列表信息的主路径信息规定的及时、超时、与由副路径信息规定的及时、超时,对主TS、副TS分别执行随机访问,由此开始播放列表再现。
[0455] 视频解码器211是解码器组204中的解码器中代表性的解码器,通过预加载构成从属视野视频流的视野成分,解码位于基础视野视频流内接近GOP的开头的期望解码器更新之图片类型(IDR类型)的视野成分。在该解码中,清零全部编码数据缓冲器、解码数据缓冲器。如此解码IDR类型的视野成分之后,解码根据与该视野成分的相关性压缩编码的基础视野视频流的后续视野成分及从属视野视频流的视野成分。若通过解码得到该视野成分的非压缩的图片数据,则存储在解码数据缓冲器中,将这种图片数据设为参照图片。 [0456] 使用该参照图片,对基础视野视频流的后续视野成分及从属视野视频流的视野成分进行运动补偿。通过运动补偿,若对基础视野视频流的后续视野成分及从属视野视频流的视野成分得到非压缩的图片数据,则将其存储在解码数据缓冲器中,设为参照图片。以上解码当各个访问单元的解码时间戳所示的解码开始时刻到来时执行。
[0457] 下面,说明PG解码器212、文本字幕解码器213、IG解码器214、与构成这些解码器的解码对象的流的内部构成。
[0458] PG流中的解码器构成在采用1plane+Offset方式的情况下,变为1解码器+1平面构成。在采用3D-LR方式的情况下,变为2解码器+2平面构成。
[0459] 同样,IG流中的解码器构成在采用3D-LR方式的情况下,变为2解码器+2平面构成。另一方面,在采用1plane+Offset方式的情况下,变为1解码器+1平面构成。 [0460] 文本字幕流中的解码器构成中不存在3D-LR方式,在1plane+Offset模式的情况下,变为1解码器+1平面构成。
[0461] 首先,说明PG流的内部构成与解码PG流的PG解码器的内部构成。
[0462] 左眼用PG流、右眼用PG流均包含多个显示器组。所谓显示器组是构成一个画面显示的功能段的集合。功能段是存储在约2K字节的PES数据包的负荷中,提供给解码器,使用DTS、PTS进行再现控制的处理单位。
[0463] 显示器组中有以下类型。
[0464] A.时点起点的显示器组
[0465] 所谓时点起点的显示器组是复位图形解码器中的合成缓冲器、代码数 据缓冲器、图形平面后使存储器管理开始的功能段的集合,包含全部画面构成所需的功能段。 [0466] B.正常情况的显示器组
[0467] 所谓正常情况的显示器组是图形解码器中的合成缓冲器、代码数据缓冲器、图形平面的存储器管理不变、进行画面构成的显示器组,包含构成与先行显示器组的差分的功能段。
[0468] C.获得点(acquisition point)的显示器组
[0469] 所谓获得点的显示器组是包含全部画面构成所需的功能段的显示器组,但是不复位图形解码器中的合成缓冲器、代码数据缓冲器、图形平面的存储器管理的显示器组。该获得点的显示器组中也可存在与前后的显示器组不同内容的功能段。
[0470] D.时点继续(epoch-continue)的显示器组
[0471] 所谓时点继续的显示器组表示在允许PG流再现的播放项目与其之前的播放项目的连接形式为伴随清零制动(clean brake)的无缝连接(CC=5)的情况下,使再现装置中的合成缓冲器、代码数据缓冲器、对象缓冲器、图形平面的存储器管理原样继续。此时,对象缓冲器、图形平面上得到的图形对象不被废弃地在对象缓冲器、图形平面上继续存在。 [0472] 左眼用与右眼用中,向STC序列的再现时间轴的相同时刻分配这些显示器组的起点、终点。之后,左眼用PG流、右眼用PG流中,存在于时间轴上相同时刻的显示器组的类型相同。即,由于左眼用侧的显示器组是时点开始的显示器组,所以STC序列的时间轴上相同时刻的右眼用侧的显示器组变为时点开始的显示器组。
[0473] 另外,由于左眼用侧的显示器组是获得点的显示器组,所以STC序列的时间轴上相同时刻的右眼用侧的获得点的显示器组也变为时点开始的显示器组。
[0474] 各显示器组包含多个功能段。该多个功能段中存在如下段。
[0475] (1)对象定义段
[0476] 对象定义段是定义图形对象的功能段。图形定义段通过使用代码值与该代码值的扫描区段,定义图形对象。
[0477] (2)调色(pallet)定义段
[0478] 调色定义段包含表示各代码值与亮度、红色差、蓝色差的对应关系的调色数据。左眼用图形流的调色定义段与右眼用图形流的调色定义段中,代码值与亮度及色差的对应关系设定为相同内容。
[0479] (3)窗口定义段
[0480] 窗口定义段是对在画面上展开非压缩图形对象用的平面存储器定义称为窗口的矩形框的功能段。图形对象的描绘限制在该平面存储器的内部,该窗口的外部不执行图形对象的描绘。
[0481] 由于将平面存储器的一部分指定为图形显示用的窗口,所以再现装置不必进行平面整体的图形描绘。只要仅对有限大小的窗口进行图形描绘即可。由于可省略显示用平面中窗口以外的部分,所以再现装置侧的软件负担大大减轻。
[0482] (4)画面构成段
[0483] 画面构成段是规定使用图形对象的画面构成的功能段,包含对图形解码器中的合成控制器的多个控制项目。画面构成段是在规定图形流中的显示器组的细节的同时、规定使用图形对象的画面构成的功能段。在这种画面构成中,有Cut-In/Out、Fade-In/Out、Color Change、Scroll、Wipe-In/Out等。通过伴随基于画面构成段的画面构成,可实现在慢慢删除某个字幕的同时、使下一字幕显示的显示效果。
[0484] (5)结束段
[0485] 是位于属于一个显示器组的多个功能段最后的功能段。再现装置解释为从画面构成段至该结束段为构成一个显示器组的功能段。
[0486] PG流中显示器组的开始时刻由存储画面构成段的PES数据包的DTS特定,显示器组的终止时刻由存储画面构成段的PES数据包的PTS特定。
[0487] 左眼用图形流及右眼用图形流是数据包化基本流(PES),画面构成段存储在PES数据包中,存储画面构成段的PES数据包的PTS表示何时执行基于画面构成段所属的显示器组的显示。
[0488] 存储画面构成段的PES数据包的PTS的值在左眼用视频流与右眼用视频流中为相同内容。
[0489] .PG解码器的解码器模块
[0490] PG解码器包含存储从PG流中读出的功能段的‘编码数据缓冲器’、 解码画面构成段得到图形对象的‘流图形处理器’、存储由解码得到的图形对象的‘对象缓冲器’、存储画面构成段的‘合成缓冲器’、和‘合成控制器’,该合成控制器解读存储在合成缓冲器中的画面构成段,根据这些画面构成段中的控制项目,使用对象缓冲器中得到的图形对象,在图形平面上执行画面构成。
[0491] 在该图形平面的前段,存在用于调整构成功能段的TS数据包的输入速度的传输缓冲器。
[0492] 在图形解码器的后段,存在图形平面、根据调色定义段将构成图形平面中存储的图形对象的象素代码变换为亮度、色差的CLUT部、和平面移位用的移位部。
[0493] PG流中的管道通过同时执行如下两个写入处理来执行,第一个写入处理中,图形解码器解码属于某个显示器组的对象定义段,将图形对象写入对象缓冲器中,第二个写入处理中,将通过解码属于先行显示器组的对象定义段得到的图形对象从对象缓冲器写入平面缓冲器中。
[0494] 图13表示PG解码器的内部构成。图13(a)是由1plane+Offset模式方式显示用的解码器模块。图13(b)是显示LR方式的数据时的解码器模块。
[0495] 该图中,相当于PG解码器主体的部分由黑框包围,相当于PG解码器后段的部分由点划线包围。
[0496] 图13(a)中,PG解码器为1解码器构成,图形平面也为1平面构成。但是,图形平面的输出分为左眼用、右眼用,对各个左眼用输出、右眼用输出附加移位部。
[0497] 图13(b)中,存在2组传输缓冲器PG解码器图形平面CLUT部,可分别独立处理左眼用流、右眼用流。
[0498] 由于偏移序列包含于右眼用视频流中,所以在平面偏移形式下,PG解码器为1解码器构成,该1个PG解码器的输出切换为左眼用与右眼用。
[0499] PG解码器的2D/3D切换时的动作如下所述。
[0500] 1.1plane+Offset模式与2D模式相互切换时,无缝切换。这通过无线化Offset来执行。
[0501] 2.在3D-LR模式与2D模式中,由于伴随PID切换,所以一端字幕消失。这与流切换相同。
[0502] 以上是对PG解码器的说明。接着,说明文本字幕解码器的细节。
[0503] .文本字幕解码器的解码器模块
[0504] 文本字幕流由多个字幕记述数据构成。
[0505] 文本字幕解码器包含从字幕记述数据中分离文本代码与控制信息的‘字幕处理器’、存储从字幕记述数据中分离出的文本代码的‘管理信息缓冲器’、使用字体数据将管理信息缓冲器内的文本代码展开成位图的‘文本渲染(render)’、存储由展开得到的位图的‘对象缓冲器’和使用从字幕记述数据中分离出的控制信息来执行沿时间轴的文本字幕再现的控制的‘描绘控制部’。
[0506] 文本字幕解码器的前段中,存在进行字体数据的预加载的‘字体预加载缓冲器’、调整构成文本字幕流的TS数据包的输入速度的‘TS缓冲器’、在播放项目再现之前预加载文本字幕流用的‘字幕预加载缓冲器’。
[0507] 在图形解码器的后段,存在‘图形平面’、根据调色定义段将构成图形平面中存储的图形对象的象素代码变换为亮度、色差的‘CLUT部’、和平面移位用的移位部。 [0508] 图14表示文本字幕解码器的内部构成。图14(a)表示1plane+Offset模式中文本字幕解码器的解码器模块,图14(b)表示3D-LR方式中的文本字幕解码器的解码器模块。该图中,相当于文本字幕解码器主体的部分由黑框包围,相当于文本字幕解码器后段的部分由点划线包围。相当于文本字幕解码器前段的部分由虚线框包围。
[0509] 图14(a)中,图形平面的输出分为左眼用、右眼用,对各个左眼用输出、右眼用输出附加移位部。
[0510] 图14(b)中,存在左眼用图形平面与右眼用图形平面,将通过文本字幕解码器展开的位图写入这些每个图形平面中。
[0511] 文本字幕流与PG流不同,不将图形数据作为位图发送,通过发送字体数据与字符代码,由渲染引擎生成字幕,所以字幕的立体视觉由1plane+Offset模式实现。
[0512] 以上是对文本字幕流及文本字幕解码器的说明。接着,说明IG流的内部构成与IG解码器的构成。
[0513] .IG流
[0514] 左眼用IG流、右眼用IG流均包含多个显示器组,各显示器组包含多个功能段。在显示器组中,与PG流一样,存在时点开始的显示器组、正常情况的显示器组、获得点的显示器组、时点继续的显示器组。
[0515] 属于这些显示器组的多个功能段中有以下类型。
[0516] (1)对象定义段
[0517] 该对象定义段与PG流的一样,但IG流的图形对象定义页的有效、失效、按钮部件的正常状态、选择状态、激活状态。对象定义段将定义按钮部件相同状态的段彼此、构成相同效果映像的段彼此分组。将集合了定义相同状态的对象定义段的分组称为图形数据集合。
[0518] (2)调色定义段
[0519] 调色定义段与PG流的相同。
[0520] (3)对话控制段
[0521] 对话控制段包含多个页信息,多个页信息是规定多页菜单的画面构成的信息,各页信息包含效果序列、多个按钮信息、与调色识别符的参照值。
[0522] 按钮信息是通过将图形对象显示为按钮部件的一状态、在构成多页菜单的各页上实现对话的画面构成的信息。
[0523] 效果序列使用图形对象,构成在对应于页信息的页显示之前再现的有效、或在该页显示后再现的失效,包含效果信息。
[0524] 效果信息是在再现有效或失效时规定各个画面构成的信息,包含规定在由图形平面上的窗口定义段定义的窗口(部分区域)中应执行哪个画面构成的画面构成对象、与表示与相同区域中的下一画面构成的时间间隔的效果期间信息。
[0525] 效果序列中的画面构成对象规定与PG流的画面构成段相同的控制内容。对象定义段中、定义所述有效中使用的图形对象的段在图形数据串中配置在定义按钮部件中使用的图形对象的对象定义段之前。
[0526] 页信息中的各按钮信息是通过使图形对象显示为按钮部件的一状态、在构成多页菜单的各页上实现对话的画面构成的信息。所述按钮信息包含组按钮组指令,组按钮页指令是当对应的按钮部件变为激活状态时,让再现装置执行将快速页以外的其他页设定为当前页的处理的指令。
[0527] 当IG流再现时,在想对每个页使平面移位中的偏移变更的情况下,将 变更偏移的导航指令组入按钮信息中,对对应的按钮信息,规定导航指令的自动激活。由此,可自动变更IG流的流登录信息中规定的偏移的值或方向。
[0528] (4)结束段
[0529] 是位于属于一个显示器组的多个功能段最后的功能段。解释为从对话控制段到该结束段是构成一个显示器组的功能段。
[0530] 左眼用图形流与右眼用图形流中,相同的对话控制段的控制项目中有按钮接近信息、选择超时时间戳、用户超时删除、合成超时信息。
[0531] 1.按钮接近信息
[0532] 按钮接近信息是在某个按钮变为选择状态、有指示上下左右方向之一的键操作的情况下,指定哪个按钮应变为选择状态的信息。
[0533] 2.选择超时时间戳
[0534] 选择超时时间戳表示自动激活当前页中的按钮部件、让再现装置执行组按钮页指令用的超时时间。
[0535] 3.用户超时删除
[0536] 用户超时删除表示将当前页返回到快速页、变为仅显示快速页的状态的超时时间。
[0537] 4.合成超时信息
[0538] 合成超时信息表示使基于对话控制段的对话画面显示终止的时间。IG流中显示器组的开始时刻由存储对话控制段的PES数据包的DTS特定,显示器组的终止时刻由对话控制段的合成超时时刻特定。左眼用、右眼用中,将这些DTS与合成超时时刻设定为相同时刻。
[0539] .IG解码器的解码器模块
[0540] IG解码器包含存储从IG流中读出的功能段的‘编码数据缓冲器’、解码画面构成段后得到图形对象的‘流图形处理器’、存储通过解码得到的图形对象的‘对象缓冲器’、存储画面构成段的‘合成缓冲器’、和‘合成控制器’,该合成控制器解读存储在合成缓冲器中的画面构成段,根据这些画面构成段中的控制项目,使用对象缓冲器中得到的图形对象,在图形平面上进行画面构成。
[0541] 在该图形平面的前段,存在用于调整构成功能段的TS数据包的输入 速度的‘传输缓冲器’。
[0542] 在图形解码器的后段,存在‘图形平面’、根据调色定义段将构成图形平面中存储的图形对象的象素代码变换为亮度、色差的‘CLUT部’与平面移位用的‘移位部’。 [0543] 图15表示IG解码器的解码器模块。该图中,相当于IG解码器主体的部分由黑框包围,相当于图形解码器后段的部分由点划线包围。相当于IG解码器前段的部分由虚线框包围。
[0544] 图15(a)是通过1plane+Offset模式方式以LR形式来显示2D形式的IG流的解码器模块。图15(b)虽然是IG流的解码器模块,但是显示LR方式的数据时的解码器模块。 [0545] 在这些解码器中,为了从程序来控制菜单图形的深度信息,包含将系统参数的值反映到偏移用的电路。
[0546] 图15(b)是2解码器模块,可通过指令来变更offset值。从而可由指令来改变菜单的深度信息。Offset值还提供左右不同的值。另一方面,在Depth方式的情况下,Offset变无效。
[0547] 图形解码器中的合成控制器使用对应于选择状态的图形数据集合的图形数据来显示对话画面中存在的按钮部件中变为当前按钮的按钮部件,使用对应于正常状态的图形数据集合来显示此外的按钮部件,由此实现对话画面的初始显示。
[0548] 在存在指定上下左右4方向之一的用户操作的情况下,将位于当前按钮周边的正常状态的按钮部件中、存在于由用户操作指定的方向上的按钮部件的序号写入按钮序号寄存器中,通过该写入,使新变为当前按钮的按钮部件从正常状态变化为选择状态。 [0549] 在存在使对话画面中变为选择状态的按钮部件变化为激活状态的用户操作的情况下,通过从图形数据集合中取出构成该激活状态的图形数据后供于显示,实现对话画面的更新。
[0550] 这些对话画面的更新必需在左眼用、右眼用中共同执行,所以期望2解码器模块中左眼用图形解码器与右眼用图形解码器共同化合成控制器。
[0551] 此时,立体视觉IG流中的左眼用、右眼用导航指令相同化,3D用与2D用图形对象的按钮构成相同,由此实现相互切换。
[0552] 在2DIG流与立体视觉IG流中,若导航指令和按钮信息的属性、数量等相同,则可仅切换图形对象的显示。在从3D-LR模式仅切换到L图像中,虽然可不再加载地切换,但有可能显示位置偏移。期望在图表中示出采用哪个的标题制作者的意图,根据该图表,再现装置进行切换。
[0553] 下面汇总模式切换时的注意事项。
[0554] .在1plane+Offset模式与2D模式的切换中不发生再加载。这是因为不必加载IG流,仅Offset无效化。
[0555] .在3D-LR模式与2D模式的切换中,由于流不同,所以发生再加载。
[0556] 以上是对IG流及IG解码器的说明。接着,说明平面存储器的细节。
[0557] 说明1plane+Offset模式方式中的平面存储器构成。
[0558] 平面存储器的层合成通过在平面存储器的层模块中、对层模块中的阶层间的全部组合执行使阶层间的平面存储器中存储的象素数据的象素值重叠的处理来执行。合成部208执行的层合成通过在平面存储器的层模块中、对层模块中的两个阶层的全部组合执行使两个阶层的平面存储器中存储的象素数据的象素值重叠的处理来执行。
[0559] 阶层间的重叠是如下处理,将透过率α作为加权与位于某个阶层的平面存储器的线单位的象素值相乘,同时,将(1-透过率α)的加权与位于其下位阶层的平面存储器的线单位的象素值相乘,将进行了这些亮度加权的象素值彼此相加,将相加结果设为该阶层中线单位的象素的象素值。通过在位于层模块的邻接两个阶层的线单位的象素彼此重复执行该阶层间的重叠,实现上述层合成。
[0560] 平面存储器后段除上述CLUT部、移位部外,为了实现层合成,还包含用于向各个象素值乘以等价率的乘法部、用于进行象素彼此的相加的加法部。
[0561] 图16表示用于合成解码器模块的输出并以3D-LR方式输出的电路构成。视频平面、PG平面、IG平面的层模块用黑框包围,相当于平面存储器后段的部分由点划线包围。从本图可知,上述层模块存在2组。另外,可知在相当于平面存储器后段的部分也存在2组。 [0562] 通过存在2组层模块、平面存储器后段,3D-LR方式中的平面存储器构成中,视频平面、PG平面、IG平面分别分为左眼用、右眼用,这些平 面存储器的输出变为对左眼用、右眼用分别执行层合成。
[0563] 图17表示合成这些解码器模块的输出并以1plane+Offset模式方式输出用的电路构成。
[0564] 左眼视频平面、右眼视频平面、PG平面、IG平面的层模块用黑框包围,相当于平面存储器后段的部分由点划线包围。从该图可知,上述层模块仅存在1组。另外,相当于平面存储器后段的部位存在2组。
[0565] 在1plane+Offset模式方式中,视频平面准备左眼用与右眼用视频平面。PG平面、IG平面不分为左眼用、右眼用,左眼用、右眼用仅存在共同的一个平面存储器。另外,对这些左眼用输出、右眼用输出分别执行上述层合成。
[0566] 再现装置必需支持B-D显象模式、1plane+Offset模式双方,所以作为再现装置的硬件构成,基本上为2解码器+2平面的构成,当再现装置切换到1plane+Offset模式、2D输出模式时,无效化1解码器+1平面的组中的一方,变为1解码器+1平面构成。
[0567] 制造再现装置的制造商可自由确定将以上解码器模块变为1解码器构成还是变为2解码器构成、将平面模块变为1平面构成还是变为2平面构成。当然,设计上2解码器构成、2平面构成作为高级机型出售的情况下,设定为有立体视觉PG的再现能力、有立体视觉IG的再现能力,在作为廉价机型出售的情况下,设定为无立体视觉PG的再现能力、无立体视觉IG的再现能力,由此可实现阵容的充实。这种有无立体视觉PG的再现能力的配置、有无立体视觉IG的再现能力的配置存在于寄存器组中。
[0568] 下面,说明寄存器组。
[0569] 寄存器组由多个播放器状态寄存器、多个播放器设定寄存器构成。各个播放器状态寄存器、播放器设定寄存器均是字长为32位的寄存器,向32位长的寄存器分别提供寄存器序号,使用该寄存器序号来特定应访问的寄存器。
[0570] 将构成各寄存器一字(32位)的各位数据的位位置称为b0-b31。将最上位位称为b31,将最下位位称为b0。另外,32位中从第bx位的位位置至第by位的位位置的位范围用[bx:by]的表述来表现。
[0571] 将规定寄存器序号的播放器设定寄存器/播放器状态寄存器中存储的 32位长度的位串、即任意位范围[bx:by]的位串的值处理为程序进行动作时的动作系统的环境变量(称为系统参数或播放器变量)。进行再现控制的程序通过系统性质或应用程序编码界面(API),可取得系统参数。另外,只要未特别禁止,则程序可改写这些播放器状态寄存器、播放器设定寄存器的值。就对象指向编程语言基础的程序而言,向系统参数的取得或改写提供正当权限成为要件。
[0572] 播放器状态寄存器是当再现装置的MPU进行算术运算或位运算时、存储构成该被运算符的数值用的硬件资源,是如下寄存器,即当装填光盘时设定初始值,另外,在当前播放项目变更等再现装置的状态变化时,判定其存储值的有效性。作为该存储值,有当前的标题序号、当前的播放列表序号、当前的播放项目序号、当前的流序号、当前的章节序号等。由于在装填光盘时存储初始值,所以该存储值是暂时值,若光盘排出,或断开再现装置的电源,则该存储值丧失有效性。
[0573] 播放器设定寄存器在实施电源对策上与播放器状态寄存器不同。由于实施电源对策,所以当再现装置的电源断开时,其存储值退避到非易失性存储器中,当再现装置的电源接通时,还原其存储值。将再现装置的制造主体(制造商)在再现装置出厂时设定的再现装置的各种配置、用户根据设置步骤设定的各种配置、以及当再现装置与TV系统或音响、放大器等家庭影院系统的设备连接时、利用与构成连接对方的设备的协议判明的对方侧设备的性能设定给播放器设定寄存器。
[0574] 图18是描绘寄存器组203的内部构成与再现控制部的图。
[0575] 该图的左侧表示寄存器组203的内部构成。右侧表示再现控制部的内部构成。 [0576] 各寄存器序号表示分配的播放器状态寄存器、播放器设定寄存器是哪个。 [0577] PSR0是IG流用的流序号寄存器,存储当前的IG流序号。
[0578] PSR2是PG流用的流序号寄存器,存储当前的PG流序号。
[0579] PSR24是‘Player Capability for 3D’的设定。其表示再现装置是否存在执行立体视觉再现的能力。
[0580] 另一方面,再现控制部中存在流选择程序,参照寄存器组203中的 PSR24与存储器中的当前播放列表信息的流选择表,唯一确定当前播放列表中的当前PG流序号、当前IG流序号。该流选择程序中存在‘初始化’、‘Procedure when playback condition changed’。 [0581] 图19表示PSR24的位赋值。PSR24表示再现装置的3D性能。记录介质中的程序不能使PSR24的值变化。
[0582] b0表示立体视觉1280×720 50p视频显示性能。立体视觉1280×72050p视频显示性能设定为‘0’时,表示再现装置不具有显示1280×720/50Hz前进视频的处理能力。当设定为‘1’时,表示再现装置具有再现1280×720/50Hz前进视频的再现能力。
[0583] b2表示立体视觉PG性能。立体视觉PG性能通过设定为‘0’,表示再现装置不具有再现立体视觉PG的能力。通过设定为‘1’,表示再现装置具有再现立体视觉PG的能力。 [0584] b3表示立体视觉IG性能。立体视觉IG性能通过设定为‘0’,表示再现装置不具有再现立体视觉IG的能力。通过设定为‘1’,表示再现装置具有再现立体视觉IG的能力。 [0585] b5表示3D输出模式中的BD-J模式的性能。在该b5设定为‘1’的情况下,表示3D输出模式下再现装置可处理BD-J模式。在该b5设定为‘0’的情况下,表示3D输出模式下再现装置不能处理BD-J模式。PSR24的b5的用法由于超出本实施方式的关注,所以在后段的实施方式中说明。
[0586] 在该PSR24中,可对IG、PG分别设定可否立体视觉再现,所以可构成IG解码器、PG解码器分别由2解码器构成,可立体视觉对应IG、PG各自的配置,另外,也可构成在IG、PG由2解码器构成的同时,仅立体视觉对应IG、而将PG预备为1plane+Offset对应的配置。相反,也可构成仅立体视觉对应PG、而将IG预备为1plane+Offset对应的配置。
[0587] 为了进一步将再现装置作为低价格机型出售,也可构成IG解码器、PG解码器分别由2解码器构成,同时IG、PG分别预备为1plane+Offset对应的配置。在由2解码器模块等共同构成来构成中,由于可对应于机型的等级来变更IG可否立体视觉、PG可否立体视觉,所以可实现制造商在制品化再现装置中的阵容的充实。
[0588] 另外,在PG、IG双方任一方由1解码器构成的情况下,通过明示可否 立体视觉再现,即便应再现的播放列表是立体视觉对应的播放列表,也可防止再现类型错误而设定为立体视觉PG、立体视觉IG。
[0589] 以上的再现控制可通过由对象指向型编译器语言记述图20至图25的流程图所示的处理步骤后让计算机执行来实现。
[0590] 图20表示播放列表再现步骤。该流程图在步骤S1将当前播放项目序号设定为1后,构成重复步骤S2-步骤S6的处理的循环。在该循环中,重复如下处理,起到当前播放项目序号变为最终序号,即由重放条件改变时的程序来决定流序号(步骤S2),打开存储对应于流序号的ES的流文件,读出源数据包串(步骤S3),指示读出的源数据包串中对应于流序号的源数据包串的多路复用分离(步骤S4),命令解码器将读出的源数据包从播放项目的及时再现到超时,从副播放项目的及时再现到超时(步骤S5)。这里,若不是最终序号(步骤S6为否),则将当前播放项目序号加1,移动到步骤S2。
[0591] 此时,步骤S7中判定是否有流选择要求,若有要求,则将要求的流序号设为x,执行“要求流变化时的程序”(步骤S8)。若是最终序号,则终止处理(步骤S6为是)。 [0592] <当前PG流的决定及当前PG流的再现类型决定>
[0593] 使用输出模式(PSR22)、PSR24中的立体视觉PG性能与is_SS_PG来选择由PSR2的PG_文本字幕流序号参照的PG_文本字幕流。
[0594] 图21是表示PGtestST流的重放条件改变时的程序的处理步骤的流程图。该流程图中,步骤S11-步骤S22的处理为3D输出模式及2D输出模式的共同处理。步骤S23-步骤S26是3D输出模式特有的处理。
[0595] 在步骤S11中,从PSR2取得当前PG_文本字幕流序号,在步骤S12中,判定当前PG_文本字幕流序号是PG流的还是文本字幕流的。步骤S13检查对应于当前PG_文本字幕流序号的PG流是否满足条件(A)、条件(B)。
[0596] 这里,条件(A)、条件(B)如下规定。
[0597] 条件(A):再现装置中存在解码由当前PG_文本字幕流序号特定的PG流的能力。 [0598] 条件(B):再现装置中存在再现特定的语言的能力。
[0599] 另一方面,在步骤S14中,检查对应于当前PG_文本字幕流序号的文本字幕流是否满足条件(A)、条件(B)。
[0600] 条件(A):再现装置中存在将当前PG_文本字幕流序号的文本字幕流的角色代码展开成位图的能力。这种再现能力示于寄存器组23中的PSR30中。
[0601] 条件(B):再现装置中存在支持当前PG_文本字幕流序号的文本字幕流的语言特性的能力。
[0602] 这里,在某种语言的字幕由文本字幕流表现的情况下,为了将该语言的文本字幕流设为‘能解码’,再现装置侧必需存在将该语言中的字符代码展开为位图的能力、与支持该语言的特性的支持能力。
[0603] 若以英文、日语、阿拉伯语为例,则英语字幕显示主要支持‘横写’、‘字句调整’、‘合字、抱字’等功能,可判断为支持语言特性。
[0604] 日语字幕显示主要支持‘横写’、‘纵写’、‘行末禁则’、‘注音假名’等功能,可判断为支持语言特性。
[0605] 阿拉伯语字幕显示主要支持‘从右向左描绘’、‘合字、抱字’等功能,可判断为支持语言特性。
[0606] 在可将某种语言的文本字幕流展开为位图、可支持该语言特性的情况下,可满足上述条件(A)、条件(B)。在虽然可将某种语言的文本字幕流展开为位图、但不能支持该语言特性的情况下,则不满足上述条件(B),仅满足条件(A)。
[0607] 就寄存器组中的PSR48-61的各位,对每种语言设定每种语言的支持能力。具体地,PSR48-61中存在对应于由ISO639-2/T规定的3字节语言代码各自的标志,对这些标志设定有无对应于各语言代码的文本字幕的显示能力。
[0608] 就由ISO639-2/T规定的3字节语言代码而言,‘ita’等3字节代码表示意大利语,‘jpn’等3字节代码表示日语。‘jav’等3字节代码表示Java语。由于由ISO639-2/T规定的语言代码如此通过3字节的代码网罗430种语言,所以在决定当前PG_文本字幕流序中,在判定能否解码流序号表中记载的文本字幕流时,参照该PSR48-61中的标志。由此,即便是少数派的语言,也可适当判断能否解码。
[0609] 在经过以上判定之后,执行步骤S15。步骤S15判定再现装置是否满足条件(Z)。 [0610] 这里,所谓条件(Z)是用户期望再现无语言特性支持的不支持语言字幕,这种期望示于寄存器组中的PSR30中。
[0611] 之后,执行步骤S16的判定步骤。这是判定是否当前播放项目的流选择表中的PG_文本字幕流的个数=0。在流选择表中不存在允许再现的PG_文本字幕流的情况下,维持PSR2中的PG_文本字幕流的序号(步骤S17)。
[0612] 在当前流选择表中存在至少1个允许再现的PG_文本字幕流的情况下,执行步骤S18。这是询问当前PG_文本字幕流序号的有效性的步骤,判定当前PG_文本字幕流序号是否是流选择表中的stream_entry的总数以下,且满足条件(A)、条件(B)。
[0613] 若步骤S18中判定为不满足,则执行步骤S20的判定。这是判定当前PG_文本字幕流序号是否是流选择表中的stream_entry的总数以下,且满足条件(A)条件(Z)。若满足,则对PSR2设定不支持语言的文本字幕的PG_文本字幕流序号,但由于用户期望再现不支持语言,所以不使PSR2变化(步骤S21)。若步骤S20中判定为不满足,则对当前播放项目选择最佳的流(步骤S22)。
[0614] 以后的步骤S23-步骤S25是3D输出模式特有的处理。具体地,在3D输出模式中,从扩展流选择表中的流登录信息中取得由PSR2的PG流序号特定的PG流的is_SS_PG(步骤S23),判定取得的is_SS_PG标志是否为‘1’,且PSR24中的b2的立体视觉PG性能是否为‘1’(步骤S24)。若步骤S24为是,则设再现类型是使用左眼PG流及右眼PG流的立体视觉PG(步骤S25)。
[0615] 在设再现类型为立体视觉PG的情况下,使用扩展流选择表中多个流登录信息中、对应于PSR2中存储的当前流的流序号的流登录信息的右眼流入口及左眼流入口内的数据包识别符参考,进行立体视觉再现。具体地,让多路复用分离部执行对应于PSR2中存储的当前流的流序号的当前流之右眼流入口及左眼流入口内数据包识别符参考指示的数据包识别符的TS数据包的多路复用分离。
[0616] 若步骤S24为否,则设再现类型是1plane+OffsetPG(步骤S26)。在设再现类型为1plane+OffsetPG的情况下,使用扩展流选择表中多个流登录信息中、对应于PSR2中存储的当前流的流序号的流登录信息的PG_文本字 幕偏移序列ID参考信息指示的偏移序列,执行1plane+Offset模式下的PG再现。
[0617] 这里,说明偏移序列。1plane+Offset模式中使用的偏移序列在从属视野视频流的视频访问单元内存在多个。
[0618] 从属视野视频流的视频访问单元通过排列视频访问单元定界符、序列参数组、图片参数组、MVC可定标嵌套SEI消息、快速视野成分、序列终端代码、流终端代码来构成。另外,该MVC可定标嵌套SEI消息中存在用户数据容器。用户数据容器是未注册用户数据(未登录用户数据),有关闭题目信息、GOP构造地图、偏移元数据等3种。是这些类型中的哪个示于容器中的type_indicator中。
[0619] 偏移元数据是PG平面、IG平面、BD-J平面用的序列列表,用于立体视觉再现模式下显象图形_文本字幕、IG/BD-J平面以1plane+Offset模式再现期间中的偏移设定。具体地,表示对以1plane+Offset模式再现应与图片数据合成的图形时的PG平面、IG平面、BD-J平面的偏移控制。
[0620] 偏移元数据必需存储在从属视野访问单元的编码顺序中各GOP开头的视频成分的MVC可定标嵌套SEI消息中。在偏移元数据的内部存在上述多个偏移序列。偏移序列是对图片分组中的每个帧期间表示合成属于图片分组的各图片数据与图形时的控制参数的参数序列,由number_of_displayed_frames_in_GOP中所示个数的控制参数构成。该控制参数由平面偏移方向信息与平面偏移值构成。
[0621] 平面偏移方向信息(Plane_offset_direction)指示平面中的偏移方向。值‘0’为前向设定,即,平面存储器存在于TV与视听者之间,在左视野期间,平面向右移位,在右视野期间,平面向左移位。值‘1’为后向设定,即,平面存储器存在于TV或屏幕背后,左视野期间,平面向左移位,右视野期间,平面向右移位。平面偏移方向信息表示前向设定的情况下,3维坐标系中的控制参数的Z轴坐标为正坐标。平面偏移方向信息表示后向设定的情况下,3维坐标系中的控制参数的Z轴坐标为负坐标。
[0622] 平面偏移值(Plane_offset_value)是构成图形的象素的水平方向位移量的指定,以象素单位指示平面的偏移值。
[0623] 若将PG的再现类型设定为1plane+OffsetPG,则从视频解码器中取出 从属视野视频流的SEI消息中存储的多个偏移序列中、当前流序号的流登录信息内的PG_文本字幕偏移序列ID参考信息指示的偏移序列,提供给移位部。
[0624] 以上是对PG_文本字幕流中的重放条件改变时的程序的说明。
[0625] 图22是表示对当前播放项目选择最佳的PG_文本字幕流的处理步骤的流程图。 [0626] 步骤S30中,对全部PG_文本字幕流检查是否满足条件(a)-条件(c)。
[0627] 在将构成检查对象的PG流设为PG流i的情况下,条件(a)-条件(c)如下规定。 [0628] 条件(a):再现装置中存在解码PG流i的能力。
[0629] 条件(b):PG流i的PG_language_code与再现装置中的语言设定一致。这里,再现装置中的语言设定示于寄存器组中的PSR17中。
[0630] 在将构成检查对象的文本字幕流设为文本字幕流i的情况下,条件(a)-条件(c)如下规定。
[0631] 条件(a):再现装置中存在将文本字幕流i的角色代码展开成位图的能力。 [0632] 条件(b):再现装置中存在支持文本字幕流i的语言属性的能力。
[0633] 条件(c):文本字幕流i的textST_language_code与再现装置中的语言设定一致。
[0634] 在经过以上检查之后,在步骤S31中,再现装置判定是否满足前一流程图中所述的条件(Z)(:不支持语言的再现)。在不满足的情况下,在步骤S32中,判定是否存在满足条件(a)-条件(c)的PG_文本字幕流。若存在,则选择满足条件(a)-条件(c)的PG_文本字幕流中、对应的流入口在流选择表中位于开头顺序的PG_文本字幕流,将选择到的PG_文本字幕流序号设定给PSR2(步骤S33)。
[0635] 若不存在满足条件(a)-条件(c)的PG_文本字幕流,则在步骤S34中,判定是否存在满足更缓和的条件的PG_文本字幕流。所谓缓和的条件是满足条件(a)、条件(b),步骤S34中判定是否存在满足条件(a)、条件(b)的PG_文本字幕流。若存在,则选择满足条件(a)、条件(b)的PG_文本字幕流中、对应的流入口在流选择表中位于开头顺序的PG_文本字幕流,将选择到的 PG_文本字幕流序号设定给PSR2(步骤S36)。
[0636] 若不存在,则将为0xFFF的PG_文本字幕流序号设定给PSR2(步骤S35)。在步骤S31中,若判定为满足条件(Z),则在步骤S37中,判定是否存在满足其他缓和条件的PG_文本字幕流。所谓其他缓和的条件是满足条件(a)、条件(c),步骤S37中判定是否存在满足条件(a)、条件(c)的PG_文本字幕流。
[0637] 若存在,则选择满足条件(a)、条件(c)的PG_文本字幕流中、对应的流入口位于流选择表最初的PG_文本字幕流,将选择到的PG_文本字幕流序号设定给PSR2(步骤S38)。 [0638] 在不存在的情况下,在步骤S39中,判定是否存在满足条件(a)的PG_文本字幕流。在存在的情况下,选择满足条件(a)的PG_文本字幕流中、对应的流入口在流选择表中位于开头顺序的PG_文本字幕流,将选择到的PG_文本字幕流序号设定给PSR2(步骤S40)。在不存在的情况下,将0xFFF设定给PSR2(步骤S35)。
[0639] 以上是对最佳PG_文本字幕流的选择步骤的说明。
[0640] 图23是表示在由组立体视觉流指令(组流SS指令)要求流变化时应执行的“要求流变化时的程序”的处理步骤的流程图。
[0641] 在步骤S41中,组立体视觉流指令判定由操作数指定的序号X是意味着PG流的流序号还是意味着文本字幕流的流序号。步骤S42检查对应于序号X的PG流(PGx)是否满足以下条件(A)、条件(B)。
[0642] 条件(A):再现装置中存在解码由序号X特定的PG流的能力。
[0643] 条件(B):构成特定的PG流属性的语言与再现装置的语言属性一致。
[0644] 步骤S43:检查对应于序号X的文本字幕流(textSTx)是否满足以下条件(A)、条件(B)。
[0645] 条件(A):再现装置中存储将对应于序号X的文本字幕流X的角色代码展开成位图的能力。
[0646] 条件(B):再现装置中存在支持对应于序号X的文本字幕流X的语言属性的能力。 [0647] 在步骤S44中,再现装置检查是否满足条件(Z),进行步骤S45的判定。该判定是判定序号是否为流选择表中的stream_entry的总数以下,且是否满 足条件(A)(B)。若满足,则选择相当于序号X的PG_文本字幕流序号的PG_文本字幕流,设定给PSR2(步骤S46)。 [0648] 若在步骤S45中判定为不满足,则执行步骤S47的判定。该判定是判定序号是否为流选择表中的stream_entry的总数以下,且是否满足条件(A)(Z)。若满足,则选择相当于序号X的PG_文本字幕流,将该PG_文本字幕流序号设定给PSR2(步骤S48)。
[0649] 若不满足,则执行步骤S49的判定。该判定是判定序号X是否是0xFFF。若不是,则流选择表中不存在允许再现的PG_文本字幕流,维持PSR2的值(步骤S50)。
[0650] 若是0xFFF,则对当前播放项目选择最佳的PG_文本字幕流(步骤S51)。该最佳的PG_文本字幕流的选择与图22所示的相同。
[0651] 以后的步骤S52-步骤S55是3D输出模式特有的处理。具体地,从扩展流选择表中的流登录信息中取得由PG流序号X特定的PG流X的is_SS_PG(步骤S52),判定取得的is_SS_PG标志是否为‘1’,且PSR24中的立体视觉PG性能是否为‘1’(步骤S53)。若步骤S53为是,则设再现类型是立体视觉PG(步骤S54)。若步骤S53为否,则设再现类型是1plane+Offset(步骤S55)。
[0652] 图24是表示由组流指令或要求流序号变更的用户操作来要求流变化时应执行的“要求流变化时的程序”的处理步骤的流程图。在该流程图中,在步骤S56中,通过将由组流指令的操作数指定的流序号、或由要求流序号变更的用户操作指定的流序号设定为序列X,执行步骤S41-步骤S55的处理。该步骤S41-步骤S55的处理内容与图23的一样,所以附加相同的参照符号,省略其说明。
[0653] <当前IG流的决定及当前IG流的再现类型决定>
[0654] 由PSR0的IG流序号参照的IG流使用PSR22中的输出模式、PSR24中的立体视觉PG性能与is_SS_PG来选择。
[0655] 图25是表示当前IG流的决定及当前IG流的再现类型决定的处理步骤的流程图。 [0656] 图25(a)表示播放项目变化、再现装置的再现状态变化时的当前IG流决定用的“重放条件改变时的程序”。该流程图中,步骤S61-步骤S65是 2D输出模式及3D输出模式的共同步骤,步骤S64-步骤S67是3D输出模式特有的步骤。
[0657] 步骤S61是流选择表中的entry数量是否为0的判定,若为0,则维持PSR0的值(步骤S64)。
[0658] 步骤S62是在流选择表中的entry数量不是0的情况下,判定流选择表的entry数量是否比PSR0多。若步骤S62为是,则维持PSR0(步骤S65)。在PSR0的值比entry数量大的情况下,对PSR0设定1(步骤S63)。以后的步骤S64-步骤S67是3D输出模式特有的步骤。在3D输出模式中,从扩展流选择表中的流登录信息中取得由PSR0的IG流序号特定的IG流的is_SS_PG(步骤S64),判定取得的is_SS_PG标志是否为‘1’,且PSR24中的b3所示的立体视觉IG性能是否为‘1’(步骤S65)。若步骤S65为是,则设再现类型为立体视觉PG(步骤S66)。在设再现类型为立体视觉IG的情况下,使用扩展流选择表中多个流登录信息中、对应于PSR0中存储的当前流的流序号的流登录信息的右眼流入口及左眼流入口内的数据包识别符参考,进行立体视觉再现。具体地,让多路复用分离部执行对应于PSR0中存储的当前流的流序号的当前流之右眼流入口及左眼流入口内数据包识别符参考指示的数据包识别符的TS数据包的多路复用分离。
[0659] 若步骤S65为否,则设再现类型是1plane+OffsetIG(步骤S67)。在设再现类型为1plane+OffsetIG的情况下,使用扩展流选择表中多个流登录信息中、对应于PSR0中存储的当前流的流序号的流登录信息的立体视觉IG偏移序列ID参考信息指示的偏移序列,执行1plane+Offset模式下的IG再现。具体地,从视频解码器中取出从属视野流的SEI消息中存储的多个偏移序列中、立体视觉IG偏移序列ID参考信息指示的偏移序列,提供给移位部。
[0660] 图25(b)是表示在由组立体视觉流指令(SetstreamSSCommand)、组流指令及要求流序号变更的用户操作要求流变化时的PSR0的设定步骤的流程图。
[0661] 在由组立体视觉流指令(SetstreamSSCommand)、组流指令及要求流序号变更的用户操作要求流变化的情况下,设由指令的操作数或用户操作指定的流序号为序号X。 [0662] 该流程图的步骤S71判定流选择表的entry数量是否比序号X多。若 X满足该条件,则对PSR0设定X(步骤S74)。在X比entry数量大的情况下,对PSR0设定1(步骤S72)。在3D输出模式中,从扩展流选择表中的流登录信息中取得由PSR0的IG流序号特定的IG流的is_SS_IG(步骤S73),判定取得的is_SS_IG标志是否为‘1’,且PSR24中的立体视觉IG性能是否为‘1,(步骤S74)。若步骤S74为是,则设再现类型为立体视觉IG(步骤S75)。若步骤S74为否,则设再现类型是1plane+OffsetIG(步骤S76)。
[0663] 图26表示通过结合流登录串将哪个数据包识别符输出到多路复用分离部。 [0664] 图26(a)表示用作动作实例的题材的结合流登录串。结合流登录串由基本流选择表中的3个流登录信息与扩展流选择表中的3个流登录信息构成。基本流选择表中的3个流登录信息分别具有流序号‘1’、‘2’、‘3’的流序号,3个流登录信息中的流属性具有英语、日语、中国语的语言属性。
[0665] 扩展流选择表中的3个流登录信息分别具有流序号‘1’、‘2’、‘3’的流序号,3个流登录信息中的流属性具有英语、日语、中国语的语言属性。基本流选择表中的流登录信息与扩展流选择表中的流登录信息中,流入口中的数据包识别符不同,扩展流选择表中的流登录信息包含B-D显象模式用的左眼PG流用的数据包识别符、右眼PG流用的数据包识别符。
[0666] 图26(b)表示在向语言设定为中国语、输出模式设定为2D输出模式的再现装置提供这种结合流登录串的情况下的流序号设定与数据包识别符的输出。
[0667] 图中附加a1、a2、a3的箭头模式示出语言设定的一致判定、对流序号寄存器的流序号设定、向多路复用分离部的数据包识别符的输出。
[0668] 程序中,对流序号=3的流登录信息,判定再现装置侧的语言设定与流属性的一致,将该流序号=3的流登录信息中包含的流序号写入流序号寄存器中。此时,将基本流选择表中的流入口的数据包识别符输出到多路复用分离部。由此,将由基本流选择表中的流序号=3的流登录信息中流入口的数据包识别符特定的TS数据包输出到解码器。
[0669] 图26(c)表示向语言设定为中国语、将再现类型设定为立体视觉PG的再现装置提供这种结合流登录串时的流序号的设定与数据包识别符的输出。
[0670] 图中附加a4、a5、a6的箭头模式示出语言设定的一致判定、对流序号寄存器的流序号设定、向多路复用分离部的数据包识别符的输出。
[0671] 流选择程序中,对流序号=3的流登录信息,判定再现装置侧的语言设定与流属性的一致,将该流序号=3的流登录信息中包含的流序号写入流序号寄存器中。此时,将基本流选择表中的流入口的数据包识别符输出到多路复用分离部。由此,将由扩展流选择表中的流序号=3的流登录信息中流入口中存储的数据包识别符组特定的2系统TS数据包输出到解码器。
[0672] 图27表示通过结合流登录串将哪个数据包识别符输出到多路复用分离部。 [0673] 图27(a)表示用作动作实例题材的结合流登录串。结合流登录串由基本流选择表中的3个流登录信息与扩展流选择表中的3个流登录信息构成。基本流选择表中的3个流登录信息分别具有流序号‘1’、‘2’、‘3’的流序号,3个流登录信息中的流属性均具有中国语的语言属性。
[0674] 扩展流选择表中的3个流登录信息分别具有流序号‘1’、‘2’、‘3’的流序号,3个流登录信息中的流属性也具有中国语的语言属性。基本流选择表中的流登录信息与扩展流选择表中的流登录信息中,流入口中的数据包识别符不同,扩展流选择表中的流登录信息包含B-D显象模式用的左眼PG流用的数据包识别符、右眼PG流用的数据包识别符。 [0675] 图27(b)表示在向语言设定为中国语、输出模式设定为2D输出模式的再现装置提供这种结合流登录串的情况下的流序号设定与数据包识别符的输出。
[0676] 图中附加a1、a2、a3的箭头模式示出语言设定的一致判定、流序号的设定、数据包识别符的输出。
[0677] 流选择程序中,对流序号=3的流登录信息,判定再现装置侧的语言设定与流属性的一致,将该流序号=‘1’写入流序号寄存器中。此时,将基本流选择表中的流入口的数据包识别符输出到多路复用分离部。由此,将由基本流选择表中的流序号‘1’的流登录信息中流入口的数据包识别符特定的TS数据包输出到解码器。
[0678] (c)表示向语言设定为中国语、将再现类型设定为1plane_Offset类型的再现装置提供这种结合流登录串时的流序号的设定与数据包识别符的输 出。
[0679] 图中附加a4、a5、a6的箭头模式示出语言设定的一致判定、流序号的设定、数据包识别符的输出。
[0680] 程序中,对流序号‘1’的流登录信息,判定再现装置侧的语言设定与流属性的一致,将该流序号‘1’的流登录信息中包含的流序号写入流序号寄存器中。此时,将基本流选择表中的流入口的数据包识别符输出到多路复用分离部。由此,将由扩展流选择表中的流序号‘1’的流登录信息中流入口中存储的数据包识别符组特定的2系统TS数据包输出到解码器。
[0681] 如上所述,根据本实施方式,图形的立体视觉效果的实现性可否成立示于性能中,扩展流选择表中,对设定为可实现立体视觉效果的图形流是否执行该图形的立体视觉效果由该性能来附加条件,所以制造商即便例如在记录介质中记录具有立体视觉效果的图形流,也可通过将性能标志设定为‘无性能’,对这种图形流的立体视觉效果加以制动,代替执行品质管理容易进行的偏移控制。
[0682] 由此,可将具有高品位立体视觉效果功能的机型、不具有这种立体视觉效果功能的机型等多种再现装置投入市场,实现制品阵容的充实化。
[0683] (第2实施方式)
[0684] 在第1实施方式中,以流选择程序来确定有无立体视觉IG、立体视觉PG的处理能力、IG、PG的再现类型,但在本实施方式中,是以模式选择程序来决定再现装置中的输出模式的实施方式。
[0685] 这种模式选择程序在选择标题时执行。这里,本说明书的标题将至少1个动作模式对象设为必需的构成要素。所谓动作模式对象是规定某个模式中的标题再现时的再现装置举动细节的动作管理表。另外,该标题中有HDMV标题、BD-J标题等类型。
[0686] 所谓‘HDMV标题’是应以HDMV模式再现的标题,由电影对象、和由电影对象内的再现指令再现的播放列表(播放列表信息、片段信息、流文件)构成。
[0687] 所谓‘电影对象’是索引表中对应于HDMV标题的标题序号的动作模式对象,通过向由导航指令串构成的批程序对应表示可否恢复的恢复标志、表示可否屏蔽菜单调用的标志、表示可否屏蔽标题搜索的标志来构成。
[0688] 所谓‘BD-J标题’是应以BD-J模式再现的标题,由等级档案文件、BD-J对象构成。 [0689] ‘等级档案文件’是将字节代码应用程序的等级构造体的文件(等级文件)汇总归档为数字证明信宣言文件、盘署名签名文件、盘署名加密密钥文件、许可请求文件的文件。应用程序的加载在汇总该等级档案文件后执行,当等级加载时,可使用数字证明信、盘署名、盘署名加密密钥来验证应用程序的正当性。另外,由于存在许可请求文件,所以可将应用程序执行的动作限定为提供一定权限的动作。
[0690] 归档到等级档案文件的字节代码应用程序是通过编译使用对象指向编程语言的源代码来记述的等级构造体得到的执行形式的程序,由不依赖于设备的代码(字节代码)构成。本实施方式中的字节代码应用程序是事件驱动型,通过事件来执行状态迁移。状态迁移的状态中有‘加载’、‘暂停’、‘激活’、‘破坏’等4个状态,字节代码应用程序中事先登录构成应用程序的动作触发的关键事件。构成字节代码应用程序的动作触发的关键事件的登录由xlet界面的事件听众(listener)执行。以上是对等级档案文件的说明。
[0691] 接着,说明作为BD-J模式的动作模式对象的BD-J对象的细节。
[0692] ‘BD-J对象’规定BD-J模式中的再现装置的举动细节。该举动细节中有对应的标题变为当前标题时的应用程序的等级加载(1)、对应的标题变为当前标题时的应用程序信号化(2)、由该应用程序信号化起动的应用程序执行GUI处理时的HAVi器件配置(3)、该当前标题中的播放列表访问(4)、对应的标题变为当前标题时的等级档案文件的高速缓冲存储器进、高速缓冲存储器出(5)、将构成起动的应用程序的触发的事件分配给密钥的事件分配(6)。
[0693] 所谓‘等级加载’是在平台的堆栈区域中生成归档到等级档案文件的等级文件的实例的处理,‘应用程序信号化’是规定是否使作为等级文件的实例的应用程序自动起动、或将应用程序的生存区域设为标题边界还是设为盘边界的控制。所谓标题边界是在标题终止的同时使作为应用程序的线(thread)从堆栈区域消失的管理,所谓盘边界是在盘排出的同时使作为应用程序的线从堆栈区域消失的管理。相反,将即便盘排出也不从堆栈区域消除线的控制称为‘盘无边界’。‘HAVi器件配置’规定应用程序执行GUI 处理时图形平面的分辨率或字符显示中使用的字体等。
[0694] 所谓‘播放列表访问’是起动的应用程序可命令再现的播放列表或标题选择时应自动再现的播放列表的指定。
[0695] 所谓‘等级档案文件的高速缓冲存储器进’是将构成等级加载对象的等级档案文件预读入高速缓冲存储器中的处理,所谓‘等级档案文件的高速缓冲存储器出’是从高速缓冲存储器中删除高速缓冲存储器中存在的等级档案文件的处理。‘应用程序驱动用的事件分配’是向用户可操作的密钥分配应用程序的事件听众中登录的事件。
[0696] 将字节代码应用程序中由BD-J对象内的应用程序管理表执行应用程序信号化的字节代码应用程序称为‘BD-J应用程序’。
[0697] 对比HDMV标题与BD-J标题,在上述HDMV标题中,用于执行导航指令的指令翻译器或用于解读播放列表后再现的再现控制引擎等模块构成软件的动作主体。
[0698] 相反,在BD-J标题中,等级加载用等级加载器或应用程序信号化用应用程序管理器、HAVi器件、基于Java媒体框架的播放列表再现用再现控制引擎、高速缓冲存储器进、高速缓冲存储器出管理用高速缓冲存储器管理器、事件处理用的事件管理器等软件群,即近似于数字广播的多媒体平台终端中的软件群的软件群成为动作主体,所以在从BD-J标题切换到HDMV标题、从HDMV标题切换到BD-J标题中,再现装置中的软件构成大不相同。 [0699] 为了由输出模式切换后的软件的动作主体来实现是否为最佳的确认与最适于切换后的动作模式的输出模式的选择等两个处理,在选择当前标题时执行上述模式选择程序。
[0700] 模式选择程序的动作主体是再现控制部210中的程序执行部。另外,输出模式存储在寄存器组203中。
[0701] 图28是描绘寄存器组203的内部构成与再现控制部210的图。该图的左侧示出寄存器组203的内部构成。右侧示出再现控制部210的内部构成。
[0702] 分配了各个寄存器序号的播放器状态寄存器、播放器设定寄存器表示是哪个寄存器。
[0703] PSR1是音频流用的流序号寄存器,存储当前的音频流序号。
[0704] PSR2是PG流用的流序号寄存器,存储当前的PG流序号。
[0705] PSR4通过设定为1-100的值,表示当前的标题序号。
[0706] PSR5通过设定为1-999的值,表示当前的章节序号,通过设定为0xFFFF,表示再现装置中章节序号无效。
[0707] PSR6通过设定为0-999的值,表示当前播放列表的序号。
[0708] PSR7通过设定为0-255的值,表示当前播放项目的序号。
[0709] PSR8通过设定为0-0xFFFFFFFF的值,使用45KHz的时间精度来表示当前的再现时刻(当前PTM)。以上是对PSR的说明。
[0710] PSR10是IG流用的流序号寄存器,存储当前的IG流序号。
[0711] PSR21表示用户是否期望执行立体视觉再现。
[0712] PSR22表示输出模式值。
[0713] PSR23是‘视频显示性能’的设定。其表示作为再现装置的连接对方的显示装置中是否存在执行立体视觉再现的能力。
[0714] PSR24是‘3D播放器性能’的设定。其表示再现装置中是否存在执行立体视觉再现的能力。
[0715] 另一方面,程序执行部参照寄存器组203中的PSR4、PSR6、PSR21、PSR23、与当前播放列表信息的流选择表,唯一确定当前播放列表中的输出模式。PSR24中的“3D播放器性能”意味着涉及再现装置的3D再现的一般能力,所以有时简单表述为‘3D-性能’。 [0716] PSR23规定输出模式,其状态迁移的选择模块如图29所示规定。
[0717] 图29表示输出模式的选择模块的状态迁移。该选择模块中存在2个一般的状态。椭圆模式地描绘该一般状态,即作为输出模式值取的值的‘无效’、‘有效’。‘无效’表示输出模式无效,‘有效’表示输出模式有效。
[0718] 只要未引起状态迁移则维持一般的状态。状态迁移是播放列表再现的开始、由导航指令或BD-J应用程序要求的输出模式变化、向BD-J标题的跳跃。当发生状态迁移时,执行用于获得输出模式预参考的程序。
[0719] 图中箭头jm1、jm2、jm3....jm12模式表示构成状态迁移触发的事项。该图中的状态迁移中有以下迁移。
[0720] 所谓‘加载盘’意味着装填BD-ROM的状态。
[0721] 所谓‘开始显象’在HDMV模式下意味着播放列表的再现开始(重放 开始播放列表)。在BD-J模式下意味着向BD-J标题的分支。这是因为BD-J标题中播放列表不构成必需的构成要素,所以在分支到BD-J标题的情况下,不必开始播放列表的再现。
[0722] ‘跳跃到BD-J标题’意味着向BD-J标题的分支。具体地,是指索引表中BD-J标题变为当前标题。
[0723] ‘重放开始播放列表’是指将意味着某种播放列表的播放列表序号设定为PSR,将播放列表信息作为当前播放列表信息读出到存储器。
[0724] 所谓‘改变输出模式’是指通过具有向3D输出模式的切换权限的BD-J应用程序调用API,变化输出模式。
[0725] 所谓‘终止显象(terminate presentation)’在HDMV模式的情况下,是指播放列表再现终止,在BD-J模式的情况下,是指从BD-J标题跳跃为HDMV标题。
[0726] 当加载盘时,输出模式的状态迁移到暂时的状态‘初始化’。输出模式选择的状态在暂时迁移到‘初始化状态’后,迁移到无效状态。
[0727] 输出模式选择的状态在再现开始(开始显象)激活之前维持为无效。在HDMV模式下,‘开始显象’意味着开始播放列表的再现。在BD-J模式下,‘开始显象’意味着开始BD-J标题的再现,BD-J应用程序开始某种动作。未必意味着开始播放列表的再现。 [0728] ‘开始显象’激活时,输出模式迁移到作为暂时‘重放条件改变时的程序’。 [0729] 输出模式根据‘重放条件改变时的程序’的结果迁移到有效。若输出模式有效、‘开始显象’终止,则状态迁移到无效。
[0730] 为了内容提供商设定输出模式预参考,在开始播放列表再现之前,必需执行电影对象中的导航指令。当执行电影对象中的导航指令时,该模块中变为无效。
[0731] 图29的状态迁移由称为模式选择程序的规定步骤来实现。该模式选择程序由初始化与‘重放条件改变时的程序’构成。
[0732] 图30表示初始化的处理步骤。
[0733] 步骤S501是自由盘的BD-J应用程序是否动作中的判定,步骤S502是PSR23中的立体视觉显示性能是否表示‘有性能’,索引表(index.bdmv) 中的initial_output_mode信息是否表示‘立体视觉输出模式’的判定。initial_output_mode信息的数据构造超出本实施方式的关注,在后段的实施方式中说明。
[0734] 若步骤S501为是,则在步骤S503中维持当前的输出模式。若步骤S501为否,步骤S502为是,则在步骤S4中将PSR22设定为立体视觉输出模式。若步骤S501为否,步骤S502为否,则在步骤S5中将PSR22中的输出模式设定为2D输出模式。
[0735] 根据以上的初始化,在initial_output_mode信息为打开的情况下,以再现装置中存在B-D显象模式的再现能力为要件,在装填盘的同时,再现装置变为3D输出模式。由此,若initial_output_mode信息为打开,则通过装填记录介质后马上戴上眼镜,可沉浸在立体视觉再现带来的虚拟现实感中。
[0736] 图31表示‘重放条件改变时的程序’的处理步骤。步骤S511是PSR22中的输出模式是否是2D输出模式的判定,步骤S513是PSR23中的‘立体视觉显示性能’是否表示‘有性能’,且播放列表中是否存在扩展流选择表的判定。
[0737] 若步骤S511为是,则在步骤S512中不使当前输出模式变化。即便步骤S511为否,步骤S513为是,也不使当前输出模式变化(步骤S512)。若步骤S511为否,步骤S513为否,则使当前输出模式变化为2D输出模式(步骤S514)。
[0738] 下面,说明3D输出模式实现用的播放器设定寄存器的组赋值。用于实现3D输出模式的寄存器是第21、第22、第23、第24的寄存器,图32示出这些寄存器中的位赋值。图32表示3D输出模式实现用的播放器设定寄存器的位赋值。
[0739] 图32(a)表示PSR21的位赋值。该图中,最下位位b0是输出模式预参考,通过设定为0b,表示是2D输出模式,通过设定为1b,表示是立体视觉输出模式。导航指令或BD-J应用程序不能改写该PSR21的值。
[0740] 图32(b)表示PSR22的位赋值。PSR22中的b0表示当前的输出模式。若输出模式变化,则再现装置中的视频输出必需对应变化。输出模式的值必需由选择模块来控制。 [0741] 如上所述,根据本实施方式,即便有再现装置的状态变化或来自用户的流切换要求,也可保持输出模式的有效性。
[0742] (第3实施方式)
[0743] 在前面的实施方式中,当选择当前标题时确定输出模式,而本实施方式是表示当选择BD-J标题作为当前标题时、如何决定该当前标题的输出模式的实施方式。
[0744] 下面,说明BD-J对象。图33是表示BD-J对象的内部构成一例的图。如该图所示,BD-J对象由‘应用程序管理表’、‘终端管理表’、‘应用程序高速缓冲存储器信息’、‘播放列表访问信息’、‘密钥兴趣表’构成。
[0745] ‘应用程序管理表’是指示应用程序管理器或等级加载器将标题设为边界的应用程序信号化的控制表,‘终端管理表’是指示多媒体家庭平台(MHP)用于实现GUI的HAVi配置或GUI中使用的字体、用户操作的屏蔽有无的管理表。‘应用程序高速缓冲存储器信息’是指示高速缓冲存储器管理器标题选择时的档案文件的高速缓冲存储器进/高速缓冲存储器出的控制表,‘播放列表访问信息’是指示再现控制引擎(PCE)标题选择时的播放列表的自动再现指定的控制表。‘密钥兴趣表’是指示事件管理器密钥与事件的对应的控制表。 [0746] 引出线bj1闭合表示应用程序管理表中的入口。如该引出线所示,应用程序管理表的入口包含‘控制代码’,表示各标题下应使应用程序自动起动的(AutoStart)还是应等待来自其他应用程序的调用后起动的(Present)等起动方式;‘应用程序类型’;‘应用程序ID’,使用构成归档应起动的BD-J应用程序的档案文件的文件名之5位数值,表示构成对象的应用程序;和‘应用程序记述符’。引出线bj2闭合表示‘应用程序记述符’的内部构成。如该引出线所示,‘应用程序记述符’对每个应用程序存储加载应用程序时的‘优先级’;‘绑定信息’,表示应用程序是否是标题非边界、是否是盘边界;表示应用程序名称的字符串;表示应用程序的语言属性的‘语言代码’;指示对应于应用程序的图符所在的‘图符定位’;和‘应用程序的脚本(profile)值’。就对应于3D输出模式的应用程序而言,设定该脚本值为=5。将索引表中BDMV应用程序信息的立体视觉内容存在标志设定为1中,设将该应用程序的脚本值设定为=5为要件。
[0747] 引出线bj3闭合表示终端管理表中的配置信息。配置信息是指示再现装置确保图形平面的信息,如该引出线bj3所示,终端管理表可设定为HD3D_1920×1080、HD3D_1280×720、HD_1920×1080、HD_1280×720、QHD_960×540、SD、SD_50HZ_720×576、SD_60HZ_720×480之一。
[0748] 引出线bj4闭合表示指定播放列表访问信息中自动再现播放列表的信息的内部构成。如引出线bj4所示,作为指定自动再现播放列表的信息,可指定3D播放列表1920×1080、3D播放列表1280×720、2D播放列表1920×1080、2D播放列表1280×720、2D播放列表720×576、2D播放列表720×480。
[0749] 当选择任一标题时,再现装置不等待来自应用程序的再现指示,开始由对应于选择的当前标题的标题之播放列表访问信息指定的播放列表的再现,在BD-J应用程序执行先于播放列表再现的终止终止的情况下,继续进行播放列表的再现。
[0750] 由于这种先行再现,应用程序的等级加载需要时间,不显示描绘图象,所以在不输出任何对话画面的情况下,由于使基于播放列表再现的再现映像原样输出,所以即便在应用程序中的起动延迟显著的情况下,也可让用户立刻视听播放列表的再现映像。由于可在应用程序的开始延迟期间变为写任何内容的状态,所以可让用户安心。
[0751] 在BD-J应用程序中立体视觉再现的实现中可利用的API中,有Java2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0) 与 GloballyExecutable MHP specification(GEM1.0.2)for package media targets。若利用这些API,则可通过使用网络处理用的java.net、GUI处理用的java.awt、语言处理用的java.lang、对记录介质的I/O处理用的java.io、作为效用的java.util、媒体框架用的javax.media等等级的方法、制造者、界面、事件的构造化编程来记述可3D再现的BD-J标题。
[0752] BD-J标题中的3D播放列表的再现指示等以立体视觉为前提的BD-J标题中应默认进行的动作可通过以源代码记述来制作使作为初始xlet等级实例的xlet上下文生成的程序。这种xlet上下文减慢实例生成时表示状态变化的状态变化除外事件,之后,取得再现装置中的播放器状态寄存器、播放器设定寄存器的保持值,通过判断取得的保持值是否表示存在3D再现 能力,执行3D播放列表的再现。
[0753] 这里的3D播放列表的再现可利用指定3D播放列表的指定与javax.media中的管理器的生成播放器方法‘javax.media.Manager.createPlayer’生成3D播放列表再现用的播放器实例。另外,不能生成播放器实例时的除外可由获取javax.media.NoPlayerEception事件的catch语句记述,无3D播放列表时的除外可由获取java.io.IOException事件的catch语句记述。
[0754] 另外,通过使用BD-J模式用的扩展名API(称为BD-J扩展名),实现使用此前实施方式中记述的立体视觉再现用的数据构造、立体视觉再现中的再现单位的控制。该BD-J扩展名包含来自java.net、java.awt、java.lang、java.io、java.util、javax.media等级的方法的无效方法,由于将这些等级的界面作为嵌入界面、超级界面,所以可在使用java.net、java.awt、java.lang、java.io、java.util、javax.media等级的编程技法的延迟线上,制作以立体视觉再现为前提的BD-J标题。
[0755] 例如,BD-J模式用扩展名API包含命令寄存器组的状态设定或状态取得的设定取得等级。这种设定取得等级由表示各PSR的保持值的常数字段、命令取得PSR的保持值的取得方法和命令设定PSR的保持值的设定方法构成。
[0756] 设定取得等级的方法包含java.lang.object等级的方法之无效方法。另外,若方法调用时的自变量不正确,则减慢作为java.lang等级事件的java.lang.llleghalArgumentException事件。该等级继承java.lang.object的方法或事件,所以编程者可在java.lang.object的延长线上制作利用寄存器组的保持值的程序。
[0757] 图34是表示BD-J标题中输出模式设定的处理步骤的流程图。
[0758] (a)是表示BD-J标题改变时的程序的处理步骤的流程图。在步骤S521中,从PSR22中取得输出模式,在步骤S522中,依据HAVi器件配置选择的行为,对2D输出模式或立体视觉输出模式之一设定输出模式。
[0759] (b)是表示要求输出模式改变时的程序的处理步骤的流程图。在步骤S523中,从PSR22中取得输出模式,在步骤S524中,依据最初HAVi器件配置的行为,对2D输出模式或立体视觉输出模式之一设定输出模式。
[0760] 图35是表示最初的HAVi器件配置选择的行为一例的流程图。该流程图对应于步骤S530、步骤S531、步骤S532、步骤S533、步骤S536的判定结果,选择地执行步骤S534、步骤S535、步骤S537的处理。
[0761] 步骤S530是是否存在自动再现播放列表的判定。
[0762] 步骤S531是PSR24中的b5是否是‘1’的判定。这里,b5为‘1’意味着可在3D输出模式下进行BD-J模式的处理。
[0763] 步骤S532是之前的显示模式是否是3D。步骤S533是选择的标题的自动再现播放列表是否是1920×1080的3D播放列表或1280×720的3D播放列表的判定。
[0764] 在不存在自动再现播放列表的情况下,执行步骤S537、步骤S538的判定。 [0765] 步骤S537是PSR24中的b5是否是‘1’的判定。这里,b5为‘1’意味着可在3D输出模式下进行BD-J模式的处理。
[0766] 步骤S538是BD-J对象中的HAVi器件配置的分辨率是否是HD3D_1920×1080、HD3D_1280×720的判定。
[0767] 若步骤S537为是、步骤S538为是,则在步骤S535中,将显示模式设定为3D,对应于BD-J对象中的HAVi器件配置的分辨率,设定为1920×1080或1280×720。若步骤S537、步骤S538均为否,则步骤S536中将显示模式设定为2D,将分辨率设定为BD-J对象中的HAVi器件配置的分辨率。
[0768] 在存在自动再现播放列表的情况下,在步骤S531中,判定PSR24的b5是否为‘1’,在步骤S532中判定之前的显示模式是否是3D,或在步骤S533中判定播放列表是否是3D播放列表,其分辨率是否为1920×1080、1280×720。若步骤S531、步骤S532、步骤S533均为否,则在步骤S534中将显示模式设定为2D,将分辨率设定为自动再现播放列表的分辨率。 [0769] 在步骤S532判定为是、步骤S533也判定为是的情况下,在步骤S535中,将显示模式设定为3D,将分辨率对应于自动再现播放列表的分辨率,设定为1920×1080或1280×720。
[0770] 如上所述,根据本实施方式,可根据BD-J对象,使用HAVi器件配置规定的分辨率来实现立体视觉再现。
[0771] (第4实施方式)
[0772] 该实施方式涉及更具体地实施表示连接于再现装置的显示装置的立体视觉显示性能之播放器设定寄存器内部构成时的改良。
[0773] 图36表示PSR23的位赋值。PSR23表示连接于再现装置的显示装置的特性值。导航指令或BD-J应用程序不能改写该PSR23的值。PSR23的值在显示装置通过界面提供这些值时,在开始再现之前,自动设定。在不能自动取得这些值的情况下,由用户来设定。 [0774] PSR23的b0表示显示装置的立体视觉显示性能。
[0775] 立体视觉显示性能设定为‘0’时,表示连接的显示装置不具有显示1920×1080/23.976Hz前进视频、或1920×1080/59.94Hz前进视频的处理能力。
[0776] 当设定为‘1’时,表示连接的显示装置具有显示1920×1080/23.976Hz前进视频、或1920×1080/59.94Hz前进视频的处理能力。
[0777] PSR23的b1表示显示装置的立体视觉1280×720 50p视频显示性能。
[0778] 立体视觉1280×720 50p视频显示性能设定为‘0’时,表示连接的显示装置不具有显示1280×720/50Hz前进视频的处理能力。设定为‘1’时,表示连接的显示装置具有显示1280×720/50Hz前进视频的处理能力。
[0779] PSR23的b2表示可否裸眼立体视觉标志。
[0780] 可否裸眼立体视觉标志(No glasses required for stereoscopic display)设定为‘0’,表示连接的TV系统视听立体视觉输出模式必需眼镜,设定为‘1’,表示连接的TV系统视听立体视觉输出模式不必眼镜。
[0781] b8至b19的画面横向尺寸(Horozontal display size)以cm单位表示连接的显示装置的水平尺寸。在0x000的情况下,未定义,在0x001至0xFFE的情况下,以cm单位表示连接的显示装置的水平尺寸。这里,0xFFE表示是4094cm的显示器。0xFFF表示是比水平长度4094cm大的显示器。
[0782] 若使用PSR23的位赋值,则PSR23中的立体视觉性能的判定步骤如图37的流程图所示。
[0783] 图37是表示PSR23中的立体视觉再现性能的判定步骤的流程图。该流程图对应于步骤S515-步骤S517的判定步骤的判定结果的组合,得出立体视觉再现性能存在或立体视觉再现性能不存在的结论。步骤S515是 PSR23的b2是否为‘1’的判定,步骤S516是PSR23的b0是否为‘1’的判定。步骤S517是PSR23的b1是否为‘1’的判定。步骤S515中PSR23的b2为‘1’表示可不戴上眼镜裸眼立体视觉。由此,若PSR23的b1为‘1’,则不经过步骤S516及步骤S517的判定,在步骤S518中,得出可立体视觉再现的判定结果。可不戴上眼镜进行立体视觉显示是立体视觉专用的情况,所以可与分辨率无关来得出可立体视觉再现的判定结果。
[0784] 步 骤 S516 中,PSR23的 b0为‘1’表 示 可 执 行 1920×1080/23.976Hz 及1280×720/59.94Hz中的立体视觉再现。由此,即便步骤S515为否,若步骤S516为是,则在步骤S518中,得出可立体视觉再现的判定结果。
[0785] 在 步 骤 S517 中,PSR23 的 b1 为‘1’ 表 示 即 便 1920×1080/23.976Hz、1280×720/59.94Hz的立体视觉再现不可能,也可执行1280×720/50Hz的立体视觉再现。
由此,即便步骤S515-步骤S516为否,若步骤S517为是,则在步骤S518中,得出可立体视觉再现的判定结果。
[0786] PSR23的b0为‘0’、PSR23的b1为‘0’表示是SD图像。从而,若步骤S517为否,则不可立体视觉再现,强制进行2D输出。
[0787] 这是因为SD图像不能实现充分品位的立体视觉再现。
[0788] 如上所述,根据本实施方式,对应于连接于再现装置的立体视觉显示性能,决定最佳的分辨率与帧速率的组,所以可将对显示装置的数据传送设为最佳。
[0789] (第5实施方式)
[0790] 本实施方式涉及使显示装置的帧速率或分辨率最佳的改良。此前的实施方式中,根据BD-J对象的终端管理表或标题中的播放列表来决定分辨率,但在标题未选择的状态下,分辨率或帧速率仍未定。因此,本实施方式将分辨率或帧速率的信息组入索引表中。 [0791] 索引表是涉及记录介质整体的管理信息,当向再现装置插入记录介质之后,通过最初读出索引表,再现装置唯一识别记录介质。
[0792] 索引表规定再现装置的标题序号寄存器中存储的多个标题序号与规定动作模式的动作模式对象的对应。所谓记录介质中记录的标题是指由标题序号特定的动作模式对象与根据该动作模式对象再现的播放列表的组。电影作品与标题的关系是电影作品与其多个版本的关系。即,不仅一个版本 的电影作品为‘电影作品=标题’的关系。在电影作品中有剧场公开版、导演剪辑版、TV放映版等多个版本的情况下,电影作品中的各个版本构成一个标题。
[0793] 这里,标题序号寄存器中的标题序号为0、1-999、不定值(0xFFFF)等序号。标题序号0是顶部菜单标题的标题序号。所谓顶部菜单标题是可由用户的菜单调用操作调用的标题。不定值(0xFFFF)的标题序号是快速播放标题的标题序号。所谓快速播放标题是装填记录介质后向视听者进行警告或内容提供商的标识语显示等的标题。
[0794] 索引表具有对应于各标题序号每个的入口(标题索引),通过在各个标题索引中记述规定动作模式的动作模式对象,详细规定各个标题以何动作模式动作。
[0795] 图38是用于说明索引表的说明图。图38(a)表示索引表文件的内部构成。如图所示,索引表文件包含多个标题索引与BDMV应用程序信息。
[0796] 图38(b)以标题索引的共同数据构造来定义。该共同数据构造包含‘对象类型’、‘电影对象参考’与‘对象文件名信息’。‘对象类型’表示对应于该标题的动作模式对象是电影对象还是BD-J对象。‘对象文件名信息’表示与标题关联的BD-J对象的文件名。‘电影对象参考’表示与标题关联的电影对象的识别符。
[0797] 再现装置中,标题序号寄存器的值在记录介质装填后如不定值0xFFFF→1-999→0所示变化。该标题序号的变化在记录介质装填时,开始快速播放标题的再现,在再现快速播放标题之后,执行由1至999的标题序号寄存器的标题序号指示的标题再现,若标题序号指示的标题的再现终止,则再现顶部菜单标题,进行用户的选择等待。
具有1-999标题序号的标题中,具有与标题序号寄存器中存储的标题序号相同的标题序号的标题变为当前的再现对象,即,当前标题。通过对顶部菜单标题的用户操作或基于程序的标题序号寄存器的设定,决定对标题序号寄存器设定哪个序号。
[0798] 图38(c)表示BDMV应用程序信息(AppinfoBDMV)的内部构成。如图所示,BDMV应用程序信息由‘初始输出模式参考(initial_outputmode_preference)’、‘立体视觉内容是否存在标志(SS_content_exist_flag)’、‘视频格式信息(video_format)’、‘视频速率信息 (video_rate)’构成。
[0799] ‘初始输出模式参考(initial_outputmode_preference)’是盘中的初始输出模式的参考,‘0’表示2D输出模式,‘1’表示立体视觉输出模式。如第2实施方式中已说明的那样,在将该初始输出模式参考设定为‘立体视觉输出模式’的情况下,以显示装置中存在立体视觉显示能力为前提,在盘装填时,再现装置设定为立体视觉输出模式。
[0800] ‘立体视觉内容是否存在标志(SS_content_exist_flag)’表示是否使用脚本5功能。在满足以下条件任一的情况下,将该字段设定为‘1’。
[0801] --具有组入扩展流选择表的3D播放列表
[0802] --BD-J对象中的应用程序管理表内当前信号化的BD-J应用程序在自身的应用程序记述符中的应用程序脚本值的组内,包含‘脚本5’。所谓脚本5是对应于立体视觉再现的应用程序脚本。由此,在对应于BD-J对象的标题中不存在3D播放列表的情况、或即便在没有播放列表本身的情况下但这种BD-J应用程序具有立体视觉的再现能力的情况下,将上述立体视觉是否存在标志设定为‘打开’。
[0803] --使用立体视觉输出模式。
[0804] 立体视觉内容是否存在标志设定为‘不存在’的情况下,在装填对应的盘期间不移动到3D输出模式,所以不执行PSR22的模式选择程序,以2D输出模式原样固定化PSR22。另一方面,仅在将立体视觉内容是否存在标志设定为存在的情况下,才执行模式选择程序。 [0805] ‘视频格式信息(video_format)’使用4位的值来指示高频幅度数字输出功能中的视频格式。当插入盘时,可通过协议来确定该视频格式。视频格式信息在从执行快速播放标题的再现至顶部菜单标题的再现时或0-999的标题序号指示的标题的再现时有效。 [0806] 这是因为顶部菜单标题再现后或0-999标题序号指示的标题再现后,适用该标题中的播放列表中的图片、或该标题中的菜单的显示分辨率。
[0807] ‘视频速率信息(video_rate)’是指示高频幅度数字输出功能中的视频速率的4位的值。当插入盘时,可通过协议来确定该视频速率。视频格式信息、视频帧信息的某个都可设定为0。在某个设定为0的情况下,两个字段被再现装置忽视。所谓‘视频速率’是表示每秒帧数量的单位,由 FPS(Frame Per Second)的单位系统表现。若将帧期间认为是波长,则帧速率可表现为‘频率’,帧速率的表述中还可使用‘Hz’作为单位系统。视频速率信息在从执行快速播放标题的再现至顶部菜单标题的再现时或0-999的标题序号指示的标题的再现时有效。
[0808] 这是因为顶部菜单标题再现后或0-999标题序号指示的标题再现后,适用该标题中的播放列表中的视频流的视频速率。
[0809] 以上是对记录介质的说明。接着,说明再现装置的细节。再现装置的新的方面在于当插入盘时执行以下处理步骤。
[0810] 图39是表示盘插入时的处理步骤的流程图。
[0811] 从插入的盘中读出索引表(Index.bdmv)(步骤S501),使用于执行读出的Index.bdmv的BDMV应用程序信息中记载的高频幅度数字输出功能的协议开始(步骤S502),移动到步骤S503-步骤S509的循环。该循环重复如下处理,直到步骤S508判定为否,步骤S509判定为是,即将快速播放标题中的0xFFF的当前标题序号设定给标题序号寄存器(步骤S503),判定对应于当前标题的标题索引的对象类型是否为BD-J对象(步骤S504),若不是BD-J对象,则加载由对应于当前标题的标题索引的电影对象参考所示的电影对象(步骤S505),若是BD-J对象,则加载由对应于当前标题的标题索引的对象文件名信息所示的BD-J对象(步骤S506),根据加载的对象,开始标题再现(步骤S509)。
[0812] 步骤S503-步骤S509的循环在标题再现开始后移动到由步骤S508-步骤S509构成的循环。该循环在判定为标题再现终止的情况下(步骤S508为是),则更新标题序号寄存器的当前标题序号(步骤S510),移动到步骤S504。
[0813] 在步骤S508-步骤S509的循环中,在执行盘排出的情况下,该流程图的处理终止。索引表中由于存在格式速率的信息,所以可在快速播放标题再现之前执行协议。 [0814] 图40是表示显示装置与再现装置之间的交换的图。
[0815] 图40(a)表示数据传送阶段与协议阶段。左侧表示再现装置,右侧表示显示装置。再现装置与显示装置之间的3个箭头中开头的箭头象征性地表示协议阶段ph1,下一箭头象征性地表示基于23.976FPS的数据传送阶段ph2。最后的箭头象征性地表示基于47.954FPS的数据传送阶段ph3。
[0816] 在3D输出模式中,由于各帧传送基本视野成分、从属视野成分双方,所以实质上显示帧成倍。具体地,在2D输出模式中使用23.976FPS的情况下,在3D输出模式中变为47.954FPS。但是,在本图的一例中,通过结合基础视野成分及从属视野成分,以并排方式在与2D输出模式相同的帧期间内传送,不发生帧速率的变动。即,即便是2D输出模式,帧速率仍为23.976FPS,将应传送的数据变更为基础视野成分及从属视野成分的组。由此,可不导致帧速率变更地消除2D输出模式与3D输出模式切换时的帧速率变动。
[0817] 但是,盘装填之后的协议阶段中,存在相互认证,该相互认证的程序中必需帧速率或视频格式。但是,由于这些帧速率或视频格式的信息是视频流固有的信息,所以若选择标题后未确定应再现的播放列表,则不能取得这些信息。
[0818] 另一方面,如初始化的程序所述,initial_output_mode信息变为打开,再现装置中存在B-D显象模式的再现能力的情况下,可与盘的装填同时,开始3D再现。但是,若基于显示装置的协议花费时间,则即便戴上3D眼镜进行立体视觉映像的视听准备,立体视觉映像也一点都不显示于显示装置中,产生导致用户急燥等不好的事态。
[0819] 因此,在本实施方式中,如上所述,将帧速率或视频格式的信息设定于盘装填时第1读取的信息、即索引表中。
[0820] 该图(b)是时间图。第1段按时间系列表示模块管理器的处理,第2段按时间系列表示发送部的处理。
[0821] 根据第2段,可知发送部经过协议、数据传送等两个阶段。
[0822] 根据第1段,可知模块管理器经过索引表的读出、快速播放标题的选择、构成快速播放标题的动作模式对象的执行及播放列表再现、标题0-999的选择、构成标题0-999的动作模式对象的执行及播放列表再现等5个阶段。箭头fy1、fy2模式表示从管理器向发送部指示格式、速率。向发送部指示格式、速率与选择快速播放标题基本同时进行,所以可知与快速播放标题的选择处理并行开始协议,数据传送的开始时期特别早。
[0823] 如上所述,根据本实施方式,上述记录介质中,索引表中存在应用程序信息,该应用程序信息包含格式速率作为认证所需的参数,所以可在读 取索引表之后,与快速播放标题的再现处理同时,开始与对方侧设备的相互认证。由于可平行执行快速播放标题的再现处理和与对方侧设备的相互认证处理,所以可使起动延迟降低到约一半的时间。 [0824] (第6实施方式)
[0825] 本实施方式是对立体视觉交互流文件的内部构造的改良。
[0826] 作为前提事项,简单说明UDF文件系统中的文件。UDF中的文件由文件入口所管理的多个区段构成。‘文件入口’包含‘记述符标签’、‘ICB标签’和‘分配(allocation)描述符’。
[0827] ‘记述符标签’是表示自身是文件入口的标签。标签中有文件入口记述符、空间位图记述符等类型,但在文件入口的情况下,记述表示文件入口的‘261’作为记述符标签。 [0828] ‘ICB标签’表示涉及文件入口自身的属性信息。
[0829] ‘分配描述符’包含表示构成位于某个目录之下的下位文件之区段记录逻辑块序号(LBN)。分配描述符包含表示区段长度的数据与表示区段的记录位置的逻辑块序号。其中,表示区段长度的数据的上位2位通过设定为‘0’,表示是已分配且已记录的区段,通过设定为‘1’,表示是已分配且未记录的区段。通过设定为‘0’,表示是定位识别符的下一区段。在将位于某个目录之下的下位文件分割成多个区段的情况下,文件入口对每个区段具有多个分配描述符。
[0830] 通过参照上述文件入口的定位识别符,可得知构成流文件的区段的地址。 [0831] 下面,说明本实施方式中假设的文件的类型。
[0832] <立体视觉交互流文件(FileSS)>
[0833] 立体视觉交互流文件(FileSS)是将2TS变为交互形式的流文件(2TS交互文件),由5位的整数值与表示是立体视觉再现用交互形式文件的扩展符(ssif)来识别。立体视觉交互流文件由区段SS[n]构成,区段SS[n](EXTSS[n])由索引序号n特定。索引序号n是从立体视觉交互流文件的开头每次增加1的序号。
[0834] 区段SS[n]构成为从属视野数据块与基础视野数据块的组。
[0835] 构成区段SS[n]的基础视野数据块、从属视野数据块构成从文件2D、 文件基础、文件从属的接近参考的对象。所谓接近参考是指将记录介质中记录的一个数据客体作为多个文件的区段登录于文件入口中。在本实施方式中,在文件2D的文件入口、文件基础的文件入口、文件从属的文件入口中登录基础视野数据块、从属视野数据块的开头地址及连续长度。
[0836] <文件基础(FileBase)>
[0837] 文件基础(FileBase)是将由对应于文件2D的片段信息中的区段开始点信息指示的主TS设为‘存储’的虚拟流文件,由至少一个区段1[i](称为EXT1[i])构成。区段1[i]是文件基础中的第i个区段,i是区段的索引序号,将文件基础的开头作为0,每次加1。文件基础是将作为2TS文件的立体视觉交互流文件处理为1TS文件的虚拟流文件,通过在再现装置的存储器上构筑该文件入口来虚拟生成。
[0838] 当实际读出时,文件基础通过使用该立体视觉交互流文件的文件名进行文件打开来特定。具体而言,再现装置的中间件在调用使用立体视觉交互流文件的文件名的文件打开的情况下,在存储器上生成特定文件基础的区段的文件入口,虚拟打开文件基础。立体视觉交互流文件可视为‘仅包含1TS’,可将2TS的立体视觉交互流文件作为1TS的文件基础从记录介质中读出。
[0839] 在B-B显象模式中,在仅想读出基础视野数据块的情况下,仅构成该文件基础的区段变为读出对象。即便在从B-B显象模式模式变更到B-D显象模式,若将读出范围从构成文件基础的区段的记录范围扩大到构成立体视觉交互流文件的区段的记录区域,则可读出基础视野数据块、从属视野数据块双方,所以不使文件读出的效率性降低。
[0840] <文件从属(FileDependent)>
[0841] 文件从属(FileDependent)是将副TS设为‘存储’的流文件,由区段2[i](EXT2[i])构成。EXT2[i]是文件从属中的第i个区段,i是区段的索引序号,将文件从属的开头作为0,每次加1。文件从属是将作为2TS文件的立体视觉交互流文件处理为存储副TS的1TS文件的虚拟流文件,通过在再现装置的存储器上构筑该文件入口来虚拟生成。 [0842] 从属视野视频流将加了1后的序号作为文件名赋予立体视觉交互流文件的文件名,即5位序号。使用该文件名进行访问。记录介质中记录假文 件,将从属视野视频流的识别序号、即‘加1后的序号’赋予该假文件。所谓假文件是仅存在文件名、不存在作为实体的区段的文件,将从属视野视频流处理为存储在该假文件中。
[0843] <文件2D(File2D)>
[0844] 文件2D是存储2D输出模式中再现的主TS的1TS流文件,由区段2D构成。文件2D由5位整数值、与表示是立体视觉再现用交互形式文件的扩展符(ssif)来识别。 [0845] 图41表示区段、文件2D/文件基础、与文件从属的对应。
[0846] 第1段表示作为文件2D/文件基础、文件从属的00001.m2ts、00002.m2ts,第2段表示存储基础视野数据块的区段、存储从属视野数据块的区段。第3段表示作为立体视觉交互流文件的00001.ssif。
[0847] 虚线箭头h1、h2、h3、h4表示区段EXT1[i]、EXT2[i]归属于哪个文件的基于定位识别符的归属关系。根据箭头h1、h2所示的归属关系,可知区段EXT1[i]、EXT1[i+1]作为文件基础、即00001.m2ts的区段登录。
[0848] 根据箭头h3、h4所示的归属关系,可知区段EXT2[i]、EXT2[i+1]作为文件从属、即00002.m2ts的区段登录。
[0849] 根据箭头h5、h6、h7、h8所示的归属关系,可知区段EXT1[i]、EXT2[i]、EXT1[i+1]EXT2[i+1]作为00001.ssif的区段登录。如上所述,可知区段EXT1[i]、EXT1[i+1]具有在归属于00001.ssif的同时、归属于00001.m2ts的双重性。该称为‘ssif’的扩展符取StereoScopic InterleaveFile的首字母,表示为了立体视觉再现而变为交互形式。 [0850] 这里,将构成文件基础的区段与构成文件从属的区段的组、即由相同区段识别符特定的区段组称为‘交互区段单元’。在该图41的实例中,由区段识别符=i特定的EXT1[i]、EXT2[i]的对变为交互区段单元[i],由区段识别符=i+1特定的EXT1[i+1]、EXT2[i+1]的对变为交互区段单元[i+1]。当对立体视觉交互流文件随机访问时,必需保障从记录介质中一次读出由该区段识别符特定的交互区段单元。
[0851] 图42表示立体视觉交互流文件与文件2D/文件基础的关系。
[0852] 该图(a)的第3段表示交互流文件的内容构成。立体视觉交互流文件通 过交互配置存储基础视野数据块的区段EXT1[1]、EXT1[2]每个与存储从属视野数据块的区段EXT2[1]、EXT2[2]每个来构成。
[0853] 第1段表示文件2D及文件基础的内部构成。文件2D/文件基础仅由构成第3段交互流文件的区段中、存储基础视野数据块的区段EXT1[1]、EXT1[2]构成。文件2D的文件名中交互流文件的文件名相同,但扩展符不同。
[0854] 第2段表示文件从属的内部构成。文件从属仅由构成第3段交互流文件的区段中、存储从属视野数据块的区段EXT2[1]、EXT2[2]、EXT2[2]构成。文件从属的文件名为向交互流文件的文件名加1后的文件名,另外,扩展符不同。
[0855] 即便是包含3D映像的光盘,也由于全部再现装置不限于对应于3D再现方式,所以期望支持2D再现。其中,仅对应于2D再现的再现装置不能判别由3D扩展的数据构造等。2D再现装置由于必需可以原来2D再现方式本来的判别方法仅访问2D播放列表和2D流,所以对于基础视野视频流,以2D方式的再现装置可识别的文件形式存储。
[0856] 第一个方法是如下方法,即使用上述播放列表信息的参照,即主TS即便2D再现也可利用地使用与2D再现方式相同的文件名,交互形式的流文件改变扩展符。该图(b)中的00001.m2ts及00001.ssif若一个为2D方式,另一个为3D方式,则由相同的文件名‘00001’耦合(couple)。
[0857] 播放列表由于仅参照主TS的AV片段,所以现有的2D再现装置仅再现文件2D。3D对应的再现装置在播放列表仅参照埋入主TS的文件2D,而存在持有相同识别序号、仅扩展符不同的文件的情况下,找出该文件,判断为是3D映像用交互形式的流文件,输出主TS与副TS。
[0858] 第二个方法是分文件夹的方法。主TS存储在持有现有文件夹名(例:STREAM)的文件夹内,而副TS以相同的文件名‘00001’存储在持有3D特有名称的文件夹(例:SSIF)中。当播放列表参照文件时,2D再现装置仅参照STREAM文件夹内的文件,而3D再现装置的情况下,通过从‘STREAM’与SSIF文件夹中同时参照相同名称的文件,可将主TS与副TS相关联。
[0859] 第三个方法基于识别序号。即是如下方法,在文件2D/文件基础的识 别序号为‘00001’的情况下,文件从属的识别序号根据如该图(c)所示,赋予向该文件2D的识别序号加上‘1’的序号、即‘0002’等识别序号等一定的规则进行关联。但是,在记录介质的文件系统中,以上述规则命名的文件从属始终处理为不是实体的假文件。这是因为文件从属的实体不过是立体视觉交互流文件。将如此关联的文件名记述在基本流选择表中的流登录信息、及扩展流选择表的流登录信息中流入口的副片段入口ID参考(ref_to_subclip_entry_id)中。另一方面,再现装置中,向副片段入口ID参考中记述的识别序号加上‘1’的识别序号的文件名认证为是假文件的文件名,执行虚拟打开文件从属的处理。因此,流选择程序中从记录介质中确实读出进行上述关联的文件从属。
[0860] 片段信息文件也由同样的规则识别。
[0861] 以上是对文件2D、文件基础、文件从属的说明。
[0862] 下面,说明数据块的细节。
[0863] <基础视野数据块>
[0864] 基础视野数据块(B[i])是主TS的第i个数据块。这里,所谓主TS是通过当前播放项目信息的片段信息文件名信息(片段信息文件名信息)指定为主路径的基轴的TS。B[i]的‘i’是将文件基础的开头数据块作为0每次加1的索引序号。
[0865] 基础视野数据块中有文件基础与文件2D共同的、和文件基础与文件2D不共同的基础视野数据块。
[0866] 文件2D及文件基础共同的基础视野数据块及文件2D固有的基础视野数据块为文件2D的区段,设定为不产生再现装置中的缓冲器下溢的长度。另外,将其开头扇区地址记述在文件2D的文件入口的分配描述符中。
[0867] 不与文件2D共同的文件基础固有的基础视野数据块由于不构成文件2D的区段,所以不必设定为不让再现装置中的单个缓冲器产生下溢的长度。设定为较小的尺寸,即不使再现装置中的两倍缓冲器下溢的长度。
[0868] 另外,文件基础固有的基础视野数据块不将其开头扇区地址记述在文件入口的分配描述符中。代之以利用对应于主TS的片段信息文件的片段信息内的区段开始点信息,指示基础视野数据块中的开头源数据包的源数据包。因此,文件基础固有的基础视野数据块的开头扇区地址必需使用立体 视觉交互流文件的文件入口中的分配描述符与片段信息内的区段开始点信息来导出。
[0869] <从属视野数据块>
[0870] 从属视野数据块(D[i])是副TS的第i个数据块。所谓副TS是对应于当前播放项目信息的扩展流选择表的流登录串中的流入口中、指定为副路径的基轴的TS。D[i]的‘i’是将文件从属的开头数据块作为0每次加1的索引序号。
[0871] 从属视野数据块为文件从属的区段,设定为不产生再现装置中的两倍缓冲器下溢的长度。
[0872] 另外,在记录介质的连续区域上,从属视野数据块配置在应以相同再现时间再现的基础视野数据块之前。因此,当读出立体视觉交互流文件时,从属视野数据块必然在基础视野数据块之前读出。
[0873] 从属视野数据块由于不与文件2D共同化,所以其开头扇区地址不记述在文件2D的文件入口的分配描述符中。代之以利用片段信息内的区段开始点信息来指示从属视野数据块中的开头源数据包的源数据包。因此,从属视野数据块的开头扇区地址必需使用文件2D的文件入口中的分配描述符与片段信息内的区段开始点信息来导出。
[0874] <区段的类型>
[0875] 如上所述,文件2D的区段中有与文件基础的区段共同的区段、和与文件基础不共同的区段。
[0876] 设文件2D的区段由B[0]、B[1]、B[2]、B[3]2D、B[4]2D构成,文件基础的区段由B[0]、B[1]、B[2]、B[3]ss、B[4]ss构成。B[0]、B[1]、B[2]是与文件基础共同的基础视野数据块。B[3]2D、B[4]2D是不与文件基础共同化的、文件2D固有的基础视野数据块。 [0877] 另外,B[3]ss、B[4]ss是不与文件2D共同化的、文件基础固有的基础视野数据块。 [0878] B[3]2D中的数据与B[3]ss的数据具有bit-for-bit的相同性。B[4]2D中的数据与B[4]ss的数据具有bit-for-bit的相同性。
[0879] 这些文件2D中的数据块B[2]、B[3]2D、B[4]2D在产生长跳跃的场所之前,构成连续长度大的区段(大区段)。文件2D可在长跳跃之前 形成大区段,所以即便在以2D输出模式再现立体视觉交互流文件的情况下,也不必担心读取缓冲器下溢。
[0880] 文件2D及文件基础尽管区段部分不同,但由于具有相同性,所以可将这些文件2D及文件基础合起来称为‘文件2D/文件基础’。
[0881] 图43表示立体视觉交互流文件、文件2D、文件基础的相互关系。第1段表示文件2D,第2段表示记录介质上的数据块,第3段表示立体视觉交互流文件,第4段表示文件基础,第5段表示文件从属。
[0882] 第2段中的数据块是上述D[1]、B[1]、D[2]、B[2]、D[3]、B[3]ss、D[4]、B[4]ss、B[3]2D、B[4]2D。另外,箭头ex1、ex2、ex3、ex4表示数据块中、B[1]、B[2]、B[3]2D、B[4]2D构成文件2D的区段的归属关系。
[0883] 箭头ex5、ex6表示数据块中、D[1]、B[1]、D[2]、B[2]、D[3]、B[3]ss、D[4]、B[4]ss构成立体视觉交互流文件的区段的归属关系。
[0884] 第4段表示构成该立体视觉交互流文件的数据块中,B[1]、B[2]、B[3]ss、B[4]ss构成文件基础的区段,第5段表示构成立体视觉交互流文件的数据块中、D[1]、D[2]、D[3]、D[4]变为文件从属的区段。
[0885] 图44表示2D播放列表、3D播放列表。第1段是2D播放列表信息,第2段表示基础数据块,第3段表示3D播放列表,第4段表示从属视野数据块。
[0886] 箭头rf1、rf2、rf3表示使2D播放列表信息的播放项目信息中的clip_information_file_name中记述的文件名00001与扩展符m2ts组合的再现路径。此时,由数据块B[1]、B[2]、B[3]2D构成基础视野侧的再现路径。
[0887] 箭头rf4、rf5、rf6、rf7表示由3D播放列表信息的播放项目信息指定的再现路径。此时,使用B[1]、B[2]、B[3]ss、B[4]ss构成基础视野侧的再现路径。
[0888] 箭头rf8、rf9、rf10、rf11表示由3D播放列表信息的副播放项目信息指定的再现路径。此时,使用D[1]、D[2]、D[3]、D[4]构成从属视野侧的再现路径。构成由这些播放项目信息、副播放项目信息指定的再现路径的数据块通过使播放项目信息中的clip_information_file_name中记述 的文件名与扩展符ssif组合后进行文件打开来读出。 [0889] 该图的3D播放列表中的片段信息文件名信息、2D播放列表中的片段信息文件名信息记述共同的文件名,所以当记述定义这些3D播放列表、2D播放列表的播放列表信息时,以共同的记述即可(参照符号df1、df2)。由此,记述实现该3D播放列表的播放列表信息,当再现装置的输出模式为立体视觉输出模式时,用作3D播放列表,当再现装置的输出模式为2D输出模式时,用作2D播放列表。该图的2D播放列表、3D播放列表记述一个播放列表信息,从而对应于解释其的再现装置的输出模式,解释为2D播放列表、3D播放列表,所以可减轻进行创制的人的麻烦。
[0890] 在立体视觉交互流文件中存储主TS、副TS的情况下,2D播放列表的播放项目信息中的clip_information_file_name记述文件2D的文件名。3D播放列表的播放项目信息中的clip_information_file_name记述文件基础的文件名。文件基础是虚拟的文件,其文件名与立体视觉交互流文件相同,所以只要将立体视觉交互流文件的文件名记述在播放项目信息中的clip_information_file_name中即可。扩展流选择表的流登录信息中的ref_to_subclip_entry_id记述文件从属的文件名。文件从属的文件名向立体视觉交互流文件的识别序号加上1。
[0891] 如上所述,由于可在将基础视野数据块与从属视野数据块存储在一个立体视觉交互流文件中,同时将立体视觉交互流文件作为文件2D、文件基础及文件从属中任一文件打开,所以解码器侧可与通常的流文件一样处理立体视觉交互流文件。从而,可在基础视野视频流、从属视野视频流的存储方式中积极地取入立体视觉交互流文件。
[0892] 下面,说明片段信息文件的详细内部构造。
[0893] 图45表示片段信息文件的内部构成。
[0894] 该图(a)表示2D片段信息文件,该图(b)表示3D用片段信息文件。这些片段信息文件包含‘片段信息’、‘序列信息’、‘程序信息’、‘特征点信息’。
[0895] ‘片段信息’对每个ATC序列表示流文件中存储的源数据包串分别是哪个AV片段。 [0896] ‘序列信息’构成为对每个ATC序列示出表示流文件中存储的1或多 个源数据包串是何ATC序列的信息(ATC序列信息)。ATC序列信息包含由源数据包序号表示作为ATC开始点的源数据包存在于何处的信息、STC序列识别符-ATC序列识别符间的偏移、与对多个STC序列每个的STC序列信息。STC序列信息包含存储该STC序列中的PCR的源数据包的数据包序号、表示该ATC序列中作为STC序列开始点的源数据包存在于何处的信息、STC序列中的再现开始时刻、再现终止时刻。
[0897] ‘程序信息’是表示由片段信息文件作为是‘AV片段’管理的主TS、副TS的程序构成的信息,表示AV片段多路复用何ES。具体地,表示多路复用于AV片段上的ES具有何数据包识别符、是何编码方式。视频流使用MPEG2-video、MPEG4-AVC等中哪个编码方式压缩编码明示于该程序信息内。
[0898] ‘特征点信息’是对每个ES示出多路复用于AV片段上的多个ES的特征点存在于何处的信息。表示每个ES的特征点的信息称为基本入口地图。
[0899] 什么构成特征点对每个流类型是不同的。在基础视野视频流、从属视野视频流的情况下,表示位于打开GOP、关闭GOP开头的I图片类型视野成分开头的访问单元定界符构成特征点。在音频流的情况下,表示隔1秒等隔规定时间存在的音频帧开头位置的访问单元定界符构成特征点,在PG流、IG流的情况下,表示图形流的显示器组中具备显示所需的全部功能段的显示器组(时点起点的显示器组、获得点的显示器组)开头位置的访问单元定界符构成特征点。
[0900] 如何表示特征点在ATC序列、STC序列中各不相同。在ATC序列中,特征点由源数据包序号表现。在STC序列中,相同特征点使用表示STC时间轴上的时刻的PTS表现。 [0901] 鉴于上述差异,每个ES的基本入口地图由多个入口点构成。具体而言,构成入口地图的各个入口点中表示ATC序列中特征点所在的源数据包序号与表示STC序列中特征点所在的PTS对应,具备表示可否向该特征点进行角度切换的标志(is_angle_change标志)、与表示存在于GOP开头的帧内图片的尺寸的信息(I_size)。位于构成多角度区域的交互单元开头的源数据包由于可进行角度切换,所以指示交互单元开头源数据包的入口点的 is_angle_change标志必需设定为打开。另外,指示交互单元开头源数据包的入口点由入口点与播放项目信息中的In_Time对应。
[0902] 每个ES的入口地图对应于PTS来表示这些流类型每个的特征点的源数据包序号,所以通过参照该入口地图,可从STC序列的任意时刻导出表示该时刻最近的每个ES的特征点所在的源数据包序号。
[0903] 以上是对2D用片段信息文件的说明。接着,说明3D用片段信息文件的细节。3D用片段信息文件为图45(b)的内部构成,除作为通常的片段信息(管理信息)的‘文件2D用片段信息’外,还存在作为文件从属用片段信息的‘片段从属信息(基础视野管理信息)’、作为文件基础用片段信息的‘片段基础信息(基础视野管理信息)’。理由如下。如上所述,为了避免立体视觉交互流文件与通常流文件混同,将立体视觉交互流文件存储在与流文件不同的目录中。因此,片段信息文件不能对应于立体视觉交互流文件。因此,将片段从属信息及片段基础信息存储在对应于文件2D的片段信息文件中。
[0904] 2D用片段信息与片段基础信息及片段从属信息的差异在于在片段基础信息及片段从属信息的内部存在包含区段开始点串的数据。
[0905] 该图(b)中,片段从属信息包含区段开始点串,片段基础信息也包含区段开始点串。特征点信息包含构成基本的入口地图,扩展名数据包含扩展入口地图。
[0906] 3D输出模式中,片段信息文件被分割成片段基础信息文件与片段从属信息文件。 [0907] 该图(c)表示片段基础信息文件。如该图所示,由片段基础信息与基本入口地图构成。片段基础信息包含区段开始点信息表。
[0908] 该图(d)表示片段从属信息文件。根据该图,片段从属信息文件包含片段从属信息与扩展入口地图。片段从属信息包含区段开始点信息表。
[0909] 片段信息文件用的目录(CLPI目录)中存在2D输出模式的片段信息文件。片段基础信息文件处理为在3D输出模式下由片段信息文件生成,存储在该2D输出模式的片段信息文件中。
[0910] 片段信息文件用目录(CLPI目录)中存在假的片段信息文件,向该假的片段信息文件赋予对应于文件2D/文件基础的序号,即向文件2D/文件基础 的识别序号加上‘1’的序号的文件名。片段从属信息文件处理为在3D输出模式中由对应于文件2D的片段信息文件生成,存储在该假的片段信息文件中。这里,若2D输出模式的片段信息文件是00001.clpi,则在3D输出模式下,片段基础信息文件处理为存储在00001.clpi中,在3D输出模式下,片段从属信息文件处理为存储在00002.clpi中。
[0911] <区段开始点>
[0912] 说明区段开始点。
[0913] 如上所述,立体视觉交互流文件由两个片段AV流(DBAV MPEG2传输流)构成。区段开始点信息表的对用于将立体视觉交互流文件分割成两个AV流。区段开始点信息表如下提供。
[0914] (1)区段开始点信息表存储在包含副路径类型=8的副路径的播放列表的播放项目参照的片段信息中,提供给再现装置。所谓副路径类型=8的副路径是盘上类型的Out_of_MUX从属视野视频流再现路径。
[0915] (2)其他区段开始点信息表存储在包含副路径类型=8的副路径的播放列表的副播放项目参照的片段信息中,提供给再现装置。
[0916] 并且,在播放项目信息中构成多角度区间,当表示存在多角度区间的标志(是多角度标志)被设定为‘打开’的情况下,将区段开始点信息表的对分别存储在由角度ID值参照的片段信息及由副片段入口ID值参照的片段信息中,提供给再现装置。
[0917] 说明片段信息文件中的区段开始点信息表的数据构造。ext_data_entry()内的扩展名数据中的ID1值与ID2值必需分别设定为0x0002、0x0004。
[0918] 具有区段开始点信息表的片段信息文件必需满足以下两个条件。
[0919] (a)必需由包含副路径类型=8的副路径的播放列表的播放项目参照。
[0920] (b)必需由副路径类型=8的副路径中的副播放项目参照。这里,所谓副路径类型=8是指盘上类型的Out_of_MUX从属视野视频流再现路径。
[0921] 图46表示片段信息文件、播放列表与立体视觉交互流文件的关系。右侧表示立体视觉交互流文件,左侧表示片段信息文件。正中第1段表示文件基础,第2段表示片段基础信息文件,第3段表示3D播放列表,第4段表示片段从属信息文件,第5段表示文件从属。 [0922] 箭头bk1、bk2表示通过分割右侧的流文件,得到文件基础、文件从属。 [0923] 左侧的片段信息文件包含特征点信息、扩展名数据、片段基础信息、片段从属信息。箭头bk3、bk4模式表示片段基础信息中的区段开始点信息表、片段从属信息中的区段开始点信息表用作分割立体视觉交互流文件。
[0924] 图47是表示片段基础信息、片段从属信息的内部构成的图。如该图(a)所示,片段基础信息、片段从属信息由表示对应的AV片段属于哪个流类型的‘片段流类型信息’;表示由对应的AV片段构成的应用程序属于电影应用程序、时间基础幻灯片应用程序、可浏览幻灯片应用程序等哪个类型的‘应用程序类型’;‘TS记录速率’,表示再现装置中,源数据包通过源数据包去包器之后,AV片段中的TS数据包以何传输速率传送;表示构成对应的AV片段的源数据包数量的‘源数据包数量’;作为与构成前一AV片段的ATC序列的ATC差分之‘ATC差分值’、和‘区段开始点信息表’构成。
[0925] 该图(b)表示区段开始点信息表的内部构成。如该图所示,区段开始点信息表由number_of_extent_start_points与number_of_extent_start_points 个SPN_start_point构成。
[0926] number_of_extent_start_points表示归属于关联的AV流文件的区段的个数。片段基础信息中的区段开始点信息表与片段从属信息中的区段开始点信息表的对中number_of_extent_start_points为相同值。
[0927] SPN_start_point(SPN_extent_start[0]-SPN_extent_start[number_of_extent_start_point])由number_of_extent_start_point+1个SPN_extent_start构成。SPN_extent_start由区段识别符[extent_id]指示,是表示AV流文件中第extent_id个区段开始的源数据包的源数据包序号的32位的值。
[0928] 下面,说明片段信息文件的扩展名数据。扩展名数据中存在扩展入口地图。扩展入口地图与基本入口地图一样,由多个入口点构成。具体而言,构成扩展入口地图的各个入口点中表示ATC序列中特征点所在的源数据包序号与表示STC序列中特征点所在的PTS对应,具备表示可否向该特征点进行角度切换的标志(is_angle_change标志)、与表示存在于GOP开头的帧内图片的尺寸的信息(I_size)。但是,扩展入口地图中不同之处在于向扩展入口地图施加如下限制。
[0929] 扩展入口地图内存在MEPG4-MVC视野成分用的入口的情况下,必需使对应于与扩展入口地图中的PTS相同的视野成分的入口存在于扩展入口地图中。
[0930] 在存在应用程序类型是1、8的两个片段信息文件、对应于立体视觉交互流文件的片段信息文件的情况下,必需满足如下条件。即,在由应用程序类型‘=1’的片段信息(是主要视频流等应用程序类型的片段信息)的区段ID值指示的区段具有由基础视野视频流的PTS_EP_Start参照的源数据包的情况下,由应用程序类型=8的片段信息的相同区段ID值指示的区段必需包含由从属视野流的相同值的PTS_EP_Start参照的源数据包。 [0931] 图48是表示基本入口地图与扩展入口地图的图。该图中,第5段表示从属视野数据块与基础视野数据块的多个组。第4段表示构成从属视野数据块及基础视野数据块的源数据包串。第1段表示由PTS特定的视野成分。另外,第2段表示基本入口地图,第3段表示扩展入口地图。
[0932] 在由区段ID=1的区段开始点指示的区段[1]具有由基础视野视频流的PTS_EP_Start=t1的入口参照的SPN=n1的源数据包[n1]的情况下,由作为应用程序类型=8的片段信息的相同区段ID的、区段ID=1的区段开始点指示的区段[1]包含由作为从属视野流的相同值的入口的、PTS_EP_Start=t1的入口参照的SPN=n11的源数据包[n11]。 [0933] 如上所述,在位于基础视野视频流的GOP(i)开头的源数据包与位于从属视野视频流的GOP(i)开头的源数据包属于同一交互区段单元的情况下,将指示基础视野视频流的GOP(i)开头的源数据包及从属视野视频流的GOP(i)开头的源数据包的入口追加到基本入口地图及扩展入口地图双方。由此,此时,若使用基本入口地图及扩展入口地图双方,则可保障基础视野视频流的GOP(i)及从属视野视频流的GOP(i)的连续读出。
[0934] 图49表示扩展入口地图中不允许的入口。
[0935] 设由基础视野视频流的PTS_EP_Start=x的入口参照的SPN=x的源数据包[x]存在于由区段ID=x参照的文件基础区段的开头,由PTS_EP_Start=x的入口参照的SPN=y的源数据包[y]存在于由区段ID‘=j’参照的文件从属区段的开头,i与j不同。 [0936] 因为不认为由区段ID=i的片段从属的区段开始点指示的区段[i]包 含由作为基础视野视频流的相同值的入口的、PTS_EP_Start=x的入口参照的SPN+x的源数据包,所以不能向扩展入口地图追加PTS_EP_Start=x的入口。
[0937] 在位于基础视野视频流的GOP(i)开头的源数据包与位于从属视野视频流的GOP(i)开头的源数据包属于不同交互区段单元的情况下,不将指示GOP(i)开头的源数据包的入口追加到基本入口地图及扩展入口地图任一中。此时,因为从随机访问的访问对象去除了基础视野视频流的GOP(i)及从属视野视频流的GOP(i),所以可防止访问性能的下降。
[0938] 图50表示播放项目的再现步骤。
[0939] 步骤S201是当前输出模式是否是3D输出模式的判定,若当前输出模式是2D输出模式,则执行步骤S203-步骤S206。
[0940] 在步骤S203中,打开由当前播放项目的Clip_Information_file_name中记述的‘XXXXX’与扩展符‘m2ts’指定的流文件,在步骤S204中,使用对应于视频流的数据包ID的入口点,将当前PlayItem.In_Time及当前PlayItem.Out_Time变换为Start_SPN[i]及End_SPN[i]。
[0941] 在步骤S205中,特定属于用于将数据包ID[i]的TS数据包[i]从Start_SPN[i]读出至End_SPN[i]的读出范围[i]的区段,在步骤S206中,指示记录介质的驱动器,以连续读出属于读出范围[i]的区段。
[0942] 若当前输出模式是立体视觉输出模式,则移动到步骤S300-步骤S60的循环。 [0943] 在步骤S300中,打开由当前播放项目的Clip_Information_file_name中记述的‘XXXXX’与扩展符‘ssif’指定的流文件,在步骤S301中,根据当前播放项目信息的基础视野指示符,将基础视野视频流分配给左视野视频平面及右视野视频平面中的一方,将从属视野视频流分配给左视野视频平面及右视野视频平面的另一方。
[0944] 在步骤S302中,使用对应于基础视野视频流的基本入口地图,将当前PlayItem.In_Time及当前PlayItem.Out_Time变换为Start_SPN[i]及End_SPN[i]。
[0945] 在步骤S303中,使用对应于从属视野视频流的扩展入口地图,将SubPlayItemIn_Time、SubPlayItemOut_Time变换为Start_SPN[j]、End_SPN [j](步骤S304)。
[0946] 特定属于用于将构成基础视野视频流的TS数据包[i]从Start_SPN[i]读出至End_SPN[i]的读出范围[i]的区段(步骤S305),特定属于用于将数据包ID[j]的TS数据包[j]从Start_SPN[j]读出至End_SPN[j]的读出范围的区段(步骤S306)。之后,在步骤S307中,按地址的升序分类属于读出范围[i]、[j]的区段,在步骤S308中,使用分类的地址,指示驱动器连续读出属于读出范围[i]、[j]的区段。之后,若读出源数据包串,则在步骤S309中,分别复原基础视野的ATC序列、从属视野的ATC序列,送入基础视野用PID滤波器、从属视野用PID滤波器。
[0947] 如上所述,根据本实施方式,在上述记录介质中,当将主TS中的GOP及副TS中的GOP记录在记录介质中时,扩展入口地图中的入口是从属视野图片数据,应以相同再现时刻再现的基础视图图片数据仅指示由基本入口地图的入口指示的图片数据。
[0948] 由基本入口地图的入口指示的图片数据与由扩展入口地图的入口指示的图片数据存在于相同的区段对中,所以若以基本入口地图、扩展入口地图为线索访问区段,则可统一再现基础视野的GOP、从属视野的GOP。由此,可消除再现开始的延迟。
[0949] (第7实施方式)
[0950] 本实施方式涉及实现立体视觉幻灯片的应用程序的改良。
[0951] 幻灯片由静止图像构成,所以要求比电影高精度的随机访问。所谓高精度的随机访问是如1个对象、10个对象等将‘1个图片’设为访问单位的随机访问。视频流的入口地图如1秒间隔等具有1秒左右的时间精度,在该1秒等时间间隔中,包含20-30个图片。因此,若要使用上述入口地图来实现图片精度的随机访问,则仅参照入口地图是不够的,必需对流进行解析。
[0952] 这里所谓的‘流的解析’是从入口地图中记载的入口位置取出图片的头,从该头中读出图片的尺寸,根据该尺寸,重复几次特定下一图片的记录位置的处理,直到搜索到期望图片的记录位置。这种解析伴随对流的高频度访问,所以即便仅从入口位置读出3个对象、5个对象的图片,也相当费时。由于图片精度的随机访问相当费时,所以即便向幻灯片追加显示前 后图片、或显示前后10个图片的功能,也不如制作者方期待的那样方便。 [0953] 对幻灯片的入口点将视频流中每个图片的入口地址对应于再现时刻来表示。另外,播放列表标记信息指定各个图片数据。
[0954] 这样,若各个图片数据由入口点与播放列表标记信息指示,则即便如1个对象、3个对象那样要求图片精度的随机访问,也可不伴随视频流解析地实现图片精度的随机访问。
[0955] 可从时间轴上的任意时刻导出视频流上的记录位置,另外,可实现1个对象、3个对象等图片精度的随机访问,所以可立即响应用户操作,制作显示前后图片、或显示前后数个图片的应用程序。
[0956] 在此前的实施方式中,可立体视觉再现的视频流为交互形式,但若如此变为交互形式,则构成幻灯片的图片数据按L-L-L、R-R-R等顺序排列。这种顺序的全部图片数据构成幻灯片,若各个图片数据由入口点指示,则入口点按00:00→00:01→00:02、00:00→00:01→00:02等顺序排列。
[0957] 入口地图中的入口点必需排列成其再现时刻成升序,违反对入口地图的限制。因此,作为AV片段的应用程序类型为幻灯片时的特有限制,1TS化构成左视野流的图片数据及构成右视野流的图片数据。这样,若1TS化,则可按L-R-L-R-L-R的顺序来排列构成左视野流的图片数据及构成右视野流的图片数据,另外,对于这些图片数据的入口点,可排列成该入口点的再现时刻为00:00→00:00→00:01→00:01→00:02→00:02→00:03、00:03。
[0958] 通过按时间顺序排列构成一个幻灯片的图片数据,并在此基础上进行多路复用,由此将多路复用后的图片数据的群记录在记录介质的连续区域中。
[0959] 在多路复用基础视野静止图像数据、从属视野静止图像数据的传输流中,作为基础视野静止图像的图片数据开头、即访问单元定界符先于作为从属视野静止图像的图片数据的开头,且作为从属视野静止图像的图片数据的末尾先于表示应在所述基础视野静止图像之后再现的基础视野静止图像的图片数据中开头的访问单元定界符。另外,存储作为这些基础视野静止图像的图片数据开头的访问单元定界符之源数据包、存储作为从属视野静止图像的图片数据开头的访问单元定界符的源数据包不包含自身以外的 图片数据。即,表示基础视野静止图像的图片数据、表示从属视野静止图像的图片数据以完结的状态按基础视野-从属视野-基础视野-从属视野的顺序排列在记录区域中。
[0960] 多路复用左视野的图片数据、右视野的图片数据的理由如下。若将图片数据作为一个区段记录在记录介质中,则不满足最小区段长度。为了满足最小区段长度,如上所述,按时间顺序配置多个图片数据,进行多路复用,记录多路复用后的TS。由此,可满足最小区段长度地分割TS并记录。
[0961] 对照地,由于尺寸较小,所以固定配置显示1个静止图像用的数据一方的读取效率高。
[0962] 以上是对构成幻灯片时的流文件的改良的说明。接着说明入口地图中的改良细节。
[0963] 扩展入口地图的入口是从属视野图片数据,应以相同再现时刻再现的基础视图图片数据仅指示由基本入口地图的入口指示的图片数据。由于幻灯片中设定入口地图以指示基础视野视频流中的全部图片,所以通过上述制约,由扩展入口地图来指示从属视野视频流中的全部图片。
[0964] 这样,基础视野视频流中的图片数据的再现时刻作为入口时刻由基本入口地图指定,从属视野视频流中的图片数据的再现时刻作为入口时刻由扩展入口地图指定,所以即便在将构成基础视野视频流的图片数据、构成从属视野视频流的图片数据中某个选为随机访问的访问对象的情况下,也不发生经由先行IDR图片等迂回的额外开销(overhead)。 [0965] 如上所述,根据本实施方式,可不进行流解析地读出任意L图像的图片数据、R图像的图片数据的组,供给再现,所以可根据用户的跳跃操作,容易地实现可随机访问任意图片数据的幻灯片应用程序。
[0966] (第8实施方式)
[0967] 本实施方式涉及用于根据构成立体视觉交互流文件的数据块来复原ATC序列的改良。图51表示如何根据立体视觉交互流文件构成的数据块来复原ATC序列。
[0968] 第4段表示构成立体视觉交互流文件的多个数据块,第3段表示多路复用于主TS、副TS上的源数据包串。
[0969] 第2段表示构成从属视野的STC序列2、入口地图、构成从属视野的 ATC序列2的组,第1段表示构成基础视野的STC序列1、入口地图、构成基础视野的ATC序列1的组。从第3段到第2段、第1段的箭头模式表示根据交互化于立体视觉交互流文件上的两个TS(主TS、副TS)的数据块复原ATC序列1、ATC序列2。这些ATC序列利用片段信息中的入口地图与STC序列对应。
[0970] 以上是对根据本实施方式的记录介质的说明。接着,说明再现装置的细节。 [0971] 本实施方式中的再现装置的读出部构成为受理来自两个记录介质的源数据包输入,包含用于访问两个记录介质每个的两个驱动器、暂时存储从这两个驱动器输入的源数据包后输出到解码器用的两个读取缓冲器。另外,在两个驱动器与两个读取缓冲器之间,存在ATC序列复原部。该ATC序列复原部从由一个记录介质中读出的交互流文件内的源数据包中分离构成基础视野的ATC序列与构成从属视野流的ATC序列,写入两个读取缓冲器每个中。由此,再现装置可处理成分别从不同的记录介质中读出构成基础视野视频流的ATC序列、构成从属视野流的ATC序列。
[0972] 图52是表示如何进行ATC序列复原的图。该图(a)表示具备ATC序列复原部的读出部的内部构成。如上所述,在两个驱动器与两个读取缓冲器之间夹入ATC序列复原部。图中的箭头B0象征性地表示来自一个驱动器的源数据包输入,箭头B1表示构成基础视野视频流的ATC序列1的写入,箭头D1模式地表示构成从属视野流的ATC序列2的写入。 [0973] 图52(b)表示如何处理由ATC序列复原部得到的两个ATC序列。图中的正中表示多路复用分离部内存在的PID滤波器。左侧表示由ATC序列复原部得到的两个ATC序列。
右侧表示多路复用分离这两个ATC序列得到的基础视野视频流、从属视野视频流、左眼PG流、右眼PG流、基础视野IG流、从属视野IG流。
[0974] 图53表示基础视野片段信息中的区段开始点信息的一例、与从属视野片段信息中的区段开始点信息的一例。(a)表示基础视野片段信息的区段开始点信息与从属视野片段信息的区段开始点信息。
[0975] (b)表示构成ATC序列1的基础视野数据块B[0]、B[1]、B[2]....B[n]、构成ATC序列2的从属视野数据块D[0]、D[1]、D[2]....D[n]。 (c)表示从属视野数据块的源数据包数量、基础视野数据块的源数据包数量。
[0976] (d)表示立体视觉交互流文件中包含的多个数据块。
[0977] 如该图(b)所示,若ATC序列2由从属视野数据块D[0]、D[1]、D[2]....D[n]构成,则ATC序列2中的从属视野数据块D[0]、D[1]、D[2]....D[n]的相对源数据包数量,即0、b1、b2、b3、b4...bn记载于文件从属的区段开始点信息的SPN_extent_start中。 [0978] 若ATC序列1由基础视野数据块B[0]、B[1]、B[2]....B[n]构成,则作为基础视野数据块的相对源数据包数量的0、a1、a2、a3、a4...an记载于文件基础的区段开始点信息的SPN_extent_start中。
[0979] 该图(c)是立体视觉交互流文件中任意从属视野数据块D[x]、任意基础视野数据块b[x]的源数据包数量。从属视野数据块D[x]的开头源数据包序号为bx,从属视野数据块D[x+1]的开头源数据包序号为bx+1的情况下,构成D[x]的源数据包数量变为bx+1-bx。 [0980] 同样,基础视野数据块B[x]的开头源数据包序号为ax,基础视野数据块B[x+1]的开头源数据包序号为ax+1的情况下,构成B[n]的源数据包数量变为ax+1-ax。
[0981] 立体视觉交互流文件中最后基础视野数据块B[n]的开头源数据包序号为an,在ATC序列1中的源数据包的个数为number_of_source_packet1的情况下,构成B[n]的源数据包数量变为number_of_source_packet1-an。
[0982] 立体视觉交互流文件中最后基础视野数据块D[n]的开头源数据包序号为bn,在ATC序列2中的源数据包的个数为number_of_source_packet2的情况下,构成D[n]的源数据包数量变为number_of_source_packet2-bn。
[0983] 此时,从属视野数据块的开头源数据包序号、基础视野数据块的开头源数据包序号如(d)所示。
[0984] 立体视觉交互流文件中,D[0]的开头SPN为‘0’,B[0]的开头SPN为‘b1’。 [0985] 就D[1]的开头SPN而言,由于变为先行的D[0]的源数据包数量b1与B[0]的源数据包数量a1之和,所以为‘b1+a1’。
[0986] 就B[1]的开头SPN而言,由于变为先行的D[0]的源数据包数量b1、B[0]的源数据包数量a1与先行的D[1]的源数据包数量b2-b1之和, 所以为‘b2+a1(=b1+a1+b2-b1)’。 [0987] 就D[2]的开头SPN而言,由于变为先行的D[0]的源数据包数量b1、B[0]的源数据包数量a1、先行的D[1]的源数据包数量b2-b1、与B[1]的源数据包数量a2-a1之和,所以为‘b2+a2(=b1+a1+b2-b1+a2-a1)’。
[0988] 就B[2]的开头SPN而言,由于变为先行的D[0]的源数据包数量b1、B[0]的源数据包数量a1、先行的D[1]的源数据包数量b2-b1、B[1]的源数据包数量a2-a1与D[2]的源数据包数量b3-b2之和,所以为‘b3+a2(=b1+a1+b2-b1+a2-a1+b3-b2)’。
[0989] 图54是用于说明ATC序列1、2中的任意数据块的源数据包序号的图。
[0990] 对于该图(a)的ATC序列2,考虑求出bx的源数据包序号中存在的D[x]的立体视觉交互流文件中源数据包序号的情况。此时,D[x]的开头源数据包序号为D[0]、B[0]、D[1]、B[1]、D[2]、B[2]...D[x-1]、B[x-1]的相对源数据包数量的源数据包数量总和,所以如该图(b)所示,为‘bx+ax’。
[0991] 对于该图(a)的ATC序列1,考虑求出ax的源数据包序号中存在的B[x]的立体视觉交互流文件中源数据包序号的情况。此时,如该图(b)所示,B[x]的开头源数据包序号为D[0]、B[0]、D[1]、B[1]、D[2]、B[2]...D[x-1]、B[x-1]、D[x]的相对源数据包数量的源数据包数量总和,所以为‘bx+1+ax’。
[0992] 该图(c)表示将上述基础视野数据块设为区段的文件基础与将上述从属视野数据块设为区段的文件从属。
[0993] 相当于B[x]的文件基础的区段、即EXT1[x]的开头LBN及连续长度、及相当于D[x]的文件从属的区段、即EXT2[x]的开头LBN及连续长度如下求出。
[0994] 在根据D[x]的开头源数据包序号求出LBN时,通过((bx+ax)*192/2048)的计算,将源数据包变换为LBN。同样,在根据B[x]的开头源数据包序号求出LBN时,通过((bx+1+ax)*192/2048)的计算,将源数据包变换为LBN。这里,‘192’以字节数量来表示源数据包尺寸,‘2048’以字节数量来表示扇区尺寸(逻辑块尺寸)。这些LBN中最近的立体视觉交互流文件的区段的LBN通过将利用上述变换得到的LBN用于作为函数SSIF_LBN(file_offset) 的自变量的file_offset中算出。函数SSIF_LBN是从file_offset中搜索SSIF的应用程序描述符、返回对应于file_offset的LBN的函数。
[0995] 由此,EXT2[x]的开头LBN变为SSIF_LBN((bx+ax)*192/2048),EXT1[x]的开头LBN变为SSIF_LBN((bx+1+ax)*192/2048)。
[0996] 另一方面,EXT2[x]的连续长度变为(SSIF_LBN((bx+1+ax)*192/2048)-SSIF_LBN((bx+ax)*192/2048))。EXT1[x] 的 连 续 长 度 变 为 (SSIF_LBN((bx+1+ax+1)*192/2048)-SSIF_LBN((bx+1+ax)*192/2048))。若在存储器上生成表示这些开头LBN及连续长度的文件入口,则可虚拟得到文件基础、文件从属。
[0997] 这两个PID滤波器执行的多路复用分离基于第1实施方式所示的基本流选择表、扩展流选择表。该ATC序列复原部通过制作让硬件资源执行图55的处理的程序来实现。图55表示ATC序列复原步骤。
[0998] 步骤S91将基础视野用ATC序列设为ATC序列1,将从属视野用ATC序列设为ATC序列2。步骤S92中,将变量x初始化为1。该变量x指示从属视野数据块、基础视野数据块。以后,重复步骤S94-步骤S96的循环。
[0999] 判定由变量x指示的源数据包序号bx是否是由基础视野数据块的最后数值n指示的源数据包序号bn(步骤S93),若不是,则重复如下处理,直到步骤S93判定为是,即将从由源数据包序号bx+ax指示的源数据包(bx+ax)至由bx+1+ax指示的源数据包(bx+1+ax)之前的数据包追加到ATC序列2(步骤S94),将从源数据包(bx+1+ax)至源数据包(bx+1+ax+1)之前的数据包追加到ATC序列1(步骤S95),将变量x加1(步骤S96)。 [1000] 若步骤S93判定为是,则将从源数据包序号bn起(number_of_source_packet2-bn)个的源数据包追加到ATC序列2(步骤S97),将从源数据包序号an起(number_of_source_packet1-an)个的源数据包追加到ATC序列1(步骤S98)。
[1001] 如上所述,若复原ATC序列1、2,则在存储器上生成由扇区数量来表示基础视野数据块的开头LBN及连续长度的文件入口,虚拟地打开文件基础(步骤S99)。同样地,在存储器上生成由扇区数量来表示从属视野数据块的开头LBN及连续长度的文件入口,虚拟地打开文件从属(步骤S100)。
[1002] <打开文件基础的技术意义>
[1003] 这里,当从任意时刻随机访问时,必需执行流文件内的扇区搜索。所谓扇区搜索是如下处理,即当从任意时刻随机访问时,特定对应于该时刻的源数据包的源数据包序号,从包含该源数据包序号的源数据包之扇区,进行文件读取。
[1004] 立体视觉交互流文件由于一个区段大,所以扇区搜索的探索范围宽,当命令从任意时刻随机访问时,特定构成读出对象的扇区必需相当长的处理时间。
[1005] 这是因为交互流文件交互配置构成基础视野视频流的数据块、构成从属视野流的数据块,构成一个长的区段,交互流文件的文件入口的应用程序描述符只不过示出该长的区段的开头地址。
[1006] 相反,文件基础由长度短的多个区段构成,各个区段的开头地址示于应用程序描述符中,所以扇区搜索中的探索范围窄,当命令从任意时刻随机访问时,在短时间内完成构成读出对象的扇区的特定。
[1007] 即,构成基础视野视频流的数据块作为文件基础的区段来管理,数据块的开头地址记述在对应于文件基础的文件入口中的应用程序描述符中,所以若从包含随机访问位置的区段的开头地址开始扇区搜索,则可尽快到达包含构成随机访问位置的源数据包的扇区。
[1008] 这样,将构成基础视野视频流的数据块作为文件基础的区段来管理,将各区段的开头地址及连续长度示于文件基础的文件入口的应用程序描述符中,由此基础视野视频流从任意时刻的随机访问变得高速。
[1009] 具体的扇区搜索的步骤如下。通过使用对应于基础视野视频流的入口地图,导出作为对应于任意时刻的随机访问位置的源数据包序号。
[1010] 接着,通过使用对应于基础视野视频流的片段信息内的区段开始指示信息,特定包含构成随机访问位置的源数据包序号的区段是哪个。
[1011] 并且,若参照对应于文件基础的文件入口的应用程序描述符,则可特定包含构成随机访问位置的源数据包序号的区段之开头扇区地址。对该开头扇区地址设定文件指示字,执行文件读取,通过执行对读出的源数据包的数据包解析,特定构成随机访问位置的源数据包序号的源数据包。之后,读出特定的源数据包序号的源数据包。由此,高效地执行对主TS的随机访 问。副TS也一样。
[1012] 如上所述,根据本实施方式,根据区段开始点信息,将交互流文件中的基础视野视频流的区段、从属视野视频流的区段根据区段开始点信息整列后,提供给多路复用分离部、解码器,所以解码器或程序可处理成存储基础视野视频流的文件基础与存储从属视野视频流的文件从属等两个文件虚拟地存在于记录介质中。
[1013] 由于可在将立体视觉用基础视野视频流、从属视野视频流作为交互流文件记录在记录介质中,同时还可进行基础视野视频流及从属视野视频流的单体访问,所以可使再现装置的处理效率性提高。
[1014] (第9实施方式)
[1015] 在本实施方式中,说明此前的实施方式中所示的记录介质的制作方式,即记录方法的形式。
[1016] 根据本实施方式的记录方法可实现为实时记录,即实时制作作为流文件的AV流、作为流文件以外文件的非AV文件,直接写入记录介质中的AV数据记录区域、非AV数据记录区域中。不仅如此,还包含预先格式记录,即事先制作应记录在体积区域中的位流的整体像,根据该位流制作母盘,通过压制该母盘,批量生产光盘。根据本实施方式的记录介质也可由基于实时记录的记录方法及基于预先格式记录的记录方法来特定。
[1017] 利用实时记录技术来实现记录方法的情况下,执行该记录方法的记录装置实时制作AV片段,记录在BD-RE或BD-R、硬盘、半导体存储卡中。
[1018] 此时,AV片段既可以是记录装置通过实时编码模拟输入信号得到的TS,也可以是记录装置局部化数字输入的TS得到的TS。执行实时记录的记录装置具备编码视频信号得到视频流的视频编码器、编码音频信号得到音频流的音频编码器、多路复用视频流、音频流等得到MPEG2-TS的多路复用器、和将构成MPEG2-TS形式的数字流的TS数据包变换为源数据包的源打包器,将变换为源数据包形式的MPEG2数字流存储在AV片段文件中,写入BD-RE、BD-R等中。在写入数字流的同时,记录装置的控制部执行在存储器上生成片段信息或播放列表信息的处理。具体而言,当用户要求录制处理时,控制部在BD-RE、BD-R上生成AV片段的流文件及片段信息文件。
[1019] 另外,若从由装置外部输入的TS中检测视频流中的GOP的开头位置或 由编码器生成视频流的GOP,则记录装置的控制部对该GOP取得位于开头的帧内图片的PTS与存储该GOP的开头部分的源数据包的数据包序号,将该PTS及数据包序号的组作为EP_PTS入口及EP_SPN入口的组,追记于片段信息文件的入口地图中。以后,每当生成GOP时,都将EP_PTS入口及EP_SPN入口的组追记于片段信息文件的入口地图中。此时,在GOP的开头是IDR图片的情况下,将设定为‘打开’的is_angle_change标志追加到EP_PTS入口及EP_SPN入口的组。若GOP的开头不是IDR图片的情况下,将设定为‘关闭’的is_angle_change标志追加到EP_PTS入口及EP_SPN入口的组。
[1020] 另外,对于片段信息文件中的流的属性信息,根据应记录的流的属性来设定。如上所述,若生成AV片段、片段信息后写入BD-RE、BD-R中,则经该片段信息内的基本入口地图,生成定义再现路径的播放列表信息,并写入BD-RE、BD-R中。通过在实时记录技术中执行这种处理,可在BD-RE、BD-R上得到AV片段-片段信息-播放列表信息等阶层构造。。 [1021] 以上是执行基于实时记录的记录方法的记录装置。接着,说明基于预先格式记录的记录方法。
[1022] 基于预先格式记录的记录方法构成包含创制行程的光盘的制造方法。
[1023] 图56表示光盘的记录方法。该图(a)是表示基于预先格式记录的记录方法的流程图,表示光盘的制造方法的处理步骤。光盘的制造方法包含创制步骤、署名步骤、媒体密钥取得步骤、媒体密钥加密步骤、物理格式步骤、识别符埋入步骤、控制步骤、复制步骤。 [1024] 创制步骤S201制作表示光盘体积区域的整体像的位流。
[1025] 署名步骤S202在光盘制造时对AACS LA进行署名要求。具体地,抽出位流的一步骤,送递到AACS LA。这里,AACS LA是管理涉及下一代数字家电设备中的著作物保护技术的许可之团体。使用创制装置进行光盘创制的创制站点及使用控制装置执行控制的控制站点从AACS LA接受许可的提供。另外,管理媒体密钥、无效化信息。之后,从AACS LA取得署名的位流的一部分。
[1026] 媒体密钥取得步骤S203从AACS LA取得媒体密钥。媒体密钥不始终使用固有的密钥,若此前制造的光盘个数达到一定个数,则更新为新的密钥。通过更新媒体密钥,可排除特定的制造商或设备,即便万一加密密钥 被破解,也可通过使用无效化信息来无效化其自身。
[1027] 媒体密钥加密步骤S204使用通过媒体密钥取得步骤取得的媒体密钥,加密位流的加密中使用的密钥。
[1028] 物理格式步骤S205对位流执行物理格式。
[1029] 识别符埋入步骤S206在光盘中收录的位流中,作为电子水印埋入一般设备不能检测的唯一识别符。由此,可防止通过不正当控制来批量生产盗版。
[1030] 控制步骤S207制作光盘的母盘。首先,在玻璃基板上形成光刻胶层,对该光刻胶层,对应于期望的组或位地照射激光,曝光,实施显影处理。该组或位表示8-16调制后的位流的各位值。之后,根据通过这种激光切割形成对应于组或位的凹凸的光刻胶,制作光盘的母盘。
[1031] 复制步骤S208使用光盘的母盘,大量生产作为其复制的光盘。
[1032] 该图(b)表示不大量生产光盘、而是一般用户使用PC、在BD-R、BD-RE等中记录此前的实施方式中所述的各种文件时的基于预先格式记录的记录方法的处理步骤。与该图(a)相比,该图(b)的记录方法中不存在物理格式步骤(步骤S205)、控制(步骤S207)、复制(步骤S208),代之以存在各文件的写入行程(步骤S209)。
[1033] 下面说明创制行程。
[1034] 图57是表示创制行程的处理步骤的流程图。
[1035] 在步骤S101中,定义主TS及副TS的卷轴(reel)组。所谓‘卷轴’是存储构成基本流素材的数据的文件,创制系统中,存在于本地网络上的驱动器上。数据化由3D照相机摄影的L图像或R图像、摄影时录音的声音、之后的后期录音收录的声音、每种语言的字幕、菜单后的信息相当于这些卷轴。所谓‘卷轴组’是表示应多路复用于一个TS上的基本流的集合的、对素材文件的链接群。这里,对主TS、副TS分别定义卷轴组。
[1036] 在步骤S102中,通过定义播放项目、副播放项目的原型,定义播放项目、副播放项目的再现顺序,定义主路径、副路径的原型。播放项目的原型的定义通过在平面视觉输出模式下通过GUI受理该播放项目中应许可再现的卷轴的指定与In_Time/Out_Time的指定来执行。副播放项目的原型的定义通过在立体视觉输出模式下通过GUI受理对应于该副播放项目的播放 项目中应许可再现的卷轴的指定与In_Time/Out_Time的指定来执行。 [1037] 应许可再现的卷轴的指定由通过复选框检查卷轴组中素材文件的链接中应许可再现的链接之GUI构成。此时,对应于各卷轴显示数值输入栏。另外,通过该数值输入栏,受理对各卷轴的优先顺序,将其设为对应于卷轴的优先顺序。根据以上应许可再现的卷轴的设定与优先顺序的设定,生成流选择表、扩展流选择表。
[1038] In_Time及Out_Time的指定通过记录装置执行如下处理来执行,即在GUI上图形化并显示基础视野视频流或从属视野视频流的时间轴,在图形化的时间轴上,使滑杆移动,从用户受理该滑杆的位置设定。
[1039] 播放项目、副播放项目的再现顺序的定义通过记录装置从用户受理如下操作来执行,即在GUI上缩略化后显示播放项目的In_Time中的图片,并对该缩略设定再现顺序。 [1040] 在步骤S103中,通过编码由卷轴组指定的素材文件,得到多个基本流。这些多个基本流有基础视野视频流、从属视野视频流、应与这些基础视野视频流、从属视野视频流多路复用的音频流、PG流、IG流。
[1041] 在步骤S104中,通过与基础视野视频流多路复用编码得到的基本流中、与该基础视野视频流属于同一卷轴组的相同基本流,得到一个主TS。
[1042] 在步骤S105中,通过与从属视野视频流多路复用编码得到的基本流中、与该从属视野视频流属于同一卷轴组的基本流,得到一个副TS。
[1043] 在步骤S106中,根据编码及多路复用时设定的参数,生成片段信息文件的原型。 [1044] 在步骤S107中,根据播放项目的原型,生成播放项目信息、副播放项目信息,对这些播放项目信息、副播放项目信息定义再现顺序,生成主路径信息、副路径信息,定义播放列表信息。
[1045] 在播放项目信息的制作中,为了将多路复用于主TS上的基本流中、在播放项目的基本构造中规定为应以平面视觉输出模式再现的基本流设定为可再现,在播放项目信息内生成流选择表。另外,为了规定在基础视野视频流中的再现区间,将上述编辑作业中规定的In_Time、Out_Time记载于播放项目信息中。
[1046] 在副播放项目信息的制作中,为了将多路复用于副TS上的基本流中、 在播放项目的基本构造中规定为应以立体视觉输出模式再现的基本流设定为可再现,在播放列表信息的扩展名数据内生成扩展流选择表。播放项目信息、副播放项目信息由于根据片段信息文件内的信息来定义,所以根据片段信息文件的原型来设定。
[1047] 在步骤S108中,将主TS、副TS、片段信息文件的原型、播放列表信息的原型变换为根据规定应用程序格式的目录文件群。
[1048] 经过以上程序,若生成主TS、副TS、片段信息、播放项目信息、副播放项目信息,则将主TS、副TS变换为分别独立的流文件,将片段信息变换为片段信息文件,将播放项目信息及副播放项目信息变换为播放列表信息文件,由此得到应记录在记录介质中的一连串文件组。
[1049] 之后,在视频流的编码行程的执行中,若将上述变换得到的平面偏移值、偏移方向信息记载于各GOP的元数据中,则偏移序列可在编码的程序中制作。
[1050] 图58表示AV文件写入工序的处理步骤。在基于实时记录的记录方法或伴随控制、复制的记录方法的实施中,通过该图的流程图来实现AV文件的写入。
[1051] 在步骤S401中,生成xxxxx.ssif,在记录装置的存储器上制作文件入口。步骤S402是能否确保空的连续扇区区域的判定,若能确保,则在步骤S403中,在空的连续扇区区域中仅以EXT2[i]写入构成从属视野数据块的源数据包串,之后,执行步骤S404-步骤S408。在不能确保的情况下,在步骤S409中执行例外处理之后,终止记录方法。 [1052] 步骤S404-步骤S408构成重复步骤S404-步骤S406、步骤S408的处理、直到步骤S407判定为否的循环。
[1053] 步骤S405在空的连续扇区区域中仅以EXT1[i]写入构成基础视野数据块的源数据包串。步骤S406将表示写入源数据包串的开头地址及连续长度的定位识别符追记于文件入口中,作为区段登录。与之相伴,将指示写入的源数据包串的开头源数据包序号之区段开始点信息追记于片段基础信息、片段从属信息内的元数据中。
[1054] 步骤S407规定循环的终止条件,进行基础视野数据块、从属视野数据块中是否存在未写入的源数据包的判定。若存在,则移动到步骤S408,继 续循环,若不存在,则移动到步骤S410。
[1055] 步骤S408是是否存在连续扇区区域的判定,若存在,则移动到步骤S403,若不存在,则返回到步骤S402。
[1056] 在步骤S410中,关闭xxxxx.ssif,将文件入口写入记录介质中。在步骤S411中,生成xxxxx.m2ts,在存储器中生成xxxxx.m2ts的文件入口。在步骤S412中,将表示文件2D中固有的基础视野数据块的开头地址及连续长度的定位记述符追记于xxxxx.m2ts的文件入口中。在步骤S413中,关闭xxxxx.m2ts,写入文件入口。
[1057] 步骤S404是EXTSS+EXT2D的范围内是否存在长跳跃的发生地点的判定。设这里的长跳跃的发生地点为层边界。在EXTSS+EXT2D的范围内存在层边界的情况下,在步骤S420中,复制基础视野数据块,写入基础视野数据块B[i]ss与基础视野数据块B[i]2D,直到长跳跃发生地点之前,之后,移动到步骤S406。这些构成文件2D的区段、文件基础的区段。 [1058] 下面,说明EXT2D、EXT1[n]、EXT2[n]、EXTss[n]的具体值。
[1059] EXT2D的下限值决定为当2D输出模式再现时,在从各基础视野数据块到下一基础视野数据块的跳跃期间中,不产生再现装置中的读取缓冲器的缓冲器下溢。
[1060] 从第n个基础视野数据块到第(n+1)个基础视野数据块的跳跃需要时间Tjump2D(n),各基础视野数据块以速度Rud2D读出到读取缓冲器,并且,所述基础视野数据块以平均速度Rbext2D从读取缓冲器传送到视频解码器时,EXT2D的下限值由以下条件1的式来表示。
[1061] <条件1>
[1062] EXT2D的下限值≥(Rud2D×Rbext2D)/(Rud2D-Rbext2D)×Tjump2D(n)
[1063] 设对应于基础视野数据块B[n]ss的区段为EXT1[n]。此时,EXT1[n]的下限值决定为当B-D显象模式再现时,通过从各基础视野数据块到下一从属视野数据块的跳跃期间、与从该从属视野数据块到下一基础视野数据块的跳跃期间,不产生两倍缓冲器的下溢。 [1064] 设这里的两倍缓冲器由读取缓冲器1、读取缓冲器2构成。读取缓冲器1与2D再现装置的读取缓冲器相同。
[1065] B-D显象模式再现中,设从第n个基础视野数据块到第p个从属视野数据块的跳跃需要时间TFjump3D(n),从第p个从属视野数据块到第(n+1)个基础视野数据块的跳跃需要时间TBjump3D(n)。
[1066] 另外,各基础视野数据块以速度Rud3D读出到读取缓冲器1,各从属视野数据块以速度Rud3D读出到读取缓冲器2,并且,所述基础视野数据块以平均速度Rbext3D从读取缓冲器1传送到视频解码器时,EXT1[n]的下限值由以下条件2的式来表示。峰值区段的连续长度设定为该下限值或高于该下限值的值。
[1067] <条件2>
[1068] EXT1[n]的下限值≥(Rud3D×Rbext3D)/(Rud3D-Rbext3D)×(TFjump3D(n)+EXT2[n]/(Rud3D+TBjump3D(n)))
[1069] EXT2的下限值决定为当B-D显象模式再现时,通过从各从属视野区段到下一基础视野区段的跳跃期间、与从该基础视野区段到下一从属视野区段的跳跃期间,不产生再现装置中的两倍缓冲器的下溢。
[1070] 当从第(n+1)个基础视野数据块到第(p+1)个从属视野数据块的跳跃需要时间TFjump3D(n+1),且所述从属视野流文件以平均速度Rdext3D从读取缓冲器2传送到解码器时,EXT2[n]的下限值由以下条件3的式来表示。
[1071] <条件3>
[1072] EXT2[n]的下限值≥(Rud3D×Rbext3D)/(Rud3D-Rdext3D)×(TBjump3D(n)+EXT1[n+1]/(Rud3D+TFjump3D(n+1)))
[1073]
[1074] 在从某个区段的读出向下一区段的跳跃时,该跳跃之前的缓冲器占有量必需充分。此时,立体视觉交互流文件读出时读取缓冲器必需由一个区段填充,必需避免发生缓冲器下溢。
[1075] 但是,EXTSS不仅需要根据从区段到的跳跃期间Tjump,还需要根据Tdiff来确定。这里,Tdiff意味着伴随EXTss中的从属视野数据块的预加载、与EXTssnext中的从属视野数据块的预加载的延迟时间。下面解说Tdiff的 含义时,当读出立体视觉交互流文件时,预加载开头的从属视野数据块期间不能开始再现。
[1076] EXTss中,因为再现延迟了该从属视野数据块的预加载所需的期间,所以EXTss中开头从属视野数据块的预加载所需的时间为再现对应延迟的‘延迟期间’。
[1077] 相反,EXTssnext中,由于在从EXTss向EXTssnext跳跃之后进行开头从属视野数据块的预加载,所以也可对应于此期延迟间视频解码器的再现开始。即,EXTssnext再现中,进行开头从属视野数据块的预加载的期间变为犹豫视频解码器再现开始的‘犹豫期间’。 [1078] 如上所述,Tdiff导出为从从属视野数据块的犹豫期间减去延迟期间的值。具体地,满足下式算出。
[1079] Tdiff=ceil[((S1stEXT1[i]EXTSSnext]-S1stEXT1[i]EXTSS)x1000x8)/Rud72] [1080] 这里,Tdiff意味着S1stEXT2[i]EXTss的读出期间与S1stEXT2[i]EXTssnext的读出期间之差,S1stEXT2[i]EXTss是位于EXTss最初的EXT2[i]的尺寸,S1stEXT2[i]EXTssNEXT是位于EXTssNEXT最初的EXT2[i]的尺寸。EXTssnext是立体视觉交互流文件中的区段,位于EXTss之后,与EXTss无缝再现。
[1081] 若使用该Tdiff与向EXTssnext的跳跃时间(Tjump),则作为基于各区段中平均位速率的最小区段尺寸的Sextss算出为满足以下条件4的值。
[1082] <条件4>
[1083] SextSS[Byte] ≥ ceil[(Tjump+Tdiff×Rud72)/(1000×8))×(Rextss×192)/(Rud72×188-Rextss×192)]
[1084] 这里,Rud72是立体视觉输出模式中自BD-ROM驱动器的数据速率。
[1085] Rextss是EXTss的平均位速率,从下式导出。
[1086] Rextss=ceil[Nsp×188×8/(ATCDextss/27000000)]
[1087] ATCDextss=ATCstart_extssnext-ATCstart_extss
[1088] ATCDextss = ATClast_extss-ATCstart_extss+ceil(27000000x188x8/min(Rts1,Rts2))
[1089] ATCDextss是EXTss的ATC期间。
[1090] ATCstart_EXTSS是由EXTss中的源数据包串的ATC字段指示的最小ATC值。 [1091] ATCstart_EXTssnext是由EXTssnext中的源数据包串的ATC字段指示的最小ATC值。
[1092] ATClast_EXTSS是由EXTss中的源数据包串的ATC字段指示的最大ATC值。 [1093] Nsp是主TS、副TS中的源数据包,是具有对应于位于ATCDexss的范围内的ATC的ATC值之源数据包的个数。
[1094] Rts1是主TS中的TS记录速率的值,其最大值为48Mbps。
[1095] Rts2是副TS中的TS记录速率的值,其最大值为48Mbps。
[1096] 在连续再现存在两个播放项目的情况下,EXTss包含被Previous播放项目(播放项目1)使用的ATC序列的最初数据字节。
[1097] .EXTss具有条件4中定义的最小区段尺寸以上的尺寸。
[1098] .EXTss是被Previous播放项目使用的ATC序列的最初数据字节的情况下,Previous播放项目的连接条件信息不设定为=5、=6。此时,也可不满足EXTss的尺寸。 [1099] EXTss包含被当前播放项目(播放项目2)使用的ATC序列的数据字节。
[1100] .EXTss具有条件4中定义的最小区段尺寸以上的尺寸。
[1101] .EXTss是被播放项目2使用的ATC序列的最后数据字节的情况下,播放项目2的连接条件信息不设定为=5、=6。此时,也可不满足EXTss的尺寸。
[1102] <基础视野数据块、从属视野数据块的记录细节>
[1103] 当将主TS中的GOP及副TS中的GOP记录在记录介质中时,扩展入口地图中的扩展入口地图的入口是从属视野图片数据,应以相同再现时刻再 现的基础视野图片数据仅指示由基本入口地图的入口指示的基础视野图片数据。
[1104] 为了实现这种指示,如下执行记录处理。
[1105] 当记录处理时,尝试从属视野数据块及基础视野数据块的边界与从属视野GOP及基础视野GOP的边界一致。该边界一致通过将副TS中的GOP(i)的开头视频访问单元的访问单元定界符分割为从属视野数据块的边界,将主TS中的GOP(i)的开头视频访问单元的访问单元定界符分割为基础视野数据块的边界来执行。该分割时必需满足在先所述的区段长度的制约。
[1106] 在分割时,在基础视野数据块、从属视野数据块之一不满足不使再现装置的两倍缓冲器下溢的区段长度的制约的情况下,通过在副TS中的GOP(i)的开头视频访问单元的访问单元定界符之前及主TS中的GOP(i)的开头视频访问单元的访问单元定界符之前之一中插入绑定数据包,尝试上述边界一致。
[1107] 在通过上述手法边界一致成功的情况下,将指示存储从属视野GOP的开头访问单元的访问单元定界符之源数据包的源数据包序号的入口追加到扩展入口地图。与此同时,将指示存储基础视野GOP的开头访问单元的访问单元定界符之源数据包的源数据包的入口追加到基本入口地图。
[1108] 若基于绑定数据包插入的边界一致不成功,则在存储从属视野GOP的开头访问单元的访问单元定界符之源数据包位于从属视野数据块中途的情况下,不将指示这种源数据包的入口追加到扩展入口地图。同样,在存储基础视野GOP的开头访问单元的访问单元定界符之源数据包位于基础视野数据块中途的情况下,不将指示这种源数据包的入口追加到扩展入口地图。
[1109] 通过从扩展入口地图中去除这种入口,保障基础视野、从属视野的组必然由基本入口地图、扩展入口地图的入口指示。
[1110] 在记录基础视野数据块、从属视野数据块之后,生成入口地图的处理通过从记录的立体视觉交互流文件中检测GOP开头、将指示该GOP开头的入口追加到入口地图的处理来实现。参照图54来说明通过GOP开头检测及入口追加来制作基本入口地图、扩展入口地图的步骤。
[1111] 图59是表示基本入口地图及扩展入口地图的制作步骤的流程图。
[1112] 在步骤S601中,在存储器上生成基本入口地图及扩展入口地图的雏 形,移动到步骤S602-步骤S610的循环。在该循环中,变量x指示GOP,在这种循环中,将变量x初始化为1(步骤S602),特定GOP(x)的开头(步骤S603),特定对应于GOP的开头PTS(x)的SPN(x)(步骤S604)。之后,执行步骤S605、步骤S607的判定。步骤S605是SPN(x)是否是EXT1[i]的开头的判定,若不是开头,则跳过步骤S606-步骤S609。若是开头,则在步骤S606中特定开头具有对应于PTS(x)的SPN(y)的EXT2[j]。
[1113] 步骤S607是特定EXT1[i]的变量i是否与特定EXT2[j]的变量j一致的判定,若不一致,则跳过以后的处理。若一致,则将表示PTS(x)-SPN(x)的组的EP_entry(x)追加到基本入口地图(步骤S608),将表示PTS(x)-SPN(y)的组的EP_entry(x)追加到扩展入口地图(步骤S609)。
[1114] 步骤S610是变量x是否指示最后GOP的判定,若不是最后,则将变量x加1后,移动到步骤S603。
[1115] <索引表的生成方法>
[1116] 实施方式6中所述的索引表可如下生成。在图55的流程图中,通过制作基础视野视频流、从属视野视频流、片段信息文件、播放列表信息文件,判明应记录在记录介质中的各播放列表的显示频率。其中,将快速播放标题中使用的播放列表的分辨率、显示频率或标题序号0-999指示的标题的播放列表的分辨率、显示频率设定为索引表的BDMV应用程序信息中的视频格式信息及帧速率信息。由此,播放列表再现时应适用的分辨率、显示频率在索引表中设定。
[1117] 图60是表示BD-J应用程序、BD-J对象、电影对象、索引表的制作步骤的流程图。步骤S701以对象指向编程来制作命令再现装置生成对播放列表的播放器实例的源程序,在步骤S702中,执行如此制作的源程序的编译或归档化,制作BD-J应用程序。
[1118] 步骤S703是BD-J对象的制作行程,步骤S704使用命令播放列表再现的指令记述电影对象。在步骤S705中,通过记述标题序号与BD-J对象的对应,制作索引表,在步骤S706中,选择构成快速播放标题的播放列表。在步骤S707中,制作表示快速播放标题中的播放列表的视频格式、视频速率的BDMV应用程序信息,并在步骤S708中,制作包含标题索引、BDMV应用程序信息的索引表。在步骤S709中,将BD-J对象、BD-J应用程序、 电影对象、索引表写入记录介质中。
[1119] 说明可由以上记录制作的记录介质。
[1120] 图61表示多层化的光盘的内部构成。
[1121] 第1段表示多层化的光盘的一例,第2段是沿水平方向拉伸描绘各记录层上存在的螺旋轨道的图。这些记录层中的螺旋轨道处理为一个连续的体积区域。体积区域由位于最内周的导入、位于最外周的导出、存在于其间的第1记录层的记录区域、第2记录层的记录区域、第3记录层的记录区域构成。这些第1记录层的记录区域、第2记录层的记录区域、第3记录层的记录区域构成一个连续的逻辑地址空间。
[1122] 体积区域以从开头访问光盘的单位分配序号,将该序号称为逻辑地址。从光盘读出数据通过指定逻辑地址来执行。这里,在BD-ROM等读入专用盘的情况下,基本上逻辑地址连续的扇区在光盘上的物理配置中也连续。即,可不进行寻址地读出逻辑地址连续的扇区的数据。但是,在记录层的边界,即便逻辑地址连续也不能连续读出。因此,设边界层的逻辑地址事先登录在记录装置中。
[1123] 体积区域在导入区域之后记录文件系统管理信息,其后存在由文件系统管理信息管理的分割区域。所谓文件系统是由称为目录或文件的单位来表现盘上数据的方式,在BD-ROM的情况下,由UDF(Universal Disc Format)记录。即便在日常使用的PC(电脑)的情况下,也可通过称为FAT或NTFS的文件系统,在计算机上表现以目录或文件等构造记录在硬盘中的数据,提高用户能力。通过该文件系统,可使用目录、文件构造来读出与通常PC一样记录的逻辑数据。
[1124] 第4段表示由文件系统管理的文件系统区域中的区域分配。文件系统区域中,内周侧存在非AV数据记录区域。在非AV数据记录区域之后,存在AV数据记录区域。第5段表示这些非AV数据记录区域及AV数据记录区域的记录内容。在AV数据记录区域中,存在构成AV文件的区段。在非AV数据记录区域中,存在构成AV文件以外的非AV文件的区段。 [1125] 图62表示以文件系统为前提的光盘的应用程序格式。
[1126] BDMV目录是记录由BD-ROM处理的TS或管理信息等数据的目录。在BDMV目录之下存在称为‘播放列表目录’、‘CLIPINF目录’、‘STREAM 目录’、‘BDJO目录’、‘JAR目录’的5个副目录,BDMV目录中配置‘index.bdmv’、‘MovieObject.bdmv’等两种文件。 [1127] ‘index.bdmv(文件名固定)’存储索引表。
[1128] ‘MovieObject.bdmv(文件名固定)’存储一个以上电影对象。电影对象是在将指令翻译器设为控制主体的动作模式(HDMV模式)中、规定再现装置应执行的控制步骤的程序文件,包含一个以上的指令与屏蔽标志,该屏蔽标志规定在用户对GUI进行菜单调用、标题调用的情况下是否屏蔽这些调用。
[1129] ‘BDJO目录’中存在赋予扩展符bdjo的程序文件(xxxxx.bdjo[‘xxxxx’可变,扩展符‘bdjo’固定])。该程序文件存储规定BD-J模式中再现装置应执行的控制步骤的BD-J对象。
[1130] 相当于该Java(注册商标)应用程序实体的是存储在BDMV目录之下的JAR目录中的Java(注册商标)档案文件(YYYYY.jar)。
[1131] 应用程序例如是Java(注册商标)应用程序,由加载于虚拟机的堆栈区域(也称为工作存储器)上的一个以上xlet程序构成。由该加载于工作存储器上的xlet程序及数据构成应用程序。
[1132] ‘播放列表目录’中存在赋予扩展符mpls的播放列表信息文件(xxxxx.mpls[‘xxxxx’可变,扩展符‘mpls’固定])。
[1133] ‘CLIPINF目录’中存在赋予扩展符clpi的片段信息文件(xxxxx.clpi[‘xxxxx’可变,扩展符‘clpi’固定])。
[1134] 将构成以上目录中存在的文件的区段记录在非AV数据区域中。
[1135] ‘STREAM目录’是存储流文件的目录,在该目录中,以xxxxx.m2ts([‘xxxxx’可变,扩展符‘m2ts’固定])的形式存储流文件。
[1136] 上述文件在分割区域中形成于物理连续的多个扇区上。分割区域由‘记录文件组记述符的区域’、‘记录终端记述符的区域’、‘ROOT目录区域’、‘BDMV目录区域’、‘JAR目录区域’、‘BDJO目录区域’、‘播放列表目录区域’、‘CLIPINF目录区域’、‘STREAM目录区域’构成,是由文件系统访问的区域。后面说明这些区域。
[1137] ‘文件组记述符’包含指示目录区域中记录ROOT目录的文件入口的扇区的逻辑块序号(LBN)。‘终端记述符’表示文件组记述符的终端。
[1138] 下面,说明目录区域的细节。上述多个目录区域均具有共同的内部构成。即,‘目录区域’由‘文件入口’、‘目录文件’与‘下位文件的文件记录区域’构成。 [1139] ‘文件入口’包含‘记述符标签’、‘ICB标签’与‘定位记述符’。
[1140] ‘记述符标签’是表示自身是文件入口的标签。
[1141] ‘ICB标签’表示涉及文件入口自身的属性信息。
[1142] ‘定位记述符’包含表示目录文件的记录位置的逻辑块序号(LBN)。以上是对文件入口的说明。下面,说明目录文件的细节。
[1143] ‘目录文件’包含‘下位目录的文件识别记述符’与‘下位文件的文件识别记述符’。 [1144] ‘下位目录的文件识别记述符’是用于访问位于自身之下的下位目录的参照信息,由表示该下位目录的识别信息、该下位目录的目录名的长度、表示下位目录的文件入口记录在哪个逻辑块序号中的文件入口地址、与该下位目录的目录名构成。
[1145] ‘下位文件的文件识别记述符’是用于访问位于自身之下的文件的参照信息,由表示该下位文件的识别信息、该下位文件名的长度、表示下位文件的文件入口记录在哪个逻辑块序号中的文件入口地址、与下位文件的文件名构成。
[1146] 由于这些目录的目录文件中的文件识别记述符中示出下位目录及下位文件的文件入口记录在哪个逻辑块中,所以若搜索该文件识别记述符,则可从ROOT目录的文件入口到达BDMV目录的文件入口,另外,可从BDMV目录的文件入口到达播放列表目录的文件入口。同样,也可到达JAR目录、BDJO目录、CLIPINF目录、STREAM目录的文件入口。 [1147] 所谓‘下位文件的文件记录区域’是记录位于某个目录之下的下位文件实体的区域,记录该下位文件的‘文件入口’与一个以上‘区段’。
[1148] 构成本申请主题的流文件是存在于该文件归属的目录的目录区域内的文件记录区域,通过搜索目录文件中的文件识别记述符及文件入口中的定位识别符,可访问。 [1149] (第10实施方式)
[1150] 在本实施方式中,说明将此前的实施方式中说明的再现装置的功能统 合后的2D/3D再现装置的内部构成。
[1151] 图63表示2D/3D再现装置的构成。2D/3D再现装置由BD-ROM驱动器1、读取缓冲器2a、读取缓冲器2b、开关3、系统目标解码器4、平面存储器组5a、平面合成部5b、HDMI发送接收部6、再现控制部7、存储器、寄存器组203、程序执行部11、程序存储器12、HDMV模块13、BD-J平台14、中间件15、模式管理模块16、用户事件处理部17、本地存储器18、非易失性存储器19构成。
[1152] BD-ROM驱动器1与2D再现装置一样,根据来自再现控制部7的要求,从BD-ROM盘中读出数据,但将从BD-ROM盘中读出的AV片段传送到读取缓冲器2a或读取缓冲器2b。 [1153] 当再现3D映像时,从再现控制部7发出指示以区段单位交互读出基础视野数据块与从属视野数据块的读出要求。BD-ROM驱动器1将构成基础视野数据块的区段读出到读取缓冲器2a,将构成从属视野数据块的区段读出到读取缓冲器2b。当再现3D映像时,由于必需同时读入基础视野数据块与从属视野数据块双方,所以要求高于2D再现装置的BD-ROM驱动器的速度性能。
[1154] 读取缓冲器2a是由存储BD-ROM驱动器1读入的基础视野数据块的数据之双端口存储器等构成的缓冲器。
[1155] 读取缓冲器2b是由存储BD-ROM驱动器1读入的从属视野数据块的数据之双端口存储器等构成的缓冲器。
[1156] 开关3是用于将对读取缓冲器的数据输入源切换到BD-ROM驱动器1或本地寄存器18之一的开关。
[1157] 系统目标解码器4对读出到读取缓冲器2a的源数据包与读出到读取缓冲器2b的源数据包进行多路复用分离处理,进行流的解码处理。
[1158] 平面存储器组5a由多个平面存储器构成。平面存储器中有左视野视频平面、右视野视频平面、次要视频平面、IG平面、PG平面等。
[1159] 平面合成部5b执行此前的实施方式中说明的平面合成。在向电视等输出的情况下,执行符合3D方式的输出。在必需利用快门眼镜交互地再现左眼图象、右眼图象的情况下,原样输出,例如在输出到透镜电视的情况下,准备暂时的缓冲器,将先传送的左眼图象存储在暂时缓冲器中,在传送右 眼图象之后,同时输出。
[1160] HDMI发送接收部6例 如在HDMI标准(HDMI:High DefinitionMultimedia Interface)下执行第1实施方式中所述的协议阶段。在协议阶段中,可从电视受理涉及是否对应于立体视觉显示的信息、涉及可平面显示的分辨率的信息、涉及可立体显示的分辨率的信息。
[1161] 再现控制部7包含再现引擎7a与再现控制引擎7b,若从程序执行部11等命令再现3D播放列表,则特定3D播放列表中构成再现对象的播放项目的基础视野数据块,并特定与该播放项目同步再现的3D用副路径的副播放项目的从属视野数据块。之后,解释对应的片段信息文件的入口地图,根据表示先从哪个区段开始配置区段的区段开始类型,要求BD-ROM驱动器1从再现开始地点交互读出基础视野数据块的区段与从属视野数据块的区段。当再现开始时,在将最初的区段读出到读取缓冲器2a或读取缓冲器2b之后,开始从读取缓冲器2a与读取缓冲器2b向系统目标解码器4传送。
[1162] 再现引擎7a执行AV再现功能。所谓AV再现功能是沿袭DVD再现装置、CD再现装置的功能群,是再现开始、再现停止、暂停、暂停的解除、静止图像功能的解除、立即指定再现速度的快进、立即指定再现速度的回退、声音切换、次要视频用图片数据切换、角度切换等处理。
[1163] 再现控制引擎7b对应于来自作为HDMV模式的动作主体的指令翻译器、作为BD-J模式的动作主体的Java平台的函数调用,执行播放列表的再现功能。所谓播放列表再现功能是指根据构成当前播放列表的当前播放列表信息、当前片段信息来执行上述AV再现功能中再现开始或再现停止。
[1164] 存储器是用于存储当前播放列表信息或当前片段信息的存储器。所谓当前播放列表信息是指可从BD-ROM或内置媒体驱动器、可移动媒体驱动器访问的多个播放列表信息中构成当前处理对象的播放列表信息。所谓当前片段信息是指可从BD-ROM或内置媒体驱动器、可移动媒体驱动器访问的多个片段信息中构成当前处理对象的片段信息。 [1165] 再现状态/设定寄存器(Play Status/Setting Register)组10除此前的实施方式中描述的再现状态寄存器、再现设定寄存器外,还包含可存储程序文件利用的任意信息的通用寄存器。
[1166] 程序执行部11是执行存储在BD程序文件中的程序的处理器。根据存 储的程序执行动作,进行如下控制。(1)对再现控制部7命令播放列表再现。(2)对系统目标解码器传送菜单或游戏的图形用PNG、JPEG后显示于画面中。这些控制可对应于程序来自由执行,如何控制由基于创制工序的BD-J应用程序的编程工序来决定。
[1167] 程序存储器12存储当前的动态脚本,是供作为HDMV模式的动作主体的HDMV模块、作为BD-J模式的动作主体的Java平台执行的处理的存储器。所谓当前动态脚本是指记录在BD-ROM中的Index.bdmv、BD-J对象、电视对象中变为当前执行对象的对象。另外,程序存储器12包含堆栈存储器。
[1168] 堆栈存储器是配置系统应用程序的字节代码、BD-J应用程序的字节代码、系统应用程序利用的系统参数、BD-J应用程序利用的应用程序参数的堆栈区域。
[1169] HDMV模块13具备指令翻译器,通过解读并执行构成电影对象的导航指令,执行HDMV模式的控制。
[1170] BD-J平台14是作为BD-J模式的动作主体的Java平台,完整安装Java2Micro_Edition(J2ME)Personal Basis Profile(PBP1.0) 与 GloballyExecutable MHPspecification(GEM1.0.2)for package media targets,由等级加载器、字节代码翻译器、应用程序管理器构成。
[1171] 等级加载器是系统应用程序之一,通过从存在于JAR档案文件中的等级认捐读出字节代码,存储在堆栈存储器31中,进行BD-J应用程序的加载。
[1172] 字节代码翻译器是所谓的Java虚拟机,将存储在堆栈存储器中的构成BD-J应用程序的字节代码、构成系统应用程序的字节代码变换为本地代码,让MPU执行。
[1173] 应用程序管理器是系统应用程序之一,根据BD-J对象内的应用程序管理表,执行起动BD-J应用程序或终止BD-J应用程序等BD-J应用程序的应用程序信号化。以上结束对BD-J平台部的内部构成的说明。
[1174] 中间件15是组入软件用的操作系统,由核心、器件驱动器构成。核心对应于来自BD-J应用程序的应用程序编程界面(API)的调用,将再现装置特有的功能提供给BD-J应用程序。另外,实现利用中断信号来起动中断处 理部等的硬件控制。
[1175] 模式管理模块16保持从BD-ROM或内置媒体驱动器、可移动媒体驱动器读出的index.bdmv,进行模式管理及分支控制。所谓基于模式管理模块的模式管理是让BD-J平台22、HDMV模块哪个执行动态脚本等模块的分配。
[1176] 用户事件处理部17响应于通过遥控器的用户操作,委托程序执行部16或再现控制部7执行处理。例如,在由遥控器按下按钮的情况下,委托程序执行部16执行该按钮中包含的指令。例如,在由遥控器按下快进、回退按钮的情况下,命令再现控制部7执行对当前再现的播放列表的AV片段的快进、回退处理。
[1177] 本地存储器18具备用于访问硬盘的内置媒体驱动器、用于访问半导体存储卡的可移动媒体驱动器,用于保存可下载的追加内容或应用程序使用的数据等。对每个BD-ROM区分追加内容的保存区域,另外,对每个应用程序区分应用程序在数据保持中可使用的区域。
[1178] 非易失性存储器19是可读写存储器等记录介质,是即便不供电也可保持记录内容的媒体,例如快闪存储器、FeRAM等。其用于寄存器组203中的存储内容的备份。 [1179] (第11实施方式)
[1180] 以后的实施方式是用于实施与附加于构成本申请优先权主张基础的专利申请申请书的说明书及附图中记载的发明相同发明(下面称为本发明)的方式。
[1181] 首先,说明根据本发明的记录介质的实施行为中使用行为的方式。图64(a)是表示根据本发明的记录介质的使用行为方式的图。该图中,根据本发明的记录介质是BD-ROM101。该BD-ROM101用于向由再现装置102、电视103、遥控器104构成的家庭影院系统提供电影作品。
[1182] 以上是对根据本发明的记录介质使用方式的说明。
[1183] 下面,说明作为根据本发明的记录介质的BD-ROM的、用于存储2D映像的数据构造。
[1184] 图64(b)是表示BD-ROM的构成的图。
[1185] 该图的第4段示出BD-ROM101,第3段示出BD-ROM上的轨道。沿 横向拉伸描绘该图的轨道、从BD-ROM101的内周向外周螺旋状形成的轨道。BD-ROM101与其他光盘、例如DVD或CD等一样从其内周向外周拉伸状地具有记录区域,在内周的导入与外周的导出之间具有可记录逻辑数据的体积区域。体积区域以从开头起访问光盘的单位分配序号,将该序号称为逻辑地址。从光盘读出数据通过指定逻辑地址来执行。这里,定义为逻辑地址即便在光盘上的物理配置中也连续。即,可不进行寻址地读出逻辑地址连续的数据。但是,在导入的内侧,存在称为BCA(Burst Cutting Area)的仅驱动器读出的特别区域。该区域不被应用程序读出,例如可较好地用于著作权保护技术等。
[1186] 在体积区域中,从开头起记录文件系统的体积信息,接着记录映像数据等应用程序数据。所谓文件系统是指以称为目录或文件的单位来表现盘上的数据的方式,在BD-ROM101的情况下,由UDF(Universal Disc Format)记录。即便在日常使用的PC(电脑)的情况下,也可通过称为FAT或NTFS的文件系统,在计算机上表现以目录或文件等构造记录在硬盘中的数据,提高用户能力。通过该文件系统,可使用目录、文件构造来读出与通常PC一样记录的逻辑数据。
[1187] BD-ROM101上的目录、文件构造在根目录(ROOT)之下设置BDMV目录。BDMV目录是记录由BD-ROM101处理的AV内容或管理信息等数据的目录。在BDMV目录之下,存在定义构成标题的索引表的索引文件(index.bdmv)、播放列表目录、CLIPINF目录、STREAM目录、BDJO目录、JAR目录。多路复用、存储映像、声音等AV内容的AV片段(XXX.M2TS)、存储AV片段的管理信息的片段信息文件(XXX.CLPI)、定义AV片段的逻辑再现路径的播放列表文件(YYY.MPLS)、存储用于定义动态脚本的程序的BD程序文件(AAA.PROG)分别配置在所述STREAM目录、CLIPINF目录、播放列表目录之下。
[1188] 下面,说明设置在BDMV目录之下的各文件的数据构造。
[1189] 首先,说明索引文件(index.bdmv)。索引文件具有图64(c)所示的索引表。索引表是定义存储在BD-ROM中的全部标题、顶部菜单、FirstPlay等标题构成的最上位层的表。向该表指定从全部标题、顶部菜单、FirstPlay最初执行的程序文件。BD-ROM的再现器每当调用标题或菜单时,都参照 索引表,执行规定的BD程序文件。这里,所谓FirstPlay由内容提供商设定,设定盘插入时自动执行的BD程序文件。另外,顶部菜单当通过遥控器的用户操作执行‘返回菜单’等指令时,指定调用的电影对象、BDJ对象。
[1190] BD程序文件(AAA.PRG)存储从标题指定、执行的程序。程序文件有多个,前缀(AAA)用于识别程序。这里使用的程序虽然使用在蓝光的情况下称为指令导航的独自规格的翻译器方式的程序,但因为语言方式不是本发明的本质,所以即便是Java或JavaScrip等通用编程语言也无妨。指定由该程序再现的播放列表。
[1191] 接着,说明AV片段(XXX.M2TS)与片段信息文件(XXX.CLPI)。
[1192] AV片段是MPEG-2传输流形式的数字流。
[1193] 图65(a)是表示AV片段的构成的图。如该图所示,AV片段通过多路复用视频流、音频流、显象图形流(PG流)、交互式图形流中一个以上来得到。视频流表示电影的主映像和副映像,音频流(IG)表示电影的主声音与同该主声音混音的副声音,显象图形流表示电影的字幕。这里,所谓主映像表示画面中显示的通常映像,所谓副映像是在主映像中以小的画面显示的映像。另外,交互式图形流表示通过在画面上配置GUI部件来制作的对话画面。视频流使用MPEG-2、MPEG-4、AVC或SMPTE VC-1等方式编码记录。音频流以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或线性PCM等方式压缩、编码记录。
[1194] 说明视频流的构成。在MPEG-2、MPEG-4、AVC、SMPTE VC-1等动画压缩编码中,利用动态图像的空间方向和时间方向的冗余性来进行数据量的压缩。作为利用时间方向的冗余性的方法,使用图片间预测编码。在图片间预测编码中,当编码某个图片时,将显示时间顺序上位于前方或后方的图片设为参照图片。之后,检测距该参照图片的运动量,通过对进行了运动补偿的图片与编码对照图片的差分值去除空间方向的冗余度,进行数据量的压缩。 [1195] 这里,将不具有参照图片而仅使用编码对象图片来进行图片内预测编码的图片称为I图片。所谓图片是包含帧和字段两者的一个编码的单位。另外,将参照已处理完的一个图片进行图片间预测编码的图片称为P图片, 将同时参照已处理完的两个图片进行图片间预测编码的图片称为B图片,将B图片中从其他图片参照的图片称为Br图片。另外,帧构造时的帧、字段构造的字段在这里称为视频访问单元。
[1196] AV片段中包含的各流由PID识别。例如,向电影映像中利用的视频流分配排列x1011,向音频流分配排列x1100至0x111F,向显象图形流分配排列x1200至0x121F,向交互式图形流分配排列x1400至0x141F,向电影副映像中利用的视频流分配排列x1B00至0x1B1F,向与主声音混音的副声音中利用的音频流分配排列x1A00至0x1A1F。
[1197] 图65(b)是模式表示如何多路复用AV片段的图。首先,将由多个视频帧构成的视频流501、由多个音频帧构成的音频流504分别变换为PES数据包串502和505,并变换为TS数据包503和506。同样,将显象图形流507和交互式图形510的数据分别变换为PES数据包串508和511,再变换为TS数据包509和512。AV片段步骤S513通过将这些TS数据包多路复用于一个流来构成。
[1198] 图66(a)进一步详细示出PES数据包串中如何存储视频流。该图中的第1段表示视频流的视频帧串。第2段表示PES数据包串。如该图的箭头yy1、yy2、yy3、yy4所示,作为视频流中多个Video Presentation Unit的I图片、B图片、P图片对每个图片分割,存储在PES数据包的负荷中。各PES数据包具有PES头,PES头中存储作为图片显示时刻的PTS(PresentationTime-Stamp)或作为图片解码时刻的DTS(Decoding Time-Stamp)。 [1199] 图66(b)表示最终写入AV片段中的TS数据包的形式。TS数据包是由具有识别流的PID等信息的4字节TS头与存储数据的184字节的TS负荷构成的188字节固定长度的数据包,分割上述说明的PES数据包,存储在TS负荷中。在BD-ROM的情况下,向TS数据包赋予4字节的TP_extra_Header,构成192字节的源数据包,写入AV片段中。在TP_extra_Header中记载ATS(Arrival_Time_Stamp)等信息。ATS表示该TS数据包向后述的系统目标解码器1503的PID滤波器的传送开始时刻。AV片段中如图66(b)下段所示,排列源数据包,将从AV片段的开头起加1的序号称为SPN(源数据包号)。
[1200] 另外,AV片段中包含的TS数据包中,除映像、声音、字幕等各流以 外,还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示AV片段中利用的PMT的ID是什么,由PAT自身的PID排列登录。PMT具有AV片段中包含的映像、声音、字幕等各流的PID和与各PID对应的流的属性信息,另外,具有涉及AV片段的各种描述符。描述符中有指示允许、不允许AV片段拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)的同步,具有对应于将该PCR数据包传送到解码器的ATS的STC时间的信息。
[1201] 图67(a)是详细说明PMT的数据构造的图。在PMT的开头配置记述该PMT中包含的数据长度等的PMT头。在其后面,配置多个涉及AV片段的描述符。所述拷贝控制信息等作为描述符记载。在描述符之后,配置多个涉及AV片段中包含的各流的流信息。流信息由用于识别流的压缩多媒体数字信号编解码器等的流类型、流的PID、记载流的属性信息(帧速率、纵横比等)的流描述符构成。存在AV片段中存在的流数量个流描述符。
[1202] 片段信息文件如图67(b)所示,是AV片段的管理信息,与AV片段一对一对应,由片段信息、流属性信息与入口地图构成。
[1203] 片段信息如图67(b)所示,由系统速率、再现开始时刻、再现终止时刻构成。系统速率表示AV片段向后述的系统目标解码器的PID滤波器的最大传送速率。设定为AV片段中包含的ATS间隔为系统速率以下。再现开始时刻是AV片段的开头视频帧的PTS,再现终止时刻设定向AV片段的终端视频帧的PTS加上1帧大小的再现间隔后的时刻。
[1204] 流属性信息如图68(a)所示,对每个PID登录AV片段中包含的各流的属性信息。属性信息对视频流、音频流、显象图形流、交互式图形流每个具有不同的信息。视频流属性信息具有该视频流由哪种压缩多媒体数字信号编解码器压缩、构成视频流的各个图片数据的分辨率为多少、纵横比为多少、帧速率为多少等信息。音频流属性信息具有该音频流由哪种压缩多媒体数字信号编解码器压缩、该音频流中包含的信道数量为多少、对应于哪种语言、采样频率为多少等信息。这些信息用于播放器再现之前的解码器的初始化等。 [1205] 入口地图如图68(b)所示,是记载了入口地图头信息101、表示AV片 段内包含的视频流的各I图片的显示时刻之PTS、与各I图片开始的AV片段的SPN的表信息。这里,将构成表一行所示的对的PTS与SPN的信息称为入口点。另外,将开头作为0、对每个入口点加1的值称为入口点ID(下面为EP_ID)。通过利用该入口地图,再现器可特定对应于视频流时间轴上任意地点的AV片段的文件位置。例如,当快进、回退的特殊再现时,通过特定选择再现入口地图中登录的I图片,可不解析AV片段地高效进行处理。另外,对AV片段内多路复用的各视频流每个制作入口地图,由PID管理。另外,入口地图中在开头存储入口地图头信息1101,这里存储对应入口地图指示的视频流的PID或入口点数量等信息。
[1206] 下面,说明播放列表文件(YYY.MPLS)。
[1207] 播放列表表示AV片段的再现路径。如图69(a)所示,播放列表由一个以上播放项目1201构成,各播放项目表示对AV片段的再现区间。各播放项目1201分别由播放项目ID识别,按播放列表内应再现的顺序记述。另外,播放列表包含表示再现开始点的入口标志1202。入口标志1202可赋予由播放项目定义的再现区间内,如图69(a)所示,附加于相对播放项目构成再现开始点的位置,用于出头再现。例如,就电影标题而言,通过将入口标志1202赋予构成章节开头的位置,可再现章节。这里与主路径1205一起定义一连串播放项目的再现路径。
[1208] 用图69(b)来说明播放项目的内容。播放项目中包含再现的片段信息1301与再现开始时刻1302和再现终止时刻1303、连接条件1310、流选择表1305。再现开始时刻与再现终止时刻是时间信息,所以再现器参照片段信息文件的入口地图,取得对应于指定的再现开始时刻和再现终止时刻的SPN,特定读出开始位置,进行再现处理。
[1209] 连接条件1310表示前方播放项目与连接类型。在播放项目的连接条件1310为‘1’的情况下,播放项目指示的AV片段表示不保证与该播放项目之前的播放项目指示的AV片段无缝连接。在播放项目的连接条件1310为‘5’或‘6’的情况下,播放项目指示的AV片段保证与该播放项目之前的播放项目指示的AV片段无缝连接。在连接条件1310为‘5’的情况下,中在播放项目间中断STC的连续性,即,连续后播放项目的AV片段开头的视频显示时刻开始时刻比连续前播放项目的AV片段终端的视频显示时 刻还不连续。当将连续前播放项目的AV片段输入后述的系统目标解码器1503的PID滤波器之后,接着将连续后播放项目的AV片段输入系统目标解码器1503的PID滤波器并再现时,必需系统目标解码器1503的解码无破绽地制作AV片段。另外,存在连续前播放项目的AV片段的音频终端帧与连续后播放项目的音频开头帧在再现时间轴上必需不重合等制约条件。另外,在连接条件
1310为‘6’的情况下,当结合连续前播放项目的AV片段与连续后播放项目的AV片段时,必需作为一个AV片段再现。即,连续前播放项目的AV片段与连续后播放项目的AV片段之间STC连续,另外ATC也连续。
[1210] 流选择表1305由多个流入口1309构成,流入口1309由流选择序号1306、流路径信息1307、流识别信息1308构成。流选择序号1306是从流选择表中包含的流入口1309的开头顺序加1的序号,用于播放器的流识别。流路径信息1307是表示将由流识别信息1308所示的流多路复用于哪个AV片段上的信息,例如若是‘主路径’,则表示对应的播放项目的AV片段,若是‘副路径ID=1’,则表示该副路径ID所示的副路径中、对应于该播放项目的再现区间的副播放项目的AV片段。副路径在下节中说明。流识别信息1308是PID等信息,表示多路复用于参照的AV片段的流。另外,流入口1309中还同时记录各流的属性信息。这里,所谓属性信息是表示各流的性质的信息,例如在音频、显象图形、交互式图形的情况下,包含语言属性等。
[1211] 播放列表如图69(c)所示,可具有一个以上的副路径。副路径按登录到播放列表的顺序分配ID,作为副路径ID,用于识别副路径。副路径表示与主路径同步再现的一连串再现路径。副播放项目具有与播放项目一样再现的片段信息1301、与再现开始时刻1302和再现终止时刻1303,副播放项目的再现开始时刻1302与再现终止时刻1303以与主路径相同的时间轴表示。例如,播放项目#2的流选择表1305中登录的某个流入口1309以副路径ID=0表示显象图形1的情况下,副路径ID=0的副路径中,播放项目#2的再现区间中同步再现的副播放项目#2的AV片段中多路复用的显象图形1在播放项目#2再现区间中再现。另外,副播放项目中存在与播放项目的连接条件具有相同含义的SP连接条件等字段。SP连接条件为‘5’或‘6’ 的副播放项目边界的AV片段必需遵守与连接条件‘5’或‘6’相同的上述条件。
[1212] 以上是作为根据本发明的记录介质的BD-ROM的、用于存储2D映像的数据构造。 [1213] 接着,说明再现根据本发明的存储2D映像的BD-ROM的再现装置(2D再现装置)。 [1214] 图70(a)表示2D再现装置1500的构成。2D再现装置1500由BD-ROM驱动器1501、读取缓冲器1502、系统目标解码器1503、程序记录存储器1504、管理信息记录存储器1505、程序执行部1506、再现控制部1507、播放器变量1508、用户事件处理部1509、平面加法部1510构成。
[1215] BD-ROM驱动器1501根据来自再现控制部1507的要求,从BD-ROM盘中读出数据。分别将从BD-ROM盘中读出的AV片段传送到读取缓冲器1502,将索引文件、播放列表文件、片段信息文件传送到管理信息存储器1505,将电影对象文件传送到程序存储器1504。 [1216] 读取缓冲器1502是存储使用BD-ROM驱动器读入的数据的存储器等构成的缓冲器,管理信息记录存储器1505是存储索引文件、播放列表文件、片段信息文件的管理信息的存储器等构成的缓冲器,程序记录存储器1504是存储电影对象文件的存储器等构成的缓冲器。
[1217] 系统目标解码器1503对读出到读取缓冲器1502的源数据包进行多路复用分离处理,进行流的解码处理。从再现控制部1507传送AV片段中包含的流解码所需的、多媒体数字信号编解码器类型或流属性等信息。系统目标解码器1503将解码的主映像视频流、副映像视频流、交互式图形流、显象图形流写出到作为各个平面存储器的主映像平面、副映像平面、交互式图形平面(IG平面)、显象图形平面(PG平面)。另外,系统目标解码器1503将解码后的主声音流、副声音流混音后输出到扬声器等。系统目标解码器1503执行如下处理,即解码从程序执行部1506传送的菜单等中显示用的JPEG、PNG等图形数据,写出到图象平面。系统目标解码器1503的细节如后所述。
[1218] 用户事件处理部1509响应于通过遥控器的用户操作,委托程序执行部1506或再现控制部1507执行处理。例如,在由遥控器按下按钮的情况下, 委托程序执行部1506执行该按钮中包含的指令。例如,在由遥控器按下快进、回退按钮的情况下,命令再现控制部1507执行对当前再现的播放列表的AV片段的快进、回退处理。
[1219] 再现控制部1507具有控制BD-ROM驱动器1501与系统目标解码器1503、控制AV片段再现的功能。再现控制部1507根据来自程序执行部1506的再现命令或来自用户事件处理部1509的通知,解释播放列表信息,控制AV片段的再现处理。另外,再现控制部1507执行播放器变量1508的设定或参照,进行再现动作。
[1220] 播放器变量1508有表示播放器状态的系统参数(SPRM)与可用作一般用途的一般参数(GPRM)。
[1221] 图70(b)是系统参数(SPRM)的一览。
[1222] SPRM(0):语言代码
[1223] SPRM(1):主声音流序号
[1224] SPRM(2):字幕流序号
[1225] SPRM(3):角度序号
[1226] SPRM(4):标题序号
[1227] SPRM(5):章节序号
[1228] SPRM(6):程序序号
[1229] SPRM(7):单元序号
[1230] SPRM(8):选择键信息
[1231] SPRM(9):导航计时器
[1232] SPRM(10):再现时刻信息
[1233] SPRM(11):卡拉OK用混音模式
[1234] SPRM(12):家长管理用国家信息
[1235] SPRM(13):家长管理级别
[1236] SPRM(14):播放器设定值(视频)
[1237] SPRM(15):播放器设定值(音频)
[1238] SPRM(16):声音流用语言代码
[1239] SPRM(17):声音流用语言代码
[1240] SPRM(18):字幕流用语言代码
[1241] SPRM(19):字幕流用语言代码
[1242] SPRM(20):播放器区域代码
[1243] SPRM(21):2D/3D输出模式的用户优先选择
[1244] SPRM(22):当前的2D/3D输出模式
[1245] SPRM(23):显示器的3D映像显示能力
[1246] SPRM(24):3D映像再现能力
[1247] SPRM(25):预备
[1248] SPRM(26):预备
[1249] SPRM(27):预备
[1250] SPRM(28):预备
[1251] SPRM(29):预备
[1252] SPRM(30):预备
[1253] SPRM(31):预备
[1254] SPRM(10)每当显示属于AV片段的各图片数据时被更新。即,再现装置若显示新的图片数据,则将SPRM(10)更新为该新的图片数据的显示时刻(PTS)。若参照该SPRM(10),则可知道当前的再现时刻。
[1255] SPRM(16)的声音流用语言代码和SPRM(18)的字幕流用语言代码是播放器的OSD等可设定的项目,表示播放器的默认语言代码。例如,若SPRM(16)的声音流用语言代码是英语,则可将如下功能放入BD程序文件中,即通过再现播放列表,从播放项目的流选择表中检索具有相同语言代码的流入口,选择该声音流后再现。
[1256] 另外,再现控制部1507可边检查系统参数的状态边再现。另外,SPRM(1)、SPRM(2)、SPRM(21)、SPRM(22)分别表示声音流序号、字幕流序号、副映像流、副声音流的序号,这些值对应于上述的流选择序号606。例如,设由程序执行部1506变更声音流序号SPRM(1)。再现控制部1507从当前再现的播放项目的流选择表605中,与流选择序号606比较,参照一致的流入口609,切换再现的声音流。这样,切换再现哪个声音、字幕、副映像流。
[1257] 程序执行部1506是执行BD程序文件中存储的程序的处理器。根据存储的程序,执行动作,进行如下控制。(1)对再现控制部1506命令播放列表 再现。(2)对系统目标解码器传送菜单或游戏图形用PNG、JPEG,显示于画面中。这些控制可对应于程序制作来自由地进行,如何控制由基于创制工序的BD程序文件的编程工序决定。
[1258] 平面加法部瞬时重叠主映像平面、副映像平面、交互式图形平面、显象图形平面、图象平面,显示于TV等的画面中。
[1259] 下面,参照图71来说明系统目标解码器1503。
[1260] 源去包器解释传送到系统目标解码器1503的源数据包,取出TS数据包,并送出到PID滤波器。当该送出时,对应于各源数据包的ATS调整向解码器的输入时刻。具体而言,在ATC计数器生成的ATC值与源数据包的ATS值相同的瞬间,根据AV片段的记录速率,仅将该TS数据包传送到PID滤波器。
[1261] PID滤波器将从源去包器输出的TS数据包中、TS数据包的PID与再现必需的PID一致的TS数据包按照PID传送到主映像视频解码器、副映像视频解码器、IG解码器、PG解码器、声音解码器、副声音解码器。例如,在BD-ROM的情况下,当TS数据包中包含的PID为0x1011时,传送到主映像视频解码器,当PID为0x1B00-0x1B1F时,传送到副映像视频解码器,当PID为0x1100-0x111F时,传送到主声音解码器,当PID为0x1A00-0x1A1F时,传送到副声音解码器,当PID为0x1200-0x121F时,传送到PG解码器,当PID为0x1400-0x141F时,传送到IG解码器。
[1262] 主 映 像 视 频 解 码 器 由 TB(TransportStreamBuffer)1701、MB(MultiplexingBuffer)1702、EB(ElementaryStreamBuffer)1703、压缩映像解码器1704、DPB(Decoded Picture Buffer)1705构成。
[1263] TB1701是当包含视频流的TS数据包从PID滤波器1702输出时、暂时原样存储TS数据包的缓冲器。
[1264] MB1702是当从TB1701向EB1702输出视频流时暂时存储PES数据包用的缓冲器。当从TB1701向MB1702传送数据时,去除TS数据包的TS头。
[1265] EB1703是存储处于编码状态的图片(I图片、B图片、P图片)的缓冲器。当从MB1702向EB1703传送数据时,去除PES头。
[1266] 压缩映像解码器1704通过在每个规定的解码时刻(DTS)解码视频基本 流的各个视频访问单元,制作帧/字段图像。由于多路复用于AV片段的视频流的压缩编码形式中有MPEG2、MPEG4AVC、VC1等,所以对应于流的属性,切换压缩映像解码器1704的解码方法。压缩映像解码器1704将解码后的帧/字段图像传送到DPB1705,在显示时刻(PTS)的定时将对应的帧/字段图像写出到主映像平面。
[1267] DPB1705是暂时保持解码后的帧/字段图像的缓冲器。压缩映像解码器1704用于解码图片间预测编码的P图片或B图片等视频访问单元时,参照已解码的图片。
[1268] 副映像视频解码器具有与主映像视频解码器一样的构成,进行输入的副映像视频流的解码,在显示时刻(PTS)的定时将图片写出到副映像平面。
[1269] IG解码器从由源打包器输入的TS数据包中抽取交互式图形流并解码,在显示时刻(PTS)的定时将非压缩的图形数据写出到IG平面。
[1270] PG解码器从由源打包器输入的TS数据包中抽取显象图形流并解码,在显示时刻(PTS)的定时将非压缩的图形数据写出到PG平面。
[1271] 主声音解码器具有缓冲缓冲器,边将数据存储在缓冲器中,边去除TS头、PES头等信息,进行声音流的解码处理,得到非压缩的LPCM状态的音频数据,在再现时刻(PTS)的定时,输出到声音混合器。多路复用于AV片段的音频流的压缩编码形式中有AC3、DTS等,所以对应于流的属性,切换压缩声音的解码方式。
[1272] 副声音解码器具有与主声音解码器一样的构成,进行输入的副声音流的解码,在显示时刻的定时,将非压缩的LPCM状态的音频数据输出到声音混合器。由于多路复用于AV片段的音频流的压缩编码形式中有DolbyDigitalPlus、DTS-HD LBR等,所以对应于流的属性,切换压缩声音的解码方式。
[1273] 声音混合器混音(声音的重合)从主声音解码器输出的非压缩声音数据与从副声音解码器输出的非压缩声音数据,输出到扬声器等。
[1274] 图象处理器解码从程序执行部传送的图形数据(PNG、JPEG),根据从程序执行部指定的显示时刻,输出到图象平面。
[1275] 以上是根据本发明的2D再现装置的构成。
[1276] (3D再现的原理)
[1277] 下面,用图92来说明以家庭用显示器进行立体视觉的原理。作为实现立体视觉的手法,大致有使用全自成技术的方法与使用视差图像的方法两种。
[1278] 首先,作为第一个全息技术的特征,虽然可与人们通常辨认物体完全一样地将物体作为立体再现,但就动画生成而言,虽然技术的理论确立,但必需伴随实时生成全息用动画的庞大运算量的计算机、及具有1mm之间拉数千条线的分辨率的显示器器件,在当前技术中很难实现,基本上没有实用化为商业的实例。
[1279] 第二个使用视差图像的方式是分别准备进入右眼的映像与进入左眼的映像进行立体视觉,仅对应于各个眼睛的图片进入。图92是从上面看用户看位于脸中央延长线上的较小的立方体的状态的图,右上图表示左眼看时的实例,右下图表示右眼看相同立方体时的实例。
[1280] 该方式的优点在于仅准备右眼用与左眼用两个视野映像就可实现立体视觉,技术上,从如何可仅让对应的眼看对应于左右各眼的图的观点看,实用化几个技术。 [1281] 第一个称为继时分离方式,通过用户通过继时型立体眼镜(带液晶快门)观察在显示器上作为左眼用及右眼用在时间轴方向交互显示的映像,利用眼的残像反应,重合左右场景,辨认为立体映像。具体地,在显示器上显示左眼用映像的瞬间,所述继时型立体眼镜使对应于左眼的液晶快门透过,对应于右眼的液晶快门遮光。在显示器上显示右眼用映像的瞬间,与之前相反,对应于右眼的液晶快门透过,对应于左眼的液晶快门遮光。在该方式中,为了在时间轴方向交互显示左右映像,例如若是通常的2维电影,则1秒显示24个映像,对应地,左右映像一起必需1秒显示48个映像。因此,在该方式中,一画面的改写在较早的显示器中是适合的,但若是可1秒改写规定次数的显示器,则不限定。
[1282] 另外,作为其他方法,是如下方式,即相对于先前的继时分离方式中在时间轴方向上交互输出左右图片,沿一画面中的纵向同时交互排列左眼用图片与右眼用图片,在显示器表面中,通过称为双凸透镜的薄矛上的透镜,构成左眼用图片的象素仅成像于左眼,构成右眼用图片的象素仅成像于右眼,由此让左右眼看到有视差的图片,可视为3D。不仅双凸透镜,也 可使用具有同样功能的器件,例如液晶元件,或者在左眼用象素中设置纵向偏光的滤波器,在右眼用象素中设置横向偏光的滤波器,视听者通过使用左眼用设置纵向偏光滤波器、右眼用设置横向偏光滤波器的偏光眼镜来看显示器,可立体视觉。
[1283] 使用视差图像的立体视觉已通常用于游乐园的玩具等中,在技术上也确立,因此,认为最接近家庭中的实用化。使用视差图像的立体视觉用方法此外还提议非接触模式色分离方式等各种技术,在本实施例中,将继时分离方式或偏光眼镜方式作为实例加以说明,但只要使用视差图像,不限于这两个方式。
[1284] 在本实施例中,说明将立体视觉中使用的视差图像存储在信息记录介质中的方法。这里,将存储左眼用画面的映像称为‘左眼映像’,将存储右眼用画面的映像称为‘右眼映像’,将双方映像称为‘3D映像’。(2D/3D显示的切换)
[1285] 下面,说明作为根据本发明之记录介质的BD-ROM的、存储3D映像用的数据构造。 [1286] 数据构造的基本部分与用于存储3D映像的数据构造相同,主要说明扩展或不同的部分。对于存储3D映像的BD-ROM,将仅能再现2D映像的再现装置作为2D再现装置、2D映像与3D映像均可再现的再现装置作为2D/3D再现装置进行说明。
[1287] 在表示再现装置状态的系统参数(SPRM)中,准备用于识别再现装置是2D再现装置还是2D/3D再现装置的标志。这里,以图72为例,说明为SPRM(24)是表示播放器持有的通常再现D再现能力的存储对象D-Capability参数群。
[1288] 3D再现能力可分别判定视频映像的3D显示能力与图形的3D显示能力。所谓视频映像的3D显示能力是可分别解码立体映像方式的2画面大小的左右映像后显示的能力。所谓图形的3D显示能力是独立解码左眼用图形与右眼用图形两个图形后在平面上描绘的能力。
[1289] 另外,就视频映像的显示能力而言,还可进一步细分为分辨率与帧速率来表示再现能力。若1920×1080/59.94i的视频格式的3D映像显示能力等可单独识别,则可与LSI的性能配合,从程序中检测可对应的3D显示。
[1290] 另外,在从BD-ROM上的JAVA程序访问系统参数值的情况下,也可作为播放器的系统特性来访问。
[1291] 另外,也可如图73所示,在显示器与播放器通过HDMI等可将显示器的性能、对应方式发送到播放器的传送方式连接的情况下,将显示器的3D对应范围自动设定为SPRM(23)。另外,在不能传送显示器的性能的情况下,也可用户手动设定。
[1292] 在可从显示器取得对应方式的情况下,除单纯的对应方式外,还可通过取得显示器的尺寸、分辨率、从显示器到视听的人的距离等影响3D再现的信息,存储在系统参数中,适用于基于后述说明的程序的最佳再现方式的选择中。
[1293] 图74表示索引文件(Index.bdmv)与BD程序文件(001.PRG)的关系。在存储3D映像的BD-ROM中,准备记载再现2D映像的路径的2D播放列表2601、记载再现3D方式1映像的路径的3D播放列表2602、记载再现3D方式2映像的路径的3D播放列表2603。从用户选择标题,执行的BD程序文件在程序中调查再现装置是否对应于3D映像再现,在对应的情况下,用户是否选择3D映像再现,切换再现的播放列表。在假设多个3D再现方式的情况下,准备分别对应的方式的播放列表,在播放器对应于BD-ROM中存储的播放列表的情况下,选择对应的3D播放列表,在不对应的情况下,选择2D播放列表。
[1294] 例如,3D方式1是2画面立体再现方式,3D方式2是并排方式,在播放器仅对应于并排方式的情况下,程序选择该播放器可再现的并排方式的3D播放列表005.MPLS并再现。 [1295] BD-ROM中存储的程序由创制侧制作,在播放器对应于多个3D形式的情况下,优先选择哪个3D再现方式取决于创制侧的意志。
[1296] 如FirstPlay等在盘插入时首先再现的播放列表为了安全,期望由哪个播放器都必然再现的2D映像构成。
[1297] 图75表示BD程序文件的程序中的2D播放列表与3D播放列表的选择流程。 [1298] 在S2701中,检查SPRM(24)的值,在值为0的情况下,该再现装置是2D再现装置,所以再现2D播放列表,在值为1的情况下,前进到S2702。
[1299] 在S2702中,显示菜单画面,询问用户希望再现2D映像还是希望再现3D映像。在用户通过遥控器等选择的结果希望再现2D映像的情况下,再现2D播放列表,在希望再现3D映像的情况下,前进到S2703。
[1300] 在S2703中,检查显示器是否对应于3D映像的再现。例如,由HDMI进行连线,再现装置对显示器询问是否对应于3D映像再现。在不对应于3D映像再现的情况下,再现2D播放列表,但也可通过菜单画面等向用户提示电视侧的准备未整备。在对应于3D映像再现的情况下,再现3D播放列表。
[1301] 由于原来的模式方式不对应于3D映像,所以不能输出3D映像。播放器在3D映像再现中,如图76所示,在模拟输出中显示‘3D映像再现中。请以3D对应显示器阅览。’等消息,显示用于了解用户连接于错误的端子或连接于不对应的显示器的消息。
[1302] 在连接的显示器仅是2D显示器的情况下,也可自动将再现切换为2D播放列表。在播放器上连接2D显示器与3D显示器,同时输出的情况下,向2D显示器侧仅输出3D映像的左眼映像或右眼映像之一。将哪些映像模拟输出依据播放列表等中存储的2D输出优先映像信息。通过该方案,在同时输出2D与3D的情况下,即便同时解码2D与3D用映像,或不独立处理2D与3D用播放列表,也可同时输出到显示器。
[1303] 同样在进行OSD(程序组入菜单)显示时,在3D显示器中进行3D对应的OSD显示,但如模拟输出那样,向仅对应于2D的输出输出专用2D映像或仅左眼映像/仅右眼映像。 [1304] 在3D用输出与2D用输出困难的情况下,也可在遥控器中设置副显示器,在其中显示。
[1305] 图77是涉及用于避免对表示播放器2D/3D输出的系统参数设定不正当的值、不显示映像的程序的说明。虚线四边形表示处理,椭圆表示程序动作,该系统参数的状态、箭头表示程序动作的定时。
[1306] 该程序在盘插入时、标题切换时、播放列表切换时、因用户要求而切换显示形式时,以各个判定逻辑块来保证系统参数的值不变更到有效值以外。该程序组入各播放器上。 [1307] 标题存在两种,管理AV的播放列表有仅再现中应用程序有效的电影 标题、和即便播放列表不再现也可从Java程序描绘画面的Java标题。
[1308] 图中的箭头与程序动作的定时中,有仅电影标题时动作、仅Java标题时动作和无论标题类型如何均动作等情况。
[1309] 所谓系统参数的值为‘无效’是不将系统参数的值反映到输出的状态,例如即便变更系统参数的值,也不切换2D/3D的输出。此时的动作也可不定。
[1310] 相反,所谓‘有效’是将系统参数的值反映到输出的状态,系统参数表示2D,是第2记录介质D输出,表示3D,是倍速再现D输出。切换时,由于发生HDMI的再认证等,所以系统参数的值变更与输出形式的切换中多少有些时滞。
[1311] 当插入盘时,处理表示为‘初始化’的图78、图91所示的程序。若连接的显示器不必眼镜也可立体视觉(透镜等),则也可自动将输出模式变为3D。
[1312] 在向Java标题切换时,处理表示为‘当标题改变时的程序’的图79(a)所示的程序。由于SD画质无法充分表现立体映像,所以在Java管理信息设定SD分辨率的情况下,也可自动切换到2D模式。
[1313] 播放列表再现开始时,处理表示为‘重放条件改变时的程序’的图79(b)所示的程序。
[1314] 当2D/3D切换时,处理表示为‘当要求标题改变时的程序’的图80所示的程序。 [1315] 图81仅抽出图77的说明图中电影标题的情况。
[1316] 图82仅抽出图77的说明图中Java标题的情况。
[1317] 图83仅抽出图77的说明图中标题切换的情况。
[1318] (HDMI认证的事先处理)
[1319] 图84说明缩短再现开始时的映像显示前的时间的方法。
[1320] 作为再现开始时的处理,将盘插入播放器中,等待再现AV的准备或程序执行环境的起动,选择根据程序再现的播放列表,决定再现的视频流,之后检测视频的分辨率与帧速率,进行HDMI的认证,在与TV的连接确立之后,开始AV的再现。
[1321] 由于HDMI认证费时,所以担心再现开始前等待相当长的时间。
[1322] 因此,如图84(a)所示,在决定再现的播放列表之前,在最初读入的导航数据的一部分中记录HDMI认证所需的视频分辨率与帧速率等信息,如图84(b)所示,若与再现AV的准备或程序执行环境的起动处理并行进行HDMI认证,则可在播放列表选择后立即开始再现。
[1323] 在事先记录创制写入的内容的BD-ROM的情况下,也可能使盘再现中的播放列表中包含的视频分辨率与帧速率配合,所以若事先完成HDMI认证,则可得到可缩短播放列表再现开始时等待的时间的效果。
[1324] 另外,即便视频分辨率或帧速率因播放列表不同而不同,也因为最初再现的播放列表或正文的播放列表在创制时刻已知,所以如果以该播放列表中包含的视频分辨率与帧速率事先完成认证,则仍可得到可缩短播放列表再现开始时等待的时间的效果。 [1325] (特殊再现中的映像数据读入)
[1326] 在存储3D映像的盘中,作为用于确保再现互换性的盘与再现装置的现有例,已知图85所示的方法。在盘中,存储存储左眼用画面的2D/左眼映像视频流与存储右眼用画面的右眼映像视频流。
[1327] 各AV流在盘上被分割成几个区段,交互配置在盘上。为了连续再现,邻接的2D/左眼AV流的区段与右眼AV流的区段同样具有相同再现时间,交互配置或将两个流多路复用于一个流。
[1328] 配置2D/左眼AV流的区段在分别依次再现的情况下,为了能无缝再现,根据盘的寻址性能或读入速度来配置。若将盘装填到2D再现装置,则再现为2D/左眼AV流,输出2D映像。另一方面,若将盘装填到3D再现装置,则在用户选择3D再现的情况下,以区段单位交互读入2D/左眼AV流与右眼AV流。即,不发生轨道寻址地连续读入。读入的AV流中
2D/左眼映像视频流输入左眼用映像解码器中,右眼映像视频流输入右眼用映像解码器中,分别解码两个流,例如将左眼画面、右眼画面交互输出到电视。该输出图像当以每1/48秒切换右眼与左眼快门的立体眼镜看时看成为立体映像。通过如此构成,存储3D映像的盘可在2D再现装置中以2D映像再现,在2D/3D再现装置中再现3D映像。
[1329] 在进行通常再现的情况下,只要指定再现的流文件后从开头连续读入即可,但在快进等高速切换读入映像的部分区间的情况下,必需表示读入 位置的导航信息。尤其是高速快进的情况下,由于重复仅读入I图片,寻址到下面应显示的I图片,所以必需用于高效读入I图片位置的导航信息。
[1330] 图86表示2D映像时的导航信息,存储I图片的开始地址与尺寸的时间地图相当于此。
[1331] 在2D/左眼用流与右眼用流多路复用于不同的文件或不同的传输流的情况下,只要具有分别独立的单独时间地图即可,当快进再现时,只要分别读入相同时刻的映像后显示即可。
[1332] 如图87所示,在快进等特殊再现时,左眼用映像与右眼用映像若不成对则不能立体看到,所以必需读入相同时刻的映像并显示。因此,在各个时间地图的时刻不同的情况下,由于快进中的立体映像显示困难,所以必需配合时间地图的时刻。
[1333] 在2D/左眼用流与右眼用流多路复用于相同传输流的情况下,有单独制作时间地图的方法与对每个左眼用、右眼用对制作一个时间地图的方法。
[1334] 图88是单独持有时间地图的情况。虽然多路复用于一个传输流,但读入方法与分为两个的情况相同。在读取区域重合的情况下,必需连续读入用的手续等。
[1335] 图89是对每个左眼用、右眼用对制作一个时间地图的情况。由于对每个对登录入口,所以左眼用与右眼用I图片的时刻相同。登录左眼用I图片的开头地址与右眼用I图片的开头地址中在先的开头地址的地址,将左眼用I图片的终端地址与右眼用I图片的终端地址中在后的终端地址的地址与之前的开头地址的距离作为尺寸登录。该方法的情况下,优点在于当读取某个入口时左眼用与右眼用图片必然成对,但在各个I图片的距离分离的情况下,有可能之间含有不同的图片的映像,发生多余的读取。其中,由于有时读入无用数据后丢弃比寻址时间在时间效率上来说好,所以这些方式有时也有效。
[1336] (字幕、图形的合成)
[1337] 图90是说明字幕或图形数据的利用的图。
[1338] 在2D用字幕数据、3D用左眼用字幕数据、右眼用字幕数据各不相同的情况下,相对于2D字幕数据的容量,必需约3倍的图形数据容量,压迫盘的容量。作为对策,考虑如下方法:2D用字幕就左眼用与右眼用改变显 示位置,对映像产生视差,上浮或下凹观看;和在3D用形成的左眼用映像与右眼映像中,2D显示的情况下,仅单侧显示。前者与2D图形数据尺寸基本相同,后者约2倍的数据量才行。
[1339] 无论在哪种情况下,3D左眼用字幕数据与2D用字幕数据作为图形来说是相同的,显示形式为2D显示的情况下无偏移,在3D显示的情况下有偏移地显示。
[1340] 另外,偏移数据也可设定在字幕图形数据中,或由导航信息提供,或埋入映像数据中,对每个帧或每个GOP单位设定。
[1341] (第13实施方式)
[1342] 在本实施方式中,涉及再现此前实施方式中说明的构造数据的再现装置,说明使用集成电路803来实现的构成例。
[1343] 图93是表示使用集成电路803来构成的再现装置的图。
[1344] 媒体IF部801从媒体接收(读出)数据,传送到集成电路803。媒体IF部801从媒体接收上述实施方式中说明的构造的数据。媒体IF部801例如在媒体为光盘或硬盘的情况下为盘驱动器,在媒体为SD卡或USB存储器等半导体存储器的情况下为卡IF,在媒体为包含CATV等广播波的情况下为CAN调谐器或Si调谐器,在媒体为以太网(注册商标)、无线LAN、无线公众线路等网络的情况下,为网络IF等。
[1345] 存储器802是暂时存储从媒体接收(读出)的数据,可暂时存储集成电路803的处理途中的数据的存储器,例如使用SDRAM(SynchronousDynamic Random Access Memory)、DDRx SDRAM(Double-Date-RatexSynchronous Dynamic Random Access Memory;x=1、2、3...)等。存储器802只要具备任意个数即可,必要时单个或多个均无妨。
[1346] 集成电路803为对从媒体IF部801传送的数据实施映像、声音处理的系统LSI,由流处理部805、主控制部806、信号处理部807、AV输出部808、存储器控制部809等构成。 [1347] 主控制部806具有备有计时器功能或中继功能的处理器核心,处理器核心根据程序存储器等中存储的程序,进行集成电路803整体的控制。程序存储器等中事先存储OS等基本软件。
[1348] 流处理部805在主控制部806的控制下,接收从媒体经由媒体IF部 801传送的数据,经由集成电路803内的数据总线存储在存储器802中,或将接收到的数据分离成映像系数据(视频/图形(PG、IG))、声音系数据。如上所述,媒体上的数据以将包含左视野视频流的2D/L用AV片段与包含右视野视频流的R用AV片段分割成几个区段的状态交互配置。因此,主控制部806控制成在集成电路803接收到包含左视野流的左眼用数据的情况下,在存储器802的第1区域中存储数据,在接收到包含右视野视频流的右眼用数据的情况下,在存储器802的第2区域中存储数据。这里,左眼用数据属于左眼用区段,右眼用数据属于右眼用区段。存储器802中的第1、第2区域既可逻辑地区域分割单个存储器,也可是物理不同的存储器。另外,在本实施方式中,将包含左视野视频流的左眼用数据作为主视野数据、将包含右视野视频流的右眼用数据作为副视野数据继续说明,但右眼用数据为主视野数据、左眼用数据为副视野数据也无妨。另外,图形流多路复用于主视野数据及副视野数据之一或双方。
[1349] 信号处理部807在主控制部806的控制下,对流处理部805分离后的映像系数据、声音系数据以适当方式解码。映像系数据使用MPEG-2、MPEG-4AVC、MPEG4-MVC、SMPTE VC-1等方式编码记录,声音系数据以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、线性PCM等方式压缩编码记录,所以信号处理部807以与其对应的方式解码。信号处理部807的模块相当于例如第1实施方式的图12中的各种解码器。
[1350] 存储器控制部809调停从集成电路803内的各功能块向存储器802的访问。 [1351] AV输出部808在主控制部806的控制下,重叠信号处理部807解码后的映像系数据,进行映像系数据的格式变换等,输出到集成电路803外。
[1352] 图94是表示流处理部805的代表构成的功能框图。流处理部805具备器件流IF部851、多路复用分离部852、切换部853等。
[1353] 器件流IF部851是介质IF部801与集成电路803之间的数据传送用界面,例如在介质为光盘或硬盘的情况下为SATA(Serial AdvancedTechnology Attachment)、ATAPI(Advanced Technology Attachment packetInterface)、PATA(Parallel Advanced Technology Attachment),在媒体为SD卡或USB存储器等半导体存储器的情况下为卡IF,在介质为包含CATV等 广播波等的情况下为调谐器IF,在介质为以太网、无线LAN、无线公众线路等网络的情况下,为网络IF等。因媒体类型不同,器件流IF部851既可担负媒体IF部801的功能的一部分,也可将介质IF部801内置于集成电路803中。
[1354] 多路复用分离部852将从介质传送的包含映像、声音的再现数据分离成映像系数据与声音系数据。所述各区段由映像、声音、PG(字幕)、IG(菜单)等各源数据包构成(其中,有时副视野数据也不包含声音),根据各源数据包中包含的PID(识别符),分离成映像系、声音系的各TS数据包,传送给信号处理部807。处理完的数据直接或暂时存储在存储器802中之后,传送到信号处理部807。多路复用分离部852例如相当于构成第1实施方式的多路复用分离部的源去包器、PID滤波器。
[1355] 切换部853切换输出对象(存储对象),以便器件流IF部851接收到左眼用数据时存储在存储器802的第1区域中,接收到右眼用数据时存储在存储器802的第2区域中。这里,切换部853例如是DMAC(Direct MemoryAccess Controller)。图95是切换部853为DMAC时的切换部853周边的概念图。DMAC在主控制部806的控制下,向存储器控制部809发送器件流IF部接收到的数据与该数据存储对象地址。具体地,器件流IF部接收到左眼用数据时将地址1(第1存储区域)发送给存储器控制部809,接收到右眼用数据时将地址
2(第2存储区域)发送给存储器控制部809,由此利用接收数据来切换其输出对象(存储对象)。存储器控制部809根据从DMAC发送的存储对象地址,将数据存储在存储器802中。
也可代替主控制部806,设置控制切换部853的专用电路。
[1356] 这里,作为流处理部805的代表构成,说明器件流IF部851、多路复用分离部852、切换部853,但也可还具备解密接收到的加密数据或密钥数据等的加密引擎部、保持媒体-再现装置间的设备认证协议等执行控制或秘密密钥的安全管理部、直接存储器访问用的控制器等。至此说明了当将从媒体接收到的数据存储在存储器802中时,切换部853利用左眼用数据、右眼用数据来切换存储对象的情况,但也可在将从介质接收到的数据暂时存储在存储器802中之后,当向多路复用分离部852传送数据时,分配左眼用数据、右眼用数据。
[1357] 图96是表示AV输出部808的代表构成的功能框图。AV输出部808具备图像重叠部881、视频输出格式变换部882、音频视频输出IF部883。
[1358] 图像重叠部881重叠解码的映像系数据。具体地,以图片单位重叠左视野视频数据或右视野视频数据、PG(字幕)、IG(菜单)。图像重叠部801的模块例如图16等。如上所述,图形流的再现类型中有使用平面视觉图形流的第1再现方法、和使用左眼用图形流与右眼用图形流的对进行立体视觉再现的第2再现方法,选择哪个再现方法由媒体中存在的数据与再现其的再现装置的再现能力的组合来决定。具体地,媒体具有表示在图形流中是否存在左眼用图形流与右眼用图形流的对的识别标志。另外,再现装置具有表示存储器802中是否有使用左眼用图形流与右眼用图形流的对进行立体视觉再现的能力的信息,在识别标志表示存在左眼用图形流与右眼用图形流的对,且再现装置具有使用左眼用图形流与右眼用图形流的对进行立体视觉再现的能力的情况下,选择第2再现方法,此外选择第1再现方法。当选择第2再现方法时,重叠左视野视频数据与对应的左眼用图形数据,重叠右视野视频数据与对应的右眼用图形数据。另外,当选择第1再现方法时,向平面视觉图形数据提供水平坐标的+方向或-方向的偏移,将左视野视频数据与沿+方向提供偏移的对应平面视觉图形数据重叠,将右视野视频数据与沿-方向提供偏移的对应平面视觉图形数据重叠。偏移控制用信息包含于副视野流中。
[1359] 视频输出格式变换部882必要时对解码的映像系数据进行放大或缩小的调整大小处理、将扫描方式从前进方式及交互方式之一变换为另一方的IP变换处理、去除噪声的噪声减少处理、变换帧速率的帧速率变换处理等。
[1360] 音频视频输出IF部883对图像重叠或格式变换后的映像系数据与解码后的声音系数据与数据发送形式配合执行编码等。如后所述,音频视频输出IF部883也可部分配备在集成电路803外。
[1361] 图97是更详细地示出AV输出部808或再现装置的数据输出部分的构成例。本实施方式中的集成电路803及再现装置对应于多个映像系数据、声音系数据的数据发送形式。图96中的音频视频输出IF部883对应于模拟视频输出IF部883a、模拟音频输出IF部883c、数字音频输出IF部883b。
[1362] 模拟视频输出IF部883a将图像重叠处理或输出格式变换处理后的映 像系数据变换、编码为模拟映像信号形式并输出。例如,对应于NTSC、PAL、SECAM3方式之一的合成视频编码器、S映像信号(Y/C分离)用编码器、成分映像信号用编码器或DAC(D/A转换器)等与之相当。
[1363] 数字音频视频输出IF部883b一体化解码的声音系数据与图像重叠处理或输出格式变换后的映像系数据,进一步加密后,与数据发送标准配合编码、输出。例如,HDMI(High-Definition Multimedia InterFace)等与之相当。
[1364] 模拟音频输出IF部883c相当于D/A变换解码的声音系数据并输出模拟声音数据的音频DAC等。
[1365] 这些映像系数据及声音系数据的发送形式依赖于显示装置、扬声器侧支持的数据接收装置(数据输入端子)来切换,或通过用户选择来切换发送形式。并且,不仅单一的发送形式,还可并行以多个发送形式来发送对应于同一内容的数据。
[1366] 这里,作为AV输出部808的代表构成,对图像重叠部881、视频输出格式变换部882、音频视频输出IF部883加以说明,但也可还具备执行滤波处理、画面合成、曲线描绘、
3D显示等图形处理的图形引擎部等。
[1367] 以上是对本实施方式中的再现装置的构成的说明。所述集成电路803中包含的各功能块也可不全部内置,也可相反,将图93的存储器802内置于集成电路803中。另外,在本实施方式中,主控制部806与信号处理部807作为不同功能块加以说明,但主控制部806也可执行信号处理部807的处理的一部分。
[1368] 另外,例如图100所示,也可由显示装置执行本实施方式中再现装置的处理。此时,介质IF部801接收到的数据由集成电路803信号处理,处理后的映像系数据经由显示驱动部8010通过显示面板811输出,处理后的声音系数据通过扬声器812输出。这里,AV输出部808例如图101所示构成,通过集成电路803内部或外部的视频输出IF部884及音频输出IF部885进行数据传送。也可分别具备多个视频输出IF部884及音频输出IF部885,或具备视频与音频共同的IF部。
[1369] 另外,集成电路803中的控制总线或数据总线的路径根据各处理块的处理步骤或处理内容任意配置,但例如图98所示,也可直接连结各处理块彼此地配置数据总线,或如图99所示,经存储器802(存储器控制部809) 连结各处理块彼此地配置数据总线。 [1370] 另外,集成电路803也可是将多个芯片密封于一个封装中、外观上形成一个LSI的多芯片模块。
[1371] 另外,也可在LSI制造后,利用可编程的FPGA(Field Programmable GateArray)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。
[1372] 下面,说明上述构成的再现装置的动作。
[1373] 图102是简单表示从介质接收(读出)数据、并在解码后作为映像信号及声音信号输出的再现动作步骤的流程图。
[1374] S801:从媒体接收(读出)数据(介质IF部801、流处理部805)。
[1375] S802:将S801接收(读出)的数据分离成各种数据(映像系数据、声音系数据)(流处理部805)。
[1376] S803:以适当形式解码S802中分离的各种数据(信号处理部807)。
[1377] S804:对S803中解码处理后的各种数据中映像系的数据进行重叠处理(AV输出部808)。
[1378] S805:输出S802-S804中处理过的映像系数据及声音系数据(AV输出部808)。 [1379] 图103是更详细地表示再现动作步骤的流程图。各动作、处理在主控制部806的控制下进行。
[1380] S901:流处理部805的器件流IF部851接收(读出)通过媒体IF部801存储在媒体中的再现的数据以外的、再现数据所需的数据(播放列表、CLIPINF等),存储在存储器802中(介质IF部801、器件IF部851、存储器控制部809、存储器802)。
[1381] S902:主控制部806根据接收到的CLIPINF中包含的流属性信息,辨认媒体中存储的映像数据及声音数据的压缩形式,进行信号处理部807的初始化,以便能执行对应的解码处理(主控制部806)。
[1382] S903:流处理部805的器件流IF部851接收(读出)通过介质IF部801存储在媒体中的映像、声音等再现的数据,经由切换部853、存储器控制部809存储在存储器802中。以区段单位接收(读出)数据,为了能在接收(读出)左眼用数据时存储到第1区域中,在接收(读出)右眼用数据时存储到第2区域中,主控制部806控制切换部853,切换部853切换数据的输出对象(存 储对象)(介质IF部801、器件IF部851、主控制部806、切换部
853、存储器控制部809、存储器802)。
[1383] S904:存储器802中存储的数据传送到流处理部805的多路复用分离部852,多路复用分离部852根据构成流数据的源数据包中包含的PID,辨认是映像系(主映像、副映像、PG(字幕)、IG(菜单))、声音系(声音、副声音)哪个,以TS数据包单位传送到信号处理部807的对应的各解码器。(多路复用分离部852)。
[1384] S905:信号处理部807的各解码器对传送的TS数据包以适当方式进行解码处理(信号处理部807)。
[1385] S906:使信号处理部807中解码的映像系数据中、对应于左视野视频流及右视野视频流的数据与显示装置4配合,调整大小(视频输出格式变换部882)。
[1386] S907:重叠S906中调整大小后的视频流与PG(字幕)、IG(菜单)(图像重叠部881)。
[1387] S908:对S907中重叠后的映像数据进行作为扫描方式变换的IP变换(视频输出格式变换部882)。
[1388] S909:对进行了此前处理的映像系数据及声音系数据,根据显示装置、扬声器4的数据输出方式、或向显示装置、扬声器4的数据发送方式,进行编码或D/A变换等。例如,为了对应于模拟或数字输出而对映像系数据、声音系数据分别进行处理。作为映像系数据的模拟输出,支持合成映像信号或S映像信号或成分映像信号等。映像系、声音系数据的数字输出支持HDMI(音频视频输出IF部883)。
[1389] S910:将S909中处理过的映像系数据及声音系数据发送、输出到显示装置、扬声器4(音频视频输出IF部883、显示装置、扬声器4)。
[1390] 以上是本实施方式的再现装置的动作步骤的说明。也可在每次处理中将处理结果暂时存储在存储器802中。另外,图100的显示装置进行再现处理时也是基本上一样的动作步骤,对应于图93的再现装置的各功能块的功能块进行同样的处理。另外,在该动作步骤中,说明视频输出格式变换部882进行调整大小处理及IP变换处理的情况,但必要时也可省略处理,或执行其他处理(噪声减少处理、帧速率变换处理等)。并且,也可对可能的 步骤变更处理步骤。
[1391] (备注)
[1392] 以上说明了在本申请的申请时刻申请人得知的最佳实施方式,但对下面所示的技术主题可施加进一步的改良或变更实施。是否如各实施方式所示实施还是实施这些改良变更均是任意的,请留意基于实施者主观的实施。
[1393] (光盘的再现)
[1394] BD-ROM驱动器具备具有半导体激光器、准直透镜、分束器、物镜、聚光透镜、光检测器的光学头。从半导体激光器射出的光束通过准直透镜、分束器、物镜,聚光到光盘的信息面。
[1395] 聚光后的光束在光盘上反射/衍射,通过物镜、分束器、聚光透镜,聚光到光检测器。对应于由光检测器聚光的光的光量,生成再现信号。
[1396] (记录介质的变更)
[1397] 各实施方式中的记录介质包含光盘、半导体存储卡等封装媒体全部。本实施方式的记录介质以事先记录必要的数据的光盘(例如BD-ROM、DVD-ROM等现有可读取光盘)为例进行说明,但未必限于此,例如即便利用具有将包含经由广播或网络配送的本发明实施所需的数据之3D内容写入到光盘的功能的终端装置(例如上述功能也可组入再现装置中,也可以是再现装置以外的装置),记录到可写入光盘(例如BD-RE、DVD-RAM等现有的可写入光盘),并将该记录后的光盘适用于本发明的再现装置中,也可实施本发明。
[1398] (半导体存储卡记录装置及再现装置的实施方式)
[1399] 说明将各实施方式中说明了的数据构造记录在半导体存储器中的记录装置及再现的再现装置的实施方式。
[1400] 首先,作为前提技术,说明记录在BD-ROM中的数据的著作权保护方案。 [1401] BD-ROM中记录的数据中,例如从著作权保护、数据的隐匿性提高的观点看,有时在必要时加密数据的一部分。
[1402] 例如,BD-ROM中记录的数据中,加密的数据例如是对应于视频流的数据、对应于音频流的数据,或对应于包含这些流的流的数据。
[1403] 下面,说明BD-ROM中记录的数据中加密的数据的解读。
[1404] 半导体存储卡再现装置中,将对应于解读BD-ROM内加密的数据所需的密钥之数据(例如器件密钥)事先存储在再现装置中。
[1405] 另一方面,在BD-ROM中记录对应于解读加密的数据所需的密钥之数据(例如对应于上述器件密钥的MKB(媒体密钥块))、与加密用于解读加密的数据的密钥自身的数据(例如对应于上述器件密钥及MKB的加密标题密钥)。这里,器件密钥、MKB及加密标题密钥成对,还与写入BD-ROM上通常不能拷贝的区域(称为BCA的区域)中的识别符(例如体积ID)对应。若该组合不正确,则设不能解读加密。仅在组合正确的情况下,才能导出加密解读必需的密钥(例如根据上述器件密钥、MKB及体积ID,解密加密标题密钥得到的标题密钥),使用该加密解读必需的密钥,可解读加密的数据。
[1406] 在再现装置再现装填的BD-ROM的情况下,例如若再现装置内无与BD-ROM内的加密标题密钥、MKB成对(或对应)的器件密钥,则加密的数据无法再现。这是因为解读加密的数据所需的密钥(标题密钥)在加密密钥自身后(加密标题密钥)记录在BD-ROM上,若MKB与器件密钥的组合不正确,则不能导出加密解读所需的密钥。
[1407] 相反,若加密标题密钥、MKB、器件密钥及体积ID的组合正确,则再现装置构成为使用例如上述加密解读所需的密钥(根据器件密钥、MKB及体积ID,解密加密标题密钥得到的标题密钥),由解码器解码视频流,由音频解码器解码音频流。
[1408] 以上是BD-ROM中记录的数据的著作权保护的方案,但该方案未必限于BD-ROM,例如即便在适用于可读入/写入的半导体存储器(例如SD卡等具有携带性的半导体存储卡)的情况下,也可实施。
[1409] 说明半导体存储卡再现装置的再现步骤。光盘例如构成为经光盘驱动器读出数据,相反,在使用半导体存储卡的情况下,也可构成为经用于读出半导体存储卡内的数据用I/F来读出数据。
[1410] 具体而言,若将半导体存储卡插入再现装置的槽中,则经由半导体存储卡I/F,电连接再现装置与半导体存储卡。也可构成为半导体存储卡中记录的数据经半导体存储卡I/F读出。
[1411] (作为接收装置的实施方式)
[1412] 各实施方式中说明的再现装置也可实现为从电子配送服务的配送服务 器接收对应于本实施方式中说明了的数据的数据(配送数据)、并记录在半导体存储卡中的终端装置。
[1413] 这种终端装置也可构成为各实施方式中说明的再现装置执行这种动作,或是由本实施方式的再现装置以外执行将配送数据存储在半导体存储器中的专用终端装置来执行的方式。这里,说明再现装置进行的实例。另外,作为记录对象的半导体存储器,以SD卡为例进行说明。
[1414] 在插入再现装置具备的槽中的SD存储卡中记录配送数据的情况下,首先要求向存储配送数据的配送服务器发送配送数据。此时,再现装置从SD存储卡中读出唯一识别插入的SD存储卡的识别信息(例如各个SD存储卡固有的识别序号,具体例如是SD存储卡的序列号等),将读出的识别信息与配送要求一起,发送到配送服务器。
[1415] 该用于唯一识别SD存储卡的识别信息例如相当于上述体积ID。
[1416] 另一方面,配送服务器中,配送的数据中必要的数据(例如视频流、音频流等)为了能使用加密解读必需的密钥(例如标题密钥)解除加密,进行加密后存储在服务器上。 [1417] 例如配送服务器构成为保持秘密密钥,对半导体存储卡的固有识别序号每个动态生成不同的公开密钥信息。
[1418] 另外,配送服务器构成为可对加密数据解读所需的密钥(标题密钥)自身加密(即构成为可生成加密标题密钥)。
[1419] 生成的公开密钥信息例如包含相当于上述MKB、体积ID及加密标题密钥的信息。若加密的数据,例如半导体存储器固有的识别序号、后述的公开密钥信息中包含的公开密钥主体和再现装置中事先记录的器件密钥的组合正确,则得到加密解读所需的密钥(例如根据器件密钥、MKB及半导体存储器固有的识别序号,解码加密标题密钥得到的标题密钥),使用该得到的加密解读所需的密钥(标题密钥),可解读加密的数据。
[1420] 接着,再现装置将接收到的公开密钥信息与配送数据记录在插入槽中的半导体存储卡的记录区域中。
[1421] 下面,说明解密再现半导体存储卡的记录区域中记录的公开密钥信息与配送数据中包含的数据中加密的数据之方法一例。
[1422] 接收到的公开密钥信息例如记录公开密钥主体(例如上述MKB及加密 标题密钥)、署名信息、半导体存储卡固有的识别序号、和表示涉及应无效器件的信息的器件列表。 [1423] 署名信息中例如包含公开密钥信息的混列值(hash value)。
[1424] 器件列表中例如记载涉及有可能不正当再现的器件的信息。其是例如事先记录在再现装置中的器件密钥、再现装置的识别序号或再现装置具备的解码器识别序号等、用于唯一特定有可能不正当再现的装置、装置中包含的部件或功能(程序)等的信息。 [1425] 说明半导体存储卡的记录区域中记录的配送数据中加密的数据的再现。 [1426] 首先,在解密利用公开密钥主体加密的数据之前,检查是否使解密密钥主体作用。
[1427] 具体地,进行(1)公开密钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别序号是否一致的检查,(2)再现装置内算出的公开密钥信息的混列值与署名信息中包含的混列值是否一致的检查,(3)根据公开密钥信息中包含的器件列表中所示的信息,进行再现的再现装置是否可能不正当再现的检查(例如公开密钥信息中包含的器件列表中所示的器件密钥与事先存储在再现装置中的器件密钥是否一致的检查)。进行这些检查的顺序可以任何顺序进行。
[1428] 在上述(1)-(3)的检查中,若满足公开密钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别序号不一致、再现装置内算出的公开密钥信息的混列值与署名信息中包含的混列值不一致、或判断为进行再现的再现装置有可能不正当再现之一,则再现装置控制成不解读加密的数据。
[1429] 另外,若公开密钥信息中包含的半导体存储卡固有的识别信息与事先存储在半导体存储卡中的固有识别序号一致、且再现装置内算出的公开密钥信息的混列值与署名信息中包含的混列值一致、且判断为进行再现的再现装置不可能不正当再现,则判断为半导体存储器固有的识别序号、公开密钥信息中包含的公开密钥主体、和事先记录在再现装置中的器件密钥的组合正确,使用加密解读必需的密钥(根据器件密钥、MKB及半导体存储器固有的识别序号,解密加密标题密钥得到的标题密钥),解读加密的数据。
[1430] 例如,在加密的数据是视频流、音频流的情况下,视频解码器利用上述加密解读所需的密钥(解码加密标题密钥得到的标题密钥),解密(解码)视频流,音频解码器利用上述加密解读所需的密钥,解密(解码)音频流。
[1431] 通过如此构成,在知道有可能在电子配送时被不正当利用的再现装置、部件、功能(程序)的情况下,若将用于识别其的信息示于器件列表中配送,则在再现装置侧包含器件列表中所示的信息的情况下,由于可抑制使用公开密钥信息(公开密钥主体)解密,所以即便半导体存储器固有的识别序号、公开密钥信息中包含的公开密钥主体、和事先记录在再现装置中的器件密钥的组合正确,也可控制成不解读加密的数据,所以可抑制不正当装置上利用配送数据。
[1432] 另外,期望采用事先记录在半导体存储卡中的半导体存储卡的固有识别符存储在隐匿性高的记录区域中的构成。这是因为若篡改事先记录在半导体存储卡中的固有识别序号(例如以SD存储卡为例,SD存储卡的序列号等),则会容易违法拷贝。这是因为虽然向多个半导体存储卡分别分配不同的固有识别序号,但若篡改成该固有识别序号相同,则上述(1)的判定无意义,有可能执行相当于进行篡改的数量的违法拷贝。
[1433] 因此,期望采用将半导体存储卡的固有识别序号等信息记录在隐匿性高的记录区域中的构成。
[1434] 为了实现这种构成,例如半导体存储卡构成为将用于记录称为半导体存储卡固有识别符的隐匿性高的数据之记录区域设置在存储通常数据的记录区域(称为第1记录区域)以外的记录区域(称为第2记录区域)中,设置用于访问该第2记录区域的控制电路,同时,对第2记录区域的访问仅可经控制电路访问。
[1435] 例如,第2记录区域中记录的数据加密后记录,控制电路例如组入用于解密加密的数据的电路。在询问控制电路对第2记录区域的数据访问的情况下,只要解密加密并返回解密的数据即可。或者,也可是控制电路保持第2记录区域中记录的数据的存储场所信息,若有数据的访问要求,则特定对应的数据的存储场所,返回从特定的存储场所读取的数据。
[1436] 在再现装置上动作的应用程序中,利用电子配送要求记录在半导体存储卡中的应用程序若经存储卡I/F向控制电路发出对第2记录区域中记录的 数据(例如半导体存储器固有的识别序号)的访问要求,则接受要求的控制电路读出第2记录区域中记录的数据,返回到再现装置上动作的应用程序。也可构成为在该半导体存储卡的固有识别序号的同时向配送服务器要求必要数据的配送要求,将从配送服务器发送的公开密钥信息和对应的配送数据记录在第1记录区域中。
[1437] 另外,再现装置上动作的应用程序中,利用电子配送要求记录在存储半导体卡中的应用程序期望在经存储卡I/F向控制电路发出对第2记录区域中记录的数据(例如半导体存储器固有的识别序号)的访问要求之前,事先检查应用程序是否未被篡改。篡改检查中例如采用利用了依据现有X.509标准的数字证明信的检查等。
[1438] 另外,对半导体存储卡的第1记录区域中记录的配送数据的访问未必经半导体存储卡具有的控制电路访问。
[1439] 产业上的可利用性
[1440] 涉及本发明的信息记录介质存储3D映像,但由于再现2D映像的装置与再现3D映像的装置均可再现,所以可不意识互换性地将存储了3D映像的电影标题等动画内容提供给市场,使电影市场或民生设备市场活性化。因此,根据本发明的记录介质、再现装置在电影产业或民生设备产业具有高的可利用性。