后期录音装置和方法、传输方法、以及再现装置和方法转让专利
申请号 : CN200810099532.X
文献号 : CN101303879B
文献日 : 2010-07-28
发明人 : 菅原隆幸 , 渕上德彦 , 小张晴邦 , 黑岩俊夫
申请人 : 日本胜利株式会社
摘要 :
本发明公开了后期录音装置和方法、传输方法、以及再现装置和方法。音频信号和视频信号分别被压缩为编码结果音频数据和编码结果视频数据。用于同步再现的音频和视频时间标记分别被添加到编码结果音频和视频数据的每个单元。添加时间标记的音频数据与视频数据被复用到主数据中。在形成主数据的至少(1)编码结果音频数据和(2)编码结果视频数据之一的多个第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别多个第一用于后期录音的编码结果数据的识别信息，以把第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据。第二用于后期录音的编码结果数据被制作为位流，而不与主数据复用。
权利要求 :
1.一种后期录音装置，其中包括：
第一装置，用于把音频信号压缩编码为编码结果音频数据；
第二装置，用于把视频信号压缩编码为编码结果视频数据；
第三装置，用于把用于音频-视频同步再现的音频时间标记添加到由第一装置所产生的编码结果音频数据的每个单元；
第四装置，用于把用于音频-视频同步再现的视频时间标记添加到由第二装置所产生的编码结果视频数据的每个单元；
第五装置，用于把由第三装置所产生的添加有时间标记的音频数据与由第四装置所产生的添加有时间标记的视频数据复用到主数据中；
第六装置，用于在形成主数据的由第一装置所产生的编码结果音频数据和由第二装置所产生的编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及第七装置，用于把由第六装置所产生的第二用于后期录音的编码结果数据制作为位流，并且使用播放列表信息将该第二用于后期录音的编码结果数据与该主数据进行链接。
2.一种再现装置，用于再现在一个处理中产生的用于后期录音的数据和一部分主数据，该处理包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；将主数据记录在记录介质上；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据记录在记录介质上，并且使用播放列表信息将该第二用于后期录音的编码结果数据与该主数据进行链接，该再现装置包括：第一装置，用于响应用户请求选择第二用于后期录音的编码结果数据；
第二装置，用于响应相应的识别信息从该记录介质中读出由该第一装置所选择的第二用于后期录音的编码结果数据；
第三装置，用于从记录介质中读出主数据；
第四装置，用于用被第二装置读出的第二用于后期录音的编码结果数据来代替该主数据的一部分；以及第五装置，用于响应其中的时间标记同步地再现所读出的第二用于后期录音的编码结果数据和除该部分之外的主数据。
说明书 :
技术领域
本发明涉及一种后期录音装置或者一种配音装置，其用于后期录音例如与包含音频数据和视频数据的主数据相关的音频信号。另外，本发明涉及一种计算机程序、记录介质、传送方法和再现装置。
背景技术
日本专利公开号11-144378/1999公开一种后期录音(后期记录)方法，其中包含视频位流的原始数据被从数据记录介质读出。所读出的原始数据被解码。与原始数据的解码同步地把音频数据编码到新的音频位流。该新的音频位流被写入到数字记录介质的一个区域中，其在时间位置上大约对应于该原始数据记录区域。
日本专利公开号11-259992/1999公开一种光盘，在其上面可以实现新数据的后期记录(后期录音)。在日本专利公开11-259992中的光盘存储包括正常数据包和保留数据包的一串数据包。该正常数据包装裁有原始电影数据。最初，该保留数据包不被占用。例如音频数据这样的新数据可以被写入到该保留数据包中。该原始运动图像数据和新数据可以同时从该光盘上再现。
日本专利公开号P2000-197005A公开一种信息记录介质，其具有区域“A”和区域“B”。区域“A”存储包含视频数据包和音频数据包的一串数据包。区域“B”包括具有第一、第二和第三信息块的表格。通过参照该表格中的第一信息块，确定在区域“A”中的信息音频包中的音频数据是否对应于静音。在音频包中的音频数据对应于静音的情况下，可以如下实现后期记录(后期录音)。通过参照在表格中的第二和第三信息块，新的音频信号被编码到新的音频数据中，该新的音频数据被格式化为新的音频包。新的音频包被写在区域“A”中的旧音频包上。
最近，包含视频数据和音频数据的复用数据有时被处理为传输流或节目流的形式。通常，难以用新的数据来仅仅替代在这种复用数据中的音频数据。
现有的后期记录(现有后期录音)方法写入新的音频数据，使得原始复用的主数据流被转换为新的数据流。通常，难以把新的复用的主数据流转换回原始的数据流。
在现有技术中，难以后期记录多个新的音频信号，并且在再现过程中从新的该音频信号中选择一个信号。
日本专利公开号11-259992/1999公开一种光盘，在其上面可以实现新数据的后期记录(后期录音)。在日本专利公开11-259992中的光盘存储包括正常数据包和保留数据包的一串数据包。该正常数据包装裁有原始电影数据。最初，该保留数据包不被占用。例如音频数据这样的新数据可以被写入到该保留数据包中。该原始运动图像数据和新数据可以同时从该光盘上再现。
日本专利公开号P2000-197005A公开一种信息记录介质，其具有区域“A”和区域“B”。区域“A”存储包含视频数据包和音频数据包的一串数据包。区域“B”包括具有第一、第二和第三信息块的表格。通过参照该表格中的第一信息块，确定在区域“A”中的信息音频包中的音频数据是否对应于静音。在音频包中的音频数据对应于静音的情况下，可以如下实现后期记录(后期录音)。通过参照在表格中的第二和第三信息块，新的音频信号被编码到新的音频数据中，该新的音频数据被格式化为新的音频包。新的音频包被写在区域“A”中的旧音频包上。
最近，包含视频数据和音频数据的复用数据有时被处理为传输流或节目流的形式。通常，难以用新的数据来仅仅替代在这种复用数据中的音频数据。
现有的后期记录(现有后期录音)方法写入新的音频数据，使得原始复用的主数据流被转换为新的数据流。通常，难以把新的复用的主数据流转换回原始的数据流。
在现有技术中，难以后期记录多个新的音频信号，并且在再现过程中从新的该音频信号中选择一个信号。
发明内容
本发明的第一目的是提供一种后期录音装置(后期记录装置或者配音装置)，其能够把后期录音结果信号转换回原始信号。
本发明的第二目的是提供一种后期录音装置(后期记录装置或配音装置)，其能够后期记录多个新的音频信号，并且能够在再现过程从该新的音频信号中选择一个信号。
本发明的第三目的是提供一种改进的计算机程序。
本发明的第四目的是提供一种改进的记录介质。
本发明的第五目的是提供一种改进的传送方法。
本发明的第六目的是提供一种改进的再现方法。
本发明的第一方面提供一种后期录音装置，其中包括：第一装置，用于把音频信号压缩编码为编码结果音频数据；第二装置，用于把视频信号压缩编码为编码结果视频数据；第三装置，用于把用于音频-视频同步再现的音频时间标记添加到由第一装置所产生的编码结果音频数据的每个单元；第四装置，用于把用于音频-视频同步再现的视频时间标记添加到由第二装置所产生的编码结果视频数据的每个单元；第五装置，用于把由第三装置所产生的添加有时间标记的音频数据与由第四装置所产生的添加有时间标记的视频数据复用到主数据中；第六装置，用于在形成主数据的由第一装置所产生的编码结果音频数据和由第二装置所产生的编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及第七装置，用于把由第六装置所产生的第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用。
本发明的第二方面提供一种用于后期录音的方法。该计算机程序包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用。
本发明的第三方面提供一种记录介质，在其上记录以处理步骤的方式记录用于后期录音的数据，其中包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；把第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用；以及把该位流记录在该记录介质上。
本发明的第四方面提供一种传输方法。该方法包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；将主数据记录在记录介质上；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；把第二用于后期录音的编码结果数据记录在记录介质上，而不把该第二用于后期录音的编码结果数据与该主数据复用；以及把该位流通过传输线路传输。
本发明的第五方面提供一种再现装置，用于再现在一个处理中产生的用于后期录音的数据和一部分主数据，该处理包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；将主数据记录在记录介质上；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据记录在记录介质上，而不把该第二用于后期录音的编码结果数据与该主数据复用。该再现装置包括：第一装置，用于响应用户请求从多个第二用于后期录音的编码结果数据选择一个数据；第二装置，用于响应相应的识别信息从该记录介质中读出由该第一装置所选择的第二用于后期录音的编码结果数据；第三装置，用于从记录介质中读出主数据；第四装置，用于用被第二装置读出的第二用于后期录音的编码结果数据来代替该主数据的一部分；以及第五装置，用于响应其中的时间标记同步地再现所读出的第二用于后期录音的编码结果数据和除该部分之外的主数据。
本发明的第六方面提供一种方法，用于再现在一个处理中产生的用于后期录音的数据和一部分主数据，该处理包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用。该计算机程序包括如下步骤：响应用户请求从多个第二用于后期录音的编码结果数据选择一个数据；响应相应的识别信息从该记录介质中读出所选择的第二用于后期录音的编码结果数据；用于从记录介质中读出主数据；用所读出的第二用于后期录音的编码结果数据来代替该主数据的一部分；以及响应其中的时间标记同步地再现所读出的第二用于后期录音的编码结果数据和除该部分之外的主数据。
本发明的第七方面提供一种后期录音装置，其中包括第一装置，用于把第一音频信号编码为第一编码结果音频数据；第二装置，用于把视频信号编码为编码结果视频数据；第三装置，用于把用于音频-视频同步回放的第一音频时间标记添加到由第一装置所产生的第一编码结果音频数据；第四装置，用于把用于音频-视频同步回放的视频时间标记添加到由第二装置所产生的编码结果视频数据；第五装置，用于把由第三装置所产生的添加有时间标记的音频数据与由第四装置所产生的添加有时间标记的视频数据复用到主数据中；第六装置，用于在记录介质上记录由第五装置所产生的主数据；第七装置，用于把第二音频信号编码为第二编码结果音频数据；第八装置，用于把第三音频信号编码为第三编码结果音频数据；第九装置，用于把用于音频-视频同步回放的第二音频时间标记添加到由第七装置所产生的第二编码结果音频数据，对于音频-视频同步回放来说，该第二音频时间标记与第一音频时间标记相等价；第十装置，用于把用于音频-视频同步回放的第三音频时间标记和第二识别信息添加到由第八装置所产生的第三编码结果音频数据，对于音频-视频同步回放来说，该第三音频时间标记与第一音频时间标记相等价，第二识别信息不同于第一识别信息；以及第十一装置，用于在记录介质上记录由第九装置所产生的添加有时间标记和识别信息的音频数据以及由第十装置所产生的添加有时间标记和识别信息的音频数据。
本发明的第八方面提供一种用于存储主数据和多个用于后期录音的音频数据的记录介质的再现装置，该主数据包括主视频数据和主音频数据，该主视频数据包括视频时间标记，该主音频数据包括第一音频时间标记，该视频时间标记和第一音频时间标记用于视频和音频的同步回放，该多个用于后期录音的音频数据分别具有不同的识别信息块，该多个用于后期录音的音频数据分别包括第二音频时间标记，对于视频和音频的同步回放来说，该第二音频时间标记与第一音频时间标记相等价。该再现装置包括：第一装置，用于响应用户请求在多个用于后期录音的音频数据中指定所需的一个数据；第二装置，用于确定对应于由第一装置所指定的所需用于后期录音的音频数据的识别信息块；第三装置，用于响应由第二装置所确定的识别信息块，从该记录介质中读出所需用于后期录音的音频数据；第四装置，用于从记录介质中读出主数据；第五装置，用于把由第四装置读出的主数据分为主视频数据和主音频数据；第六装置，用于检测在由第五装置所产生的主视频数据中的视频时间标记；第七装置，用于检测在由第三装置所读出的所需用于后期录音的音频数据中的第二音频时间标记；以及第八装置，用于响应由第六装置所检测的视频时间标记和由第七装置所检测的第二音频时间标记，回放由第三装置所读出的所需用于后期录音的音频数据和由第五装置所产生的主视频数据。
附图简述
图1为MPEG编码器的方框图。
图2为MPEG解码器的方框图。
图3为MPEG系统解码装置的方框图。
图4为在MPEG传输流(TS)、MPEG节目流(PS)和分包基本流(PES)。
图5为TS数据包的格式的示意图。
图6为响应数据包ID(PID)的TS数据包的接收的流程图。
图7为在本发明第一实施例中的后期录音装置的方框图。
图8为在记录介质上记录的数据库信息的文件结构的示意图。
图9为在图8中的文件“SIDE.ifo”的结构的示意图。
图10为在图9中的第二级片段“GENERAL_IFO”的语法结构的示意图。
图11为图9中的第三级片段“PR_IFO_0”的结构的示意图。
图12为图11中的第三级片段“PROG_IFO”的语法结构的示意图。
图13为图9中的第三级片段“PLAYL_IFO”的语法结构的示意图。
图14为图11中的第三级片段“INDEX_IFO”的语法结构的示意图。
图15为在硬盘上记录的传输流(TS)的格式的示意图。
图16为在本发明第一实施例中的再现装置的方框图。
图17为在本发明第一实施例中的传输装置的方框图。
图18为用于图7中的CPU的控制程序的片段的流程图。
图19为用于图16中的CPU的控制程序的片段的流程图。
本发明的第二目的是提供一种后期录音装置(后期记录装置或配音装置)，其能够后期记录多个新的音频信号，并且能够在再现过程从该新的音频信号中选择一个信号。
本发明的第三目的是提供一种改进的计算机程序。
本发明的第四目的是提供一种改进的记录介质。
本发明的第五目的是提供一种改进的传送方法。
本发明的第六目的是提供一种改进的再现方法。
本发明的第一方面提供一种后期录音装置，其中包括：第一装置，用于把音频信号压缩编码为编码结果音频数据；第二装置，用于把视频信号压缩编码为编码结果视频数据；第三装置，用于把用于音频-视频同步再现的音频时间标记添加到由第一装置所产生的编码结果音频数据的每个单元；第四装置，用于把用于音频-视频同步再现的视频时间标记添加到由第二装置所产生的编码结果视频数据的每个单元；第五装置，用于把由第三装置所产生的添加有时间标记的音频数据与由第四装置所产生的添加有时间标记的视频数据复用到主数据中；第六装置，用于在形成主数据的由第一装置所产生的编码结果音频数据和由第二装置所产生的编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及第七装置，用于把由第六装置所产生的第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用。
本发明的第二方面提供一种用于后期录音的方法。该计算机程序包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用。
本发明的第三方面提供一种记录介质，在其上记录以处理步骤的方式记录用于后期录音的数据，其中包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；把第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用；以及把该位流记录在该记录介质上。
本发明的第四方面提供一种传输方法。该方法包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；将主数据记录在记录介质上；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；把第二用于后期录音的编码结果数据记录在记录介质上，而不把该第二用于后期录音的编码结果数据与该主数据复用；以及把该位流通过传输线路传输。
本发明的第五方面提供一种再现装置，用于再现在一个处理中产生的用于后期录音的数据和一部分主数据，该处理包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；将主数据记录在记录介质上；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据记录在记录介质上，而不把该第二用于后期录音的编码结果数据与该主数据复用。该再现装置包括：第一装置，用于响应用户请求从多个第二用于后期录音的编码结果数据选择一个数据；第二装置，用于响应相应的识别信息从该记录介质中读出由该第一装置所选择的第二用于后期录音的编码结果数据；第三装置，用于从记录介质中读出主数据；第四装置，用于用被第二装置读出的第二用于后期录音的编码结果数据来代替该主数据的一部分；以及第五装置，用于响应其中的时间标记同步地再现所读出的第二用于后期录音的编码结果数据和除该部分之外的主数据。
本发明的第六方面提供一种方法，用于再现在一个处理中产生的用于后期录音的数据和一部分主数据，该处理包括如下步骤：把音频信号压缩编码为编码结果音频数据；把视频信号压缩编码为编码结果视频数据；把用于音频-视频同步再现的音频时间标记添加到编码结果音频数据的每个单元；把用于音频-视频同步再现的视频时间标记添加到编码结果视频数据的每个单元；把添加有时间标记的音频数据与添加有时间标记的视频数据复用到主数据中；在形成主数据的编码结果音频数据和编码结果视频数据中的至少一个的第一用于后期录音的编码结果数据中，添加用于与主数据的一部分同步地再现的时间标记和用于识别所述第一用于后期录音的编码结果数据的识别信息，以把该第一用于后期录音的编码结果数据转换为第二用于后期录音的编码结果数据；以及把第二用于后期录音的编码结果数据制作为位流，而不把该第二用于后期录音的编码结果数据与该主数据复用。该计算机程序包括如下步骤：响应用户请求从多个第二用于后期录音的编码结果数据选择一个数据；响应相应的识别信息从该记录介质中读出所选择的第二用于后期录音的编码结果数据；用于从记录介质中读出主数据；用所读出的第二用于后期录音的编码结果数据来代替该主数据的一部分；以及响应其中的时间标记同步地再现所读出的第二用于后期录音的编码结果数据和除该部分之外的主数据。
本发明的第七方面提供一种后期录音装置，其中包括第一装置，用于把第一音频信号编码为第一编码结果音频数据；第二装置，用于把视频信号编码为编码结果视频数据；第三装置，用于把用于音频-视频同步回放的第一音频时间标记添加到由第一装置所产生的第一编码结果音频数据；第四装置，用于把用于音频-视频同步回放的视频时间标记添加到由第二装置所产生的编码结果视频数据；第五装置，用于把由第三装置所产生的添加有时间标记的音频数据与由第四装置所产生的添加有时间标记的视频数据复用到主数据中；第六装置，用于在记录介质上记录由第五装置所产生的主数据；第七装置，用于把第二音频信号编码为第二编码结果音频数据；第八装置，用于把第三音频信号编码为第三编码结果音频数据；第九装置，用于把用于音频-视频同步回放的第二音频时间标记添加到由第七装置所产生的第二编码结果音频数据，对于音频-视频同步回放来说，该第二音频时间标记与第一音频时间标记相等价；第十装置，用于把用于音频-视频同步回放的第三音频时间标记和第二识别信息添加到由第八装置所产生的第三编码结果音频数据，对于音频-视频同步回放来说，该第三音频时间标记与第一音频时间标记相等价，第二识别信息不同于第一识别信息；以及第十一装置，用于在记录介质上记录由第九装置所产生的添加有时间标记和识别信息的音频数据以及由第十装置所产生的添加有时间标记和识别信息的音频数据。
本发明的第八方面提供一种用于存储主数据和多个用于后期录音的音频数据的记录介质的再现装置，该主数据包括主视频数据和主音频数据，该主视频数据包括视频时间标记，该主音频数据包括第一音频时间标记，该视频时间标记和第一音频时间标记用于视频和音频的同步回放，该多个用于后期录音的音频数据分别具有不同的识别信息块，该多个用于后期录音的音频数据分别包括第二音频时间标记，对于视频和音频的同步回放来说，该第二音频时间标记与第一音频时间标记相等价。该再现装置包括：第一装置，用于响应用户请求在多个用于后期录音的音频数据中指定所需的一个数据；第二装置，用于确定对应于由第一装置所指定的所需用于后期录音的音频数据的识别信息块；第三装置，用于响应由第二装置所确定的识别信息块，从该记录介质中读出所需用于后期录音的音频数据；第四装置，用于从记录介质中读出主数据；第五装置，用于把由第四装置读出的主数据分为主视频数据和主音频数据；第六装置，用于检测在由第五装置所产生的主视频数据中的视频时间标记；第七装置，用于检测在由第三装置所读出的所需用于后期录音的音频数据中的第二音频时间标记；以及第八装置，用于响应由第六装置所检测的视频时间标记和由第七装置所检测的第二音频时间标记，回放由第三装置所读出的所需用于后期录音的音频数据和由第五装置所产生的主视频数据。
附图简述
图1为MPEG编码器的方框图。
图2为MPEG解码器的方框图。
图3为MPEG系统解码装置的方框图。
图4为在MPEG传输流(TS)、MPEG节目流(PS)和分包基本流(PES)。
图5为TS数据包的格式的示意图。
图6为响应数据包ID(PID)的TS数据包的接收的流程图。
图7为在本发明第一实施例中的后期录音装置的方框图。
图8为在记录介质上记录的数据库信息的文件结构的示意图。
图9为在图8中的文件“SIDE.ifo”的结构的示意图。
图10为在图9中的第二级片段“GENERAL_IFO”的语法结构的示意图。
图11为图9中的第三级片段“PR_IFO_0”的结构的示意图。
图12为图11中的第三级片段“PROG_IFO”的语法结构的示意图。
图13为图9中的第三级片段“PLAYL_IFO”的语法结构的示意图。
图14为图11中的第三级片段“INDEX_IFO”的语法结构的示意图。
图15为在硬盘上记录的传输流(TS)的格式的示意图。
图16为在本发明第一实施例中的再现装置的方框图。
图17为在本发明第一实施例中的传输装置的方框图。
图18为用于图7中的CPU的控制程序的片段的流程图。
图19为用于图16中的CPU的控制程序的片段的流程图。
具体实施方式
第一实施例
图1示出包括作为减法器而工作的加法器1的MPEG(运动图像专家组)编码器。该作为减法器而工作的加法器1计算帧间预测误差，这是由输入视频信号Vin所表示的图像与来自运动补偿预测器11的输出数据所表示的最终参考图像(最终预测图像)之间的差值(误差)。该作为减法器而工作的加法器1输出表示所计算的差值的数据(所计算的帧间预测误差)。
由运动补偿预测器11所实现的预测被表示如下。预测方向有三种模式，即从过去的方向(“向前”)、从将来的方向(“向后”)以及从过去和将来的方向(“内插”)。相应地，从过去预测(“向前”)、从将来预测(“向后”)以及从过去和将来预测(“内插”)。一种实际使用的预测方向可以按从MB到MB而改变，其中MB表示具有16＊16像素的一个宏块。每个图像被分为预定数目的MB。实际使用的预测方向基本上由输入视频信号Vin所表示的每个图像的类型所确定。图像被分类为P图像(预测编码图像)、B图像(双向预测编码图像)、以及I图像(内编码图像)。P图像的MB表示为第一和第二模式。第一模式的P图像MB被根据从过去的预测而编码。第二模式的P图像MB被独立地编码而没有预测。B图像的MB表示为第一、第二、第三和第四模式。第一模式的B图像MB被根据从将来的预测而编码。第二模式的B图像MB根据从过去的预测而编码。第三模式的B图像MB被根据从过去和将来的预测而编码。第四模式的B图像MB被独立编码而没有预测。I图像的MB表示被独立编码而没有预测。
由运动补偿预测器11所实现的运动补偿被设计如下。根据运动补偿，对于每个MB执行两个图像之间的图像匹配，以按照对应于半个像元(半个像素)的精度来检测运动矢量。两个图像之一由输入视频信号Vin所给出，并且另一个图像被称为基本参考图像或者用于运动补偿预测的源图像。基本参考图像被根据所检测的运动矢量而偏移。最终参考图像(最终预测图像)根据基本参考图像的偏移而产生。在没有运动补偿的情况下，基本参考图像被直接用作为最终参考图像。通常，运动矢量具有水平方向成份和垂直方向成份。表示所检测运动矢量的信息以及表示预测方向或者表示执行预测的源图像的MC模式(运动补偿模式)信息被传送作为与每个MB相关的附加信息。一个GOP(图像组)被确定为从I图像开始并且紧接着在下一个I图像之前的图像结束的一系列图像。通常，一个GOP具有大约15个连续图像。
从作为减法器而工作的加法器1输出的差值表示数据由DCT设备2进行离散余弦变换(DCT)。具体来说，DCT设备2把由差值表示数据所代表的每个MB分为4个DCT块，每个块具有8＊8个像素。DCT设备2使每个DCT块进行二维DCT变换，以产生表示DCT系数的数据。该DCT设备2输出所产生的DCT系数数据。通常，由于视频信号中的低频成份较大，出现对应于低频的大量有效DCT系数。
根据一个量化值，由来自DCT设备2的输出数据所表示的DCT系数被量化器3所量化。该量化值等于量化矩阵乘以一个标量量化级。该量化矩阵具有由根据视觉把二维频率成份加权的处理所得到的8＊8单元。量化包括用DCT系数除以该量化值的步骤。
从量化器3输出的量化结果数据被VLC设备4所解码为可变长代码(VLC)的数据。具体来说，量化结果数据的直流(DC)成份被DPCM(差分脉码调制)所编码。量化结果数据的交流(AC)成份沿着从高频到低频的方向之字形地扫描，并且进行霍夫曼编码，其中具有较高出现概率的数据块被分配较短的代码字。VLC设备4接收来自运动补偿预测器11的运动矢量信息和MC模式信息。VLC设备4把该运动矢量信息和MC模式信息加到VLC数据上。所得的VLC数据被暂时存储在缓冲器5中。该VLC数据被以预定的传输速率以位流的形式从缓冲器5输出，作为编码结果MPEG数据。
缓冲器5把用于每个MB的编码结果数据的实际量，即构成用于每个MB的编码结果数据的总位数，通知给代码量控制器6。代码量控制器6计算编码结果数据的实际量与其目标量之间的误差。代码量控制器6响应所计算的数据量误差纠正由量化器3所使用的量化级，从而控制编码结果数据的实际量。
从量化器3输出的量化结果数据被反向量化器7进行反量化，被转换回DCT系数数据。该反量化器7输出DCT系数数据。从反量化器7输出的该DCT系数数据被反DCT设备8进行反DCT变换，转换回差值表示数据。该反DCT设备8输出该差值表示数据。加法器9把由来自反DCT设备8的输出数据所表示的差值图像与由来自运动补偿估计器11的输出数据所表示的最终参考图像相加。加法器9输出相加结果的视频数据。该相加结果的视频数据被暂时存储在存储器10中。视频数据被从存储器10传送到运动补偿估计器11。来自存储器10的输出视频数据被运动补偿估计器11所使用，作为用于运动补偿估计的基本参考图像或源图像的表示。
图2示出包括缓冲器12的MPEG解码器。采用位流形式的编码结果MPEG数据在被输出到VLD(可变长解码)设备13之前被暂时存储在缓冲器12中。VLD设备13使来自缓冲器12的输出数据受到与VLC相反的VLD变换，从而恢复直流成份数据和交流成份数据。交流成份数据被按照从高频到低频的方向之字形地扫描。直流成份数据和结果的交流成份数据被排列在具有8＊8单元的矩阵中。VLD设备13把矩阵排列的数据输出到反量化器14。VLD设备13从由缓冲器12输出的数据中提取运动矢量信息和MC模式信息。VLD设备13把运动矢量信息和MC模式信息输出到运动补偿预测器18。
响应该量化值，反量化器14使来自VLD设备13的输出数据受到反量化，从而恢复DCT系数数据。反量化包括由量化值乘以所处理数据值的步骤。DCT系数数据被从反量化器14输出到反DCT设备15，受到反DCT变化，从而被转换回该差值表示数据。反DCT设备15输出该差值表示数据。加法器16把由来自反DCT设备15的输出数据所表示的差值图像与由来自运动补偿预测器18的输出数据所表示的最终参考图像(最终预测图像)相加。加法器16输出相加结果视频数据，作为解码结果视频数据(原始视频数据)。该解码结果视频数据被传送到外部。从加法器16输出的相加结果视频数据被暂时存储在存储器17中。视频数据被从存储器17传送到运动补偿预测器18。来自存储器17的输出视频数据被运动补偿预测器18所使用，作为用于运动补偿预测的基本参考图像或源图像。运动补偿预测器18响应该基本参考图像、运动矢量信息和MC模式信息产生最终参考图像(最终预测图像)。运动补偿预测器18输出表示最终参考图像的数据。
下面将说明一种MPEG系统。该MPEG系统规定如下五项：
1)多个解码结果位流的同步再现；
2)把多个解码结果位流复用到单个位流中；
3)在开始再现时对缓冲器的初始化；
4)缓冲器的连续管理；以及
5)解码或再现的时间的识别。
在MPEG系统中的信息复用包括对该信息打包的步骤。例如，在需要复用视频信息和音频信息的情况中，每个视频信息和音频信息被分为具有适当长度的数据包。例如标头信息这样的附加信息被添加到每个数据包。在传送包序列之前，视频信息包和音频信息包被混合到该包序列中。因此，视频信息包和音频信息包被根据时分方式而传送。该标头信息包含用于识别相关信息包是否为视频或音频的信息，以及用于同步的时序信息。通常，数据包长度取决于传送介质和应用程序。例如，在ATM(异步传输模式)的情况中，数据包长度等于53个字节。在光盘的情况中，数据包长度等于4000个字节。根据MPEG系统，该数据包长度是可变的，并且可以设置为任意数值。
要被发送的数据被分组并且打包。一组由几个数据包所构成。每个组的标头部分装有一个组开始代码和SCR(系统时钟参考)。每个数据包的标头装有一个流ID和时间标记。时间标记包含用于音频和视频之间的同步的时序信息。时间标记有两种，被称为DTS(解码时间标记)和PTS(显示时间标记)。所发送数据包含表示27MHz的频率的定期出现的PCR(节目时钟参考)。对于解码器共同的参考时钟被锁定到由PCR所表示的频率。DTS表示在相关数据包中用于第一存取单元的解码开始时间，而PTS表示所需表示开始时间(所需回放开始时间)。在视频的情况中，一个存取单元对应于一个图像。在音频的情况中，一个存储单元对应于1152个样本。DTS和PTS按照基于由PCR所表示的频率的时间精度而给出。
图3示出一个MPEG系统解码装置，其中包括接收含有视频信息和音频信息的复用数据(系统位流)。该系统解码器20把所接收数据多路分解为视频数据和音频数据。系统解码器20把视频数据输出到视频解码器(MPEG视频解码器)21。系统解码器20把音频数据输出到音频解码器(MPEG音频解码器)22。另外，系统解码器20从所接收数据中提取每个PCR、每个视频DTS、每个音频DTS、每个视频PTS以及每个音频PTS。系统解码器20可以从所接收数据中提取每个SCR。系统解码器20输出PCR(或SCR)到一个时钟控制电路23。系统解码器20把该视频DTS、音频DTS、视频PTS和音频PTS输出到比较电路24。
时钟控制电路23包括一个振荡器，用于产生表示参考时钟的参考时钟信号。该时钟控制电路24把振荡器的振荡频率锁定到由PCR所表示的频率。因此，参考时钟被根据PCR而确定。时钟控制电路23把参考时钟，即由参考时钟信号所表示的时间，通知给该比较电路24。
比较电路24把由视频DTS所表示的时间与参考时钟相比较，以确定该视频DTS是否与参考时钟相一致。当视频DTS时间与参考时钟相一致时，比较电路24使视频解码器21开始视频数据的解码。视频解码器21把该解码结果视频数据存储到一个存储器25。比较电路24把由音频DTS所表示的时间与参考时钟相比较，以确定该音频DTS时间是否与参考时钟相一致。当该音频DTS时间与参考时钟相一致时，比较电路24使音频解码器22开始视频数据的解码。音频解码器22把解码结果的音频数据存储到存储器26。
比较电路24把由视频PTS所表示的时间与参考时钟相比较，以确定该视频PTS是否与参考时钟相一致。当视频PTS时间与参考时钟相一致时，比较电路24使存储器25输出解码结果的视频数据用于指示(indication)的目的。比较电路24把由音频PTS所表示的时间与参考时钟相比较，以确定该音频PTS时间是否与参考时钟相一致。当该音频PTS时间与参考时钟相一致时，比较电路24使存储器26输出解码结果音频数据，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果的视频数据和解码结果的音频数据可以从存储器25和26同步输出。因此，视频信息和音频信息可以被同步地回放。
考虑到图3的MPEG系统解码器的一部分对应于虚拟解码器，用于暂时存储多种解码结果数据，并且实现多种数据的同步回放。虚拟解码器被称为STD(系统目标解码器)。复用结果位流被设计为使得在STD中的存储器即不会溢出也不会欠载。
根据该MPEG系统，存在有传输流(TS)和节目流(PS)。TS或PS由分包基本流(PES)和装有其它信息的数据包所形成。PES被定义为用于在TS和PS之间转换或变换的中间流。PES例如是通过对编码结果MPEG视频数据、编码结果MPEG音频数据或专用数据流打包而产生。
具有公共参考时间的内容节目的视频和音频数据可以复用到一个PS中。该PS包括一串数据包。PS的数据包层被称为“PES”。参见图4，PS的数据包层与TS的数据包层相同，从而提供PS与TS之间的兼容性。根据用于PS的STD模型，用于要被解码的位流的解码模式被一个PES数据包中的流ID切换到PS方。
具有公共参考时间的内容节目的视频和音频数据还被复用到一个TS中。另外，在参考时间上不同的内容节目的视频和音频数据可以复用到一个TS中。该TS由一串固定长度的数据包，即188字节的数据包(TS数据包)，所形成。TS被设计为能够用于由传输线路造成数据错误的系统中。从上文的描述得知，该TS为表示多个内容节目的数据流。尽管TS数据包的级别比PES数据包更高，但是TS数据包通常比PES数据包更短。一般来说，一个PES数据包被分为片段，并且该PES数据包片段被分别置于多个TS数据包中。根据用于TS的STD模型，用于要被解码的位流的解码模式被在TS数据包中的数据包ID(PID)切换到PS方。
参见图5，TS数据包具有按照次序顺序排列的一个标头、一个自适应字段(AF)以及一个有效负荷。该标头包括按照次序顺序排列的一个同步字节、一个误差指示符、一个单元开始指示符、以及传输数据包优先级标志。在标头中，该传输数据包优先级标志之后接着一个PID，其表示在相关数据包中的有效负荷的类型(在相关数据包中的有效负荷中的数据类型)。在该标头中，该PID顺序接着一个加扰控制信息块、一个AF控制信息块和一个循环计数器。该标头的未尾被该循环计数器所占据。该AF控制信息块表示该自适应字段(AF)是否存在于相关数据包中。当该AF控制信息块表示没有该自适应字段，则该标头之后紧接着该有效负荷。另一方面，当AF控制信息块表示存在该自适应字段时，该标头之后顺序接着该自适应字段(AF)和有效负荷。该循环计数器表示关于相关数据包的连续性。通常，自适应信息被置于该自适应字段(AF)中，并且例如视频数据或音频数据这样的内容数据被置于有效负荷中。无效数据(伪数据)可以置于该有效负荷。
如图5中所示，该自适应字段包括一个可选字段。该可选字段的48位前端装载有一个PCR。
处理一个TS的MPEG系统被设计为提供一种机制，用于检测在TS数据包中的PID，并且在接收和解码过程中根据所检测的PID对该TS数据包进行分类。具体来说，参见图6，在阶段S1，在TS数据包中搜索一个具有PID＝0的数据包。换句话说，接收具有PID＝0的数据包。具有PID＝0的TS数据包被称为PAT(节目相关表)数据包。PAT数据包装载有PAT信息，其根据一条链接表示节目数(内容节目ID数)PR与具体PID之间的关系，即内容节目与具体PID之间的关系。在阶段S1之后的阶段S2，在PAT数据包中的PAT信息被检测。每个具体PID对应于一个PMT(节目映射表)数据包。PMT数据包装载有表示在相关内容节目之间的关系的PMT信息、在表示相关内容节目的视频数据包中的PID、以及在表示相关内容节目的音频数据包中的PID。预先从内容节目中选择一个作为所需内容节目。在阶段S2，通过参照在PAT数据包中的PAT信息检测对应于所需内容节目的一个具体PID。在阶段S2之后的阶段S3，接收或搜索具有与所检测的具体PID相同的一个PID的PMT数据包。在阶段S3之后的阶段S4，所接收的PMT数据包被存储，以获得PMT信息。根据在所存储的PMT数据包中的PMT信息，检测在表示所需内容节目的视频数据包和音频数据中的PID。另外，检测在与所需内容节目相关的同步时钟数据包中的PID。在阶段S4之后的阶段S5a，接收对应于所检测视频数据包PID的TS数据包。从所接收的TS数据包中提取视频信息。在阶段S4之后的阶段S5b，接收对应于所检测音频数据包PID的TS数据包。从所接收的TS数据包中提取音频信息。在阶段S4之后的阶段S5c，接收对应于所检测时钟数据包PID的TS数据包。从所接收的TS数据包中提取同步时钟信息。按照这种方式，响应所检测的PID，存取表示所需内容节目的视频数据包和音频数据包。通过参照PAT和PMT而实现进入所需内容节目。该PAT和PMT被称为PSI(节目特定的信息)。
图7示出使用图1的MPEG编码器的后期录音装置(后期记录装置)。如图7中所示，该后期录音装置包括与CPU110相连接的用户接口。该用户接口109可以由用户所处理。CPU110具有输入/输出端口、处理部分、ROM和RAM的组合。该CPU110根据存储在ROM或RAM中的控制程序而工作。该控制程序被设计为使CPU110实现在下文中所述的操作步骤。通过处理用户接口109，可以在包括第一模式和第二模式的不同模式之间改变该后期录音装置的操作。第一操作模式被设计为记录主数据。该第二操作模式被设计为记录用于后期录音的音频数据。当用户接口109被处理时，操作模式指定信号被输入到CPU110。该操作模式指定信号被输入到CPU110。该操作模式指定信号表示需要第一模式和第二模式中的哪一个模式。CPU110把该操作模式指定信号传送到信号选择器105。
当操作模式指定信号表示需要第一操作模式时，也就是说当需要记录主数据时，后期录音装置工作如下。输入视频数据被传送到视频编码器101a，以及输入音频信号被传送到音频编码器101b。通常，输入视频数据和输入音频数据表示公共内容节目(公共音频视频节目)，并且相互同步。该视频编码器101a实现输入视频数据的MPEG编码，以产生编码结果视频数据。该编码结果视频数据被从视频编码器101a传送到PES打包设备102a。该音频编码器101b实现输入音频数据的MPEG编码，以产生编码结果音频数据。该编码结果音频数据从音频编码器101b发送到PES打包设备102b。该PES打包设备102a把该编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102a发送到时间标记记录器103a。PES打包设备102b把编码结果音频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。
信号产生器103c把27MHz时间信号输出到时间标记记录器103a和103b。该时间标记记录器103a响应27MHz时钟信号产生时序信息块，即PCR和定期更新时间标记(视频PTS和视频DTS)。该时间标记记录器103a在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103a发送到多路复用器104。时间标记记录器103b响应27MHz时间信号产生PCR和定期时间标记(音频PTS和音频DTS)。该时间标记记录器103b在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到多路复用器104。多路复用器104把来自时间标记记录器103a的PES数据包与来自时间标记记录器103b的PES数据包复用，以及产生PS形式或TS形式的复用结果数据(主数据)。复用结果数据被从多路复用器104发送到信号选择器105。
信号选择器105响应操作模式指定信号选择复用结果数据(主数据)，并且把该复用结果数据传送到缓冲器106a。该复用结果数据在被输出到记录控制器107之前被存储在缓冲器106a中。记录控制器107在记录介质108上存储该主数据(复用结果数据)，作为具有名称“PR....dat”的文件(参见图8)。
由时间标记记录器103a所记录的视频PTS和视频DTS，以及由时间标记记录器103b所记录的音频PTS和音频DTS具有一定的关系，使得该视频信号和音频信号可以同步地从该记录的主数据中再现。
当该操作模式设计信号表示需要第二操作模式时，即当需要记录用于后期录音的音频数据时，该后期录音装置工作如下。CPU110把用于后期录音的音频数据的标识信息(ID信息)发送到PES打包设备102b。用于后期录音的音频数据被传送到音频编码器101b。该用于后期录音的音频数据与主数据中的视频信息具有同步关系。该音频编码器101b实现该用于后期录音数据的MPEG编码，以产生编码结果音频数据。该编码结果音频数据被从音频编码器101b传送到PES打包设备102b。
PES打包设备102b把用于后期录音的ID信息添加到编码结果音频数据，并且把添加有ID的编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。信号发生器103c把27MHz的时钟信号输出到时间标记记录器103b。时间标记记录器103b响应27MHz时钟信号产生时序信号块，即PCR和定期更新时间标记(音频PTS和音频DTS)。该时间标记记录器103b在每个PES数据包中记录PCR、PTS和DTS。最好，该PCR、PTS和DTS被设置为与在记录主数据的过程中已经添加到每个音频PES数据包的PCR、PTS和DTS相等。在这种情况中，后期录音的音频数据与所记录的主数据中的视频信息的时序关系将和在所记录主数据与其中的视频信息的时序关系相同。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到信号选择器105，而不被通过多路复用器104而传输。该信号选择器105响应操作模式指定信号选择由时间标记记录器103b所输出的数据(PES数据包序列)，并且把所选择的数据传送到缓冲器106b。所选择的数据在从缓冲器106b输出到记录控制器107之前被存储在缓冲器106b中。记录控制器107把来自缓冲器106b的输出数据记录在记录介质108中，作为后期录音的音频数据(后期记录音频数据)。在记录介质108上的后期录音的音频数据为具有名称“AF-....dat”的文件(参见图8)。
如上文所述，CPU110与用户接口109相连接。CPU110可以接收来自用户接口109的操作模式指定信号。CPU110响应该操作模式指定信号。CPU110与设备101a、101b、102a、102b、103a、103b、104、105、106a、106b和107。CPU110可以控制设备101a、101b、102a、102b、103a、103b、104、105、106a、106b和107。如上文所述，CPU110具有输入/输出端口、处理部分、ROM和RAM的组合。CPU110根据存储在ROM和RAM中的控制程序而工作。最好，该控制程序被从记录介质发送到CPU110。该控制程序可以通过通信网络下载到CPU110。
图18为用于CPU110的控制程序的一个片段的流程图。如图18中所示，该程序片段的第一步骤S10执行相被记录的输入数据(输入视频数据和输入音频数据)的接收。步骤S10把输入视频数据发送到视频编码器101a。步骤S10把输入音频数据发送到音频编码器101b。
在步骤S10之后的步骤S11通过参照从用户接口109输出的信号确定是否需要该后期录音操作模式(第二操作模式)。当需要后期录音操作模式时，该程序从步骤S11进行到步骤S12。否则，该程序从步骤S11进行到步骤S13。
该步骤S13控制视频编码器101a，以实现输入视频数据的MPEG编码，产生编码结果视频数据。该编码结果视频数据被从视频编码器101a发送到PES打包器件102a。步骤S13控制音频编码器101b，以实现输入音频数据的MPEG编码，产生编码结果音频数据。该编码结果音频数据被从音频编码器101b发送到PES打包设备102b。
在步骤S13之后的步骤S14控制PES打包设备102a，以把该编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102a发送到时间标记记录器103a。步骤S14控制PES打包设备102b，以把该编码结果音频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。
在步骤S14之后的步骤S15控制时间标记记录器103a，以响应27MHz时钟信号产生时序信息块，即PCR和定期更新时间标记(视频PTS和视频DTS)。该步骤S15控制时间标记记录器103a在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103a发送到多路复用器104。步骤S15控制时间标记记录器103b，以响应27MHz时钟信号产生时序信息块，即PCR和定期更新时间标记(音频PTS和音频DTS)。该步骤S15控制时间标记记录器103b在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到多路复用器104。
在步骤S15之后的步骤S16控制多路复用器104，以把来自时间标记记录器103a的PES数据包与来自时间标记记录器103b的PES数据包复用，以及产生PS形式或TS形式的复用结果数据(主数据)。复用结果数据被从多路复用器104发送到信号选择器105。
在步骤S16之后的步骤S17控制信号选择器105，以响应操作模式指定信号，从而该信息选择器105从多路复用器104中选择复用结果数据(主数据)，并且把该复用结果数据传送到缓冲器106a。该步骤S17控制缓冲器106a存储该复用结果数据。
在步骤S17之后的步骤S18监控在缓冲器106a中的复用结果数据的量(位数)。步骤S18确定在缓冲器106a中的复用结果数据的量是否超过预定的量。当在缓冲器106a中的复用结果数据的量超过预定的量，则该程序从步骤S18进行到步骤S19。否则，该程序从步骤S18返回到步骤S17。
步骤S19控制缓冲器106a把该复用结果数据输出到记录控制器107。步骤S19控制记录控制器107，以在记录介质108上存储该主数据(即，复用结果数据)，作为具有名称“PR....dat”的文件(参见图8)。
在步骤S19之后的步骤S20确定是否存在剩余的输入数据。当存在剩余的输入数据时，该程序从步骤S20返回到步骤S10。否则，该程序从步骤S20继续前进，并且结束该程序段的当前执行周期。
步骤S12控制音频编码器101b实现输入音频数据的MPEG编码(用于后期录音的数据)，以产生编码结果音频数据。该编码结果音频数据被从音频编码器101b发送到PES打包装置102b。
在步骤S20之后的步骤S21把用于后期录音的音频数据的标识信息(ID信息)发送到PES打包设备102b。步骤S21控制PES打包装置102b，以把后期录音ID信息添加到编码结果音频数据，并且把添加有ID的编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。
在步骤S21之后的步骤S22控制时间标记记录器103b，以响应27MHz时钟信号产生时序信号块，即PCR和定期更新时间标记(音频PTS和音频DTS)。步骤S22控制该时间标记记录器103b，在每个PES数据包中记录PCR、PTS和DTS。最好，该PCR、PTS和DTS被设置为与在记录主数据的过程中已经添加到每个音频PES数据包的PCR、PTS和DTS相等。在这种情况中，后期录音的音频数据与所记录的主数据中的视频信息的时序关系将和在所记录主数据与其中的视频信息的时序关系相同。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到信号选择器105，而不被通过多路复用器104而传输。
在步骤S16之后的步骤S17控制该信号选择器105，以响应操作模式指定信号选择由时间标记记录器103b所输出的数据(PES数据包序列)，并且把所选择的数据传送到缓冲器106b。步骤S17控制缓冲器106b存储所选择的音频数据。
在步骤S17之后的步骤S18监控在缓冲器106a中的音频数据的量(位数)。步骤S18确定在缓冲器106a中的复用结果数据的量是否超过预定的量。当在缓冲器106a中的复用结果数据的量超过预定的量，则该程序从步骤S18进行到步骤S19。否则，该程序从步骤S18返回到步骤S17。
步骤S19控制缓冲器106a把该复用结果数据输出到记录控制器107。步骤S19控制记录控制器107，以在记录介质108上存储来自缓冲器106b的音频数据，作为后期录音音频数据(即，后期记录数据)。在记录介质108上的后期录音的音频数据为具有名称“AF.....dat”的文件(参见图8)。步骤S19之后接着步骤S20。
根据下文所述的信息模式，用于后期录音的音频数据被记录在记录介质上，作为播放列表信息。具体来说，第一用于后期录音的音频数据被记录在PLO文件夹中，作为具有名称“AF-1.dat”的文件(参见图8)。并且，第二和以后的用于后期录音的音频数据被记录。另外，第m个用于后期录音的音频数据被记录在PLO文件夹中，作为具有名称“AF-m.dat”的文件(参见图8)。因此，记录“m”个不同类型的用于后期录音的音频数据。一个信息块“AF_number”(参见图13)表示用于后期录音的音频数据。由于该信息块“AF_number”具有8位(“0”不被使用)，可以记录多达254个不同类型的用于后期录音的音频数据。
下面将描述在记录介质108上记录的信息格式。如图8中所示，记录介质108存储一个根目录，在其下方设置一个名为“LIB(library)”的文件夹。在文件夹“LIB”之下，由多个名为“SIDE.ifo”(“SIDE0.ifo”、“SIDE1.ifo”、...、以及“SIDEk.ifo”)的文件。文件“SIDE.ifo”中装有与多个内容节目，即音频-视频(AV)节目，相关的辅助信息。
另外，在文件夹“LIB”之下，有分别载有信息块“PR0.dat”、“PR1.dat”和“PRn.dat”的文件夹“PR0”、“PR1”、...以及“PRn”。信息块“PR0.dat”、“PR1.dat”和“PRn.dat”被设计为用于与AV复用结果位流相链接。
另外，在文件夹“LIB”之下有包含后期录音的音频文件(装有后期录音的音频信息的文件)的文件夹“PL0”、“PL1”、...以及“PLn”。例如，在制作并记录与文件夹“PR0”相关的“m”个后期录音的音频文件的情况下，列表信息块“AF0-1.dat”、“AF0-2.dat”、...、“AF0-m.dat”被置于文件夹“PL0”中作为用于与后期录音的音频文件相链接的信息。
从上文所述可以得知，与AV复用结果文件和后期录音的音频文件相关的链接信息被记录在记录介质108上。所需的内容信息可以根据该链接信息从记录介质再现。
参见图9，每个文件“SIDE.ifo”采用具有层级结构的格式。具体来说，每个文件“SIDE.ifo”具有第一级片段“TOTAL_MANAGER_IFO”，其中包含第二级片段“GENERAL_IFO”和“CNTNT_IFO”。该第二级片段“GENERAL_IFO”载有与整个当前辅助信息相关的参数。
第二级片段“GENERAL_IFO”具有如图10中所示的语法结构。具体来说，该第二级片段“GENERAL_IFO”包括分别具有语法名称“System_id”、“TMG_IFO_length”、“Num_of_PR_IFO”、“Num_of_PL_IFO”、“Start_Address_of_PR_IFO”和“Start_Address_of_PL_IFO”。信息块“System_id”是表示当前信息结构的类型的32位信号。信息块“TMG_IFO_length”是表示整个管理器长度的32位信号。信息块“Num_of_PR_IFO”是表示将在下文中描述的节目信息块“PR_IFO”的数目的8位信号。信息块“Num_of_PL_IFO”是表示将在下文中描述的后期录音信息块“PL_IFO”的数目的8位信号。信息块“Start_Address_of_PR_IFO”为表示第一节目信息块“PR_IFO_0”的开头地址的32位信号。信息块“Start_Address_of_PL_IFO”为表示第一后期录音信息块“PL_IFO_0”的开头地址的32位信号。
在图9中的第二级片段“CNTNT_IFO”包含装有分别与内容节目(或者AV复用结果文件)相关的信息块的第三级片段“PR_IFO_0”、“PR_IFO_1”、...、以及“PR_IFO_m”。另外，第二级片段“CNTNT_IFO”包含装有分别与内容节目(或者AV复用结果文件)相关的用于后期录音的音频数据的信息块的第三级片段“PL_IFO_0”、“PL_IFO_1”、...、以及“PL_IFO_n”。例如，在存在对应于第三级片段“PR_IFO_0”的后期录音的音频数据的情况下，第三级片段“PL_IFO_0”包含装载有与后期录音的音频文件相关的信息(播放列表信息)的第四级片段“PLAYL_IFO”。
第三级片段“PR_IFO_0”、“PR_IFO_1”、...、以及“PR_IFO_m”的结构相类型。下面将仅仅更加详细地描述第三级片段“PR_IFO_0”。如图11中所示，第三级片段“PR_IFO_0”包含第四级片段“PROG_IFO”和“IDX_IFO”。第四级片段“PROG_IFO”装载有与内容节目相关的信息。第四级片段“IDX_IFO”包含装载有与相关音频-视频节目的各个索引相关的信息块的第五级片段“IDX_IFO_0”、“IDX_IFO_1”、...、以及“IDX_IFO_n”。第五级片段“IDX_IFO_0”、“IDX_IFO_1”、...、以及“IDX_IFO_n”的结构相类似。例如，第五级片段“IDX_IFO_0”具有第六级片段“INDEX_IFO”，其中相关音频-视频节目的一部分可以被登记作为索引信息。
第四级片段“PROG_IFO”是图12中所示的语法结构。具体来说，每个第四级片段“PROG_IFO”包括分别具有语法名称“Size ofPROG_IFO”、“PR_number(PR号)”、“Content_type(内容类型)”和“Component type(成份类型)”的信息块。信息块“Size of PROG_IFO”为表示第四级片段“PROG_IFO”的大小的32位信号。信息块“PR_number”为表示被分配给相关音频-视频节目的指定号码(识别号)的8位信号。PR号为分别对应于不同音频-视频节目的“0”-“255”之间的变量。信息块“Content type”为表示相关音频-视频节目的类型的8位信号。信息块“Component type”为表示相关数据的类型的8位信号，即表示相关数据是否为视频、音频或其它。
如上文所述，在存在后期录音的音频文件的情况下，提供播放列表信息“PLAYL_IFO”。在存在对应于文件夹“PR0”的“m”个后期录音的音频文件的情况下，列表信息块“AF0-1.dat”、“AF0-2.dat”、...、“AF0-m.dat”被置于文件夹“PL0”中，作为用于与该后期录音的凌晨频文件相链接的信息。
该播放列表信息“PLAYL_IFO”具有图13中所示的语法结构。具体来说，该播放列表信息“PLAYL_IFO”包括分别具有语法名“PR_number”和“AF_number”的信息块。信息块“PR_number”为表示被分配给相关主数据(即相关音频-视频节目)的指定号码(标识号)。该信息块“AF_number”为表示分配给相关的后期录音音频数据的指定号码(标识号)。
对于在图8的文件夹“PRj”中的“n”个AV复用结果数据流“PRj.dat(j＝0，1...，n)”的每一个数据流，可以根据用户要求而登记“m”个后期录音的音频数据。当数目“m”等于“0”时，AV复用结果文件被使用，而不采用后期录音的音频数据。当数目“m”等于“1”或更大时，允许记录用于后期录音的音频数据。在这种情况中，至少一个后期录音的音频文件被制作并且记录。以及，该后期录音的音频数据被再现或发送。
在图11中的索引信息“INDEX_IFO”使图14中的语法结构。具体来说，该索引信息“INDEX_IFO”包括分别具有语法名称“INDEX_number”、“Playback_Time”、“Start_Address”和“End_Address”的信息块。信息块“INDEX_number”为表示分配给相关索引的序列号的8位信号。信息块“Playback_Time”为表示相关索引的回放时间的40位信号。信息块“Start_Address”为表示相关索引的开始点的地址的64位信号。信息块“End_Address”是表示相关索引的结束点的地址的64位信号。
图15示出在构成记录介质108的硬盘上记录的TS的格式。如图15中所示，该TS由一系列TS单元所形成。每个TS单元由数据包所构成。每个数据包由25位信息标记和188字节的MPEG TS数据包所构成。
图16示出使用图3的MPEG系统解码装置的再现装置。如图16中所示，该再现装置包括与CPU121相连接的用户接口120。用户接口120可以由用户所处理。CPU121具有输入/输出端口、处理部分、ROM和RAM的组合。CPU121根据存储在ROM或RAM中的控制程序而工作。该控制程序被设计为使得CPU121实现在下文中所述的操作步骤。通过处理该用户接口120，可以在包括第一模式和第二模式的不同模式中改变再现装置的操作。第一操作模式被设计为再现主数据(复用结果数据)。第二模式被设计为再现后期录音音频数据，而不是在主数据中的音频信息，并且同步地再现在主数据中的视频信息。当用户接口120被处理时，一个操作模式指定信号被输入到CPU121。操作模式指定信号表示需要第一操作模式和第二操作模式中的哪一个操作模式。CPU121把该操作模式指定信号传送到信号选择器114。并且，通过处理用户接口120，标识(ID)信息可以被输入到CPU121。CPU121把该标识信息传送到标识信息检测器123。
当操作模式指定信号表明需要第一操作模式，也就是说当需要再现主数据时，该再现装置如下工作。通过处理该用户接口120，用于识别所需主数据的信号被输入到CPU121。该识别信号表示分配给所需主数据的指定号(标识号)。CPU121把该识别信息传送到标识信息检测器123。该标记信息检测器123从该识别信息中提取所需主数据的标识号。该标识信息检测器123把所需主数据的标识号通知给读取控制器111。该标识信息检测器123命令该读取控制器121从记录介质108中读出具有与所需主数据的标识号相对应的名称的主数据文件。因此，读取控制器121实现从读取装置108中读出所需的主数据。按照这种方式，读取控制器111从记录介质108读出所需主数据，即所需的复用结果数据。所读出的主数据被从读取控制器111发送到缓冲器112a。主数据在输出到多路分解器113之前被存储在缓冲器112a中。多路分解器113把主数据分离为视频数据和音频数据。该视频数据被从多路分解器113发送到时间标记检测器115a。该音频数据被从多路分解器113发送到信号选择器114。该信号选择器114响应该操作模式指定信号从多路分解器113选择音频数据，并且把所选择的音频数据传送到时间标记检测器115b。
该时间标记检测器115a检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。该时间标记检测器115b检测在音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该音频数据传送到PES解包设备116b。
该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
信号产生器124a把一个27MHz时钟信号输出到时间标记比较器124。根据该27MHz时钟信号，时间标记比较器124产生一个表示参考时间的参考时钟信号。该时间标记比较器124把参考时钟信号的频率锁定到由PCR所表示的频率。因此，参考时间由PCR所确定。该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据被同步地回放。
当操作模式指定信号表示需要第二操作模式时，即当需要再现后期录音的音频数据和主数据视频信息时，该再现装置如下工作。通过处理该用户接口，用于表示所需主数据和所需后期录音的音频数据的信号被输入到CPU121。识别信号对应于图13中的信息块“PR_number”和“AF_number”，其表示被分配给所需主数据和所需后期录音的音频数据的指定号(标识号)。CPU121把该识别信号传送到识别信息检测器123。读取控制器111从记录介质108读出播放列表信息“PLAYL_IFO”(参见图13)，并且把该播放列表信息“PLAYL_IFO”发送到标识信息检测器123。标识信息检测器123通过参照播放列表信息“PLAYL_IFO”，响应该识别信号，检测所需主数据和所需后期录音的音频数据的标识号。该标识信息检测器123把所需主数据和所需后期录音的音频数据的标识号通知给读取控制器111。标识信息检测器123命令读取控制器121从记录介质108中交替地读出具有对应于所需主数据和所需后期录音的音频数据的名称的主数据和后期录音的音频文件。因此，读取控制器111根据交替的时分脉冲，从记录介质108中读出所需主数据和所需后期录音的音频数据。该读出的主数据被从读取控制器111发送到缓冲器112a。在输出到多路分解器113之前，主数据被存储在缓冲器112a中。多种分解器113把主数据分离为视频数据和音频数据。该视频数据被从多路分解器113发送到时间标记检测器115a。该音频数据被从多路分解器113发送到信号选择器114。该读出的后期录音的音频数据被从读取控制器111发送到缓冲器112b。在被输出到信号选择器114之前，该后期录音的音频数据被存储在缓冲器112b中。该信号选择器114响应该操作模式指定信号从缓冲器112b中选择后期录音的音频数据，并且把所选择的后期录音的音频数据传送到时间标记检测器115b。换句话说，该信号选择器114拒绝来自多路分解器113的音频数据。
该时间标记检测器115a检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。该时间标记检测器115b检测在音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该后期录音的音频数据传送到PES解包设备116b。
该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
信号产生器124a把一个27MHz时钟信号输出到时间标记比较器124。根据该27MHz时钟信号，时间标记比较器124产生一个表示参考时间的参考时钟信号。该时间标记比较器124把参考时钟信号的频率锁定到由PCR所表示的频率。因此，参考时间由PCR所确定。该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据被同步地回放。
如上文所述，CPU121与用户接口120相连接。CPU121可以接收来自用户接口120的操作模式指定信号。并且，CPU121可以接收来自用户接口120的标识(ID)信息。CPU121响应该操作模式指定信号和ID信息。该CPU121与设备111、112a、112b、113、114、115a、115b、116a、116b、117a、117b、118a、118b、123和124。如上文所述，CPU121具有输入/输出端口、处理部分、ROM和RAM的组合。CPU121根据存储在ROM或RAM中的控制程序而工作。最好，该控制程序被从记录介质传送到CPU121。该控制程序可以通过通信网络下载到CPU121。
图19为用于CPU121的控制程序的一个片段的流程图。如图19中所示，第一步骤S30控制标识信息检测器123和读取控制器111，以在记录介质108上存取所需主数据(所需复用结果数据)或者所需主数据和所需后期录音的音频数据。在步骤S30之后，该程序进行到步骤S31。
步骤S31控制读取控制器111从记录介质108上读出所需主数据或者所需主数据和所需后期录音的音频数据。步骤S31控制读取控制器111和缓冲器112a，以在缓冲器112a中存储读出的主数据(读出的复用结果数据)。在存在有所需后期录音的音频数据的情况下，该步骤S31控制读取控制器111和缓冲器112b，以在缓冲器112b中存储读出的后期录音的音频数据。
在步骤S31之后的步骤S32监控在缓冲器112a中的复用结果数据的量(位数)。步骤S32确定在缓冲器112a中复用结果数据的量是否超过第一预定量。另外，在步骤S32监控在缓冲器112b中的后期录音的音频数据的量(位数)。该步骤S32确定在缓冲器112b中后期录音的音频数据的量是否超过第二预定量。当在缓冲器112a中的复用结果数据的量超过第一预定量并且在缓冲器112b中的后期录音的音频数据的量超过第二预定量，则该程序从步骤S32进行到步骤S33。否则，该程序从步骤S32返回到步骤S31。
步骤S33通过参照从用户接口109输出的操作模式指示信号，确定是否需要该后期录音数据再现操作模式(第二操作模式)。当需要后期录音数据再现模式时，该程序从步骤S33进行到步骤S34。否则该程序从步骤S33进行到步骤S35。
步骤S35控制缓冲器112a来把主数据(复用结果数据)输出到多路分解器113。步骤S35控制多路分解器113来把主数据分为视频数据和音频数据。视频数据被从多路分解器113发送到时间标记检测器115a。音频数据被从多路分解器113发送到信号选择器114。步骤S35响应该操作模式指定信号来控制该信号选择器114，使得该信号选择器114选择来自多路分解器113的音频数据，并且把所选择的音频数据传送到时间标记检测器115b。
在步骤S35之后的步骤S36控制该时间标记检测器115a，以检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。步骤S36控制该时间标记检测器115b检测在音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该音频数据传送到PES解包设备116b。
在步骤S36之后的步骤S37控制该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。步骤S37控制PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。
在步骤S37之后的步骤S38控制该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。步骤S38控制该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
在步骤S38之后的步骤S39实现解码结果视频数据和解码结果音频数据的同步回放。具体来说，步骤S39控制时间标记比较器124，以响应PCR来确定参考时钟。步骤S39控制该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。步骤S39控制该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
步骤S39控制该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。步骤S39控制该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据被同步地回放。在步骤S39之后，该程序进行到步骤S40。
步骤S34控制缓冲器112a来把主数据(复用结果数据)输出到多路分解器113。步骤S34控制多路分解器113来把主数据分为视频数据和音频数据。视频数据被从多路分解器113发送到时间标记检测器115a。音频数据被从多路分解器113发送到信号选择器114。步骤S34响应该操作模式指定信号来控制该信号选择器114，使得该信号选择器114选择来自缓冲器112b的后期录音的音频数据，并且把所选择的后期录音音频数据传送到时间标记检测器115b。
在步骤S34之后的步骤S41控制该时间标记检测器115a，以检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。步骤S41控制该时间标记检测器115b检测在后期录音音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该音频数据传送到PES解包设备116b。
在步骤S41之后的步骤S42控制该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。步骤S42控制PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。
在步骤S42之后的步骤S43控制该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。步骤S43控制该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
在步骤S43之后的步骤S44实现解码结果视频数据和解码结果音频数据的同步回放。具体来说，步骤S44控制时间标记比较器124，以响应PCR来确定参考时钟。步骤S44控制该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。步骤S44控制该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
步骤S44控制该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。步骤S44控制该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据(后期录音音频数据)被同步地回放。在步骤S44之后，该程序进行到步骤S40。
在步骤S40确定是否存在要被回放的剩余所需数据。当存在剩余的所需数据时，该程序从步骤S40返回到步骤S30。否则，该程序从步骤S40继续前进，并且结束该程序段的当前执行周期。
图17示出一种发送装置，如图17中所示，该发送装置包括与CPU121A相连接的用户接口120A。用户接口120A可以被用户所处理。CPU121A具有输入/输出端口、处理部分、ROM和RAM的组合。CPU121A根据存储在ROM或RAM中的控制程序而工作。该控制程序被设计为使得CPU121A实现在下文中所述的操作步骤。通过处理该用户接口120A，可以在包括第一模式和第二模式的不同模式中改变该发送装置的操作。第一操作模式被设计为发送主数据(复用结果数据)。第二模式被设计为发送后期录音音频数据，而不是在主数据中的音频信息，并且发送在主数据中的视频信息。当用户接口120A被处理时，一个操作模式指定信号被输入到CPU121A。操作模式指定信号表示需要第一操作模式和第二操作模式中的哪一个操作模式。CPU121A把该操作模式指定信号传送到信号选择器125。并且，通过处理用户接口120A，标识(ID)信息可以被输入到CPU121A。CPU121A把该标识信息传送到标识信息检测器123。
当操作模式指定信号表明需要第一操作模式，也就是说当需要发送主数据时，该发送装置如下工作。读取控制器111从记录介质108读出主数据，即复用结果数据。读出的主数据被从读取控制器111发送到缓冲器112a。主数据在输出到信号选择器125之前被存储在缓冲器112a中。信号选择器125从缓冲器112a选择主数据，并且把该主数据传送到缓冲器126。在被输出到传输线路之前，该主数据被存储在缓冲器126中。
当操作模式指定信号表示需要第二操作模式时，即当需要再现后期录音的音频数据和主数据视频信息时，该再现装置如下工作。通过处理该用户接口120A，用于表示所需主数据和所需后期录音的音频数据的信号被输入到CPU121A。识别信号对应于图13中的信息块“PR_number”和“AF_number”，其表示被分配给所需主数据和所需后期录音的音频数据的指定号(标识号)。CPU121A把该识别信号传送到识别信息检测器123。读取控制器111从记录介质108读出播放列表信息“PLAYL_IFO”(参见图13)，并且把该播放列表信息“PLAYL_IFO”发送到标识信息检测器123。标识信息检测器123通过参照播放列表信息“PLAYL_IFO”，响应该识别信号，检测所需主数据和所需后期录音的音频数据的标识号(参见图13)。该标识信息检测器123把所需主数据和所需后期录音的音频数据的标识号通知给读取控制器111。标识信息检测器123命令读取控制器121从记录介质108中交替地读出具有对应于所需主数据和所需后期录音的音频数据的名称的主数据文件和后期录音的音频文件。因此，读取控制器111根据交替的时分脉冲，从记录介质108中读出所需主数据和所需后期录音的音频数据。该读出的主数据被从读取控制器111发送到缓冲器112a。在输出到多路分解器113之前，主数据被存储在缓冲器112a中。该读出的主数据被从读取控制器111发送到缓冲器112b。在被输出到信号选择器125之前，该主数据被存储在缓冲器112b中。该读出的后期录音音频数据被从读取控制器111发送到缓冲器112b。在被输出到信号选择器125之前，该后期录音音频数据被存储在缓冲器112b中。信号选择器125响应该操作模式指定信号用来自缓冲器112b的后期录音音频数据替换在主数据中的音频数据，从而把原始主数据转换为新的主数据。该新的主数据被从信号选择器125发送到缓冲器126。新的主数据在被输出到传输线路之前存储在缓冲器126中。在把原始主数据转换为新的主数据的过程中，不需要改变每个PCR、每个DTS以及每个PTS。最好，该信号选择器125包括一个计算器。该计算器可以由CPU121A所形成。对于已经受到音频数据替换的新的主数据的数据包来说，该计算器计算新的CRC(循环冗余校验)码字，并且用新的码字来替换旧的CRC码字。
从上文的描述可以得知，对于新数据的产生，假设与用于后期录音的音频数据的类型相关的数据块被预先在单元数据中产生，并且用于后期录音的音频数据的传输速率等于在主数据中的原始音频数据的传输速率。
第二实施例
除了下文中所述的设计改变之外，本发明的第二实施例类似于其第一实施例。根据本发明第一实施例，对于主数据的产生，假设与用于后期录音的音频数据相关的数据块被预先在单元数据中产生，并且用于后期录音的音频数据的传输速率等于在主数据中的原始音频数据的传输速率。根据本发明的第二实施例，对于主数据的产生，传输速率与期望的用于后期录音的音频数据相等的单元数据被预先作为伪数据复用地记录。
第三实施例
除了下文中所述的设计改变之外，本发明的第三实施例类似于其第一实施例。根据本发明的第三实施例，在要记录用于后期录音的音频数据的情况下，传输速率与所期望的用于后期录音的音频数据相等的单元数据被预先作为伪数据而复用地记录。当产生实际的用于后期录音的音频数据时，用实际的用于后期录音的音频数据来代替以前记录的伪数据。在用实际的用于后期录音的音频数据来代替以前记录的伪数据的过程中，不需要更改每个PCR、每个DTS和每个PTS。
在实际的用于后期录音的音频数据的传输速率与期望的传输速率不同的情况下，视频数据和实际的用于后期录音的音频数据被复用地记录。在这种情况中，需要更新每个PCR、每个DTS和每个PTS。
由实施例所提供的优点
本发明的第一、第二和第三实施例提供如下优点。
音频信号和视频信号被压缩编码为编码结果音频数据和编码结果视频数据。用于同步再现的音频信号标记被记录在编码结果音频数据的每个单元中，而用于同步再现的视频时间标记被记录在编码结果视频数据的每个单元中。编码结果音频数据和编码结果视频数据被复用到主数据中。主数据被记录在一个记录介质上。一种或多种用于编码结果音频数据和编码结果视频数据的后期录音数据被记录在与所记录的主数据相分离的记录介质上。因此，用于后期录音的数据被记录而不被复用。相应地，可以提供一种容易记录用于后期录音的数据的格式。另外，可以记录许多类型的用于后期录音的数据。
音频信号和视频信号被压缩编码为编码结果音频数据和编码结果视频数据。用于同步再现的音频时间标记被记录在编码结果音频数据的每个单元中，而用于同步再现的视频时间标记被记录在编码结果视频数据的每个单元中。该编码结果音频数据和编码结果视频数据被复用到主数据中。该主数据被记录在一个记录介质上。一种或多种用于编码结果音频数据和编码结果视频数据的后期录音数据还被记录在与所记录的主数据相分离的记录介质上。因此，用于后期录音的数据被记录而不被复用。该用于后期录音的数据在被再现之前，被时分地从记录介质读出。相应地，可以容易地识别用于后期录音的数据的类型。另外，可以再现该用于后期录音的数据，而不再次对它们复用。
音频信号和视频信号被压缩编码到编码结果音频数据和编码结果视频数据中。用于同步再现的音频时间标记被记录在编码结果音频数据的每个单元中，而用于同步再现的视频时间标记被记录在编码结果视频数据的每个单元中。该编码结果音频数据和编码结果视频数据被复用到主数据中。该主数据被记录在一个记录介质上。一种或多种用于编码结果音频数据和编码结果视频数据的后期录音数据还被记录在与所记录的主数据相分离的记录介质上。因此，用于后期录音的数据被记录而不被复用。时分地从记录介质读出主数据和用于后期录音的数据。该用于后期录音的数据代替在主数据中的相应单元数据，从而主数据被转换为新的主数据。该新的主数据被发送。相应地，可以发送符合用于复用的MPEG标准的数据。在发送目的地中的一个MPEG再现器可以再现包含该用于后期录音的数据的所发送数据。
在该用于后期录音的数据被记录在记录介质中的情况下，在记录介质上的所记录的主数据保持不变。相应地，可以原样地再现该主数据。在发送之前从记录介质再现该用于后期录音的数据的情况下，在记录介质上的主数据保持不变。相应地，可以原样地再现该主数据。在把多种类型的用于后期录音的数据记录在记录介质上的情况下，用户可以有选择地使用一种或多种用于后期录音的数据。
存在用于分别识别多种类型的后期录音数据的识别信息块。用于再现与主数据同步的时间标记和识别信息块被添加到多种后期录音数据中。每种后期录音数据被制成一个位流，而不与主数据复用。相应地，主数据保持不变。因此，即使在主数据和后期录音数据被记录在记录介质上的情况下，可以从记录介质原样地再现该主数据。在主数据和多种后期录音数据被记录在记录介质上的情况下，可以有选择地再现其中一种后期录音数据来取代该主数据，以把该主数据转换为新的主数据。
本申请是2002年10月17日提交的、申请号为02145788.3、发明名称为“后期录音装置”的申请的分案申请。
图1示出包括作为减法器而工作的加法器1的MPEG(运动图像专家组)编码器。该作为减法器而工作的加法器1计算帧间预测误差，这是由输入视频信号Vin所表示的图像与来自运动补偿预测器11的输出数据所表示的最终参考图像(最终预测图像)之间的差值(误差)。该作为减法器而工作的加法器1输出表示所计算的差值的数据(所计算的帧间预测误差)。
由运动补偿预测器11所实现的预测被表示如下。预测方向有三种模式，即从过去的方向(“向前”)、从将来的方向(“向后”)以及从过去和将来的方向(“内插”)。相应地，从过去预测(“向前”)、从将来预测(“向后”)以及从过去和将来预测(“内插”)。一种实际使用的预测方向可以按从MB到MB而改变，其中MB表示具有16＊16像素的一个宏块。每个图像被分为预定数目的MB。实际使用的预测方向基本上由输入视频信号Vin所表示的每个图像的类型所确定。图像被分类为P图像(预测编码图像)、B图像(双向预测编码图像)、以及I图像(内编码图像)。P图像的MB表示为第一和第二模式。第一模式的P图像MB被根据从过去的预测而编码。第二模式的P图像MB被独立地编码而没有预测。B图像的MB表示为第一、第二、第三和第四模式。第一模式的B图像MB被根据从将来的预测而编码。第二模式的B图像MB根据从过去的预测而编码。第三模式的B图像MB被根据从过去和将来的预测而编码。第四模式的B图像MB被独立编码而没有预测。I图像的MB表示被独立编码而没有预测。
由运动补偿预测器11所实现的运动补偿被设计如下。根据运动补偿，对于每个MB执行两个图像之间的图像匹配，以按照对应于半个像元(半个像素)的精度来检测运动矢量。两个图像之一由输入视频信号Vin所给出，并且另一个图像被称为基本参考图像或者用于运动补偿预测的源图像。基本参考图像被根据所检测的运动矢量而偏移。最终参考图像(最终预测图像)根据基本参考图像的偏移而产生。在没有运动补偿的情况下，基本参考图像被直接用作为最终参考图像。通常，运动矢量具有水平方向成份和垂直方向成份。表示所检测运动矢量的信息以及表示预测方向或者表示执行预测的源图像的MC模式(运动补偿模式)信息被传送作为与每个MB相关的附加信息。一个GOP(图像组)被确定为从I图像开始并且紧接着在下一个I图像之前的图像结束的一系列图像。通常，一个GOP具有大约15个连续图像。
从作为减法器而工作的加法器1输出的差值表示数据由DCT设备2进行离散余弦变换(DCT)。具体来说，DCT设备2把由差值表示数据所代表的每个MB分为4个DCT块，每个块具有8＊8个像素。DCT设备2使每个DCT块进行二维DCT变换，以产生表示DCT系数的数据。该DCT设备2输出所产生的DCT系数数据。通常，由于视频信号中的低频成份较大，出现对应于低频的大量有效DCT系数。
根据一个量化值，由来自DCT设备2的输出数据所表示的DCT系数被量化器3所量化。该量化值等于量化矩阵乘以一个标量量化级。该量化矩阵具有由根据视觉把二维频率成份加权的处理所得到的8＊8单元。量化包括用DCT系数除以该量化值的步骤。
从量化器3输出的量化结果数据被VLC设备4所解码为可变长代码(VLC)的数据。具体来说，量化结果数据的直流(DC)成份被DPCM(差分脉码调制)所编码。量化结果数据的交流(AC)成份沿着从高频到低频的方向之字形地扫描，并且进行霍夫曼编码，其中具有较高出现概率的数据块被分配较短的代码字。VLC设备4接收来自运动补偿预测器11的运动矢量信息和MC模式信息。VLC设备4把该运动矢量信息和MC模式信息加到VLC数据上。所得的VLC数据被暂时存储在缓冲器5中。该VLC数据被以预定的传输速率以位流的形式从缓冲器5输出，作为编码结果MPEG数据。
缓冲器5把用于每个MB的编码结果数据的实际量，即构成用于每个MB的编码结果数据的总位数，通知给代码量控制器6。代码量控制器6计算编码结果数据的实际量与其目标量之间的误差。代码量控制器6响应所计算的数据量误差纠正由量化器3所使用的量化级，从而控制编码结果数据的实际量。
从量化器3输出的量化结果数据被反向量化器7进行反量化，被转换回DCT系数数据。该反量化器7输出DCT系数数据。从反量化器7输出的该DCT系数数据被反DCT设备8进行反DCT变换，转换回差值表示数据。该反DCT设备8输出该差值表示数据。加法器9把由来自反DCT设备8的输出数据所表示的差值图像与由来自运动补偿估计器11的输出数据所表示的最终参考图像相加。加法器9输出相加结果的视频数据。该相加结果的视频数据被暂时存储在存储器10中。视频数据被从存储器10传送到运动补偿估计器11。来自存储器10的输出视频数据被运动补偿估计器11所使用，作为用于运动补偿估计的基本参考图像或源图像的表示。
图2示出包括缓冲器12的MPEG解码器。采用位流形式的编码结果MPEG数据在被输出到VLD(可变长解码)设备13之前被暂时存储在缓冲器12中。VLD设备13使来自缓冲器12的输出数据受到与VLC相反的VLD变换，从而恢复直流成份数据和交流成份数据。交流成份数据被按照从高频到低频的方向之字形地扫描。直流成份数据和结果的交流成份数据被排列在具有8＊8单元的矩阵中。VLD设备13把矩阵排列的数据输出到反量化器14。VLD设备13从由缓冲器12输出的数据中提取运动矢量信息和MC模式信息。VLD设备13把运动矢量信息和MC模式信息输出到运动补偿预测器18。
响应该量化值，反量化器14使来自VLD设备13的输出数据受到反量化，从而恢复DCT系数数据。反量化包括由量化值乘以所处理数据值的步骤。DCT系数数据被从反量化器14输出到反DCT设备15，受到反DCT变化，从而被转换回该差值表示数据。反DCT设备15输出该差值表示数据。加法器16把由来自反DCT设备15的输出数据所表示的差值图像与由来自运动补偿预测器18的输出数据所表示的最终参考图像(最终预测图像)相加。加法器16输出相加结果视频数据，作为解码结果视频数据(原始视频数据)。该解码结果视频数据被传送到外部。从加法器16输出的相加结果视频数据被暂时存储在存储器17中。视频数据被从存储器17传送到运动补偿预测器18。来自存储器17的输出视频数据被运动补偿预测器18所使用，作为用于运动补偿预测的基本参考图像或源图像。运动补偿预测器18响应该基本参考图像、运动矢量信息和MC模式信息产生最终参考图像(最终预测图像)。运动补偿预测器18输出表示最终参考图像的数据。
下面将说明一种MPEG系统。该MPEG系统规定如下五项：
1)多个解码结果位流的同步再现；
2)把多个解码结果位流复用到单个位流中；
3)在开始再现时对缓冲器的初始化；
4)缓冲器的连续管理；以及
5)解码或再现的时间的识别。
在MPEG系统中的信息复用包括对该信息打包的步骤。例如，在需要复用视频信息和音频信息的情况中，每个视频信息和音频信息被分为具有适当长度的数据包。例如标头信息这样的附加信息被添加到每个数据包。在传送包序列之前，视频信息包和音频信息包被混合到该包序列中。因此，视频信息包和音频信息包被根据时分方式而传送。该标头信息包含用于识别相关信息包是否为视频或音频的信息，以及用于同步的时序信息。通常，数据包长度取决于传送介质和应用程序。例如，在ATM(异步传输模式)的情况中，数据包长度等于53个字节。在光盘的情况中，数据包长度等于4000个字节。根据MPEG系统，该数据包长度是可变的，并且可以设置为任意数值。
要被发送的数据被分组并且打包。一组由几个数据包所构成。每个组的标头部分装有一个组开始代码和SCR(系统时钟参考)。每个数据包的标头装有一个流ID和时间标记。时间标记包含用于音频和视频之间的同步的时序信息。时间标记有两种，被称为DTS(解码时间标记)和PTS(显示时间标记)。所发送数据包含表示27MHz的频率的定期出现的PCR(节目时钟参考)。对于解码器共同的参考时钟被锁定到由PCR所表示的频率。DTS表示在相关数据包中用于第一存取单元的解码开始时间，而PTS表示所需表示开始时间(所需回放开始时间)。在视频的情况中，一个存取单元对应于一个图像。在音频的情况中，一个存储单元对应于1152个样本。DTS和PTS按照基于由PCR所表示的频率的时间精度而给出。
图3示出一个MPEG系统解码装置，其中包括接收含有视频信息和音频信息的复用数据(系统位流)。该系统解码器20把所接收数据多路分解为视频数据和音频数据。系统解码器20把视频数据输出到视频解码器(MPEG视频解码器)21。系统解码器20把音频数据输出到音频解码器(MPEG音频解码器)22。另外，系统解码器20从所接收数据中提取每个PCR、每个视频DTS、每个音频DTS、每个视频PTS以及每个音频PTS。系统解码器20可以从所接收数据中提取每个SCR。系统解码器20输出PCR(或SCR)到一个时钟控制电路23。系统解码器20把该视频DTS、音频DTS、视频PTS和音频PTS输出到比较电路24。
时钟控制电路23包括一个振荡器，用于产生表示参考时钟的参考时钟信号。该时钟控制电路24把振荡器的振荡频率锁定到由PCR所表示的频率。因此，参考时钟被根据PCR而确定。时钟控制电路23把参考时钟，即由参考时钟信号所表示的时间，通知给该比较电路24。
比较电路24把由视频DTS所表示的时间与参考时钟相比较，以确定该视频DTS是否与参考时钟相一致。当视频DTS时间与参考时钟相一致时，比较电路24使视频解码器21开始视频数据的解码。视频解码器21把该解码结果视频数据存储到一个存储器25。比较电路24把由音频DTS所表示的时间与参考时钟相比较，以确定该音频DTS时间是否与参考时钟相一致。当该音频DTS时间与参考时钟相一致时，比较电路24使音频解码器22开始视频数据的解码。音频解码器22把解码结果的音频数据存储到存储器26。
比较电路24把由视频PTS所表示的时间与参考时钟相比较，以确定该视频PTS是否与参考时钟相一致。当视频PTS时间与参考时钟相一致时，比较电路24使存储器25输出解码结果的视频数据用于指示(indication)的目的。比较电路24把由音频PTS所表示的时间与参考时钟相比较，以确定该音频PTS时间是否与参考时钟相一致。当该音频PTS时间与参考时钟相一致时，比较电路24使存储器26输出解码结果音频数据，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果的视频数据和解码结果的音频数据可以从存储器25和26同步输出。因此，视频信息和音频信息可以被同步地回放。
考虑到图3的MPEG系统解码器的一部分对应于虚拟解码器，用于暂时存储多种解码结果数据，并且实现多种数据的同步回放。虚拟解码器被称为STD(系统目标解码器)。复用结果位流被设计为使得在STD中的存储器即不会溢出也不会欠载。
根据该MPEG系统，存在有传输流(TS)和节目流(PS)。TS或PS由分包基本流(PES)和装有其它信息的数据包所形成。PES被定义为用于在TS和PS之间转换或变换的中间流。PES例如是通过对编码结果MPEG视频数据、编码结果MPEG音频数据或专用数据流打包而产生。
具有公共参考时间的内容节目的视频和音频数据可以复用到一个PS中。该PS包括一串数据包。PS的数据包层被称为“PES”。参见图4，PS的数据包层与TS的数据包层相同，从而提供PS与TS之间的兼容性。根据用于PS的STD模型，用于要被解码的位流的解码模式被一个PES数据包中的流ID切换到PS方。
具有公共参考时间的内容节目的视频和音频数据还被复用到一个TS中。另外，在参考时间上不同的内容节目的视频和音频数据可以复用到一个TS中。该TS由一串固定长度的数据包，即188字节的数据包(TS数据包)，所形成。TS被设计为能够用于由传输线路造成数据错误的系统中。从上文的描述得知，该TS为表示多个内容节目的数据流。尽管TS数据包的级别比PES数据包更高，但是TS数据包通常比PES数据包更短。一般来说，一个PES数据包被分为片段，并且该PES数据包片段被分别置于多个TS数据包中。根据用于TS的STD模型，用于要被解码的位流的解码模式被在TS数据包中的数据包ID(PID)切换到PS方。
参见图5，TS数据包具有按照次序顺序排列的一个标头、一个自适应字段(AF)以及一个有效负荷。该标头包括按照次序顺序排列的一个同步字节、一个误差指示符、一个单元开始指示符、以及传输数据包优先级标志。在标头中，该传输数据包优先级标志之后接着一个PID，其表示在相关数据包中的有效负荷的类型(在相关数据包中的有效负荷中的数据类型)。在该标头中，该PID顺序接着一个加扰控制信息块、一个AF控制信息块和一个循环计数器。该标头的未尾被该循环计数器所占据。该AF控制信息块表示该自适应字段(AF)是否存在于相关数据包中。当该AF控制信息块表示没有该自适应字段，则该标头之后紧接着该有效负荷。另一方面，当AF控制信息块表示存在该自适应字段时，该标头之后顺序接着该自适应字段(AF)和有效负荷。该循环计数器表示关于相关数据包的连续性。通常，自适应信息被置于该自适应字段(AF)中，并且例如视频数据或音频数据这样的内容数据被置于有效负荷中。无效数据(伪数据)可以置于该有效负荷。
如图5中所示，该自适应字段包括一个可选字段。该可选字段的48位前端装载有一个PCR。
处理一个TS的MPEG系统被设计为提供一种机制，用于检测在TS数据包中的PID，并且在接收和解码过程中根据所检测的PID对该TS数据包进行分类。具体来说，参见图6，在阶段S1，在TS数据包中搜索一个具有PID＝0的数据包。换句话说，接收具有PID＝0的数据包。具有PID＝0的TS数据包被称为PAT(节目相关表)数据包。PAT数据包装载有PAT信息，其根据一条链接表示节目数(内容节目ID数)PR与具体PID之间的关系，即内容节目与具体PID之间的关系。在阶段S1之后的阶段S2，在PAT数据包中的PAT信息被检测。每个具体PID对应于一个PMT(节目映射表)数据包。PMT数据包装载有表示在相关内容节目之间的关系的PMT信息、在表示相关内容节目的视频数据包中的PID、以及在表示相关内容节目的音频数据包中的PID。预先从内容节目中选择一个作为所需内容节目。在阶段S2，通过参照在PAT数据包中的PAT信息检测对应于所需内容节目的一个具体PID。在阶段S2之后的阶段S3，接收或搜索具有与所检测的具体PID相同的一个PID的PMT数据包。在阶段S3之后的阶段S4，所接收的PMT数据包被存储，以获得PMT信息。根据在所存储的PMT数据包中的PMT信息，检测在表示所需内容节目的视频数据包和音频数据中的PID。另外，检测在与所需内容节目相关的同步时钟数据包中的PID。在阶段S4之后的阶段S5a，接收对应于所检测视频数据包PID的TS数据包。从所接收的TS数据包中提取视频信息。在阶段S4之后的阶段S5b，接收对应于所检测音频数据包PID的TS数据包。从所接收的TS数据包中提取音频信息。在阶段S4之后的阶段S5c，接收对应于所检测时钟数据包PID的TS数据包。从所接收的TS数据包中提取同步时钟信息。按照这种方式，响应所检测的PID，存取表示所需内容节目的视频数据包和音频数据包。通过参照PAT和PMT而实现进入所需内容节目。该PAT和PMT被称为PSI(节目特定的信息)。
图7示出使用图1的MPEG编码器的后期录音装置(后期记录装置)。如图7中所示，该后期录音装置包括与CPU110相连接的用户接口。该用户接口109可以由用户所处理。CPU110具有输入/输出端口、处理部分、ROM和RAM的组合。该CPU110根据存储在ROM或RAM中的控制程序而工作。该控制程序被设计为使CPU110实现在下文中所述的操作步骤。通过处理用户接口109，可以在包括第一模式和第二模式的不同模式之间改变该后期录音装置的操作。第一操作模式被设计为记录主数据。该第二操作模式被设计为记录用于后期录音的音频数据。当用户接口109被处理时，操作模式指定信号被输入到CPU110。该操作模式指定信号被输入到CPU110。该操作模式指定信号表示需要第一模式和第二模式中的哪一个模式。CPU110把该操作模式指定信号传送到信号选择器105。
当操作模式指定信号表示需要第一操作模式时，也就是说当需要记录主数据时，后期录音装置工作如下。输入视频数据被传送到视频编码器101a，以及输入音频信号被传送到音频编码器101b。通常，输入视频数据和输入音频数据表示公共内容节目(公共音频视频节目)，并且相互同步。该视频编码器101a实现输入视频数据的MPEG编码，以产生编码结果视频数据。该编码结果视频数据被从视频编码器101a传送到PES打包设备102a。该音频编码器101b实现输入音频数据的MPEG编码，以产生编码结果音频数据。该编码结果音频数据从音频编码器101b发送到PES打包设备102b。该PES打包设备102a把该编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102a发送到时间标记记录器103a。PES打包设备102b把编码结果音频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。
信号产生器103c把27MHz时间信号输出到时间标记记录器103a和103b。该时间标记记录器103a响应27MHz时钟信号产生时序信息块，即PCR和定期更新时间标记(视频PTS和视频DTS)。该时间标记记录器103a在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103a发送到多路复用器104。时间标记记录器103b响应27MHz时间信号产生PCR和定期时间标记(音频PTS和音频DTS)。该时间标记记录器103b在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到多路复用器104。多路复用器104把来自时间标记记录器103a的PES数据包与来自时间标记记录器103b的PES数据包复用，以及产生PS形式或TS形式的复用结果数据(主数据)。复用结果数据被从多路复用器104发送到信号选择器105。
信号选择器105响应操作模式指定信号选择复用结果数据(主数据)，并且把该复用结果数据传送到缓冲器106a。该复用结果数据在被输出到记录控制器107之前被存储在缓冲器106a中。记录控制器107在记录介质108上存储该主数据(复用结果数据)，作为具有名称“PR....dat”的文件(参见图8)。
由时间标记记录器103a所记录的视频PTS和视频DTS，以及由时间标记记录器103b所记录的音频PTS和音频DTS具有一定的关系，使得该视频信号和音频信号可以同步地从该记录的主数据中再现。
当该操作模式设计信号表示需要第二操作模式时，即当需要记录用于后期录音的音频数据时，该后期录音装置工作如下。CPU110把用于后期录音的音频数据的标识信息(ID信息)发送到PES打包设备102b。用于后期录音的音频数据被传送到音频编码器101b。该用于后期录音的音频数据与主数据中的视频信息具有同步关系。该音频编码器101b实现该用于后期录音数据的MPEG编码，以产生编码结果音频数据。该编码结果音频数据被从音频编码器101b传送到PES打包设备102b。
PES打包设备102b把用于后期录音的ID信息添加到编码结果音频数据，并且把添加有ID的编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。信号发生器103c把27MHz的时钟信号输出到时间标记记录器103b。时间标记记录器103b响应27MHz时钟信号产生时序信号块，即PCR和定期更新时间标记(音频PTS和音频DTS)。该时间标记记录器103b在每个PES数据包中记录PCR、PTS和DTS。最好，该PCR、PTS和DTS被设置为与在记录主数据的过程中已经添加到每个音频PES数据包的PCR、PTS和DTS相等。在这种情况中，后期录音的音频数据与所记录的主数据中的视频信息的时序关系将和在所记录主数据与其中的视频信息的时序关系相同。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到信号选择器105，而不被通过多路复用器104而传输。该信号选择器105响应操作模式指定信号选择由时间标记记录器103b所输出的数据(PES数据包序列)，并且把所选择的数据传送到缓冲器106b。所选择的数据在从缓冲器106b输出到记录控制器107之前被存储在缓冲器106b中。记录控制器107把来自缓冲器106b的输出数据记录在记录介质108中，作为后期录音的音频数据(后期记录音频数据)。在记录介质108上的后期录音的音频数据为具有名称“AF-....dat”的文件(参见图8)。
如上文所述，CPU110与用户接口109相连接。CPU110可以接收来自用户接口109的操作模式指定信号。CPU110响应该操作模式指定信号。CPU110与设备101a、101b、102a、102b、103a、103b、104、105、106a、106b和107。CPU110可以控制设备101a、101b、102a、102b、103a、103b、104、105、106a、106b和107。如上文所述，CPU110具有输入/输出端口、处理部分、ROM和RAM的组合。CPU110根据存储在ROM和RAM中的控制程序而工作。最好，该控制程序被从记录介质发送到CPU110。该控制程序可以通过通信网络下载到CPU110。
图18为用于CPU110的控制程序的一个片段的流程图。如图18中所示，该程序片段的第一步骤S10执行相被记录的输入数据(输入视频数据和输入音频数据)的接收。步骤S10把输入视频数据发送到视频编码器101a。步骤S10把输入音频数据发送到音频编码器101b。
在步骤S10之后的步骤S11通过参照从用户接口109输出的信号确定是否需要该后期录音操作模式(第二操作模式)。当需要后期录音操作模式时，该程序从步骤S11进行到步骤S12。否则，该程序从步骤S11进行到步骤S13。
该步骤S13控制视频编码器101a，以实现输入视频数据的MPEG编码，产生编码结果视频数据。该编码结果视频数据被从视频编码器101a发送到PES打包器件102a。步骤S13控制音频编码器101b，以实现输入音频数据的MPEG编码，产生编码结果音频数据。该编码结果音频数据被从音频编码器101b发送到PES打包设备102b。
在步骤S13之后的步骤S14控制PES打包设备102a，以把该编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102a发送到时间标记记录器103a。步骤S14控制PES打包设备102b，以把该编码结果音频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。
在步骤S14之后的步骤S15控制时间标记记录器103a，以响应27MHz时钟信号产生时序信息块，即PCR和定期更新时间标记(视频PTS和视频DTS)。该步骤S15控制时间标记记录器103a在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103a发送到多路复用器104。步骤S15控制时间标记记录器103b，以响应27MHz时钟信号产生时序信息块，即PCR和定期更新时间标记(音频PTS和音频DTS)。该步骤S15控制时间标记记录器103b在每个PES数据包中记录PCR、PTS和DTS。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到多路复用器104。
在步骤S15之后的步骤S16控制多路复用器104，以把来自时间标记记录器103a的PES数据包与来自时间标记记录器103b的PES数据包复用，以及产生PS形式或TS形式的复用结果数据(主数据)。复用结果数据被从多路复用器104发送到信号选择器105。
在步骤S16之后的步骤S17控制信号选择器105，以响应操作模式指定信号，从而该信息选择器105从多路复用器104中选择复用结果数据(主数据)，并且把该复用结果数据传送到缓冲器106a。该步骤S17控制缓冲器106a存储该复用结果数据。
在步骤S17之后的步骤S18监控在缓冲器106a中的复用结果数据的量(位数)。步骤S18确定在缓冲器106a中的复用结果数据的量是否超过预定的量。当在缓冲器106a中的复用结果数据的量超过预定的量，则该程序从步骤S18进行到步骤S19。否则，该程序从步骤S18返回到步骤S17。
步骤S19控制缓冲器106a把该复用结果数据输出到记录控制器107。步骤S19控制记录控制器107，以在记录介质108上存储该主数据(即，复用结果数据)，作为具有名称“PR....dat”的文件(参见图8)。
在步骤S19之后的步骤S20确定是否存在剩余的输入数据。当存在剩余的输入数据时，该程序从步骤S20返回到步骤S10。否则，该程序从步骤S20继续前进，并且结束该程序段的当前执行周期。
步骤S12控制音频编码器101b实现输入音频数据的MPEG编码(用于后期录音的数据)，以产生编码结果音频数据。该编码结果音频数据被从音频编码器101b发送到PES打包装置102b。
在步骤S20之后的步骤S21把用于后期录音的音频数据的标识信息(ID信息)发送到PES打包设备102b。步骤S21控制PES打包装置102b，以把后期录音ID信息添加到编码结果音频数据，并且把添加有ID的编码结果视频数据转换为一系列PES数据包。该PES数据包序列被从PES打包设备102b发送到时间标记记录器103b。
在步骤S21之后的步骤S22控制时间标记记录器103b，以响应27MHz时钟信号产生时序信号块，即PCR和定期更新时间标记(音频PTS和音频DTS)。步骤S22控制该时间标记记录器103b，在每个PES数据包中记录PCR、PTS和DTS。最好，该PCR、PTS和DTS被设置为与在记录主数据的过程中已经添加到每个音频PES数据包的PCR、PTS和DTS相等。在这种情况中，后期录音的音频数据与所记录的主数据中的视频信息的时序关系将和在所记录主数据与其中的视频信息的时序关系相同。添加有时序信息的PES数据包被顺序地从时间标记记录器103b发送到信号选择器105，而不被通过多路复用器104而传输。
在步骤S16之后的步骤S17控制该信号选择器105，以响应操作模式指定信号选择由时间标记记录器103b所输出的数据(PES数据包序列)，并且把所选择的数据传送到缓冲器106b。步骤S17控制缓冲器106b存储所选择的音频数据。
在步骤S17之后的步骤S18监控在缓冲器106a中的音频数据的量(位数)。步骤S18确定在缓冲器106a中的复用结果数据的量是否超过预定的量。当在缓冲器106a中的复用结果数据的量超过预定的量，则该程序从步骤S18进行到步骤S19。否则，该程序从步骤S18返回到步骤S17。
步骤S19控制缓冲器106a把该复用结果数据输出到记录控制器107。步骤S19控制记录控制器107，以在记录介质108上存储来自缓冲器106b的音频数据，作为后期录音音频数据(即，后期记录数据)。在记录介质108上的后期录音的音频数据为具有名称“AF.....dat”的文件(参见图8)。步骤S19之后接着步骤S20。
根据下文所述的信息模式，用于后期录音的音频数据被记录在记录介质上，作为播放列表信息。具体来说，第一用于后期录音的音频数据被记录在PLO文件夹中，作为具有名称“AF-1.dat”的文件(参见图8)。并且，第二和以后的用于后期录音的音频数据被记录。另外，第m个用于后期录音的音频数据被记录在PLO文件夹中，作为具有名称“AF-m.dat”的文件(参见图8)。因此，记录“m”个不同类型的用于后期录音的音频数据。一个信息块“AF_number”(参见图13)表示用于后期录音的音频数据。由于该信息块“AF_number”具有8位(“0”不被使用)，可以记录多达254个不同类型的用于后期录音的音频数据。
下面将描述在记录介质108上记录的信息格式。如图8中所示，记录介质108存储一个根目录，在其下方设置一个名为“LIB(library)”的文件夹。在文件夹“LIB”之下，由多个名为“SIDE.ifo”(“SIDE0.ifo”、“SIDE1.ifo”、...、以及“SIDEk.ifo”)的文件。文件“SIDE.ifo”中装有与多个内容节目，即音频-视频(AV)节目，相关的辅助信息。
另外，在文件夹“LIB”之下，有分别载有信息块“PR0.dat”、“PR1.dat”和“PRn.dat”的文件夹“PR0”、“PR1”、...以及“PRn”。信息块“PR0.dat”、“PR1.dat”和“PRn.dat”被设计为用于与AV复用结果位流相链接。
另外，在文件夹“LIB”之下有包含后期录音的音频文件(装有后期录音的音频信息的文件)的文件夹“PL0”、“PL1”、...以及“PLn”。例如，在制作并记录与文件夹“PR0”相关的“m”个后期录音的音频文件的情况下，列表信息块“AF0-1.dat”、“AF0-2.dat”、...、“AF0-m.dat”被置于文件夹“PL0”中作为用于与后期录音的音频文件相链接的信息。
从上文所述可以得知，与AV复用结果文件和后期录音的音频文件相关的链接信息被记录在记录介质108上。所需的内容信息可以根据该链接信息从记录介质再现。
参见图9，每个文件“SIDE.ifo”采用具有层级结构的格式。具体来说，每个文件“SIDE.ifo”具有第一级片段“TOTAL_MANAGER_IFO”，其中包含第二级片段“GENERAL_IFO”和“CNTNT_IFO”。该第二级片段“GENERAL_IFO”载有与整个当前辅助信息相关的参数。
第二级片段“GENERAL_IFO”具有如图10中所示的语法结构。具体来说，该第二级片段“GENERAL_IFO”包括分别具有语法名称“System_id”、“TMG_IFO_length”、“Num_of_PR_IFO”、“Num_of_PL_IFO”、“Start_Address_of_PR_IFO”和“Start_Address_of_PL_IFO”。信息块“System_id”是表示当前信息结构的类型的32位信号。信息块“TMG_IFO_length”是表示整个管理器长度的32位信号。信息块“Num_of_PR_IFO”是表示将在下文中描述的节目信息块“PR_IFO”的数目的8位信号。信息块“Num_of_PL_IFO”是表示将在下文中描述的后期录音信息块“PL_IFO”的数目的8位信号。信息块“Start_Address_of_PR_IFO”为表示第一节目信息块“PR_IFO_0”的开头地址的32位信号。信息块“Start_Address_of_PL_IFO”为表示第一后期录音信息块“PL_IFO_0”的开头地址的32位信号。
在图9中的第二级片段“CNTNT_IFO”包含装有分别与内容节目(或者AV复用结果文件)相关的信息块的第三级片段“PR_IFO_0”、“PR_IFO_1”、...、以及“PR_IFO_m”。另外，第二级片段“CNTNT_IFO”包含装有分别与内容节目(或者AV复用结果文件)相关的用于后期录音的音频数据的信息块的第三级片段“PL_IFO_0”、“PL_IFO_1”、...、以及“PL_IFO_n”。例如，在存在对应于第三级片段“PR_IFO_0”的后期录音的音频数据的情况下，第三级片段“PL_IFO_0”包含装载有与后期录音的音频文件相关的信息(播放列表信息)的第四级片段“PLAYL_IFO”。
第三级片段“PR_IFO_0”、“PR_IFO_1”、...、以及“PR_IFO_m”的结构相类型。下面将仅仅更加详细地描述第三级片段“PR_IFO_0”。如图11中所示，第三级片段“PR_IFO_0”包含第四级片段“PROG_IFO”和“IDX_IFO”。第四级片段“PROG_IFO”装载有与内容节目相关的信息。第四级片段“IDX_IFO”包含装载有与相关音频-视频节目的各个索引相关的信息块的第五级片段“IDX_IFO_0”、“IDX_IFO_1”、...、以及“IDX_IFO_n”。第五级片段“IDX_IFO_0”、“IDX_IFO_1”、...、以及“IDX_IFO_n”的结构相类似。例如，第五级片段“IDX_IFO_0”具有第六级片段“INDEX_IFO”，其中相关音频-视频节目的一部分可以被登记作为索引信息。
第四级片段“PROG_IFO”是图12中所示的语法结构。具体来说，每个第四级片段“PROG_IFO”包括分别具有语法名称“Size ofPROG_IFO”、“PR_number(PR号)”、“Content_type(内容类型)”和“Component type(成份类型)”的信息块。信息块“Size of PROG_IFO”为表示第四级片段“PROG_IFO”的大小的32位信号。信息块“PR_number”为表示被分配给相关音频-视频节目的指定号码(识别号)的8位信号。PR号为分别对应于不同音频-视频节目的“0”-“255”之间的变量。信息块“Content type”为表示相关音频-视频节目的类型的8位信号。信息块“Component type”为表示相关数据的类型的8位信号，即表示相关数据是否为视频、音频或其它。
如上文所述，在存在后期录音的音频文件的情况下，提供播放列表信息“PLAYL_IFO”。在存在对应于文件夹“PR0”的“m”个后期录音的音频文件的情况下，列表信息块“AF0-1.dat”、“AF0-2.dat”、...、“AF0-m.dat”被置于文件夹“PL0”中，作为用于与该后期录音的凌晨频文件相链接的信息。
该播放列表信息“PLAYL_IFO”具有图13中所示的语法结构。具体来说，该播放列表信息“PLAYL_IFO”包括分别具有语法名“PR_number”和“AF_number”的信息块。信息块“PR_number”为表示被分配给相关主数据(即相关音频-视频节目)的指定号码(标识号)。该信息块“AF_number”为表示分配给相关的后期录音音频数据的指定号码(标识号)。
对于在图8的文件夹“PRj”中的“n”个AV复用结果数据流“PRj.dat(j＝0，1...，n)”的每一个数据流，可以根据用户要求而登记“m”个后期录音的音频数据。当数目“m”等于“0”时，AV复用结果文件被使用，而不采用后期录音的音频数据。当数目“m”等于“1”或更大时，允许记录用于后期录音的音频数据。在这种情况中，至少一个后期录音的音频文件被制作并且记录。以及，该后期录音的音频数据被再现或发送。
在图11中的索引信息“INDEX_IFO”使图14中的语法结构。具体来说，该索引信息“INDEX_IFO”包括分别具有语法名称“INDEX_number”、“Playback_Time”、“Start_Address”和“End_Address”的信息块。信息块“INDEX_number”为表示分配给相关索引的序列号的8位信号。信息块“Playback_Time”为表示相关索引的回放时间的40位信号。信息块“Start_Address”为表示相关索引的开始点的地址的64位信号。信息块“End_Address”是表示相关索引的结束点的地址的64位信号。
图15示出在构成记录介质108的硬盘上记录的TS的格式。如图15中所示，该TS由一系列TS单元所形成。每个TS单元由数据包所构成。每个数据包由25位信息标记和188字节的MPEG TS数据包所构成。
图16示出使用图3的MPEG系统解码装置的再现装置。如图16中所示，该再现装置包括与CPU121相连接的用户接口120。用户接口120可以由用户所处理。CPU121具有输入/输出端口、处理部分、ROM和RAM的组合。CPU121根据存储在ROM或RAM中的控制程序而工作。该控制程序被设计为使得CPU121实现在下文中所述的操作步骤。通过处理该用户接口120，可以在包括第一模式和第二模式的不同模式中改变再现装置的操作。第一操作模式被设计为再现主数据(复用结果数据)。第二模式被设计为再现后期录音音频数据，而不是在主数据中的音频信息，并且同步地再现在主数据中的视频信息。当用户接口120被处理时，一个操作模式指定信号被输入到CPU121。操作模式指定信号表示需要第一操作模式和第二操作模式中的哪一个操作模式。CPU121把该操作模式指定信号传送到信号选择器114。并且，通过处理用户接口120，标识(ID)信息可以被输入到CPU121。CPU121把该标识信息传送到标识信息检测器123。
当操作模式指定信号表明需要第一操作模式，也就是说当需要再现主数据时，该再现装置如下工作。通过处理该用户接口120，用于识别所需主数据的信号被输入到CPU121。该识别信号表示分配给所需主数据的指定号(标识号)。CPU121把该识别信息传送到标识信息检测器123。该标记信息检测器123从该识别信息中提取所需主数据的标识号。该标识信息检测器123把所需主数据的标识号通知给读取控制器111。该标识信息检测器123命令该读取控制器121从记录介质108中读出具有与所需主数据的标识号相对应的名称的主数据文件。因此，读取控制器121实现从读取装置108中读出所需的主数据。按照这种方式，读取控制器111从记录介质108读出所需主数据，即所需的复用结果数据。所读出的主数据被从读取控制器111发送到缓冲器112a。主数据在输出到多路分解器113之前被存储在缓冲器112a中。多路分解器113把主数据分离为视频数据和音频数据。该视频数据被从多路分解器113发送到时间标记检测器115a。该音频数据被从多路分解器113发送到信号选择器114。该信号选择器114响应该操作模式指定信号从多路分解器113选择音频数据，并且把所选择的音频数据传送到时间标记检测器115b。
该时间标记检测器115a检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。该时间标记检测器115b检测在音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该音频数据传送到PES解包设备116b。
该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
信号产生器124a把一个27MHz时钟信号输出到时间标记比较器124。根据该27MHz时钟信号，时间标记比较器124产生一个表示参考时间的参考时钟信号。该时间标记比较器124把参考时钟信号的频率锁定到由PCR所表示的频率。因此，参考时间由PCR所确定。该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据被同步地回放。
当操作模式指定信号表示需要第二操作模式时，即当需要再现后期录音的音频数据和主数据视频信息时，该再现装置如下工作。通过处理该用户接口，用于表示所需主数据和所需后期录音的音频数据的信号被输入到CPU121。识别信号对应于图13中的信息块“PR_number”和“AF_number”，其表示被分配给所需主数据和所需后期录音的音频数据的指定号(标识号)。CPU121把该识别信号传送到识别信息检测器123。读取控制器111从记录介质108读出播放列表信息“PLAYL_IFO”(参见图13)，并且把该播放列表信息“PLAYL_IFO”发送到标识信息检测器123。标识信息检测器123通过参照播放列表信息“PLAYL_IFO”，响应该识别信号，检测所需主数据和所需后期录音的音频数据的标识号。该标识信息检测器123把所需主数据和所需后期录音的音频数据的标识号通知给读取控制器111。标识信息检测器123命令读取控制器121从记录介质108中交替地读出具有对应于所需主数据和所需后期录音的音频数据的名称的主数据和后期录音的音频文件。因此，读取控制器111根据交替的时分脉冲，从记录介质108中读出所需主数据和所需后期录音的音频数据。该读出的主数据被从读取控制器111发送到缓冲器112a。在输出到多路分解器113之前，主数据被存储在缓冲器112a中。多种分解器113把主数据分离为视频数据和音频数据。该视频数据被从多路分解器113发送到时间标记检测器115a。该音频数据被从多路分解器113发送到信号选择器114。该读出的后期录音的音频数据被从读取控制器111发送到缓冲器112b。在被输出到信号选择器114之前，该后期录音的音频数据被存储在缓冲器112b中。该信号选择器114响应该操作模式指定信号从缓冲器112b中选择后期录音的音频数据，并且把所选择的后期录音的音频数据传送到时间标记检测器115b。换句话说，该信号选择器114拒绝来自多路分解器113的音频数据。
该时间标记检测器115a检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。该时间标记检测器115b检测在音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该后期录音的音频数据传送到PES解包设备116b。
该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
信号产生器124a把一个27MHz时钟信号输出到时间标记比较器124。根据该27MHz时钟信号，时间标记比较器124产生一个表示参考时间的参考时钟信号。该时间标记比较器124把参考时钟信号的频率锁定到由PCR所表示的频率。因此，参考时间由PCR所确定。该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据被同步地回放。
如上文所述，CPU121与用户接口120相连接。CPU121可以接收来自用户接口120的操作模式指定信号。并且，CPU121可以接收来自用户接口120的标识(ID)信息。CPU121响应该操作模式指定信号和ID信息。该CPU121与设备111、112a、112b、113、114、115a、115b、116a、116b、117a、117b、118a、118b、123和124。如上文所述，CPU121具有输入/输出端口、处理部分、ROM和RAM的组合。CPU121根据存储在ROM或RAM中的控制程序而工作。最好，该控制程序被从记录介质传送到CPU121。该控制程序可以通过通信网络下载到CPU121。
图19为用于CPU121的控制程序的一个片段的流程图。如图19中所示，第一步骤S30控制标识信息检测器123和读取控制器111，以在记录介质108上存取所需主数据(所需复用结果数据)或者所需主数据和所需后期录音的音频数据。在步骤S30之后，该程序进行到步骤S31。
步骤S31控制读取控制器111从记录介质108上读出所需主数据或者所需主数据和所需后期录音的音频数据。步骤S31控制读取控制器111和缓冲器112a，以在缓冲器112a中存储读出的主数据(读出的复用结果数据)。在存在有所需后期录音的音频数据的情况下，该步骤S31控制读取控制器111和缓冲器112b，以在缓冲器112b中存储读出的后期录音的音频数据。
在步骤S31之后的步骤S32监控在缓冲器112a中的复用结果数据的量(位数)。步骤S32确定在缓冲器112a中复用结果数据的量是否超过第一预定量。另外，在步骤S32监控在缓冲器112b中的后期录音的音频数据的量(位数)。该步骤S32确定在缓冲器112b中后期录音的音频数据的量是否超过第二预定量。当在缓冲器112a中的复用结果数据的量超过第一预定量并且在缓冲器112b中的后期录音的音频数据的量超过第二预定量，则该程序从步骤S32进行到步骤S33。否则，该程序从步骤S32返回到步骤S31。
步骤S33通过参照从用户接口109输出的操作模式指示信号，确定是否需要该后期录音数据再现操作模式(第二操作模式)。当需要后期录音数据再现模式时，该程序从步骤S33进行到步骤S34。否则该程序从步骤S33进行到步骤S35。
步骤S35控制缓冲器112a来把主数据(复用结果数据)输出到多路分解器113。步骤S35控制多路分解器113来把主数据分为视频数据和音频数据。视频数据被从多路分解器113发送到时间标记检测器115a。音频数据被从多路分解器113发送到信号选择器114。步骤S35响应该操作模式指定信号来控制该信号选择器114，使得该信号选择器114选择来自多路分解器113的音频数据，并且把所选择的音频数据传送到时间标记检测器115b。
在步骤S35之后的步骤S36控制该时间标记检测器115a，以检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。步骤S36控制该时间标记检测器115b检测在音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该音频数据传送到PES解包设备116b。
在步骤S36之后的步骤S37控制该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。步骤S37控制PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。
在步骤S37之后的步骤S38控制该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。步骤S38控制该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
在步骤S38之后的步骤S39实现解码结果视频数据和解码结果音频数据的同步回放。具体来说，步骤S39控制时间标记比较器124，以响应PCR来确定参考时钟。步骤S39控制该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。步骤S39控制该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
步骤S39控制该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。步骤S39控制该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据被同步地回放。在步骤S39之后，该程序进行到步骤S40。
步骤S34控制缓冲器112a来把主数据(复用结果数据)输出到多路分解器113。步骤S34控制多路分解器113来把主数据分为视频数据和音频数据。视频数据被从多路分解器113发送到时间标记检测器115a。音频数据被从多路分解器113发送到信号选择器114。步骤S34响应该操作模式指定信号来控制该信号选择器114，使得该信号选择器114选择来自缓冲器112b的后期录音的音频数据，并且把所选择的后期录音音频数据传送到时间标记检测器115b。
在步骤S34之后的步骤S41控制该时间标记检测器115a，以检测在视频数据中的时序信息(每个PCR、每个视频PTS以及每个视频DTS)。该时间标记检测器115a把所检测的PCR、所检测的视频PTS以及所检测的视频DTS发送到时间标记比较器124。该时间标记检测器115a把该视频数据传送到PES解包(de-packeting)设备116a。步骤S41控制该时间标记检测器115b检测在后期录音音频数据中的时序信息(每个PCR、每个音频PTS以及每个音频DTS)。该时间标记检测器115b把所检测的PCR、所检测的音频PTS以及所检测的音频DTS发送到时间标记比较器124。该时间标记检测器115b把该音频数据传送到PES解包设备116b。
在步骤S41之后的步骤S42控制该PES解包设备116a对视频数据(一系列PES数据包)进行解包，以产生解包结果视频数据。该PES解包设备116a把解码结果视频数据输出到视频解码器117a。步骤S42控制PES解包设备116b对音频数据(一系列PES数据包)进行解包，以产生解包结果音频数据。该PES解包设备116b把解包结果音频数据输出到音频解码器117b。
在步骤S42之后的步骤S43控制该视频解码器117a实现视频数据的MPEG解码，以产生解码结果视频数据。该视频解码器117a把解码结果视频数据存储到一个存储器118a。步骤S43控制该音频解码器117b实现音频数据的MPEG解码，以产生解码结果音频数据。该音频解码器117b把解码结果音频数据存储到一个存储器118b。
在步骤S43之后的步骤S44实现解码结果视频数据和解码结果音频数据的同步回放。具体来说，步骤S44控制时间标记比较器124，以响应PCR来确定参考时钟。步骤S44控制该时间标记比较器124把由视频DTS所表示的时间与参考时间相比较，以确定该视频DTS时间是否与参考时间相一致。当视频DTS时间与参考时间相一致时，该时间标记检测器124使视频解码器117a开始对来自具有相关视频DTS的PES数据包的视频数据进行解码。步骤S44控制该时间标记比较器124把由音频DTS所表示的时间与参考时间相比较，以确定该音频DTS时间是否与参考时间相一致。当音频DTS时间与参考时间相一致时，该时间标记比较器124使音频解码器117b开始对来自具有相关音频DTS的PES数据包的音频数据进行解码。
步骤S44控制该时间标记比较器124把由视频PTS所表示的时间与参考时间相比较，以确定该视频PTS时间是否与参考时间相一致。当视频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118a把编码结果视频数据输出到显示监视器119a，用于指示的目的。步骤S44控制该时间标记比较器124把由音频PTS所表示的时间与参考时间相比较，以确定该音频PTS时间是否与参考时间相一致。当音频PTS时间与参考时间相一致时，该时间标记检测器124使存储器118b把编码结果音频数据输出到显示监视器119b，用于回放的目的。该视频PTS和音频PTS被预先设置，使得解码结果视频数据和解码结果音频数据(后期录音音频数据)被同步地回放。在步骤S44之后，该程序进行到步骤S40。
在步骤S40确定是否存在要被回放的剩余所需数据。当存在剩余的所需数据时，该程序从步骤S40返回到步骤S30。否则，该程序从步骤S40继续前进，并且结束该程序段的当前执行周期。
图17示出一种发送装置，如图17中所示，该发送装置包括与CPU121A相连接的用户接口120A。用户接口120A可以被用户所处理。CPU121A具有输入/输出端口、处理部分、ROM和RAM的组合。CPU121A根据存储在ROM或RAM中的控制程序而工作。该控制程序被设计为使得CPU121A实现在下文中所述的操作步骤。通过处理该用户接口120A，可以在包括第一模式和第二模式的不同模式中改变该发送装置的操作。第一操作模式被设计为发送主数据(复用结果数据)。第二模式被设计为发送后期录音音频数据，而不是在主数据中的音频信息，并且发送在主数据中的视频信息。当用户接口120A被处理时，一个操作模式指定信号被输入到CPU121A。操作模式指定信号表示需要第一操作模式和第二操作模式中的哪一个操作模式。CPU121A把该操作模式指定信号传送到信号选择器125。并且，通过处理用户接口120A，标识(ID)信息可以被输入到CPU121A。CPU121A把该标识信息传送到标识信息检测器123。
当操作模式指定信号表明需要第一操作模式，也就是说当需要发送主数据时，该发送装置如下工作。读取控制器111从记录介质108读出主数据，即复用结果数据。读出的主数据被从读取控制器111发送到缓冲器112a。主数据在输出到信号选择器125之前被存储在缓冲器112a中。信号选择器125从缓冲器112a选择主数据，并且把该主数据传送到缓冲器126。在被输出到传输线路之前，该主数据被存储在缓冲器126中。
当操作模式指定信号表示需要第二操作模式时，即当需要再现后期录音的音频数据和主数据视频信息时，该再现装置如下工作。通过处理该用户接口120A，用于表示所需主数据和所需后期录音的音频数据的信号被输入到CPU121A。识别信号对应于图13中的信息块“PR_number”和“AF_number”，其表示被分配给所需主数据和所需后期录音的音频数据的指定号(标识号)。CPU121A把该识别信号传送到识别信息检测器123。读取控制器111从记录介质108读出播放列表信息“PLAYL_IFO”(参见图13)，并且把该播放列表信息“PLAYL_IFO”发送到标识信息检测器123。标识信息检测器123通过参照播放列表信息“PLAYL_IFO”，响应该识别信号，检测所需主数据和所需后期录音的音频数据的标识号(参见图13)。该标识信息检测器123把所需主数据和所需后期录音的音频数据的标识号通知给读取控制器111。标识信息检测器123命令读取控制器121从记录介质108中交替地读出具有对应于所需主数据和所需后期录音的音频数据的名称的主数据文件和后期录音的音频文件。因此，读取控制器111根据交替的时分脉冲，从记录介质108中读出所需主数据和所需后期录音的音频数据。该读出的主数据被从读取控制器111发送到缓冲器112a。在输出到多路分解器113之前，主数据被存储在缓冲器112a中。该读出的主数据被从读取控制器111发送到缓冲器112b。在被输出到信号选择器125之前，该主数据被存储在缓冲器112b中。该读出的后期录音音频数据被从读取控制器111发送到缓冲器112b。在被输出到信号选择器125之前，该后期录音音频数据被存储在缓冲器112b中。信号选择器125响应该操作模式指定信号用来自缓冲器112b的后期录音音频数据替换在主数据中的音频数据，从而把原始主数据转换为新的主数据。该新的主数据被从信号选择器125发送到缓冲器126。新的主数据在被输出到传输线路之前存储在缓冲器126中。在把原始主数据转换为新的主数据的过程中，不需要改变每个PCR、每个DTS以及每个PTS。最好，该信号选择器125包括一个计算器。该计算器可以由CPU121A所形成。对于已经受到音频数据替换的新的主数据的数据包来说，该计算器计算新的CRC(循环冗余校验)码字，并且用新的码字来替换旧的CRC码字。
从上文的描述可以得知，对于新数据的产生，假设与用于后期录音的音频数据的类型相关的数据块被预先在单元数据中产生，并且用于后期录音的音频数据的传输速率等于在主数据中的原始音频数据的传输速率。
第二实施例
除了下文中所述的设计改变之外，本发明的第二实施例类似于其第一实施例。根据本发明第一实施例，对于主数据的产生，假设与用于后期录音的音频数据相关的数据块被预先在单元数据中产生，并且用于后期录音的音频数据的传输速率等于在主数据中的原始音频数据的传输速率。根据本发明的第二实施例，对于主数据的产生，传输速率与期望的用于后期录音的音频数据相等的单元数据被预先作为伪数据复用地记录。
第三实施例
除了下文中所述的设计改变之外，本发明的第三实施例类似于其第一实施例。根据本发明的第三实施例，在要记录用于后期录音的音频数据的情况下，传输速率与所期望的用于后期录音的音频数据相等的单元数据被预先作为伪数据而复用地记录。当产生实际的用于后期录音的音频数据时，用实际的用于后期录音的音频数据来代替以前记录的伪数据。在用实际的用于后期录音的音频数据来代替以前记录的伪数据的过程中，不需要更改每个PCR、每个DTS和每个PTS。
在实际的用于后期录音的音频数据的传输速率与期望的传输速率不同的情况下，视频数据和实际的用于后期录音的音频数据被复用地记录。在这种情况中，需要更新每个PCR、每个DTS和每个PTS。
由实施例所提供的优点
本发明的第一、第二和第三实施例提供如下优点。
音频信号和视频信号被压缩编码为编码结果音频数据和编码结果视频数据。用于同步再现的音频信号标记被记录在编码结果音频数据的每个单元中，而用于同步再现的视频时间标记被记录在编码结果视频数据的每个单元中。编码结果音频数据和编码结果视频数据被复用到主数据中。主数据被记录在一个记录介质上。一种或多种用于编码结果音频数据和编码结果视频数据的后期录音数据被记录在与所记录的主数据相分离的记录介质上。因此，用于后期录音的数据被记录而不被复用。相应地，可以提供一种容易记录用于后期录音的数据的格式。另外，可以记录许多类型的用于后期录音的数据。
音频信号和视频信号被压缩编码为编码结果音频数据和编码结果视频数据。用于同步再现的音频时间标记被记录在编码结果音频数据的每个单元中，而用于同步再现的视频时间标记被记录在编码结果视频数据的每个单元中。该编码结果音频数据和编码结果视频数据被复用到主数据中。该主数据被记录在一个记录介质上。一种或多种用于编码结果音频数据和编码结果视频数据的后期录音数据还被记录在与所记录的主数据相分离的记录介质上。因此，用于后期录音的数据被记录而不被复用。该用于后期录音的数据在被再现之前，被时分地从记录介质读出。相应地，可以容易地识别用于后期录音的数据的类型。另外，可以再现该用于后期录音的数据，而不再次对它们复用。
音频信号和视频信号被压缩编码到编码结果音频数据和编码结果视频数据中。用于同步再现的音频时间标记被记录在编码结果音频数据的每个单元中，而用于同步再现的视频时间标记被记录在编码结果视频数据的每个单元中。该编码结果音频数据和编码结果视频数据被复用到主数据中。该主数据被记录在一个记录介质上。一种或多种用于编码结果音频数据和编码结果视频数据的后期录音数据还被记录在与所记录的主数据相分离的记录介质上。因此，用于后期录音的数据被记录而不被复用。时分地从记录介质读出主数据和用于后期录音的数据。该用于后期录音的数据代替在主数据中的相应单元数据，从而主数据被转换为新的主数据。该新的主数据被发送。相应地，可以发送符合用于复用的MPEG标准的数据。在发送目的地中的一个MPEG再现器可以再现包含该用于后期录音的数据的所发送数据。
在该用于后期录音的数据被记录在记录介质中的情况下，在记录介质上的所记录的主数据保持不变。相应地，可以原样地再现该主数据。在发送之前从记录介质再现该用于后期录音的数据的情况下，在记录介质上的主数据保持不变。相应地，可以原样地再现该主数据。在把多种类型的用于后期录音的数据记录在记录介质上的情况下，用户可以有选择地使用一种或多种用于后期录音的数据。
存在用于分别识别多种类型的后期录音数据的识别信息块。用于再现与主数据同步的时间标记和识别信息块被添加到多种后期录音数据中。每种后期录音数据被制成一个位流，而不与主数据复用。相应地，主数据保持不变。因此，即使在主数据和后期录音数据被记录在记录介质上的情况下，可以从记录介质原样地再现该主数据。在主数据和多种后期录音数据被记录在记录介质上的情况下，可以有选择地再现其中一种后期录音数据来取代该主数据，以把该主数据转换为新的主数据。
本申请是2002年10月17日提交的、申请号为02145788.3、发明名称为“后期录音装置”的申请的分案申请。