图像编码方法及图像解码方法转让专利
申请号 : CN200480005818.7
文献号 : CN100589575C
文献日 : 2010-02-10
发明人 : 角野真也
申请人 : 松下电器产业株式会社
摘要 :
防止误操作的发生的图像编码方法包含：附加步骤(步骤S203)，对表示预定图片号的第1图片的、存储器管理命令进行编码并附加到与第1图片不同的第2图片上；和再附加步骤(步骤S205～S208)，对该存储器管理命令进行再编码并再附加到图像编码流VSt的第2图片以外的待附加部位上；在该再附加步骤中，在图像编码流VSt中包含的该预定图片号的图片中、第1图片按编码顺序不在紧前时，禁止再附加该存储器管理命令。
权利要求 :
1.一种图像解码方法，用按解码顺序反复向运动图像中包含的 各图片分配的一组图片号，对以图片为单位对具有多个图片的上述运 动图像进行编码所得的编码运动图像进行解码，其特征在于，包含：判别步骤，判别在上述编码运动图像中是否附加了存储器管理命 令，该存储器管理命令是用于示出号码、且对具有与上述号码相同的 图片号的图片进行管理的信息；以及执行步骤，对具有与上述存储器管理命令所示的号码相同的图片 号的、存储器内的图片，执行上述存储器管理命令所示的管理内容；
适用了在上述执行步骤中执行的管理内容的图片，是具有与上述 存储器管理命令所示的号码相同的图片号的图片，并且位于上述编码 运动图像中包含的上述存储器管理命令之前，按解码顺序处于上述存 储器管理命令的紧前面。
2.一种图像解码装置，用按解码顺序反复向运动图像中包含的 各图片分配的一组图片号，对以图片为单位对具有多个图片的上述运 动图像进行编码所得的编码运动图像进行解码，其特征在于，包括：判别部件，判别在上述编码运动图像中是否附加了存储器管理命 令，该存储器管理命令是用于示出号码、且对具有与上述号码相同的 图片号的图片进行管理的信息；以及执行部件，对具有与上述存储器管理命令所示的号码相同的图片 号的、存储器内的图片，执行上述存储器管理命令所示的管理内容；
上述执行部件对如下图片执行上述管理内容，该图片是具有与上 述存储器管理命令所示的号码相同的图片号的图片，并且位于上述编 码运动图像中包含的上述存储器管理命令之前，按解码顺序处于上述 存储器管理命令的紧前面。
说明书 :
技术领域
本发明涉及每个图片地对运动图像信号进行编码的图像编码方 法、及对该编码过的信号进行解码的图像解码方法。
背景技术
近年，迎来了统一处理声音、图像、以及其他像素值的多介质时 代，以往的信息介质，即报纸、杂志、电视、广播、电话等将信息传 递给人的手段被作为多介质的对象。一般，所谓多介质，是指同时相 关联地表示字符、乃至图形、声音、特别是图像等，而为了将上述现 有的信息介质作为多介质的对象，将该信息表示为数字形式是必要条 件。
如果以数字信息量来估计上述各信息介质具有的信息量，则在字 符的情况下1个字符平均的信息量是1～2字节，而在声音的情况下1 秒平均需要64k比特(电话质量)以上的信息量，而动态图像则1秒 平均需要100M比特(现行电视接收质量)以上的信息量，以数字形 式来直接处理上述信息介质的庞大的信息是不现实的。例如，电视电 话已经通过具有64kbps～1.5Mbps的传输速率的综合业务数字网 (ISDN：Integrated Services Digital Network)实用化，但是不能直接 用ISDN来发送电视摄像机的影像。
因此，需要的是信息压缩技术，例如，在电视电话的情况下，采 用了ITU-T(国际电联电信标准化部)进行了国际标准化的H.261或 H.263标准的动态图像压缩技术。此外，通过MPEG-1标准的信息压 缩技术，也能够将图像信息与声音信息一起放入到普通音乐CD(光 盘)中。
这里，所谓MPEG(Moving Picture Experts Group，运动图像专 家组)，是运动图像的数字压缩的国际标准，MPEG-1是将运动图像 信号压缩到1.5Mbps、即将电视信号的信息压缩到约100分之一的标 准。此外，以MPEG-1标准为对象的传输速率主要被限制在约 1.5Mbps，所以为了满足进一步提高画质的要求而标准化了的 MPEG-2将运动图像信号压缩到2～15Mbps。
再者，在现状下，对MPEG-1、MPEG-2进行了标准化的工作组 (ISO/IEC JTC1/SC29/WG11)对压缩率更高的MPEG-4进行了标准 化。MPEG-4当初不仅能够进行低比特率、高效率的编码，而且也引 入了强大的容错技术：即使发生信道差错，也能够减小主观画质恶化。 此外，ISO/IEC和ITU-T联合组成的JVT(Joint Video Team，联合 视频组)正在进行称为ITU H.264|AVC的标准化活动，作为下一代 图像编码方式，目前称为“Study of FCD(SoFCD)”(FCD研究)的 是最新的(请参照“Study of Final Committee Draft of Joint Video Specification”，Joint Video Team(JVT)of ISO/IEC and ITU-T VCEG， JVT-F100，15Feb.，2003)。
H.264|AVC与现有的运动图像编码不同，能够从多个图片中将 任意的图片选择为前方参考图片。这里，所谓图片，表示帧或场。
参考图片等被保存在存储器中。
存储器由短时间保存存储器和长时间保存存储器组成。短时间保 存存储器用于存储之前刚解码过的多个图片，存储所谓的MPEG-1 或MPEG-2的P图片(前向预测编码图片)及B图片(双向预测编 码图片)等参考图片。长时间保存存储器用于比短时间保存存储器更 长时间地保存图片。
通常，短时间保存存储器是FIFO(先入先出)存储器，在存储 区域中充满图片的状态下将图片保存到短时间保存存储器中的情况 下，除去短时间保存存储器内的最旧的时刻保存的图片，向该除去了 的区域中保存新的图像。因此，通常在需要长时间参考从短时间保存 存储器中除去的参考图片的情况下，将该参考图片预先从短时间保存 存储器移动到长时间保存存储器中并保存在长时间保存存储器内。由 此能够长时间参考。长时间保存存储器向明示的区域中保存图片。由 此，只要不指定同一区域来盖写，就能够参考该区域中保存的图片。
再者，解码过的图片在被显示之前暂时被保存在显示存储器中。 该显示存储器采用按显示的顺序从旧的图片起依次盖写的FIFO结 构。
为了高效地使用这种存储器，需要高级的存储器管理，用于管理 存储器的机制被导入到H.264|AVC中。
上述管理中所用的存储器管理命令例如表示以下指令。
1.选择可参考的图片的指令
2.释放短时间保存存储器中保存着已无需作为预测编码的参考 图片的图片的存储区域的指令
3.将短时间保存存储器的图片移动到长时间保存存储器中的指 令
4.释放存储器内的所有图片并对与图片解码有关的信息进行初 始化的指令
在图像编码/解码中，从可参考的图片中以块为单位将预测误差 最小的图片选择为参考图片，所以需要以块为单位来指示参考图片的 信号(参考图像指示信号)。通过预先选择可参考的图片，能够将候 选参考图片的数目缩小到适当的值，以块为单位来节约所需的参考图 像指示信号的比特数。
此外，在从短时间保存存储器向长时间保存存储器移动了图片的 情况下，将同一图片保存在短时间保存存储器和长时间保存存储器两 者中也只是浪费，所以除去短时间保存存储器内的图片。
在这种图像编码方法及图像解码方法中，图像编码装置对指令从 存储器中除去无用的图片的存储器管理命令、或指令将图片从短时间 保存存储器移动到长时间保存存储器中的存储器管理命令进行编码 并输出，传输到图像解码装置来进行解码。这种存储器管理命令被附 加在编码过的图片上来传输，但是在伴随该存储器管理命令的图片由 于传输差错等而消失了的情况下，图像解码装置端的存储器内的图像 配置不能正确恢复，所以不能对图片进行解码。
考虑到这种问题，可以重发存储器管理命令(MMCO)。通过这 样重发存储器管理命令，在伴随存储器管理命令的图片由于传输差错 等而消失了的情况下，通过重发的存储器管理命令，来正确恢复存储 器内的图像配置。
为了表示要适用存储器管理命令的图片(存储器管理命令待管理 的图片)，或者在重发存储器管理命令的情况下表示重发哪个图片上 附加的存储器管理命令，向各图片赋予图片号。用该图片号来表示待 管理的图片、或当初附加了存储器管理命令的图片。
图片号是图像编码流中以升序(编码顺序)分配的号码，也用于 在显示存储器中导出图片的显示顺序。其中，如果图片数增加，则图 片号变得非常大，所以图片号被编码为预定数MaxFrameNum的余数。
另一方面，为了保证即使途中切换图像编码流的图片速率等，也 能够对其后的图像编码流正确进行解码，导入了IDR图片。该IDR 图片是用于使得超过它就不参考前方的图片的图片，在对该IDR图 片进行了编码时，释放存储器内的图片并对与图片编码有关的信息进 行初始化。因此，在IDR图片的编码、解码前后，存储器内保存着 的图片不同。此外，也有时不仅使用IDR图片，还使用初始化命令。 IDR图片对包含图片号在内的所有与图片有关的解码信息进行初始 化，而初始化命令只对一部分信息(图片号等)进行初始化。
此外，在编辑了图像编码流的情况下，即在提取多个图像编码流 各自的一部分并结合、新生成别的图像编码流的情况下，在结合部(编 辑点)上发生传输图片号等的失配。
然而，在上述图像编码方法及图像解码方法中，即使用图片号来 表示重发的存储器管理命令待管理的图片，收到该重发的存储器管理 命令的图像解码装置端也不清楚是针对哪个图片的存储器管理命令， 有诱发误操作的问题。
即，由于图片号被表现为预定数的余数，或者IDR图片或初始 化命令将图片号初始化为0，使得向不同的图片赋予了同一图片号， 所以难以用图片号来确定1个图片，诱发误操作。
例如，显示存储器根据各图片的显示顺序的信息按显示顺序从早 到晚的顺序来除去各图片，保留显示所需的新的区域。IDR图片或初 始化命令后的图片号被复位为最小值0后，表示显示顺序的信息也被 初始化。其结果是，即使图像编码装置在IDR图片或初始化命令的 编码后重发将IDR图片等之前的图片作为管理对象的存储器管理命 令，由于不存在适用存储器管理命令的图片，所以接收到它的图像解 码装置产生误操作。
本发明就是鉴于这种问题而提出的，其目的在于提供一种防止命 令的重发引起的误操作的发生的图像编码方法及图像解码方法。
如果以数字信息量来估计上述各信息介质具有的信息量，则在字 符的情况下1个字符平均的信息量是1～2字节，而在声音的情况下1 秒平均需要64k比特(电话质量)以上的信息量，而动态图像则1秒 平均需要100M比特(现行电视接收质量)以上的信息量，以数字形 式来直接处理上述信息介质的庞大的信息是不现实的。例如，电视电 话已经通过具有64kbps～1.5Mbps的传输速率的综合业务数字网 (ISDN：Integrated Services Digital Network)实用化，但是不能直接 用ISDN来发送电视摄像机的影像。
因此，需要的是信息压缩技术，例如，在电视电话的情况下，采 用了ITU-T(国际电联电信标准化部)进行了国际标准化的H.261或 H.263标准的动态图像压缩技术。此外，通过MPEG-1标准的信息压 缩技术，也能够将图像信息与声音信息一起放入到普通音乐CD(光 盘)中。
这里，所谓MPEG(Moving Picture Experts Group，运动图像专 家组)，是运动图像的数字压缩的国际标准，MPEG-1是将运动图像 信号压缩到1.5Mbps、即将电视信号的信息压缩到约100分之一的标 准。此外，以MPEG-1标准为对象的传输速率主要被限制在约 1.5Mbps，所以为了满足进一步提高画质的要求而标准化了的 MPEG-2将运动图像信号压缩到2～15Mbps。
再者，在现状下，对MPEG-1、MPEG-2进行了标准化的工作组 (ISO/IEC JTC1/SC29/WG11)对压缩率更高的MPEG-4进行了标准 化。MPEG-4当初不仅能够进行低比特率、高效率的编码，而且也引 入了强大的容错技术：即使发生信道差错，也能够减小主观画质恶化。 此外，ISO/IEC和ITU-T联合组成的JVT(Joint Video Team，联合 视频组)正在进行称为ITU H.264|AVC的标准化活动，作为下一代 图像编码方式，目前称为“Study of FCD(SoFCD)”(FCD研究)的 是最新的(请参照“Study of Final Committee Draft of Joint Video Specification”，Joint Video Team(JVT)of ISO/IEC and ITU-T VCEG， JVT-F100，15Feb.，2003)。
H.264|AVC与现有的运动图像编码不同，能够从多个图片中将 任意的图片选择为前方参考图片。这里，所谓图片，表示帧或场。
参考图片等被保存在存储器中。
存储器由短时间保存存储器和长时间保存存储器组成。短时间保 存存储器用于存储之前刚解码过的多个图片，存储所谓的MPEG-1 或MPEG-2的P图片(前向预测编码图片)及B图片(双向预测编 码图片)等参考图片。长时间保存存储器用于比短时间保存存储器更 长时间地保存图片。
通常，短时间保存存储器是FIFO(先入先出)存储器，在存储 区域中充满图片的状态下将图片保存到短时间保存存储器中的情况 下，除去短时间保存存储器内的最旧的时刻保存的图片，向该除去了 的区域中保存新的图像。因此，通常在需要长时间参考从短时间保存 存储器中除去的参考图片的情况下，将该参考图片预先从短时间保存 存储器移动到长时间保存存储器中并保存在长时间保存存储器内。由 此能够长时间参考。长时间保存存储器向明示的区域中保存图片。由 此，只要不指定同一区域来盖写，就能够参考该区域中保存的图片。
再者，解码过的图片在被显示之前暂时被保存在显示存储器中。 该显示存储器采用按显示的顺序从旧的图片起依次盖写的FIFO结 构。
为了高效地使用这种存储器，需要高级的存储器管理，用于管理 存储器的机制被导入到H.264|AVC中。
上述管理中所用的存储器管理命令例如表示以下指令。
1.选择可参考的图片的指令
2.释放短时间保存存储器中保存着已无需作为预测编码的参考 图片的图片的存储区域的指令
3.将短时间保存存储器的图片移动到长时间保存存储器中的指 令
4.释放存储器内的所有图片并对与图片解码有关的信息进行初 始化的指令
在图像编码/解码中，从可参考的图片中以块为单位将预测误差 最小的图片选择为参考图片，所以需要以块为单位来指示参考图片的 信号(参考图像指示信号)。通过预先选择可参考的图片，能够将候 选参考图片的数目缩小到适当的值，以块为单位来节约所需的参考图 像指示信号的比特数。
此外，在从短时间保存存储器向长时间保存存储器移动了图片的 情况下，将同一图片保存在短时间保存存储器和长时间保存存储器两 者中也只是浪费，所以除去短时间保存存储器内的图片。
在这种图像编码方法及图像解码方法中，图像编码装置对指令从 存储器中除去无用的图片的存储器管理命令、或指令将图片从短时间 保存存储器移动到长时间保存存储器中的存储器管理命令进行编码 并输出，传输到图像解码装置来进行解码。这种存储器管理命令被附 加在编码过的图片上来传输，但是在伴随该存储器管理命令的图片由 于传输差错等而消失了的情况下，图像解码装置端的存储器内的图像 配置不能正确恢复，所以不能对图片进行解码。
考虑到这种问题，可以重发存储器管理命令(MMCO)。通过这 样重发存储器管理命令，在伴随存储器管理命令的图片由于传输差错 等而消失了的情况下，通过重发的存储器管理命令，来正确恢复存储 器内的图像配置。
为了表示要适用存储器管理命令的图片(存储器管理命令待管理 的图片)，或者在重发存储器管理命令的情况下表示重发哪个图片上 附加的存储器管理命令，向各图片赋予图片号。用该图片号来表示待 管理的图片、或当初附加了存储器管理命令的图片。
图片号是图像编码流中以升序(编码顺序)分配的号码，也用于 在显示存储器中导出图片的显示顺序。其中，如果图片数增加，则图 片号变得非常大，所以图片号被编码为预定数MaxFrameNum的余数。
另一方面，为了保证即使途中切换图像编码流的图片速率等，也 能够对其后的图像编码流正确进行解码，导入了IDR图片。该IDR 图片是用于使得超过它就不参考前方的图片的图片，在对该IDR图 片进行了编码时，释放存储器内的图片并对与图片编码有关的信息进 行初始化。因此，在IDR图片的编码、解码前后，存储器内保存着 的图片不同。此外，也有时不仅使用IDR图片，还使用初始化命令。 IDR图片对包含图片号在内的所有与图片有关的解码信息进行初始 化，而初始化命令只对一部分信息(图片号等)进行初始化。
此外，在编辑了图像编码流的情况下，即在提取多个图像编码流 各自的一部分并结合、新生成别的图像编码流的情况下，在结合部(编 辑点)上发生传输图片号等的失配。
然而，在上述图像编码方法及图像解码方法中，即使用图片号来 表示重发的存储器管理命令待管理的图片，收到该重发的存储器管理 命令的图像解码装置端也不清楚是针对哪个图片的存储器管理命令， 有诱发误操作的问题。
即，由于图片号被表现为预定数的余数，或者IDR图片或初始 化命令将图片号初始化为0，使得向不同的图片赋予了同一图片号， 所以难以用图片号来确定1个图片，诱发误操作。
例如，显示存储器根据各图片的显示顺序的信息按显示顺序从早 到晚的顺序来除去各图片，保留显示所需的新的区域。IDR图片或初 始化命令后的图片号被复位为最小值0后，表示显示顺序的信息也被 初始化。其结果是，即使图像编码装置在IDR图片或初始化命令的 编码后重发将IDR图片等之前的图片作为管理对象的存储器管理命 令，由于不存在适用存储器管理命令的图片，所以接收到它的图像解 码装置产生误操作。
本发明就是鉴于这种问题而提出的，其目的在于提供一种防止命 令的重发引起的误操作的发生的图像编码方法及图像解码方法。
发明内容
为了实现上述目的，本发明的图像编码方法通过以预定图片数为 单位按编码顺序向运动图像信号中包含的各图片分配图片号，对各图 片都进行编码来生成图像编码信号，其特征在于，包含：附加步骤， 将表示存储器上的针对预定图片号的第1图片的管理内容的存储器 管理命令，附加到与上述第1图片不同的第2图片上；和再附加步骤， 将上述存储器管理命令再附加到上述图像编码信号中的上述第2图 片以外的待附加部位上；上述再附加步骤包含：判别子步骤，判别在 上述待附加部位之前的图像编码信号中包含的上述预定图片号的图 片中，上述第1图片按编码顺序是否在上述待附加部位紧前；和禁止 子步骤，在上述判别子步骤中判别为不在紧前时，禁止再附加上述存 储器管理命令。
由此，再附加的存储器管理命令待管理的图片始终是紧前的图 片，所以即使该存储器管理命令所示的预定图片号的图片有多个，取 得了这样再附加而重发的存储器管理命令的图像解码装置端也能够 将紧前的图片确定为该存储器管理命令待管理的图片，能够防止重发 的存储器管理命令引起的图像解码装置端的误操作的发生。
此外，其特征也可以在于，在上述判别子步骤中，还判别上述第 1图片按编码顺序是否在图像编码信号中的基准点的前方；在上述禁 止予步骤中，还在上述判别子步骤中判别为在前方时，禁止再附加上 述存储器管理命令。例如，在上述判别子步骤中，将由于编辑而使上 述图像编码信号失去了连续性的编辑点作为上述基准点。或者，在上 述判别子步骤中，将包含提醒对存储器进行初始化的信息被编码的图 片作为上述基准点。
由此，不再附加将基准点的前方的图片在为管理对象的存储器管 理命令，所以取得了这样再附加而重发的存储器管理命令的图像解码 装置端能够将基准点以后的图片作为该存储器管理命令的管理对象， 能够防止由于对基准点以前的例如已经擦除了的图片适用存储器管 理命令而发生的误操作。
此外，为了实现上述目的，本发明的图像解码方法用以预定图片 数为单位按解码顺序向各图片分配的图片号对以图片为单位对运动 图像信号进行编码所得的图像编码信号进行解码，其特征在于，包含： 判别步骤，判别在上述图像编码信号上是否附加了表示存储器上的针 对预定图片号的图片的管理内容的存储器管理命令；选择步骤，在上 述判别步骤中判别为附加了存储器管理命令时，从上述存储器管理命 令之前的图像编码信号中包含的上述预定图片号的图片中，选择按解 码顺序在上述存储器管理命令紧前的图片；以及执行步骤，对上述选 择步骤中选择出的图片，执行上述存储器管理命令所示的管理内容。
由此，即使该存储器管理命令所示的预定图片号的图片有多个， 也对紧前的图片适用该存储器管理命令，所以通过从图像编码装置重 发以紧前的图片为管理对象的存储器管理命令，能够在编码端及解码 端使该管理对象一致，能够防止出图像编码装置端重发的存储器管理 命令引起的误操作的发生。
其中，本发明不仅能够实现为这种图像编码方法及图像解码方 法，而且能够实现为使用这种方法的图像编码装置及图像解码装置， 或者实现为记录着用图像编码方法编码过的图像编码流的记录介质， 或者实现为使计算机执行图像编码方法及图像解码方法中的各步骤 的程序。而这种程序当然能够经CD-ROM等记录介质或因特网等传 输介质来分发。
由此，再附加的存储器管理命令待管理的图片始终是紧前的图 片，所以即使该存储器管理命令所示的预定图片号的图片有多个，取 得了这样再附加而重发的存储器管理命令的图像解码装置端也能够 将紧前的图片确定为该存储器管理命令待管理的图片，能够防止重发 的存储器管理命令引起的图像解码装置端的误操作的发生。
此外，其特征也可以在于，在上述判别子步骤中，还判别上述第 1图片按编码顺序是否在图像编码信号中的基准点的前方；在上述禁 止予步骤中，还在上述判别子步骤中判别为在前方时，禁止再附加上 述存储器管理命令。例如，在上述判别子步骤中，将由于编辑而使上 述图像编码信号失去了连续性的编辑点作为上述基准点。或者，在上 述判别子步骤中，将包含提醒对存储器进行初始化的信息被编码的图 片作为上述基准点。
由此，不再附加将基准点的前方的图片在为管理对象的存储器管 理命令，所以取得了这样再附加而重发的存储器管理命令的图像解码 装置端能够将基准点以后的图片作为该存储器管理命令的管理对象， 能够防止由于对基准点以前的例如已经擦除了的图片适用存储器管 理命令而发生的误操作。
此外，为了实现上述目的，本发明的图像解码方法用以预定图片 数为单位按解码顺序向各图片分配的图片号对以图片为单位对运动 图像信号进行编码所得的图像编码信号进行解码，其特征在于，包含： 判别步骤，判别在上述图像编码信号上是否附加了表示存储器上的针 对预定图片号的图片的管理内容的存储器管理命令；选择步骤，在上 述判别步骤中判别为附加了存储器管理命令时，从上述存储器管理命 令之前的图像编码信号中包含的上述预定图片号的图片中，选择按解 码顺序在上述存储器管理命令紧前的图片；以及执行步骤，对上述选 择步骤中选择出的图片，执行上述存储器管理命令所示的管理内容。
由此，即使该存储器管理命令所示的预定图片号的图片有多个， 也对紧前的图片适用该存储器管理命令，所以通过从图像编码装置重 发以紧前的图片为管理对象的存储器管理命令，能够在编码端及解码 端使该管理对象一致，能够防止出图像编码装置端重发的存储器管理 命令引起的误操作的发生。
其中，本发明不仅能够实现为这种图像编码方法及图像解码方 法，而且能够实现为使用这种方法的图像编码装置及图像解码装置， 或者实现为记录着用图像编码方法编码过的图像编码流的记录介质， 或者实现为使计算机执行图像编码方法及图像解码方法中的各步骤 的程序。而这种程序当然能够经CD-ROM等记录介质或因特网等传 输介质来分发。
附图说明
图1是本发明实施方式1的实现图像编码方法的图像编码装置的 结构的方框图。
图2的(a)及(b)都是用于说明本发明实施方式1的各图片的 图。
图3是用于说明本发明实施方式1的流的编辑的各图片的图。
图4是本发明实施方式1的图像编码装置根据IDR图片来进行 存储器管理命令的再编码的工作的流程图。
图5是本发明实施方式1的图像编码装置根据IDR图片及是否 最近的判断来进行存储器管理命令的再编码的工作的流程图。
图6是本发明实施方式1的图像编码装置编辑图像编码信号的工 作的流程图。
图7是本发明实施方式1的图像编码装置根据IDR图片、是否 最近的判断以及编辑点来进行存储器管理命令的再编码的工作的流 程图。
图8是本发明实施方式2的实现图像解码方法的图像解码装置的 结构的方框图。
图9是本发明实施方式2的图像解码装置根据是否最近的判断来 处理存储器管理命令的工作的流程图。
图10是本发明实施方式2的图像解码装置根据IDR图片及是否 最近的判断来处理存储器管理命令的工作的流程图。
图11是本发明实施方式2的图像解码装置根据IDR图片、编辑 点以及是否最近的判断来处理存储器管理命令的工作的流程图。
图12的(a)、(b)以及(c)是本发明实施方式3的存储介质的 说明图。
图13是本发明实施方式4的内容供给系统的整体结构的方框图。
图14是本发明实施方式4的便携式电话机的一例的外观图。
图15是本发明实施方式4的便携式电话机的结构的方框图。
图16是本发明实施方式4的数字广播系统的结构的结构图。
图2的(a)及(b)都是用于说明本发明实施方式1的各图片的 图。
图3是用于说明本发明实施方式1的流的编辑的各图片的图。
图4是本发明实施方式1的图像编码装置根据IDR图片来进行 存储器管理命令的再编码的工作的流程图。
图5是本发明实施方式1的图像编码装置根据IDR图片及是否 最近的判断来进行存储器管理命令的再编码的工作的流程图。
图6是本发明实施方式1的图像编码装置编辑图像编码信号的工 作的流程图。
图7是本发明实施方式1的图像编码装置根据IDR图片、是否 最近的判断以及编辑点来进行存储器管理命令的再编码的工作的流 程图。
图8是本发明实施方式2的实现图像解码方法的图像解码装置的 结构的方框图。
图9是本发明实施方式2的图像解码装置根据是否最近的判断来 处理存储器管理命令的工作的流程图。
图10是本发明实施方式2的图像解码装置根据IDR图片及是否 最近的判断来处理存储器管理命令的工作的流程图。
图11是本发明实施方式2的图像解码装置根据IDR图片、编辑 点以及是否最近的判断来处理存储器管理命令的工作的流程图。
图12的(a)、(b)以及(c)是本发明实施方式3的存储介质的 说明图。
图13是本发明实施方式4的内容供给系统的整体结构的方框图。
图14是本发明实施方式4的便携式电话机的一例的外观图。
图15是本发明实施方式4的便携式电话机的结构的方框图。
图16是本发明实施方式4的数字广播系统的结构的结构图。
具体实施方式
以下，用附图来说明本发明的实施方式。
(实施方式1)
图1是本实施方式的用于实现图像编码方法的图像编码装置的 结构的方框图。
图像编码装置100由存储器信息控制部101、短时间保存存储器 管理部102、长时间保存存储器管理部103、非保存存储器管理信息 部104、管理信息编码部105、参考图像选择部106、保存区域指定 部107、参考区域指定部108、图像存储器109、图像解码部111、图 像编码部110、可变长度编码部112、计数器113、以及计数器114 等构成。
参考图像选择部106根据从外部输入的重要度指示信号Pri及图 片类型信息PT来选择候选参考图片，将该选择的结果通知给存储器 信息控制部101。
存储器信息控制部101根据图片类型信息PT来判断是否可参考 前方及后方中的某一方的图片、或双方的图片。进而，存储器信息控 制部101通过指令参考区域指定部108，将与该判断的结果对应的参 考图片从图像存储器109输出到图像编码部110。
图像编码部110参考从图像存储器109输出的参考图片并每个图 片地对输入图像信号Vin进行编码。可变长度编码部112对来自图像 编码部110的输出进一步进行可变长度编码来输出图像编码流VSt。 此外，在编辑了图像编码流VSt的情况下，可变长度编码部112也进 行表示编辑过的图像编码流VSt的编辑点的信息的编码。图像编码部 110的输出还由图像解码部111解码为解码图像，作为参考图片保存 到图像存储器109中。
此时，图像存储器109中的可保存解码图像的存储区域由来自保 存区域指定部107的指示来决定。即，存储器信息控制部101向短时 间保存存储器管理部102进行查询，来确定图像存储器109内的短时 间保存存储器中除去了图片的存储区域。保存区域指定部107指示图 像存储器109向该确定出的存储区域中记录解码图像。
短时间保存存储器管理部102检测短时间保存存储器内的无用 (不参考)的图片，将指示把该图片作为管理对象并除去它(释放存 储器)的内容的存储器管理命令通知给存储器信息控制部101。此外， 长时间保存存储器管理部103将指示把短时间保存存储器内的图片 作为管理对象、把其移动到图像存储器109内的长时间保存存储器中 的内容的存储器管理命令通知给存储器信息控制部101。这种存储器 管理命令由管理信息编码部105进行编码，成为存储器管理信息流 CSt。此外，这种存储器管理信息流CSt中包含的存储器管理命令被 附加在图像编码流VSt上并发送到图像解码装置。
短时间保存存储器用的计数器113及长时间保存存储器用的计 数器114计测指示除去无用的图片的存储器管理命令、或指示将短时 间保存存储器内的图片移动到长时间保存存储器中的存储器管理命 令的编码次数。
非保存存储器管理信息部104管理是否对指示除去无用的图片 的存储器管理命令、或指示将短时间保存存储器内的图片移动到长时 间保存存储器中的存储器管理命令进行了编码，附加在图像编码流 VSt中的重要度低、难以解码的图片上。然后，在附加在重要度低的 图片上的情况下，非保存存储器管理信息部104指示存储器信息控制 部101对存储器管理命令再次进行编码并附加到图像编码流VSt上。
由此，图像编码装置100通过在必要时多次传输上述存储器管理 命令，来防止存储器管理信息流CSt的存储器管理命令由于信道差错 而消失。
再者，存储器信息控制部101在第2次以后传输存储器管理命令 时(重发时)，检测适用存储器管理命令的存储器中保存着的图片(待 管理的图片)是否是在IDR图片以前编码的图片，在是在IDR图片 以前编码了的图片的情况下，不对存储器管理命令进行编码并重发。 此外，存储器信息控制部101检测在具有同一图片号(由于赋予了循 环的号码)的图片中、待管理的图片按编码顺序是否是最近的图片， 只在是最近的图片的情况下才对存储器管理命令进行编码并重发。进 而，存储器信息控制部101检测待管理的图片按编码顺序是否在由于 编辑图像编码流VSt而变得不连续的编辑点以前，在编辑点以前的情 况下不对存储器管理命令进行编码并重发。
这里，说明本实施方式的特征。
图2的(a)是编码过的各图片的图。
如该图2的(a)所示，向各图片按编码顺序赋予了图片号。图 片号达到预定的最大值(例如15)后再次返回到0。这样，图片号的 号码是循环的。
假设当前要编码的图片(待编码图片)是图片A。在本实施方式 中，在对图片A以前编码过的图片上附随的存储器管理命令(MMCO) 再次进行编码并在图片A处进行附加的情况下，如下所述。
假设图片A以前编码过的各图片为图片B0、B1…B15、C0、C1… C11。图片B0～B15的图片号是0～15，图片C0～C11的图片号是0～11。 图片C0、C1…C11与同样被赋予了循环的图片号的图片B0、B1… B15相比，编码的顺序离图片A更近。因此，本实施方式的图像编码 装置100对适用于图片C0、C1…C11的存储器管理命令再次进行编 码并在图片A处进行编码、传输，但是不对适用于图片B0、B1…B15 的存储器管理命令再次进行编码。
例如，即使在表示释放保存着图片号为2的图片B2的存储器(使 得可重用)的存储器管理命令以前被编码的情况下，本实施方式的图 像编码装置100也不在图片A中对该存储器管理命令再次进行编码； 在表示释放保存着图片号为2的图片C2的存储区域的存储器管理命 令以前被编码的情况下，在图片A处对该存储器管理命令再次进行 编码(再附加)。
通过这样做，图像解码装置在对指示释放存储区域的存储器管理 命令进行解码时，能够唯一地决定应释放保存着赋予了同一图片号2 的图片B2和图片C2的存储器中的哪一个。即，图像解码装置能够 将保存着在与待编码的图片A最近的时刻编码过的图片C2的存储区 域确定为应释放的存储区域。其结果是，图像编码装置和图像解码装 置在存储器的状态上不会发生不一致，在图像解码装置中能够防止存 储器管理命令的重发引起的误操作的发生。
进而，说明本实施方式的其他特征。
图2的(b)是图2的(a)中的图片C4是IDR图片的情况下的 各图片的图。
所谓IDR图片，是为了保证下述事情而导入的图片：即使从该 地方开始图像编码流VSt的解码也能够对图像编码流VSt正确进行解 码；或者即使在其紧前切换图像编码流VSt的图片速率等，也能够对 IDR图片以后的流正确进行解码。该IDR图片使得在超过它后不参 考前方的图片，在该IDR图片被编码时，释放存储器内的所有图片 并对与解码有关的信息进行初始化。
在本实施方式中，在对当前被编码的图片A以前编码过的图片 上附随的存储器管理命令(MMCO)再次进行编码并在图片A处进 行编码的情况下，不对适用于IDR图片以前编码过的图片的存储器 管理命令再次进行编码。
例如，在表示释放保存着IDR图片——图片C4以前的图片C1 的存储器(使得可重用)的存储器管理命令以前被编码的情况下，本 实施方式的图像编码装置100不对该存储器管理命令再次进行编码。
IDR图片对此时存储器中保存着的图片和图片号进行初始化。因 此，在要重发的存储器管理命令待管理的图片是IDR图片以前的图 片的情况下，在重发了该存储器管理命令时，在图像解码装置的存储 器内已经不存在该存储器管理命令待管理的图片。此时，图像解码装 置认为是差错而新生成丢失了的图片并保存到存储器中，其结果是， 有可能发生丢失存储器内的其他图片的误操作。
因此，本实施方式的图像编码装置100通过不对适用于IDR图 片以前编码过的图片的存储器管理命令再次进行编码，能够防止误操 作的发生。
此外，用图3来说明本实施方式的其他特征。
图3是用于说明图像编码流VSt的编辑的说明图。
例如，如该图3所示，包含图片E0～E13的图像编码流和包含图 片F0～F13的图像编码流在各自的途中被结合(编辑)。其中，这种图 像编码流的编辑在编辑DVD等的情况下进行。
包含图片E0～E13的图像编码流在图片E11和图片E12之间被分 割，包含图片F0～F13的图像编码流在图片F11和图片F12之间被分 割。连接图片E0～E11的图像编码流和图片F12～F13的图像编码流， 编辑为1个图像编码流Y。将这样连接图片E11和图片F12而使图片 号变得不连续的部分称为编辑点H。
本实施方式的图像编码装置100在欲对当前被编码的图片F13以 前编码过的图片上附随的存储器管理命令(MMCO)再次进行编码并 附随到图片F13上的情况下，判别该存储器管理命令待管理的图片是 否是编辑点H以前编码过的图片。然后，如果是编辑点H以前编码 过的图片，则图像编码装置100禁止对该存储器管理命令再次进行编 码。
例如，在表示释放保存着编辑点H以前的图片F1的存储器(使 得可重用)的存储器管理命令以前附随在图片号为m-2的图片F10 上被编码的情况下，图像编码装置100不对该存储器管理命令再次进 行编码。
即，包含图片F13的图像编码流已被编辑为图像编码流Y，所以 在存储器中保存着的图片中编辑点H以前的图片F0～F11在存储器内 不存在。因此，如果对适用于编辑点H以前的图片——图片F0～F11 的存储器管理命令再次进行编码，则图像解码装置在执行该存储器管 理命令时，由于不存在适用该存储器管理命令的图片，所以有可能进 行下述误操作：新生成丢失了的图片并保存到存储器中，将其他图片 从存储器中擦除。因此，本实施方式的图像编码装置100禁止对这种 存储器管理命令再次进行编码。
这里，说明本实施方式的图像编码装置100的工作。
图4是本实施方式的图像编码装置100根据IDR图片来进行存 储器管理命令的再编码的工作的流程图。
首先，图像编码装置100的图像编码部110开始输入图像信号 Vin的编码(步骤S100)。短时间保存存储器管理部102及长时间保 存存储器管理部103在图像编码部110的编码处理中调查存储器内无 用的区域(在今后的编码中不参考的图片)(步骤S101)，判定是否 有无用的存储区域(步骤S102)。这里，在短时间保存存储器管理部 102及长时间保存存储器管理部103判定为有无用的存储区域时(步 骤S102的“是”)，图像编码装置100的管理信息编码部105对指示 释放无用的存储区域的存储器管理命令进行编码(步骤S103)。然后， 短时间保存存储器管理部102及长时间保存存储器管理部103释放该 无用的存储区域(步骤S104)。此外，在短时间保存存储器管理部102 及长时间保存存储器管理部103判定为没有无用的存储区域时(步骤 S102的“否”)，图像编码装置100不执行步骤S103、S104的工作。
接着，存储器信息控制部101根据非保存存储器管理信息部104 的工作，来判定指示释放无用的存储区域的存储器管理命令是否已被 编码、附加在以前编码过的图片(待编码图片以前的图片)上(步骤 S105)，在判定为存储器管理命令未被编码的情况下(步骤S105的 “否”)，图像编码装置100结束处理。
另一方面，在判定为存储器管理命令已被编码的情况下(步骤 S105的“是”)，存储器信息控制部101判定存储器管理命令待管理 的图片(释放了的无用的存储区域中保存着的图片)按编码顺序是否 在IDR图片以前(步骤S106)。这里，存储器信息控制部101在判定 为在其以前时(步骤S106的“是”)，不对存储器管理命令进行再编 码(再附加)而结束处理；在判定为不在其以前时(步骤S106的“否”)， 对存储器管理命令进行再编码(再附加)(步骤S107)，结束处理。
图5是本实施方式的图像编码装置100根据IDR图片及是否最 近的判断来进行存储器管理命令的再编码的工作的流程图。
图像编码装置100首先执行与图4所示的步骤S100～S106同样的 工作(步骤S200～S206)。
存储器信息控制部101在判定为存储器管理命令待管理的图片 不在IDR图片以前时(步骤S206的“否”)，进而判定在被赋予了与 待管理的图片相同的图片号的图片中、待管理的图片是否是最近的图 片(步骤S207)。即，存储器信息控制部101判定在被赋予了与待管 理的图片相同的图片号的图片中、该待管理的图片按编码顺序是否在 图像编码流VSt中的预定再附加存储器管理命令的部位紧前。
其结果是，存储器信息控制部101在判定为不是最近的图片时 (步骤S207的“否”)，不对存储器管理命令进行再编码(再附加) 而结束处理；在判定为是最近的图片时(步骤S207的“是”)，对存 储器管理命令进行再编码(再附加)(步骤S208)，结束处理。
图6是本实施方式的图像编码装置100编辑图像编码信号的工作 的流程图。
首先，图像编码装置100编辑图像编码流VSt(步骤S300)。
接着，图像编码装置100的存储器信息控制部101判别存储器管 理命令是否已被编码、并被附加在编辑后的图像编码流VSt上(步骤 S301)。
这里，在判别为存储器管理命令已被编码时(步骤S301的“是”)， 图像编码装置100进而判别该存储器管理命令待管理的图片按编码 顺序是否在编辑点以前(步骤S302)。
另一方面，在步骤S301中判别为存储器管理命令未被编码(附 加)时(步骤S301的“否”)，或者在步骤S302中判别为待管理的图 片在编辑点以前时(步骤S302的“是”)，图像编码装置100结束该 图像编码流VSt的编辑处理。
此外，图像编码装置100的存储器信息控制部101在步骤S302 中判别为待管理的图片不在编辑点以前时(步骤S302的“否”)，再 次使管理信息编码部105对该存储器管理命令进行编码，再附加到图 像编码流VSt上(步骤S303)。
图7是本实施方式的图像编码装置100根据IDR图片、是否最 近的判断以及编辑点来进行存储器管理命令的再编码的工作的流程 图。
图像编码装置100首先执行与图5所示的步骤S200～S207同样的 工作(步骤S400～S407)。
存储器信息控制部101在判定为存储器管理命令待管理的图片 不是最近的图片时(步骤S407的“否”)，结束处理；而在判定为是 最近的图片时(步骤S407的“是”)，进而判别该存储器管理命令待 管理的图片按编码顺序是否在编辑点以前(步骤S408)。
存储器信息控制部101在判别为在编辑点以前时(步骤S408的 “是”)，结束处理；在判别为不在编辑点以前时(步骤S408的“否”)， 对存储器管理命令进行再编码(再附加)(步骤S409)，结束处理。
如上所述，在本实施方式中，对指示释放存储区域(除去该存储 区域的图片)的存储器管理命令重复进行了编码，所以即使1个存储 器管理命令由于信道差错而消失，其他存储器管理命令也向图像解码 装置传达该指示的内容，所以即使有信道差错，也能够在图像解码装 置中对图片正确进行解码。
再者，本实施方式的图像编码装置100在待适用存储器管理命令 的图片在编辑点以前的情况下，或者在IDR图片以前的情况下，或 者不是最近的图片的情况下，不对存储器管理命令进行再编码，所以 在图像解码装置中执行存储器管理命令时，防止了由于存储器管理命 令待管理的图片不存在等理由而发生的误操作。
其中，在本实施方式中，以指示释放无用的存储器的内容的存储 器管理命令为例进行了说明，但是只要是表示在存储器上管理图片的 内容的存储器管理命令，则也可以是指示将短时间保存存储器中保存 着的图片移动到长时间保存存储器中的内容的存储器管理命令。
此外，在本实施方式中，在存储器管理命令待管理的图片按编码 顺序在IDR图片以前时，禁止重发该存储器管理命令，但是也可以 在待管理的图片按编码顺序在存储器初始化命令以前时，禁止重发。 该存储器初始化命令是指示擦除存储器中保存着的所有图片并对存 储器进行初始化、将图片号复位为0的命令。
再者，在图7的流程图中，说明了图像编码装置100依次执行步 骤S406、步骤S407、步骤S408的所有处理，但是这些步骤也可以按 不同顺序来调换执行的顺序，并且也可以为了简化实现而省略一部分 步骤。
再者，在图4～图7的流程图中，示出了在要重发的存储器管理 命令以前对不重发的存储器管理命令进行编码的例子，但是也可以颠 倒该编码的顺序，对要重发的存储器管理命令先进行编码后，对不重 发的存储器管理命令进行编码。
(实施方式2)
接着，说明本发明的实施方式2。
图8是实施方式2的用于实现图像解码方法的图像解码装置的方 框图。
图像解码装置200由存储器信息控制部201、短时间保存存储器 管理部202、长时间保存存储器管理部203、管理信息解码部205、 保存区域指定部207、参考区域指定部208、图像存储器209、图像 解码部210、以及可变长度解码部212等构成。
存储器信息控制部201根据图片类型信息PT，来判断是否可参 考待解码的图片前方及后方中的某一方的图片、或双方的图片。进而， 存储器信息控制部201指令参考区域指定部208，将与该判断的结果 对应的参考图片从图像存储器209输出到图像解码部210。
可变长度解码部212对图像编码流VSt进行可变长度解码。图像 解码部210对来自可变长度解码部212的输出进一步进行解码来输出 解码图像信号Vout，将该输出作为参考图片保存到图像存储器209 中。
此时，图像存储器209中的可保存参考图片的存储区域由来自保 存区域指定部207的指示来决定。即，存储器信息控制部201向短时 间保存存储器管理部202进行查询，来确定图像存储器209内的短时 间保存存储器中除去了图片的存储区域。保存区域指定部207指示图 像存储器209向该确定出的存储区域中记录参考图片。
编辑检测部215根据可变长度解码部212的输出，来检测图像编 码流VSt的编辑点，将表示该编辑点的信息输出到存储器信息控制部 201。
管理信息解码部205对存储器管理信息流CSt进行解码，通过存 储器信息控制部201，将指示除去短时间保存存储器内的无用的(不 参考)的图片的内容的存储器管理命令通知给短时间保存存储器管理 部202。此外，管理信息解码部205将指示把短时间保存存储器内的 图片移动到图像存储器209内的长时间保存存储器中的存储器管理 命令通知给长时间保存存储器管理部203。
这里，如果重发的存储器管理命令待管理的图片按解码顺序在 IDR图片以前，则存储器信息控制部201使该存储器管理命令无效。 此外，如果该存储器管理命令待管理的图片按解码顺序在编辑点以 前，则存储器信息控制部201使该存储器管理命令无效。此外，存储 器信息控制部201将被赋予了与该存储器管理命令所示的图片号相 同的图片号的图片中、最近被编码过的图片作为管理对象，对该图片 适用存储器管理命令的管理内容。
用实施方式1中用过的图2的(b)来说明这种本实施方式的图 像解码装置200的特征。
例如，在指示释放保存着重发了解码过的存储器管理命令、在 IDR图片(C4)以前被解码的图片(例如C1)的存储区域(使得可 重用)的情况下，图像解码装置200使该存储器管理命令无效。即， 图像解码装置200不对图片C1执行该存储器管理命令指示的管理内 容。
IDR图片在其解码时对存储器中保存着的图片进行初始化。因 此，在要重发的存储器管理命令待管理的图片是IDR图片以前的图 片的情况下，在执行该重发的存储器管理命令时，发生在图像解码装 置的存储器内已经不存在该存储器管理命令待管理的图片的事态。此 时，图像解码装置认为是差错而新生成丢失了的图片并保存到存储器 中，其结果是，有可能发生丢失存储器内的其他图片的误操作。
因此，即使重发了将IDR图片以前被解码的图片作为管理对象 的存储器管理命令，本实施方式的图像解码装置200也认为该存储器 管理命令的重发是差错，不执行该存储器管理命令的管理内容。由此， 能够防止上述误操作。
实施方式1的图像编码装置100生成图像编码流以便不重发这种 存储器管理命令，所以即使是现有的图像解码装置，也能够不产生上 述误操作地对该图像编码流进行解码。然而，现有的图像解码装置在 对现有的图像编码装置生成的图像编码流进行解码时，发生上述误操 作。因此，即使是现有的图像编码装置生成的图像编码流，本实施方 式的图像解码装置也能够不产生误操作地对其进行解码。
下面说明本实施方式的其他特征。
此外，本实施方式的图像解码装置200对被赋予了与重发的存储 器管理命令待管理的图片的图片号相同的图片号的图片中、最近被解 码的图片适用该存储器管理命令。这种工作需要在图像编码装置和图 像解码装置中一致。因此，即使在实施方式1的图像编码装置100禁 止重发这样不将最近的图片作为管理对象的存储器管理命令而创建 了图像编码流的情况下，也需要本实施方式的工作。
用实施方式1中用过的图2的(a)来说明这种本实施方式的图 像解码装置200的特征。
在解码过的存储器管理命令是重发的、例如是指示释放保存着图 片号为2的图片的存储区域的存储器管理命令的情况下，图像解码装 置200释放保存着解码顺序离当前最近的图片C2的存储区域，不释 放保存着图片B2的存储器。
由此，本实施方式的图像解码装置200在对表示释放保存着图片 号为2的图片的存储区域的存储器管理命令进行解码时，能够容易地 判别释放分别保存着被赋予了同一图片号2的图片B2和图片C2的 存储区域中的哪一个才好。即，图像解码装置200能够将保存着在与 待解码的图片A最近的时刻解码过的图片C2的存储区域确定为要释 放的存储区域。这里，图片C2是图片号为2的图片中、按解码顺序 在重发的存储器管理命令紧前的图片。
此外，如果重发的存储器管理命令待管理的图片在编辑点以前被 编码，则本实施方式的图像解码装置200不对该图片适用该存储器管 理命令。
用图3来说明这种本实施方式的图像解码装置200的特征性的工 作。
在解码过的存储器管理命令是重发的、待适用存储器管理命令的 存储器中保存的图片是在编辑点H以前被编码的图片的情况下，图 像解码装置200不执行该存储器管理命令的管理内容。
例如，在解码过的存储器管理命令是重发的存储器管理命令，指 示释放保存着编辑点H以前的图片F1的存储区域的情况下，不执行 该存储区域的释放。
即，包含图片F13的图像编码流已被编辑为图像编码流Y，所以 在存储器中保存的图片中编辑点H以前的图片F0～F11在存储器内不 存在。因此，假如图像解码装置执行了适用于编辑点H以前的图片 ——图片F0～F11的存储器管理命令，则在执行该存储器管理命令时， 由于在存储器中不存在待管理的图片，所以有可能进行下述误操作： 新生成丢失了的图片并保存到存储器中，将其他图片从存储器中擦 除。此外，假如在执行该存储器管理命令时在存储器中存在与待执行 的图片相同的图片号的图片，则对本来不适用(存储器管理命令不操 作)的图片错误地适用了存储器管理命令，有可能不能对编辑点以后 的图像编码流正确进行解码。因此，本实施方式的图像解码装置200 不执行将编辑点以前的图片作为管理对象的存储器管理命令。
这里，说明本实施方式的图像解码装置200的工作。
图9是本实施方式的图像解码装置200根据是否最近的判断来处 理存储器管理命令的工作的流程图。
首先，图像解码装置200的管理信息解码部205对存储器管理信 息流CSt中包含的存储器管理命令进行解码(步骤S500)。在该存储 器管理命令的解码步骤(步骤S500)中，对重发的存储器管理命令、 和初次接收到的(不是重发的)存储器管理命令这两者进行解码。接 着，可变长度解码部212及图像解码部210对图像编码流VSt进行解 码(步骤S501)。
接着，存储器信息控制部201判定在解码过的存储器管理命令中 是否有重发的存储器管理命令(例如，指示释放无用的存储器的内容 的存储器管理命令)(步骤S502)。在判定为没有重发的存储器管理 命令时(步骤S502的“否”)，存储器信息控制部201执行不是重发 的其他存储器管理命令(步骤S503)。另一方面，在判定为有重发的 存储器管理命令时(步骤S502的“是”)，存储器信息控制部201对 被赋予了与该存储器管理命令所示的图片号相同的图片号的图片中、 按解码顺序最近的图片执行重发的存储器管理命令(步骤S504)。即， 存储器信息控制部201对图像编码流VSt的存储器管理命令之前按解 码顺序包含的上述图片号的图片中、存储器管理命令紧前的图片执行 该存储器管理命令。
图10是本实施方式的图像解码装置200根据IDR图片及是否最 近的判断来处理存储器管理命令的工作的流程图。
图像解码装置200执行与图9所示的步骤S500～S503同样的工作 (步骤S600～S603)。
图像解码装置200的存储器信息控制部201在步骤S602中判别 为有重发的存储器管理命令时(步骤S602的“是”)，判定重发的存 储器管理命令待管理的图片是否是在IDR图片以前解码过的图片(步 骤S604)。所谓该重发的存储器管理命令待管理的图片，在重发的存 储器管理命令例如是指示释放无用的存储区域(使得可重用)的命令 的情况下，是指该被释放的存储区域中保存的图片。
这里，存储器信息控制部201在判定为在IDR图片以前时(步 骤S604的“是”)，不执行重发的存储器管理命令，结束处理。而在 判定为不在IDR图片以前时(步骤S604的“否”)，存储器信息控制 部201与图9所示的步骤S504同样，对被赋予了与重发的存储器管 理命令所示的图片号相同的图片号的图片中、按解码顺序最近的图片 执行该存储器管理命令(步骤S605)，结束处理。
图11是本实施方式的图像解码装置200根据IDR图片、编辑点 以及是否最近的判断来处理存储器管理命令的工作的流程图。
图像解码装置200执行与图10所示的步骤S600～S604同样的工 作(步骤S700～S704)。
图像解码装置200的存储器信息控制部201在步骤S704中判定 为重发的存储器管理命令待管理的图片按解码顺序不在IDR图片以 前时(步骤S704的“否”)，进而判定该待管理的图片按解码顺序是 否在编辑点以前(步骤S705)。即，存储器信息控制部201判定待管 理的图片是否是在编辑点以前被解码的图片。
这里，存储器信息控制部201在判定为在编辑点以前时(步骤 S705的“是”)，不执行重发的存储器管理命令而结束处理。而在判 定为不在编辑点以前时(步骤S705的“否”)，存储器信息控制部201 与图9所示的步骤S504同样，对被赋予了与重发的存储器管理命令 所示的图片号相同的图片号的图片中、按解码顺序最近的图片执行该 存储器管理命令(步骤S706)，结束处理。
如上所述，在重发的存储器管理命令待管理的图片在编辑点以前 的情况下、或者在IDR图片以前的情况下，本实施方式的图像解码 装置200不适用(执行)该存储器管理命令，所以能够防止存储器管 理命令待管理的图片不存在而引起的误操作的发生。
此外，本实施方式的图像解码装置200对被赋予了同一图片号的 图片中、到当前的待编码图片最近的图片适用存储器管理命令，所以 能够可靠地确定待管理的图片。
其中，在本实施方式中，以指示释放无用的存储器的内容的存储 器管理命令为例进行了说明，但是只要是表示在存储器上管理图片的 内容的存储器管理命令，则也可以是指示将短时间保存存储器中保存 着的图片移动到长时间保存存储器中的内容的存储器管理命令。
此外，在本实施方式中，在重发的存储器管理命令待管理的图片 按编码顺序在IDR图片以前时，禁止适用该存储器管理命令，但是 也可以在待管理的图片按编码顺序在存储器初始化命令以前时，禁止 适用。该存储器初始化命令是指示擦除存储器中保存着的所有图片并 对存储器进行初始化、将图片号复位为0的命令。
再者，在图11的流程图中，说明了依次执行步骤S704、步骤S705、 步骤S706的所有处理，但是这些步骤可以按不同顺序来调换执行的 顺序，也可以为了简化实现而省略一部分步骤。
(实施方式3)
接着，说明本发明的实施方式3。
在本实施方式中，通过进而将用于实现实施方式1和实施方式2 所示的图像编码方法或图像解码方法的结构的程序记录到软盘等存 储介质上，能够在独立的计算机系统中简单地实施上述实施方式所示 的处理。
图12是用保存着上述实施方式的图像编码方法或图像解码方法 的软盘通过计算机系统来实施的情况下的说明图。
图12的(b)示出了从软盘的正面看到的外观、断面构造、及软 盘，图12的(a)示出了记录介质主体——软盘的物理格式的例子。 软盘FD1被内置在壳体F内，在该软盘的表面上，以同心圆状从外 周向内周形成了多个磁道Tr，各磁道沿角度方向被分割为16个扇区 Se。因此，在保存着上述程序的软盘中，在上述软盘FD1上分配的 区域上，记录着作为上述程序的图像编码方法。
此外，图12的(c)示出用于在软盘FD1上记录再生上述程序 的结构。在将上述程序记录到软盘FD1上的情况下，从计算机系统 Cs经软盘驱动器FDD写入作为上述程序的图像编码方法或图像解码 方法。此外，在用软盘FD1内的程序在计算机系统中构筑上述图像 编码方法的情况下，用软盘驱动器FDD从软盘FD1中读出程序，传 送到计算机系统Cs。
其中，在上述说明中，用软盘作为记录介质进行了说明，但是用 光盘也能够同样进行。此外，记录介质不限于此，只要是IC卡、盒 式ROM等能够记录程序者都能够同样实施。
此外，上述实施方式所示的图像编码方法/图像解码方法可以用 LSI等半导体安装到便携式电话机或汽车导航系统等移动通信设备或 数字摄像机或数字照相机等摄影设备中。此外，作为安装形式，有具 有编码器/解码器两者的发送接收型终端、以及只有编码器的发送终 端、只有解码器的接收终端这3种。
这里，说明上述实施方式所示的图像编码方法或图像解码方法的 应用例和使用它的系统。
图13是实现内容分发服务的内容供给系统ex100的整体结构的 方框图。将通信服务的提供区域分割为期望的大小，在各单元内分别 设置着固定无线电台——基站ex107～ex110。
该内容供给系统ex100例如在因特网ex101上经因特网服务提供 商ex102及电话网ex104、及基站ex107～ex110，连接着计算机ex111、 PDA(personal digital assistant，个人数字助理)112、摄像机ex113、 便携式电话机ex114、带摄像机的便携式电话机ex115等各设备。
但是，内容供给系统ex100不限于图13所示的组合，也可以组 合连接其中的某些。此外，也可以不经固定无线电台——基站 ex107～ex110，而将各设备直接连接在电话网ex104上。
摄像机ex113是数字摄像机等能够拍摄动态图像的设备。此外， 便携式电话机是PDC(Personal Digital Communication，个人数字通 信)方式、CDMA(Code Division Multiple Access，码分多址)方式、 W-CDMA(Wideband-Code Division Multiple Access，宽带码分多址) 方式、或GSM(Global System for Mobile Communications，全球移 动通信系统)方式的便携式电话机、或PHS(Personal Handyphone System，个人手持电话系统)等，哪一个都可以。
此外，流式服务器ex103通过基站ex109、电话网ex104与摄像 机ex113相连，能够根据用户用摄像机ex113发送的编码处理过的数 据来进行实况分发等。拍摄到的数据的编码处理可以由摄像机ex113 来进行，也可以由进行数据发送处理的服务器等来进行。此外，摄像 机ex116拍摄到的动态图像数据也可以经计算机ex111发送到流式服 务器ex103。摄像机ex116是数字摄像机等能够拍摄静止图像、动态 图像的设备。在此情况下，动态图像数据的编码可以由摄像机ex116 来进行，也可以由计算机ex111来进行。此外，编码处理在计算机ex111 或摄像机ex116具有的LSI ex117中进行。其中，也可以将图像编码/ 解码用的软件安装到作为计算机ex111等可读取的记录介质的某种存 储介质(CD-ROM、软盘、硬盘等)上。再者，也可以用带摄像机的 便携式电话机ex115来发送动态图像数据。此时的动态图像数据是便 携式电话机ex115具有的LSI编码处理过的数据。
在该内容供给系统ex100中，与上述实施方式同样对用户用摄像 机ex113、摄像机ex116等拍摄到的内容(例如，拍摄音乐实况所得 的影像等)进行编码处理并发送到流式服务器ex103；另一方面，流 式服务器ex103向发出了请求的客户用流来分发上述内容数据。作为 客户，有能够对上述编码处理过的数据进行解码的计算机ex111、PDA ex112、摄像机ex113、便携式电话机ex114等。通过这样做，内容供 给系统ex100能够在客户端接收并再生编码过的数据，进而通过在客 户端实时接收并解码、再生，也能够实现个人广播。
在构成该系统的各设备的编码、解码中，采用上述各实施方式所 示的图像编码装置或图像解码装置即可。
作为其一例，说明便携式电话机。
图14是采用上述实施方式中说明过的图像编码方法和图像解码 方法的便携式电话机ex115的图。便携式电话机ex115具有：用于与 基站ex110发送接收电波的天线ex201；CCD摄像机等能够拍摄影像、 静止图像的摄像机部ex203；显示对摄像机部ex203拍摄到的影像、 天线ex201接收到的影像等进行解码所得的数据的液晶显示器等显 示部ex202；由操作键ex204组构成的主体部；用于输出声音的扬声 器等声音输出部ex208；用于输入声音的话筒等声音输入部ex205； 用于保存拍摄到的动态图像或静止图像的数据、接收到的邮件的数 据、动态图像的数据或静止图像的数据等、编码过的数据或解码过的 数据的记录介质ex207；用于使得能够在便携式电话机ex115上安装 记录介质ex207的插槽部ex206。记录介质ex207是SD卡等在塑料 壳体内容纳着电可改写或擦除的非易失性存储器——EEPROM (Electrically Erasable and Programmable Read Only Memory)的一种 ——闪速存储器元件的记录介质。
进而，用图15来说明便携式电话机ex115。便携式电话机ex115 在统一控制包括显示部ex202及操作键ex204的主体部的各部的主控 制部ex311上，经同步总线ex313相互连接着电源电路部ex310、操 作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD (Liquid Crystal Display)控制部ex302、图像解码部ex309、多路分 解部(复用分离部)ex308、记录再生部ex307、调制解调电路部ex306 及声音处理部ex305。
通过用户的操作而使终话及电源键变为“开”状态后，电源电路 部ex310通过从电池组向各部供给电力而将带摄像机的数字便携式 电话机ex115起动为可工作的状态。
便携式电话机ex115根据由CPU、ROM及RAM等组成的主控 制部ex311的控制，在声音通话模式时将声音输入部ex205拾取的声 音信号用声音处理部ex305变换为数字声音数据，用调制解调电路部 ex306对其进行扩频处理，用发送接收电路部ex301实施了数字模拟 变换处理及变频处理后经天线ex201来发送。此外，便携式电话机 ex115在声音通话模式时放大天线ex201接收到的接收数据并实施变 频处理及模拟数字变换处理，用调制解调电路部ex306进行解扩处 理，用声音处理部ex305变换为模拟声音数据后，将其经声音输出部 ex208来输出。
再者，在数据通信模式时发送电子邮件的情况下，通过操作主体 部的操作键ex204而输入的电子邮件的文本数据经操作输入控制部 ex304送出到主控制部ex311。主控制部ex311用调制解调电路部 ex306对文本数据进行扩频处理，用发送接收电路部ex301实施数字 模拟变换处理及变频处理后，经天线ex201发送到基站ex110。
在数据通信模式时发送图像数据的情况下，将摄像机部ex203拍 摄到的图像数据经摄像机接口部ex303供给到图像编码部ex312。此 外，在不发送图像数据的情况下，也可以将摄像机部ex203拍摄到的 图像数据经摄像机接口部ex303及LCD控制部ex302直接显示在显 示部202上。
图像编码部ex312采用包括本申请的发明中说明过的图像编码 装置的结构，将从摄像机部ex203供给的图像数据通过上述实施方式 所示的图像编码装置所用的编码方法进行压缩编码而变换为编码图 像数据，将其送出到多路分解部ex308。此外，此时便携式电话机ex115 同时将摄像机部ex203在摄像中用声音输入部ex205拾取的声音经声 音处理部ex305作为数字声音数据送出到多路分解部ex308。
多路分解部ex308用调制解调电路部ex306对用预定的方式复用 从图像编码部ex312供给的编码图像数据和从声音处理部ex305供给 的声音数据所得的复用数据进行扩频处理，用发送接收电路部ex301 实施数字模拟变换处理及变频处理后，经天线ex201来发送。
在数据通信模式时接收主页等上链接的运动图像文件的数据的 情况下，将用调制解调电路部ex306对经天线ex201从基站ex110接 收到的接收数据进行解扩处理所得的复用数据送出到多路分解部 ex308。
此外，为了对经天线ex201接收到的复用数据进行解码，多路分 解部ex308通过分解复用数据而分为图像数据的比特流和声音数据 的比特流，经同步总线ex313将该编码图像数据供给到图像解码部 ex309，并且将该声音数据供给到声音处理部ex305。
接着，图像解码部ex309采用包括本申请的发明中说明过的图像 解码装置的结构，通过用与上述实施方式所示的编码方法对应的解码 方法对图像数据的比特流进行解码来生成再生动态图像数据，将其经 LCD控制部ex302供给到显示部ex202，由此，例如显示了主页上链 接的运动图像文件中包含的动态图像数据。此时声音处理部ex305同 时将声音数据变换为模拟声音数据后，将其供给到声音输出部ex208， 由此，例如再生了主页上链接的运动图像文件中包含的声音数据。
其中，不限于上述系统的例子，最近卫星、地面波数字广播成为 话题，如图16所示在数字广播系统中也可以包含上述实施方式的至 少图像编码装置或图像解码装置中的某一个。具体地说，电视台ex409 将影像信息的比特流经电波传输到通信或广播卫星ex410。收到它的 广播卫星ex410发送广播电波，用具有卫星广播接收设备的家庭的天 线ex406来接收该电波，用电视(接收机)ex401或机顶盒(STB) ex407等装置对比特流进行解码来对其进行再生。此外，在读取记录 介质——CD或DVD等存储介质ex402上记录的比特流并对其进行 解码的再生装置ex403中也可以安装上述实施方式所示的图像解码 装置。在此情况下，再生出的影像信号被显示在监视器ex404上。此 外，也可以采用下述结构：在有线电视用的线缆ex405或卫星/地面 波广播的天线ex406上连接的机顶盒ex407内安装图像解码装置，用 电视的监视器ex408来再生它。此时也可以不在机顶盒内，而在电视 内包含图像解码装置。此外，也可以用具有天线ex411的汽车ex412 从卫星ex410或从基站ex107等接收信号，在汽车ex412具有的汽车 导航器ex413等的显示装置上再生动态图像。
再者，也可以用上述实施方式所示的图像编码装置对图像信号进 行编码，记录到记录介质上。作为具体例，有向DVD盘ex421上记 录图像信号的DVD记录机、或向硬盘上记录的硬盘记录机等记录机 ex420。再者，也可以记录到SD卡ex422上。如果记录机ex420包括 上述实施方式所示的图像解码装置，则能够再生DVD盘ex421或SD 卡ex422上记录的图像信号，用显示器ex408来显示。
其中，汽车导航器ex413的结构例如可以是除去了图15所示的 结构中的摄像机部ex203和摄像机接口部ex303、图像编码部ex312 的结构，在计算机ex111或电视(接收机)ex401等中也可以采用同 样的结构。
此外，上述便携式电话机ex114等终端有具有编码器/解码器两者 的发送接收型终端、以及只有编码器的发送终端、只有解码器的接收 终端这3种安装形式。
这样，可以将上述实施方式所示的图像编码方法或图像解码方法 用于上述任一种设备/系统，通过这样做，能够得到上述实施方式中 说明过的效果。
此外，本发明并不限于上述实施方式，在不脱离本发明的范围的 情况下，可以进行各种变形或修正。
产业上的可利用性
本发明的图像编码方法及图像解码方法能够防止命令的重发引 起的误操作的发生，能够应用于用本图像编码方法对图像进行编码的 例如摄像机或带录像功能的便携式电话机等图像编码装置、或用本图 像解码方法对编码信号进行解码的个人计算机或便携式电话机等图 像解码装置。
(实施方式1)
图1是本实施方式的用于实现图像编码方法的图像编码装置的 结构的方框图。
图像编码装置100由存储器信息控制部101、短时间保存存储器 管理部102、长时间保存存储器管理部103、非保存存储器管理信息 部104、管理信息编码部105、参考图像选择部106、保存区域指定 部107、参考区域指定部108、图像存储器109、图像解码部111、图 像编码部110、可变长度编码部112、计数器113、以及计数器114 等构成。
参考图像选择部106根据从外部输入的重要度指示信号Pri及图 片类型信息PT来选择候选参考图片，将该选择的结果通知给存储器 信息控制部101。
存储器信息控制部101根据图片类型信息PT来判断是否可参考 前方及后方中的某一方的图片、或双方的图片。进而，存储器信息控 制部101通过指令参考区域指定部108，将与该判断的结果对应的参 考图片从图像存储器109输出到图像编码部110。
图像编码部110参考从图像存储器109输出的参考图片并每个图 片地对输入图像信号Vin进行编码。可变长度编码部112对来自图像 编码部110的输出进一步进行可变长度编码来输出图像编码流VSt。 此外，在编辑了图像编码流VSt的情况下，可变长度编码部112也进 行表示编辑过的图像编码流VSt的编辑点的信息的编码。图像编码部 110的输出还由图像解码部111解码为解码图像，作为参考图片保存 到图像存储器109中。
此时，图像存储器109中的可保存解码图像的存储区域由来自保 存区域指定部107的指示来决定。即，存储器信息控制部101向短时 间保存存储器管理部102进行查询，来确定图像存储器109内的短时 间保存存储器中除去了图片的存储区域。保存区域指定部107指示图 像存储器109向该确定出的存储区域中记录解码图像。
短时间保存存储器管理部102检测短时间保存存储器内的无用 (不参考)的图片，将指示把该图片作为管理对象并除去它(释放存 储器)的内容的存储器管理命令通知给存储器信息控制部101。此外， 长时间保存存储器管理部103将指示把短时间保存存储器内的图片 作为管理对象、把其移动到图像存储器109内的长时间保存存储器中 的内容的存储器管理命令通知给存储器信息控制部101。这种存储器 管理命令由管理信息编码部105进行编码，成为存储器管理信息流 CSt。此外，这种存储器管理信息流CSt中包含的存储器管理命令被 附加在图像编码流VSt上并发送到图像解码装置。
短时间保存存储器用的计数器113及长时间保存存储器用的计 数器114计测指示除去无用的图片的存储器管理命令、或指示将短时 间保存存储器内的图片移动到长时间保存存储器中的存储器管理命 令的编码次数。
非保存存储器管理信息部104管理是否对指示除去无用的图片 的存储器管理命令、或指示将短时间保存存储器内的图片移动到长时 间保存存储器中的存储器管理命令进行了编码，附加在图像编码流 VSt中的重要度低、难以解码的图片上。然后，在附加在重要度低的 图片上的情况下，非保存存储器管理信息部104指示存储器信息控制 部101对存储器管理命令再次进行编码并附加到图像编码流VSt上。
由此，图像编码装置100通过在必要时多次传输上述存储器管理 命令，来防止存储器管理信息流CSt的存储器管理命令由于信道差错 而消失。
再者，存储器信息控制部101在第2次以后传输存储器管理命令 时(重发时)，检测适用存储器管理命令的存储器中保存着的图片(待 管理的图片)是否是在IDR图片以前编码的图片，在是在IDR图片 以前编码了的图片的情况下，不对存储器管理命令进行编码并重发。 此外，存储器信息控制部101检测在具有同一图片号(由于赋予了循 环的号码)的图片中、待管理的图片按编码顺序是否是最近的图片， 只在是最近的图片的情况下才对存储器管理命令进行编码并重发。进 而，存储器信息控制部101检测待管理的图片按编码顺序是否在由于 编辑图像编码流VSt而变得不连续的编辑点以前，在编辑点以前的情 况下不对存储器管理命令进行编码并重发。
这里，说明本实施方式的特征。
图2的(a)是编码过的各图片的图。
如该图2的(a)所示，向各图片按编码顺序赋予了图片号。图 片号达到预定的最大值(例如15)后再次返回到0。这样，图片号的 号码是循环的。
假设当前要编码的图片(待编码图片)是图片A。在本实施方式 中，在对图片A以前编码过的图片上附随的存储器管理命令(MMCO) 再次进行编码并在图片A处进行附加的情况下，如下所述。
假设图片A以前编码过的各图片为图片B0、B1…B15、C0、C1… C11。图片B0～B15的图片号是0～15，图片C0～C11的图片号是0～11。 图片C0、C1…C11与同样被赋予了循环的图片号的图片B0、B1… B15相比，编码的顺序离图片A更近。因此，本实施方式的图像编码 装置100对适用于图片C0、C1…C11的存储器管理命令再次进行编 码并在图片A处进行编码、传输，但是不对适用于图片B0、B1…B15 的存储器管理命令再次进行编码。
例如，即使在表示释放保存着图片号为2的图片B2的存储器(使 得可重用)的存储器管理命令以前被编码的情况下，本实施方式的图 像编码装置100也不在图片A中对该存储器管理命令再次进行编码； 在表示释放保存着图片号为2的图片C2的存储区域的存储器管理命 令以前被编码的情况下，在图片A处对该存储器管理命令再次进行 编码(再附加)。
通过这样做，图像解码装置在对指示释放存储区域的存储器管理 命令进行解码时，能够唯一地决定应释放保存着赋予了同一图片号2 的图片B2和图片C2的存储器中的哪一个。即，图像解码装置能够 将保存着在与待编码的图片A最近的时刻编码过的图片C2的存储区 域确定为应释放的存储区域。其结果是，图像编码装置和图像解码装 置在存储器的状态上不会发生不一致，在图像解码装置中能够防止存 储器管理命令的重发引起的误操作的发生。
进而，说明本实施方式的其他特征。
图2的(b)是图2的(a)中的图片C4是IDR图片的情况下的 各图片的图。
所谓IDR图片，是为了保证下述事情而导入的图片：即使从该 地方开始图像编码流VSt的解码也能够对图像编码流VSt正确进行解 码；或者即使在其紧前切换图像编码流VSt的图片速率等，也能够对 IDR图片以后的流正确进行解码。该IDR图片使得在超过它后不参 考前方的图片，在该IDR图片被编码时，释放存储器内的所有图片 并对与解码有关的信息进行初始化。
在本实施方式中，在对当前被编码的图片A以前编码过的图片 上附随的存储器管理命令(MMCO)再次进行编码并在图片A处进 行编码的情况下，不对适用于IDR图片以前编码过的图片的存储器 管理命令再次进行编码。
例如，在表示释放保存着IDR图片——图片C4以前的图片C1 的存储器(使得可重用)的存储器管理命令以前被编码的情况下，本 实施方式的图像编码装置100不对该存储器管理命令再次进行编码。
IDR图片对此时存储器中保存着的图片和图片号进行初始化。因 此，在要重发的存储器管理命令待管理的图片是IDR图片以前的图 片的情况下，在重发了该存储器管理命令时，在图像解码装置的存储 器内已经不存在该存储器管理命令待管理的图片。此时，图像解码装 置认为是差错而新生成丢失了的图片并保存到存储器中，其结果是， 有可能发生丢失存储器内的其他图片的误操作。
因此，本实施方式的图像编码装置100通过不对适用于IDR图 片以前编码过的图片的存储器管理命令再次进行编码，能够防止误操 作的发生。
此外，用图3来说明本实施方式的其他特征。
图3是用于说明图像编码流VSt的编辑的说明图。
例如，如该图3所示，包含图片E0～E13的图像编码流和包含图 片F0～F13的图像编码流在各自的途中被结合(编辑)。其中，这种图 像编码流的编辑在编辑DVD等的情况下进行。
包含图片E0～E13的图像编码流在图片E11和图片E12之间被分 割，包含图片F0～F13的图像编码流在图片F11和图片F12之间被分 割。连接图片E0～E11的图像编码流和图片F12～F13的图像编码流， 编辑为1个图像编码流Y。将这样连接图片E11和图片F12而使图片 号变得不连续的部分称为编辑点H。
本实施方式的图像编码装置100在欲对当前被编码的图片F13以 前编码过的图片上附随的存储器管理命令(MMCO)再次进行编码并 附随到图片F13上的情况下，判别该存储器管理命令待管理的图片是 否是编辑点H以前编码过的图片。然后，如果是编辑点H以前编码 过的图片，则图像编码装置100禁止对该存储器管理命令再次进行编 码。
例如，在表示释放保存着编辑点H以前的图片F1的存储器(使 得可重用)的存储器管理命令以前附随在图片号为m-2的图片F10 上被编码的情况下，图像编码装置100不对该存储器管理命令再次进 行编码。
即，包含图片F13的图像编码流已被编辑为图像编码流Y，所以 在存储器中保存着的图片中编辑点H以前的图片F0～F11在存储器内 不存在。因此，如果对适用于编辑点H以前的图片——图片F0～F11 的存储器管理命令再次进行编码，则图像解码装置在执行该存储器管 理命令时，由于不存在适用该存储器管理命令的图片，所以有可能进 行下述误操作：新生成丢失了的图片并保存到存储器中，将其他图片 从存储器中擦除。因此，本实施方式的图像编码装置100禁止对这种 存储器管理命令再次进行编码。
这里，说明本实施方式的图像编码装置100的工作。
图4是本实施方式的图像编码装置100根据IDR图片来进行存 储器管理命令的再编码的工作的流程图。
首先，图像编码装置100的图像编码部110开始输入图像信号 Vin的编码(步骤S100)。短时间保存存储器管理部102及长时间保 存存储器管理部103在图像编码部110的编码处理中调查存储器内无 用的区域(在今后的编码中不参考的图片)(步骤S101)，判定是否 有无用的存储区域(步骤S102)。这里，在短时间保存存储器管理部 102及长时间保存存储器管理部103判定为有无用的存储区域时(步 骤S102的“是”)，图像编码装置100的管理信息编码部105对指示 释放无用的存储区域的存储器管理命令进行编码(步骤S103)。然后， 短时间保存存储器管理部102及长时间保存存储器管理部103释放该 无用的存储区域(步骤S104)。此外，在短时间保存存储器管理部102 及长时间保存存储器管理部103判定为没有无用的存储区域时(步骤 S102的“否”)，图像编码装置100不执行步骤S103、S104的工作。
接着，存储器信息控制部101根据非保存存储器管理信息部104 的工作，来判定指示释放无用的存储区域的存储器管理命令是否已被 编码、附加在以前编码过的图片(待编码图片以前的图片)上(步骤 S105)，在判定为存储器管理命令未被编码的情况下(步骤S105的 “否”)，图像编码装置100结束处理。
另一方面，在判定为存储器管理命令已被编码的情况下(步骤 S105的“是”)，存储器信息控制部101判定存储器管理命令待管理 的图片(释放了的无用的存储区域中保存着的图片)按编码顺序是否 在IDR图片以前(步骤S106)。这里，存储器信息控制部101在判定 为在其以前时(步骤S106的“是”)，不对存储器管理命令进行再编 码(再附加)而结束处理；在判定为不在其以前时(步骤S106的“否”)， 对存储器管理命令进行再编码(再附加)(步骤S107)，结束处理。
图5是本实施方式的图像编码装置100根据IDR图片及是否最 近的判断来进行存储器管理命令的再编码的工作的流程图。
图像编码装置100首先执行与图4所示的步骤S100～S106同样的 工作(步骤S200～S206)。
存储器信息控制部101在判定为存储器管理命令待管理的图片 不在IDR图片以前时(步骤S206的“否”)，进而判定在被赋予了与 待管理的图片相同的图片号的图片中、待管理的图片是否是最近的图 片(步骤S207)。即，存储器信息控制部101判定在被赋予了与待管 理的图片相同的图片号的图片中、该待管理的图片按编码顺序是否在 图像编码流VSt中的预定再附加存储器管理命令的部位紧前。
其结果是，存储器信息控制部101在判定为不是最近的图片时 (步骤S207的“否”)，不对存储器管理命令进行再编码(再附加) 而结束处理；在判定为是最近的图片时(步骤S207的“是”)，对存 储器管理命令进行再编码(再附加)(步骤S208)，结束处理。
图6是本实施方式的图像编码装置100编辑图像编码信号的工作 的流程图。
首先，图像编码装置100编辑图像编码流VSt(步骤S300)。
接着，图像编码装置100的存储器信息控制部101判别存储器管 理命令是否已被编码、并被附加在编辑后的图像编码流VSt上(步骤 S301)。
这里，在判别为存储器管理命令已被编码时(步骤S301的“是”)， 图像编码装置100进而判别该存储器管理命令待管理的图片按编码 顺序是否在编辑点以前(步骤S302)。
另一方面，在步骤S301中判别为存储器管理命令未被编码(附 加)时(步骤S301的“否”)，或者在步骤S302中判别为待管理的图 片在编辑点以前时(步骤S302的“是”)，图像编码装置100结束该 图像编码流VSt的编辑处理。
此外，图像编码装置100的存储器信息控制部101在步骤S302 中判别为待管理的图片不在编辑点以前时(步骤S302的“否”)，再 次使管理信息编码部105对该存储器管理命令进行编码，再附加到图 像编码流VSt上(步骤S303)。
图7是本实施方式的图像编码装置100根据IDR图片、是否最 近的判断以及编辑点来进行存储器管理命令的再编码的工作的流程 图。
图像编码装置100首先执行与图5所示的步骤S200～S207同样的 工作(步骤S400～S407)。
存储器信息控制部101在判定为存储器管理命令待管理的图片 不是最近的图片时(步骤S407的“否”)，结束处理；而在判定为是 最近的图片时(步骤S407的“是”)，进而判别该存储器管理命令待 管理的图片按编码顺序是否在编辑点以前(步骤S408)。
存储器信息控制部101在判别为在编辑点以前时(步骤S408的 “是”)，结束处理；在判别为不在编辑点以前时(步骤S408的“否”)， 对存储器管理命令进行再编码(再附加)(步骤S409)，结束处理。
如上所述，在本实施方式中，对指示释放存储区域(除去该存储 区域的图片)的存储器管理命令重复进行了编码，所以即使1个存储 器管理命令由于信道差错而消失，其他存储器管理命令也向图像解码 装置传达该指示的内容，所以即使有信道差错，也能够在图像解码装 置中对图片正确进行解码。
再者，本实施方式的图像编码装置100在待适用存储器管理命令 的图片在编辑点以前的情况下，或者在IDR图片以前的情况下，或 者不是最近的图片的情况下，不对存储器管理命令进行再编码，所以 在图像解码装置中执行存储器管理命令时，防止了由于存储器管理命 令待管理的图片不存在等理由而发生的误操作。
其中，在本实施方式中，以指示释放无用的存储器的内容的存储 器管理命令为例进行了说明，但是只要是表示在存储器上管理图片的 内容的存储器管理命令，则也可以是指示将短时间保存存储器中保存 着的图片移动到长时间保存存储器中的内容的存储器管理命令。
此外，在本实施方式中，在存储器管理命令待管理的图片按编码 顺序在IDR图片以前时，禁止重发该存储器管理命令，但是也可以 在待管理的图片按编码顺序在存储器初始化命令以前时，禁止重发。 该存储器初始化命令是指示擦除存储器中保存着的所有图片并对存 储器进行初始化、将图片号复位为0的命令。
再者，在图7的流程图中，说明了图像编码装置100依次执行步 骤S406、步骤S407、步骤S408的所有处理，但是这些步骤也可以按 不同顺序来调换执行的顺序，并且也可以为了简化实现而省略一部分 步骤。
再者，在图4～图7的流程图中，示出了在要重发的存储器管理 命令以前对不重发的存储器管理命令进行编码的例子，但是也可以颠 倒该编码的顺序，对要重发的存储器管理命令先进行编码后，对不重 发的存储器管理命令进行编码。
(实施方式2)
接着，说明本发明的实施方式2。
图8是实施方式2的用于实现图像解码方法的图像解码装置的方 框图。
图像解码装置200由存储器信息控制部201、短时间保存存储器 管理部202、长时间保存存储器管理部203、管理信息解码部205、 保存区域指定部207、参考区域指定部208、图像存储器209、图像 解码部210、以及可变长度解码部212等构成。
存储器信息控制部201根据图片类型信息PT，来判断是否可参 考待解码的图片前方及后方中的某一方的图片、或双方的图片。进而， 存储器信息控制部201指令参考区域指定部208，将与该判断的结果 对应的参考图片从图像存储器209输出到图像解码部210。
可变长度解码部212对图像编码流VSt进行可变长度解码。图像 解码部210对来自可变长度解码部212的输出进一步进行解码来输出 解码图像信号Vout，将该输出作为参考图片保存到图像存储器209 中。
此时，图像存储器209中的可保存参考图片的存储区域由来自保 存区域指定部207的指示来决定。即，存储器信息控制部201向短时 间保存存储器管理部202进行查询，来确定图像存储器209内的短时 间保存存储器中除去了图片的存储区域。保存区域指定部207指示图 像存储器209向该确定出的存储区域中记录参考图片。
编辑检测部215根据可变长度解码部212的输出，来检测图像编 码流VSt的编辑点，将表示该编辑点的信息输出到存储器信息控制部 201。
管理信息解码部205对存储器管理信息流CSt进行解码，通过存 储器信息控制部201，将指示除去短时间保存存储器内的无用的(不 参考)的图片的内容的存储器管理命令通知给短时间保存存储器管理 部202。此外，管理信息解码部205将指示把短时间保存存储器内的 图片移动到图像存储器209内的长时间保存存储器中的存储器管理 命令通知给长时间保存存储器管理部203。
这里，如果重发的存储器管理命令待管理的图片按解码顺序在 IDR图片以前，则存储器信息控制部201使该存储器管理命令无效。 此外，如果该存储器管理命令待管理的图片按解码顺序在编辑点以 前，则存储器信息控制部201使该存储器管理命令无效。此外，存储 器信息控制部201将被赋予了与该存储器管理命令所示的图片号相 同的图片号的图片中、最近被编码过的图片作为管理对象，对该图片 适用存储器管理命令的管理内容。
用实施方式1中用过的图2的(b)来说明这种本实施方式的图 像解码装置200的特征。
例如，在指示释放保存着重发了解码过的存储器管理命令、在 IDR图片(C4)以前被解码的图片(例如C1)的存储区域(使得可 重用)的情况下，图像解码装置200使该存储器管理命令无效。即， 图像解码装置200不对图片C1执行该存储器管理命令指示的管理内 容。
IDR图片在其解码时对存储器中保存着的图片进行初始化。因 此，在要重发的存储器管理命令待管理的图片是IDR图片以前的图 片的情况下，在执行该重发的存储器管理命令时，发生在图像解码装 置的存储器内已经不存在该存储器管理命令待管理的图片的事态。此 时，图像解码装置认为是差错而新生成丢失了的图片并保存到存储器 中，其结果是，有可能发生丢失存储器内的其他图片的误操作。
因此，即使重发了将IDR图片以前被解码的图片作为管理对象 的存储器管理命令，本实施方式的图像解码装置200也认为该存储器 管理命令的重发是差错，不执行该存储器管理命令的管理内容。由此， 能够防止上述误操作。
实施方式1的图像编码装置100生成图像编码流以便不重发这种 存储器管理命令，所以即使是现有的图像解码装置，也能够不产生上 述误操作地对该图像编码流进行解码。然而，现有的图像解码装置在 对现有的图像编码装置生成的图像编码流进行解码时，发生上述误操 作。因此，即使是现有的图像编码装置生成的图像编码流，本实施方 式的图像解码装置也能够不产生误操作地对其进行解码。
下面说明本实施方式的其他特征。
此外，本实施方式的图像解码装置200对被赋予了与重发的存储 器管理命令待管理的图片的图片号相同的图片号的图片中、最近被解 码的图片适用该存储器管理命令。这种工作需要在图像编码装置和图 像解码装置中一致。因此，即使在实施方式1的图像编码装置100禁 止重发这样不将最近的图片作为管理对象的存储器管理命令而创建 了图像编码流的情况下，也需要本实施方式的工作。
用实施方式1中用过的图2的(a)来说明这种本实施方式的图 像解码装置200的特征。
在解码过的存储器管理命令是重发的、例如是指示释放保存着图 片号为2的图片的存储区域的存储器管理命令的情况下，图像解码装 置200释放保存着解码顺序离当前最近的图片C2的存储区域，不释 放保存着图片B2的存储器。
由此，本实施方式的图像解码装置200在对表示释放保存着图片 号为2的图片的存储区域的存储器管理命令进行解码时，能够容易地 判别释放分别保存着被赋予了同一图片号2的图片B2和图片C2的 存储区域中的哪一个才好。即，图像解码装置200能够将保存着在与 待解码的图片A最近的时刻解码过的图片C2的存储区域确定为要释 放的存储区域。这里，图片C2是图片号为2的图片中、按解码顺序 在重发的存储器管理命令紧前的图片。
此外，如果重发的存储器管理命令待管理的图片在编辑点以前被 编码，则本实施方式的图像解码装置200不对该图片适用该存储器管 理命令。
用图3来说明这种本实施方式的图像解码装置200的特征性的工 作。
在解码过的存储器管理命令是重发的、待适用存储器管理命令的 存储器中保存的图片是在编辑点H以前被编码的图片的情况下，图 像解码装置200不执行该存储器管理命令的管理内容。
例如，在解码过的存储器管理命令是重发的存储器管理命令，指 示释放保存着编辑点H以前的图片F1的存储区域的情况下，不执行 该存储区域的释放。
即，包含图片F13的图像编码流已被编辑为图像编码流Y，所以 在存储器中保存的图片中编辑点H以前的图片F0～F11在存储器内不 存在。因此，假如图像解码装置执行了适用于编辑点H以前的图片 ——图片F0～F11的存储器管理命令，则在执行该存储器管理命令时， 由于在存储器中不存在待管理的图片，所以有可能进行下述误操作： 新生成丢失了的图片并保存到存储器中，将其他图片从存储器中擦 除。此外，假如在执行该存储器管理命令时在存储器中存在与待执行 的图片相同的图片号的图片，则对本来不适用(存储器管理命令不操 作)的图片错误地适用了存储器管理命令，有可能不能对编辑点以后 的图像编码流正确进行解码。因此，本实施方式的图像解码装置200 不执行将编辑点以前的图片作为管理对象的存储器管理命令。
这里，说明本实施方式的图像解码装置200的工作。
图9是本实施方式的图像解码装置200根据是否最近的判断来处 理存储器管理命令的工作的流程图。
首先，图像解码装置200的管理信息解码部205对存储器管理信 息流CSt中包含的存储器管理命令进行解码(步骤S500)。在该存储 器管理命令的解码步骤(步骤S500)中，对重发的存储器管理命令、 和初次接收到的(不是重发的)存储器管理命令这两者进行解码。接 着，可变长度解码部212及图像解码部210对图像编码流VSt进行解 码(步骤S501)。
接着，存储器信息控制部201判定在解码过的存储器管理命令中 是否有重发的存储器管理命令(例如，指示释放无用的存储器的内容 的存储器管理命令)(步骤S502)。在判定为没有重发的存储器管理 命令时(步骤S502的“否”)，存储器信息控制部201执行不是重发 的其他存储器管理命令(步骤S503)。另一方面，在判定为有重发的 存储器管理命令时(步骤S502的“是”)，存储器信息控制部201对 被赋予了与该存储器管理命令所示的图片号相同的图片号的图片中、 按解码顺序最近的图片执行重发的存储器管理命令(步骤S504)。即， 存储器信息控制部201对图像编码流VSt的存储器管理命令之前按解 码顺序包含的上述图片号的图片中、存储器管理命令紧前的图片执行 该存储器管理命令。
图10是本实施方式的图像解码装置200根据IDR图片及是否最 近的判断来处理存储器管理命令的工作的流程图。
图像解码装置200执行与图9所示的步骤S500～S503同样的工作 (步骤S600～S603)。
图像解码装置200的存储器信息控制部201在步骤S602中判别 为有重发的存储器管理命令时(步骤S602的“是”)，判定重发的存 储器管理命令待管理的图片是否是在IDR图片以前解码过的图片(步 骤S604)。所谓该重发的存储器管理命令待管理的图片，在重发的存 储器管理命令例如是指示释放无用的存储区域(使得可重用)的命令 的情况下，是指该被释放的存储区域中保存的图片。
这里，存储器信息控制部201在判定为在IDR图片以前时(步 骤S604的“是”)，不执行重发的存储器管理命令，结束处理。而在 判定为不在IDR图片以前时(步骤S604的“否”)，存储器信息控制 部201与图9所示的步骤S504同样，对被赋予了与重发的存储器管 理命令所示的图片号相同的图片号的图片中、按解码顺序最近的图片 执行该存储器管理命令(步骤S605)，结束处理。
图11是本实施方式的图像解码装置200根据IDR图片、编辑点 以及是否最近的判断来处理存储器管理命令的工作的流程图。
图像解码装置200执行与图10所示的步骤S600～S604同样的工 作(步骤S700～S704)。
图像解码装置200的存储器信息控制部201在步骤S704中判定 为重发的存储器管理命令待管理的图片按解码顺序不在IDR图片以 前时(步骤S704的“否”)，进而判定该待管理的图片按解码顺序是 否在编辑点以前(步骤S705)。即，存储器信息控制部201判定待管 理的图片是否是在编辑点以前被解码的图片。
这里，存储器信息控制部201在判定为在编辑点以前时(步骤 S705的“是”)，不执行重发的存储器管理命令而结束处理。而在判 定为不在编辑点以前时(步骤S705的“否”)，存储器信息控制部201 与图9所示的步骤S504同样，对被赋予了与重发的存储器管理命令 所示的图片号相同的图片号的图片中、按解码顺序最近的图片执行该 存储器管理命令(步骤S706)，结束处理。
如上所述，在重发的存储器管理命令待管理的图片在编辑点以前 的情况下、或者在IDR图片以前的情况下，本实施方式的图像解码 装置200不适用(执行)该存储器管理命令，所以能够防止存储器管 理命令待管理的图片不存在而引起的误操作的发生。
此外，本实施方式的图像解码装置200对被赋予了同一图片号的 图片中、到当前的待编码图片最近的图片适用存储器管理命令，所以 能够可靠地确定待管理的图片。
其中，在本实施方式中，以指示释放无用的存储器的内容的存储 器管理命令为例进行了说明，但是只要是表示在存储器上管理图片的 内容的存储器管理命令，则也可以是指示将短时间保存存储器中保存 着的图片移动到长时间保存存储器中的内容的存储器管理命令。
此外，在本实施方式中，在重发的存储器管理命令待管理的图片 按编码顺序在IDR图片以前时，禁止适用该存储器管理命令，但是 也可以在待管理的图片按编码顺序在存储器初始化命令以前时，禁止 适用。该存储器初始化命令是指示擦除存储器中保存着的所有图片并 对存储器进行初始化、将图片号复位为0的命令。
再者，在图11的流程图中，说明了依次执行步骤S704、步骤S705、 步骤S706的所有处理，但是这些步骤可以按不同顺序来调换执行的 顺序，也可以为了简化实现而省略一部分步骤。
(实施方式3)
接着，说明本发明的实施方式3。
在本实施方式中，通过进而将用于实现实施方式1和实施方式2 所示的图像编码方法或图像解码方法的结构的程序记录到软盘等存 储介质上，能够在独立的计算机系统中简单地实施上述实施方式所示 的处理。
图12是用保存着上述实施方式的图像编码方法或图像解码方法 的软盘通过计算机系统来实施的情况下的说明图。
图12的(b)示出了从软盘的正面看到的外观、断面构造、及软 盘，图12的(a)示出了记录介质主体——软盘的物理格式的例子。 软盘FD1被内置在壳体F内，在该软盘的表面上，以同心圆状从外 周向内周形成了多个磁道Tr，各磁道沿角度方向被分割为16个扇区 Se。因此，在保存着上述程序的软盘中，在上述软盘FD1上分配的 区域上，记录着作为上述程序的图像编码方法。
此外，图12的(c)示出用于在软盘FD1上记录再生上述程序 的结构。在将上述程序记录到软盘FD1上的情况下，从计算机系统 Cs经软盘驱动器FDD写入作为上述程序的图像编码方法或图像解码 方法。此外，在用软盘FD1内的程序在计算机系统中构筑上述图像 编码方法的情况下，用软盘驱动器FDD从软盘FD1中读出程序，传 送到计算机系统Cs。
其中，在上述说明中，用软盘作为记录介质进行了说明，但是用 光盘也能够同样进行。此外，记录介质不限于此，只要是IC卡、盒 式ROM等能够记录程序者都能够同样实施。
此外，上述实施方式所示的图像编码方法/图像解码方法可以用 LSI等半导体安装到便携式电话机或汽车导航系统等移动通信设备或 数字摄像机或数字照相机等摄影设备中。此外，作为安装形式，有具 有编码器/解码器两者的发送接收型终端、以及只有编码器的发送终 端、只有解码器的接收终端这3种。
这里，说明上述实施方式所示的图像编码方法或图像解码方法的 应用例和使用它的系统。
图13是实现内容分发服务的内容供给系统ex100的整体结构的 方框图。将通信服务的提供区域分割为期望的大小，在各单元内分别 设置着固定无线电台——基站ex107～ex110。
该内容供给系统ex100例如在因特网ex101上经因特网服务提供 商ex102及电话网ex104、及基站ex107～ex110，连接着计算机ex111、 PDA(personal digital assistant，个人数字助理)112、摄像机ex113、 便携式电话机ex114、带摄像机的便携式电话机ex115等各设备。
但是，内容供给系统ex100不限于图13所示的组合，也可以组 合连接其中的某些。此外，也可以不经固定无线电台——基站 ex107～ex110，而将各设备直接连接在电话网ex104上。
摄像机ex113是数字摄像机等能够拍摄动态图像的设备。此外， 便携式电话机是PDC(Personal Digital Communication，个人数字通 信)方式、CDMA(Code Division Multiple Access，码分多址)方式、 W-CDMA(Wideband-Code Division Multiple Access，宽带码分多址) 方式、或GSM(Global System for Mobile Communications，全球移 动通信系统)方式的便携式电话机、或PHS(Personal Handyphone System，个人手持电话系统)等，哪一个都可以。
此外，流式服务器ex103通过基站ex109、电话网ex104与摄像 机ex113相连，能够根据用户用摄像机ex113发送的编码处理过的数 据来进行实况分发等。拍摄到的数据的编码处理可以由摄像机ex113 来进行，也可以由进行数据发送处理的服务器等来进行。此外，摄像 机ex116拍摄到的动态图像数据也可以经计算机ex111发送到流式服 务器ex103。摄像机ex116是数字摄像机等能够拍摄静止图像、动态 图像的设备。在此情况下，动态图像数据的编码可以由摄像机ex116 来进行，也可以由计算机ex111来进行。此外，编码处理在计算机ex111 或摄像机ex116具有的LSI ex117中进行。其中，也可以将图像编码/ 解码用的软件安装到作为计算机ex111等可读取的记录介质的某种存 储介质(CD-ROM、软盘、硬盘等)上。再者，也可以用带摄像机的 便携式电话机ex115来发送动态图像数据。此时的动态图像数据是便 携式电话机ex115具有的LSI编码处理过的数据。
在该内容供给系统ex100中，与上述实施方式同样对用户用摄像 机ex113、摄像机ex116等拍摄到的内容(例如，拍摄音乐实况所得 的影像等)进行编码处理并发送到流式服务器ex103；另一方面，流 式服务器ex103向发出了请求的客户用流来分发上述内容数据。作为 客户，有能够对上述编码处理过的数据进行解码的计算机ex111、PDA ex112、摄像机ex113、便携式电话机ex114等。通过这样做，内容供 给系统ex100能够在客户端接收并再生编码过的数据，进而通过在客 户端实时接收并解码、再生，也能够实现个人广播。
在构成该系统的各设备的编码、解码中，采用上述各实施方式所 示的图像编码装置或图像解码装置即可。
作为其一例，说明便携式电话机。
图14是采用上述实施方式中说明过的图像编码方法和图像解码 方法的便携式电话机ex115的图。便携式电话机ex115具有：用于与 基站ex110发送接收电波的天线ex201；CCD摄像机等能够拍摄影像、 静止图像的摄像机部ex203；显示对摄像机部ex203拍摄到的影像、 天线ex201接收到的影像等进行解码所得的数据的液晶显示器等显 示部ex202；由操作键ex204组构成的主体部；用于输出声音的扬声 器等声音输出部ex208；用于输入声音的话筒等声音输入部ex205； 用于保存拍摄到的动态图像或静止图像的数据、接收到的邮件的数 据、动态图像的数据或静止图像的数据等、编码过的数据或解码过的 数据的记录介质ex207；用于使得能够在便携式电话机ex115上安装 记录介质ex207的插槽部ex206。记录介质ex207是SD卡等在塑料 壳体内容纳着电可改写或擦除的非易失性存储器——EEPROM (Electrically Erasable and Programmable Read Only Memory)的一种 ——闪速存储器元件的记录介质。
进而，用图15来说明便携式电话机ex115。便携式电话机ex115 在统一控制包括显示部ex202及操作键ex204的主体部的各部的主控 制部ex311上，经同步总线ex313相互连接着电源电路部ex310、操 作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD (Liquid Crystal Display)控制部ex302、图像解码部ex309、多路分 解部(复用分离部)ex308、记录再生部ex307、调制解调电路部ex306 及声音处理部ex305。
通过用户的操作而使终话及电源键变为“开”状态后，电源电路 部ex310通过从电池组向各部供给电力而将带摄像机的数字便携式 电话机ex115起动为可工作的状态。
便携式电话机ex115根据由CPU、ROM及RAM等组成的主控 制部ex311的控制，在声音通话模式时将声音输入部ex205拾取的声 音信号用声音处理部ex305变换为数字声音数据，用调制解调电路部 ex306对其进行扩频处理，用发送接收电路部ex301实施了数字模拟 变换处理及变频处理后经天线ex201来发送。此外，便携式电话机 ex115在声音通话模式时放大天线ex201接收到的接收数据并实施变 频处理及模拟数字变换处理，用调制解调电路部ex306进行解扩处 理，用声音处理部ex305变换为模拟声音数据后，将其经声音输出部 ex208来输出。
再者，在数据通信模式时发送电子邮件的情况下，通过操作主体 部的操作键ex204而输入的电子邮件的文本数据经操作输入控制部 ex304送出到主控制部ex311。主控制部ex311用调制解调电路部 ex306对文本数据进行扩频处理，用发送接收电路部ex301实施数字 模拟变换处理及变频处理后，经天线ex201发送到基站ex110。
在数据通信模式时发送图像数据的情况下，将摄像机部ex203拍 摄到的图像数据经摄像机接口部ex303供给到图像编码部ex312。此 外，在不发送图像数据的情况下，也可以将摄像机部ex203拍摄到的 图像数据经摄像机接口部ex303及LCD控制部ex302直接显示在显 示部202上。
图像编码部ex312采用包括本申请的发明中说明过的图像编码 装置的结构，将从摄像机部ex203供给的图像数据通过上述实施方式 所示的图像编码装置所用的编码方法进行压缩编码而变换为编码图 像数据，将其送出到多路分解部ex308。此外，此时便携式电话机ex115 同时将摄像机部ex203在摄像中用声音输入部ex205拾取的声音经声 音处理部ex305作为数字声音数据送出到多路分解部ex308。
多路分解部ex308用调制解调电路部ex306对用预定的方式复用 从图像编码部ex312供给的编码图像数据和从声音处理部ex305供给 的声音数据所得的复用数据进行扩频处理，用发送接收电路部ex301 实施数字模拟变换处理及变频处理后，经天线ex201来发送。
在数据通信模式时接收主页等上链接的运动图像文件的数据的 情况下，将用调制解调电路部ex306对经天线ex201从基站ex110接 收到的接收数据进行解扩处理所得的复用数据送出到多路分解部 ex308。
此外，为了对经天线ex201接收到的复用数据进行解码，多路分 解部ex308通过分解复用数据而分为图像数据的比特流和声音数据 的比特流，经同步总线ex313将该编码图像数据供给到图像解码部 ex309，并且将该声音数据供给到声音处理部ex305。
接着，图像解码部ex309采用包括本申请的发明中说明过的图像 解码装置的结构，通过用与上述实施方式所示的编码方法对应的解码 方法对图像数据的比特流进行解码来生成再生动态图像数据，将其经 LCD控制部ex302供给到显示部ex202，由此，例如显示了主页上链 接的运动图像文件中包含的动态图像数据。此时声音处理部ex305同 时将声音数据变换为模拟声音数据后，将其供给到声音输出部ex208， 由此，例如再生了主页上链接的运动图像文件中包含的声音数据。
其中，不限于上述系统的例子，最近卫星、地面波数字广播成为 话题，如图16所示在数字广播系统中也可以包含上述实施方式的至 少图像编码装置或图像解码装置中的某一个。具体地说，电视台ex409 将影像信息的比特流经电波传输到通信或广播卫星ex410。收到它的 广播卫星ex410发送广播电波，用具有卫星广播接收设备的家庭的天 线ex406来接收该电波，用电视(接收机)ex401或机顶盒(STB) ex407等装置对比特流进行解码来对其进行再生。此外，在读取记录 介质——CD或DVD等存储介质ex402上记录的比特流并对其进行 解码的再生装置ex403中也可以安装上述实施方式所示的图像解码 装置。在此情况下，再生出的影像信号被显示在监视器ex404上。此 外，也可以采用下述结构：在有线电视用的线缆ex405或卫星/地面 波广播的天线ex406上连接的机顶盒ex407内安装图像解码装置，用 电视的监视器ex408来再生它。此时也可以不在机顶盒内，而在电视 内包含图像解码装置。此外，也可以用具有天线ex411的汽车ex412 从卫星ex410或从基站ex107等接收信号，在汽车ex412具有的汽车 导航器ex413等的显示装置上再生动态图像。
再者，也可以用上述实施方式所示的图像编码装置对图像信号进 行编码，记录到记录介质上。作为具体例，有向DVD盘ex421上记 录图像信号的DVD记录机、或向硬盘上记录的硬盘记录机等记录机 ex420。再者，也可以记录到SD卡ex422上。如果记录机ex420包括 上述实施方式所示的图像解码装置，则能够再生DVD盘ex421或SD 卡ex422上记录的图像信号，用显示器ex408来显示。
其中，汽车导航器ex413的结构例如可以是除去了图15所示的 结构中的摄像机部ex203和摄像机接口部ex303、图像编码部ex312 的结构，在计算机ex111或电视(接收机)ex401等中也可以采用同 样的结构。
此外，上述便携式电话机ex114等终端有具有编码器/解码器两者 的发送接收型终端、以及只有编码器的发送终端、只有解码器的接收 终端这3种安装形式。
这样，可以将上述实施方式所示的图像编码方法或图像解码方法 用于上述任一种设备/系统，通过这样做，能够得到上述实施方式中 说明过的效果。
此外，本发明并不限于上述实施方式，在不脱离本发明的范围的 情况下，可以进行各种变形或修正。
产业上的可利用性
本发明的图像编码方法及图像解码方法能够防止命令的重发引 起的误操作的发生，能够应用于用本图像编码方法对图像进行编码的 例如摄像机或带录像功能的便携式电话机等图像编码装置、或用本图 像解码方法对编码信号进行解码的个人计算机或便携式电话机等图 像解码装置。