运动图像处理设备及其控制方法

摘要

本发明涉及一种运动图像处理设备及其控制方法。通过组合当前场图像和前一场图像来产生帧图像作为第一候选图像。通过组合当前场图像和后一场图像来产生帧图像作为第二候选图像。通过针对当前场图像进行像素插值处理来产生帧图像并作为第三候选图像输出。判断当前场图像是与前一或后一场图像具有连续性，还是与两者中的任何一个都没有连续性。基于判断结果，存储当前场图像的判断结果作为日志信息。根据所存储的当前场图像之前的连续场图像的日志信息的模式来检测特定模式。基于检测结果，选择第一至第三候选图像中的一个作为当前场图像的帧图像。

权利要求

1.一种用于根据运动图像中的场图像产生帧图像的运动图像处理设备，该运动图像处理设备包括：第一候选图像产生单元，适合于接收当前时间的当前场图像和按时间顺序紧挨在所述当前场图像之前的前一场图像，通过将所述当前场图像与所述前一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第一候选图像输出；

第二候选图像产生单元，适合于接收当前时间的所述当前场图像和按时间顺序紧接在所述当前场图像之后的后一场图像，通过将所述当前场图像与所述后一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第二候选图像输出；

第三候选图像产生单元，适合于接收所述当前场图像，通过针对所述当前场图像进行像素插值处理来产生帧图像，并将该帧图像作为第三候选图像输出；

判断单元，适合于判断所述当前场图像是与所述前一场图像具有连续性，是与所述后一场图像具有连续性，还是与所述前一场图像和所述后一场图像中的任何一个都不具有连续性；

存储单元，适合于基于所述判断单元的判断结果将所述当前场图像的判断结果作为日志信息存储；

检测单元，适合于根据所述当前场图像之前的连续场图像的日志信息的模式来检测特定模式，该日志信息存储在所述存储单元中；以及选择单元，适合于基于所述检测单元的检测结果，选择所述第一候选图像、所述第二候选图像和所述第三候选图像中的一个作为所述当前场图像的帧图像，其中，如果所述检测单元检测到所述特定模式，则所述选择单元按照所述特定模式选择所述第一候选图像和所述第二候选图像中的一个，作为所述当前场图像的帧图像，而如果所述检测单元没有检测到所述特定模式，则所述选择单元选择所述第三候选图像作为所述当前场图像的帧图像。

2.根据权利要求1所述的运动图像处理设备，其中所述判断单元基于包括所述前一场图像与所述当前场图像之间的相关值、所述当前场图像与所述后一场图像之间的相关值以及阈值的三个值之间的幅值关系，来判断所述当前场图像是与所述前一场图像具有连续性，是与所述后一场图像具有连续性，还是与所述前一场图像和所述后一场图像中的任何一个都不具有连续性。

3.根据权利要求1所述的运动图像处理设备，其中

如果所述判断结果表示所述当前场图像与所述前一场图像和所述后一场图像中的一个具有连续性，则所述存储单元存储所述判断结果的日志信息并更新迄今为止存储的日志信息，而如果所述判断结果表示所述当前场图像与所述前一场图像和所述后一场图像中的任何一个都不具有连续性，则所述存储单元将迄今为止存储的日志信息复位。

4.根据权利要求1所述的运动图像处理设备，其中所述第三候选图像产生单元接收所述前一场图像和所述后一场图像中的一个作为插值像素产生场图像，按照指定的权重使用所述当前场图像中的像素和所述插值像素产生场图像中的像素来针对每一个像素产生插值像素，从而产生对应于所述当前场图像的帧图像。

5.根据权利要求4所述的运动图像处理设备，其中所述第三候选图像产生单元按照所述检测单元检测到/没有检测到所述特定模式来改变所述权重。

6.根据权利要求5所述的运动图像处理设备，其中如果所述检测单元没有检测到所述特定模式，则所述第三候选图像产生单元增大使用所述当前场图像中的像素的所述权重。

7.一种用于根据运动图像中的场图像产生帧图像的运动图像处理设备的控制方法，所述方法包括：第一候选图像产生步骤，接收当前时间的当前场图像和按时间顺序紧挨在所述当前场图像之前的前一场图像，通过将所述当前场图像与所述前一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第一候选图像输出；

第二候选图像产生步骤，接收当前时间的所述当前场图像和按时间顺序紧接在所述当前场图像之后的后一场图像，通过将所述当前场图像与所述后一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第二候选图像输出；

第三候选图像产生步骤，接收所述当前场图像，通过针对所述当前场图像进行像素插值处理来产生帧图像，并将该帧图像作为第三候选图像输出；

判断步骤，判断所述当前场图像是与所述前一场图像具有连续性，是与所述后一场图像具有连续性，还是与所述前一场图像和所述后一场图像中的任何一个都不具有连续性；

存储步骤，基于所述判断步骤中的判断结果将所述当前场图像的判断结果作为日志信息存储在存储介质中；

检测步骤，根据所述当前场图像之前的连续场图像的日志信息的模式来检测特定模式，该日志信息存储在所述存储介质中；以及选择步骤，基于所述检测步骤中的检测结果，选择所述第一候选图像、所述第二候选图像和所述第三候选图像中的一个作为所述当前场图像的帧图像，其中，在所述选择步骤中，如果所述检测步骤检测到所述特定模式，则按照所述特定模式选择所述第一候选图像和所述第二候选图像中的一个，作为所述当前场图像的帧图像，而如果所述检测步骤没有检测到所述特定模式，则选择所述第三候选图像作为所述当前场图像的帧图像。

说明书

运动图像处理设备及其控制方法

技术领域

[0001] 本发明涉及一种用于根据运动图像中的场图像(field image)产生帧图像的运动图像处理设备及其控制方法。

背景技术

[0002] 传统上，为了传输和存储运动图像数据，广泛使用具有每秒60场的隔行扫描图像(interlaced image)(场图像)。为了进行数字广播的传输或者DVD的数字数据存储，使用基于MPEG-2的运动图像编码来压缩隔行扫描图像。通常，视频照相机甚至使用具有每秒60场的隔行扫描图像来进行拍摄。

[0003] 另一方面，电影拍摄和放映一般使用每秒24帧的图像。因此，通常通过将具有每秒24帧的逐行扫描图像(progressive image)(帧图像)转换为具有每秒60场的隔行扫描图像(场图像)来在DVD上进行记录。

[0004] 通常，将这种转换称为2-3下拉(pull-down)处理。图9A示出具有每秒24帧速率的帧图像A到D。图9B示出包括每秒60场的隔行扫描图像。2-3下拉处理将连续的帧图像A到D划分为2-3-2-3场图像A1、A2、B1、B2、B3、C1、C2、D1、D2和D3。将奇数个和偶数个场图像以交替的次序转换为隔行扫描图像的场图像。

[0005] 长期以来，用于显示这些广播或者存储的图像的显示器使用CRT。CRT直接输出并显示输入的隔行扫描图像。然而，最近开发的以LCD和等离子显示器为代表的新显示装置是广受欢迎的用于显示从隔行扫描图像转换的逐行扫描图像的设备。

[0006] 为了将隔行扫描图像(场图像)转换为逐行扫描图像(帧图像)，简单地将当前场图像和紧挨其前的场图像组合以产生帧图像(例如日本特开平11-88845号)。 [0007] 图9C示出使用这种方法的帧图像产生的示例。A1/A2表示通过组合场图像A1和A2而产生的帧图像。根据相同时间的帧图像产生场图像A1和A2。因此，理论上它们完全可以再现原始帧图像。然而，在这种方法中，下一帧图像A2/B1是根据不同时间的场图像产生的，因此在视觉上不自然。

[0008] 如果已知起初以每秒24帧的速率产生帧图像并且场图像经过2-3下拉处理，则可以通过执行2-3下拉处理的逆处理来重新构建原始帧图像。当以交替的次序再现这些帧图像中的两个帧和三个帧时，不通过组合不同时间的场图像来产生帧图像。 [0009] 图9D示出逆2-3下拉处理。场图像A1与紧接其后的场图像A2组合产生帧图像A1/A2。场图像A2与紧挨其前的场图像A1组合产生帧图像A1/A2。场图像B1与紧接其后的场图像B2组合产生帧图像B1/B2。场图像B2与紧挨其前的场图像B1组合产生帧图像B1/B2。场图像B3与紧挨其前的场图像B2组合产生帧图像B2/B3。

[0010] 也就是说，为了通过组合相同时间的场图像来产生帧图像，将目标场图像与紧挨其前或紧接其后的场图像组合。用“2”表示与紧接其后的场图像的组合。用“1”表示与紧挨其前的场图像的组合。场图像组合模式是2-1-2-1-1。产生的帧图像具有该组合模式的重复模式。

[0011] 日本特开平7-107375号公开了重复模式检测方法的示例。日本特开平7-107375号的技术将具有每秒60场的速率的隔行扫描图像复原为具有每秒24帧速率的逐行扫描图像。重复模式检测技术对于产生具有每秒60帧速率的逐行扫描图像的处理是公用的。这种方法检测场图像之间的差异以判断它们是否是根据相同时间的帧图像产生的。基于判断结果来检测相同时间的场图像组的重复模式。只要检测到重复模式，就可以以正确的时间次序产生并显示帧图像而不出现任何问题。

[0012] 然而，通过2-3下拉处理产生的图像不总是采用上述2-1-2-1-1重复模式。例如，如果在任意点处编辑经过了2-3下拉处理的场图像，则可能扰乱重复模式。图9E示出切掉图9B中的场图像B2之后的场景并连接从场图像M1开始的场景的示例。

[0013] 在这种情况下，从场图像A1开始的理想重复模式是2-1-2-1-2-1-2-1-1。日本特开平7-107375号利用通过从外部给出编辑点的信息来校正重复模式的这种相位偏移的方法，但是没有提到如何检测编辑点的具体解决方案。

[0014] 图9F示出切掉图9B中的场图像B2之后的场景并连接从场图像L3开始的场景的示例。在这种情况下，对于场图像L3不存在理想的场图像组合。当与场图像B2或者场图像M1组合时，场图像L3使图像质量劣化。

[0015] 发明内容

[0016] 本发明用来解决上述问题，本发明提供一种即使在场图像次序的周期性被扰乱时也能够防止由于时间轴的变化而使帧图像的产生劣化、并且能够维持稳定的图像质量的运动图像处理设备、及其控制方法和程序。

[0017] 根据本发明的第一方面，提供了一种用于根据运动图像中的场图像产生帧图像的运动图像处理设备，该运动图像处理设备包括：第一候选图像产生单元，适合于接收当前时间的当前场图像和按时间顺序紧挨在当前场图像之前的前一场图像，通过将当前场图像与前一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第一候选图像输出；第二候选图像产生单元，适合于接收当前时间的当前场图像和按时间顺序紧接在当前场图像之后的后一场图像，通过将当前场图像与后一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第二候选图像输出；第三候选图像产生单元，适合于接收当前场图像，通过针对当前场图像进行像素插值处理来产生帧图像，并将该帧图像作为第三候选图像输出；判断单元，适合于判断当前场图像是与前一场图像具有连续性，是与后一场图像具有连续性，还是与前一场图像和后一场图像中的任何一个都不具有连续性；存储单元，适合于基于判断单元的判断结果将当前场图像的判断结果作为日志信息存储；检测单元，适合于根据当前场图像之前的连续场图像的日志信息的模式来检测特定模式，该日志信息存储在存储单元中；以及选择单元，适合于基于检测单元的检测结果，选择第一候选图像、第二候选图像和第三候选图像中的一个作为当前场图像的帧图像，其中，如果检测单元检测到特定模式，则选择单元按照特定模式选择第一候选图像和第二候选图像中的一个作为当前场图像的帧图像，而如果检测单元没有检测到特定模式，则选择单元选择第三候选图像作为当前场图像的帧图像。

[0018] 在一个实施例中，判断单元基于包括前一场图像与当前场图像之间的相关值、当前场图像和后一场图像之间的相关值和阈值的三个值之间的幅值关系，来判断当前场图像是与前一场图像具有连续性，是与后一场图像具有连续性，还是与前一场图像和后一场图像中的任何一个都不具有连续性。

[0019] 在一个实施例中，如果判断结果表示当前场图像与前一场图像和后一场图像中的一个具有连续性，则存储单元存储判断结果的日志信息并更新迄今为止存储的日志信息，而如果判断结果表示当前场图像与前一场图像和后一场图像中的任何一个都不具有连续性，则存储单元将迄今为止存储的日志信息复位。

[0020] 在一个实施例中，第三候选图像产生单元接收前一场图像和后一场图像中的一个作为插值像素产生场图像，按照指定的权重使用当前场图像中的像素和插值像素产生场图像中的像素来针对每一个像素产生插值像素，从而产生对应于当前场图像的帧图像。 [0021] 在一个实施例中，第三候选图像产生单元按照检测单元检测到/没有检测到特定模式来改变所述权重。

[0022] 在一个实施例中，如果检测单元没有检测到特定模式，则第三候选图像产生单元增大使用当前场图像中的像素的权重。

[0023] 根据本发明的第二方面，提供了一种用于根据运动图像中的场图像产生帧图像的运动图像处理设备的控制方法，该方法包括：第一候选图像产生步骤，接收当前时间的当前场图像和按时间顺序紧挨在当前场图像之前的前一场图像，通过将当前场图像和前一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第一候选图像输出；第二候选图像产生步骤，接收当前时间的当前场图像和按时间顺序紧接在当前场图像之后的后一场图像，通过将当前场图像和后一场图像作为相同时间的数据进行组合来产生帧图像，并将该帧图像作为第二候选图像输出；第三候选图像产生步骤，接收当前场图像，通过针对当前场图像进行像素插值处理来产生帧图像，并将该帧图像作为第三候选图像输出；
判断步骤，判断当前场图像是与前一场图像具有连续性，是与后一场图像具有连续性，还是与前一场图像和后一场图像中的任何一个都不具有连续性；存储步骤，基于 判断步骤中的判断结果将当前场图像的判断结果作为日志信息存储在存储介质中；检测步骤，根据当前场图像之前的连续场图像的日志信息的模式来检测特定模式，该日志信息存储在存储介质中；以及选择步骤，基于检测步骤中的检测结果，选择第一候选图像、第二候选图像和第三候选图像中的一个作为当前场图像的帧图像，其中，在所述选择步骤中，如果所述检测步骤检测到所述特定模式，则按照所述特定模式选择所述第一候选图像和所述第二候选图像中的一个，作为所述当前场图像的帧图像，而如果所述检测步骤没有检测到所述特定模式，则选择所述第三候选图像作为所述当前场图像的帧图像。

[0024] 从以下参考附图对示例性实施例的说明，本发明的其它特征将变得明显。 [0025] 图1A是示出根据本发明的第一实施例的运动图像处理设备的功能配置的框图； [0026] 附图说明

[0027] 图1B是示出根据本发明的第一实施例的运动图像处理设备的硬件结构的框图； [0028] 图2是例示根据本发明的第一实施例的运动图像处理设备执行的处理的流程图； [0029] 图3是例示根据本发明的第一实施例的下一场判断处理的细节的流程图； [0030] 图4是例示根据本发明的第一实施例的下一场判断处理的细节的流程图； [0031] 图5A至5C是用于说明根据本发明的第一实施例的场内插值(interpolation)处理的图；

[0032] 图6是示出根据本发明的第二实施例的运动图像处理设备的功能配置的框图； [0033] 图7是例示根据本发明的第二实施例的运动图像处理设备执行的处理的流程图； [0034] 图8A至8D是用于说明根据本发明的第二实施例的I/P转换处理的图； 以及 [0035] 图9A至9F是用于说明帧图像与场图像之间的关系的图。

具体实施方式

[0036] 现在，参考附图详细说明本发明的示例性实施例。应当指出，除非另外具体说明，在这些实施例中描述的部件、数字表示和数值的相对配置不限制本发明的范围。 [0037] 现在，参考附图详细说明本发明的实施例。

[0038] 本发明针对将例如运动图像的具有每秒60场的速率的隔行扫描图像转换为具有每秒60帧速率的逐行扫描图像的运动图像处理。本发明尤其针对根据不具有每秒60帧的帧速率(例如具有每秒24帧的帧速率)的逐行扫描图像产生输入隔行扫描图像时的运动图像处理。

[0039] 本发明的目的尤其是提供一种防止甚至在编辑时模式被扰乱的2-3下拉图像中由于组合不同时间的场图像而引起的图像质量的劣化的运动图像处理设备、及其控制方法和程序。

[0040] <第一实施例>

[0041] 图1A是示出根据本发明的第一实施例的运动图像处理设备的功能配置的框图。 [0042] 第一实施例的运动图像处理设备从存储器101同时读出三个场图像，处理这些输入，产生一个帧图像作为输出，并将其写入存储器101。

[0043] 这三个场图像是第n当前场图像、按时间顺序紧接在第n当前场图像之前的第(n-1)场图像、以及按时间顺序紧接在第n当前场图像之后的第(n+1)场图像。 [0044] 第一候选图像产生单元102将当前场图像和紧挨其前的场图像作为相同时间的数据进行组合，从而产生帧图像(第一候选图像)。第二候选图像产生单元103将当前场图像和紧接其后的场图像作为相同时间的数据进行组合，从而产生帧图像(第二候选图像)。 [0045] 候选图像比较和判断单元105判断两个候选图像中哪个场图像组合对应于相同时间的帧图像。作为本发明的特征，该判断具有附加选择“两者 都不是”。 [0046] 判断模式检测单元106检查从候选图像比较和判断单元105输出的判断结果的日志，并检测判断结果与用于2-3下拉处理中的判断的判断模式是否匹配。

[0047] 如果判断模式检测单元106的检测结果指示与2-3下拉处理的判断模式(特定模式)匹配，则候选图像选择单元107根据该特定模式选择来自候选图像产生单元的帧图像并将其输出。特别是，在第一实施例中，当判断结果与特定模式匹配时，候选图像选择单元107根据特定模式选择性地输出来自候选图像产生单元102的帧图像或者来自候选图像产生单元103的帧图像。

[0048] 如果候选图像比较和判断单元105判断为两个候选图像的场图像组合都不对应于相同时间的帧图像，则将判断模式检测单元106的模式日志复位。候选图像选择单元107选择来自第三候选图像产生单元104的输出。作为特征，候选图像产生单元104使用场内插值处理(像素插值处理)而不使用不同时间的场图像来产生第三候选图像。 [0049] 以上述方式，候选图像选择单元107基于检测结果(存在/不存在特定模式)选择第一至第三候选图像中的一个作为当前场图像的帧图像。

[0050] 可以通过同时处理整个场图像来产生候选图像。然而，这需要大的电路规模。因此，将每一个场图像分割为预定数量的块并且基于块的判断结果的累加来获得每一个场图像的结果更可行。

[0051] 可以通过专用硬件或者软件实现图1A所示的运动图像处理设备的各个功能部件。它们可以通过协作使用硬件和软件来实现。

[0052] 参照图1B描述图1A中的运动图像处理设备的硬件结构。

[0053] 图1B是示出根据本发明的第一实施例的运动图像处理设备的硬件结构的框图。 [0054] CPU 1002控制运动图像处理设备的各种构成元件。ROM 1003存储用于实现运动图像处理设备执行的处理(对应于稍后描述的流程图的处理)的各种程序以及诸如参数的各种数据。CPU 1002通过从ROM 1003中读出程序并执行来执行所需的处理。 [0055] RAM 1004用作工作区和数据的临时保存区。例如由RAM 1004实现图1A中的存储器101。网络接口(I/F)1005连接到网络以向网络上的外部装置发送数据/从网络上的外部装置接收数据。

[0056] 包括键盘和指示装置(鼠标)的输入设备1006用于执行各种处理并在运动图像处理设备中输入诸如参数的数据。输出设备1007是诸如LCD的显示设备，并且提供诸如用于执行各种处理的操作窗口或者用于显示处理结果的窗口的图形用户界面。除了显示设备之外，还可以提供打印设备作为输出设备1007。

[0057] 外部存储设备1008存储要处理的运动图像文件(一系列场图像)或者处理后的运动图像文件(一系列帧图像)或者各种数据。

[0058] 接下来，参考图2至4描述根据第一实施例的运动图像处理设备的详细处理。 [0059] 图2是例示根据本发明的第一实施例的运动图像处理设备执行的处理的流程图。 [0060] 首先，候选图像比较和判断单元105判断检测模式是否被锁定(固定)(步骤S201)。在正常状态下，检测模式是锁定的。如果检测模式被锁定(步骤S201中的“是”)，则候选图像选择单元107根据检测模式选择候选图像产生单元102或103。选择的候选图像产生单元102或103基于预测模式(锁定的检测模式)通过插值处理产生帧图像(步骤S202)。

[0061] 如果检测模式由于例如编辑而被扰乱(检测模式没有被锁定)(步骤S201中的“否”)，则解锁检测模式。这时，候选图像选择单元107选择候选图像产生单元104。选择的候选图像产生单元104通过场内插值处理产生帧图像(步骤S203)。这是对当前场图像的处理。下面描述下一场的准备处理。

[0062] 接下来，候选图像比较和判断单元105执行下一场判断处理(步骤S204)。该处理判断当前场图像和下一场图像(前一场图像和后一场图像)是否具有连续性(是否存在编辑点)，并检测场图像的组合，从而准备模式判断。

[0063] 参考图3和4描述下一场判断处理的细节。

[0064] 图3和4是例示根据本发明的第一实施例的下一场判断处理的细节的流程图。 [0065] 图3示出下一场判断处理的前半部分。

[0066] 首先，候选图像比较和判断单元105通过将场图像分割为预定数量的块并且将用于累加每一个块的处理的计数值复位为零来进行初始化(步骤S301)。从此开始，针对每一个块执行处理。

[0067] 候选图像比较和判断单元105检测前一场图像和当前场图像之间的相关值(步骤S302)。检测到差分绝对值R1作为相关值(第一相关值)。差分绝对值R1越大，图像间的相关性越小。候选图像比较和判断单元105同时检测当前场图像和后一场图像之间的相关值(步骤S303)。检测到差分绝对值R2作为相关值(第二相关值)。

[0068] 候选图像比较和判断单元105将两个差分绝对值R1和R2与阈值Th进行比较以进行误差检测(步骤S304)。如果比较目标的差分绝对值等于或小于阈值Th，则判断为相关性大。如果差分绝对值大于阈值Th，则判断为相关性小。

[0069] 如果R1最小(步骤S305中的“是”)，则假定前一场图像和当前场图像的组合最佳(具有连续性)。候选图像比较和判断单元105将该组合作为Weave1进行计数(步骤S306)。假设Co1是用于对Weave1进行计数的计数器，将当前计数值增加1(Co1←Co1+1)。 [0070] 如果R2最小(步骤S305中的“否”，然后步骤S307中的“是”)，则假定当前场图像和后一场图像的组合最佳(具有连续性)。候选图像比较和判断单元105将该组合作为Weave2进行计数(步骤S308)。假设Co2是用于对Weave2进行计数的计数器，将当前计数值增加1(Co2←Co2+1)。

[0071] 如果R1和R2都大于Th(步骤S305中的“否”，然后步骤S307中的“否”)，则假定相关性小。候选图像比较和判断单元105将其计数为错误(步骤S309)。假设Coe是用于对错误进行计数的计数器，将当前计数值增加1(Coe←Coe+1)。

[0072] 候选图像比较和判断单元105将每一个块分类为Co1(Weave1)、Co2(Weave2)和Coe(error)中的一个。针对所有块重复该处理(步骤S310)。

[0073] 图4示出下一场判断处理的后半部分。

[0074] 在计算对应于一个帧的计数值Co1、Co2和Coe之后，候选图像比较和判断单元105比较这些值(确认幅值关系)，并得出判断结果(步骤S401)。

[0075] 如果计数器Coe的计数值最大(步骤S402中的“是”)，则假定场之间的相关性小。候选图像比较和判断单元105判断为目标场图像是不连续场(步骤S403)。

[0076] 如果计数器Co2的计数值最大(步骤S402中的“否”，然后步骤S404中的“是”)，则候选图像比较和判断单元105判断为目标场图像是Weave2(步骤S405)。

[0077] 如果计数器Co2的计数值不是最大而是最小(步骤S404中的“否”，然后步骤S406中的“是”)，则候选图像比较和判断单元105判断为目标场图像是不连续场(步骤S403)。 [0078] 如果计数器Co2的计数值既不是最大也不是最小(步骤S404中的“否”，然后步骤S406中的“否”)，则候选图像比较和判断单元105判断为目标场图像是Weave1(步骤S407)。在这种情况下，计数器Co1的计数值最大。

[0079] 将这些判断结果存储在例如设备中的存储器101中。以这种方式管理过去的判断结果的日志(日志信息)。换句话说，管理与为产生对应于过去的场图像的帧图像而选择的候选图像的选择顺序相对应的模式。

[0080] 基于判断结果，从图2中的步骤S205继续处理。

[0081] 候选图像比较和判断单元105判断目标场图像是否是连续场(步骤S205)。如果目标场图像是不连续场(步骤S205中的“否”)，则候选图像比较和判断单元105将模式日志复位(步骤S206)。然后，候选图像比较和判断单元105解锁该模式(步骤S207)。 [0082] 如果目标场图像是连续场(步骤S205中的“是”)，则候选图像比较和判断单元105更新模式日志(步骤S208)。

[0083] 判断模式检测单元106判断更新后的模式是否与特定模式匹配(步骤S209)。换句话说，判断模式检测单元106检测在更新后的模式中是否存在特定模式。 [0084] 特定模式是表示在2-3下拉处理中当前场图像和前一或后一场图像的组合的组合模式2-1-2-1-1。如果顺序不变化，则模式可以是1-2-1-1-2、2-1-1-2-1、1-1-2-1-2或1-2-1-2-1。如果特定模式中的一个与更新后的模式匹配(步骤S209中的“是”)，则判断模式检测单元106锁定检测模式(步骤S210)。也就是说，检测模式可用作预测模式，来产生对应于场图像的帧。

[0085] 如果没有特定模式与更新后的模式匹配(步骤S209中的“否”)，则判断模式检测单元106结束该处理。

[0086] 上面描述了第一实施例的运动图像处理设备执行的总体处理的次序的概况。 [0087] 接下来，使用图9E所示的编辑的示例来描述详细的处理过程。

[0088] 在该示例中，在场图像B2之后存在编辑点。假设直到场图像B2检测到2-3下拉处理的特定模式来进行说明。

[0089] 描述当前场图像是场图像A1时所执行的处理。由于检测模式被锁定(检测到模式)，因此执行基于预测模式的插值处理。由于预测模式对应于2-1-2-1-1顶部的“2”，因此通过与紧接之后的场图像A2组合来输出帧图像。这对应于选择来自图1A中的候选图像产生单元103的输出图像。

[0090] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0091] 更具体地，从“场图像A1与紧接之前的场图像成对”、“场图像A1与场图像A2成对”、以及“场图像A1不与任一场图像成对”中选择结果。在这种情况下，在图3和4所示的处理中，Co2＞Co1＞Coe。因此，判断为场图像A1和A2是连续场。场图像A1是下一场图像A2的前一场图像。因此，新更新模式“1”。如果过去五个场的判断结果是1-2-1-1-2并且下一个是“1”，则该模式与特定模式(重复模式)2-1-2-1-1匹配。因此，继续锁定检测模式。

[0092] 接下来，描述当前场图像是场图像A2时所执行的处理。由于检测模式被锁定(检测到模式)，因此执行基于预测模式的插值处理。由于预测模式对应于2-1-2-1-1第二位处的“1”，因此通过与紧接之前的场图像A1组 合来输出帧图像。这对应于选择来自图1A中的候选图像产生单元102中的输出图像。

[0093] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0094] 更具体地，从“场图像A2与场图像A1成对”、“场图像A2与场图像B1成对”、以及“场图像A2不与任一场图像成对”中选择结果。在这种情况下，在图3和4所示的处理中，Co1＞Co2＞Coe。因此，判断为场图像A2和B1是连续场。下一场图像B1与前一场图像A2不成对。假定场图像B1与后一场图像成对。因此，新更新模式“2”。如果过去五个场的判断结果是2-1-1-2-1并且下一个是“2”，则该模式与特定模式(重复模式)2-1-2-1-1匹配。因此，继续锁定检测模式。

[0095] 接下来，描述当前场图像是场图像B1时所执行的处理。由于检测模式被锁定(检测到模式)，因此执行基于预测模式的插值处理。由于预测模式对应于2-1-2-1-1第三位处的“2”，因此通过与紧接之后的场图像B2组合来输出帧图像。这对应于选择来自图1A中的候选图像产生单元103的输出图像。

[0096] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0097] 更具体地，从“场图像B1与场图像A2成对”、“场图像B1与场图像B2成对”、以及“场图像B1不与任一场图像成对”中选择结果。在图3和4所示的处理中，Co2＞Co1＞Coe。因此，判断为场图像B1和B2是连续场。场图像B1是下一场图像B2的前一场图像。因此，新更新模式“1”。如果过去五个场的判断结果是1-1-2-1-2并且下一个是“1”，则该模式与特定模式(重复模式)2-1-2-1-1匹配。因此，继续锁定检测模式。

[0098] 接下来，描述当前场图像是场图像B2时所执行的处理。由于检测模式被锁定(检测到模式)，因此执行基于预测模式的插值处理。由于预测模式对应于2-1-2-1-1第四位处的“1”，因此通过与紧接之前的场图像B1组合来输出帧图像。这对应于选择来自图1A中的候选图像产生单元102的输出图像。

[0099] 同时，进行下一场判断处理。来自该判断处理的输出表示“与前一场图像组合”、“与后一场图像组合”或者“都不”。

[0100] 更具体地，从“场图像B2与场图像B1成对”、“场图像B2与场图像M1成对”、以及“场图像B2不与任一场图像成对”中选择结果。在图3和4所示的处理中，Co1＞Coe＞Co2。因此，判断为场图像B2和M1是不连续场。将直到此时的模式日志复位。因此，解锁模式。

[0101] 接下来，描述当前场图像是场图像M1时所执行的处理。由于未锁定检测模式(未检测到模式)，因此执行场内插值处理。这对应于选择来自图1A中的候选图像产生单元104的输出图像。

[0102] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0103] 更具体地，从“场图像M1与场图像B2成对”、“场图像M1与场图像M2成对”、以及“场图像M1不与任一场图像成对”中选择结果。在图3和4所示的处理中，Co2＞Co1＞Coe。因此，判断为场图像M1和M2是连续场。场图像M1是下一场图像M2的前一场图像。因此，新更新模式“1”。因为过去的模式日志被复位，所以没有检测到特定模式，并且模式保持解锁。

[0104] 接下来，描述当前场图像是场图像M2时所执行的处理。由于检测模式未锁定(未检测到模式)，因此执行场内插值处理。这对应于选择来自图1A中的候选图像产生单元104的输出图像。

[0105] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0106] 更具体地，从“场图像M2与场图像M1成对”、“场图像M2与场图像N1成对”、以及“场图像M2不与任一场图像成对”中选择结果。在图3和4所示的处理中，Co1＞Co2＞Coe。因此，判断为场图像M2和N1是连续场。下一场图像N1与前一场图像M2不成对。假定场图像N1与后一场图像成对。因此，新更新模式“2”。因为模式日志复位之后的判断结果仅为“1”，所以没有检测到特定模式，并且模式保持解锁。

[0107] 随后，在当前场图像是场图像N1时，模式日志是1-2。对于场图像 N2，模式日志是1-2-1。对于场图像N3，模式日志是1-2-1-1。对于场图像O1，模式日志是1-2-1-1-2。这里，锁定模式。

[0108] 这时执行的场内插值处理插入在隔行扫描图像中跳过的行。图5A中的实线表示有像素的行，虚线表示没有像素的行。最简单地，如图5B所示，可以基于插值目标上侧和下侧的像素进行插值。作为替代方案，如图5C所示，可以基于目标像素周围的像素进行插值。可以通过根据图像的特征量对每一个像素进行加权来进行插值。

[0109] 接下来，描述图9F所示的编辑的示例。同样在该示例中，在场图像B2之后存在编辑点。直到场图像B2的处理与以上描述的相同。

[0110] 描述当前场图像是场图像L3时所执行的处理。由于检测模式未锁定(未检测到模式)，因此执行场内插值处理。这对应于选择来自图1A中的候选图像产生单元104的输出图像。

[0111] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0112] 更具体地，从“场图像L3与场图像B2成对”、“场图像L3与场图像M1成对”、以及“场图像L3不与任一场图像成对”中选择结果。在图3和4所示的处理中，Coe＞Co2＞Co1。因此，判断为场图像L3和M1是不连续场。因此，不更新模式。因为过去的模式日志被复位，所以没有检测到特定模式，并且模式保持解锁。

[0113] 接下来，描述当前场图像是场图像M1时所执行的处理。由于检测模式未锁定(未检测到模式)，因此执行场内插值处理。这对应于选择来自图1A中的候选图像产生单元104的输出图像。

[0114] 同时，进行下一场判断处理。来自该判断处理的输出分支为三种情况：“与前一场图像组合”、“与后一场图像组合”以及“都不”。

[0115] 更具体地，从“场图像M1与场图像L3成对”、“场图像M1与场图像M2成对”、以及“场图像M1不与任一场图像成对”中选择结果。在图3和4所示的处理中，Co2＞Co1＞Coe。因此，判断为场图像M1和M2是连续场。场图像M1是下一场图像M2的前一场图像。因此，新更新模式“1”。因为过去的模式日志被复位，所以没有检测到特定模式，并且模式保持解 锁。

[0116] 随后，在当前场图像是场图像M2时，模式日志是1。对于场图像N1，模式日志是1-2。对于场图像N2，模式日志是1-2-1。对于场图像N3，模式日志是1-2-1-1。对于场图像O1，模式日志是1-2-1-1-2。这里，锁定模式。

[0117] 如上所述，根据第一实施例，检测当前场图像与前一及后一场图像中的每一个之间的相关性。基于检测结果判断用于产生帧图像的对下一场图像的场图像组合，从而产生帧图像。作为替代方案，通过场内插值处理来产生帧图像。

[0118] 这使得即使在场图像次序的周期性被扰乱时，也可以防止由于时间轴的变化而使帧图像产生劣化并且维持稳定的图像质量。

[0119] <第二实施例>

[0120] 如图6所示，代替第一实施例的图1A中的第三候选图像产生单元104，根据第二实施例的运动图像处理设备包括运动自适应(adaptive)I/P转换处理单元604。I/P转换是将作为隔行扫描图像(I图像)的场图像转换为作为逐行扫描图像(P图像)的帧图像。特别是，运动自适应I/P转换处理单元604根据两个场图像(即当前场图像和前一场图像)来产生一个帧。

[0121] 接下来，参照图7描述根据第二实施例的运动图像处理设备的详细处理。 [0122] 图7是例示根据本发明的第二实施例的运动图像处理设备执行的处理的流程图。 [0123] 与图2中第一实施例的流程图不同，如果检测模式未锁定，则运动自适应I/P转换处理单元604执行运动自适应I/P转换处理(步骤S704)。下一场判断处理与第一实施例的图3和4中的处理相同。

[0124] 与第一实施例相同，使用图9E所示的编辑的示例来描述详细的处理过程。因为检测模式被锁定，所以直到场图像B2的处理与以上描述的处理相同。

[0125] 描述当前场图像是场图像M1时所执行的处理。由于检测模式未锁定(未检测到模式)，因此执行运动自适应I/P转换处理。这对应于选择来自 图6中的运动自适应I/P转换处理单元604的输出图像。

[0126] 参照图8A至8D说明运动自适应I/P转换处理的概要。

[0127] 图8A示出当前场图像的行和前一场图像的行之间的关系。实线表示有像素的行，虚线表示没有像素的行。在运动自适应I/P转换处理中，通过判断插值目标像素是否正在场之间运动来自适应地切换处理。

[0128] 图8B示出判断为目标像素正在场之间运动时的插值示例。如果目标像素在场之间运动，则前一场图像中相应的像素运动到另一位置。因此，仅在当前场图像中产生插值像素。

[0129] 图8C示出判断为目标像素停留在场之间时的插值示例。这时，直接插入前一场图像中的目标像素，从而提高垂直方向上的分辨率。

[0130] 在图8D中，不基于两个状态(即运动状态和停留状态)之一、而通过在它们之间进行加权来产生插值像素。

[0131] 如果当前场图像是场图像M1，则前一场图像是B2。它们是不连续场。由于该原因，在场之间不能找到相应的像素，其结果是，使用图8B中的插值方法。

[0132] 可以积极地使用不连续场的检测。在这种情况下，将运动检测强制固定为“运动”是有效的。获得的插值帧与在第一实施例中描述的场内插值处理相同。

[0133] 同时，进行下一场判断处理。进行与第一实施例中相同的处理。判断为场图像M1和M2是连续场。场图像M1是下一场图像M2的前一场图像。因此，新更新模式“1”。因为过去的模式日志被复位，因此没有检测到特定模式，并且模式保持解锁。 [0134] 接下来，描述当前场图像是场图像M2时所执行的处理。由于检测模式未锁定(未检测到模式)，因此执行运动自适应I/P转换处理。这对应于选择来自图6中的运动自适应I/P转换处理单元604的输出图像。

[0135] 在当前场图像是场图像M2时，前一场图像是场图像M1。该场对应于相同时间的帧，其结果是，使用图8C中的插值方法。

[0136] 可以积极地利用在前一场图像中更新了“1”的事实。在这种情况下，将运动检测强制固定为“停留”是有效的。然而，由于模式未锁定，因此 期望结果“1”的确定性稍低。因此，可以利用图8D中改变(增大)“停留”的权重的插值方法。

[0137] 同时，进行下一场判断处理。判断为场图像M2和N1是不连续场。下一场图像N1与前一场图像M2不成对。假定场图像N1与后一场图像成对。因此，新更新模式“2”。因为模式日志复位之后的判断结果仅为“1”，因此没有检测到特定模式，并且模式保持解锁。 [0138] 随后，在当前场图像是场图像N1时，模式日志是1-2。对于场图像N2，模式日志是1-2-1。对于场图像N3，模式日志是1-2-1-1。对于场图像O1，模式日志是1-2-1-1-2。这里，锁定模式。

[0139] 如上所述，根据第二实施例，除了在第一实施例中描述的效果之外，还基于像素在场之间的运动来自适应地切换对用于产生帧的场的插值处理。这允许产生更符合场图像的特性的帧图像。

[0140] 在第二实施例中，根据两个场图像、即当前场图像和前一场图像产生一个帧。然而，本发明不限于此。例如，可以按照状况根据两个场图像(即当前场图像和后一场图像、或者当前场图像和前一场图像)产生一个帧。

[0141] 也就是说，用作第三候选图像产生单元的运动自适应I/P转换处理单元604接收前一场图像和后一场图像中的至少一个作为插值像素产生场图像。运动自适应I/P转换处理单元604根据指定的权重使用当前场图像中的像素和插值像素产生场图像中的像素针对每一个像素产生插值像素，从而产生对应于当前场图像的帧图像。

[0142] 应当指出，本发明可以应用于包括单个装置的设备或者由多个装置构成的系统。 [0143] 此外，可以通过向系统或者设备直接或者间接提供实现上述实施例的功能的软件程序、用系统或者设备的计算机读取提供的程序代码、然后执行该程序代码，来实现本发明。在这种情况下，只要系统或设备具有程序的功能，该实现方式不需要依赖于程序。 [0144] 因此，由于由计算机来实现本发明的功能，因此安装在计算机中的程序代码也实现本发明。换句话说，本发明的权利要求还覆盖用于实现本发明的功能的计算机程序。 [0145] 在这种情况下，只要系统或设备具有程序的功能，可以以任何形式执行程序，例如目标代码、由解释器执行的程序或者提供给操作系统的脚本数据。

[0146] 可以用来提供程序的存储介质的示例是软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失型存储卡、ROM、以及DVD(DVD-ROM和DVD-R)。

[0147] 关于提供程序的方法，可以使用客户计算机的浏览器将客户计算机连接到因特网上的网站，可以将本发明的计算机程序或者程序的可自动安装压缩文件下载到诸如硬盘的记录介质。此外，可以通过将构成程序的程序代码分割为多个文件并且从不同的网站下载文件来提供本发明的程序。换句话说，本发明的权利要求也覆盖由计算机将实现本发明的功能的程序文件下载到多个用户的WWW(万维网，World Wide Web)服务器。 [0148] 还可以将本发明的程序加密并将其存储在诸如CD-ROM的存储介质上，将存储介质分发给用户，允许满足特定要求的用户经由因特网从网站下载解密密钥信息，允许这些用户使用密钥信息对加密的程序进行解密，由此将程序安装在用户计算机中。 [0149] 除了由计算机执行读取的程序来实现上述根据实施例的功能的情况之外，在计算机上运行的操作系统等可以执行部分或全部实际处理，从而通过该处理可以实现上述实施例的功能。

[0150] 此外，在将从存储介质读取的程序写入插入计算机的功能扩展板或者设置在连接到计算机的功能扩展单元中的存储器之后，安装在功能扩展板或者功能扩展单元上的CPU等执行部分或全部实际处理，从而通过该处理可以实现上述实施例的功能。 [0151] 虽然参考示例性实施例描述了本发明，但是应当理解，本发明不限于公开的示例性实施例。所附权利要求的范围符合最宽的解释，以覆盖所有这种变形、等同结构和功能。