图像处理设备、图像处理方法和程序转让专利
申请号 : CN200880020581.8
文献号 : CN101690189A
文献日 : 2010-03-31
发明人 : 中神央二 , 田中润一 , 矢崎阳一
申请人 : 索尼株式会社
摘要 :
提供图像处理设备，其包括：捕获单元，其捕获包括多个连续帧的动态图像数据以及对应于所述帧并且具有比所述帧更高的空间分辨率的一个或多个图像数据；运动预测单元，其通过使用所述动态图像来检测各帧之间的运动矢量；以及图像生成单元，其根据所述图像数据和所述运动矢量，生成关于预定帧运动补偿的图像数据。此外，所述图像生成单元生成位于所述预定帧与对应于所述图像数据的帧之间且关于所述帧运动补偿的图像数据。根据所述经运动补偿的图像数据和所述运动矢量，图像生成单元生成关于所述预定帧运动补偿的图像数据。
权利要求 :
1.一种图像处理装置，包含：
获取单元，用于获取包括多个连续帧的运动图像数据，以及对应于所述 帧的并且具有比所述帧更高的空间分辨率的一个或多个图像数据；
运动预测单元，用于使用所述运动图像数据来检测各帧之间的运动矢量； 以及图像生成单元，用于基于所述图像数据和所述运动矢量，来生成对应于 预定帧的运动补偿的图像数据；
其中，所述图像生成单元生成位于所述预定帧与对应于所述图像数据的 帧之间的、且对应于所述帧的运动补偿的图像数据，并且基于所述经运动补 偿的图像数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图像 数据。
2.如权利要求1所述的图像处理装置，其中，所述图像生成单元从对应 于接近所述图像数据的时间的帧起依次执行运动补偿，并且基于所述经运动 补偿的图像数据和所述运动矢量顺序生成对应于所述预定帧的经运动补偿的 图像数据。
3.如权利要求1所述的图像处理装置，进一步包含：
存储单元，用于记录所述运动图像数据以及所述一个或多个图像数据，
其中，所述获取单元获取记录在所述存储单元中的所述图像数据以及所 述一个或多个图像数据。
4.如权利要求3所述的图像处理装置，其中，将具有低空间分辨率和高 时间分辨率的第一图像数据序列作为所述运动图像数据而记录在所述存储单 元中，并且将比所述第一图像数据序列具有更高空间分辨率和更低时间分辨 率的第二图像数据序列作为所述一个或多个图像数据而记录在所述存储单元 中，以便于与包含在所述第一图像数据序列中的帧对应。
5.如权利要求4所述的图像处理装置，其中，所述运动图像生成单元以 包含在所述第一图像数据序列中但不包含在所述第二图像数据序列中的帧作 为所述预定帧，生成对应于所述预定帧的图像数据；并且提高所述第二图像 数据序列的时间分辨率。
6.如权利要求3所述的图像处理装置，其中，将下采样成像的图像信号 所获得的图像数据序列作为所述运动图像数据而记录在所述存储单元中。
7.如权利要求1所述的图像处理装置，其中，如果所述运动补偿的差异 量大于预定值，那么所述图像生成单元根据所述差异量来改变对所述预定帧 和所述图像数据进行组合的比率，其中所述预定帧是所述运动矢量的参考源， 所述图像数据是所述运动矢量的参考目的地。
8.如权利要求1所述的图像处理装置，其中，如果对应于所述图像数据 的帧与所述预定帧之间的差异量小于预定值，那么所述图像生成单元在不执 行运动补偿的情况下输出所述图像数据，作为对应于所述预定帧的图像数据。
9.一种图像处理方法，包含以下步骤：
获取含有多个连续帧的运动图像数据，以及对应于所述帧的并且具有比 所述帧更高的空间分辨率的一个或多个图像数据；
使用所述运动图像数据来检测各帧之间的运动矢量；以及
基于所述图像数据和所述运动矢量，生成对应于预定帧的运动补偿的图 像数据，其中，在所述图像生成步骤中，生成位于所述预定帧与对应于所述图像 数据的帧之间的、且对应于所述帧的运动补偿的图像数据，并且基于所述运 动补偿的图像数据和所述运动矢量来生成对应于所述预定帧的运动补偿的图 像数据。
10.一种用于使得计算机执行图像处理装置中的每一单元的功能的程 序，其中所述图像处理装置包含：获取单元，其用于获取含有多个连续帧的运动图像数据，以及对应于所 述帧的并且具有比所述帧更高的空间分辨率的一个或多个图像数据；
运动预测单元，其用于使用所述运动图像数据来检测各帧之间的运动矢 量；以及图像生成单元，其用于基于所述图像数据和所述运动矢量，生成对应于 预定帧的运动补偿的图像数据，其中，所述图像生成单元生成位于所述预定帧与对应于所述图像数据的 帧之间的、且对应于所述帧的运动补偿的图像数据，并且基于所述运动补偿 的图像数据和所述运动矢量来生成对应于所述预定帧的运动补偿的图像数 据。
说明书 :
技术领域
本发明涉及图像处理装置、图像处理方法和程序。
背景技术
近年来，涉及数字视频数据(在下文中称为视频数据)的分发的技术已经 有了很大进步。具体地，涉及高图像质量视频数据的分发和记录的技术的发 展是显著的。在其之中，已经对涉及视频数据的编码和解码的技术给予了关 注。具有高空间分辨率和时间分辨率的视频数据具有非常大的数据规模，由 此期望在编码后通过对这些视频数据高效地压缩来对其进行分发和记录。已 经期望使得能够以更高的压缩率来对高图像质量视频数据进行压缩的编码技 术，以及使得能够以更高的空间分辨率进行再现的解码技术。
例如，专利文献1和2公开了如下的基本技术：通过将具有低空间分辨 率和高时间分辨率的第一视频数据(例如，运动图像数据等)与具有高空间分辨 率和低时间分辨率的第二视频数据(例如，静止图像数据序列等)进行组合，生 成具有高空间分辨率和时间分辨率的视频数据。这种技术预测来自第一视频 数据的各帧之间的运动矢量，并且使用运动矢量和第二视频数据来补偿第一 视频数据的高频分量。这种技术使用从第一视频数据检测到的运动矢量以及 在与任意时间点接近的时间点处的第二视频数据的帧，生成未包含在第二视 频数据中的该任意时间点的帧。日本专利申请公开第2004-312276号和第 2004-312277号包括这样的描述：其涉及用于使用上述技术生成具有高空间分 辨率和时间分辨率的视频数据的图像数据记录和再现设备。
[专利文献1]日本专利申请公开第2004-312276号
[专利文献2]日本专利申请公开第2004-312277号
例如，专利文献1和2公开了如下的基本技术：通过将具有低空间分辨 率和高时间分辨率的第一视频数据(例如，运动图像数据等)与具有高空间分辨 率和低时间分辨率的第二视频数据(例如，静止图像数据序列等)进行组合，生 成具有高空间分辨率和时间分辨率的视频数据。这种技术预测来自第一视频 数据的各帧之间的运动矢量，并且使用运动矢量和第二视频数据来补偿第一 视频数据的高频分量。这种技术使用从第一视频数据检测到的运动矢量以及 在与任意时间点接近的时间点处的第二视频数据的帧，生成未包含在第二视 频数据中的该任意时间点的帧。日本专利申请公开第2004-312276号和第 2004-312277号包括这样的描述：其涉及用于使用上述技术生成具有高空间分 辨率和时间分辨率的视频数据的图像数据记录和再现设备。
[专利文献1]日本专利申请公开第2004-312276号
[专利文献2]日本专利申请公开第2004-312277号
发明内容
然而，如果记录多个静止图像数据中的每一个的时间间隔很大，那么难 以精确地预测运动矢量，由此难以生成高图像质量视频数据。换言之，由于 图像数据中的运动主体的变化量变得更大，要生成视频数据的记录时间距离 所记录的静止图像数据的记录时间越长，因此使用包含在所记录的高分辨率 静止图像中的高频分量的运动补偿变得难以执行。例如，如果静止图像数据 的记录时间和期望创建的图片的记录时间之间的时间差h变得大于0.1秒， 那么运动补偿对于高频分量的补偿变得难以执行。如果高清晰度静止图像数 据的记录数目增大，那么要保存的数据量显然变得很大。
鉴于上述，期望提供如下的新颖和改善的图像处理装置、图像处理方法 以及程序：其能够在使用低分辨率图像数据序列执行运动预测以及使用高分 辨率图像数据执行运动补偿以便生成高分辨率图像数据时，即使要生成图像 数据的时间和高分辨率图像数据的时间相距较远，也能够实现高精度运动补 偿。
为了解决上述问题，根据本发明的另一实施例，提供了这样的图像处理 装置，其包括：获取单元，用于获取包括多个连续帧的运动图像数据，以及 对应于所述帧的并且具有比所述帧更高的空间分辨率的一个或多个图像数 据；运动预测单元，用于使用所述运动图像数据来检测各帧之间的运动矢量； 以及图像生成单元，用于基于所述图像数据和所述运动矢量，生成对应于预 定帧的经运动补偿的图像数据。
图像生成单元生成位于所述预定帧与对应于所述图像数据的帧之间的、 且对应于所述帧的经运动补偿的图像数据，并且基于所述经运动补偿的图像 数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
图像生成单元可以从与所述图像数据接近的时间所对应的帧起依次执行 运动补偿，并且基于所述经运动补偿的图像数据和所述运动矢量顺序生成对 应于所述预定帧的经运动补偿的图像数据。
图像处理装置可以进一步包含存储单元，其用于记录所述运动数据图像 以及所述一个或多个图像数据。在这种情况下，所述获取单元可以配置为获 取记录在所述存储单元中的所述图像数据以及所述一个或多个图像数据。
可以将具有低空间分辨率和高时间分辨率的第一图像数据序列作为所述 运动图像数据而记录在所述存储单元中，并且可以将比所述第一图像数据序 列具有更高空间分辨率和更低时间分辨率的第二图像数据序列作为所述一个 或多个图像数据而记录在所述存储单元中，以便于与包含在所述第一图像数 据序列中的帧对应。
运动图像生成单元可以配置为：以包含在所述第一图像数据序列中但不 包含在所述第二图像数据序列中的帧作为所述预定帧，生成对应于所述预定 帧的图像数据；并且提高所述第二图像数据序列的时间分辨率。
可以将通过对成像的图像信号进行下采样所获得的图像数据序列作为所 述运动图像数据而记录在所述存储单元中。
所述图像生成单元可以配置为：如果所述运动补偿的差异量大于预定值， 那么根据所述差异量改变组合作为所述运动矢量的参考源的所述预定帧和作 为所述运动矢量的参考目的地的所述图像数据的比率。
如果对应于所述图像数据的帧与所述预定帧之间的差异量小于预定值， 那么所述图像生成单元可以配置为：在不执行运动补偿的情况下输出所述图 像数据，作为对应于所述预定帧的图像数据。
为了解决上述问题，根据本发明的另一实施例，提供了如下的图像处理 方法，包括步骤：获取含有多个连续帧的运动图像数据，以及对应于所述帧 的并且具有比所述帧更高的空间分辨率的一个或多个图像数据；使用所述运 动图像数据来检测各帧之间的运动矢量；以及基于所述图像数据和所述运动 矢量，生成对应于预定帧的经运动补偿的图像数据。
在所述图像生成步骤中，生成位于所述预定帧与对应于所述图像数据的 帧之间的、且对应于所述帧的经运动补偿的图像数据，并且基于所述经运动 补偿的图像数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图 像数据。
为了解决上述问题，根据本发明的另一实施例，提供了使得计算机实现 图像处理装置的功能的程序。还可以提供记录有这种程序的记录介质。
图像处理装置从接近已记录的静止图像数据的记录时间的时间起生成高 分辨率图像，将过去生成的高分辨率图像保存在帧存储器中，并且再次参考 所保存的图像，生成新的高分辨率图像。通过这种顺序执行的处理，即使在 与记录时间相距较远的时间处也可以生成高清晰度静止图像。
根据上述的本发明实施例，当使用低分辨率的图像数据序列执行运动预 测以及使用高分辨率的图像数据执行运动预测以便生成高分辨率的图像数据 时，即使要生成的图像数据的时间和高分辨率图像数据的时间相距较远，也 可以高精度地执行运动补偿。
鉴于上述，期望提供如下的新颖和改善的图像处理装置、图像处理方法 以及程序：其能够在使用低分辨率图像数据序列执行运动预测以及使用高分 辨率图像数据执行运动补偿以便生成高分辨率图像数据时，即使要生成图像 数据的时间和高分辨率图像数据的时间相距较远，也能够实现高精度运动补 偿。
为了解决上述问题，根据本发明的另一实施例，提供了这样的图像处理 装置，其包括：获取单元，用于获取包括多个连续帧的运动图像数据，以及 对应于所述帧的并且具有比所述帧更高的空间分辨率的一个或多个图像数 据；运动预测单元，用于使用所述运动图像数据来检测各帧之间的运动矢量； 以及图像生成单元，用于基于所述图像数据和所述运动矢量，生成对应于预 定帧的经运动补偿的图像数据。
图像生成单元生成位于所述预定帧与对应于所述图像数据的帧之间的、 且对应于所述帧的经运动补偿的图像数据，并且基于所述经运动补偿的图像 数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
图像生成单元可以从与所述图像数据接近的时间所对应的帧起依次执行 运动补偿，并且基于所述经运动补偿的图像数据和所述运动矢量顺序生成对 应于所述预定帧的经运动补偿的图像数据。
图像处理装置可以进一步包含存储单元，其用于记录所述运动数据图像 以及所述一个或多个图像数据。在这种情况下，所述获取单元可以配置为获 取记录在所述存储单元中的所述图像数据以及所述一个或多个图像数据。
可以将具有低空间分辨率和高时间分辨率的第一图像数据序列作为所述 运动图像数据而记录在所述存储单元中，并且可以将比所述第一图像数据序 列具有更高空间分辨率和更低时间分辨率的第二图像数据序列作为所述一个 或多个图像数据而记录在所述存储单元中，以便于与包含在所述第一图像数 据序列中的帧对应。
运动图像生成单元可以配置为：以包含在所述第一图像数据序列中但不 包含在所述第二图像数据序列中的帧作为所述预定帧，生成对应于所述预定 帧的图像数据；并且提高所述第二图像数据序列的时间分辨率。
可以将通过对成像的图像信号进行下采样所获得的图像数据序列作为所 述运动图像数据而记录在所述存储单元中。
所述图像生成单元可以配置为：如果所述运动补偿的差异量大于预定值， 那么根据所述差异量改变组合作为所述运动矢量的参考源的所述预定帧和作 为所述运动矢量的参考目的地的所述图像数据的比率。
如果对应于所述图像数据的帧与所述预定帧之间的差异量小于预定值， 那么所述图像生成单元可以配置为：在不执行运动补偿的情况下输出所述图 像数据，作为对应于所述预定帧的图像数据。
为了解决上述问题，根据本发明的另一实施例，提供了如下的图像处理 方法，包括步骤：获取含有多个连续帧的运动图像数据，以及对应于所述帧 的并且具有比所述帧更高的空间分辨率的一个或多个图像数据；使用所述运 动图像数据来检测各帧之间的运动矢量；以及基于所述图像数据和所述运动 矢量，生成对应于预定帧的经运动补偿的图像数据。
在所述图像生成步骤中，生成位于所述预定帧与对应于所述图像数据的 帧之间的、且对应于所述帧的经运动补偿的图像数据，并且基于所述经运动 补偿的图像数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图 像数据。
为了解决上述问题，根据本发明的另一实施例，提供了使得计算机实现 图像处理装置的功能的程序。还可以提供记录有这种程序的记录介质。
图像处理装置从接近已记录的静止图像数据的记录时间的时间起生成高 分辨率图像，将过去生成的高分辨率图像保存在帧存储器中，并且再次参考 所保存的图像，生成新的高分辨率图像。通过这种顺序执行的处理，即使在 与记录时间相距较远的时间处也可以生成高清晰度静止图像。
根据上述的本发明实施例，当使用低分辨率的图像数据序列执行运动预 测以及使用高分辨率的图像数据执行运动预测以便生成高分辨率的图像数据 时，即使要生成的图像数据的时间和高分辨率图像数据的时间相距较远，也 可以高精度地执行运动补偿。
附图说明
图1是描述高分辨率被创建图片的生成方法的说明性视图；
图2是示出根据本发明一个实施例的图像处理装置的装置配置的说明性 视图；
图3是描述根据本实施例的图像生成电路的工作的说明性视图；
图4是描述根据本实施例的图像生成电路的工作的说明性视图；
图5是描述根据本实施例的图像生成电路的工作的说明性视图；
图6是示出根据本实施例的高分辨率图像的生成方法的说明性视图；以 及
图7是示出能够实现根据本实施例的图像处理装置的功能的信息处理设 备的硬件配置示例的说明性视图。
附图标记的描述
100图像处理装置
102成像镜头
104成像元件
106图像生成定时控制器
108显示电路
110相机信号处理块
112A/D转换器
114数字信号处理电路
120运动图像记录和再现块
122、132存储单元
124运动图像压缩/解压缩电路
126图像密度转换电路
130静止图像记录和再现块
134静止图像压缩/解压缩电路
202图像生成电路
204帧存储器
212运动预测单元
214运动补偿单元
HRP高分辨率图片
LRP低分辨率图片
MP被放大图片
CP、CP’被创建图片
图2是示出根据本发明一个实施例的图像处理装置的装置配置的说明性 视图；
图3是描述根据本实施例的图像生成电路的工作的说明性视图；
图4是描述根据本实施例的图像生成电路的工作的说明性视图；
图5是描述根据本实施例的图像生成电路的工作的说明性视图；
图6是示出根据本实施例的高分辨率图像的生成方法的说明性视图；以 及
图7是示出能够实现根据本实施例的图像处理装置的功能的信息处理设 备的硬件配置示例的说明性视图。
附图标记的描述
100图像处理装置
102成像镜头
104成像元件
106图像生成定时控制器
108显示电路
110相机信号处理块
112A/D转换器
114数字信号处理电路
120运动图像记录和再现块
122、132存储单元
124运动图像压缩/解压缩电路
126图像密度转换电路
130静止图像记录和再现块
134静止图像压缩/解压缩电路
202图像生成电路
204帧存储器
212运动预测单元
214运动补偿单元
HRP高分辨率图片
LRP低分辨率图片
MP被放大图片
CP、CP’被创建图片
具体实施方式
在下文中，将参考附图详细地描述本发明的优选实施例。注意，在本说 明书和附图中，以相同的附图标记来表示基本上具有相同功能和结构的结构 性构件，并且省略了对于这些结构性构件的重复说明。
(高分辨率图像的生成方法)
首先，在描述根据本发明实施例的图像处理装置和图像处理方法之前， 参考图1简要地描述使用这样的图像数据序列(在下文中称为运动图像数据) 的构想：在所述图像数据序列中，连续地记录低空间分辨率的图像，并且与 包含在运动图像数据中的适当帧(在下文中称为LRP(低分辨率图片))对应地 离散地记录高空间分辨率的图像数据(在下文中称为静止图像数据或HRP(高 分辨率图片))，以便生成与包括在运动图像数据中的任意帧对应的高空间分辨 率的图像数据(在下文中称为CP(被创建图片)或高分辨率被创建图片)。图1 是示出高分辨率图像的生成方法的一个示例的说明性视图。
在图1中图示了高分辨率图片HRP(t)、低分辨率图片LRP(t)、LRP(t+h)、 被放大图片MP(t)、MP(t+h)以及被创建图片CP(t+h)。括号中的字符表示拍摄 时间。例如，被创建图片CP(t+h)表示与在时间t+h处拍摄的低分辨率图片 LRP(t+h)对应的被创建图片。
被创建图片CP是通过使用这样的运动矢量执行运动补偿创建的图像数 据，所述运动矢量是使用低分辨率图片LRP和高分辨率图片HRP检测到的。 如图1中所示，使用通过放大低分辨率图片LRP(t)所创建的被放大图片MP(t) 以及放大低分辨率图片LRP(t+h)所创建的被放大图片MP(t+h)来检测时间t 和时间t+h之间的运动矢量(MV)(S1)。然后，基于运动矢量MV，提取出与低 分辨率图片LRP(t)的参考块(BLK)对应的高分辨率图片HRP(t)的参考块。然 后，以预定比率将参考块的像素和被放大图片MP(t+h)的像素进行组合，以便 创建被创建图片(CP(t+h))(S2)。
在上述示例中，使用本质上不同的图像执行运动预测和运动补偿。通过 放大低分辨率图片LRP(t)而创建的被放大图片MP放大与高分辨率图片 HRP(t)相同的空间分辨率，但是相比于高分辨率图片HRP(t)，其缺少高频分 量。由此，在使用被放大图片MP所检测到的运动矢量和高分辨率图片HRP 必须要具有的运动矢量中可能出现偏差。具体地，如果运动预测的精度较低， 那么高分辨率图片HRP中的参考块的位置移动(shift)，由此向通过运动补 偿所创建的被创建图片CP的高频分量添加了显著的噪声。
由此，期望这样的设计：在基于具有彼此不同的空间分辨率的多个图像 数据执行运动补偿时，抑制由于运动补偿而添加噪声。当拍摄高分辨率图片 HRP(t)的时间t和被创建图片CP(t+h)要被创建的时间t+h相距较远时，运动 矢量的误差变得很大。由此，期望在时间间隔h很大时获得高清晰度的被创 建图片CP(t+h)的设计。
如在下文中所述的那样，根据本发明一个实施例的图像处理装置首先对 在接近于拍摄高分辨率图片HRP(t)的时间t的时间处拍摄的低分辨率图片 LRP(t+h”)执行运动预测和运动补偿，以便生成临时(tentative)的被创建图片 CP’(t+h”)，并且进一步基于该临时的被创建图片CP’(t+h)执行运动预测和运 动补偿。通过顺序地重复这种处理，可以高精度地生成期望时间t+h处的被 创建图片CP(t+h)。这是由于在执行一个运动预测时所参考的各帧之间的时间 间隔较短，并且运动预测的精度提高。下面将描述图像处理装置的特定功能 配置。
<实施例>
下面详细描述根据本发明一个实施例的图像处理装置100。
[图像处理装置100的装置配置]
首先，参考图2描述根据本实施例的图像处理装置100的装置配置。图 2是示出根据本实施例的图像处理装置100的装置配置的一个示例的说明性 视图。
如图2中所示，图像处理装置100主要包括成像镜头102、成像元件104、 相机信号处理块110、运动图像记录和再现块120、静止图像记录和再现块 130、图像生成电路202、帧存储器204、图像生成定时控制器106和显示电 路108。
成像镜头102是用于通过采集光来形成景物的图像(在下文中称为已采 集图像)的光学镜头。成像元件104是用于将成像镜头102所采集的光转换为 电信号的光电元件。诸如CCD图像传感器(电荷耦合器件图像传感器)和 CMOS图像传感器(互补金属氧化物半导体图像传感器)之类的半导体元件用 于成像元件104。
成像元件104具有比运动图像数据的空间分辨率的有效像素数目更多的 像素数目。显示电路108使得显示设备(未示出)在记录或再现图像数据时或者 在检查图像数据时显示图像数据。图像生成定时控制器106是操作者在再现 运动图像数据的同时作出指令来获取静止图像数据的设备。
(相机信号处理块110)
如图2中所示，相机信号处理块110包括A/D转换器112和数字信号处 理电路114。
A/D转换器112是用于将输入的模拟信号转换为数字信号并且将其输出 的模数转换器。A/D转换器112将从成像元件104输入的已采集图像的模拟 信号转换为数字信号，并且将其输出至数字信号处理电路114。数字信号处 理电路114对从A/D转换器112输入的已采集图像的数字信号(在下文中称为 图像数据)执行诸如白平衡调节和伽玛校正之类的处理。
(运动图像记录和再现块120)
如图2中所示，运动图像记录和再现块120包括图像密度转换电路126、 运动图像压缩/解压缩电路124和存储单元122。
图像密度转换电路126在记录运动数据图像时，对从数字信号处理电路 114输入的图像数据序列(运动图像数据)执行抽取(decimation)处理(例如，帧 间差分编码等)。图像密度转换电路126将抽取处理之后的运动图像数据输出 至运动图像压缩/解压缩电路124。运动图像压缩/解压缩电路124对从图像密 度转换电路126输入的抽取后的运动图像数据执行压缩处理，并且将压缩后 的运动图像数据记录在存储单元122中。
当再现运动图像数据时，运动图像压缩/解压缩电路124读出在存储单元 122中记录的运动图像数据，并且对其执行解压缩处理。运动图像压缩/解压 缩电路124将解压缩后的运动图像数据输出至图像密度转换电路126。图像 密度转换电路126对从运动图像压缩/解压缩电路124输入的运动图像数据执 行内插处理(例如，恢复差异的数据(differenced data))。
(静止图像记录和再现块130)
如图2中所示，静止图像记录和再现块130包括静止图像压缩/解压缩电 路134和存储单元132。存储单元132可以通过使用与存储单元122共同的 存储设备来实现该功能。
当记录静止图像数据时，静止图像压缩/解压缩电路134对从数字信号处 理电路114输入的图像数据执行压缩处理，并且记录在存储单元132中。当 再现静止图像数据时，静止图像压缩/解压缩电路134读出在存储单元122中 记录的图像数据，并且对其执行解压缩处理。
(图像生成电路202)
虽然未清楚地示出在图中，但是图像生成电路202包括运动预测单元212 和运动补偿单元214。运动补偿单元214用作图像生成单元。
运动预测单元212通过对运动图像记录和再现块120传送的运动图像数 据执行各帧之间的运动预测，来检测运动矢量。例如，运动预测单元212选 择在与预定时间处记录的帧最接近的时间处所记录的静止图像数据。运动预 测单元212通过在对应于静止图像数据的帧和预定时间处所记录的帧之间执 行运动预测，来检测各帧之间的运动矢量。在这种情况下，运动预测单元212 将每一帧(LRP)放大以便参考转换到被放大图片(MP)，并且检测相关的被放大 图片之间的运动矢量。
作为另一示例，运动预测单元212可以提取与预定时间处所记录的帧接 近的时间点处所记录的多个静止图像数据，然后选择对应于静止图像数据的、 与预定时间处记录的帧最靠近的帧。通过在对应于所选静止图像数据的帧与 预定时间处记录的帧之间执行运动预测，运动预测单元212可以检测各帧之 间的运动矢量。运动预测单元212可以在不放大每一帧(LRP)的情况下来检测 各帧之间的运动矢量，并且放大运动矢量以便适配于被创建图片(CP)的空间 分辨率。
运动补偿单元214基于运动预测单元212输入的运动矢量信息和静止图 像记录和再现块130输入的静止图像数据，执行运动补偿。例如，运动补偿 单元214基于运动矢量，指定与预定时间处记录的帧的参考块对应的静止图 像数据的参考块。运动补偿单元214通过以预定比率、将所指定的静止图像 数据参考块和预定时间处记录的帧的参考块进行组合，生成图像数据(被创建 图片CP’)。
当生成被创建图片CP(t+h)时，图像生成电路202将过去所生成的被创建 图片CP’(t+h”)(t＜h”＜h)形成(develop)在帧存储器204中。即，如图3中所示， 图像生成电路202一旦使用在时间上接近于高分辨率图片HRP(t)的被放大图 片MP(t+h”)，生成中间被创建图片CP’(t+h”)，而不是使用高分辨率图片HRP(t) 来直接生成被创建图片CP(t+h)，并且将这种被创建图片CP’(t+h”)保存在帧 存储器204中以便进行使用。图像生成电路202在被放大图片MP(t+h)和 MP(t+h”)之间执行运动预测，并且基于检测到的运动矢量和中间被创建图片 CP’(t+h”)，生成期望的被创建图片CP(t+h)。然后将被创建图片CP(t+h)输出 至显示电路108。
当将被创建图片CP’(t+h”)存储在帧存储器中时，图像生成电路202可以 根据要使用的处理单元来改变存储的方法。例如，可以存储整个图像，或者 仅保存具有运动的像素区域以便节省存储量。
此外，当生成被创建图片CP’或CP时，图像生成电路202可以监控与被 创建图片CP’或CP对应的被放大图片MP和参考目的地的图像的差异量。如 果高分辨率图片HRP和被放大图片MP的差异量较小，那么图像生成电路202 按照其原样来输出高分辨率图片HRP作为被创建图片CP’或CP。类似地， 如果被创建图片CP’和被放大图片MP的差异量较小，那么图像生成电路202 可以按照其原样来输出被创建图片CP’作为被创建图片CP。这些情况是诸如 在拍摄完全固定的景物时出现的情形。
当被创建图片CP和高分辨率图片HRP的记录时间距离较远时，根据本 实施例的图像生成电路202根据与高分辨率图片HRP的记录时间接近的时间 所对应的被放大图片MP，顺序地生成中间被创建图片CP’。此外，图像生成 电路202使用中间被创建图片CP’执行运动补偿，并且顺序地生成中间被创 建图片CP’，以便最终获得高清晰度的被创建图片CP。
[图像数据的记录操作]
下面简要描述根据本实施例的图像处理装置100对于图像数据的记录操 作。
首先，操作者向图像处理装置100指令记录操作的开始(S10)。响应于该 指令，图像处理装置100开始配置运动图像数据的帧的持续记录(S12)。图像 处理装置100通过成像镜头102获取已采集图像(S14)。图像处理装置100通 过成像元件104对已采集图像执行光电转换，以便生成模拟信号(S16)。图像 处理装置100将该模拟信号输入至A/D转换器112，以便转换为数字信号 (S18)。然后，图像处理装置100将数字信号输入至数字信号处理电路114， 并且对与这种数字信号对应的图像数据执行诸如白平衡调节和伽玛校正之类 的处理(S20)。根据这些处理，图像处理装置100可以累积图像数据，并且形 成运动图像数据。
图像处理装置100通过图像密度转换电路126对运动图像数据执行抽取 处理(S22)。当执行步骤S22时，获得每一视频信号格式(诸如NTSC(国家电 视标准委员会)方法、PAL(逐行倒相)方法或者ISDB(综合服务数字广播)方法) 的有效像素的数目。然后，图像处理装置100通过运动图像压缩/解压缩电路 124对经历了抽取处理的运动图像数据进行压缩处理(S24)，并且在存储单 元122中进行记录(S25)。图像处理装置100还以预定的时间间隔来间歇地获 取图像数据(静止图像数据)并通过静止图像压缩/解压缩电路134执行压缩处 理(S32)，并且在存储单元132中进行存储(S34)。
[图像数据的再现操作]
下面简要描述根据本实施例的图像处理装置100对于图像数据的再现操 作。
操作员通过使用图像生成定时控制器106，向图像处理装置100指令再 现操作的开始(S50)。响应于该指令，图像处理装置100开始生成具有比运动 图像数据更高空间分辨率且未记录静止图像数据的记录时间点的高图像质量 图像数据。图像处理装置100读出压缩处理后记录在存储单元122中的运动 图像数据(S54)，并且通过运动图像压缩/解压缩电路124执行解压缩处理 (S56)。然后，图像处理装置100通过图像密度转换电路126来对经历了解压 缩处理的运动图像数据执行内插处理(S58)。根据步骤S58，将运动图像数据 的每一帧转换为与静止图像数据具有相同像素数目的图像数据。然后将运动 图像数据传送至图像生成块140(S60)。
然后，图像处理装置100通过静止图像压缩/解压缩电路134来对记录在 存储单元132中的静止图像数据进行读出和解压缩(S72)，并且传送至图像生 成块140(S74)。
(图像生成电路202的操作)
现在参考图3，描述图像生成电路202的处理操作。图3是描述图像生 成电路202的处理操作的说明性视图。
图3示出高分辨率图片HRP(t)、多个低分辨率图片LRP(t)、LRP(t+h”)、 LRP(t+h)、中间被创建图片CP’(t+h”)以及期望的被创建图片CP(t+h)以便对 应于拍摄的时间。图3具体地描述了用于生成与时间t+h的低分辨率图片 LRP(t+h)对应的被创建图片CP(t+h)的处理操作。
假设高分辨率图片HRP具有水平像素数目N、垂直像素数目M和帧速 1/ΔT[fps]。假设低分辨率图片LRP具有水平像素数目n、垂直像素数目m和 帧速1/Δt[fps]。假设每一变量满足关系N≥n，M≥m，ΔT≥t。此外，假设变 量h满足关系0≤h≤ΔT。
下面参考图3的示例描述用于生成时间t+h的被创建图片CP(t+h)的方 法。根据本实施例的图像处理装置100的处理方法不限于此。也可以参考其 他时间t+ΔT的高分辨率图片HRP(t+ΔT)(未示出)，生成被创建图片CP(t+h)。 在这种情况下，图像处理装置100可以根据景物的运动的量度、速度等，执 行用于选择待参考的高分辨率图片HRP的处理。
首先，图像处理装置100通过运动预测单元212，使用低分辨率LRP(t) 和LRP(t+h”)执行运动预测。在这种情况下，运动预测单元212放大低分辨率 图片LRP(t)和LRP(t+h”)，以便生成被放大图片MP(t)和MP(t+h”)。然后，运 动预测单元212将被放大图片MP(t)和MP(t+h”)进行比较，以便检测MP(t) 和MP(t+h”)之间的运动矢量MV。该运动预测方法包括块匹配法、相位相关 法、光流法(optical flow)等。
然后，图像处理装置100通过运动补偿单元214，使用运动矢量MV和 高分辨率图片HRP(t)执行运动补偿。运动补偿单元214使用运动矢量MV来 指定与被放大图片MP(t+h”)的参考块对应的高分辨率图片HRP(t)的参考块。 运动补偿单元214以预定的比率将该参考块与被放大图片MP(t+h”)的参考块 进行组合，并且生成中间被创建图片CP’(t+h”)。
然后，图像处理装置100通过运动预测单元212，使用低分辨率图片 LRP(t+h)和LRP(t+h”)执行运动预测。在这种情况下，运动预测单元212对低 分辨率图片LRP(t+h)进行放大，以便生成被放大图片MP(t+h)。然后，运动 预测单元212将被放大图片MP(t+h”)和MP(t+h)进行比较，以便检测MP(t+h”) 和MP(t+h)之间的运动矢量MV。
然后，图像处理装置100通过运动补偿单元214，使用运动矢量MV和 中间被创建图片CP’(t+h”)执行运动补偿。运动补偿单元214使用运动矢量 MV来指定与被放大图片MP(t+h)的参考块对应的被创建图片CP’(t+h”)的参 考块。运动补偿单元214以预定的比率将该参考块与被放大图片MP(t+h)的参 考块进行组合，并且生成最终的被创建图片CP(t+h)。
如果被创建图片CP(t+h)和高分辨率图片HRP(t)之间的时间间隔h非常 短，那么即使使用这种高分辨率图片HRP(t)执行运动补偿，也几乎不会由于 运动预测精度而在被创建图片CP(t+h)中生成噪声。然而，如果时间间隔h很 长，那么在高分辨率图片HRP中所包含的高频分量的信息中生成噪声的可能 性较高。即，存在这样的可能性：取决于运动预测的精度，运动补偿中所使 用的高分辨率图片HRP的参考块和与其对应的被放大图片MP的参考块之间 的相关性可能降低。
通常，运动预测的处理使得越精确地执行运动预测，则景物的运动越少， 即，从预测源到预测目的地的时间距离越小。因此，相比于在从被放大图片 MP(t+h)到被放大图片MP(t)所执行的运动预测中的预测精度，在从被放大图 片MP(t+h”)到被放大图片MP(t)所执行的运动预测中的预测精度显然更加令 人满意。由此，相比于通过使用从被放大图片MP(t+h)到被放大图片MP(t)的 运动预测结果而生成的被创建图片的质量，通过使用从被放大图片MP(t+h”) 到被放大图片MP(t)的运动预测结果生成的被创建图片CP’(t+h”)的质量更 高。
此外，如图4的示例中所示，当生成被创建图片CP’或CP时，图像生成 电路202也可以参考除了位于时间上的后方的图像之外的图像。已经描述了 参考位于时间上的后方的图像执行运动预测和运动补偿的示例，但是可以参 考位于前方的图像。可以参考前后图像两者。图像生成电路202也可以参考 位于时间上的前方或后方的多个图像，生成被创建图片CP’和CP。图像生成 电路202也可以以非常精确的时间间隔执行用于顺序地生成中间被创建图片 CP’的处理，以便达到最终的被创建图片CP。
在根据本实施例的图像生成电路202中可以作出各种修改。例如，如果 高分辨率图片HRP(t+ΔT)存在于时间t+ΔT(h＜ΔT)处，那么图像生成电路202 将基于高分辨率图片HRP(t+ΔT)从前方运动补偿的被创建图片CP与利用上 述方法通过从后方顺序运动补偿的被创建图片CP进行比较，从而选择了更 高图像质量的图像。鉴于对于选择等的应用，图像生成电路202可以将预定 时间t、t+h”、t+ΔT处的被放大图片MP(t)、MP(t+h”)、MP(t+ΔT)等进行 比较，并且监控其差值。
在运动预测中，图像生成电路202可以组合双向预测处理。即，图像生 成电路202对多个预测源执行基于运动矢量的运动补偿，并且对运动补偿的 像素值进行加权和平均。作为简单的示例，关于预测源像素A和预测源像素 B，根据等式(1)得到预测后的像素C。
C＝(A+B)/2 (1)
这是采用加权比例相同的平均值的方法。通常，相比于非双向预测，在 双向预测中可以降低差分能量(differential energy)。其与诸如MPEG(运动图片 专家组)之类的图像压缩技术相关联地被广泛已知。同样在本实施例中，通过 组合和使用双向预测来作出提高被创建图片CP的质量的考虑。可以在时间 上与H.264等中已知的双向预测技术中相同的方向(正向或反向)上设置两个 矢量的预测方向。
在生成被创建图片CP时，将采用两个高分辨率图片HRP(t)和HRP(t+ΔT) 的平均并且使用被创建图片CP(t+h)的生成图像的方法视为相对简单的双向 预测的方法。这种方法对于景物是固定的并且包含了渐变(fade)的视频是有效 的。
如果景物包括运动对象，那么图像生成电路202可以对被放大图片 MP(t+h)、MP(t+h”)、MP(t)执行双向预测，并且基于高分辨率图片HRP(t)和 HRP(t+ΔT)执行运动补偿。图像生成电路202可以通过使用被放大图片 MP(t+h)和MP(t)之间的景物的运动信息、MP(t+h)和MP(t+ΔT)之间的景物的 运动信息、或者多个中间生成的被创建图片CP’的高频分量，来提高被创建 图片CP(t+h)的图像质量。
此外，如图5中所示，当生成被创建图片CP时，图像生成电路202可 以通过基于中间生成的被创建图片CP’和对应于该被创建图片CP的被放大图 片MP经运动补偿的图像的差值来确定运动预测的精度，并且在运动预测的 精度较低时按照原样将被放大图片P输出，作为被创建图片CP。
(图像处理方法)
现在参考图6描述根据本实施例的图像处理方法。图6是描述根据本实 施例的图像生成处理的流程的说明性视图。
首先，运动预测单元212将低分辨率图片LLRP进行放大，以便生成具 有与高分辨率图片HRP相同的空间分辨率的被放大图片MP(S202)。然后， 将表示参考块的位置的参数b进行初始化(S204)。然后确定参数b是否超过 了参数b的最大值b_max(S206)。这里，b_max是帧中所包含的块的数目。
如果b≥b_max，那么图像生成电路202终止图像生成处理。如果 b≤b_max，那么运动预测单元212执行从当前帧(MP(t+h”))到关键帧(MP(t)) 或者从当前帧(MP(t+h))到已经从其生成高分辨率图像的帧(MP(t+h”))的运动 预测(S208)。运动预测的参考帧取决于顺序执行的运动预测的参考源帧的位 置。然后，图像生成电路202基于预测残留信号的量度来确定运动补偿的执 行是否可能(S210)。
如果在步骤S210中确定运动补偿的执行是不可能的，那么运动补偿单元 214将步骤S202的被放大图片MP(t+h)输出作为被创建图片CP(t+h)(S216)。 如果在步骤S210中确定运动补偿的执行是可能的，那么运动补偿单元214使 用与关键帧对应的高分辨率图片HRP(t)和被放大图片MP(t+h)，执行差分图 像(differential image)确定(关于“D＞Th”或“D≤Th”的确定：见图5)，并且 确定运动补偿的执行是否是可能的(S212)。
如果在步骤S212中确定运动补偿的执行是可能的，那么运动补偿单元 214使用高分辨率图像HRP(t)或者被创建图片CP’(t+h”)执行运动补偿(S214)。 在这种情况下，运动补偿单元214使用从当前帧到步骤S208中所获得的关键 帧的运动矢量、单元块大小、参考帧信息等。如果在步骤S212中确定运动补 偿的执行是不可能的，运动补偿单元214将被放大图片MP(t+h)输出，作为被 创建图片CP(t+h)(S216)。
然后，图像生成电路202将参数b加1(S218)，并且再次执行从步骤S206 起的处理。图像生成电路202顺序地执行运动补偿，但是在运动补偿期间执 行差分图像确定的同时来确定运动补偿的执行是否是可能的。由此，图像生 成电路202可以抑制由于运动补偿在被创建图片CP(t+h)中生成噪声。
可以使用下面所述的信息处理设备，通过预定的程序来实现图像处理装 置100的每一配置元件所实现的功能。
[硬件配置]
可以由具有图7中所示的硬件配置的信息处理设备来实现图像处理装置 100的功能。图7是示出能够实现图像处理装置100的每一配置元件的功能 的信息处理设备的硬件配置示例的说明性视图。
如图7中所示，该信息处理设备主要是由CPU(中央处理单元)902、ROM (只读存储器)904、RAM(随机存取存储器)906、主机总线908、桥接器910、 外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱 动器922、连接端口924以及通信单元926来配置。
CPU 902用作计算处理设备或者控制设备，其基于记录在ROM 904、 RAM 906、存储单元920或者可移动式记录介质928中的各种类型的程序来 控制每一组件的全部或者部分操作。ROM 904存储将要由CPU 902读取的程 序、计算中所使用的数据等。RAM 906暂时或永久存储将要由CPU 902读取 的程序、在执行程序时适当改变的各种参数等。这些组件通过使得能够进行 高速数据传输的主机总线908相互连接。主机总线908经由桥接器910连接 至数据传输速度相对较低的外部总线912。
输入单元916是诸如鼠标、键盘、触摸板、按钮、开关、控制杆等之类 的操作部件。输入单元916可以是能够使用红外光或其他电波来传送控制信 号的遥控器部件。输入单元916由用于将使用操作部件输入的信息作为输入 信号传送至CPU 902的输入控制电路等配置。
输出单元918是能够在视觉上或知觉上向用户通知所获取的信息的设 备，诸如包括CRT(阴极射线管)、LCD(液晶显示器)、PDP(等离子显示面板) 或ELD(电致发光显示器)在内的显示设备，包括扬声器或耳机在内的音频输 出设备，打印机，便携式电话，传真机等。
存储单元920是用于存储各种类型的数据的设备，其由磁存储设备(诸如 硬盘驱动器(HDD)、半导体存储设备、光学存储设备、磁光存储设备等)配置。
驱动器922是用于读出可移动式记录介质928(诸如磁盘、光盘、磁光盘 或半导体存储器)上所记录的信息或者将信息写入至可移动式记录介质928的 设备。可移动式记录介质928可以是DVD介质、蓝光介质、HD-DVD介质、 致密闪存(注册商标)、存储棒、SD存储卡(安全数字存储卡)等。可移动式记 录介质928也可以是安装有非接触型IC芯片的IC卡(集成电路卡)、电子设备 等。
连接端口924是USB(通用串行总线)端口、IEEE 1394端口、SCSI(小型 计算机系统接口)、RS-232C端口、或者诸如光学音频端子之类的用于连接外 部连接设备930的端口。外部连接设备930可以是打印机、便携式音乐播放 器、数字相机、数字视频相机、IC记录器等。
通信单元926是用于连接至网络932的通信设备，并且可以是有线或无 线LAN(局域网)、蓝牙(注册商标)或WUSB(无线USB)通信卡、光学通信路由 器、ADSL(非对称数字用户线)路由器或各种类型的通信调制解调器。连接至 通信单元926的网络932由有线或无线连接网络来配置，其包括因特网、内 部LAN、红外通信、广播、卫星通信等。
本领域技术人员应理解，取决于设计要求和其他因素，可以发生各种修 改、组合、部分组合及变更，只要其在所附权利要求或其等效的范围内即可。
例如，在上述实施例的描述中，已经主要描述了参考反向帧执行运动预 测和运动补偿的方法，但是本发明的技术范围不限于此，可以参考正向帧或 者正向和反向帧执行运动预测和运动补偿。
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，包含：
接收单元，用于接收包括多个帧的第一视频数据，以及具有比包括在所 述第一视频数据中的所述帧更高的分辨率的第二视频数据；
运动预测单元，用于检测所述接收单元接收到的所述第一视频数据中包 括的各帧之间的运动矢量；以及
图像生成单元，用于基于所述接收单元接收到的所述第二视频数据和所 述运动预测单元检测到的所述运动矢量，对位于所述接收单元接收到的所述 第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行 运动补偿，并且基于所述经运动补偿的帧和所述运动预测单元检测到的所述 运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
2.如权利要求1所述的图像处理装置，其中，所述图像生成单元从对应 于接近所述第二视频数据的时间的帧起依次执行运动补偿，并且基于所述经 运动补偿的帧和所述运动矢量顺序生成对应于所述预定帧的经运动补偿的图 像数据。
3.如权利要求1所述的图像处理装置，进一步包含：
存储单元，用于存储所述第一视频数据和所述第二视频数据，
其中，所述接收单元从所述存储单元接收所述第一视频数据和所述第二 视频数据。
4.如权利要求1所述的图像处理装置，其中
所述第一视频数据具有比所述第二视频数据更低的空间分辨率，以及
所述第二视频数据具有比所述第一视频数据更高的空间分辨率。
5.如权利要求3所述的图像处理装置，其中，所述存储单元将通过下采 样成像的图像信号所获得的图像数据存储为所述第一视频数据。
6.如权利要求1所述的图像处理装置，其中，如果所述第一视频数据中 包括的预定帧和所述第二视频数据中包括的预定帧之间的差异量小于预定 值，那么所述图像生成单元在不对所述第二视频数据执行运动补偿的情况下 输出对应于所述预定帧的图像数据。
7.如权利要求1所述的图像处理装置，其中
所述第一视频数据具有比所述第二视频数据更高的时间分辨率，以及
所述第二视频数据具有比所述第一视频数据更低的时间分辨率。
8.如权利要求3所述的图像处理装置，其中，所述存储单元包括，
第一存储单元，用于存储所述第一视频数据，以及
第二存储单元，用于存储所述第二视频数据。
9.如权利要求3所述的图像处理装置，进一步包含：记录单元，用于将 所述第一视频数据和所述第二视频数据记录在所述存储单元中。
10.如权利要求5所述的图像处理装置，进一步包含：成像单元，用于 成像景物的图像并且生成图像信号。
11.一种图像处理方法，包含以下步骤：
接收包括多个帧的第一视频数据，以及具有比包括在所述第一视频数据 中的所述帧更高的分辨率的第二视频数据；
检测在所述接收步骤中接收到的所述第一视频数据中包括的各帧之间的 运动矢量；以及
基于在所述接收步骤中接收到的所述第二视频数据和在所述运动预测步 骤检测到的所述运动矢量，对位于在所述接收步骤中接收到的所述第一视频 数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行运动补 偿，并且基于所述经运动补偿的帧和在所述运动预测步骤中检测到的所述运 动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
12.一种用于使得计算机执行图像处理装置中的每一单元的功能的程 序，其中所述图像处理装置包含：
接收单元，其用于接收包括多个帧的第一视频数据，以及具有比包括在 所述第一视频数据中的所述帧更高的分辨率的第二视频数据；
运动预测单元，其用于检测所述接收单元接收到的所述第一视频数据中 包括的各帧之间的运动矢量；以及
图像生成单元，其用于基于所述接收单元接收到的所述第二视频数据和 所述运动预测单元检测到的所述运动矢量，对位于所述接收单元接收到的所 述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执 行运动补偿，并且基于所述经运动补偿的帧和所述运动预测单元检测到的所 述运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
(高分辨率图像的生成方法)
首先，在描述根据本发明实施例的图像处理装置和图像处理方法之前， 参考图1简要地描述使用这样的图像数据序列(在下文中称为运动图像数据) 的构想：在所述图像数据序列中，连续地记录低空间分辨率的图像，并且与 包含在运动图像数据中的适当帧(在下文中称为LRP(低分辨率图片))对应地 离散地记录高空间分辨率的图像数据(在下文中称为静止图像数据或HRP(高 分辨率图片))，以便生成与包括在运动图像数据中的任意帧对应的高空间分辨 率的图像数据(在下文中称为CP(被创建图片)或高分辨率被创建图片)。图1 是示出高分辨率图像的生成方法的一个示例的说明性视图。
在图1中图示了高分辨率图片HRP(t)、低分辨率图片LRP(t)、LRP(t+h)、 被放大图片MP(t)、MP(t+h)以及被创建图片CP(t+h)。括号中的字符表示拍摄 时间。例如，被创建图片CP(t+h)表示与在时间t+h处拍摄的低分辨率图片 LRP(t+h)对应的被创建图片。
被创建图片CP是通过使用这样的运动矢量执行运动补偿创建的图像数 据，所述运动矢量是使用低分辨率图片LRP和高分辨率图片HRP检测到的。 如图1中所示，使用通过放大低分辨率图片LRP(t)所创建的被放大图片MP(t) 以及放大低分辨率图片LRP(t+h)所创建的被放大图片MP(t+h)来检测时间t 和时间t+h之间的运动矢量(MV)(S1)。然后，基于运动矢量MV，提取出与低 分辨率图片LRP(t)的参考块(BLK)对应的高分辨率图片HRP(t)的参考块。然 后，以预定比率将参考块的像素和被放大图片MP(t+h)的像素进行组合，以便 创建被创建图片(CP(t+h))(S2)。
在上述示例中，使用本质上不同的图像执行运动预测和运动补偿。通过 放大低分辨率图片LRP(t)而创建的被放大图片MP放大与高分辨率图片 HRP(t)相同的空间分辨率，但是相比于高分辨率图片HRP(t)，其缺少高频分 量。由此，在使用被放大图片MP所检测到的运动矢量和高分辨率图片HRP 必须要具有的运动矢量中可能出现偏差。具体地，如果运动预测的精度较低， 那么高分辨率图片HRP中的参考块的位置移动(shift)，由此向通过运动补 偿所创建的被创建图片CP的高频分量添加了显著的噪声。
由此，期望这样的设计：在基于具有彼此不同的空间分辨率的多个图像 数据执行运动补偿时，抑制由于运动补偿而添加噪声。当拍摄高分辨率图片 HRP(t)的时间t和被创建图片CP(t+h)要被创建的时间t+h相距较远时，运动 矢量的误差变得很大。由此，期望在时间间隔h很大时获得高清晰度的被创 建图片CP(t+h)的设计。
如在下文中所述的那样，根据本发明一个实施例的图像处理装置首先对 在接近于拍摄高分辨率图片HRP(t)的时间t的时间处拍摄的低分辨率图片 LRP(t+h”)执行运动预测和运动补偿，以便生成临时(tentative)的被创建图片 CP’(t+h”)，并且进一步基于该临时的被创建图片CP’(t+h)执行运动预测和运 动补偿。通过顺序地重复这种处理，可以高精度地生成期望时间t+h处的被 创建图片CP(t+h)。这是由于在执行一个运动预测时所参考的各帧之间的时间 间隔较短，并且运动预测的精度提高。下面将描述图像处理装置的特定功能 配置。
<实施例>
下面详细描述根据本发明一个实施例的图像处理装置100。
[图像处理装置100的装置配置]
首先，参考图2描述根据本实施例的图像处理装置100的装置配置。图 2是示出根据本实施例的图像处理装置100的装置配置的一个示例的说明性 视图。
如图2中所示，图像处理装置100主要包括成像镜头102、成像元件104、 相机信号处理块110、运动图像记录和再现块120、静止图像记录和再现块 130、图像生成电路202、帧存储器204、图像生成定时控制器106和显示电 路108。
成像镜头102是用于通过采集光来形成景物的图像(在下文中称为已采 集图像)的光学镜头。成像元件104是用于将成像镜头102所采集的光转换为 电信号的光电元件。诸如CCD图像传感器(电荷耦合器件图像传感器)和 CMOS图像传感器(互补金属氧化物半导体图像传感器)之类的半导体元件用 于成像元件104。
成像元件104具有比运动图像数据的空间分辨率的有效像素数目更多的 像素数目。显示电路108使得显示设备(未示出)在记录或再现图像数据时或者 在检查图像数据时显示图像数据。图像生成定时控制器106是操作者在再现 运动图像数据的同时作出指令来获取静止图像数据的设备。
(相机信号处理块110)
如图2中所示，相机信号处理块110包括A/D转换器112和数字信号处 理电路114。
A/D转换器112是用于将输入的模拟信号转换为数字信号并且将其输出 的模数转换器。A/D转换器112将从成像元件104输入的已采集图像的模拟 信号转换为数字信号，并且将其输出至数字信号处理电路114。数字信号处 理电路114对从A/D转换器112输入的已采集图像的数字信号(在下文中称为 图像数据)执行诸如白平衡调节和伽玛校正之类的处理。
(运动图像记录和再现块120)
如图2中所示，运动图像记录和再现块120包括图像密度转换电路126、 运动图像压缩/解压缩电路124和存储单元122。
图像密度转换电路126在记录运动数据图像时，对从数字信号处理电路 114输入的图像数据序列(运动图像数据)执行抽取(decimation)处理(例如，帧 间差分编码等)。图像密度转换电路126将抽取处理之后的运动图像数据输出 至运动图像压缩/解压缩电路124。运动图像压缩/解压缩电路124对从图像密 度转换电路126输入的抽取后的运动图像数据执行压缩处理，并且将压缩后 的运动图像数据记录在存储单元122中。
当再现运动图像数据时，运动图像压缩/解压缩电路124读出在存储单元 122中记录的运动图像数据，并且对其执行解压缩处理。运动图像压缩/解压 缩电路124将解压缩后的运动图像数据输出至图像密度转换电路126。图像 密度转换电路126对从运动图像压缩/解压缩电路124输入的运动图像数据执 行内插处理(例如，恢复差异的数据(differenced data))。
(静止图像记录和再现块130)
如图2中所示，静止图像记录和再现块130包括静止图像压缩/解压缩电 路134和存储单元132。存储单元132可以通过使用与存储单元122共同的 存储设备来实现该功能。
当记录静止图像数据时，静止图像压缩/解压缩电路134对从数字信号处 理电路114输入的图像数据执行压缩处理，并且记录在存储单元132中。当 再现静止图像数据时，静止图像压缩/解压缩电路134读出在存储单元122中 记录的图像数据，并且对其执行解压缩处理。
(图像生成电路202)
虽然未清楚地示出在图中，但是图像生成电路202包括运动预测单元212 和运动补偿单元214。运动补偿单元214用作图像生成单元。
运动预测单元212通过对运动图像记录和再现块120传送的运动图像数 据执行各帧之间的运动预测，来检测运动矢量。例如，运动预测单元212选 择在与预定时间处记录的帧最接近的时间处所记录的静止图像数据。运动预 测单元212通过在对应于静止图像数据的帧和预定时间处所记录的帧之间执 行运动预测，来检测各帧之间的运动矢量。在这种情况下，运动预测单元212 将每一帧(LRP)放大以便参考转换到被放大图片(MP)，并且检测相关的被放大 图片之间的运动矢量。
作为另一示例，运动预测单元212可以提取与预定时间处所记录的帧接 近的时间点处所记录的多个静止图像数据，然后选择对应于静止图像数据的、 与预定时间处记录的帧最靠近的帧。通过在对应于所选静止图像数据的帧与 预定时间处记录的帧之间执行运动预测，运动预测单元212可以检测各帧之 间的运动矢量。运动预测单元212可以在不放大每一帧(LRP)的情况下来检测 各帧之间的运动矢量，并且放大运动矢量以便适配于被创建图片(CP)的空间 分辨率。
运动补偿单元214基于运动预测单元212输入的运动矢量信息和静止图 像记录和再现块130输入的静止图像数据，执行运动补偿。例如，运动补偿 单元214基于运动矢量，指定与预定时间处记录的帧的参考块对应的静止图 像数据的参考块。运动补偿单元214通过以预定比率、将所指定的静止图像 数据参考块和预定时间处记录的帧的参考块进行组合，生成图像数据(被创建 图片CP’)。
当生成被创建图片CP(t+h)时，图像生成电路202将过去所生成的被创建 图片CP’(t+h”)(t＜h”＜h)形成(develop)在帧存储器204中。即，如图3中所示， 图像生成电路202一旦使用在时间上接近于高分辨率图片HRP(t)的被放大图 片MP(t+h”)，生成中间被创建图片CP’(t+h”)，而不是使用高分辨率图片HRP(t) 来直接生成被创建图片CP(t+h)，并且将这种被创建图片CP’(t+h”)保存在帧 存储器204中以便进行使用。图像生成电路202在被放大图片MP(t+h)和 MP(t+h”)之间执行运动预测，并且基于检测到的运动矢量和中间被创建图片 CP’(t+h”)，生成期望的被创建图片CP(t+h)。然后将被创建图片CP(t+h)输出 至显示电路108。
当将被创建图片CP’(t+h”)存储在帧存储器中时，图像生成电路202可以 根据要使用的处理单元来改变存储的方法。例如，可以存储整个图像，或者 仅保存具有运动的像素区域以便节省存储量。
此外，当生成被创建图片CP’或CP时，图像生成电路202可以监控与被 创建图片CP’或CP对应的被放大图片MP和参考目的地的图像的差异量。如 果高分辨率图片HRP和被放大图片MP的差异量较小，那么图像生成电路202 按照其原样来输出高分辨率图片HRP作为被创建图片CP’或CP。类似地， 如果被创建图片CP’和被放大图片MP的差异量较小，那么图像生成电路202 可以按照其原样来输出被创建图片CP’作为被创建图片CP。这些情况是诸如 在拍摄完全固定的景物时出现的情形。
当被创建图片CP和高分辨率图片HRP的记录时间距离较远时，根据本 实施例的图像生成电路202根据与高分辨率图片HRP的记录时间接近的时间 所对应的被放大图片MP，顺序地生成中间被创建图片CP’。此外，图像生成 电路202使用中间被创建图片CP’执行运动补偿，并且顺序地生成中间被创 建图片CP’，以便最终获得高清晰度的被创建图片CP。
[图像数据的记录操作]
下面简要描述根据本实施例的图像处理装置100对于图像数据的记录操 作。
首先，操作者向图像处理装置100指令记录操作的开始(S10)。响应于该 指令，图像处理装置100开始配置运动图像数据的帧的持续记录(S12)。图像 处理装置100通过成像镜头102获取已采集图像(S14)。图像处理装置100通 过成像元件104对已采集图像执行光电转换，以便生成模拟信号(S16)。图像 处理装置100将该模拟信号输入至A/D转换器112，以便转换为数字信号 (S18)。然后，图像处理装置100将数字信号输入至数字信号处理电路114， 并且对与这种数字信号对应的图像数据执行诸如白平衡调节和伽玛校正之类 的处理(S20)。根据这些处理，图像处理装置100可以累积图像数据，并且形 成运动图像数据。
图像处理装置100通过图像密度转换电路126对运动图像数据执行抽取 处理(S22)。当执行步骤S22时，获得每一视频信号格式(诸如NTSC(国家电 视标准委员会)方法、PAL(逐行倒相)方法或者ISDB(综合服务数字广播)方法) 的有效像素的数目。然后，图像处理装置100通过运动图像压缩/解压缩电路 124对经历了抽取处理的运动图像数据进行压缩处理(S24)，并且在存储单 元122中进行记录(S25)。图像处理装置100还以预定的时间间隔来间歇地获 取图像数据(静止图像数据)并通过静止图像压缩/解压缩电路134执行压缩处 理(S32)，并且在存储单元132中进行存储(S34)。
[图像数据的再现操作]
下面简要描述根据本实施例的图像处理装置100对于图像数据的再现操 作。
操作员通过使用图像生成定时控制器106，向图像处理装置100指令再 现操作的开始(S50)。响应于该指令，图像处理装置100开始生成具有比运动 图像数据更高空间分辨率且未记录静止图像数据的记录时间点的高图像质量 图像数据。图像处理装置100读出压缩处理后记录在存储单元122中的运动 图像数据(S54)，并且通过运动图像压缩/解压缩电路124执行解压缩处理 (S56)。然后，图像处理装置100通过图像密度转换电路126来对经历了解压 缩处理的运动图像数据执行内插处理(S58)。根据步骤S58，将运动图像数据 的每一帧转换为与静止图像数据具有相同像素数目的图像数据。然后将运动 图像数据传送至图像生成块140(S60)。
然后，图像处理装置100通过静止图像压缩/解压缩电路134来对记录在 存储单元132中的静止图像数据进行读出和解压缩(S72)，并且传送至图像生 成块140(S74)。
(图像生成电路202的操作)
现在参考图3，描述图像生成电路202的处理操作。图3是描述图像生 成电路202的处理操作的说明性视图。
图3示出高分辨率图片HRP(t)、多个低分辨率图片LRP(t)、LRP(t+h”)、 LRP(t+h)、中间被创建图片CP’(t+h”)以及期望的被创建图片CP(t+h)以便对 应于拍摄的时间。图3具体地描述了用于生成与时间t+h的低分辨率图片 LRP(t+h)对应的被创建图片CP(t+h)的处理操作。
假设高分辨率图片HRP具有水平像素数目N、垂直像素数目M和帧速 1/ΔT[fps]。假设低分辨率图片LRP具有水平像素数目n、垂直像素数目m和 帧速1/Δt[fps]。假设每一变量满足关系N≥n，M≥m，ΔT≥t。此外，假设变 量h满足关系0≤h≤ΔT。
下面参考图3的示例描述用于生成时间t+h的被创建图片CP(t+h)的方 法。根据本实施例的图像处理装置100的处理方法不限于此。也可以参考其 他时间t+ΔT的高分辨率图片HRP(t+ΔT)(未示出)，生成被创建图片CP(t+h)。 在这种情况下，图像处理装置100可以根据景物的运动的量度、速度等，执 行用于选择待参考的高分辨率图片HRP的处理。
首先，图像处理装置100通过运动预测单元212，使用低分辨率LRP(t) 和LRP(t+h”)执行运动预测。在这种情况下，运动预测单元212放大低分辨率 图片LRP(t)和LRP(t+h”)，以便生成被放大图片MP(t)和MP(t+h”)。然后，运 动预测单元212将被放大图片MP(t)和MP(t+h”)进行比较，以便检测MP(t) 和MP(t+h”)之间的运动矢量MV。该运动预测方法包括块匹配法、相位相关 法、光流法(optical flow)等。
然后，图像处理装置100通过运动补偿单元214，使用运动矢量MV和 高分辨率图片HRP(t)执行运动补偿。运动补偿单元214使用运动矢量MV来 指定与被放大图片MP(t+h”)的参考块对应的高分辨率图片HRP(t)的参考块。 运动补偿单元214以预定的比率将该参考块与被放大图片MP(t+h”)的参考块 进行组合，并且生成中间被创建图片CP’(t+h”)。
然后，图像处理装置100通过运动预测单元212，使用低分辨率图片 LRP(t+h)和LRP(t+h”)执行运动预测。在这种情况下，运动预测单元212对低 分辨率图片LRP(t+h)进行放大，以便生成被放大图片MP(t+h)。然后，运动 预测单元212将被放大图片MP(t+h”)和MP(t+h)进行比较，以便检测MP(t+h”) 和MP(t+h)之间的运动矢量MV。
然后，图像处理装置100通过运动补偿单元214，使用运动矢量MV和 中间被创建图片CP’(t+h”)执行运动补偿。运动补偿单元214使用运动矢量 MV来指定与被放大图片MP(t+h)的参考块对应的被创建图片CP’(t+h”)的参 考块。运动补偿单元214以预定的比率将该参考块与被放大图片MP(t+h)的参 考块进行组合，并且生成最终的被创建图片CP(t+h)。
如果被创建图片CP(t+h)和高分辨率图片HRP(t)之间的时间间隔h非常 短，那么即使使用这种高分辨率图片HRP(t)执行运动补偿，也几乎不会由于 运动预测精度而在被创建图片CP(t+h)中生成噪声。然而，如果时间间隔h很 长，那么在高分辨率图片HRP中所包含的高频分量的信息中生成噪声的可能 性较高。即，存在这样的可能性：取决于运动预测的精度，运动补偿中所使 用的高分辨率图片HRP的参考块和与其对应的被放大图片MP的参考块之间 的相关性可能降低。
通常，运动预测的处理使得越精确地执行运动预测，则景物的运动越少， 即，从预测源到预测目的地的时间距离越小。因此，相比于在从被放大图片 MP(t+h)到被放大图片MP(t)所执行的运动预测中的预测精度，在从被放大图 片MP(t+h”)到被放大图片MP(t)所执行的运动预测中的预测精度显然更加令 人满意。由此，相比于通过使用从被放大图片MP(t+h)到被放大图片MP(t)的 运动预测结果而生成的被创建图片的质量，通过使用从被放大图片MP(t+h”) 到被放大图片MP(t)的运动预测结果生成的被创建图片CP’(t+h”)的质量更 高。
此外，如图4的示例中所示，当生成被创建图片CP’或CP时，图像生成 电路202也可以参考除了位于时间上的后方的图像之外的图像。已经描述了 参考位于时间上的后方的图像执行运动预测和运动补偿的示例，但是可以参 考位于前方的图像。可以参考前后图像两者。图像生成电路202也可以参考 位于时间上的前方或后方的多个图像，生成被创建图片CP’和CP。图像生成 电路202也可以以非常精确的时间间隔执行用于顺序地生成中间被创建图片 CP’的处理，以便达到最终的被创建图片CP。
在根据本实施例的图像生成电路202中可以作出各种修改。例如，如果 高分辨率图片HRP(t+ΔT)存在于时间t+ΔT(h＜ΔT)处，那么图像生成电路202 将基于高分辨率图片HRP(t+ΔT)从前方运动补偿的被创建图片CP与利用上 述方法通过从后方顺序运动补偿的被创建图片CP进行比较，从而选择了更 高图像质量的图像。鉴于对于选择等的应用，图像生成电路202可以将预定 时间t、t+h”、t+ΔT处的被放大图片MP(t)、MP(t+h”)、MP(t+ΔT)等进行 比较，并且监控其差值。
在运动预测中，图像生成电路202可以组合双向预测处理。即，图像生 成电路202对多个预测源执行基于运动矢量的运动补偿，并且对运动补偿的 像素值进行加权和平均。作为简单的示例，关于预测源像素A和预测源像素 B，根据等式(1)得到预测后的像素C。
C＝(A+B)/2 (1)
这是采用加权比例相同的平均值的方法。通常，相比于非双向预测，在 双向预测中可以降低差分能量(differential energy)。其与诸如MPEG(运动图片 专家组)之类的图像压缩技术相关联地被广泛已知。同样在本实施例中，通过 组合和使用双向预测来作出提高被创建图片CP的质量的考虑。可以在时间 上与H.264等中已知的双向预测技术中相同的方向(正向或反向)上设置两个 矢量的预测方向。
在生成被创建图片CP时，将采用两个高分辨率图片HRP(t)和HRP(t+ΔT) 的平均并且使用被创建图片CP(t+h)的生成图像的方法视为相对简单的双向 预测的方法。这种方法对于景物是固定的并且包含了渐变(fade)的视频是有效 的。
如果景物包括运动对象，那么图像生成电路202可以对被放大图片 MP(t+h)、MP(t+h”)、MP(t)执行双向预测，并且基于高分辨率图片HRP(t)和 HRP(t+ΔT)执行运动补偿。图像生成电路202可以通过使用被放大图片 MP(t+h)和MP(t)之间的景物的运动信息、MP(t+h)和MP(t+ΔT)之间的景物的 运动信息、或者多个中间生成的被创建图片CP’的高频分量，来提高被创建 图片CP(t+h)的图像质量。
此外，如图5中所示，当生成被创建图片CP时，图像生成电路202可 以通过基于中间生成的被创建图片CP’和对应于该被创建图片CP的被放大图 片MP经运动补偿的图像的差值来确定运动预测的精度，并且在运动预测的 精度较低时按照原样将被放大图片P输出，作为被创建图片CP。
(图像处理方法)
现在参考图6描述根据本实施例的图像处理方法。图6是描述根据本实 施例的图像生成处理的流程的说明性视图。
首先，运动预测单元212将低分辨率图片LLRP进行放大，以便生成具 有与高分辨率图片HRP相同的空间分辨率的被放大图片MP(S202)。然后， 将表示参考块的位置的参数b进行初始化(S204)。然后确定参数b是否超过 了参数b的最大值b_max(S206)。这里，b_max是帧中所包含的块的数目。
如果b≥b_max，那么图像生成电路202终止图像生成处理。如果 b≤b_max，那么运动预测单元212执行从当前帧(MP(t+h”))到关键帧(MP(t)) 或者从当前帧(MP(t+h))到已经从其生成高分辨率图像的帧(MP(t+h”))的运动 预测(S208)。运动预测的参考帧取决于顺序执行的运动预测的参考源帧的位 置。然后，图像生成电路202基于预测残留信号的量度来确定运动补偿的执 行是否可能(S210)。
如果在步骤S210中确定运动补偿的执行是不可能的，那么运动补偿单元 214将步骤S202的被放大图片MP(t+h)输出作为被创建图片CP(t+h)(S216)。 如果在步骤S210中确定运动补偿的执行是可能的，那么运动补偿单元214使 用与关键帧对应的高分辨率图片HRP(t)和被放大图片MP(t+h)，执行差分图 像(differential image)确定(关于“D＞Th”或“D≤Th”的确定：见图5)，并且 确定运动补偿的执行是否是可能的(S212)。
如果在步骤S212中确定运动补偿的执行是可能的，那么运动补偿单元 214使用高分辨率图像HRP(t)或者被创建图片CP’(t+h”)执行运动补偿(S214)。 在这种情况下，运动补偿单元214使用从当前帧到步骤S208中所获得的关键 帧的运动矢量、单元块大小、参考帧信息等。如果在步骤S212中确定运动补 偿的执行是不可能的，运动补偿单元214将被放大图片MP(t+h)输出，作为被 创建图片CP(t+h)(S216)。
然后，图像生成电路202将参数b加1(S218)，并且再次执行从步骤S206 起的处理。图像生成电路202顺序地执行运动补偿，但是在运动补偿期间执 行差分图像确定的同时来确定运动补偿的执行是否是可能的。由此，图像生 成电路202可以抑制由于运动补偿在被创建图片CP(t+h)中生成噪声。
可以使用下面所述的信息处理设备，通过预定的程序来实现图像处理装 置100的每一配置元件所实现的功能。
[硬件配置]
可以由具有图7中所示的硬件配置的信息处理设备来实现图像处理装置 100的功能。图7是示出能够实现图像处理装置100的每一配置元件的功能 的信息处理设备的硬件配置示例的说明性视图。
如图7中所示，该信息处理设备主要是由CPU(中央处理单元)902、ROM (只读存储器)904、RAM(随机存取存储器)906、主机总线908、桥接器910、 外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱 动器922、连接端口924以及通信单元926来配置。
CPU 902用作计算处理设备或者控制设备，其基于记录在ROM 904、 RAM 906、存储单元920或者可移动式记录介质928中的各种类型的程序来 控制每一组件的全部或者部分操作。ROM 904存储将要由CPU 902读取的程 序、计算中所使用的数据等。RAM 906暂时或永久存储将要由CPU 902读取 的程序、在执行程序时适当改变的各种参数等。这些组件通过使得能够进行 高速数据传输的主机总线908相互连接。主机总线908经由桥接器910连接 至数据传输速度相对较低的外部总线912。
输入单元916是诸如鼠标、键盘、触摸板、按钮、开关、控制杆等之类 的操作部件。输入单元916可以是能够使用红外光或其他电波来传送控制信 号的遥控器部件。输入单元916由用于将使用操作部件输入的信息作为输入 信号传送至CPU 902的输入控制电路等配置。
输出单元918是能够在视觉上或知觉上向用户通知所获取的信息的设 备，诸如包括CRT(阴极射线管)、LCD(液晶显示器)、PDP(等离子显示面板) 或ELD(电致发光显示器)在内的显示设备，包括扬声器或耳机在内的音频输 出设备，打印机，便携式电话，传真机等。
存储单元920是用于存储各种类型的数据的设备，其由磁存储设备(诸如 硬盘驱动器(HDD)、半导体存储设备、光学存储设备、磁光存储设备等)配置。
驱动器922是用于读出可移动式记录介质928(诸如磁盘、光盘、磁光盘 或半导体存储器)上所记录的信息或者将信息写入至可移动式记录介质928的 设备。可移动式记录介质928可以是DVD介质、蓝光介质、HD-DVD介质、 致密闪存(注册商标)、存储棒、SD存储卡(安全数字存储卡)等。可移动式记 录介质928也可以是安装有非接触型IC芯片的IC卡(集成电路卡)、电子设备 等。
连接端口924是USB(通用串行总线)端口、IEEE 1394端口、SCSI(小型 计算机系统接口)、RS-232C端口、或者诸如光学音频端子之类的用于连接外 部连接设备930的端口。外部连接设备930可以是打印机、便携式音乐播放 器、数字相机、数字视频相机、IC记录器等。
通信单元926是用于连接至网络932的通信设备，并且可以是有线或无 线LAN(局域网)、蓝牙(注册商标)或WUSB(无线USB)通信卡、光学通信路由 器、ADSL(非对称数字用户线)路由器或各种类型的通信调制解调器。连接至 通信单元926的网络932由有线或无线连接网络来配置，其包括因特网、内 部LAN、红外通信、广播、卫星通信等。
本领域技术人员应理解，取决于设计要求和其他因素，可以发生各种修 改、组合、部分组合及变更，只要其在所附权利要求或其等效的范围内即可。
例如，在上述实施例的描述中，已经主要描述了参考反向帧执行运动预 测和运动补偿的方法，但是本发明的技术范围不限于此，可以参考正向帧或 者正向和反向帧执行运动预测和运动补偿。
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，包含：
接收单元，用于接收包括多个帧的第一视频数据，以及具有比包括在所 述第一视频数据中的所述帧更高的分辨率的第二视频数据；
运动预测单元，用于检测所述接收单元接收到的所述第一视频数据中包 括的各帧之间的运动矢量；以及
图像生成单元，用于基于所述接收单元接收到的所述第二视频数据和所 述运动预测单元检测到的所述运动矢量，对位于所述接收单元接收到的所述 第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行 运动补偿，并且基于所述经运动补偿的帧和所述运动预测单元检测到的所述 运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
2.如权利要求1所述的图像处理装置，其中，所述图像生成单元从对应 于接近所述第二视频数据的时间的帧起依次执行运动补偿，并且基于所述经 运动补偿的帧和所述运动矢量顺序生成对应于所述预定帧的经运动补偿的图 像数据。
3.如权利要求1所述的图像处理装置，进一步包含：
存储单元，用于存储所述第一视频数据和所述第二视频数据，
其中，所述接收单元从所述存储单元接收所述第一视频数据和所述第二 视频数据。
4.如权利要求1所述的图像处理装置，其中
所述第一视频数据具有比所述第二视频数据更低的空间分辨率，以及
所述第二视频数据具有比所述第一视频数据更高的空间分辨率。
5.如权利要求3所述的图像处理装置，其中，所述存储单元将通过下采 样成像的图像信号所获得的图像数据存储为所述第一视频数据。
6.如权利要求1所述的图像处理装置，其中，如果所述第一视频数据中 包括的预定帧和所述第二视频数据中包括的预定帧之间的差异量小于预定 值，那么所述图像生成单元在不对所述第二视频数据执行运动补偿的情况下 输出对应于所述预定帧的图像数据。
7.如权利要求1所述的图像处理装置，其中
所述第一视频数据具有比所述第二视频数据更高的时间分辨率，以及
所述第二视频数据具有比所述第一视频数据更低的时间分辨率。
8.如权利要求3所述的图像处理装置，其中，所述存储单元包括，
第一存储单元，用于存储所述第一视频数据，以及
第二存储单元，用于存储所述第二视频数据。
9.如权利要求3所述的图像处理装置，进一步包含：记录单元，用于将 所述第一视频数据和所述第二视频数据记录在所述存储单元中。
10.如权利要求5所述的图像处理装置，进一步包含：成像单元，用于 成像景物的图像并且生成图像信号。
11.一种图像处理方法，包含以下步骤：
接收包括多个帧的第一视频数据，以及具有比包括在所述第一视频数据 中的所述帧更高的分辨率的第二视频数据；
检测在所述接收步骤中接收到的所述第一视频数据中包括的各帧之间的 运动矢量；以及
基于在所述接收步骤中接收到的所述第二视频数据和在所述运动预测步 骤检测到的所述运动矢量，对位于在所述接收步骤中接收到的所述第一视频 数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行运动补 偿，并且基于所述经运动补偿的帧和在所述运动预测步骤中检测到的所述运 动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
12.一种用于使得计算机执行图像处理装置中的每一单元的功能的程 序，其中所述图像处理装置包含：
接收单元，其用于接收包括多个帧的第一视频数据，以及具有比包括在 所述第一视频数据中的所述帧更高的分辨率的第二视频数据；
运动预测单元，其用于检测所述接收单元接收到的所述第一视频数据中 包括的各帧之间的运动矢量；以及
图像生成单元，其用于基于所述接收单元接收到的所述第二视频数据和 所述运动预测单元检测到的所述运动矢量，对位于所述接收单元接收到的所 述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执 行运动补偿，并且基于所述经运动补偿的帧和所述运动预测单元检测到的所 述运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。