用以决定插补画面的移动向量的影像处理方法及其相关装置

摘要

本发明公开了一种用以决定插补画面的移动向量的影像处理方法及其相关装置，有助于提升执行画面更新频率转换运作的影像质量。该影像处理方法包含：依据复数个邻近区块的原始移动向量决定一区块的影像差异值；依据一维空间复数连续区块的差异值决定该复数连续区块的左移动向量及右移动向量；依据该复数连续区块的左移动向量或右移动向量决定影像覆盖区/影像显露区的起始位置；以及依据该起始位置及前一插补画面的影像覆盖区/影像显露区的起始位置，选择影像覆盖区/影像显露区中各区块的左移动向量或该右移动向量作为该移动向量。

权利要求

1.一种影像处理方法，用于进行运动画面插补时，决定一插补画面的影像覆盖区/影像显露区的移动向量，该插补画面由复数个区块所组成，其特征在于，该影像处理方法包含有：依据复数个邻近区块的复数原始移动向量，决定一区块的一影像差异值；

依据一维空间复数连续区块复数邻近区块的复数影像差异值，决定该一维空间复数连续区块的复数左移动向量及复数右移动向量；

依据该一维空间复数连续区块的该些左移动向量或该些右移动向量，决定该插补画面的影像覆盖区/影像显露区的一起始位置；以及依据该起始位置及一前一插补画面的影像覆盖区/影像显露区的一起始位置，选择该插补画面的影像覆盖区/影像显露区中每一区块的一相对应左移动向量或一相对应右移动向量作为每一区块的移动向量。

2.如权利要求1所述的影像处理方法，其特征在于，该些原始移动向量系依据一前一原始画面及一后一原始画面进行区块比对所获得。

3.如权利要求1所述的影像处理方法，其特征在于，决定该插补画面的影像覆盖区/影像显露区的该起始位置的步骤包含有：利用该些左移动向量及该些右移动向量的其中之一，来计算该些连续区块所对应的复数个区块比对差值；以及依据该些区块比对差值的数值变化来决定该起始位置。

4.如权利要求1所述的影像处理方法，其特征在于，选择该该插补画面的影像覆盖区/影像显露区中每一区块的该相对应左移动向量或该相对应右移动向量作为每一区块的该移动向量的步骤包含有：参考该插补画面的该起始位置与该前一插补画面的该起始位置来产生一参考向量；以及比较该参考向量与该插补画面的影像覆盖区/影像显露区中每一区块的该 相对应左、右移动向量；以及当该参考向量相近于该相对应左、右移动向量的其中之一时，选取该相对应左、右移动向量的另一作为该移动向量。

5.一种影像处理方法，用于进行运动画面插补时，决定一插补画面的影像覆盖区/影像显露区的移动向量，该插补画面由复数个区块所组成，其特征在于，该影像处理方法包含有：分别决定该插补画面中一区块的一第一候选向量与一第二候选向量及一前一插补画面中一区块的一第一候选向量与一第二候选向量；

分别利用该插补画面及该前一插补画面的复数第一候选向量与复数第二候选向量的其中之一，以决定该插补画面的影像覆盖区/影像显露区的一起始位置及该前一插补画面的影像覆盖区/影像显露区的一起始位置；以及依据该插补画面中该起始位置及该前一插补画面中该起始位置，决定位于该插补画面的影像覆盖区/影像显露区中该区块的移动向量为该第一候选向量与该第二候选向量其中之一。

6.如权利要求5所述的影像处理方法，其特征在于，决定该插补画面中该区块的该第一、第二候选向量及该前一插补画面中该区块的该第一、第二候选向量的步骤包含有：依据该插补画面/该前一插补画面中该区块的复数个邻近区块的复数原始移动向量，决定该区块的一影像差异值；以及依据一维空间复数连续区块的复数影像差异值，分别决定该复数连续区块的该第一候选向量与该第二候选向量。

7.如权利要求6所述的影像处理方法，其特征在于，该些原始移动向量系依据一前一原始画面及一后一原始画面进行区块比对所获得。

8.如权利要求5所述的影像处理方法，其特征在于，决定该插补画面中该起始位置及该前一插补画面中该起始位置的步骤包含有：利用该插补画面及该前一插补画面的该些第一、第二候选向量的其中之一， 来计算该插补画面中复数个区块所对应的复数个区块比对差值及该前一插补画面中复数个区块所对应的复数个区块比对差值；以及分别依据该插补画面中该些区块比对差值的数值变化与该前一插补画面中该些区块比对差值的数值变化，来决定该插补画面中该起始位置与该前一插补画面中该起始位置。

9.如权利要求5所述的影像处理方法，其特征在于，决定位于该插补画面的影像覆盖区/影像显露区中该区块的移动向量为该第一、第二候选向量其中之一的步骤包含有：参考该插补画面的该起始位置与该前一插补画面的该起始位置来产生一参考向量；以及比较该参考向量与该插补画面的影像覆盖区/影像显露区中该区块的该第一、第二候选向量；以及当该参考向量相近于该第一、第二候选向量的其中之一时，选取该第一、第二候选向量的另一来作为该区块的该移动向量。

10.如权利要求5所述的影像处理方法，其特征在于，决定该插补画面及该前一插补画面中该些区块的该些第一候选向量与该些第二候选向量包含有：依据一区块比对法(block matching algorithm)计算该些区块的复数移动向量；

依据该些区块的该些移动向量，计算一数值曲线；以及

依据该数值曲线来决定该些区块的该些第一候选向量与该些第二候选向量，其中该些第一候选向量系对应至位于该数值曲线的一极大值的左侧的一极小值，以及该些第二候选向量系对应至位于该数值曲线的该极大值的右侧的一极小值。

11.如权利要求5所述的影像处理方法，其特征在于，其另包含有：依据该区块的该第一、第二候选向量之差与该移动向量，决定利用一前一原始画面与一后一原始画面的其中之一进行影像插补。

12.一种影像处理装置，用于进行运动画面插补时，决定一插补画面的影像覆盖区/影像显露区的移动向量，该插补画面由复数个区块所组成，其特征在于，该影像处理装置包含有：一储存单元，用于至少储存该插补画面的一前一原始画面与一后一原始画面以及一前一插补画面的一起始位置；以及一计算单元，耦接至该储存单元，包含有：

一候选向量产生模块，用于决定该插补画面的复数区块的复数第一候选向量与复数第二候选向量；以及一移动向量决定模块，依据该插补画面的该些区块的该些第一候选向量、该些第二候选向量与该前一插补画面的该起始位置，决定位于该插补画面的影像覆盖区/影像显露区的一区块的一移动向量。

13.如权利要求12所述的影像处理装置，其特征在于，该候选向量产生模块包含有：一影像差异值产生模块，依据该区块的复数个邻近区块的复数原始移动向量，决定该区块的一影像差异值；以及一候选向量决定模块，依据一维空间复数连续区块的复数影像差异值，分别决定该些连续区块的复数第一候选向量与复数第二候选向量。

14.如权利要求12所述的影像处理装置，其特征在于，该移动向量决定模块包含有：一起始位置决定模块，利用该插补画面中该些区块的该些第一候选向量及该些第二候选向量的其中之一，来计算该些区块所对应的复数个区块比对差值，并依据该些区块比对差值的数值变化来决定该插补画面的一起始位置；以及一向量选择模块，依据该插补画面的该起始位置与该前一插补画面的该起始位置来产生一参考向量，并比较该参考向量与该插补画面的影像覆盖区/影像显露区中该区块的该第一、第二候选向量，选取该第一、第二候选向量与该参考向量较不相近的其中之一作为该区块的该移动向量。

说明书

用以决定插补画面的移动向量的影像处理方法及其相关装

置

技术领域

[0001] 本发明涉及一种影像处理机制，尤指一种用以决定一插补区块的一移动向量的影像处理方法及其相关装置。

背景技术

[0002] 目前传统影像插补机制在决定一插补画面中一插补区块的移动向量时，系直接以区块比对算法(block matching algorithm)的运算结果来决定其移动向量，并据此产生该插补区块的影像。请参考图1，其系为区块比对算法的操作示意图。如图1所示，影像画面F2、F3系为输入影像中前、后两张的画面，而画面Finter系为传统影像插补机制所产生的一插补画面，A’~L’系代表影像画面F2、F3中的背景影像，图中的虚线箭头系表示背景影像移动的方向，而实线箭头则表示一前景物体移动的方向，在影像画面F2中F’~I’的背景影像被该前景物体所遮盖住，而在下一张影像画面F3中则是C’~F’的背景影像被该前景物体所遮盖住；由于区块比对算法可在前、后两张影像画面F2、F3中皆可找到背影影像A’、B’、J’、K’、L’，所以，可决定出相对应区块的正确目标移动向量，并将背景影像A’、B’、J’、K’、L’呈现于画面Finter上(如图1所示)；另外，区块比对算法亦可在前、后两张影像画面F2、F3中找到前景物体的影像，因此，可决定出相对应区块的正确目标移动向量，并将前景物体的影像呈现于画面Finter上。

[0003] 然而，在决定区域Rinter与Rinter’内的插补区块的目标移动向量时，理想上区域Rinter与Rinter’内的插补区块的目标移动向量应系为背景移动向量以使得区域Rinter与Rinter’内可呈现出背景影像，例如，区域Rinter理想上应呈现背景影像C’、D’，而区域Rinter’理想上应呈现背景影像H’、I’，然而，实际上，由于区块比对算法在影像画面F3中找不到背景影像C’、D’(已被前景物体所盖住)，而在影像画面F2中找不到背景影像H’、I’(原本被前景物体所盖住)，所以，区块比对算法并无法以一般影像比对的方式决定出正确的移动向量，造成插补区域Rinter、Rinter’实际所呈现的影像失真，当应用于画面更新频率(frame rate)转换时，传统影像插补机制将会大幅降低输出影像的质量。

发明内容

[0004] 本发明所要解决的技术问题是提供一种用以决定插补画面的移动向量的影像处理方法及其相关装置，有助于提升执行画面更新频率转换运作的影像质量。

[0005] 为了解决以上技术问题，本发明提供了如下技术方案：

[0006] 本发明提供一种影像处理方法。该影像处理方法用于进行运动画面插补时决定一插补画面的影像覆盖区/影像显露区的移动向量，其中该插补画面由复数个区块所组成，而该影像处理方法包含有下列步骤：依据复数个邻近区块的复数原始移动向量，决定一区块的一影像差异值；依据一维空间复数连续区块复数邻近区块的复数影像差异值，决定该一维空间复数连续区块的复数左移动向量及复数右移动向量；依据该一维空间复数连续区块的该些左移动向量或该些右移动向量，决定该插补画面的影像覆盖区/影像显露区的一起始位置；以及依据该起始位置及前一张插补画面的影像覆盖区/影像显露区的一起始位置，选择该该插补画面的影像覆盖区/影像显露区中每一区块的相对应左移动向量或其相对应右移动向量作为每一区块的移动向量。

[0007] 本发明提供一种影像处理方法。该影像处理方法系使用于进行运动画面插补时决定一插补画面的影像覆盖区/影像显露区的移动向量，其中该插补画面由复数个区块所组成，而该影像处理方法包含有：分别决定该插补画面中一区块的一第一候选向量与一第二候选向量及一前一插补画面中一区块的第一候选向量与第二候选向量；分别利用该插补画面及该前一插补画面的复数第一候选向量及复数第二候选向量的其中之一，以决定该插补画面的影像覆盖区/影像显露区的一起始位置及该前一插补画面的影像覆盖区/影像显露区的一起始位置；以及依据该插补画面中影像覆盖区/影像显露区的该起始位置及该前一插补画面中影像覆盖区/影像显露区的该起始位置，以决定位于该插补画面的影像覆盖区/影像显露区中该区块的移动向量为该第一候选向量与该第二候选向量其中之一。

[0008] 本发明提供一种影像处理装置。该影像处理装置用于进行运动画面插补时决定一插补画面的影像覆盖区/影像显露区的移动向量，其中该插补画面由复数个区块所组成，而该影像处理装置包含有一储存单元与一计算单元，以及该计算单元更包括一候选向量产生模块及一移动向量决定模块。该储存单元系用于至少储存该插补画面的一前一原始画面与一后一原始画面以及一前一插补画面的一起始位置；该候选向量产生模块系用于决定该插补画面的复数区块的复数第一候选向量与复数第二候选向量；该移动向量决定模块系依据该插补画面的该些区块的该些第一候选向量、该些第二候选向量与该前一插补画面的该起始位置，决定位于该插补画面的影像覆盖区/影像显露区的一区块的移动向量。

[0009] 本发明采用的用以决定插补画面的移动向量的影像处理方法及其相关装置针对插补画面中属于影像覆盖区或影像显露区的区块，可正确地计算出该区块的目标移动向量，使得以该目标移动向量来进行影像插补时可得到较佳的影像，有助于提升执行画面更新频率转换运作的影像质量。

附图说明

[0010] 图1为传统区块比对算法的操作示意图。

[0011] 图2为本发明的影像处理装置的第一实施例的组件示意图。

[0012] 图3(a)为图2所示的影像处理装置的操作流程图。

[0013] 图3(b)为图2所示的影像处理装置的第二实施例的操作流程图。

[0014] 图4为图2所示的计算单元进行画面更新频率转换时所产生的输出影像的示意图。

[0015] 图5(a)为图2所示的计算单元计算代表移动向量变异程度的数值的范例示意图。

[0016] 图5(b)为包含有多个移动向量变异值的第一数值曲线CV的范例示意图。

[0017] 图6(a)为图2所示的计算单元使用候选向量MV1进行区块比对运算所分别计算出的区块比对差值曲线DCV的范例示意图。

[0018] 图6(b)为图2所示的计算单元使用候选向量MV2进行区块比对运算所分别计算出的区块比对差值曲线DCV’的范例示意图。

[0019] 图7为图2所示的计算单元所决定出的起始位置P1~P4与P1’~P4’的范例示意图。

[0020] 【主要组件符号说明】

[0021] 200 影像处理装置 205 计算单元

[0022] 210 储存单元 215 候选向量产生模块

[0023] 220 移动向量决定模块 225 影像产生模块

[0024] 2151 影像差异值产生模块 2152 候选向量决定模块

[0025] 2201 起始位置决定模块 2202 向量选择模块

具体实施方式

[0026] 首先，为方便阅读，以下系将前一张影像画面中并未被前景物体遮住但却在下一张影像画面中被前景物体所遮住的背景影像区域，称作影像覆盖区(covered area)，并将前一张影像画面中被前景物体遮住但却在下一张影像画面中出现(未被前景物体所遮住)的背景影像区域，称作影像显露区(uncovered area)；举例来说，图1所示的背景影像C’、D’、E’系为影像覆盖区，而背景影像G’、H’、I’系为影像显露区；请注意，以上定义仅用以方便说明本发明的实施例的操作，并非本发明的限制。

[0027] 请搭配参照图2与图3(a)，其分别绘示本发明第一实施例的影像处理装置200及其相关操作步骤的流程；为了方便说明，以下系搭配图3(a)的步骤来说明图2的影像处理装置200的操作，需注意的是，倘若大体上可达到相同的结果，并不需要一定照图3(a)所示的流程中的步骤顺序来进行，且图3(a)所示的步骤不一定要连续进行，亦即其它步骤亦可插入其中。如图2所示，影像处理装置200包含有一计算单元205与一储存单元210，影像处理装置200用于进行运动画面插补时决定一插补画面的至少影像覆盖区/影像显露区的移动向量，而该插补画面系由复数个区块所组成；其中储存单元210系用于至少储存一插补画面的前一张原始画面与其后一张原始画面以及前一张插补画面中影像覆盖区/影像显露区的一起始位置(starting position/point)，计算单元205则耦接至储存单元210，并包含一候选向量产生模块215、一移动向量决定模块220与一影像产生模块225，候选向量产生模块215用于决定该插补画面的复数区块的复数第一候选向量(亦称为左移动向量)与复数第二候选向量(亦称为右移动向量)，而移动向量决定模块220系依据该插补画面的该些区块的该些左移动向量、右移动向量与该前一张插补画面的该起始位置，来决定位于该插补画面的影像覆盖区/影像显露区的每一区块的相对应移动向量，以及影像产生模块225系依据移动向量决定模块220所决定的移动向量来产生该插补画面的影像覆盖区/影像显露区中每一区块的影像。

[0028] 详细来说，候选向量产生模块215更包含一影像差异值产生模块2151与一候选向量决定模块2152，影像差异值产生模块2151系依据一区块的复数个邻近区块的复数原始移动向量来决定该区块的一影像差异值(步骤305)，候选向量决定模块2152则依据一维空间复数连续区块的复数影像差异值分别决定该复数连续区块的该些左移动向量与该些右移动向量(步骤310)。此外，移动向量决定模块220则包含一起始位置决定模块2201与一向量选择模块2202，起始位置决定模块2201系利用该插补画面的该复数个区块的该些左移动向量及该些右移动向量的其中之一，来计算该复数个区块所对应的复数个区块比对差值，并依据该些复数个区块比对差值的数值变化来决定该插补画面的该起始位置(步骤315)，以及向量选择模块2202系依据该插补画面的该起始位置与该前一插补画面的该起始位置来产生一参考向量，并比较该参考向量与该插补画面的影像覆盖区/影像显露区中每一区块的该相对应左、右移动向量，选取该相对应左、右移动向量与该参考向量较不相近的其中之一来作为该每一区块的目标移动向量(步骤320)。

[0029] 请注意，第一实施例的原始移动向量系依据前一张原始画面及后一张原始画面进行区块比对所获得，而决定该插补画面的该起始位置的步骤(亦即步骤315)可先利用该些左移动向量及该些右移动向量其中之一，来计算该复数个区块所对应的复数个区块比对差值，接着再依据所计算的该些区块比对差值的数值变化来决定该起始位置，详细操作将于后续说明。值得注意的是，在第一实施例中影像处理装置200并未决定前一插补画面的影像覆盖区/影像显露区的起始位置，换言之，其系假设在已得知前一插补画面的影像覆盖区/影像显露区的起始位置的状况下，仅计算目前该张插补画面中影像覆盖区/影像显露区的起始位置，而不需额外计算前一插补画面的影像覆盖区/影像显露区的起始位置。

[0030] 此外，在本发明的第二实施例中，搭配参照图3(b)的流程图，图2的候选向量产生模块215亦可被设计用来决定一第一插补画面的至少一第一插补区块的候选向量(分别称为左、右移动向量)MV1、MV2(步骤405)，以及决定一第二插补画面的至少一第二插补区块的候选向量MV1’、MV2’(步骤410)，实作上在本实施例中候选向量产生模块215对第一、第二插补画面中的每一插补区块皆产生相对应的两候选向量，每一区块的大小例如包含有8×8的像素范围；此外，移动向量决定模块220系被设计为至少分别使用第一插补区块的一候选向量(例如MV1)与第二插补区块的一候选向量(例如MV1’)来计算第一、第二插补画面的复数个插补区块所对应的复数个区块比对差值(步骤415与步骤420)，并将该等区块比对差值储存至储存单元210中，接着再依据前述该等区块比对差值的数值变化来决定第一插补画面中至少一起始位置与第二插补画面中至少一起始位置(步骤425)，其中该两起始位置系为一影像覆盖区或一影像显露区的边缘位置，移动向量决定模块220会依据第一插补画面中该起始位置与第二插补画面中该起始位置来决定第二插补区块的目标移动向量(步骤430)，其中第一、第二插补画面之间至少存在一非影像插补所产生的画面，亦即，第一插补画面可以是第二插补画面前一张影像插补所产生的画面，举例来说，请参照图
4，其所绘示为图2所示的计算单元205对多个输入影像(图框或图场，在此仅绘示Fn-1、Fn、Fn+1)进行画面更新频率转换(frame rate conversion)以产生多个输出影像，例如，图框Fn-1、Fn、Fn+1等系为60Hz的输入图框，计算单元205系将该等输入图框进行画面更新频率转换以产生具有120Hz的图框；频率60Hz与120Hz非本发明的限制。下述的操作虽以第二实施例为例进行说明，然其操作亦适用于第一实施例，为省略篇幅，不另赘述。

[0031] 实际上处理时，影像处理装置200系于画面Fn-1、Fn中产生一插补画面(第一插补画面F’)，并于画面Fn、Fn+1中产生另一插补画面(第二插补画面F”)，第二插补画面F”即是目前欲插补出的画面而第一插补画面F’是前一张影像插补所产生的画面；在另一实施例中，第一插补画面亦可以是第二插补画面F”后一张影像插补所产生的画面，此不违背本发明的技术精神。以图4的影像画面Fn-1、Fn、Fn+1为例子来说，前景物体的移动方向系由右至左水平移动，而背景影像系由左至右水平移动；需注意的是，在此为方便说明系仅以水平移动的例子作为说明，然而，任一特定方向(垂直方向或画面的对角方向等)的影像移动皆可使用本发明的实施例进行处理。

[0032] 以下叙述系先对候选向量产生模块215针对每一插补画面(包括F’、F”等)的每一插补区块产生两候选向量的实际运作来进行说明；于此，画面F’系指第一插补画面，而画面F”系指第二插补画面。首先，影像差异值产生模块2151会依据区块比对算法(block matching algorithm)计算所有插补区块的移动向量，再以每一个所计算出的移动向量与其复数个邻近区块的复数个移动向量，来计算移动向量的混乱程度，以算出一数值曲线，其中，以本实施例来说，该数值曲线系为沿某一插补区块水平方向的移动向量混乱程度的剖面所形成的曲线，该数值曲线即为一维空间复数个连续区块的差异值，而该混乱程度代表移动向量的变异值(motion vector variance)，亦即，该数值曲线包含有沿着一特定方向上代表不同移动向量变异程度的复数个数值。请参照图5(a)，图5(a)是本发明计算代表移动向量变异程度的数值的范例示意图；例如，若第一插补区块与其复数个邻近区块(如图5(a)所示，位于5×5的区块范围)依区块比对算法所计算出的复数个移动向量分别是MV00与MV-2-2~MV22，则根据该等移动向量可计算出一移动向量变异值MV_VAR，其算法是取该等移动向量中最大水平分量减去其中最小水平分量所得的绝对值，再加上该等移动向量中最大垂直分量减去其中最小垂直分量所得的绝对值，MV_VAR可利用以下的等式表示之：

[0033] MV_VAR＝|MAX(MVx)-MIN(MVx)|+|MAX(MVy)-MIN(MVy)|等式(1)

[0034] 其中MVx和MVy分别代表水平分量(x轴分量)与垂直分量(y轴分量)。需注意的是，5×5的区块范围并非是本发明的限制，其亦可利用N×N或是N×M的区块范围来实作之，其中参数N与M皆是正整数且N不等于M；此外，计算移动向量变异值MV_VAR的方式亦可改用等式(2)或等式(3)来实现：

[0035] MV_VAR＝|MAX(MVx)-MIN(MVx)|+|MAX(MVy)-MIN(MVy)|+SAD

[0036] 等式(2)

[0037] MV_VAR＝α×{|MAX(MVx)-MIN(MVx)|+|MAX(MVy)-MIN(MVy)|}+β×SAD

[0038] 等式(3)

[0039] 其中数值SAD系为第一插补区块依照区块比对法所算出的一区块比对差值，参数α、β系为加权参数；凡可用以计算代表移动向量变异程度的数值的任一实施变化，皆属于本发明的范畴。由上所述，依据等式(1)、等式(2)或等式(3)其中之一，计算单元205逐一针对不同的插补区块进行计算，如此可得出第一数值曲线CV，如图5(b)所示。

[0040] 图5(b)所绘示为是本发明包含有多个移动向量变异值的第一数值曲线CV。MB00系为第一插补区块，而在图5(b)中候选向量决定模块2152系决定出第一插补区块MB00的两候选向量MV1、MV2，首先，以背景或前景影像移动的方向(例如水平方向)来看，候选向量决定模块2152在空间上延着第一插补区块MB00的两侧复数个(例如两侧各六个，MB10~MB60与MB-10~MB-60)区块的相对应移动向量变异值，在该等相对应移动向量变异值范围内取出一极大值(例如图5(b)所示之VARmax)，并在该等相对应移动向量变异值范围内找出该极大值VARmax左、右两侧的极小值所对应到的区块，例如，可找到区块MB-40与MB50，而此左、右两区块MB-40与MB50分别利用区块比对算法所计算的移动向量即作为第一插补区块MB00的两候选向量MV1、MV2，换句话说，第一插补区块MB00的候选向量MV1系对应至位于第一数值曲线CV的极大值VARmax的左侧的极小值VARmin，亦称候选向量MV1为第一插补区块MB00的左移动向量，而其候选向量MV2系对应至位于第一数值曲线CV的极大值VARmax的右侧的极小值VARmin’，亦称候选向量MV2为第一插补区块MB00的右移动向量，；而候选向量MV1、MV2的其中之一系对应至背景移动向量(background motionvector)，而其另一则对应于前景移动向量(foreground motion vector)，这是因为属于影像覆盖区或影像显露区的插补区块周围的移动向量变异值将会相当大，而左、右两侧的最小移动向量变异值所对应的影像区块，其会对应于一前景移动向量或一背景移动向量，视其位于影像覆盖区或影像显露区而定。因此，若第一插补区块MB00系位于影像覆盖区与影像显露区的其中之一，则其候选向量MV-1、MV2的其中之一对应于背景移动向量，而其另一对应于前景移动向量；需注意的是，本发明的实施例中的两候选向量(或称左、右移动向量)实质上分别是一前景向量与一背景向量，实际运算时一区块的两候选向量可能并非恰好是前景、背景向量，然本发明的影像处理装置200亦可适用于此一情况中。藉由上述的操作，候选向量决定模块2152可计算出第一插补画面F’中每一插补区块的相对应两候选向量MV1与MV2。

[0041] 请参照图6(a)，其所绘示为本发明的起始位置决定模块2201使用第一插补画面F’的每一插补区块的左候选向量MV1进行区块比对运算所分别计算出的对应于第一插补画面F’的复数个插补区块的复数个区块比对差值(以图6(a)所示的曲线DCV表示)；依据该等区块比对差值DCV的数值变化，起始位置决定模块2201可决定出第一插补画面F’的复数个起始位置，而该等起始位置系位于影像覆盖区(或影像显露区)的边缘，因此可用于判断出影像覆盖区(或影像显露区)的实际影像区域。实作上，针对曲线DCV(包含有使用候选向量MV1所算出的复数个区块比对差值)，起始位置决定模块2201系侦测其数值变化的大小，当曲线DCV(包含有使用候选向量MV1所算出的复数个区块比对差值)中一由左至右的数值变化由小至大改变且包含达到一预定值TH的一区块比对差值时，起始位置决定模块2201会以该区块比对差值所对应的区块位置来作为该第一插补画面中一起始位置，亦称为影像覆盖区(或影像显露区)的起始点；例如，以图6(a)来说，起始位置决定模块2201系将区块比对差值D1所对应的起始位置P1以及区块比对差值D2所对应的起始位置P2决定为可判断出影像覆盖区(或影像显露区)的边缘位置，这是因为以影像画面Fn-1、Fn中的水平方向来说，前景物体系由右至左移动，而背景影像系由左至右移动，使用影像范围R1内的区块的候选向量MV1(此时实际上系对应于背景移动向量)来计算其所对应到的一区块比对差值，系取第一插补画面F’之前、后两张影像画面Fn-1、Fn的影像范围R1’与R1”内的影像来计算，而因为影像范围R1’与R1”的影像系为相同/相似的背景影像，所以影像范围R1所对应到的计算出的区块比对差值皆相当小；当所计算的影像范围内的区块实际系位于影像覆盖区时(例如影像范围R2内的区块)，则使用候选向量MV1(此时实际上仍对应于背景移动向量)所计算出的区块比对差值会开始变大，这是因为在前、后两张影像画面F1、F2的影像范围R2’与R2”内找不到相同或相似的影像，其中影像范围R2’内系背景影像，影像范围R2”内系前景影像；以影像范围R1与R2之间的一起始位置所对应的计算出的区块比对差值来说，其数值变化将由左至右、由小至大突然增加而大于预定值TH，因此区块比对差值D1所对应的起始位置P1即是影像覆盖区(或影像显露区)的一边缘位置，请注意，此时仅知起始位置P1系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续进行其它运算始能得知起始位置P1实际系为影像覆盖区的边缘位置。

[0042] 此外，使用影像范围R3内的区块的候选向量MV1(此时实际上系对应于前景移动向量)来计算其所对应到的一区块比对差值，会取影像画面Fn-1、Fn的影像范围R3’与R3”内的影像来计算，而因为影像范围R3’与R3”的影像系为相同/相似的前景影像，所以影像范围R3所对应到的计算出的区块比对差值皆相当小；当所计算的影像范围内的区块实际系位于影像显露区时(例如影像范围R4内的区块)，则使用候选向量MV1(此时实际上仍对应于前景移动向量)所计算出的区块比对差值会开始变大，这是因为在影像画面F1、F2的影像范围R4’与R4”内找不到相同或相似的影像，其中影像范围R4’内系前景影像，影像范围R4”内系背景影像；以影像范围R3与R4之间的一起始位置所对应的计算出的区块比对差值来说，其数值变化将由左至右、由小至大突然增加而大于预定值TH，因此区块比对差值D2所对应的起始位置P2即是影像覆盖区(或影像显露区)的一边缘位置，请注意，此时仅知起始位置P2系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续进行其它运算始能得知起始位置P2实际系为影像显露区的边缘位置。

[0043] 同理，如图6(b)所示，起始位置决定模块2201可使用第一插补画面F’的每一插补区块的右候选向量MV2进行区块比对运算，以分别计算出的对应于第一插补画面F’的复数个插补区块的复数个区块比对差值(以图6(b)所示的曲线DCV’表示)；依据该等区块比对差值DCV’的数值变化，起始位置决定模块2201可决定出第一插补画面F’中两起始位置P3、P4，而该等起始位置系位于影像覆盖区(或影像显露区)的边缘，因而可用于判断出影像覆盖区(或影像显露区)的实际影像区域。实作上，针对曲线DCV’，起始位置决定模块2201系侦测其数值变化的大小，当曲线DCV’(包含使用候选向量MV2所算出的复数个区块比对差值)中一由左至右的数值变化由大至小改变且包含达到一预定值TH’的一区块比对差值时，起始位置决定模块2201会以该区块比对差值所对应的区块位置来作为该第一插补画面中一起始位置，亦称为影像覆盖区(或影像显露区)的起始点；例如，以图6(b)来说，起始位置决定模块2201会将区块比对差值D3所对应的起始位置P3以及区块比对差值D4所对应的起始位置P4决定为可判断出影像覆盖区(或影像显露区)的边缘位置，这是因为当所计算的影像范围内的区块实际系位于影像覆盖区时(例如影像范围R5内的区块)，使用影像范围R5内的区块的候选向量MV2(此时实际上系对应于前景移动向量)来计算其所对应到的一区块比对差值，系取影像画面Fn-1、Fn的影像范围R5’与R5”内的影像来计算，而因为影像范围R5’与R5”的影像系为不同的背景影像，所以影像范围R5所对应到的计算出的区块比对差值皆较大；而当所计算的影像范围内的区块位于前景物体影像区域时(例如影像范围R6内的区块)，则使用候选向量MV2(此时实际上仍对应于前景移动向量)所计算出的一区块比对差值会变小，这是因为在两张影像画面F1、F2的影像范围R6’与R6”内的影像系为相同的前景物体影像；因此，对于影像范围R5与R6之间的一起始位置P3所对应的计算出的区块比对差值D3来说，其数值变化将由左至右、由大至小突然减少而小于预定值TH’，因此区块比对差值D3所对应的起始位置P3即是影像覆盖区(或影像显露区)的一边缘位置，请注意，此时仅知起始位置P3系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续进行其它运算始能得知起始位置P3实际系为影像覆盖区的边缘位置。

[0044] 此外，当所计算的影像范围内的区块实际系位于影像显露区时(例如影像范围R7内的区块)，使用影像范围R7内的区块的候选向量MV2(此时实际上系对应于背景移动向量)来计算其所对应到的一区块比对差值，会取影像画面Fn-1、Fn的影像范围R7’与R7”内的影像来计算，而因为影像范围R7’与R7”的影像系为不同的影像，其中影像范围R7’内系为前景物体影像，而影像范围R7”内系为背景影像，所以影像范围R7所对应到的计算出的区块比对差值皆相当大；而当所计算的影像范围内的区块实际系位于背景影像区域时(例如影像范围R8内的区块)，则使用候选向量MV2(此时实际上仍对应于背景移动向量)所计算出的一区块比对差值会开始变小，这是因为影像范围R8’与R8”内系为相同/相似的背景影像；因此，对于影像范围R7与R8之间的一起始位置P4所对应的计算出的区块比对差值D4来说，其数值变化将由左至右、由大至小突然减少而小于预定值TH’，因此区块比对差值D4所对应的起始位置P4即是影像覆盖区(或影像显露区)的一边缘位置，请注意，此时仅知起始位置P4系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续进行其它运算始能得知起始位置P4实际系为影像显露区的边缘位置。

[0045] 如上所述，起始位置决定模块2201系对第一插补画面中每一插补区块使用其左、右两候选向量MV1、MV2进行区块比对运算来得到该等区块比对差值(例如图6(a)所示的曲线DCV与图6(b)所示的曲线DCV’)；起始位置决定模块2201亦可对第二插补画面中的每一插补区块使用其左、右两候选向量MV1’、MV2’进行区块比对运算来得到另外复数个区块比对差值，并同样利用该等另外的区块比对差值来得到影像覆盖区(或影像显露区)的边缘起始位置(或称起始点)P1’~P4’；由于其运算过程类似于前述的运算过程，因此在此不另赘述。

[0046] 在起始位置决定模块2201计算出起始位置P1~P4以及P1’~P4’后，向量选择模块2202依据起始位置P1~P4以及P1’~P4’已可得知第一插补画面与第二插补画面中一影像覆盖区(或一影像显露区)实际存在的区域，例如，向量选择模块2202依据起始位置P1(或P1’)往右侧并依据起始位置P3(或P3’)往左侧所找到的影像区域，即是第一插补画面(或第二插补画面)中的影像覆盖区或影像显露区，而依据起始位置P2(或P2’)往右侧并依据起始位置P4(或P4’)往左侧所找到的影像区域，即是第一插补画面(或第二插补画面)中的影像覆盖区或影像显露区，值得注意的是，此处所找到的影像区域尚未被确认为一影像覆盖区或一影像显露区，仅知其为影像覆盖区与影像显露区的其中之一，需另依据所找到的影像区域内的区块的候选向量MV1’、MV2’的向量差来进一步地判断该影像区域系为影像覆盖区或系为影像显露区，其详细运作于稍后描述；此外，当候选向量MV1’、MV2’的向量差愈大时，影像覆盖区(或影像显露区)的实际影像区域亦会愈大，反之亦然。

[0047] 承上所述，起始位置决定模块2201在计算出起始位置P1~P4与P1’~P4’后，向量选择模块2202可依据起始位置P1~P4与P1’~P4’来决定上述第二插补区块的目标移动向量，该目标移动向量系用来决定/产生第二插补区块的实际影像。具体来说，请参照图7，其系为起始位置决定模块2201所决定的起始位置P1~P4与P1’~P4’的范例示意图；向量选择模块2202会分别参考P1与P1’、P2与P2’、P3与P3’以及P4与P4’来算出参考向量V1~V4，以依据参考向量V1~V4中至少其一从第二插补区块的候选向量MV1’、MV2’中选取其中之一来决定该目标移动向量，其中参考向量V1~V4皆对应或相近于前景移动向量，而实作上，向量选择模块2202系比较参考向量V1~V4中至少其一与候选向量MV1’、MV2’，当参考向量V1~V4其中之一相近于候选向量MV1’、MV2’的其中之一时，向量选择模块2202会选取候选向量MV1’、MV2’的另一来作为该目标移动向量，因此，若第二插补区块实际位于影像覆盖区或影像显露区，则所决定出的目标移动向量会对应或相近于背景移动向量，例如，若第二插补区块系为图7所示的MB，则候选向量MV1’系对应或相近于背景移动向量而候选向量MV2’则对应或相近于前景移动向量，如此，向量选择模块2202会选取对应或相近于背景移动向量的候选向量MV1’作为目标移动向量，并依此所决定的目标移动向量来产生插补区块MB的影像；而若第二插补区块系为图7所示的MB’，则候选向量MV1’系对应或相近于前景移动向量而候选向量MV2’则对应或相近于背景移动向量，向量选择模块2202会选取对应或相近于背景移动向量的候选向量MV2’作为目标移动向量，并依此所决定的目标移动向量来产生插补区块MB’的影像。

[0048] 此外，若第二插补区块实际并非位于影像覆盖区或影像显露区，则向量选择模块2202仍可决定出正确的移动向量，例如，若第二插补区块系为图7所示的MB”，则其候选向量MV1’、MV2’皆系对应或相近于背景移动向量，因此，无论是否依据参考向量V1~V4来决定插补区块MB”的目标移动向量，向量选择模块2202任意挑选其两第二候选向量MV1’、MV2’其中之一作为其目标移动向量，实际上对于插补区块MB”来说皆是得以产生较佳背景影像画面的移动向量；另外，若第二插补区块系为图7所示的MB”’，则其候选向量MV1’、MV2’皆系对应或相近于前景移动向量，向量选择模块2202任意挑选两候选向量MV1’、MV2’其中之一作为其目标移动向量，实际上对于插补区块MB”’来说皆是得以产生较佳前景物体影像画面的移动向量。

[0049] 在另一实施例中，亦可仅藉由单一参考向量从第二插补区块的候选向量MV1’、MV2’中选取其中之一来决定该目标移动向量，而此亦落入本发明的范畴；需注意的是，在此实施例中，例如若仅藉由参考向量V1来决定目标移动向量，则向量选择模块2202不需计算出参考向量V2~V4，然而，仍需决定出起始位置P1~P4与P1’~P4’，以便判断影像覆盖区与影像显露区的实际影像区域，换言之，本发明的实施例仅藉由决定两起始位置(P1与P1’、P2与P2’、P3与P3’及P4与P4’其中一组)，即可决定出第二插补区块的目标移动向量。

[0050] 产生第二插补区块的影像的实际运作则详述于下。首先，由于本发明的实施例主要系以水平移动影像的例子作为说明，因此以移动向量由左至右的方向为正，反之，其相对的方向(由右至左)则为负；然而，此非本发明的限制，凡在二维平面空间上以某一特定方向为正，再以其相对方向为负的例子，皆符合本发明的精神。计算单元205系以第二插补区块的一候选向量减去其另一候选向量所得到的向量差，来判断第二插补区块系落于影像覆盖区或系落于影像显露区，请再次参考图7，举例来说，对于图7中插补区块MB而言，计算单元205内的影像产生模块225将插补区块MB的候选向量MV1’减去其候选向量MV2’，所得到的向量差为正，因此判断插补区块MB系属于影像覆盖区，接着依照所决定的目标移动向量至第二插补画面的前一张非插补画面Fn中取得相对应区块的影像来作为插补区块MB的影像；另外，对于图7中插补区块MB’，影像产生模块225将插补区块MB’的候选向量MV1’减去其候选向量MV2’，所得到的向量差为负，因此判断区块MB系属于影像显露区，接着依照所决定的目标移动向量至第二插补画面之后一张非插补画面Fn+1中取得一相对应区块的影像来作为插补区块MB’的影像；换言之，由于可利用第二插补区块的两候选向量的向量差来判断第二插补区块系落入一影像覆盖区或系落入一影像显露区，所以，影像产生模块225可利用判断的结果，自第二插补画面之前一张非插补画面的影像与后一张非插补画面的影像中择一作为第二插补区块的影像。

[0051] 综上所述，针对插补画面中属于影像覆盖区或影像显露区的区块，本发明的实施例中的影像处理装置200可正确地计算出该区块的目标移动向量，使得以该目标移动向量来进行影像插补时可得到较佳的影像，有助于提升执行画面更新频率转换运作的影像质量。

[0052] 以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。