一种基于块匹配的图像修复方法转让专利
申请号 : CN201610033146.5
文献号 : CN106023089B
文献日 : 2018-11-13
发明人 : 王静 , 李旭峰 , 刘红敏 , 王志衡 , 徐向阳
申请人 : 河南理工大学
摘要 :
本发明涉及一种基于块匹配的图像修复方法，包括以下步骤:1）计算待修复区域边缘点的优先权，并引入点的梯度量和常数因子来改进优先权。2）根据优先权最高的点建立待填充块；3）以待填充块中已知信息为依据在图像已知区域中搜索最佳样本块。4）提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度值；5）将最佳样本块对应的像素值复制到待填充块的相应位置，并将点的置信度更新成最佳样本块中心像素点的置信度值，形成新的待修复区域；6）执行上述步骤1）～5），直到待修复区域全部填充完毕。以上发明取得了很好的修复效果，适用于各种图像修复工作。
权利要求 :
1.一种基于块匹配的图像修复方法，包括以下步骤：
1)计算待修复图像的待修复区域边界上任一像素点p的优先权，包括以下步骤：①将待修复图像分成已知区域Φ和待修复区域Ω两部分，δΩ为待修复区域Ω的边界；
②计算待修复区域边界δΩ上任一像素点P的置信度Rc(p)：Rc(P)＝(C(P)-λ)+|IP|，式中，λ为固定常数，Ψp为待修复块，q为Ψp与Φ相交区域的任一像素点，当q点位于ΨP∩Φ区域内时C(q)默认为1，当q点位于ΨP∩φ区域外时C(q)默认为0，|IP|为位于点P处梯度的绝对值；
③计算像素点p的数据项D(p)；
④计算像素点p的优先权P(p)＝Rc(p)D(p)；
2)根据所述步骤1)计算的像素点p的优先权，确定最先修复的待填充块；
3)搜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样本块；
4)提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度；
5)将最佳样本块对应的像素值复制到待填充块的相应位置，并将p点的置信度更新成最佳样本块中心像素点的置信度，形成新的待修复区域；
6)执行上述步骤1)～5)，直到待修复区域全部填充完毕。
2.如权利要求1所述的一种基于块匹配的图像修复方法，其特征在于：所述步骤1)中λ为固定常数0.35，用来扩大置信度的取值范围到负数，避免因置信度趋于0导致的修复失败。
3.如权利要求1所述的一种基于块匹配的图像修复方法，其特征在于：所述步骤1)中|IP|为ΨP的梯度量的绝对值，用来表示ΨP的特征是否明显，具有明显特征的待填充块优先被填充。
4.如权利要求1所述的一种基于块匹配的图像修复方法，其特征在于：所述步骤1)②计算像素点p的置信度Rc(P)：Rc(p)＝(C(p)-λ)+|IP|，用来表式待填充块的置信度。
5.如权利要求2所述的一种基于块匹配的图像修复方法，其特征在于：所述步骤1)③计算像素点p的数据项D(p)： 式中， 表示像素点p处的等照度线向量，np表示点p处的单位法向量，α表示归一化因子。
6.如权利要求1或2或3或4所述的一种基于块匹配的图像修复方法，其特征在于：所述步骤3)搜索已知区域内的所有样本块，根据SSD距离算法，寻找待填充块的最佳样本块并填充。
7.如权利要求5所述的一种基于块匹配的图像修复方法，其特征在于：所述待填充块Ψp与任一样本块的均值SSD距离的计算公式为：式中， 分别表示待填充块和样本块中各个像素点中不同颜色通道亮度的均值，此公式中的所描述的样本块是在已知区域内以某一像素点qi为中心点的矩形块，ψp表示以边缘点p为中心的待匹配快，Ψqi表示以位与已知区域的所有点qi为中心的样本块。
说明书 :
一种基于块匹配的图像修复方法
技术领域
[0001] 在本发明涉及一种图像修复方法，特别是关于一种基于块匹配的图像修复方法。
背景技术
[0002] 随着计算机技术的发展和进步，基于计算机的数字图像修复技术受到人们越来越多的关注。同时，数字图像修复技术在修复图片中丢失的信息、移除图片或视频中的文字及多余的物体等方面得到广泛应用。图像修复技术中把图片分为已知区域和未知区域，未知区域可以是图片受损后丢失的部分，也可以是我们需要移除的部分。通过将已知区域的像素用过一定方法传递到未知区域来实现图像修复，对修复结果的要求是符合人的视觉心里要求。目前图像修复方法主要分两类:一类以像素点为操作对象，以物理学和数学知识为基础通过扩散的方式修复未知区域，此方法对小范围图像修复十分适用，但大范围的图像修复结果无法令人满意；另一类以像素块为操作对象，通过对像素块进行全局或局部的匹配将已知区域的像素信息传递到未知区域实现修复，该方法对大、小范围的图像修复都能取得很好的效果，但基于该方法的修复成功率很低。
[0003] 现有技术中，基于块匹配的图像修复方法通过计算待填充区域所有点的优先级并排序，选择优先级最高的点，以该点建立待填充块，然后将该填充块中已知像素的点和已知区域内样本块内的像素点通过SSD算法进行匹配，匹配成功后将该样本块复制到待填充块内，实现图像信息的传递，完成图像修复。该算法同时存在着匹配错误率高和算法易失去作用等缺陷，这些缺陷使该算法并不总能得到令人满意的修复结果。
发明内容
[0004] 针对上述问题，本发明的目的是提供一种提高匹配成功率并保证算法在任何时候都正常工作的块匹配图像修复方法。
[0005] 为实现上述目的，本发明采取以下技术方案：一种基于块匹配的图像修复方法，包括以下步骤：
[0006] 1）计算待修复图像的待修复区域边界上任一像素点 的优先权，包括以下步骤：①将待修复图像分成已知区域 和待修复区域Ω两部分， 为待修复区域Ω的边界；②计算待修复区域边界 上任一像素点 的置信度值 ：
[0007] ，
[0008] 式中，为固定常数， 为 点梯度量的绝对值， 为待修复块，为 与 相交区域的任一像素点；③计算像素点 的数据项 ；④计算像素点 的优先权；
[0009] 2）根据所述步骤1）计算像素点 的优先权，确定最先修复的待填充块；
[0010] 3）搜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样本块；
[0011] 4）提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度值；
[0012] 5）将最佳样本块对应的像素值复制到待填充块的相应位置，并将 点的置信度更新成最佳样本块中心像素点的置信度值，形成新的待修复区域；
[0013] 6）重复执行上述步骤1）～5），直到待修复区域全部填充完毕。
[0014] 所述步骤1）②中 为0-1之间的固定常数，试验表明取值为0.35时可满足大部分修复。该固定常数的存在使置信项值的范围扩大到负数，不会因置信项趋近于0导致算法公式停止工作。
[0015] 所述步骤1）②中 为 点的梯度量的绝对值，表示以该点为中心的待填充块具有的特征， 越大特征越明显，即特征越明显的待填充块具有更高的优先级，优先被填充。
[0016] 所述步骤1）③计算像素点 的数据项 ： ，式中， 表示像素点 处的等照度线向量， 表示点 处的单位法向量， 表示归一化因子。
[0017] 所述步骤3）搜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样本块，包括以下内容：计算待填充块与已知区域内每个样本块的均值SSD距离，将计算得到的均值SSD距离最小的样本块作为最佳样本块，将该样本块的信息填充到待填充块。
[0018] 所述待填充块 与样本块 的均值SSD距离的计算公式为：
[0019]
[0020] 式中， 、 、 分别表示待填充块和样本块中各个像素点中不同颜色通道亮度的均值，此公式中的所描述的样本块是在已知区域内以某一像素点 为中心点的矩形块。
[0021] 本发明由于采取以上技术方案，其具有以下优点：
[0022] 1、由于本发明在计算像素点的置信度时引入固定常数项，通过周期性的减去固定常数使置信度值突破0的界限，可以成为负值，而负值也是标量可以对所有边缘点的置信度进行排序，从而可以使计算得到的优先权值能够代表正确的块填充次序，防止了“dropping effect”效应的发生，与现有技术相比，不仅能够正确地生成破损区域所需信息，而且有效地避免“dropping effect”效应，使得计算得到的像素点的优先权更符合实际修复顺序，保证了图片修复的准确性；
[0023] 2、本发明引入了点的梯度值的绝对值项，该项表示所有边缘点的梯度的绝对值。梯度值的绝对值大的点位于像素变化明显的区域，即以该点为中心的待填充块具有很明显的可识别特征，以具备该特征的块作为待填充块可以使图像匹配过程中发生错误的概率更低，使图像的修复工作成功率更高。本发明可以广泛应用于图像修复过程中。
附图说明
[0024] 图1是本发明的图像修复原理示意图。
[0025] 图2是本发明的优先级计算示意图。
[0026] 图3是本发明的图像修复方法的流程示意图。
[0027] 图4是本发明的最优待填充块的寻找机制示意图。
[0028] 图5是本发明的修复效果示意图，图5（a）是修复前的图形示意图，图5（b）是修复后的效果示意图。
[0029] 图6（a）是现有技术的置信度曲线示意图，横坐标为迭代次数，纵坐标为置信度。
[0030] 图6（b）是本发明的方法计算的置信度曲线示意图，横坐标为迭代次数，纵坐标为置信度。
[0031] 图7（a）是现有技术的块填充优先权示意图，横坐标为迭代次数，纵坐标为块填充优先权。
[0032] 图7（b）是本发明的方法计算的填充优先权示意图，横坐标为迭代次数，纵坐标为块填充优先权。
具体实施方式
[0033] 下面结合附图和实施例对本发明进行详细的描述。
[0034] 目标去除是图形修复技术领域的一个典型应用，其任务是尽量自然地修复图像中指定区域的丢失图形信息，本发明以目标去除为实施例对图像修复方法的具体过程进行说明，目标去除是针对图像中的信息缺损区域，利用图像中已知区域的信息进行填充，使修复后的图像自然、真实，符合人的视觉心理要求。
[0035] 如图1所示，其中I为整个图像, 代表已知区域, Ω代表未知区域，将已知区域内的信息复制到未知区域，使整个图像真实自然，这就是图像修复的基本原理。
[0036] 如图2所示， 代表待填充区域的边界， 为以 点为中心的待填充块， 是边缘点 处的梯度向量的正交向量， 是与边缘点 相交的单位向量 ， 代表 的已知区域， 代表 的未知区域，根据以上参数进行优先权的计算。
[0037] 所述修复过程示意图如图3，包括以下步骤：
[0038] 1、计算待修复图像的待修复区域边界 上所有像素点 的优先权，包括以下步骤：
[0039] 1）将待修复图像分成已知区域 和待修复区域 两部分， 表示待修复区域的边界；
[0040] 2）计算待修复区域边界 上任一像素点 的置信度 ：
[0041] （1）
[0042] （2）
[0043] 上述式（1）中， 为固定常数0.35，用来扩大置信项的取值范围到负数，避免因置信项趋于0导致的修复错误；
[0044] 上述式（1）中， 为点 处梯度值的绝对值，用来表示 的特征是否明显，具有明显特征的待填充块优先被填充；
[0045] 上述式（2）中， 为 点周围区域内点的置信度，当 点位于 区域内时默认为1，当 点位于 区域内时 默认为0， 为块 内点的个数；
[0046] 上述式（2）中， 为 点的原始置信度，因 会逐渐渐变小趋近于0而导致项变为0，导致修复错误；
[0047] 3）计算像素点 的数据项 ：
[0048] （3）
[0049] 式（3）中， 用于衡量像素点 处的边缘强度，表示 点处的等照度线方向和强度， 表示像素点 处的等照度线向量， 示点 处的单位法向量， 表示归一化因子；
[0050] 4）根据像素点 的置信度 和数据项 的乘积计算像素点 的优先权：
[0051] （4）。
[0052] 2、根据上述步骤1计算待修复区域边界 上像素点 的优先权，确定最先修复的待填充块。
[0053] 本发明使具有明显识别特征的待填充块拥有更高的优先级顺序，在被填充时能优先于没有特征的待填充块。这里所说的具有明显识别特征是指明显结构或明显边缘点特征，通过引入点梯度 来说明结构的明显程度，梯度 代表 点周围点的像素值发生的变化程度，而像素值变化程度越大说明该 点周围颜色变化越明显， 越大说明该点周围像素值变化越大即可识别结构特征越明显。如图4所示，图中 为所述具有明显识别特征的待填充块， 为以 值进行选择的待填充块。图中黑色部分为图像中的结构部分，而结构边缘部分出现了明显的像素值变化，即此处梯度 较大，可识别特征较明显。
[0054] 3、搜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样本块，包括：计算待填充块与已知区域内所有样本块（ … ）的均值SSD距离（Sum of Squared Differences，差方和），以此均值SSD距离作为测量待填充块 与每一样本块之间的相似度，选择与待填充块的均值SSD距离最小的样本块作为与待填充块 的最优匹配快。
[0055] 其中，均值SSD距离是采用各颜色通道亮度的均值反映待填充块与样本块之间的平均相似度，待填充块 与任一样本块 （ … ）的均值SSD距离为：
[0056] （5）
[0057] 式中， 、 、 分别表示待填充块和样本块中各个像素点中不同颜色通道亮度的均值，此公式中的所描述的样本块是在已知区域内以某一像素点 为中心点，大小为9个像素9个像素的矩形块，可以根据公式（5）分别计算待填充块 与其它任一样本块的均值SSD距离。
[0058] 4、提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度值。
[0059] 5、将最佳样本块对应的像素值复制到待填充块 的相应位置，并将 点处的置信度更新成最佳样本块中心像素点的置信度值，此时形成新的待修复区域。
[0060] 6、执行上述步骤1～5，直到待修复区域全部填充完毕（如图5（a）和如图（b）所示为修复图片的效果示意图）。
[0061] 如图6～7所示，综上所述，经过本发明的处理，可以看出，经过本发明处理使得“dropping effect”效应得到了解决，因为边缘点的置信项的值不会再出现趋向于某一个值的情况，尽管会出现负数但负数也是标量不影响所有边缘点置信度的排序，因此该效应得到了很好的解决。而经过增加具有明显特征的待样本块的优先级也使得寻找最佳样本块的效率和成功率更高，使算法具有了更好的修复结果。
[0062] 上述各实施例仅用于说明本发明，其中方法各个步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。