本发明公开了一种破损图像自动数字化修复的方法，其步骤如下：(1)通过人工交互确定图像的缺损区域；(2)已知图像区域的边缘轮廓线为填充前缘。根据置信度、等照线信息以及曲率计算出填充前缘各像素的优先级。按照优先级降序依次压入处理队列，并根据先来先服务原则选择一个像素完成修复。队列中像素修复完毕后，重新确定填充前缘进行修复，直到填满整个待修复区域；(3)对选定像素的修复，自动选择欧式距离算法或基于矩阵相似度算法，在已知区域中匹配与其为中心的待修复块最类似的样本块。用匹配的样本块对待修复块进行填充。该方法可以修复大面积缺损复杂纹理图像，修复效果优于当前同类修复方法。本发明已成功应用于唐墓壁画的修复。
1.一种破损图像自动数字化修复方法，其特征在于，包括以下步骤：
（1）用户通过人工交互的方法确定出图像中的缺损区域；
（2）已知图像区域的边缘轮廓线为填充前缘；算法以填充前缘上每一个像素点为中心所对应的待修复块为基本处理单位；根据待修复块的置信度，等照线信息以及曲率计算出填充前缘各像素的优先级；按照优先级的从高到低的顺序依次压入处理队列；根据先来先服务原则选择一个像素完成修复；队列中像素修复完毕后，自动重新确定填充前缘，直到填满整个待修复区域内的所有像素；
第一步，确定该像素是否已被修复；若未修复执行下列步骤，否则不执行任何操作；
第二步，填充待修复块前，在已知区域中寻找与其最类似的样本块；对样本块的匹配采用欧式距离和基于矩阵相似度两种方式自动选择进行；当待修复块中的待修复像素比例超过阈值时，采用欧式距离算法匹配样本块；否则使用基于矩阵相似度算法进行匹配；阈值默认为1/4，对于纹理较复杂的图像可适当降低，对于纹理简单的图像可适当增加；
第三步，用搜索出的样本块对待修复像素块进行填充；对待修复像素块中各像素的修复状态和置信度进行更新；对队列信息进行更新。
2.根据权利要求1所述的修复方法，其特征在于：步骤（2）填充前缘各像素的修复优先级是由其对应待修复块的置信度，等照线信息以及曲率共同决定；像素点p的修复优先级P(p)=C(p)*D(p)，由置信度函数C(p)和等照线函数D(p)决定，其中等照线函数D(p)中包含了曲率信息Kp；置信度函数 代表待修复块中已知的像素集，|Ψp|代表待修复块Ψp的面积，这里表示块的像素个数，其中C(q)为像素点q的置信度；等照线函数 其中np是填充前缘δΩ上p点的法向量， 代表p点的等照亮线，α是一个归一化因子，np可通过曲线拟合得到； 用灰度梯度表示，即 d是一个为提高计算精确度而人工添加的一个扰动参数，可以针对不同类型的图像而设定具体数值，本方法中一律采用1.0；等照线的曲率 其中▽Ip代表p点图像灰度分量上的梯度值。
3.根据权利要求1所述的修复方法，其特征在于：步骤（3）对样本块的匹配采用欧式距离和基于矩阵相似度两种方式自动选择进行；当待修复块中的待修复像素比例超过阈值时，采用欧式距离算法匹配样本块；否则使用基于矩阵相似度算法进行匹配；
基于欧氏距离匹配策略是计算待修复块Ψp中的已知像素集与样本块Ψq′中对应位置像素集的欧氏距离；在已知图像区域内全局比较，选择欧氏距离最小的样本块为最佳匹配样本块Ψq；
基于矩阵相似度匹配策略是对待修复块Ψp中的未知像素，用样本块Ψq′中与对应位置的像素进行填充形成一个新的中间待修复块Ψp′，然后计算Ψp′与Ψq′之间的矩阵相似度r；在已知图像区域内全局比较，选择矩阵相似度r最大的样本块Ψq′为最佳匹配样本块Ψq。
4.一种破损图像自动数字化修复方法，其特征在于，按照如下步骤：
（1）对数字图像预处理，用手工交互方法，确定破损的待修复区域；
（2）获取已知图像区域的边界点，生成填充前缘，若填充前缘为空，代表已经没有待修复区域，整个修复过程结束；若填充前缘不为空则继续执行第（3）步；
（3）计算填充前缘各像素的优先级，并按照优先级由高到低的顺序压入队列；
（4）取出队首元素，若队首为空，则代表队列中像素都修复完毕，执行第（2）步；若不为空则继续向下执行；
（5）判断此队首元素对应像素是否已经被修复，若已经被修复，则执行第（4）步；若未被修复则继续向下执行；
（6）计算该像素为中心的待修复块中未知像素的比例；若比例大于等于阈值则执行第（7）步；若比例小于阈值则执行第（8）步；
（7）在已知图像区域内，对待修复块用基于矩阵欧氏距离算法搜索最佳匹配块，然后执行第（9）步；
（8）在已知图像区域内，对待修复块用基于矩阵相似度算法搜索最佳匹配块，然后执行第（9）步；
（9）用匹配得到的最佳匹配样本块，填充待修复块中未修复的部分；
（10）对待修复像素块中各像素的置信度进行更新，然后执行第（4）步。
一种破损图像自动数字化修复的方法
技术领域
[0001] 本发明属于计算机虚拟现实和计算机图形学技术领域，是一种能将局部破损图像通过数字化进行自动修复的方法。
背景技术
[0002] 数字图像修复技术是指对那些局部区域内的数据丢失或损坏的数字图像按照指定的算法进行填充，以恢复其视觉完整性的一门技术。针对不同的应用场景以及理论基础，国内外目前主要存在两种类型的图像修复算法。一种是针对缺损尺度比较小的图像修补(inpainting)技术；一种是用于填充图像中大块丢失信息的图像补全(completion)技术。图像修补技术主要包括两种方法，一种是基于偏微分方程的修补技术，一种是基于几何图像模型的变分修补技术。基于偏微分方程的修补方法最常见的是由文献1的Berman F，FoxG，Hey AJG.Grid Computing：Making the Global Infrastructure a Reality[M].USA：John Wiley，2003提出的BSCB模型。BSCB模型的主要思路是利用待修补区域的边缘信息，采用一种由粗到精的方法来估计等照度线(isophote)的方向，然后采用一定的方法使得邻域已知信息沿着等光照线的方向扩散进入破损区域。该模型针对待修补区域内的像素进行修复，修补过程中穿插进行扩散。为了保持边缘锐利性，扩散过程中采取各向同性非线性扩散方程。BSCB模型对背景纹理变化不大的缺损图像修复效果较好，但没有考虑到结构高频部分以及纹理特征，修复过程中产生模糊，修复破损区域较大时对图像纹理变化处理效果较差，图像修复效果模糊。
[0003] 基于几何图像模型最典型的算法是文献2T.Chan and J.Shen，Mathematical Models for Local Non-texture Inpaintings[J]，SIAMJ.Appl.Math.，62-3(2001)，1019-1043提出的TV模型，该模型通过对代价函数求极小值的方法来处理图像修补问题。
该算法基本原理为，记D为待修补区域，该区域的边界δD分段光滑，E为紧邻区域D的环状区域。TV图像修补就是在区域E的噪声约束条件下，通过对区域E∪D的整体变分来对污损区域D内的像素值进行的最佳猜测。也即寻找EUD区域上一个代价函数，然后通过最小化该代价函数来实现对图像的修补。在修补的同时要满足一定的噪声约束，这样既使得修补区域及其边界尽可能平滑，又保证对噪声的鲁棒性。该模型对小区域破损图片修复较好，较好地保持图像的边缘部分。但修复后的图像连通性差，当破损区域过大时修复较为模糊且太过突兀。
[0004] 图像补全技术主要包括两种方法，一种是基于图像分解的修复技术，另一种用是基于块的纹理合成技术。基于图像分解的修复最常见的是文献3BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//Proc of SIGGRAPH.New York：[s.n.]，2000：417-424提出在一幅图像上同时采用纹理合成和结构修补，该方法同时结合了现有的三种算法：图像纹理和结构分离、纹理合成、结构修补，具体算法过程是首先用全变分最小化将图像的结构部分提取出来，然后用一个震动函数对纹理或噪声部分建模，当把图像分解成这两个部分以后，再用BSCB模型来修补结构部分，同时用非参数采样纹理合成技术来填充纹理部分，最后把这两部分修补的结果叠加起来，形成最终的修补图像。该算法在图片大面积缺损区域补全及裂纹修复方面有着较好的效果。但修复结果与实际相差很多，计算复杂度过高，处理时间长。
[0005] 基于块的纹理合成技术的主要思想是，首先从待修补区域的边界上选取一个像素点，同时以该点为中心，根据图像的纹理特征，选取大小合适的纹理块，然后在待修补区域的周围寻找与之最相近的纹理匹配块来替代该纹理块.其中最典型的算法就是文献 4 的 A.Crinminisi，P.Perez andK.Toymaa，Region Filling and Object Removal by Exemplar-Based Inpainting[J]，IEEE Transactions on image Processing，2004(Vol.13，No.9)：1200-1212采用的一种基于块的图像修补算法。Criminisi算法的核心思想是以目标区域的填充优先顺序为基准，在填充待修补区域时，首先根据相应的算法计算图片修补边界上所有块的优先级，严格按照优先级从高到低的顺序填充并更新。该算法的步骤为：计算边界块优先级，为目标块选择最优匹配块并填充目标块未知区域，更新置信度。重复以上步骤直至带修复块为空。该算法修复较大面积缺损图片时存在严重的边界凹陷问题，对较强边缘处理较差。
发明内容
[0006] 本发明的技术解决问题：克服现有技术计算速度慢、效率低且对大面积缺损复杂纹理图像修复效果不佳的缺点。本发明目的是提供一种鲁棒性高，修复效果好的图像修复方法。该方法不仅能够自动修复具有复杂纹理和结构特征大面积缺损图像，且能够很好的保持图像的边缘和线条特征。
[0007] 本发明是一种破损图像数字自动化修复的新方法，该方法的步骤如下：
[0008] (1)用户通过人工交互的方法确定出图像中的缺损区域。
[0009] (2)已知图像区域的边缘轮廓线为填充前缘。算法以填充前缘上每一个像素点为中心所对应的像素块为基本处理单位的，称为待修复块。根据待修复块的未知块比例，线性特征以及曲率计算出填充前缘各像素的优先级。按照优先级的从高到低的顺序依次压入处理队列。根据FCFS(先来先服务)原则选择一个像素完成修复。队列中像素修复完毕后，自动重新确定填充前缘，直到填满整个待修复区域内的所有像素。
[0010] (3)对选定像素修复的步骤如下：
[0011] 第一步，确定该像素是否已被修复。若未修复执行下列步骤，否则不执行任何操作。
[0012] 第二步，填充待修复块前，在已知区域中寻找与其最类似的样本块。对样本块的匹配采用欧式距离和基于矩阵相似度两种方式自动选择进行。当待修复块中的待修复像素比例超过阈值时，采用欧式距离算法匹配样本块。否则使用基于矩阵相似度算法进行匹配。
[0013] 第三步，用搜索出的样本块对待修复块进行填充。对填充前缘像素为中心的待修复块中各像素的修复状态进行更新。对队列信息进行更新。
[0014] 具体步骤如下：
[0015] (1)对数字图像预处理，用手工交互方法，确定破损的待修复区域；
[0016] (2)获取已知图像区域的边界点，生成填充前缘。若填充前缘为空，代表已经没有待修复区域，整个修复过程结束；若填充前缘不为空则继续执行第(3)步；
[0017] (3)计算填充前缘各像素的优先级，并按照优先级由高到低的顺序压入队列；
[0018] (4)取出队首元素，若队首为空，则代表队列中像素都修复完毕，执行第(2)步；若不为空则继续向下执行；
[0019] (5)判断此队首元素对应像素是否已经被修复，若已经被修复，则执行第(4)步；若未被修复则继续向下执行；
[0020] (6)计算该像素为中心的待修复块中未知像素的比例；若比例大于等于阈值则执行第(7)步；若比例小于阈值则执行第(8)步；
[0021] (7)在已知图像区域内，对待修复块用基于矩阵欧氏距离算法搜索最佳匹配块，然后执行第(9)步；
[0022] (8)在已知图像区域内，对待修复块用基于矩阵相似度算法搜索最佳匹配块，然后执行第(9)步；
[0023] (9)用匹配得到的最佳匹配样本块，填充待修复块中未修复的部分；
[0024] (10)对待修复像素块中各像素的置信度进行更新，然后执行第(4)步。
[0025] 本发明的技术效果如下：
[0026] 对于破损图像提供了有效的自动数字化修复方法，可以修复大面积缺损复杂纹理图像(如图3、图4和图5所示)，克服了现有修复方法只能修复“细线”状破损区域，或修复大面积缺损时存在边界凹陷问题的缺点。本发明现已成功应用于唐墓壁画的修复。
附图说明
[0027] 图1示出本发明中所涉及的符号定义。
[0028] 图2示出本发明具体实施方式的流程图。
[0029] 图3示出用本发明方法进行图像修复的实例。
[0030] 图4示出用本发明方法进行图像修复的实例。
[0031] 图5示出用本发明方法进行图像修复的实例。
具体实施方式
[0032] 首先，定义一些符号，如图1所示。一个图I，Ω是要修补的区域(也就是目标区域)，由用户指定，形状可以是任意。Φ是已知的区域(也就是源区域)，该区域为我们的修补区域提供了样本。δΩ是Φ和Ω的Φ一侧边界，即δΩ上所有点都是已知的，称为填充前缘。Ψp是以点p∈δΩ为中心的目标块，称为待修复块。待修复块的大小可以人为确定，窗口过大会导致纹理的缺失，窗口过小会导致修复图像的不连续。np是填充前缘δΩ上p点的法向量， 代表p点的等照亮线(方向和强度)。本发明中默认为9×9，其理论值应该稍大于图像可识别的纹理元素的大小。
[0033] 参阅图2的流程图，该发明的详细修复过程如下：
[0034] 第一步：计算填充前缘各像素的优先级
[0035] 获取当前状态的填充前缘，计算当前填充前缘的各像素的优先级。各像素的优先级由其对应的待修复块的置信度、等照线信息以及曲率共同决定。
[0036] 置信度：待修复块中位于样本区域的像素点比例越高，即已填充好的像素点多，这个修补块的置信度就会高。也即修复过程更倾向于先修复能够保持已有图像信息的置信度最高的像素点。
[0037] 等照线信息：等照线强度越大、等照线与法向量之间的夹角越小，图像线性结构的部分的优先级就会越高，图像在修复纹理的同时能扩散图像结构。
[0038] 曲率：曲率信息的加入是为了信息能够沿着等照度线的方向去扩散。它反映的是等照线的几何信息。
[0039] 优先级的计算方式如下：每一个待修复块Ψp(p∈δΩ)的优先权P(p)，由置信度函数C(p)和等照线函数D(p)决定，其中等照线函数D(p)中包含了曲率信息Kp。
[0040] P(p)＝C(p)*D(p) (1)；
[0041]
[0042]
[0043]
[0044] 式2中 代表待修复块中已知的像素集，|Ψp|代表待修复块Ψp的面积，这里表示块中的像素个数，其中C(q)为像素点q的置信度。式3中np是填充前缘δΩ上p点的法向量， 代表p点的等照亮线(方向和强度)，α是一个归一化因子(例如对于常用的灰度图像，α＝255)。np可通过曲线拟合得到。 可以用灰度梯度表示，即Kp是通过点p的等照线的曲率，d是一个为提高计算精确度而人工添加的一个扰动参数，可以针对不同类型的图像而设定具体数值，本方法中一律采用1.0。式4中 代表p点图像灰度分量上的梯度值。以上各式中针对彩色图像，本方法取图像灰度分量上的梯度值来计算边界像素的梯度值。
[0045] 第二步根据填充前缘各像素的优先级，确定处理队列
[0046] 根据填充前缘中的所有像素点的优先级，经过排序之后将填充前缘点按照所在目标块的优先级从高到低依次压入处理队列。
[0047] 第三步对处理队列中像素进行处理
[0048] 按照以下步骤按照先来先服务(FCFS)的原则依次以处理队列中的点为中心的像素数据块：
[0049] (a)判断处理队列是否为空，若为空直接跳到第四步。若不为空[0050] (b)取出队首像素，判断其是否是待修复点，若为待修复像素，则执行下一步，否则执行(f)步骤。
[0051] (c)判断待修复块Ψp中像素中待修复像素比例是否超过阈值，若超过则使用基于欧氏距离匹配策略来搜索样本块。否则使用基于矩阵相似度匹配策略进行搜索。算法阈值默认为1/4，此值可以根据图像的实际情况进行调整。
[0052] 基于欧氏距离匹配策略是计算待修复块Ψp中的已知像素集与样本块Ψq′中对应位置像素集的欧氏距离。在已知图像区域内全局比较，选择欧氏距离最小的样本块为最佳匹配样本块Ψq。
[0053] 基于矩阵相似度匹配策略是对待修复块Ψp中的未知像素，用样本块Ψq′中与对应位置的像素进行填充形成一个新的中间待修复块Ψq′，然后计算Ψp′与Ψq′之间的矩阵相似度r。在已知图像区域内全局比较，选择矩阵相似度r最大的样本块Ψq′为最佳匹配样本块Ψq。
[0054] (d)填充图像信息
[0055] 搜索到 最佳 样本块Ψq后，目 标块Ψp里面 未知待 填充的 像素 点(p′|p′∈Ψq∩Ω)就用最佳样本块Ψq中对应位置的像素点的信息来填充，这样完成对填充前缘上最高优先级的目标块Ψq的填充修补。
[0056] (e)更新修补区域未知点置信度和修补状态信息。
[0057] (f)更新处理队列队首元素。返回(a)步骤继续。
[0058] 第四步检查Ω区域是否为空，即有没有未修复的像素点。如果没有，则整个自动修复过程完毕。否则返回第一步继续修复。
[0059] 请参阅图3、图4、图5所示，是本发明进行图像修复的实例，实例中纯绿色部分代表人工标注的破损区域。图3左图是破损的人物图像，中图是使用Criminisi方法修复的结果，右图是用本发明方法修复的结果。图中红色椭圆圈标注了修复效果的差别。图4左图是破损的唐壁画图像，中图是使用Criminisi方法修复的结果，右图是用本发明方法修复的结果。图5右图是用本发明方法将左图风景图像中蹦极的人物自动抹去的效果。
[0060] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。
