本发明涉及一种基于局部结构特征的图像合成修复方法及系统，包括以下步骤：输入一幅待修复图像；对待修复图像中的所有像素点的置信度初始化；分别以待修复图像破损边界上各个像素点为中心选取各个像素点的模板块；计算待修复图像破损边界上每个像素点所在模板块的优先级大小，并进行降序排列；在待修复图像中未受损区域寻找与所述优先级最大的模板块相似度最高的区域，作为最优匹配块；将所述最优匹配块中的像素值复制到所述模板块中；更新置信度并返回执行，直至待修复图像被完全修复。本发明的一种基于局部结构特征的图像合成修复方法，对纹理结构复杂的破损图像能够提高图像修复准确率。本发明还涉及一种基于局部结构特征的图像合成修复系统。
1.一种基于局部结构特征的图像合成修复方法，其特征在于，包括以下步骤：
步骤1，输入一幅待修复图像，记为u(x，y)，x,y分别为待修复图像在x,y方向上的坐标；
步骤2，对所述待修复图像中的所有像素点的置信度初始化；具体如下：
式中，p'为所述待修复图像中的像素点；C(p')为像素点p'的置信度；Ω为所述待修复图像中的受损区域，Φ为所述待修复图像中的未受损区域；为取任意值； 指在所述待修复图像中的受损区域取任意像素点； 指在所述待修复图像中的未受损区域取任意像素点；
步骤3，分别以所述待修复图像破损边界上各个像素点为中心选取所述各个像素点的模板块；
步骤4，按照以下公式计算所述待修复图像破损边界上每个像素点所在模板块的破损度优先级的大小，并将破损度优先级按照从大到小降序排列；
P(p)＝a1C(p)+a2D(p)+a3H(p)；
其中，p为所述模板块中心处的像素点；P(p)为像素点p的破损度优先级；a1,a2,a3为权重，且a1,a2,a3的和为1；
H(p)＝K·h+exp(-h)；K为控制参量，取值为0.8；exp(-h)＝e ，e 为以e为底数的指数函数，e＝2.71828；h为局部测度函数，h＝|λ1-λ2|2，λ1和λ2分别为所述模板块结构张量表达式的第一特征值和第二特征值，表达式为：其中，j11,j12,j22由待修复图像结构张量表达式得到，所述待修复图像结构张量表达式为：其中，Gρ为以ρ为参数的Gaussian核函数，ρ=1；
C(p)为所述模板块中心处像素点p的置信度；D(p)为所述模板块中心处像素点p的数据项；
式中，ψp为破损边界上以像素点p为中心点的模板块，Φ为所述待修复图像中的未受损区域，ψp∩Φ指模板块与所述待修复图像中的未受损区域的交集，为所述模板块与所述待修复图像中的未受损区域的交集中的像素点，即所述模板块中未受损区域的像素点，为像素点 的置信度，|Ψp|为模板块的面积，指模板块内像素的数量； 为像素点p的等照度线的方向，即梯度的垂直方向，np为像素点p的单位方向向量，α为归一化因子，在灰度图像中取值为255；
步骤5，在所述待修复图像的未受损区域中寻找与所述破损度优先级最大的模板块相似度最高的区域，作为最优匹配块；
步骤6，将所述最优匹配块中的像素值复制到所述破损度优先级最大的模板块 中；
步骤7，按照以下公式更新所述破损度优先级最大的模板块 的破损区域中所有像素点的置信度，并返回步骤4，直至待修复图像被完全修复；
式中，pm为所述破损度优先级最大的模板块的中心处的像素点；C(pm)为像素点pm的置信度， 为所述破损度优先级最大的模板块，Ω为所述待修复图像中的受损区域，指所述破损度优先级最大的模板块 与所述待修复图像中受损区域Ω的交集，即所述破损度优先级最大的模板块中的受损区域； 指在所述破损度优先级最大的模板块中受损区域中取任意像素点为 为所述破损度优先级最大的模板块中破损区域中的像素点， 为所述破损度优先级最大的模板块中破损区域中像素点 的置信度。
2.根据权利要求1所述一种基于局部结构特征的图像合成修复方法，其特征在于，所述步骤5包括以下步骤：步骤5.1，遍历所述待修复图像中所有未受损区域的样本块，所述样本块与所述破损度优先级最大的模板块的大小相同，并判断所述破损度优先级最大的模板块中所有像素值之和与所述样本块中所有像素值之和是否满足以下关系式：(1-δ)·sum(Ψp”)≤sum(Ψq')≤(1+δ)·sum(Ψp”)；
式中，p”为所述破损度优先级最大的模板块中像素已知的像素点，Ψp”为所述破损度优先级最大的模板块中像素点已知的区域；sum(Ψp”)指对所述破损度优先级最大的模板块中像素已知部分的所有像素点值求和；q'为所述样本块中与所述破损度优先级最大的模板块中像素已知的像素点相对应的像素点，Ψq'为所述样本块中与所述破损度优先级最大的模板块中像素点已知的区域相对应的区域；sum(Ψq')指对所述样本块中与所述破损度优先级最大的模板块中已知像素点相对应的像素点值求和；δ取值为[0，1]；
步骤5.2，当所述样本块中所有像素值之和与所述破损度优先级最大的所述破损度优先级最大的模板块中所有像素值之和满足步骤5.1中的关系式之后，进行颜色匹配；
步骤5.3，将颜色匹配度最高的样本块作为最优匹配块。
3.根据权利要求2中所述的一种基于局部结构特征的图像合成修复方法，其特征在于，所述步骤5.2中按照以下公式进行颜色匹配：式中， 指求取使得 取最小值的ψq；λ1为所述破损度优先级
最大的模板块结构张量表达式的第一特征值；λ2为所述破损度优先级最大的模板块结构张量表达式的第二特征值；λ′1为样本块结构张量表达式的第一特征值；λ′2样本块结构张量表达式的第二特征值；Φ为所述待修复图像中未受损区域； 为所述破损度优先级最大的模板块；q为样本块中对应所述破损度优先级最大的模板块中心处的像素点；ψq为以像素点q为中心点的样本块；n为所述模板块中所有像素点的数量； 为未受损区域中颜色匹配度最高的样本块；
为所述破损度优先级最大的模板块与样本块的颜色差方和，表达式为：
式中，IR为模板块中R通道中已知像素点的灰度值；IR'为样本块中R通道中已知像素点的灰度值；IG为模板块中G通道中已知像素点的灰度值；IG'为样本块中G通道中已知像素点的灰度值；IB为模板块中B通道中已知像素点的灰度值；IB'为样本块中B通道中已知像素点的灰度值。
4.根据权利要求1或2或3所述的一种基于局部结构特征的图像合成修复方法，其特征在于，所述权重a1,a2,a3可根据图像结构进行设置，当待修复的图像纹理特征丰富时，a1所占比重最大；当待修复图像中拐角等T形局部结构信息丰富时，a2所占比重最大；当线状结构丰富时，a3所占比重最大。
5.根据权利要求4所述的一种基于局部结构特征的图像合成修复方法，其特征在于，所述当待修复的图像纹理特征丰富时，a1:a2:a3＝3:1:1；所述待修复图像中拐角处的T形局部结构信息丰富时，a1:a2:a3＝1:3:1；所述当线状结构丰富时，a1:a2:a3＝1:1:3。
6.一种基于局部结构特征的图像合成修复系统，其特征在于，包括：
输入模块，用于输入一幅待修复图像，记为u(x，y)，x,y分别为待修复图像在x,y方向上的坐标；
初始化模块，用于对所述待修复图像中的所有像素点的置信度初始化；具体如下：
式中，p'为所述待修复图像中的像素点；C(p')为像素点p'的置信度；Ω为所述待修复图像中的受损区域，Φ为所述待修复图像中的未受损区域；为取任意值； 指在所述待修复图像中的受损区域取任意像素点； 指在所述待修复图像中的未受损区域取任意像素点；
模板块选取模块，用于分别以所述待修复图像破损边界上各个像素点为中心选取所述各个像素点的模板块；
计算模块，用于按照以下公式计算所述待修复图像破损边界上每个像素点所在模板块的破损度优先级的大小，并将破损度优先级按照从大到小降序排列；
P(p)＝a1C(p)+a2D(p)+a3H(p)；
式中，p为所述模板块中心处的像素点；P(p)为像素点p的破损度优先级；a1,a2,a3为权重，且a1,a2,a3的和为1；
H(p)＝K·h+exp(-h)；K为控制参量，取值为0.8；exp(-h)＝e-h，e-h为以e为底数的指数函数，e＝2.71828；h为局部测度函数，h＝|λ1-λ2|2，λ1和λ2分别为所述模板块结构张量表达式的第一特征值和第二特征值，表达式为：其中，j11,j12,j22由待修复图像结构张量表达式得到，所述待修复图像结构张量表达式为：其中，Gρ为以ρ为参数的Gaussian核函数，ρ＝1； 指Gρ与 求卷
C(p)为所述模板块中心处像素点p的置信度；D(p)为所述模板块中心处像素点p的数据项；
式中，ψp为破损边界上以像素点p为中心点的模板块，Φ为所述待修复图像中的未受损区域，ψp∩Φ指模板块与所述待修复图像中的未受损区域的交集，为所述模板块与所述待修复图像中的受损区域的交集中的像素点，即所述模板块中未受损区域的像素点， 为像素点 的置信度，|Ψp|为模板块的面积，指模板块内像素的数量； 为像素点p的等照度线的方向，即梯度的垂直方向，np为像素点p的单位方向向量，α为归一化因子，在灰度图像中取值为255；
匹配模块，用于在所述待修复图像的未受损区域中寻找与所述破损度优先级最大的模板块相似度最高的区域，作为最优匹配块；
复制模块，用于将所述最优匹配块中的像素值复制到所述破损度优先级最大的模板块中；
更新模块，用于按照以下公式更新所述破损度优先级最大的模板块的破损区域中所有像素点的置信度，并返回计算模块，直至待修复图像被完全修复；
式中，pm为所述破损度优先级最大的模板块的中心处的像素点；C(pm)为像素点pm的置信度， 为所述破损度优先级最大的模板块，Ω为所述待修复图像中的受损区域，指所述破损度优先级最大的模板块 与所述待修复图像中受损区域Ω的交集，即所述破损度优先级最大的模板块中的受损区域； 指在所述破损度优先级最大的模板块中受损区域中取任意像素点为 为所述破损度优先级最大的模板块中破损区域中的像素点， 为所述破损度优先级最大的模板块中破损区域中像素点 的置信度。
7.根据权利要求6所述的一种基于局部结构特征的图像合成修复系统，其特征在于，所述匹配模块包括：判断单元，用于遍历所述待修复图像中所有未受损区域的样本块，所述样本块与所述破损度优先级最大的模板块的大小相同，并判断所述破损度优先级最大的模板块中所有像素值之和与所述样本块中所有像素值之和是否满足以下关系式：(1-δ)·sum(Ψp”)≤sum(Ψq')≤(1+δ)·sum(Ψp”)；
式中，p”为所述破损度优先级最大的模板块中像素已知的像素点，Ψp”为所述破损度优先级最大的模板块中像素点已知的区域；sum(Ψp”)指对所述破损度优先级最大的模板块中像素已知部分的所有像素点值求和；q'为所述样本块中与所述破损度优先级最大的模板块中像素已知的像素点相对应的像素点，Ψq'为所述样本块中与所述破损度优先级最大的模板块中像素点已知的区域相对应的区域；sum(Ψq')指对所述样本块中与所述破损度优先级最大的模板块中已知像素点相对应的像素点值求和；δ取值为[0，1]；
颜色匹配单元，用于当所述样本块中所有像素值之和与所述破损度优先级最大的所述破损度优先级最大的模板块中所有像素值之和满足所述判断单元中的关系式之后，进行颜色匹配；
最优匹配单元，用于将颜色匹配度最高的样本块作为最优匹配块。
8.根据权利要求7所述的一种基于局部结构特征的图像合成修复系统，其特征在于，所述颜色匹配单元按照以下公式进行颜色匹配：式中， 指求取使得 取最小值的ψq；λ1为所述破损度优先级
最大的模板块结构张量表达式的第一特征值；λ2为所述破损度优先级最大的模板块结构张量表达式的第二特征值；λ′1为样本块结构张量表达式的第一特征值；λ′2样本块结构张量表达式的第二特征值；Φ为所述待修复图像中未受损区域； 为所述破损度优先级最大的模板块；q为样本块中对应所述破损度优先级最大的模板块中心处的像素点；ψq为以像素点q为中心点的样本块；n为所述模板块中所有像素点的数量； 为未受损区域中颜色匹配度最高的样本块；
为所述破损度优先级最大的模板块与样本块的颜色差方和，表达式为：
式中，IR为模板块中R通道中已知像素点的灰度值；IR'为样本块中R通道中已知像素点的灰度值；IG为模板块中G通道中已知像素点的灰度值；IG'为样本块中G通道中已知像素点的灰度值；IB为模板块中B通道中已知像素点的灰度值；IB'为样本块中B通道中已知像素点的灰度值。
9.根据权利要求6或7或8所述的一种基于局部结构特征的图像合成修复系统，其特征在于，所述计算模块中包括设置单元，用于根据图像结构设置权重a1,a2,a3，当待修复的图像纹理特征丰富时，a1所占比重最大；当待修复图像中拐角等T形局部结构信息丰富时，a2所占比重最大；当线状结构丰富时，a3所占比重最大。
10.根据权利要求9所述的一种基于局部结构特征的图像合成修复系统，其特征在于，所述设置单元还用于当待修复的图像纹理特征丰富时，a1:a2:a3＝3:1:1；所述待修复图像中拐角处的T形局部结构信息丰富时，a1:a2:a3＝1:3:1；所述当线状结构丰富时，a1:a2:a3＝
一种基于局部结构特征的图像合成修复方法及系统
技术领域
[0001] 本发明涉及图像处理领域，具体涉及一种基于局部结构特征的图像合成修复方法及系统。
背景技术
[0002] 图像修复是图像处理的主要内容之一，主要包括结构图像的修复和纹理图像的修复，修复方法大致分为两类：一类是基于偏微分方程的图像修复方法，另外一类是基于纹理合成的图像修复方法。
[0003] 在基于纹理合成的图像修复方法中，又可分为两类：一种是基于分解的方法，另外一种是基于样例的纹理合成修复方法，而在基于样例的纹理合成修复方法中，其代表算法为基于等照度线驱动的Criminisi算法，Criminisi算法是首先通过优先级公式来确定最先得到修复的图像块，再在全局范围内依据颜色匹配准则来搜索最优目标块来填充缺损区域。但是，随着修复过程的进行，优先级设定的数据项会迅速下降，而置信度项则开始增大，使得优先级的计算不可靠，导致错误的填充次序；且所采用的全局搜索方式，时间复杂度会比较高；另外，匹配准则只是采用颜色距离来确定最优匹配块，最终会产生多个目标块，而针对这些多个目标块Criminisi算法又是采用随机选取目标块的方式，这样就增大图像的错误匹配率。最终表现在图像上的缺陷就是图像结构保真度不足，图像修复质量差。
发明内容
[0004] 本发明提供了一种基于局部结构特征的图像合成修复方法，对纹理结构比较复杂的破损图像能够提高图像修复准确率。
[0005] 本发明解决上述技术问题的技术方案如下：一种基于局部结构特征的图像合成修复方法，包括以下步骤：
[0006] 步骤1，输入一幅待修复图像，记为u(x，y)，x,y分别为待修复图像在x,y方向上的坐标；
[0007] 步骤2，对所述待修复图像中的所有像素点的置信度初始化；具体如下：
[0008]
[0009] 式中，p'为所述待修复图像中的像素点；C(p')为像素点p'的置信度；Ω为所述待修复图像中的受损区域，Φ为所述待修复图像中的未受损区域；为取任意值； 指在所述待修复图像中的受损区域取任意像素点； 指在所述待修复图像中的未受损区域取任意像素点；
[0010] 步骤3，分别以所述待修复图像破损边界上各个像素点为中心选取所述各个像素点的模板块；
[0011] 步骤4，按照以下公式计算所述待修复图像破损边界上每个像素点所在模板块的破损度优先级的大小，并将破损度优先级按照从大到小降序排列；
[0012] P(p)＝a1C(p)+a2D(p)+a3H(p)；
[0013] 其中，p为所述模板块中心处的像素点；P(p)为像素点p的破损度优先级；a1,a2,a3为权重，且a1,a2,a3的和为1；
[0014] H(p)＝K·h+exp(-h)；K为控制参量，取值为0.8；exp(-h)＝e-h，e-h为以e为底数的指数函数，e＝2.71828；h为局部测度函数，h＝|λ1-λ2|2，λ1和λ2分别为所述模板块结构张量表达式的第一特征值和第二特征值，表达式为：
[0015]
[0016] 其中，j11,j12,j22由待修复图像结构张量表达式得到，所述待修复图像结构张量表达式为：
[0017]其中，Gρ为以ρ为参数的Gaussian核函数，ρ=1；
指Gρ与 求卷积运算； 指Gρ与 求卷积运算；
[0018] 指Gρ与 求卷积运算；
[0019] C(p)为所述模板块中心处像素点p的置信度；D(p)为所述模板块中心处像素点p的数据项；
[0020]
[0021]
[0022] 式中，ψp为破损边界上以像素点p为中心点的模板块，Φ为所述待修复图像中的未受损区域，ψp∩Φ指模板块与所述待修复图像中的未受损区域的交集，为所述模板块与所述待修复图像中的未受损区域的交集中的像素点，即所述模板块中未受损区域的像素点，为像素点 的置信度，|Ψp|为模板块的面积，指模板块内像素的数量； 为像素点p的等照度线的方向，即梯度的垂直方向，np为像素点p的单位方向向量，α为归一化因子，在灰度图像中取值为255；
[0023] 步骤5，在所述待修复图像的未受损区域中寻找与所述破损度优先级最大的模板块 相似度最高的区域，作为最优匹配块；
[0024] 步骤6，将所述最优匹配块中的像素值复制到所述破损度优先级最大的模板块中；
[0025] 步骤7，按照以下公式更新所述破损度优先级最大的模板块 的破损区域中所有像素点的置信度，并返回步骤4，直至待修复图像被完全修复；
[0026]
[0027] 式中，pm为所述破损度优先级最大的模板块的中心处的像素点；C(pm)为像素点pm的置信度， 为所述破损度优先级最大的模板块，Ω为所述待修复图像中的受损区域，指所述破损度优先级最大的模板块 与所述待修复图像中受损区域Ω的交集，即所述破损度优先级最大的模板块中的受损区域； 指在所述破损度优先级最大的模板块中受损区域中取任意像素点为 为所述破损度优先级最大的模板块中破损区域中的像素点， 为所述破损度优先级最大的模板块中破损区域中像素点 的置信度。
[0028] 本发明的有益效果是：通过在优先级设定过程中引入张量理论，由于结构张量能有效的描述图像局部结构信息，其特征值之间的关系可以表征图像不同的分区，使得可以根据图像结构张量及其特征值，来控制图像修复优先级，从而避免了现有技术中由于置信度项比较大，而数据项较小时，导致已知信息很多的图像块得不到优先修复，产生修复错误。
[0029] 在上述技术方案的基础上，本发明还可以做如下改进：
[0030] 进一步，所述步骤5包括以下步骤：
[0031] 步骤5.1，遍历所述待修复图像中所有未受损区域的样本块，所述样本块与所述破损度优先级最大的模板块的大小相同，并判断所述破损度优先级最大的模板块中所有像素值之和与所述样本块中所有像素值之和是否满足以下关系式：
[0032] (1-δ)·sum(Ψp″)≤sum(Ψq')≤(1+δ)·sum(Ψp″)；
[0033] 式中，p″为所述破损度优先级最大的模板块中像素已知的像素点，Ψp″为所述破损度优先级最大的模板块中像素点已知的区域；sum(Ψp″)指对所述破损度优先级最大的模板块中像素已知部分的所有像素点值求和；q'为所述样本块中与所述破损度优先级最大的模板块中像素已知的像素点相对应的像素点，Ψq'为所述样本块中与所述破损度优先级最大的模板块中像素点已知的区域相对应的区域；sum(Ψq')指对所述样本块中与所述破损度优先级最大的模板块中已知像素点相对应的像素点值求和；δ取值为[0，1]；
[0034] 步骤5.2，当所述样本块中所有像素值之和与所述破损度优先级最大的所述破损度优先级最大的模板块中所有像素值之和满足步骤5.1中的关系式之后，进行颜色匹配；
[0035] 步骤5.3，将颜色匹配度最高的样本块作为最优匹配块。
[0036] 采用上述进一步方案的有益效果是在颜色匹配之前增加了判断待匹配块已知区域像素和与目标块相对应区域像素值之和满足匹配条件这一过程，避免了现有技术中在全局范围内搜索最优匹配块，增大时间复杂度，导致修复效率低这一问题。
[0037] 进一步，所述步骤5.2中按照以下公式进行颜色匹配：
[0038]
[0039] 式中， 指求取使得 取最小值的ψq；λ1为所述破损度优先级最大的模板块结构张量表达式的第一特征值；λ2为所述破损度优先级最大的模板块结构张量表达式的第二特征值；λ1′为样本块结构张量表达式的第一特征值；λ2′样本块结构张量表达式的第二特征值；Φ为所述待修复图像中未受损区域； 为所述破损度优先级最大的模板块；q为样本块中对应所述破损度优先级最大的模板块中心处的像素点；ψq为以像素点q为中心点的样本块；n为所述模板块中所有像素点的数量； 为未受损区域中颜色匹配度最高的样本块；
[0040] 为所述破损度优先级最大的模板块与样本块的颜色差方和，表达式为：
[0041]
[0042] 式中，IR为模板块中R通道中已知像素点的灰度值；IR'为样本块中R通道中已知像素点的灰度值；IG为模板块中G通道中已知像素点的灰度值；IG'为样本块中G通道中已知像素点的灰度值；IB为模板块中B通道中已知像素点的灰度值；IB'为样本块中B通道中已知像素点的灰度值。
[0043] 采用上述进一步方案的有益效果是通过将结构张量的特征值引入匹配准则，避免了现有技术中在多个匹配目标块当中随机选取目标匹配块，导致选取不得当，而影响后期图像修复的效果，该颜色匹配准则使得所找到的目标块相似性更高，能够降低错误匹配率。
[0044] 进一步，所述权重a1,a2,a3可根据图像结构进行设置，当待修复的图像纹理特征丰富时，a1所占比重最大；当待修复图像中拐角等T形局部结构信息丰富时，a2所占比重最大；当线状结构丰富时，a3所占比重最大。
[0045] 采用上述进一步方案的有益效果是通过针对不同特点的待修复图像适当调整权重的比重，能够提高修复质量。
[0046] 进一步，所述当待修复的图像纹理特征丰富时，a1:a2:a3＝3:1:1；所述待修复图像中拐角等T形局部结构信息丰富时，a1:a2:a3＝1:3:1；所述当线状结构丰富时，a1:a2:a3＝1:1:3。
[0047] 采用上述进一步方案的有益效果是通过针对不同特点的待修复图像设置权重的比重，能够提高修复质量。
[0048] 本发明还提供了一种基于局部结构特征的图像合成修复系统，包括：
[0049] 输入模块，用于输入一幅待修复图像，记为u(x，y)，x,y分别为待修复图像在x,y方向上的坐标；
[0050] 初始化模块，对所述待修复图像中的所有像素点的置信度初始化；具体如下：
[0051]
[0052] 式中，p'为所述待修复图像中的像素点；C(p')为像素点p'的置信度；Ω为所述待修复图像中的受损区域，Φ为所述待修复图像中的未受损区域；为取任意值； 指在所述待修复图像中的受损区域取任意像素点； 指在所述待修复图像中的未受损区域取任意像素点；
[0053] 模板块选取模块，用于分别以所述待修复图像破损边界上各个像素点为中心选取所述各个像素点的模板块；
[0054] 计算模块，用于用于按照以下公式计算所述待修复图像破损边界上每个像素点所在模板块的破损度优先级的大小，并将破损度优先级按照从大到小降序排列；
[0055] P(p)＝a1C(p)+a2D(p)+a3H(p)；
[0056] 式中，p为所述模板块中心处的像素点；P(p)为像素点p的破损度优先级；a1,a2,a3为权重，且a1,a2,a3的和为1；
[0057] H(p)＝K·h+exp(-h)；K为控制参量，取值为0.8；exp(-h)＝e-h，e-h为以e为底数的指数函数，e＝2.71828；h为局部测度函数，h＝|λ1-λ2|2，λ1和λ2分别为所述模板块结构张量表达式的第一特征值和第二特征值，表达式为：
[0058]
[0059] 其中，j11,j12,j22由待修复图像结构张量表达式得到，所述待修复图像结构张量表达式为：
[0060]其中，Gρ为以ρ为参数的Gaussian核函数，ρ=1；
指Gρ与 求卷积运算； 指Gρ与 求卷积；
指Gρ与 求卷积运算；
[0061] C(p)为所述模板块中心处像素点p的置信度；D(p)为所述模板块中心处像素点p的数据项；
[0062]
[0063]
[0064] 式中，ψp为破损边界上以像素点p为中心点的模板块，Φ为所述待修复图像中的未受损区域，ψp∩Φ指模板块与所述待修复图像中的未受损区域的交集，为所述模板块与所述待修复图像中的受损区域的交集中的像素点，即所述模板块中未受损区域的像素点，为像素点 的置信度，|Ψp|为模板块的面积，指模板块内像素的数量； 为像素点p的等照度线的方向，即梯度的垂直方向，np为像素点p的单位方向向量，α为归一化因子，在灰度图像中取值为255；
[0065] 匹配模块，用于在所述待修复图像的未受损区域中寻找与所述破损度优先级最大的模板块相似度最高的区域，作为最优匹配块；
[0066] 复制模块，用于将所述最优匹配块中的像素值复制到所述破损度优先级最大的模板块中；
[0067] 更新模块，用于按照以下公式更新所述破损度优先级最大的模板块的破损区域中所有像素点的置信度，并返回计算模块，直至待修复图像被完全修复；
[0068]
[0069] 式中，pm为所述破损度优先级最大的模板块的中心处的像素点；C(pm)为像素点pm的置信度， 为所述破损度优先级最大的模板块，Ω为所述待修复图像中的受损区域，指所述破损度优先级最大的模板块 与所述待修复图像中受损区域Ω的交集，即所述破损度优先级最大的模板块中的受损区域； 指在所述破损度优先级最大的模板块中受损区域中取任意像素点为 为所述破损度优先级最大的模板块中破损区域中的像素点， 为所述破损度优先级最大的模板块中破损区域中像素点 的置信度。
[0070] 本发明的有益效果是：通过在优先级设定过程中引入张量理论，由于结构张量能有效的描述图像局部结构信息，其特征值之间的关系可以表征图像不同的分区，使得可以根据图像结构张量及其特征值，来控制图像修复优先级，从而避免了现有技术中由于置信度项比较大，而数据项较小时，导致已知信息很多的图像块得不到优先修复，产生修复错误。
[0071] 在上述技术方案的基础上，本发明还可以做如下改进：
[0072] 进一步地，所述匹配模块包括：
[0073] 判断单元，用于遍历所述待修复图像中所有未受损区域的样本块，所述样本块与所述破损度优先级最大的模板块的大小相同，并判断所述破损度优先级最大的模板块中所有像素值之和与所述样本块中所有像素值之和是否满足以下关系式：
[0074] (1-δ)·sum(Ψp″)≤sum(Ψq')≤(1+δ)·sum(Ψp″)；
[0075] 式中，p″为所述破损度优先级最大的模板块中像素已知的像素点，Ψp″为所述破损度优先级最大的模板块中像素点已知的区域；sum(Ψp″)指对所述破损度优先级最大的模板块中像素已知部分的所有像素点值求和；q'为所述样本块中与所述破损度优先级最大的模板块中像素已知的像素点相对应的像素点，Ψq'为所述样本块中与所述破损度优先级最大的模板块中像素点已知的区域相对应的区域；sum(Ψq')指对所述样本块中与所述破损度优先级最大的模板块中已知像素点相对应的像素点值求和；δ取值为[0，1]；
[0076] 颜色匹配单元，用于当所述样本块中所有像素值之和与所述破损度优先级最大的所述破损度优先级最大的模板块中所有像素值之和满足判断单元中的关系式之后，进行颜色匹配；
[0077] 最优匹配单元，用于将颜色匹配度最高的样本块作为最优匹配块。
[0078] 采用上述进一步方案的有益效果是在颜色匹配之前增加了判断待匹配块已知区域像素和与目标块相对应区域像素值之和满足匹配条件这一过程，避免了现有技术中在全局范围内搜索最优匹配块，增大时间复杂度，导致修复效率低这一问题。
[0079] 进一步，所述颜色匹配单元按照以下公式进行颜色匹配：
[0080]
[0081] 式中， 指求取使得 取最小值的ψq；λ1为所述破损度优先级最大的模板块结构张量表达式的第一特征值；λ2为所述破损度优先级最大的模板块结构张量表达式的第二特征值；λ1′为样本块结构张量表达式的第一特征值；λ2′样本块结构张量表达式的第二特征值；Φ为所述待修复图像中未受损区域； 为所述破损度优先级最大的模板块；q为样本块中对应所述破损度优先级最大的模板块中心处的像素点；ψq为以像素点q为中心点的样本块；n为所述模板块中所有像素点的数量； 为未受损区域中颜色匹配度最高的样本块；
[0082] 为所述破损度优先级最大的模板块与样本块的颜色差方和，表达式为：
[0083]
[0084] 式中，IR为模板块中R通道中已知像素点的灰度值；IR'为样本块中R通道中已知像素点的灰度值；IG为模板块中G通道中已知像素点的灰度值；IG'为样本块中G通道中已知像素点的灰度值；IB为模板块中B通道中已知像素点的灰度值；IB'为样本块中B通道中已知像素点的灰度值。
[0085] 采用上述进一步方案的有益效果是通过将结构张量的特征值引入匹配准则，避免了现有技术中在多个匹配目标块当中随机选取目标匹配块，导致选取不得当，而影响后期图像修复的效果，该颜色匹配准则使得所找到的目标块相似性更高，能够降低错误匹配率。
[0086] 进一步，所述计算模块中包括设置单元，用于根据图像结构设置权重a1,a2,a3，当待修复的图像纹理特征丰富时，a1所占比重最大；当待修复图像中拐角等T形局部结构信息丰富时，a2所占比重最大；当线状结构丰富时，a3所占比重最大。
[0087] 采用上述进一步方案的有益效果是通过针对不同特点的待修复图像适当调整权重的比重，能够提高修复质量。
[0088] 进一步，所述设置单元包括设置子单元，用于当待修复的图像纹理特征丰富时，a1:a2:a3＝3:1:1；所述待修复图像中拐角处的T形局部结构信息丰富时，a1:a2:a3＝1:3:1；所述当线状结构丰富时，a1:a2:a3＝1:1:3。
[0089] 采用上述进一步方案的有益效果是通过针对不同特点的待修复图像设置权重的比重，能够提高修复质量。
附图说明
[0090] 图1为本发明一种基于局部结构特征的图像合成修复方法的流程示意图；
[0091] 图2为本发明实验中利用现有方法和本发明方法对第一组图像进行修复的结果对比图；
[0092] 图3为本发明实验中利用现有方法和本发明方法对第二组图像进行修复的结果对比图；
[0093] 图4为本发明实验中利用现有方法和本发明方法对第三组图像进行修复的结果对比图；
[0094] 图5为本发明实验中利用现有方法和本发明方法对第四组图像进行修复的结果对比图；
[0095] 图6为本发明实验中利用现有方法和本发明方法对第五组图像进行修复的结果对比图。
具体实施方式
[0096] 以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0097] 如图1所示，本发明的一种基于局部结构特征的图像合成修复方法，包括以下步骤：
[0098] 步骤1，输入一幅待修复图像，记为u(x，y)，x,y分别为待修复图像在x,y方向上的坐标；
[0099] 对所述待修复图像中的所有像素点的置信度初始化；具体如下：
[0100]
[0101] 式中，p'为所述待修复图像中的像素点；C(p')为像素点p'的置信度；Ω为所述待修复图像中的受损区域，Φ为所述待修复图像中的未受损区域；为取任意值； 指在所述待修复图像中的受损区域取任意像素点； 指在所述待修复图像中的未受损区域取任意像素点；
[0102] 步骤3，分别以所述待修复图像破损边界上各个像素点为中心选取所述各个像素点的模板块；
[0103] 步骤4，按照以下公式计算所述待修复图像破损边界上每个像素点所在模板块的破损度优先级的大小，并将破损度优先级按照从大到小降序排列；
[0104] P(p)＝a1C(p)+a2D(p)+a3H(p)；
[0105] 其中，p为所述模板块中心处的像素点；P(p)为像素点p的破损度优先级；a1,a2,a3为权重，且a1,a2,a3的和为1；
[0106] H(p)＝K·h+exp(-h)；K为控制参量，取值为0.8；exp(-h)＝e-h，e-h为以e为底数的2
指数函数，e＝2.71828；h为局部测度函数，h＝|λ1-λ2| ，λ1和λ2分别为所述模板块结构张量表达式的第一特征值和第二特征值，表达式为：
[0107]
[0108] 其中，j11,j12,j22由待修复图像结构张量表达式得到，所述待修复图像结构张量表达式为：
[0109]其中，Gρ为以ρ为参数的Gaussian核函数，ρ=1；
指Gρ与求 卷积运算； 指Gρ与 求卷积运算；
[0110] 指Gρ与 求卷积运算；
[0111] C(p)为所述模板块中心处像素点p的置信度；D(p)为所述模板块中心处像素点p的数据项；
[0112]
[0113]
[0114] 式中，ψp为破损边界上以像素点p为中心点的模板块，Φ为所述待修复图像中的未受损区域，ψp∩Φ指模板块与所述待修复图像中的未受损区域的交集，为所述模板块与所述待修复图像中的未受损区域的交集中的像素点，即所述模板块中未受损区域的像素点，为像素点 的置信度，|Ψp|为模板块的面积，指模板块内像素的数量； 为像素点p的等照度线的方向，即梯度的垂直方向，np为像素点p的单位方向向量，α为归一化因子，在灰度图像中取值为255；
[0115] 在H(p)中加入exp(-h)，有以下两个优点：当两个特征值差异不大时，即图像趋于平坦区域时，保证H(p)变化很小且又不为零能；当两个特征值之间的差异越来越大时，其作用却越来越小，保证H(p)的线性跟随性，以准确描述图像结构的变化；
[0116] H(p)一方面增大了结构因素在修复过程中的影响，保证了图像结构的优先传播；另一方面引入结构张量使得对图像结构的描述和判断更为准确，从而保证了修复效果。
[0117] 步骤5，在所述待修复图像的未受损区域中寻找与所述破损度优先级最大的模板块 相似度最高的区域，作为最优匹配块；
[0118] 步骤5包括以下步骤：
[0119] 步骤5.1，遍历所述待修复图像中所有未受损区域的样本块，所述样本块与所述破损度优先级最大的模板块的大小相同，并判断所述破损度优先级最大的模板块中所有像素值之和与所述样本块中所有像素值之和是否满足以下关系式：
[0120] (1-δ)·sum(Ψp″)≤sum(Ψq')≤(1+δ)·sum(Ψp″)；
[0121] 式中，p″为所述破损度优先级最大的模板块中像素已知的像素点，Ψp″为所述破损度优先级最大的模板块中像素点已知的区域；sum(Ψp″)指对所述破损度优先级最大的模板块中像素已知部分的所有像素点值求和；q'为所述样本块中与所述破损度优先级最大的模板块中像素已知的像素点相对应的像素点，Ψq'为所述样本块中与所述破损度优先级最大的模板块中像素点已知的区域相对应的区域；sum(Ψq')指对所述样本块中与所述破损度优先级最大的模板块中已知像素点相对应的像素点值求和；δ取值为[0，1]；
[0122] 步骤5.2，当所述样本块中所有像素值之和与所述破损度优先级最大的所述破损度优先级最大的模板块中所有像素值之和满足步骤5.1中的关系式之后，进行颜色匹配；
[0123] 步骤5.2中按照以下公式进行颜色匹配：
[0124]
[0125] 式中， 指求取使得 取最小值的ψq；λ1为所述破损度优先级最大的模板块结构张量表达式的第一特征值；λ2为所述破损度优先级最大的模板块结构张量表达式的第二特征值；λ1′为样本块结构张量表达式的第一特征值；λ2′样本块结构张量表达式的第二特征值；Φ为所述待修复图像中未受损区域； 为所述破损度优先级最大的模板块；q为样本块中对应所述破损度优先级最大的模板块中心处的像素点；ψq为以像素点q为中心点的样本块；n为所述模板块中所有像素点的数量； 为未受损区域中颜色匹配度最高的样本块；
[0126] 为所述破损度优先级最大的模板块与样本块的颜色差方和，表达式为：
[0127]
[0128] 式中，IR为模板块中R通道中已知像素点的灰度值；IR'为样本块中R通道中已知像素点的灰度值；IG为模板块中G通道中已知像素点的灰度值；IG'为样本块中G通道中已知像素点的灰度值；IB为模板块中B通道中已知像素点的灰度值；IB'为样本块中B通道中已知像素点的灰度值。
[0129] 步骤5.3，将颜色匹配度最高的样本块作为最优匹配块；
[0130] 步骤6，将所述最优匹配块中的像素值复制到所述破损度优先级最大的模板块中；
[0131] 步骤7，按照以下公式更新所述破损度优先级最大的模板块 的破损区域中所有像素点的置信度，并返回步骤4，直至待修复图像被完全修复；
[0132]
[0133] 式中，pm为所述破损度优先级最大的模板块的中心处的像素点；C(pm)为像素点pm的置信度， 为所述破损度优先级最大的模板块，Ω为所述待修复图像中的受损区域，指所述破损度优先级最大的模板块 与所述待修复图像中受损区域Ω的交集，即所述破损度优先级最大的模板块中的受损区域； 指在所述破损度优先级最大的模板块中受损区域中取任意像素点为 为所述破损度优先级最大的模板块中破损区域中的像素点， 为所述破损度优先级最大的模板块中破损区域中像素点 的置信度。
[0134] 本发明还提供了一种基于局部结构特征的图像合成修复系统，包括：
[0135] 输入模块，用于输入一幅待修复图像，记为u(x，y)，x,y分别为待修复图像在x,y方向上的坐标；
[0136] 初始化模块，用于对所述待修复图像中的所有像素点的置信度初始化；具体如下：
[0137]
[0138] 式中，p'为所述待修复图像中的像素点；C(p')为像素点p'的置信度；Ω为所述待修复图像中的受损区域，Φ为所述待修复图像中的未受损区域；为取任意值； 指在所述待修复图像中的受损区域取任意像素点； 指在所述待修复图像中的未受损区域取任意像素点；
[0139] 模板块选取模块，用于分别以所述待修复图像破损边界上各个像素点为中心选取所述各个像素点的模板块；
[0140] 计算模块，用于按照以下公式计算所述待修复图像破损边界上每个像素点所在模板块的破损度优先级的大小，并将破损度优先级按照从大到小降序排列；
[0141] P(p)＝a1C(p)+a2D(p)+a3H(p)；
[0142] 式中，p为所述模板块中心处的像素点；P(p)为像素点p的破损度优先级；a1,a2,a3为权重，且和为1；
[0143] H(p)＝K·h+exp(-h)；K为控制参量，取值为0.8；exp(-h)＝e-h，e-h为以e为底数的指数函数，e＝2.71828；h为局部测度函数，h＝|λ1-λ2|2，λ1和λ2分别为所述模板块结构张量表达式的第一特征值和第二特征值，表达式为：
[0144]
[0145] 其中，j11,j12,j22由待修复图像结构张量表达式得到，所述待修复图像结构张量表达式为：
[0146]其中，Gρ为以ρ为参数的Gaussian核函数，ρ=1；
指Gρ与 求卷积运算； 指Gρ与 求卷积运算；
[0147] 指Gρ与 求卷积运算；
[0148] C(p)为所述模板块中心处像素点p的置信度；D(p)为所述模板块中心处像素点p的数据项；
[0149]
[0150]
[0151] 式中，ψp为破损边界上以像素点p为中心点的模板块，Φ为所述待修复图像中的未受损区域，ψp∩Φ指模板块与所述待修复图像中的未受损区域的交集，为所述模板块与所述待修复图像中的受损区域的交集中的像素点，即所述模板块中未受损区域的像素点，为像素点 的置信度，|Ψp|为模板块的面积，指模板块内像素的数量； 为像素点p的等照度线的方向，即梯度的垂直方向，np为像素点p的单位方向向量，α为归一化因子，在灰度图像中取值为255；
[0152] 其中，所述计算模块中包括设置单元，用于根据图像结构设置权重a1,a2,a3，当待修复的图像纹理特征丰富时，a1所占比重最大；当待修复图像中拐角等T形局部结构信息丰富时，a2所占比重最大；当线状结构丰富时，a3所占比重最大；
[0153] 所述设置单元还用于当待修复的图像纹理特征丰富时，a1:a2:a3＝3:1:1；所述待修复图像中拐角处的T形局部结构信息丰富时，a1:a2:a3＝1:3:1；所述当线状结构丰富时，a1:a2:a3＝1:1:3。
[0154] 匹配模块，用于在所述待修复图像的未受损区域中寻找与所述破损度优先级最大的模板块相似度最高的区域，作为最优匹配块。
[0155] 所述匹配模块包括：
[0156] 判断单元，用于遍历所述待修复图像中所有未受损区域的样本块，所述样本块与所述破损度优先级最大的模板块的大小相同，并判断所述破损度优先级最大的模板块中所有像素值之和与所述样本块中所有像素值之和是否满足以下关系式：
[0157] (1-δ)·sum(Ψp″)≤sum(Ψq')≤(1+δ)·sum(Ψp″)；
[0158] 式中，p″为所述破损度优先级最大的模板块中像素已知的像素点，Ψp″为所述破损度优先级最大的模板块中像素点已知的区域；sum(Ψp″)指对所述破损度优先级最大的模板块中像素已知部分的所有像素点值求和；q'为所述样本块中与所述破损度优先级最大的模板块中像素已知的像素点相对应的像素点，Ψq'为所述样本块中与所述破损度优先级最大的模板块中像素点已知的区域相对应的区域；sum(Ψq')指对所述样本块中与所述破损度优先级最大的模板块中已知像素点相对应的像素点值求和；δ取值为[0，1]；
[0159] 颜色匹配单元，用于当所述样本块中所有像素值之和与所述破损度优先级最大的所述破损度优先级最大的模板块中所有像素值之和满足判断单元中的关系式之后，进行颜色匹配；
[0160] 所述颜色匹配单元按照以下公式进行颜色匹配：
[0161]
[0162] 式中， 指求取使得d(Ψpm,Ψq)取最小值的ψq；λ1为所述破损度优先级最大的模板块结构张量表达式的第一特征值；λ2为所述破损度优先级最大的模板块结构张量表达式的第二特征值；λ1′为样本块结构张量表达式的第一特征值；λ2′样本块结构张量表达式的第二特征值；Φ为所述待修复图像中未受损区域； 为所述破损度优先级最大的模板块；q为样本块中对应所述破损度优先级最大的模板块中心处的像素点；ψq为以像素点q为中心点的样本块；n为所述模板块中所有像素点的数量； 为未受损区域中颜色匹配度最高的样本块；
[0163] 为所述破损度优先级最大的模板块与样本块的颜色差方和，表达式为：
[0164]
[0165] 式中，IR为模板块中R通道中已知像素点的灰度值；IR'为样本块中R通道中已知像素点的灰度值；IG为模板块中G通道中已知像素点的灰度值；IG'为样本块中G通道中已知像素点的灰度值；IB为模板块中B通道中已知像素点的灰度值；IB'为样本块中B通道中已知像素点的灰度值。
[0166] 复制模块，用于将所述最优匹配块中的像素值复制到所述破损度优先级最大的模板块中。
[0167] 更新模块，用于按照以下公式更新所述破损度优先级最大的模板块的破损区域中所有像素点的置信度，并返回计算模块，直至待修复图像被完全修复；
[0168]
[0169] 式中，pm为所述破损度优先级最大的模板块的中心处的像素点；C(pm)为像素点pm的置信度， 为所述破损度优先级最大的模板块，Ω为所述待修复图像中的受损区域，指所述破损度优先级最大的模板块 与所述待修复图像中受损区域Ω的交集，即所述破损度优先级最大的模板块中的受损区域； 指在所述破损度优先级最大的模板块中受损区域中取任意像素点为 为所述破损度优先级最大的模板块中破损区域中的像素点， 为所述破损度优先级最大的模板块中破损区域中像素点 的置信度。
[0170] 最优匹配单元，用于将颜色匹配度最高的样本块作为最优匹配块。
[0171] 下面通过实验对本发明的效果进行说明：
[0172] 图2、图3、图4、图5和图6分别为本发明实验中利用现有方法和本发明方法对待修复图像进行修复的结果对比图，图(a1)、图(b1)、图(c1)、图(d1)和图(e1)均为原始图像，图(a2)、图(b2)、图(c2)、图(d2)和图(e2)均为待修复图像，图(a3)、图(b3)、图(c3)、图(d3)和图(e3)分别为利用现有技术中的Criminsi算法进行修复的结果图；图(a4)、图(b4)、图(c4)、图(d4)和图(e4)分别为利用CDD模型修复算法进行修复的结果图；图(a5)、图(b5)、图(c5)、图(d5)和图(e5)分别为利用改进的基于纹理合成的图像修复算法进行修复的结果图；图(a6)、图(b6)、图(c6)、图(d6)和图(e6)分别为利用本发明的方法进行修复的结果图。
[0173] 表4.1、表4.2、表4.3和表4.4分别为利用现有的方法和本发明的方法从评价标准入手进行对比，评价标准包括：峰值信噪比(PSNR)、绝对均值误差(MAE)、结构相似度(MSSIM)和程序运行时间(s)；具体如下所示：
[0174] 表4.1各类算法的PSNR(dB)值比较
[0175]
[0176] 表4.2各类算法的MAE值比较
[0177]
[0178] 表4.3各类算法的MSSIM值比较
[0179]
[0180]
[0181] 表4.4各类算法的运行时间(s)比较
[0182]
[0183] 以上各项实验数据表明本发明方法在各类客观评价指标上，即PSNR值、MAE值结构相似度(SSIM)以及运行时间都要优于其他几种现有的方法。主要由于以下三点：1)图像结构测度函数的引入，以及优先级由相乘变为相加形式上的转变，确保了图像结构信息正确且优先的传播，提升了修复效果；2)结构张量特征值的引入使得待修复块与目标块的匹配更加精确，降低了原算法的错误匹配率以及错误累加率，使得视觉效果有了明显改善；3)搜索方式的转变，减少了待匹配块的冗余度，降低了时间复杂度，使修复效率有显著提高。
[0184] 以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
