集成电路图像增强方法、装置、电子设备及存储介质

摘要

本申请属于图像处理技术领域，公开了一种集成电路图像增强方法、装置、电子设备及存储介质，通过获取集成电路的待处理的太赫兹图像；利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像；对所述多个第一图像进行平均处理得到平均图像；利用LatLRR算法对所述平均图像进行多尺度分解得到多个细节图像；利用Bregman迭代算法对所述平均图像进行增强处理，得到第二图像；对所述多个细节图像和所述第二图像进行平均处理得到增强图像；从而可得到细节特征清晰的太赫兹图像，使图像的隐藏特征显现，与现有技术相比，得到的图像更有利于准确地判断集成电路的电介质层断裂、裂纹和分层等缺陷情况。

权利要求

1.一种集成电路图像增强方法，用于对集成电路的太赫兹图像进行增强处理；其特征在于，包括以下步骤：

A1.获取所述集成电路的待处理的太赫兹图像；

A2.利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像；

A3.对所述多个第一图像进行平均处理得到平均图像；

A4.利用LatLRR算法对所述平均图像进行多尺度分解得到多个细节图像；

A5.利用Bregman迭代算法对所述平均图像进行增强处理，得到第二图像；

A6.对所述多个细节图像和所述第二图像进行平均处理得到增强图像；

步骤A6包括：

通过以下公式计算所述增强图像的图像矩阵：；

其中， 为所述增强图像的图像矩阵， 为第i个尺度下的所述细节图像的图像矩阵，K为细节图像的数量， 为所述第二图像的图像矩阵。

2.根据权利要求1所述的集成电路图像增强方法，其特征在于，步骤A2包括：分别用所述待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器；

针对每个尺度，用所述待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵。

3.根据权利要求1所述的集成电路图像增强方法，其特征在于，步骤A2包括：利用三个尺度的高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到三个所述第一图像。

4.根据权利要求1所述的集成电路图像增强方法，其特征在于，步骤A3包括：通过以下公式计算所述平均图像的图像矩阵：；

其中，为所述平均图像的图像矩阵， 为第n个尺度下的所述第一图像的图像矩阵，k是第一图像的数量。

5.根据权利要求1所述的集成电路图像增强方法，其特征在于，步骤A4包括：利用LatLRR算法对所述平均图像进行四个尺度分解得到四个所述细节图像。

6.一种集成电路图像增强装置，用于对集成电路的太赫兹图像进行增强处理；其特征在于，包括：

第一获取模块，用于获取所述集成电路的待处理的太赫兹图像；

去模糊模块，用于利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像；

第一平均处理模块，用于对所述多个第一图像进行平均处理得到平均图像；

分解模块，用于利用LatLRR算法对所述平均图像进行多尺度分解得到多个细节图像；

第一增强模块，用于利用Bregman迭代算法对所述平均图像进行增强处理，得到第二图像；

第二平均处理模块，用于对所述多个细节图像和所述第二图像进行平均处理得到增强图像；

所述第二平均处理模块用于在对所述多个细节图像和所述第二图像进行平均处理得到增强图像的时候，执行：

通过以下公式计算所述增强图像的图像矩阵：；

其中， 为所述增强图像的图像矩阵， 为第i个尺度下的所述细节图像的图像矩阵，K为细节图像的数量， 为所述第二图像的图像矩阵。

7.根据权利要求6所述的集成电路图像增强装置，其特征在于，所述去模糊模块用于在利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像的时候，执行：

分别用所述待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器；

针对每个尺度，用所述待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1‑5任一项所述集成电路图像增强方法中的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1‑5任一项所述集成电路图像增强方法中的步骤。

说明书

集成电路图像增强方法、装置、电子设备及存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，具体而言，涉及一种集成电路图像增强方法、装置、电子设备及存储介质。

背景技术

[0002] 现有技术中利用太赫兹图像对集成电路进行缺陷检测时，常使用MSR（multiscale retinex，多尺度视网皮层理论）方法对图像进行增强处理，但增强后的太赫兹图像难以得
到足够清晰的图像细节特征，从而难以有效确定集成电路的电介质层断裂、裂纹和分层等
缺陷情况。

发明内容

[0003] 本申请的目的在于提供一种集成电路图像增强方法、装置、电子设备及存储介质，可得到细节特征清晰的太赫兹图像，有利于更准确地判断集成电路缺陷情况。

[0004] 第一方面，本申请提供了一种集成电路图像增强方法，用于对集成电路的太赫兹图像进行增强处理；包括以下步骤：

[0005] A1.获取集成电路的待处理的太赫兹图像；

[0006] A2.利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像；

[0007] A3.对所述多个第一图像进行平均处理得到平均图像；

[0008] A4.利用LatLRR算法对所述平均图像进行多尺度分解得到多个细节图像；

[0009] A5.利用Bregman迭代算法对所述平均图像进行增强处理，得到第二图像；

[0010] A6.对所述多个细节图像和所述第二图像进行平均处理得到增强图像。

[0011] 该集成电路图像增强方法，先利用多尺度高斯函数对集成电路的原始的太赫兹图像进行去模糊处理后通过平均处理得到平均图像，再利用LatLRR算法对平均图像进行多尺
度分解以从多个表示层次上提取多尺度的细节图像，同时用Bregman迭代算法对平均图像
进行增强处理得到第二图像，最终用平均策略对第二图像和多个细节图像进行处理，得到
增强图像，可得到细节特征清晰的太赫兹图像，使图像的隐藏特征显现，与现有的使用MSR
得到的增强图像相比，得到的图像更有利于准确地判断集成电路的电介质层断裂、裂纹和
分层等缺陷情况。

[0012] 优选地，步骤A2包括：

[0013] 分别用所述待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器；

[0014] 针对每个尺度，用所述待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵。

[0015] 利用多尺度高斯函数进行去模糊处理，可有效恢复图像场景辐照亮度和去除雾霾，更有利于后续通过LatLRR算法进行多尺度分解提取特征。

[0016] 优选地，步骤A2包括：

[0017] 利用三个尺度的高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到三个第一图像。

[0018] 利用三个尺度的高斯函数对所述待处理的太赫兹图像进行去模糊处理，恢复图像场景辐照亮度和去除雾霾的效果较佳。

[0019] 优选地，步骤A3包括：

[0020] 通过以下公式计算所述平均图像的图像矩阵：

[0021] ；

[0022] 其中，为所述平均图像的图像矩阵， 为第n个尺度下的所述第一图像的图像矩阵，k是第一图像的数量。

[0023] 优选地，步骤A4包括：

[0024] 利用LatLRR算法对所述平均图像进行四个尺度分解得到四个细节图像。

[0025] 优选地，步骤A6包括：

[0026] 通过以下公式计算所述增强图像的图像矩阵：

[0027] ；

[0028] 其中， 为所述增强图像的图像矩阵， 为第i个尺度下的所述细节图像的图像矩阵，K为细节图像的数量， 为所述第二图像的图像矩阵。

[0029] 第二方面，本申请提供了一种集成电路图像增强装置，用于对集成电路的太赫兹图像进行增强处理；包括：

[0030] 第一获取模块，用于获取集成电路的待处理的太赫兹图像；

[0031] 去模糊模块，用于利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像；

[0032] 第一平均处理模块，用于对所述多个第一图像进行平均处理得到平均图像；

[0033] 分解模块，用于利用LatLRR算法对所述平均图像进行多尺度分解得到多个细节图像；

[0034] 第一增强模块，用于利用Bregman迭代算法对所述平均图像进行增强处理，得到第二图像；

[0035] 第二平均处理模块，用于对所述多个细节图像和所述第二图像进行平均处理得到增强图像。

[0036] 该集成电路图像增强装置，先利用多尺度高斯函数对集成电路的原始的太赫兹图像进行去模糊处理后通过平均处理得到平均图像，再利用LatLRR算法对平均图像进行多尺
度分解以从多个表示层次上提取多尺度的细节图像，同时用Bregman迭代算法对平均图像
进行增强处理得到第二图像，最终用平均策略对第二图像和多个细节图像进行处理，得到
增强图像，可得到细节特征清晰的太赫兹图像，使图像的隐藏特征显现，与现有的使用MSR
得到的增强图像相比，得到的图像更有利于准确地判断集成电路的电介质层断裂、裂纹和
分层等缺陷情况。

[0037] 优选地，所述去模糊模块用于在利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊处理，得到多个第一图像的时候，执行：

[0038] 分别用所述待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器；

[0039] 针对每个尺度，用所述待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵。

[0040] 第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述集
成电路图像增强方法中的步骤。

[0041] 第四方面，本申请提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述集成电路图像增强方法中的步骤。

[0042] 有益效果：

[0043] 本申请提供的集成电路图像增强方法、装置、电子设备及存储介质，通过获取集成电路的待处理的太赫兹图像；利用多尺度高斯函数对所述待处理的太赫兹图像进行去模糊
处理，得到多个第一图像；对所述多个第一图像进行平均处理得到平均图像；利用LatLRR算
法对所述平均图像进行多尺度分解得到多个细节图像；利用Bregman迭代算法对所述平均
图像进行增强处理，得到第二图像；对所述多个细节图像和所述第二图像进行平均处理得
到增强图像；从而可得到细节特征清晰的太赫兹图像，使图像的隐藏特征显现，与现有技术
相比，得到的图像更有利于准确地判断集成电路的电介质层断裂、裂纹和分层等缺陷情况。

[0044] 本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。

附图说明

[0045] 图1为本申请实施例提供的集成电路图像增强方法的一种流程图。

[0046] 图2为本申请实施例提供的集成电路图像增强装置的第一种结构示意图。

[0047] 图3为本申请实施例提供的电子设备的结构示意图。

[0048] 图4为本申请实施例提供的集成电路图像增强方法的原理图。

[0049] 图5为对比试验一的对比图像。

[0050] 图6为对比试验二的对比图像。

[0051] 图7为对比试验三的对比图像。

[0052] 图8为对比试验四的对比图像。

[0053] 图9为对比试验五的对比图像。

具体实施方式

[0054] 下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在
此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因
此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的
范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做
出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0055] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的
描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0056] 请参照图1，图1是本申请一些实施例中的一种集成电路图像增强方法，用于对集成电路的太赫兹图像进行增强处理；包括以下步骤：

[0057] A1.获取集成电路的待处理的太赫兹图像；

[0058] A2.利用多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个第一图像；

[0059] A3.对多个第一图像进行平均处理得到平均图像；

[0060] A4.利用LatLRR（latent low rank representation，潜在低秩表示）算法对平均图像进行多尺度分解得到多个细节图像；

[0061] A5.利用Bregman迭代算法对平均图像进行增强处理，得到第二图像；

[0062] A6.对多个细节图像和第二图像进行平均处理得到增强图像。

[0063] 该集成电路图像增强方法，先利用多尺度高斯函数对集成电路的原始的太赫兹图像进行去模糊处理后通过平均处理得到平均图像，再利用LatLRR算法对平均图像进行多尺
度分解以从多个表示层次上提取多尺度的细节图像，同时用Bregman迭代算法对平均图像
进行增强处理得到第二图像，最终用平均策略对第二图像和多个细节图像进行处理，得到
增强图像，可得到细节特征清晰的太赫兹图像，使图像的隐藏特征显现，与现有的使用MSR
得到的增强图像相比，得到的图像更有利于准确地判断集成电路的电介质层断裂、裂纹和
分层等缺陷情况。

[0064] 其中，集成电路的待处理的太赫兹图像是用THz‑TDS系统（太赫兹时域光谱系统）采集的集成电路的图像。其中，采集太赫兹图像时，可使用振幅成像方法生成太赫兹图像
（此为现有技术，此处不对其进行详述），或者更优选地，采用以下方式生成太赫兹图像：

[0065] 在0.3 THz到0.55 THz的变频带范围对集成电路进行逐点光栅扫描；

[0066] 通过以下公式计算各位置点的像素值，从而生成集成电路的待处理的太赫兹图像：

[0067]     （1）；

[0068] 其中， 是集成电路的待处理的太赫兹图像的（x，y）位置点的像素值， 是设备系统参数（该设备系统参数由截断比和辐照度决定，在本实施例中，k=1.09）， 是
THz‑TDS系统的数值孔径， 是太赫兹光束的频率（从0.3 THz到0.55 THz变化，该公式（1）
中计算从0.3 THz到0.55 THz的积分），是光速， 是光束束腰处的光斑半径， 是样品
（集成电路）的吸收系数，z是光束束腰到样品的轴向距离。

[0069] 优选地，步骤A2包括：

[0070] A201.分别用待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器；

[0071] A202.针对每个尺度，用待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵。

[0072] 其中，图像矩阵是指由图像中各像素点的像素值组成的矩阵；待处理的太赫兹图像的图像矩阵是指由待处理的太赫兹图像各像素点的像素值组成的矩阵；第一图像的图像
矩阵是指由第一图像各像素点的像素值组成的矩阵。

[0073] 其中，对于（x，y）像素点，其第n个尺度的低通带高斯函数为：

[0074]         （2）；

[0075] 其中，x、y为像素点的坐标值， 为（x，y）像素点的第n个尺度的低通带高斯函数值， 是第n个尺度的标准差；其中，可通过该公式（2）和以下公式（3），计算得到各尺
度的 的值：

[0076]       （3）。

[0077] 在步骤A201中，用待处理的太赫兹图像的图像矩阵 分别与各尺度的低通带高斯函数 进行卷积运算然后对运算结果进行反傅里叶变换，可得到对应的模糊滤波器
，其中该 为矩阵，包含各像素点对应的模糊滤波器数值 ，该 为（x，
y）像素点的模糊滤波器数值。

[0078] 步骤A202中，通过以下公式计算第一图像的图像矩阵：

[0079] ；

[0080] 其中， 为第n尺度下的第一图像的图像矩阵。具体地，对于 中的任一位置（x，y）的像素点的像素值由以下公式计算得到：

[0081] ；

[0082] 其中， 为第n尺度下的第一图像的（x，y）像素点的像素值， 为待处理的太赫兹图像的（x，y）像素点的像素值， 为第n尺度下的（x，y）像素点的模糊滤
波器数值。

[0083] 利用多尺度高斯函数进行去模糊处理，可有效恢复图像场景辐照亮度和去除雾霾，更有利于后续通过LatLRR算法进行多尺度分解提取特征。

[0084] 其中，进行去模糊处理时采用的高斯函数的尺度数可根据实际需要设置，优选地，利用三个尺度的高斯函数对待处理的太赫兹图像进行去模糊处理，得到三个第一图像。

[0085] 即前文中的n=1，2，3；得到的第一图像的图像矩阵分别为 、 、 ；一般地，小尺度取值为 ，中尺度取值为 ，大尺度取值为 ，从而优选地，对
应三个尺度的高斯函数，其标准差 、 、 分别在小尺度范围、中尺度范围和大尺度
范围取值。利用三个尺度的高斯函数对待处理的太赫兹图像进行去模糊处理，恢复图像场
景辐照亮度和去除雾霾的效果较佳。

[0086] 优选地，步骤A3包括：

[0087] 通过以下公式计算平均图像的图像矩阵：

[0088] ；

[0089] 其中， 为平均图像的图像矩阵， 为第n个尺度下的第一图像的图像矩阵，是第一图像的数量（也等于去模糊处理时采用的高斯函数的尺度数，例如当使用三个尺度
的高斯函数对待处理的太赫兹图像进行去模糊处理时， =3）。

[0090] 对多个第一图像进行平均处理的优点在于：增强算法的鲁棒性，防止由于多种原因导致某些像素点数值过高。

[0091] 其中，利用LatLRR算法对图像分解的方法为现有技术，每次分解可把图像分解为基础图像和细节图像。本实施例中，步骤A4中，利用LatLRR算法对平均图像进行多尺度分解
包括：利用LatLRR算法对平均图像进行首次分解得到第一次分解的基础图像和细节图像
后，然后依次对上一次分解得到的基础图像进行分解得到本次分解的基础图像和细节图
像，直到分解次数达到预设的次数（即对平均图像进行多尺度分解的尺度数等于该预设的
次数）。该过程可用以下公式表达：

[0092]

[0093] s.t. ；

[0094] 其中， 为第i尺度下的（即第i次分解后的）细节部分（是输入图像 的分解结果）， 为第i尺度下的细节图像的图像矩阵， 为第i尺度下的基础图像的图像矩阵，
为初始矩阵，其中，L为算法学习到的投影矩阵， P(·)为两级算子（由滑动窗口和循环迭代
函数组成）。R(·)表示从细节部分重建细节图像的算子。 K为利用LatLRR算法对平均图像
进行分解的尺度数（即分解次数）。

[0095] 其中，利用LatLRR算法对平均图像进行分解的尺度数可根据实际需要设置，例如，在本实施例中，步骤A4包括：

[0096] 利用LatLRR算法对平均图像进行四个尺度分解得到四个细节图像。

[0097] 利用LatLRR，可以在多个表示层次上提取多尺度细节矩阵。采用平均策略对增强后的图像进行细节处理和预增强处理，可有效地用于封装IC图像的多级特征提取，使隐藏
特征出现。

[0098] 其中，利用Bregman迭代算法对图像进行增强处理的具体方法为现有技术，此处不对其进行详述。

[0099] 进一步地，步骤A6包括：

[0100] 通过以下公式计算增强图像的图像矩阵：

[0101] ；

[0102] 其中， 为增强图像的图像矩阵， 为第i个尺度下的细节图像的图像矩阵，K为细节图像的数量（与利用LatLRR算法对平均图像进行分解的尺度数相同）， 为第二图
像的图像矩阵。

[0103] 该集成电路图像增强方法的原理可参考图4。以下可通过五组对比试验的试验数据对比采用本申请的方法得到的增强图像和采用现有技术得到的增强图像对图像细节的
显示效果。其中，可通过标准差（standard deviation, SD）、平均梯度（average gradient, 
AG）、空间频率（space frequency, SF）和均方根误差（root mean square error, RMSE）四
个评价指标对图像进行评价。评价指标SD可以衡量图像的整体对比度，SD越大，从黑到白的
渐变程度越高，色彩表现也越丰富。评价指标AG也反映了图像的精细细节对比度、纹理变化
和清晰度，AG越大，图像层次越丰富，变化越多，图像越清晰。评价度量SF度量图像的细节。
评价指标RMSE反映了对比图像的准确性，用来评价数据变化的程度。

[0104] 对比试验一

[0105] 分别采用振幅成像法和基于公式（1）的方法生成封装芯片#1的太赫兹图像，利用振幅成像法得到的太赫兹图像如图5中的（a）所示，基于公式（1）的方法生成的太赫兹图像
如图5中的（c）所示，图5中，（b）为采用MSR方法对（a）图进行增强处理得到的增强图像，（d）
为采用MSR方法对（c）图进行增强处理得到的增强图像，（e）为采用该集成电路图像增强方
法对（c）图进行增强处理得到的增强图像。通过对比（a）图和（c）图可以看到基于公式（1）的
方法生成的太赫兹图像比采用振幅成像法得到的太赫兹图像更能表达物体细节，其中，两
个太赫兹图像中的实线框和虚线框中的图像放大后，仍然不够清晰。（b）图和（d）图均是采
用MSR方法得到的增强图像，通过对比可看到（d）图比（b）图更加清晰。而（d）图中的虚线框
部分可以看到模糊的绑定键合线，（e）图中实线框部分的引脚和虚线框部分的绑定键合线
比其它图更加清晰。

[0106] 实际上，金属线在受到机械冲击时很容易脱落和断裂，图5的（e）图中虚线框部分清晰地显示了四根绑定键合线和芯片衬底镀银的形状，结果表明使用该集成电路图像增强
方法得到的增强图像，能够更有效地提取封装后芯片的细微特征。各项评价指标的对比如
下表所示：

[0107]

[0108] 从该表中可看到，使用基于公式（1）的方法生成的太赫兹图像作为处理对象更有利获得芯片的细微特征；使用该集成电路图像增强方法得到的增强图像的各项评价指标均
优于其它图像，其中，AG值越大，表明该方法得到的图像清晰度越好；SD和SF越大，表明包含
的图像细节越多，图像对比度越好；RMSE越大，表明失真越小。

[0109] 对比试验二

[0110] 分别采用振幅成像法和基于公式（1）的方法生成封装芯片#2的太赫兹图像，利用振幅成像法得到的太赫兹图像如图6中的（a）所示，基于公式（1）的方法生成的太赫兹图像
如图6中的（c）所示，图6中，（b）为采用MSR方法对（a）图进行增强处理得到的增强图像，（d）
为采用MSR方法对（c）图进行增强处理得到的增强图像，（e）为采用该集成电路图像增强方
法对（c）图进行增强处理得到的增强图像。其中（a）图的方框部分的细节比较模糊，（b）图仍
然不能表达出足够的图像细节。（c）图对比（a）图能够显示更多的图像特征，但清晰度不够
好，（d）图中方框中的芯片引脚和绑定键合线仍然难以区分，（e）图中方框中的芯片引脚和
绑定键合线可清晰区分。

[0111] 图6的（e）图中方框部分清晰地显示了四根绑定键合线和芯片衬底镀银的形状，结果表明使用该集成电路图像增强方法得到的增强图像，能够更有效地提取封装后芯片的细
微特征。各项评价指标的对比如下表所示：

[0112]

[0113] 从该表中可看到，使用基于公式（1）的方法生成的太赫兹图像作为处理对象更有利获得芯片的细微特征；使用该集成电路图像增强方法得到的增强图像的各项评价指标均
优于其它图像，其中，AG值越大，表明该方法得到的图像清晰度越好；SD和SF越大，表明包含
的图像细节越多，图像对比度越好；RMSE越大，表明失真越小。

[0114] 对比试验三

[0115] 分别采用振幅成像法和基于公式（1）的方法生成封装芯片#3的太赫兹图像，利用振幅成像法得到的太赫兹图像如图7中的（a）所示，基于公式（1）的方法生成的太赫兹图像
如图7中的（c）所示，图7中，（b）为采用MSR方法对（a）图进行增强处理得到的增强图像，（d）
为采用MSR方法对（c）图进行增强处理得到的增强图像，（e）为采用该集成电路图像增强方
法对（c）图进行增强处理得到的增强图像。其中（a）图、（b）图的方框部分均不清晰。（c）图的
方框部分比较模糊，其中的缺陷情况容易被忽略。（d）图相对于（b）图，方框部分的清晰度改
善情况不理想，无法分辨出介质层的裂纹。（e）图的虚线框部分可以明显看到介质层的裂
纹，且能看到右边的键合线明显地发生断裂，并清晰地显示左右两侧严重不对称。

[0116] 结果表明使用该集成电路图像增强方法得到的增强图像，能够更有效地提取封装后芯片的细微特征。各项评价指标的对比如下表所示：

[0117]

[0118] 从该表中可看到，使用基于公式（1）的方法生成的太赫兹图像作为处理对象更有利获得芯片的细微特征；使用该集成电路图像增强方法得到的增强图像的各项评价指标均
优于其它图像，其中，AG值越大，表明该方法得到的图像清晰度越好；SD和SF越大，表明包含
的图像细节越多，图像对比度越好；RMSE越大，表明失真越小。

[0119] 对比试验四

[0120] 分别采用振幅成像法和基于公式（1）的方法生成封装芯片#4的太赫兹图像，利用振幅成像法得到的太赫兹图像如图8中的（a）所示，基于公式（1）的方法生成的太赫兹图像
如图8中的（c）所示，图8中，（b）为采用MSR方法对（a）图进行增强处理得到的增强图像，（d）
为采用MSR方法对（c）图进行增强处理得到的增强图像，（e）为采用该集成电路图像增强方
法对（c）图进行增强处理得到的增强图像。其中，（b）图对比（a）图清晰度改善效果较差，且
存在比较明显的噪声。（c）图的图像虽然比较模糊，但对比（a）图包含更多的细节特征。（d）
图对比（c）图，图像清晰度有所改善但改善效果不理想。（e）图对比（c）图，图像清晰度有较
大改善，且改善效果比（d）图更优。

[0121] 图8中的（e）图显示了在虚线框左侧处的两个断裂的钢丝键合，并显示了在虚线框右侧处的封装介质层出现分层情况，这些缺陷从图8中的其它图中几乎无法检测到。结果表
明使用该集成电路图像增强方法得到的增强图像，能够更有效地提取封装后芯片的细微特
征。各项评价指标的对比如下表所示：

[0122]

[0123] 从该表中可看到，使用基于公式（1）的方法生成的太赫兹图像作为处理对象更有利获得芯片的细微特征；使用该集成电路图像增强方法得到的增强图像的各项评价指标均
优于其它图像，其中，AG值越大，表明该方法得到的图像清晰度越好；SD和SF越大，表明包含
的图像细节越多，图像对比度越好；RMSE越大，表明失真越小。

[0124] 对比试验五

[0125] 分别采用振幅成像法和基于公式（1）的方法生成封装芯片#5的太赫兹图像，利用振幅成像法得到的太赫兹图像如图9中的（a）所示，基于公式（1）的方法生成的太赫兹图像
如图9中的（c）所示，图9中，（b）为采用MSR方法对（a）图进行增强处理得到的增强图像，（d）
为采用MSR方法对（c）图进行增强处理得到的增强图像，（e）为采用该集成电路图像增强方
法对（c）图进行增强处理得到的增强图像。

[0126] 图9中的（e）图显示了在实线框部分的衬底分层，且出现了一个不规则的介质层腔，这种不规则的腔体在图9中的其它图中是看不到的。（e）图还清晰地显示了虚线框部分
的计数孔的形状，图9中的其它图中该计数孔的图像比较模糊。结果表明使用该集成电路图
像增强方法得到的增强图像，能够更有效地提取封装后芯片的细微特征。各项评价指标的
对比如下表所示：

[0127]

[0128] 从该表中可看到，使用基于公式（1）的方法生成的太赫兹图像作为处理对象更有利获得芯片的细微特征；使用该集成电路图像增强方法得到的增强图像的各项评价指标均
优于其它图像，其中，AG值越大，表明该方法得到的图像清晰度越好；SD和SF越大，表明包含
的图像细节越多，图像对比度越好；RMSE越大，表明失真越小。

[0129] 通过以上对比试验可以看到，使用基于公式（1）的方法生成集成电路的太赫兹图像作为处理对象，进而使用本申请的集成电路图像增强方法来对该太赫兹图像进行增强处
理得到增强图像，通过该增强图像可以比较容易地检测出绑定键合线断裂、介质层裂纹和
分层等IC失效类型，该集成电路图像增强方法对集成电路缺陷检测具有积极的影响：可以
使增强后的太赫兹图像具有较高对比度，并可提取更多的纹理细节，还可提高图像的整体
亮度，克服了通过现有技术得到的增强图像无法检测集成电路的细微缺陷的问题。

[0130] 由上可知，该集成电路图像增强方法，通过获取集成电路的待处理的太赫兹图像；利用多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个第一图像；对多个
第一图像进行平均处理得到平均图像；利用LatLRR算法对平均图像进行多尺度分解得到多
个细节图像；利用Bregman迭代算法对平均图像进行增强处理，得到第二图像；对多个细节
图像和第二图像进行平均处理得到增强图像；从而可得到细节特征清晰的太赫兹图像，使
图像的隐藏特征显现，与现有技术相比，得到的图像更有利于准确地判断集成电路的电介
质层断裂、裂纹和分层等缺陷情况。

[0131] 请参考图2，本申请提供了一种集成电路图像增强装置，用于对集成电路的太赫兹图像进行增强处理；包括：

[0132] 第一获取模块1，用于获取集成电路的待处理的太赫兹图像；

[0133] 去模糊模块2，用于利用多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个第一图像；

[0134] 第一平均处理模块3，用于对多个第一图像进行平均处理得到平均图像；

[0135] 分解模块4，用于利用LatLRR算法对平均图像进行多尺度分解得到多个细节图像；

[0136] 第一增强模块5，用于利用Bregman迭代算法对平均图像进行增强处理，得到第二图像；

[0137] 第二平均处理模块6，用于对多个细节图像和第二图像进行平均处理得到增强图像。

[0138] 该集成电路图像增强装置，先利用多尺度高斯函数对集成电路的原始的太赫兹图像进行去模糊处理后通过平均处理得到平均图像，再利用LatLRR算法对平均图像进行多尺
度分解以从多个表示层次上提取多尺度的细节图像，同时用Bregman迭代算法对平均图像
进行增强处理得到第二图像，最终用平均策略对第二图像和多个细节图像进行处理，得到
增强图像，可得到细节特征清晰的太赫兹图像，使图像的隐藏特征显现，与现有的使用MSR
得到的增强图像相比，得到的图像更有利于准确地判断集成电路的电介质层断裂、裂纹和
分层等缺陷情况。

[0139] 其中，集成电路的待处理的太赫兹图像是用THz‑TDS系统（太赫兹时域光谱系统）采集的集成电路的图像。其中，采集太赫兹图像时，可使用振幅成像方法生成太赫兹图像
（此为现有技术，此处不对其进行详述），或者更优选地，采用以下方式生成太赫兹图像：

[0140] 在0.3 THz到0.55 THz的变频带范围对集成电路进行逐点光栅扫描；

[0141] 通过以下公式计算各位置点的像素值，从而生成集成电路的待处理的太赫兹图像：

[0142]     （1）；

[0143] 其中， 是集成电路的待处理的太赫兹图像的（x，y）位置点的像素值， 是设备系统参数（该设备系统参数由截断比和辐照度决定，在本实施例中，k=1.09）， 是
THz‑TDS系统的数值孔径， 是太赫兹光束的频率（从0.3 THz到0.55 THz变化，该公式（1）
中计算从0.3 THz到0.55 THz的积分），是光速， 是光束束腰处的光斑半径， 是样品
（集成电路）的吸收系数，z是光束束腰到样品的轴向距离。

[0144] 优选地，去模糊模块2用于在利用多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个第一图像的时候，执行：

[0145] 分别用待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器；

[0146] 针对每个尺度，用待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵。

[0147] 其中，图像矩阵是指由图像中各像素点的像素值组成的矩阵；待处理的太赫兹图像的图像矩阵是指由待处理的太赫兹图像各像素点的像素值组成的矩阵；第一图像的图像
矩阵是指由第一图像各像素点的像素值组成的矩阵。

[0148] 其中，对于（x，y）像素点，其第n个尺度的低通带高斯函数为：

[0149]         （2）；

[0150] 其中，x、y为像素点的坐标值， 为（x，y）像素点的第n个尺度的低通带高斯函数值， 是第n个尺度的标准差；其中，可通过该公式（2）和以下公式（3），计算得到各尺
度的 的值：

[0151]       （3）。

[0152] 去模糊模块2用于在分别用待处理的太赫兹图像的图像矩阵与多个尺度的低通带高斯函数进行卷积运算，并对运算结果进行反傅里叶变换，得到多个尺度的模糊滤波器的
时候：用待处理的太赫兹图像的图像矩阵 分别与各尺度的低通带高斯函数 进行卷积
运算然后对运算结果进行反傅里叶变换，可得到对应的模糊滤波器 ，其中该 为矩
阵，包含各像素点对应的模糊滤波器数值 ，该 为（x，y）像素点的模糊
滤波器数值。

[0153] 去模糊模块2用于在针对每个尺度，用待处理的太赫兹图像的图像矩阵减去对应尺度的模糊滤波器，得到对应尺度的第一图像的图像矩阵的时候：通过以下公式计算第一
图像的图像矩阵：

[0154] ；

[0155] 其中， 为第n尺度下的第一图像的图像矩阵。具体地，对于 中的任一位置（x，y）的像素点的像素值由以下公式计算得到：

[0156] ；

[0157] 其中， 为第n尺度下的第一图像的（x，y）像素点的像素值， 为待处理的太赫兹图像的（x，y）像素点的像素值， 为第n尺度下的（x，y）像素点的模糊滤波
器数值。

[0158] 利用多尺度高斯函数进行去模糊处理，可有效恢复图像场景辐照亮度和去除雾霾，更有利于后续通过LatLRR算法进行多尺度分解提取特征。

[0159] 其中，进行去模糊处理时采用的高斯函数的尺度数可根据实际需要设，优选地，去模糊模块2用于在利用多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个
第一图像的时候，执行：

[0160] 利用三个尺度的高斯函数对待处理的太赫兹图像进行去模糊处理，得到三个第一图像。

[0161] 即前文中的n=1，2，3；得到的第一图像的图像矩阵分别为 、 、 ；一般地，小尺度取值为 ，中尺度取值为 ，大尺度取值为 ，从而优选地，对
应三个尺度的高斯函数，其标准差 、 、 分别在小尺度范围、中尺度范围和大尺度
范围取值。利用三个尺度的高斯函数对待处理的太赫兹图像进行去模糊处理，恢复图像场
景辐照亮度和去除雾霾的效果较佳。

[0162] 优选地，第一平均处理模块3用于在对多个第一图像进行平均处理得到平均图像的时候，执行：

[0163] 通过以下公式计算平均图像的图像矩阵：

[0164] ；

[0165] 其中， 为平均图像的图像矩阵， 为第n个尺度下的第一图像的图像矩阵， 是第一图像的数量（也等于去模糊处理时采用的高斯函数的尺度数，例如当使用三个尺度的
高斯函数对待处理的太赫兹图像进行去模糊处理时， =3）。

[0166] 对多个第一图像进行平均处理的优点在于：增强算法的鲁棒性，防止由于多种原因导致某些像素点数值过高。

[0167] 其中，利用LatLRR算法对图像分解的方法为现有技术，每次分解可把图像分解为基础图像和细节图像。本实施例中，分解模块4用于在利用LatLRR算法对平均图像进行多尺
度分解得到多个细节图像的时候，执行：利用LatLRR算法对平均图像进行首次分解得到第
一次分解的基础图像和细节图像后，然后依次对上一次分解得到的基础图像进行分解得到
本次分解的基础图像和细节图像，直到分解次数达到预设的次数（即对平均图像进行多尺
度分解的尺度数等于该预设的次数）。该过程可用以下公式表达：

[0168]

[0169] s.t. ；

[0170] 其中， 为第i尺度下的（即第i次分解后的）细节部分（是输入图像 的分解结果）， 为第i尺度下的细节图像的图像矩阵， 为第i尺度下的基础图像的图像矩阵，为
初始矩阵，其中，L为算法学习到的投影矩阵， P(·)为两级算子（由滑动窗口和循环迭代函
数组成）。R(·)表示从细节部分重建细节图像的算子。 K为利用LatLRR算法对平均图像进
行分解的尺度数（即分解次数）。

[0171] 其中，利用LatLRR算法对平均图像进行分解的尺度数可根据实际需要设置，例如，在本实施例中，分解模块4用于在利用LatLRR算法对平均图像进行多尺度分解得到多个细
节图像的时候，执行：

[0172] 利用LatLRR算法对平均图像进行四个尺度分解得到四个细节图像。

[0173] 利用LatLRR，可以在多个表示层次上提取多尺度细节矩阵。采用平均策略对增强后的图像进行细节处理和预增强处理，可有效地用于封装IC图像的多级特征提取，使隐藏
特征出现。

[0174] 其中，利用Bregman迭代算法对图像进行增强处理的具体方法为现有技术，此处不对其进行详述。

[0175] 进一步地，第二平均处理模块6用于在对多个细节图像和第二图像进行平均处理得到增强图像的时候，执行：

[0176] 通过以下公式计算增强图像的图像矩阵：

[0177] ；

[0178] 其中， 为增强图像的图像矩阵， 为第i个尺度下的细节图像的图像矩阵，K为细节图像的数量（与利用LatLRR算法对平均图像进行分解的尺度数相同）， 为第二图
像的图像矩阵。

[0179] 由上可知，该集成电路图像增强装置，通过获取集成电路的待处理的太赫兹图像；利用多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个第一图像；对多个
第一图像进行平均处理得到平均图像；利用LatLRR算法对平均图像进行多尺度分解得到多
个细节图像；利用Bregman迭代算法对平均图像进行增强处理，得到第二图像；对多个细节
图像和第二图像进行平均处理得到增强图像；从而可得到细节特征清晰的太赫兹图像，使
图像的隐藏特征显现，与现有技术相比，得到的图像更有利于准确地判断集成电路的电介
质层断裂、裂纹和分层等缺陷情况。

[0180] 请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的
连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当
电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式
中的集成电路图像增强方法，以实现以下功能：获取集成电路的待处理的太赫兹图像；利用
多尺度高斯函数对待处理的太赫兹图像进行去模糊处理，得到多个第一图像；对多个第一
图像进行平均处理得到平均图像；利用LatLRR算法对平均图像进行多尺度分解得到多个细
节图像；利用Bregman迭代算法对平均图像进行增强处理，得到第二图像；对多个细节图像
和第二图像进行平均处理得到增强图像。

[0181] 本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的集成电路图像增强方法，以实现以下
功能：获取集成电路的待处理的太赫兹图像；利用多尺度高斯函数对待处理的太赫兹图像
进行去模糊处理，得到多个第一图像；对多个第一图像进行平均处理得到平均图像；利用
LatLRR算法对平均图像进行多尺度分解得到多个细节图像；利用Bregman迭代算法对平均
图像进行增强处理，得到第二图像；对多个细节图像和第二图像进行平均处理得到增强图
像。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如
静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读
存储器（Electrically Erasable Programmable Read‑Only Memory, 简称EEPROM），可擦
除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程
只读存储器（Programmable Red‑Only Memory, 简称PROM），只读存储器（Read‑Only 
Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

[0182] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻
辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可
以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间
的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。

[0183] 另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多
个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的
目的。

[0184] 再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

[0185] 在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际
的关系或者顺序。

[0186] 以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的
任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。