本发明公开一种基于GLCM的灰度图像彩色化系统和方法，包括图像分块模块、灰度共生矩阵特征提取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块；能够解决以前方法的不足并适应工程实际需求，该方法能加快图像彩色化速度，并能改进图像的彩色化效果。
1.一种基于GLCM的灰度图像彩色化系统，其特征在于：包括图像分块模块、灰度共生矩阵特征提取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块；
所述的图像分块模块，采用像素块网格划分法，根据基本像素块进行图像划分；
所述的灰度共生矩阵特征提取模块，针对每个像素块，分别计算像素块的灰度均值、方差和0°方向、45°方向、90°方向、135°方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特征描述子，组成18维特征向量描述图像块的纹理特征，综合各个特征形成表征像素块的特征描述子；
所述的相似度匹配建立对应关系模块，通过计算特征向量的欧氏距离表现像素块的近似程度；欧氏距离最小的灰度目标像素块，即为与之对应的最优匹配块；
所述的颜色标记和初步修正模块，选取像素块的中心窗口位置作为颜色迁移点，然后计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行色彩赋值，生成标记涂鸦图像；
所述的最优化着色模块，把颜色痕迹图像的颜色空间从RGB空间转换到YUV空间，构造包含所有像素颜色系数的稀疏矩阵，依据任意像素与其邻域像素颜色加权差的平方和最小原则构建方程组，此方程组用迭代法求解；
所述的基本像素块数目准则是10*10，对于不能整分的图像，采取向下取整的方法；
两个像素块之间相似度匹配的计算除了欧氏距离的叠加外，还要进行灰度均值、方差和灰度共生矩阵特征的权重分配；所述的像素块的灰度共生矩阵特征、方差和灰度均值的对应权重分别取值0.2，0.1和0.1，对于灰度共生矩阵中各个特征描述子的权重取值分别取
像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设{ri}和{tj}是参考图像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为M*N,则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]；
所述的灰度共生矩阵匹配产生误配时，根据相邻像素具有相似的灰度值则具有相似颜色值的准则，进行结果修正，所述的修正过程是将计算灰度目标图像块的各中心窗口的灰度值，进行相邻九宫格区域的比对，如果发现灰度值相似，而迁移色不一致，则统计具有相似灰度值的相邻块的迁移色进行修正；
所述的图像将以相邻的四方格或九宫格像素作为单个像素的方式进行着色，此单个像素记为四方格或九宫格像素块的超像素，计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，此时原图像会缩减至超像素组成的新图像，新图像以超像素为彩色化的基本单元，将超像素代入最优化着色方法求解，求解得到的超像素的色度值作为四方格或九宫格所有像素的色度值。
2.一种基于GLCM的灰度图像彩色化系统的方法，其特征在于实现步骤如下：
即采用像素块网格划分法，根据基本像素块对图像进行像素块划分，然后利用像素块进行特征提取和匹配；
即针对每个像素块，分别计算像素块的灰度均值、方差和0°方向、45°方向、90°方向、
135°方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特征描述子，一共组成18维特征向量描述图像块的纹理特征，综合各个特征形成表征像素块的特征描述子；
即通过计算特征向量的欧氏距离表现像素块的近似程度，计算出欧氏距离最小的灰度目标像素块，就是与之对应的最优匹配块；
即选取像素块的中心窗口位置作为颜色迁移点，然后计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行色彩赋值，生成标记涂鸦图像；
依据若相邻像素具有相同的亮度值则应具有相同的颜色值的原理，先把颜色痕迹图像的颜色空间从RGB空间转换到YUV空间，构造包含所有超像素颜色系数的稀疏矩阵，依据任意像素与其邻域像素颜色加权差的平方和最小原则构建方程组，此方程组用迭代法求解；
两个像素块之间相似度匹配的计算除了欧氏距离的叠加，还要进行灰度均值，方差和灰度共生矩阵特征的权重分配，像素块的灰度共生矩阵特征、方差和灰度均值的对应权重分别取值0.2，0.1和0.1；对于灰度共生矩阵中各个特征描述子的权重取值分别取0.25，
所述的像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设{ri}和{tj}是参考图像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为M*N,则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]，灰度目标图像中心窗口的选取规则与之相同；所述的图像将以相邻的四方格或九宫格像素作为单个像素的方式进行着色，此单个像素记为四方格或九宫格像素块的超像素；计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，以超像素为彩色化的基本单元，代入最优化着色方法求解，求解得到的超像素的色度值作为四方格或九宫格像素块中所有像素的色度值。
一种基于GLCM的灰度图像彩色化系统和方法
技术领域
[0001] 本发明属于图像处理领域，涉及一种灰度图像彩色化方法，特别涉及一种基于GLCM(灰度共生矩阵，Gray-level co-occurrence matrix)的灰度图像彩色化系统和方法。
背景技术
[0002] 图像是人类认识客观世界最常用的信息载体，图像信息除了包括景物形状、大小等信息更包括颜色信息。没有颜色信息的图像是一种信息表达不完全的形式。在现实中，夜视图像、铅笔手绘图像等都缺少丰富的色彩信息。特别是夜视领域中，微光和热成像技术是当前主流技术，这两种图像都是灰度图像，提供的细节信息有限，而人眼对颜色的分辨率远超对灰度层级的分辨率，如果利用彩色化处理将灰度图像中的细节信息凸现出来，可使人眼对图像的细节有更丰富的认识。老旧照片或铅笔涂鸦绘画中，利用彩色化能生成图像信息，使图像更生动形象。同一场景下的图像实现不同季节下的景色变化等。
[0003] 实现图像彩色化，需要基于参考图像，在参考图像的映射下实现颜色渲染。基于参考图像的图像彩色化方法一般分为两大类：人工交互法和自动着色法。人工交互方法需要人为绘画涂抹灰度图像，使其变为涂鸦或带有颜色痕迹的图像，然后进行颜色的渲染传播，扩大至整幅图像。Anat Levin等人提出了基于优化扩展的彩色化方法，这种方法主要是基于一种图像分割方法，设立优化条件，寻求最优的图像分割，然后进行着色。这个方法是半自动的方法，所谓半自动方法就是说需要我们人为的在一副灰度图像上画出自己想要添加的颜色线条，根据我们确定的这个颜色线条，结合分割方法，进行着色。这类方法的缺点主要在于需要大量的人力手工标注图像，而且需要很好的观察与细致的工作才能实现好的效果，费时费力。
[0004] 自动着色法是利用参考图像将色彩迁移到目标图像中。Welsh方法在过去Rein hard色彩传递方法的基础上进行改进，对目标图像的每个像素从源图像上匹配与之对应的像素，利用像素亮度值与邻域统计值作为判断准则，将参考图像的颜色信息传递到目标图像，同时保留目标图像的亮度信息。这类方法虽然减少人为干预，变为自动方法，但色彩渲染效果并不好，只能实现大致的色调迁移，而不能鲜明的区分出各种物体。
发明内容
[0005] 本发明提供一种基于GLCM的灰度图像彩色化系统和方法，能够解决以前方法的不足并适应工程实际需求，该方法能加快图像彩色化速度，并能改进图像的彩色化效果。
[0006] 本发明通过以下技术手段实现：
[0007] 一种基于GLCM的灰度图像彩色化系统，包括图像分块模块、灰度共生矩阵特征提取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块；
[0008] 所述的图像分块模块，采用像素块网格划分法，根据基本像素块进行图像划分；
[0009] 所述的灰度共生矩阵特征提取模块，针对每个像素块，分别计算像素块的灰度均值、方差和0°方向、45°方向、90°方向、135°方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特征描述子，组成18维特征向量描述图像块的纹理特征，综合所述各个特征形成表征像素块的特征描述子；
[0010] 所述的相似度匹配建立对应关系模块，通过计算特征向量的欧氏距离表现像素块的近似程度；欧氏距离最小的灰度目标像素块，即为与之对应的最优匹配块；
[0011] 所述的颜色标记和初步修正模块，选取像素块的中心窗口位置作为颜色迁移点，然后计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行色彩赋值，生成标记涂鸦图像；
[0012] 所述的最优化着色模块，把颜色痕迹图像的颜色空间从RGB空间转换到YUV空间，构造包含所有像素颜色系数的稀疏矩阵，依据任意像素与其邻域像素颜色加权差的平方和最小原则构建方程组，此方程组用迭代法求解。
[0013] 其中，所述的基本像素块数目准则是10*10，对于不能整分的图像，采取向下取整的方法。
[0014] 其中，所述的两个像素块之间相似度匹配的计算除了欧氏距离的叠加外，还要进行灰度均值、方差和灰度共生矩阵特征的权重分配。
[0015] 其中，所述的像素块的灰度共生矩阵特征、方差和灰度均值的对应权重分别取值0.2，0.1和0.1，对于灰度共生矩阵中各个特征描述子的权重取值分别取0.25，0.25，0.25，
0.25。
[0016] 其中，像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设{ri}和{tj}是参考图像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为M*N,则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]。
[0017] 其中，所述的灰度共生矩阵匹配产生误配时，根据相邻像素具有相似的灰度值则具有相似颜色值的准则，进行结果修正，所述的修正过程是将计算灰度目标图像块的各中心窗口的灰度值，进行相邻九宫格区域的比对，如果发现灰度值相似，而迁移色不一致，则统计具有相似灰度值的相邻块的迁移色进行修正。
[0018] 其中，所述的图像将以相邻的四方格或九宫格像素作为单个像素的方式进行着色，此单个像素记为四方格或九宫格像素块的超像素。计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，此时原图像会缩减至超像素组成的新图像。新图像以超像素为彩色化的基本单元，将超像素代入最优化着色方法求解。求解得到的超像素的色度值作为四方格或九宫格所有像素的色度值。
[0019] 一种基于GLCM的灰度图像彩色化系统的方法，实现步骤如下：步骤1：图像分块：
[0020] 即采用像素块网格划分法，根据基本像素块对图像进行像素块划分，然后利用像素块进行特征提取和匹配；
[0021] 步骤2：灰度共生矩阵特征提取：
[0022] 即针对每个像素块，分别计算像素块的灰度均值、方差和0°方向、45°方向、90°方向、135°方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特征描述子，一共组成18维特征向量描述图像块的纹理特征，综合所述各个特征形成表征像素块的特征描述子；
[0023] 步骤3：相似度匹配建立对应关系：
[0024] 即通过计算特征向量的欧氏距离表现像素块的近似程度，计算出欧氏距离最小的灰度目标像素块，就是与之对应的最优匹配块；
[0025] 步骤4：颜色标记和初步修正：
[0026] 即选取像素块的中心窗口位置作为颜色迁移点，然后计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行色彩赋值，生成标记涂鸦图像；步骤5：最优化着色：
[0027] 依据若相邻像素具有相同的亮度值则应具有相同的颜色值的原理。即先把颜色痕迹图像的颜色空间从RGB空间转换到YUV空间，构造包含所有像素颜色系数的稀疏矩阵，依据任意像素与其邻域像素颜色加权差的平方和最小原则构建方程组，此方程组用迭代法求解。
[0028] 其中，两个像素块之间相似度匹配的计算除了欧氏距离的叠加，还要进行灰度均值，方差和灰度共生矩阵特征的权重分配。
[0029] 其中，像素块的灰度共生矩阵特征、方差和灰度均值的对应权重分别取值0.2，0.1和0.1；对于灰度共生矩阵中各个特征描述子的权重取值分别取0.25，0.25，0.25，0.25。
[0030] 其中，所述的像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设{ri}和{tj}是参考图像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为M*N,则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]，灰度目标图像中心窗口的选取规则与之相同。
[0031] 其中，所述的图像将以相邻的四方格或九宫格像素作为单个像素的方式进行着色，此单个像素记为四方格或九宫格像素块的超像素。计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，此时原图像会缩减至超像素组成的新图像。新图像以超像素为彩色化的基本单元，将超像素代入最优化着色方法求解。求解得到的超像素的色度值作为四方格或九宫格所有像素的色度值。
[0032] 本发明与现有技术相比所具有的优点是：
[0033] (1)加快了图像彩色化速度，能够为灰度图像视频彩色化的实时性打下基础；
[0034] (2)图像彩色化效果较传统方法更好，结果图像色彩信息更丰富自然；
[0035] (3)实现简单，处理过程明确，使用图像颜色痕迹的自动迁移代替人工手动涂鸦标记，节省时间和劳动力，更容易实现计算机的自动处理。
附图说明
[0036] 图1为本发明的系统架构图；
[0037] 图2为本发明的方法流程图；
[0038] 图3颜色标记结果修正示意图。
具体实施方式
[0039] 以下将结合附图对本发明的实现过程进行详细描述。
[0040] 一种基于GLCM的灰度图像彩色化系统，包括图像分块模块、灰度共生矩阵特征提取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块。
[0041] 基于以上系统的一种新的图像自动彩色化方法，如图1所示，该方法利用具有相似内容的图像作为参考图像，先对参考图像和目标图像分别进行分块，其次计算各块图像灰度共生矩阵、灰度均值、方差等作为特征描述，然后计算各图像块特征向量的欧氏距离，得出最优的像素块匹配关系，接着根据对应关系进行颜色痕迹的迁移，最后实现最优化颜色传播。
[0042] 其步骤如下：
[0043] 步骤1：初始图像分块
[0044] 针对目标图像和参考图像采用像素块网格划分法，基本像素块数目准则是10*10，然后根据图像尺寸大小再次细分，图像越大，分块数目越多。例如800*600的图像，按基本像素块划分为10行10列，每块尺寸大小80*60。对于2400*1200的图像，可划分为20行20列，每块大小120*60。但随着分块数目的增多，相应的匹配过程耗费时间也增多。因此，实验过程中，选取10行10列的分块准则。对于不能整分的图像，为简化运算，我们采取向下取整的方法。如768*512图像，先裁剪成760*510的尺寸，然后进行分块。因为图像的颜色分布呈区域连续性状态，因此进行小范围裁剪并不影响最终的彩色化结果。假如图像尺寸481*321，裁剪取整后为480*320，分块成10行10列，则每块大小48*32，之后利用像素块进行特征提取和匹配。
[0045] 步骤2：GLCM特征提取
[0046] 针对每个像素块，分别计算像素块的灰度均值、方差和0°,45°,90°,135°的4个方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特征描述子，这样一共组成18维(1+1+4*4)特征向量描述图像块的纹理特征。
[0047] 以下为各个特征的计算过程：
[0048] (1)灰度均值和方差
[0049] 像素块的灰度均值是表征像素块的基本特征，图像中不同景物一般也会有不同的灰度值，因此灰度均值能显著区分图像景物的类别。均值计算如公式1所示，[0050] 公式
[0051] 公式中i代表像素块编号，n代表块内像素的总数目，I(x,y)是像素灰度值。
[0052] 像素块的方差表征了块内的像素变化特征，也能区分不同的图像区域。方差公式如公式2所示，
[0053] 公式
[0054] 公式2中mean是像素块的灰度均值，其他符号的代表意义与公式1一致。
[0055] (2)对比度
[0056] 对比度(contrast)反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。计算方法如公式3所示。
[0057] 公式
[0058] 公式中，p(i,j)是灰度共生矩阵中(i，j)位置的元素，i，j分别遍历整个矩阵。
[0059] (3)相关性
[0060] 相关性(Correlation)度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大则相关值小。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余方向矩阵的COR值。计算如公式4所示：
[0061] 公式
[0062] 公式4中，μi和μj分别代表灰度共生矩阵px(i)和py(j)的均值，σi和σj分别为px(i)和py(j)的标准差，px(i)和py(j)分别为灰度共生矩阵行和列方向的元素。
[0063] (4)能量
[0064] 角二阶矩(ASM，angular second moment)是灰度共生矩阵元素值的平方和，也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，此时ASM值大。ASM值大表明一种较均匀和规则变化的纹理模式。
[0065] 公式
[0066] 上式中，p(i,j)是(i，j)处灰度共生矩阵的元素值。
[0067] (5)逆差距
[0068] 逆差距(IDM，inverse different moment)又称同质性(Homogeneity)，反映图像纹理的同质性，度量图像纹理局部变化的多少。其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。如果灰度共生矩阵对角元素有较大值，IDM就会取较大的值。因此连续灰度的图像会有较大IDM值。
[0069] 公式
[0070] p(i,j)是(i，j)处灰度共生矩阵的元素值，i和j分别表示矩阵的不同元素位置。
[0071] (6)生成特征向量
[0072] 综合以上各个特征就可以形成表征像素块的特征描述子，4个不同角度灰度共生矩阵的特征如公式7中fj＝1,2,3,4(i)所示，最终形成特征描述子为F(i)。
[0073]
[0074] 公式中，i代表像素块编号。
[0075] 步骤3：相似度匹配
[0076] 本方法基于像素块的特征描述子的匹配，因此对于特征向量的计算至关重要。我们通过计算特征向量的欧氏距离表现像素块的近似程度，欧氏距离越小，表明特征描述差距越小，像素块越相似，反之越大，越不相似。两个n维向量an与bn的欧氏距离公式如公式8表示。
[0077] 公式
[0078] 对于两个像素块之间相似度匹配的计算不仅仅是欧氏距离的叠加，还要考虑灰度均值，方差和灰度共生矩阵特征的权重分配，才能更好的描述像素块纹理特征。如公式9所示， dStd和dMean分别表示像素块的灰度共生矩阵特征、方差和灰度均值的欧氏距离。ωj，ωStd和ωmean分别表示对应欧氏距离的权值，考虑到灰度共生矩阵对于纹理匹配的重要性，因此本文试验中对应权重分别取值0.2，0.1和0.1。
[0079] 公式
[0080] 如公式10中，对于灰度共生矩阵中各个特征描述子的权重ηi取值分别取0.25，0.25，0.25，0.25。
[0081] 公式
[0082] 假定{ri}代表彩色参考图像R的第i块像素块，{tj}代表灰度目标图像T的第j块像素块。如公式11所示，D(ri,tj)表示{ri}和{tj}之间加权特征向量的欧氏距离，则与{ri}欧氏距离最小的灰度目标像素块，就是与{ri}对应的最优匹配块。
[0083] 公式
[0084] 步骤4：图像颜色痕迹迁移
[0085] 实现彩色参考图像和灰度目标图像的像素块匹配之后，就需要将彩色图像的颜色迁移到灰度图像中。在本方法中，我们选取像素块的中心窗口位置作为颜色迁移点，假设{ri}和{tj}是参考图像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为M*N,则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]，灰度目标图像中心窗口的选取规则与之相同。然后计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行色彩赋值。
[0086] 步骤5：颜色痕迹结果修正
[0087] 由于灰度共生矩阵匹配可能产生误配的原因，因此接下来要根据相邻像素具有相似的灰度值则具有相似颜色值的准则，进行结果修正。主要过程是将计算灰度目标图像块的各中心窗口的灰度值，进行相邻九宫格区域的比对，如果发现灰度值相似，而迁移色不一致，则统计具有相似灰度值的相邻块的迁移色进行修正。如图3所示的具有不同灰度值的9块相邻像素块，图中编号5、6、9的位置与其他位置迁移色不同，因此就需要进行色彩修正。统计整个区域中相似灰度值像素块的色彩分布，类似于建立色彩直方图，选取出现次数最多的颜色作为修正色，然后将色彩不同的像素块颜色改正为修正色。图中5、9区域和除6之外的其他区域灰度值相似，因此颜色值要与其他区域保持一致，而6区域的灰度值不与其他区域灰度值一致，因此保持不变。
[0088] 步骤6：最优化着色
[0089] 首先，把颜色标记图像的颜色空间从RGB空间转换到YUV空间。接下来构造包含所有点颜色系数的稀疏矩阵，并根据相邻的像素，如果亮度相近则颜色相似的准则，构造任意像素与其邻域像素颜色系数方程组。为加快速度和提高效率，在本方法中采取以相邻的四方格或九宫格像素作为单个像素的方式进行着色。此单个像素记为四方格或九宫格像素块的超像素。计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，此时原图像会缩减至超像素组成的新图像。新图像以超像素为彩色化的基本单元，用超像素依据本文中提到的最优化方法求解。求解到的超像素的色度值作为四方格或九宫格所有像素的色度值。
[0090] 设任意像素p在YUV空间的色度值是U(p)，则其与相邻像素q颜色的加权平均值的之间的差别计算公式如下，
[0091] 公式
[0092] 公式中的ωpq是权函数，当相邻像素p与像素q的亮度值越相近时，权值越大。N(p)表示p的像素相邻域，U表示色度值。权函数ωpq可通过下列公式计算，
[0093] 公式
[0094] 公式中Y(p)，Y(q)是像素的亮度，σ2是p邻域内亮度的方差。按上述公式构造关于图像中所有像素点颜色系数的超大稀疏矩阵，然后求解使J(U)最小的颜色系数U，即图像的颜色。求解方法通过迭代法来完成，最后得到结果图像。
[0095] 以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
