本发明公开了一种RYB格式的RAW图像色彩还原方法，神经网络包括两阶段结构，第一阶段结构包括依次连接的十层结构，第二阶段结构为对第一阶段结构的输出进行复原的Recover层。本发明通过神经网络处理RYB格式的RAW图，该神经网络为像素级处理的神经网络，在网络应用过程中能够对图像的每个像素值进行神经网络结构式的修改与变换；通过本发明提出的网络训练方法，训练后的神经网络能够将RYB格式RAW图像成功恢复为全彩RGB图像。
1.一种RYB格式的RAW图像色彩还原方法，其特征在于，包括：将以RYYB排列的RAW图像输入神经网络进行色彩还原处理后，输出RGB图像；
所述神经网络包括两阶段结构，第一阶段结构包括依次连接的十层结构：第一层为预处理层，通过卷积将图像中R、Y、Y、B像素分别提取为单独的通道，第一层的输入尺寸为448*
448*3，输出尺寸为448*448*4；第二至第五层均为卷积层，每层均由Conv层、BN层、ReLU层链接构成，第二至第五层的输出尺寸分别为：112*112*24、56*56*96、28*28*192、14*14*384；
第六至第十层为反卷积层，每层均由Upsample层、BN层、ReLU层链接构成，第六至第十层的输出尺寸分别为：14*14*384、28*28*192、56*56*96、112*112*24、448*448*4；其中，第七、八、九层的输出分别对应与第四、三、二层的输出进行残差操作；
所述神经网络的第二阶段结构为对所述第一阶段结构的输出进行复原的Recover层，所述Recover层由Upsample层以及3个尺寸为1*1的Conv层链接构成，最终输出尺寸为448*
对所述神经网络进行训练时，将所述第一阶段结构记为Backbone，并构建一个与所述第一阶段结构并行的结构Tophalf，所述Tophalf由与所述第一阶段结构中第一至第五层相同的结构构成；
步骤1：采用输出为以RGGB排列的RAW图像和输出为以RYYB排列的RAW图像的图像传感器分别对若干场景进行相同的拍摄，得到的图像分别记入图像集P1和图像集P2，从而形成训练集；
步骤2：将所述训练集中的图像输入所述第一阶段结构进行训练；
在训练过程中，将图像集P1中图像输入所述Tophalf中，将图像集P2中对应图像输入所述Backbone中，然后分别计算所述Backbone中第六层、第七层、第八层、第九层相对于所述Tophalf中第二层、第三层、第四层、第五层输出图像的差异度Disn：式中，Backbonei,j为所述Backbone中对应层输出图像的第i行j列处的像素值，Tophalfi,j为所述Tophalf中对应层输出图像的第i行j列处的像素值；其中，n取6,7,8,9，分别对应所述Backbone中的第六层、第七层、第八层、第九层；
将各差异度Disn值按照权重相加，得到损失值LossDis：
LossDis＝0.4Dis6+0.6Dis7+0.8Dis8+1.0Dis9根据损失值进行反向传播来对所述第一阶段结构的网络参数进行优化；
步骤3：在完成所述第一阶段结构的训练后对所述第二阶段结构进行训练，包括：将图像集P2中图像输入训练好的所述第一阶段结构，将所述第一阶段结构最终输出尺寸为448*
448*4的图像输入所述第二阶段结构，再将所述第二阶段结构最终输出尺寸为448*448*3的图像与图像集P1中对应图像求损失值LossR：式中，P1i,j为所述图像集P1中对应图像的第i行j列处的像素值，Recoveri,j为所述第二阶段结构最终输出图像的第i行j列处的像素值；
根据所述损失值LossR进行反向传播来对所述第二阶段结构的网络参数进行优化。
一种RYB格式的RAW图像色彩还原方法
技术领域
[0001] 本发明涉及一种图像处理方法，具体涉及一种图像色彩还原方法。
背景技术
[0002] 目前主流的CMOS图像传感器几乎都是输出Bayer格式的RAW数据。其实现原理即为在图像传感器表面覆盖一层滤光片，使得某一个像素点只接收一种颜色的光，图像传感器所得到的像素值即为单种颜色的像素值。拜尔滤波阵列采用RGB三色进行排列，一般一组2*2矩阵内，三色数量成R：G：B=1：2：1的形式，每个元素表示一个像素，实现了每个像素点只有一种颜色，常见的排列形式有RGGB，BGGR、GRBG等。如果将2x2矩阵内的绿色滤光片换成黄色滤光片，呈RYYB排列，则这种传感器中Y(yellow)的光谱响应更宽、光谱覆盖更广、能够感应到更多光子，总进光量可以提升30%‑40%左右，在暗光场景中对Luminance信噪比提升显著，夜拍效果更胜一筹。
[0003] 但传统的基于RGB三色的算法如Demosaic算法、AWB算法等就无法对以RYYB排列的RAW图进行准确的还原图像色彩。
发明内容
[0004] 发明目的：针对上述现有技术，提出一种RYB格式的RAW图像色彩还原方法，用以对处理图像传感器捕获的RYB格式的RAW图进行色彩还原，输出RGB格式图像。
[0005] 技术方案：一种RYB格式的RAW图像色彩还原方法，包括：将以RYYB排列的RAW图像输入神经网络进行色彩还原处理后，输出RGB图像；
[0006] 所述神经网络包括两阶段结构，第一阶段结构包括依次连接的十层结构：第一层为预处理层，通过卷积将图像中R、Y、Y、B像素分别提取为单独的通道，第一层的输入尺寸为448*448*3，输出尺寸为448*448*4；第二至第五层均为卷积层，每层均由Conv层、BN层、ReLU层链接构成，第二至第五层的输出尺寸分别为：112*112*24、56*56*96、28*28*192、14*14*
384；第六至第十层为反卷积层，每层均由Upsample层、BN层、ReLU层链接构成，第六至第十层的输出尺寸分别为：14*14*384、28*28*192、56*56*96、112*112*24、448*448*4；其中，第七、八、九层的输出分别对应与第四、三、二层的输出进行残差操作；
[0007] 所述神经网络的第二阶段结构为对所述第一阶段结构的输出进行复原的Recover层，所述Recover层由Upsample层以及3个尺寸为1*1的Conv层链接构成，最终输出尺寸为448*448*3。
[0008] 进一步的，对所述神经网络进行训练时，将所述第一阶段结构记为Backbone，并构建一个与所述第一阶段结构并行的结构Tophalf，所述Tophalf由与所述第一阶段结构中第一至第五层相同的结构构成；
[0009] 首先对所述第一阶段结构进行训练，包括：
[0010] 步骤1：采用输出为以RGGB排列的RAW图像和输出为以RYYB排列的RAW图像的图像传感器分别对若干场景进行相同的拍摄，得到的图像分别记入图像集P1和图像集P2，从而形成训练集；
[0011] 步骤2：将所述训练集中的图像输入所述第一阶段结构进行训练；
[0012] 在训练过程中，将图像集P1中图像输入所述Tophalf中，将图像集P2中对应图像输入所述Backbone中，然后分别计算所述Backbone中第六层、第七层、第八层、第九层相对于所述Tophalf中第二层、第三层、第四层、第五层输出图像的差异度Disn：
[0013]
[0014] 式中，Backbonei,j为所述Backbone中对应层输出图像的第i行j列处的像素值，Tophalfi,j为所述Tophalf中对应层输出图像的第i行j列处的像素值；其中，n取6,7,8,9，分别对应所述Backbone中的第六层、第七层、第八层、第九层；
[0015] 将各差异度Disn值按照权重相加，得到损失值LossDis：
[0016] LossDis=0.4Dis6+0.6Dis7+0.8Dis8+1.0Dis9
[0017] 根据损失值进行反向传播来对所述第一阶段结构的网络参数进行优化；
[0018] 步骤3：在完成所述第一阶段结构的训练后对所述第二阶段结构进行训练，包括：将图像集P2中图像输入训练好的所述第一阶段结构，将所述第一阶段结构最终输出尺寸为
448*448*4的图像输入所述第二阶段结构，再将所述第二阶段结构最终输出尺寸为448*
448*3的图像与图像集P1中对应图像求损失值LossR：
[0019]
[0020] 式中，P1i,j为所述图像集P1中对应图像的第i行j列处的像素值，Recoveri,j为所述第二阶段结构最终输出图像的第i行j列处的像素值；
[0021] 根据所述损失值LossR进行反向传播来对所述第二阶段结构的网络参数进行优化。
[0022] 有益效果：现有Demosaic算法均仅适用于RGB格式图像，不存在能够有效提升画面效果的RYB格式的RAW图像处理算法。本发明通过神经网络处理RYB格式的RAW图，该神经网络为像素级处理的神经网络，在网络应用过程中能够对图像的每个像素值进行神经网络结构式的修改与变换；通过本发明提出的网络训练方法，训练后的神经网络能够将RYB格式RAW图像成功恢复为全彩RGB图像。
附图说明
[0023] 图1为本发明神经网络第一阶段结构的网络结构示意图；
[0024] 图2为本发明神经网络训练过程中构建的Tophalf网络结构示意图；
[0025] 图3为本发明神经网络第一阶段结构训练过程中求差异度值的示意图；
[0026] 图4为本发明神经网络第二阶段结构的网络结构示意图。
具体实施方式
[0027] 下面结合附图对本发明做更进一步的解释。
[0028] 一种RYB格式的RAW图像色彩还原方法，包括：将以RYYB排列的RAW图像输入神经网络进行色彩还原处理后，输出RGB图像。
[0029] 该神经网络包括两阶段结构。如图1所示，第一阶段结构包括依次连接的十层结构：第一层为预处理层，通过卷积将图像中R、Y、Y、B像素分别提取为单独的通道，第一层的输入尺寸为448*448*3，输出尺寸为448*448*4；第二至第五层均为卷积层，每层均由卷积(Conv)层、BN层、激活函数(ReLU)层链接构成，第二至第五层的输出尺寸分别为：112*112*24、56*56*96、28*28*192、14*14*384；第六至第十层为反卷积层，每层均由上采样(Upsample)层、BN层、ReLU层链接构成，第六至第十层的输出尺寸分别为：14*14*384、28*
28*192、56*56*96、112*112*24、448*448*4。其中，第七、八、九层的输出分别对应与第四、三、二层的输出进行残差操作(Res)。
[0030] 如图4所示，神经网络的第二阶段结构为对第一阶段结构的输出进行复原的Recover层，Recover层由Upsample层以及3个尺寸为1*1的Conv层链接构成，最终输出尺寸为448*448*3。
[0031] 对以上神经网络进行训练时，将第一阶段结构记为Backbone，并构建一个与第一阶段结构并行的结构Tophalf，Tophalf由与第一阶段结构中第一至第五层相同的结构构成，如图2所示。
[0032] 首先对第一阶段结构进行训练，包括：
[0033] 步骤1：采用输出为以RGGB排列的RAW图像和输出为以RYYB排列的RAW图像的图像传感器分别对若干场景进行相同的拍摄，即采用不同的图像传感器对同一场景进行分别进行拍摄，拍摄的其他参数及条件均相同，将得到的图像分别记入图像集P1和图像集P2，从而形成训练集。本实施例的训练过程中，训练集中图像不少于3000张。
[0034] 步骤2：将训练集中的图像输入第一阶段结构进行训练。
[0035] 在训练过程中，将图像集P1中图像输入Tophalf中，将图像集P2中对应图像输入Backbone中，然后，如图3所示，分别计算Backbone中第六层、第七层、第八层、第九层相对于Tophalf中第二层、第三层、第四层、第五层输出图像的差异度Disn：
[0036]
[0037] 式中，Backbonei,j为Backbone中对应层输出图像的第i行j列处的像素值，Tophalfi,j为Tophalf中对应层输出图像的第i行j列处的像素值；其中，n取6,7,8,9，分别对应Backbone中的第六层、第七层、第八层、第九层。
[0038] 将各差异度Disn值按照权重相加，得到损失值LossDis：
[0039] LossDis=0.4Dis6+0.6Dis7+0.8Dis8+1.0Dis9
[0040] 根据损失值进行反向传播来对第一阶段结构的网络参数进行优化。
[0041] 步骤3：在完成第一阶段结构的训练后对第二阶段结构进行训练。
[0042] 将图像集P2中图像输入训练好的第一阶段结构，将第一阶段结构最终输出尺寸为448*448*4的图像输入第二阶段结构，再将第二阶段结构最终输出尺寸为448*448*3的图像与图像集P1中对应图像求损失值LossR：
[0043]
[0044] 式中，P1i,j为图像集P1中对应图像的第i行j列处的像素值，Recoveri,j为第二阶段结构最终输出图像的第i行j列处的像素值。
[0045] 根据损失值LossR进行反向传播来对第二阶段结构的网络参数进行优化。
[0046] 将RYYB的RAW图输入训练好的神经网络中，正常使用该网络时不启用Tophalf结构，网络最终输出正常彩色的RGB图像。
[0047] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
