图像处理方法及其相关设备

摘要

本申请提供了一种图像处理方法及其相关设备，涉及图像处理领域，该图像处理方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取原始图像；对原始图像进行预处理，得到第一初始图像、第二初始图像和第三初始图像；对第二初始图像和第三初始图像进行前端处理，得到前端处理图像；将第一初始图像和前端处理图像进行融合处理，得到目标图像。由此，可以实现图像细节和色彩的较好还原。

权利要求

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像，所述原始图像包括至少4种颜色的通道信号；

对所述原始图像进行四合一像素合并处理，得到第一初始图像；

对所述原始图像进行不同对角线方向上的对角线像素合并处理，分别得到第二初始图像和第三初始图像；

对所述第二初始图像和所述第三初始图像进行前端处理，得到前端处理图像；所述前端处理至少包括：下采样、降噪、自动白平衡和/或颜色校正、上采样；

将所述第一初始图像和所述前端处理图像进行融合处理，得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，将所述第一初始图像和所述前端处理图像进行融合处理，得到目标图像，包括：将所述第一初始图像和所述前端处理图像，利用以下公式进行融合处理：d 2 x 2 y 2

E(f)=w(f‑d) + w(fx‑gx) +w(fy‑gy) ；

其中，f为所述目标图像的像素值，g为所述第一初始图像的像素值，d为所述前端处理图像的像素值，fx和fy为所述目标图像在x方向和y方向上的梯度值，gx和gy为所述第一初始d x y图像的梯度值，w、w、w为权重值，E(f)为f的能量函数；

确定E(f)的最小值，得到所述目标图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：对所述目标图像进行后端处理，得到彩色图像；所述后端处理包括：去马赛克、伽马校正、风格变换中的至少一项。

4.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述原始图像包括红色通道信号、绿色通道信号、蓝色通道信号、黄色通道信号、青色通道信号和品红色通道信号。

5.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至4中任一项所述的图像处理方法。

6.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至4中任一项所述的图像处理方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至4中任一项所述的图像处理方法。

说明书

图像处理方法及其相关设备

技术领域

[0001] 本申请涉及图像处理领域，尤其涉及一种图像处理方法及其相关设备。

背景技术

[0002] 目前用于可见光成像的互补金属氧化物半导体（complementary metal oxide semiconductor，CMOS）图像传感器大部分皆为传统的RGB（red，green，blue）传感器，也即是说，这种图像传感器只能接收红色通道信号、绿色通道信号和蓝色通道信号。

[0003] 由于其较少的光谱响应通道数量制约着成像的颜色还原的上限，因此，市场上出现了一些多光谱响应的可见光成像CMOS图像传感器，又称多光谱传感器，希望以此来解决成像色彩还原的问题，但利用该多光谱传感器成像时又会出现噪声问题，而且通常随着光谱响应通道数量的增多，成像时出现的噪声问题越严重。目前并没有成熟的处理方案来利用好这种多光谱传感器，实现精准颜色还原且降低噪声这一目标。由此，亟待一种新的处理方案。

发明内容

[0004] 本申请提供一种图像处理方法及其相关设备，通过将原始图像的通道信号合并重组，生成分别具有较好细节和较好颜色信息的两帧图像，然后将该两帧图像融合生成目标图像，从而可以实现图像细节和色彩的较好还原。

[0005] 为达到上述目的，本申请采用如下技术方案：

[0006] 第一方面，提供一种图像处理方法，应用于电子设备，该方法包括：

[0007] 显示第一界面，所述第一界面包括第一控件；

[0008] 检测到对所述第一控件的第一操作；

[0009] 响应于所述第一操作，获取原始图像，所述原始图像包括至少4种颜色的通道信号；

[0010] 对所述原始图像进行预处理，得到第一初始图像、第二初始图像和第三初始图像，所述预处理用于对所述原始图像中包括的多种颜色的通道信号进行合并重组；

[0011] 对所述第二初始图像和所述第三初始图像进行前端处理，得到前端处理图像；

[0012] 将所述第一初始图像和所述前端处理图像进行融合处理，得到目标图像。

[0013] 本申请实施例提供的图像处理方法，通过获取包括至少4个通道信号的原始图像，然后将原始图像中的通道信号合并重组，生成第一初始图像、第二初始图像和第三初始图像，再对第二初始图像和第三初始图像进行前端处理，得到前端处理图像，由于第一初始图像仅经历了合并重组，所以细节丰富度较高，而前端处理图像的颜色准确性较高，基于此，利用第一初始图像和前端处理图像生成目标图像，从而可以实现图像细节和色彩的较好还原。

[0014] 在第一方面一种可能的实现方式中，对所述原始图像进行预处理，得到第一初始图像、第二初始图像和第三初始图像，包括：

[0015] 对所述原始图像进行四合一像素合并处理，得到所述第一初始图像；

[0016] 对所述原始图像进行对角线像素合并处理，得到所述第二初始图像和所述第三初始图像。

[0017] 应理解，四合一像素合并处理指的是将相邻四个像素值进行加权平均后作为一个单一像素值输出的处理方式，对角线像素合并处理指的是将对角线方向两个像素值进行加权平均后作为一个单一像素值输出的处理方式。

[0018] 在该实现方式中，通过将原始图像中的多种颜色通道信号四合一像素合并处理，可以得到细节丰富度较高的第一初始图像；而将原始图像进行对角线像素合并处理，可以得到两种包括不同颜色通道信号的第二初始图像和第三初始图像，以便于第二初始图像和第三初始图像可以为后续色彩还原提供更好的色彩信息。

[0019] 在第一方面一种可能的实现方式中，所述前端处理至少包括：下采样、降噪、自动白平衡和/或颜色校正、上采样。

[0020] 在该实现方式中，前端处理用于对第二初始图像和第三初始图像的色彩进行处理，使得处理后得到的前端处理图像可以为后续处理提供更好的色彩。

[0021] 在第一方面一种可能的实现方式中，将所述第一初始图像和所述前端处理图像进行融合处理，得到目标图像，包括：将所述第一初始图像和所述前端处理图像，利用以下公d 2 x 2 y 2式进行融合处理：E(f)=w (f‑d) + w (fx‑gx) +w (fy‑gy) ；其中，f为所述目标图像的像素值，g为所述第一初始图像的像素值，d为所述前端处理图像的像素值，fx和fy为所述目标图d x y
像在x方向和y方向上的梯度值，gx和gy为所述第一初始图像的梯度值，w、w 、w为权重值，E(f)为f的能量函数；确定E(f)的最小值，得到所述目标图像。

[0022] 在该实现方式中，可以利用能量函数公式将第一初始图像和前端处理图像进行融合，以期望目标图像既能接近第一初始图像的梯度值，又能接近前端处理图像的像素值，进而使得还原出的目标图像携带有较好的细节纹理信息和色彩信息。

[0023] 在第一方面一种可能的实现方式中，所述图像处理方法还包括：

[0024] 对所述目标图像进行后端处理，得到彩色图像。

[0025] 在该实现方式中，后端处理用于进一步对目标图像的细节和色彩进行增强。

[0026] 在第一方面一种可能的实现方式中，所述后端处理包括：去马赛克、伽马校正、风格变换中的至少一项。

[0027] 在第一方面一种可能的实现方式中，所述原始图像包括红色通道信号、绿色通道信号、蓝色通道信号、黄色通道信号、青色通道信号和品红色通道信号。

[0028] 可选地，第一操作是指点击相机应用程序的操作。

[0029] 在第一方面一种可能的实现方式中，所述第一界面是指所述电子设备的拍照界面，所述第一控件是指用于指示拍照的控件。

[0030] 可选地，第一操作是指点击用于指示拍照的控件的操作。在第一方面一种可能的实现方式中，所述第一界面是指所述电子设备的拍摄视频界面，所述第一控件是指用于指示拍摄视频的控件。

[0031] 可选地，第一操作是指点击指示拍摄视频的控件的操作。

[0032] 上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者拍摄视频的操作；上述为举例说明，并不对本申请作任何限定。

[0033] 第二方面，提供了一种电子设备，包括用于执行第一方面或第一方面中任一种方法的模块/单元。

[0034] 第三方面，提供了一种电子设备，包括一个或多个处理器和存储器；

[0035] 所述存储器与一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或第一方面中任一种方法。

[0036] 第四方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中任一种方法。

[0037] 第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行第一方面或第一方面中任一种方法。

[0038] 第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中任一种方法。

[0039] 本申请提供了一种图像处理方法及其相关设备，通过获取包括至少4个通道信号的原始图像，然后将原始图像中的通道信号合并重组，生成第一初始图像、第二初始图像和第三初始图像，再对第二初始图像和第三初始图像进行前端处理，得到前端处理图像，由于第一初始图像仅经历了合并重组，所以细节丰富度较高，而前端处理图像的颜色准确性较高，基于此，利用第一初始图像和前端处理图像生成目标图像，从而可以实现图像细节和色彩的较好还原。

附图说明

[0040] 图1为一种RGBCMY传感器的成像示意图；

[0041] 图2为一种RGBCMY的光谱响应曲线；

[0042] 图3为一种利用24色块确定CCM矩阵的示意图；

[0043] 图4为一种利用CCM矩阵进行处理的前后对比图；

[0044] 图5为一种应用场景的示意图；

[0045] 图6为本申请实施例提供的一种图像处理方法的流程示意图；

[0046] 图7为本申请实施例提供的一种原始图像的示意图；

[0047] 图8为本申请实施例提供的一种原始图像进行Qbin处理的示意图；

[0048] 图9为本申请实施例提供的一种Dbin处理过程；

[0049] 图10为本申请实施例提供的一种原始图像进行Dbin处理的示意图；

[0050] 图11为本申请实施例提供的另一种图像处理方法的流程示意图；

[0051] 图12为本申请实施例提供的一种前端处理的示意图；

[0052] 图13为本申请实施例提供的融合处理的效果示意图；

[0053] 图14为本申请实施例提供的又一种图像处理方法的流程示意图；

[0054] 图15为本申请实施例提供的一种后端处理的示意图；

[0055] 图16为本申请实施例提供的图像处理方法的效果示意图；

[0056] 图17为本申请实施例提供的一种电子设备的显示界面的示意图；

[0057] 图18为本申请实施例提供的另一种电子设备的显示界面的示意图；

[0058] 图19为一种适用于本申请的电子设备的硬件系统的示意图；

[0059] 图20为一种适用于本申请的电子设备的软件系统的示意图；

[0060] 图21为本申请实施例提供的一种图像处理装置的结构示意图；

[0061] 图22为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

[0062] 下面将结合附图，对本申请中的技术方案进行描述。

[0063] 在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B三种情况。

[0064] 以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

[0065] 首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

[0066] 1、RGB（red，green，blue）颜色空间或RGB域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。红色、绿色和蓝色称为三基色。应理解，基色指的是通过其他颜色的混合无法得到的“基本色”。

[0067] 2、YUV颜色空间或YUV域，指的是一种颜色编码方法，Y表示亮度，U和V表示的则是色度。上述RGB颜色空间着重于人眼对色彩的感应，YUV颜色空间则着重于视觉对亮度的敏感程度，RGB颜色空间和YUV颜色空间可以互相转换。

[0068] 3、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。

[0069] 4、拜耳格式（bayer pattern）彩色滤波阵列（color filter array，CFA），图像由实际的景物转换为图像数据时，通常是图像传感器分别接收红色通道信号、绿色通道信号和蓝色通道信号，三个通道信号的信息，然后将三个通道信号的信息合成彩色图像，但是，这种方案中每个像素位置处都对应需要三块滤镜，价格昂贵且不好制作，因此，可以在图像传感器表面覆盖一层彩色滤波阵列，以获取三个通道信号的信息。拜耳格式彩色滤波阵列指的是滤镜以棋盘格式进行排布。例如，该拜耳格式彩色滤波阵列中的最小重复单元为：一个获取红色通道信号的滤镜、两个获取绿色通道信号的滤镜、一个获取蓝色通道信号的滤镜以2×2的方式排布。

[0070] 5、拜耳格式图像（bayer image），即基于拜耳格式彩色滤波阵列的图像传感器输出的图像。该图像中的多种颜色的像素以拜耳格式进行排布。其中，拜耳格式图像中的每个像素仅对应一种颜色的通道信号。示例性的，由于人的视觉对绿色较为敏感，所以，可以设定绿色像素（对应绿色通道信号的像素）占全部像素的50%，蓝色像素（对应蓝色通道信号的像素）和红色像素（对应红色通道信号的像素）各占全部像素的25%。其中，拜耳格式图像的最小重复单元为：一个红色像素、两个绿色像素和一个蓝色像素以2×2的方式排布。应理解，RAW域为RAW颜色空间，拜耳格式图像即可以称为位于RAW域的图像。

[0071] 6、灰阶图像（gray image），灰阶图像是单通道图像，用于表示不同亮度程度，最亮为全白，最暗为全黑。也就是说，灰阶图像中的每个像素对应黑色到白色之间的不同程度的亮度。通常为了对最亮到最暗之间的亮度变化进行描述，将其进行划分，例如划分为256份，即代表256个等级的亮度，并称之为256个灰阶（第0灰阶 第255灰阶）。~

[0072] 7、光谱响应度（spectral response），也可以称为光谱灵敏度，光谱响应度表示图像传感器对不同波长入射光能转换成电能的能力。其中，若将某一波长的光入射到图像传感器的光能量转换成光子数目，而图像传感器产生、传递到外部电路的电流以电子数来表示，则代表每一入射的光子能够转换成传输到外部电路的电子的能力，称为量子效率（quantum efficiency，QE），单位以百分比来表示，图像传感器的光谱响应度则取决于该量子效率、以及波长和积分时间等参数。

[0073] 8、自动白平衡（auto white balance，AWB）

[0074] 人眼具有颜色恒常性特点，大部分情况下在各种光源场景下看到相同物体的颜色是一致的，例如白纸是白色观感。那么，为了消除光源对图像传感器成像的影响，模拟人类视觉的颜色恒常性，保证在任何场景下看到的白色是真正的白色，因此，需要对色温进行校正，自动将白平衡调到合适的位置。

[0075] 不同的相机有着各自的彩色滤波阵列，不同彩色滤波阵列的滤镜颜色就构成了相机颜色空间（RAW域或RAW颜色空间），因此，相机颜色空间不是一个通用的色彩空间。例如，滤镜颜色为RGGB的彩色滤波阵列，构成的相机颜色空间为RAW RGB，如果直接显示该彩色滤波阵列生成的拜耳格式图像或者说RAW图，该图像则会是偏绿色的。而一般显示器是以标准色彩空间（sRGB）为准来进行显示的，其参考光源为D65，因此，自动白平衡算法需要将RAW域的图像校正到D65参考光源下。其中，D65指的是色温为6500K的标准光源，D65光源下一般规定白色为R=G=B。

[0076] 9、颜色校正，由于摄像头获取的图像，与人们期望的颜色会存在一定差距，因此需要对颜色进行校正。又因为自动白平衡已经将白色校准了，因此，可以通过颜色校正来校准除白色以外的其他颜色。

[0077] 10、颜色校正矩阵（color correction matrix，CCM）

[0078] CCM矩阵主要用于将自动白平衡获取得图像数据转换到标准颜色空间（sRGB）。由于CMOS传感器的频谱响应和人眼对可见光的频谱响应存在较大差异，导致相机的色彩还原与观察者感知到的物体颜色存在很大差异，因此，需要通过CCM矩阵提高颜色饱和度，使得相机拍摄出的图像颜色更加接近人眼的感知效果。其中，利用CCM矩阵进行校正的过程即为颜色校正的过程。

[0079] 以上是对本申请实施例所涉及名词的简单介绍，以下不再赘述。

[0080] 目前用于可见光成像的CMOS图像传感器大部分皆为传统的RGB传感器，由于硬件的限制，导致这种图像传感器只能接收红色通道信号、绿色通道信号和蓝色通道信号。这样，该图像传感器的光谱响应通道数量是十分有限的，而较少的光谱响应通道数量会限制图像传感器的颜色还原能力，影响还原出的图像的颜色等信息。

[0081] 由于RGB传感器较少的光谱响应通道数量制约着成像的颜色还原的上限，因此，市场上出现了一些多光谱响应的可见光成像CMOS传感器，又称多光谱传感器，希望以此解决成像色彩还原的问题，但利用多光谱传感器成像时又会出现噪声问题，而且通常随着光谱响应通道数量的增多，成像时出现的噪声问题越严重。目前并没有成熟的处理方案来利用好这种传感器，以实现精准颜色还原且降低噪声这一目标。

[0082] 应理解，多光谱指的是用于成像的光谱波段包括2个及2个以上数量的波段。根据此定义，由于RGB传感器利用了红色、绿色和蓝色三个波段，所以，RGB传感器严格来说也是属于多光谱响应的，但是，需要说明的是，本申请所指的多光谱响应的可见光CMOS传感器，其实指的是比RGB传感器的光谱响应通道数量多的其他多光谱传感器。

[0083] 例如，所述多光谱传感器可以为RGBC传感器、RGBM传感器、RGBY传感器，RGBCM传感器、RGBCY传感器、RGBMY传感器、RGBCMY传感器等。应理解，该RGBCMY传感器接收的是红色通道信号、绿色通道信号、蓝色通道信号、青色（cyan）通道信号、品红（magenta）通道信号和黄色（yellow）通道信号。其他传感器所接收的通道颜色依次类推，在此不再赘述。

[0084] 当然，多光谱传感器也可以为接收其他颜色通道信号的传感器，具体可以根据需要进行选择和设置，本申请实施例对此不进行任何限制。

[0085] 示例性的，图1提供了一种RGBCMY传感器的成像示意图。RGBCMY传感器表面覆盖的彩色滤波阵列可以获取六种颜色通道信号的信息。例如，该拜耳格式彩色滤波阵列中的最小重复单元为：两个获取红色通道信号的滤镜、四个获取绿色通道信号的滤镜、两个获取蓝色通道信号的滤镜、两个获取青色通道信号的滤镜、两个获取品红通道信号的滤镜、四个获取黄色通道信号的滤镜，且以4×4的矩阵方式排布。

[0086] 相应的，如图1所示，利用RGBCMY传感器获取的拜耳格式图像的最小重复单元为：两个红色像素、四个绿色像素、两个蓝色像素、两个青色像素、两个品红像素、四个黄色像素，且以4×4的矩阵方式排布。

[0087] 图2提供了一种RGBCMY的光谱响应曲线的示意图。横轴表示波长，纵轴表示不同光谱所对应的光谱响应度。其中，R所指示的光谱响应曲线表示红光在不同波长所对应的不同光谱响应度，G所指示的光谱响应曲线表示绿光在不同波长所对应的不同光谱响应度，B所指示的光谱响应曲线表示蓝光在不同波长所对应的不同光谱响应度；C所指示的光谱响应曲线表示青光在不同波长所对应的不同光谱响应度，M所指示的光谱响应曲线表示品红光在不同波长所对应的不同光谱响应度，Y所指示的光谱响应曲线表示黄光在不同波长所对应的不同光谱响应度。

[0088] 以RGBCMY传感器为例，相对于RGB传感器来说，由于基色数量提升，光谱响应通道数量变多，所以RGBCMY传感器一般能获得相对更好的颜色还原能力，即色准。

[0089] 相关技术中通常是通过自动白平衡和CCM矩阵来对传感器获取的拜耳格式图像进行处理以恢复场景颜色的，那么，对于RGBCMY传感器获取的拜耳格式图像来说，通常也可以通过自动白平衡和CCM矩阵来进行处理以恢复场景颜色。在该处理过程中所利用的CCM矩阵则需要提前拟合出来。

[0090] 但是，相对于RGB传感器对应的CCM矩阵为3×3的矩阵来说，RGBCMY传感器对应的CCM矩阵为6×3的矩阵，包括的参数值更多，而且，针对RGBCMY传感器，通常在拟合CCM矩阵时会遇到过拟合现象，从而会导致拟合出的CCM矩阵中部分参数值过大，这样在实际使用该CCM矩阵处理时，就会将RGBCMY传感器获取的拜耳格式图像中的噪声放大，产生严重的彩噪问题。其中，彩噪指的是彩色的噪声。

[0091] 图3提供了一种利用24色块确定CCM矩阵的示意图。

[0092] 示例性的，以6500K色温为例，如图3中的（a）所示的，为该6500K色温下，对RGBCMY传感器获取的图像数据进行自动白平衡处理和去马赛克（demosaic，DM）后生成的24色卡。如图3中的（b）所示的，为该6500K色温下的标准24色卡。

[0093] 利用图3中的（a）和（b）所示的24色卡进行矩阵拟合，可以获取6500K色温下对应的CCM矩阵，该CCM矩阵表示将图3中的（a）所示的24色卡校正成图3中的（b）所示的标准24色卡时，所需相乘的系数矩阵。

[0094] 由于图3中的（a）所示的每种颜色对应R、G、B、C、M和Y这6个基色值，而图3中的（b）所示的每种颜色仅对应R、G和B这3个基色值，所以，拟合出的CCM矩阵为6×3的矩阵，也即拟合出的CCM矩阵包括18个参数值。由于在该拟合过程中，通常会遇到过拟合现象，导致CCM矩阵中包括的18个参数值中的部分参数值过大，进而就会导致在实际处理时，利用该拟合出的CCM矩阵处理后的图像的噪声被放大。

[0095] 图4提供了一种利用CCM矩阵进行处理的前后对比图。

[0096] 示例性的，如图4中的（a）所示，左侧的图像为RGB传感器获取的拜尔格式图像，右侧的图像为利用对应的3×3的CCM矩阵处理后的图像，右侧的图像相对于左侧的图像来说，虽然噪声被放大，但不是很明显。

[0097] 如图4中的（b）所示，左侧的图像为RGBCMY传感器获取的拜耳格式图像，右侧的图像为利用对应的6×3的CCM矩阵处理后的图像，右侧的图像相对于左侧的图像来说，噪声被放大；相对于图4中的（a）来说，噪声问题更加严重。

[0098] 由此，亟待一种新的处理方案，能对以上多个问题均进行有效的解决。

[0099] 有鉴于此，本申请实施例提供了一种图像处理方法，通过将原始图像的通道信号合并重组，生成分别具有较好细节和较好颜色信息的两帧图像，然后将该两帧图像融合生成目标图像，从而可以实现目标图像细节和色彩的较好还原。

[0100] 下面结合图5对本申请实施例提供的图像处理方法的应用场景进行举例说明。

[0101] 本申请实施例提供的图像处理方法可以应用于拍摄领域。例如，可以应用于在暗光环境下拍摄图像或者录制视频。

[0102] 图5示出了本申请实施例提供的一种应用场景的示意图。在一个示例中，以电子设备为手机进行举例说明，该手机包括非RGB传感器的多光谱传感器。

[0103] 如图5所示，响应于用户的操作，电子设备可以启动相机应用，显示如图5中所示的图形用户界面（graphical user interface，GUI），该GUI界面可以称为第一界面。该第一界面包括多种拍摄模式选项和第一控件。该多种拍摄模式例如包括：拍照模式、录像模式等，该第一控件例如为拍摄键11，拍摄键11用于指示当前拍摄模式为多种拍摄模式中的其中一种。

[0104] 示例性的，如图5所示，当用户启动相机应用，想在夜晚对户外草地、树木进行拍照时，用户点击第一界面上的拍摄键11，电子设备检测到用户对拍摄键11的点击操作后，响应于该点击操作，运行本申请实施例提供的图像处理方法对应的程序，获取图像。

[0105] 应理解，该电子设备包括的多光谱传感器不是RGB传感器，例如为RGBCMY传感器，该电子设备的光谱响应范围相对于现有技术有所扩大，也就是说，颜色还原能力有所提高，但是，由于CCM矩阵可能出现过拟合问题，所以在利用CCM矩阵进行处理后，图像的噪声可能会被放大。对此，若该电子设备采用本申请实施例提供的图像处理方法进行处理，则能够保证颜色还原度，又能降低噪声，进而提高拍摄出的图像或视频的质量。

[0106] 应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

[0107] 下面结合说明书附图，对本申请实施例提供的图像处理方法进行详细描述。

[0108] 图6示出了本申请实施例提供的一种图像处理方法的流程示意图。如图6所示，本申请实施例提供了一种图像处理方法1，该图像处理方法1包括以下S11至S16。

[0109] S11、显示第一界面，第一界面包括第一控件。

[0110] S12、检测到对第一控件的第一操作。

[0111] 第一控件例如为图5中所示的拍摄键11，第一操作例如为点击操作，当然，第一操作也可以为其他操作，本申请实施例对此不进行任何限制。

[0112] S13、响应于第一操作，获取原始图像。该原始图像包括至少四种颜色的通道信号。

[0113] 其中，该原始图像为拜耳格式图像，或者说，位于RAW域。

[0114] 图7示出了一种原始图像的示意图。

[0115] 例如，如图7中的（a）所示，其中原始图像包括可以包括4种颜色的通道信号（例如为t1、t2、t3和t4），或者，如图7中的（b）所示，原始图像可以包括5种颜色的通道信号（例如为t1、t2、t3、t4和t5），或者，如图7中的（c）所示，原始图像可以包括6种颜色的通道信号（例如为t1、t2、t3、t4、t5和t6）。当然，原始图像也可以包括更多种颜色的通道信号，本申请实施例对此不进行任何限制。

[0116] 原始图像包括的通道信号的排布方式可以根据需要进行设置和修改，上述图7所示的排布方式仅为一种示例，本申请实施例对此不进行任何限制。

[0117] 响应于第一操作，可以获取1帧、2帧或2帧以上的原始图像。具体可以根据需要进行获取，本申请实施例对此不进行任何限制。

[0118] 应理解，该多帧原始图像可以是利用电子设备自身包括的多光谱传感器采集的或从其他设备获取的，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

[0119] 应理解，当利用自身多光谱传感器获取多帧原始图像时，该多光谱传感器可以同时输出多帧原始图像，或者，也可以串行输出多帧原始图像，具体可以需要进行选择和设置，本申请实施例对此不作任何限制。

[0120] 还应理解，虽然从多光谱传感器输出多帧原始图像时，可以是同时输出或串行输出，但无论如何输出，该多帧原始图像其实都是对待拍摄场景进行同一次拍摄所生成的图像。待拍摄场景指的是相机拍摄视角中的所有物体，待拍摄场景又可称为目标场景，也可以理解成用户期待拍摄的场景。

[0121] S14、对原始图像进行预处理，得到第一初始图像、第二初始图像和第三初始图像。

[0122] 其中，该预处理用于对原始图像包括的多种颜色通道信号进行合并重组，例如该预处理可以包括四合一像素合并（quarter binning，Qbin）处理和对角线像素合并（diagonal binning，Dbin）处理。当然，也可以利用其它方式进行合并重组，具体可以根据需要进行设置和更改，本申请实施例对此不进行任何限制。

[0123] 需要说明的是，Qbin处理指的是将相邻四个像素值进行加权平均后作为一个单一像素值输出的处理方式，Dbin处理指的是将对角线方向两个像素值进行加权平均后作为一个单一像素值输出的处理方式。其中，加权时分配的权重可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。例如权重可以均设置成1。

[0124] 可选地，如图11所示，上述S14可以包括：

[0125] S141、对原始图像进行Qbin处理，得到第一初始图像。

[0126] S142、对原始图像进行Dbin处理，得到第二初始图像和第三初始图像。

[0127] 示例性的，图8示出了一种原始图像进行Qbin处理的示意图。

[0128] 如图8中的（a）所示，为本申请实施例提供的一种原始图像，该原始图像包括6种颜色的通道信号，该6种颜色的通道信号分别为红色通道信号（R）、绿色通道信号（G）、蓝色通道信号（B）、青色通道信号（C）、品红色通道信号（M）和黄色通道信号（Y），该6种颜色以4×4的排布方式，且以如图1所示的最小重复单元进行重复。

[0129] 如图8中的（b）所示，当针对该原始图像进行Qbin处理时，则相当于将第1行第1列的像素通道信号G、第1行第2列的像素通道信号Y、第2行第1列的像素通道信号Y、第2行第2列的像素通道信号G，该四个相邻的像素通道信号分别对应的像素值进行加权平均，得到一个单一像素值，例如为T1，该T1即为第一初始图像对应的第1行第1列像素的像素值。

[0130] 然后，可以将第1行第3列的像素通道信号B、第1行第4列的像素通道C、第2行第2列的像素通道信号C、第2行第4列的像素通道信号B，该四个相邻的像素通道信号分别对应的像素值进行加权平均，得到一个单一像素值，例如为T2，该T2即为第一初始图像对应的第1行第2列像素的像素值。

[0131] 依次类推，从而可以根据原始图像，确定出第一初始图像。第一初始图像中每个像素对应一个像素值，因此，第一初始图像依然可以认为是位于RAW域的图像。

[0132] 应理解，由于第一初始图像的一个像素值是由原始图像的相邻四个像素值进行加权平均后得到的，所以，第一初始图像的每个边长的尺寸为原始图像的二分之一，整个图像的面积为原始图像的四分之一。

[0133] 示例性的，图9示出了一种Dbin处理的示意图，图10示出了一种原始图像进行Dbin处理的示意图。

[0134] 如图9中的（a）所示，当对该图像进行Dbin处理时，若第1行第1列像素对应的像素值为p11，第1行第2列像素对应的像素值为p12，第2行第1列像素对应的像素值为p21，第2行第2列像素对应的像素值为p22，则进行Dbin处理后，如图9中的（b）所示，第一帧图像的第1行第1列像素对应的像素值为b1，b1=（p11+p22）/2，也即第一帧图像中每个像素对应的像素值均为图9中的（a）所示图像相邻四个像素中左上角和右下角两个像素的像素值的平均值，此时权重假设为1，其他依次类推；如图9中的（c）所示，第二帧图像的第1行第1列像素对应的像素值为c1，c1=（p12+p21）/2，也即第二帧图像中每个像素对应的像素值均为图9中的（a）所示图像相邻四个像素中左下角和右上角两个像素的像素值的平均值，此时权重假设为1，其他依次类推。

[0135] 结合上述，如图10中的（a）所示，针对本申请实施例提供的包括6种颜色的通道信号的原始图像来说，进行Dbin处理后，如图10中的（b）所示，第二初始图像中第1行第1列像素的像素值为原始图像中的第1行第1列像素和第2行第2列像素的像素值的平均值，例如为绿色通道信号对应的像素值，其他依次类推；如图10中的（c）所示，第三初始图像中第1行第1列像素的像素值为原始图像中的第1行第2列像素和第2行第1列像素的像素值的平均值，例如为黄色通道信号对应的像素值，其他依次类推。

[0136] 由于第二初始图像、第三初始图像中每个像素还是对应一个像素值，因此，第二初始图像和第三初始图像也是位于RAW域的图像。

[0137] 应理解，由于第二初始图像中的像素值是由原始图像相邻四个像素中左上角和右下角两个像素加权平均后得到的，第三初始图像中的像素值是由原始图像相邻四个像素左下角和右上角两个像素加权平均后得到的，所以第二初始图像和第三初始图像的像素值均不同。

[0138] 还应理解，由于第二初始图像、第三初始图像的一个像素值是由原始图像相邻四个像素中对角线方向的两个像素值加权平均后得到的，所以，第二初始图像、第三初始图像的每个边长的尺寸为原始图像的二分之一，整个图像的尺寸为原始图像的四分之一。

[0139] 此外，在上述处理过程中，Qbin处理和Dbin处理可以在同一图像信号处理器（image signal processing，ISP）中进行处理，或者，也可以分开在两个图像信号处理器中进行处理，或者，也可以在多光谱传感器中进行处理，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

[0140] S15、对第二初始图像和第三初始图像进行前端处理，得到前端处理图像。

[0141] 此处，需要说明的是，本申请所述的前端处理仅表示该步骤位于融合之前，因此称为“前端”处理，并无其他含义。前端处理也可以称为第一处理等，本申请实施例对此不进行任何限制。

[0142] 其中，前端处理用于对第二初始图像和第三初始图像的色彩进行处理，使得处理后得到的前端处理图像可以为后续处理提供更好的色彩。

[0143] 应理解，由于第二初始图像和第三初始图像分别包括的通道信号颜色不相同，因此，根据第二初始图像和第三初始图像得到的前端处理图像颜色信息保留的更好，也就是说，前端处理图像可以为后续处理提供更好的色彩还原能力。

[0144] 本申请实施例提供的前端处理可以与上述所述的Qbin处理或Dbin处理在同一ISP中进行处理，或者，可以与Qbin处理和Dbin处理三者在同一ISP进行处理，或者，也可以在另一单独的不同的ISP中进行处理，当然，也可以在多光谱传感器中进行处理，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

[0145] 可选地，前端处理至少可以包括：下采样（down scale sample）、降噪（denoise）、自动白平衡和/或颜色校正、上采样（up sample）。

[0146] 其中，下采样用于将图像中所包括的通道信号进行拆分重组，缩小图像的尺寸。

[0147] 降噪用于减少图像中噪声，一般方法有均值滤波、高斯滤波、双边滤波等。当然，也可以利用其它方式来进行降噪，本申请实施例对此不进行任何限制。

[0148] 自动白平衡用于将经过下采样和降噪处理后的图像，校正到D65参考光源下，使其白色呈现出真正的白色。

[0149] 颜色校正用于校准除白色以外其他颜色的准确度。此处，相当于利用CCM矩阵将多个颜色的通道信号校正成3个颜色通道信号，例如分别为红色通道信号、绿色通道信号和蓝色通道信号。

[0150] 其中，进行颜色校正时，所使用的CCM矩阵，可以使用在先拟合好的CCM矩阵。当没有D65参考光源下的CCM矩阵时，可以利用其它色温对应的CCM矩阵插值确定出D65参考光源下的CCM矩阵。

[0151] 上采样用于放大图像尺寸。应理解，由于前面进行了下采样，图像尺寸被缩小，所以，相应的需要进行上采样将图像尺寸放大，恢复图像尺寸，以便于后续进行融合。

[0152] 图12示出了一种前端处理的示意图。例如，如图12所示，前端处理按处理顺序包括：下采样、降噪、自动白平衡、颜色校正和上采样。

[0153] 若针对图11所得到的第二初始图像和第三初始图像进行下采样，可以将第二初始图像中包括的三种颜色通道进行拆分，然后，将红色通道信号重组在一起生成一帧仅包括红色通道信号的单色通道图像，将绿色通道信号重组在一起生成一帧仅包括绿色通道信号的单色通道图像，以及将蓝色通道信号重组在一起生成一帧仅包括蓝色通道信号的单色通道图像。同理，可以将第三初始图像中包括的三种颜色通道进行拆分，然后，将黄色通道信号重组在一起生成一帧仅包括黄色通道信号的单色通道图像，将青色通道信号重组在一起生成一帧仅包括青色通道信号的单色通道图像，以及将品红色通道信号重组在一起生成一帧仅包括品红色通道信号的单色通道图像。

[0154] 由此，将第二初始图像和第三初始图像进行下采样后，可以得到6帧分别包括不同颜色通道信号的单色通道图像，每帧单色通道图像的边长为原有的第二初始图像或第三初始图像的二分之一，或者说，每帧单色通道图像的整体面积为原有的第二初始图像或第三初始图像的四分之一。

[0155] 然后，针对该6帧单色通道图像进行降噪，以降低原有的以及下采样过程中产生的噪声；再将经过噪声处理后的6帧单色通道图像进行自动白平衡和颜色校正处理，由此，可以得到一帧仅包括红色通道信号的单色通道图像，一帧仅包括绿色通道信号的单色通道图像，以及一帧仅包括蓝色通道信号的单色通道图像。

[0156] 此处，多帧单色通道图像的尺寸均相同。

[0157] 可以理解的是，由于颜色校正后得到的三帧单色通道图像的尺寸相对于第一初始图像的尺寸较小，为了便于后续进行融合处理，可以利用上采样的方式将三帧三色通道图像所包括的红色通道信号、绿色通道信号和蓝色通道信号以拼接重组的方式，确定出包括三种颜色通道信号的前端处理图像。由此，前端处理图像可以包括较好的颜色信息。应理解，前端处理图像是拜耳格式图像，也即是说，前端处理图像是位于RAW域的图像。

[0158] 在此基础上，前端处理还可以包括：动态坏点补偿（defect pixel correction，DPC）、镜头阴影校正（lens shading correction，LSC）和宽动态范围调整（wide range compression，WDR）中的至少一项。

[0159] 应理解，动态坏点补偿用于解决多光谱传感器上光线采集的点形成的阵列所存在的缺陷，或者光信号进行转化的过程中存在的错误；通常通过在亮度域上取其他周围像素点均值来消除坏点。

[0160] 应理解，镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。

[0161] 宽动态范围调整指的是：当在强光源（日光、灯具或反光等）照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。因此，可以在同一场景中对最亮区域及较暗区域进行调整，例如使暗区在图像中变亮，亮区在图像变暗，从而使得处理后的图像可以呈现暗区和亮区中的更多细节。

[0162] 应理解，前端处理可以包括上述一个或多个处理步骤，当前端处理包括多个处理步骤时，该多个处理步骤的顺序可以根据需要进行调整，本申请实施例对此不进行任何限制。此外，前端处理均还可以包括其他步骤，具体可以根据需要进行增加，本申请实施例对此不进行任何限制。

[0163] S16、将第一初始图像和前端处理图像进行融合处理，得到目标图像。

[0164] 应理解，由于第一初始图像是直接由原始图像的通道信号重组得到的，未经其他任何处理，因此，第一初始图像携带的纹理细节也更多。那么，为了保证细节丰富度可以利用第一初始图像进行融合处理，以使得恢复场景颜色的同时，恢复出的图像携带更多细节。

[0165] 而前端处理图像是由第二初始图像和第三初始图像经过一系列色彩处理后得到的，部分细节缺失，但保留了较好的颜色信息，因此，为了保证颜色丰富度可以利用前端处理图像进行融合处理，以使得恢复场景颜色时，恢复出的图像具有良好的色彩。

[0166] 第一初始图像的分辨率相对较高，可以称为高分辨率（high resolution，HR）图像，前端处理图像的分辨率相对较低，可以称为低分辨率（low resolution，LR）图像。

[0167] 其中，将第一初始图像和前端处理图像进行融合处理，可以将其对应相同位置处的像素值进行相加或按不同权重进行相乘，或者，也可以利用网络模型进行融合；当然，还可以利用其它方式进行融合处理，具体可以根据需要进行选择和设置，本申请实施例对此不进行任何限制。

[0168] 可选地，可以将第一初始图像和前端处理图像，利用以下公式进行融合处理：

[0169] E(f)=wd(f‑d)2+ wx(fx‑gx)2+wy(fy‑gy)2；

[0170] 其中，f为目标图像的像素值，g为第一初始图像的像素值，d为前端处理图像的像d素值，fx和fy为目标图像在x方向和y方向上的梯度值，gx和gy为第一初始图像的梯度值，w 、x y
w、w为权重值，E(f)为f的能量函数。

[0171] 确定E(f)的最小值，得到目标图像。

[0172] 应理解，高分辨率的第一初始图像相当于是目标图像的梯度值的约束图，由于第一初始图像的细节丰富度更高，因此，目标图像的梯度值越接近第一初始图像的梯度值越好。其中，梯度值用于反映图像数据的变化率。

[0173] 低分辨率的前端处理图像相当于是目标图像的像素值的约束图，由于前端处理图像的色彩丰富度更高，因此，目标图像的像素值越接近前端处理图像的像素值越好。

[0174] 应理解，上述公式右边三项之和的值越小，确定出的E(f)的值就越小；当公式右边三项之和的值最小时，确定出的E(f)的值就是最小值，此时，目标图像既能保证接近第一初始图像的梯度值，又能保证接近前端处理图像的像素值，由此，还原出的目标图像携带有较好的细节纹理信息和色彩信息。

[0175] 示例性的，图13为本申请实施例提供的融合处理的效果示意图。

[0176] 如图13中的（a）所示，为经Qbin处理后得到的第一初始图像，细节丰富度高；如图13中的（b）所示，为Dbin处理和前端处理后得到的前端处理图像，颜色信息丰富，但分辨率较低。基于此，利用上述S16所述的融合方式进行融合后，可以得到如图13中的（c）所示的目标图像。

[0177] 由于该融合方式可以结合第一初始图像的细节信息和前端处理图像的颜色信息，因此，得到的目标图像相对于第一初始图像来说，颜色更好，相对于前端处理图像来说，纹理信息更丰富，分辨率更高。

[0178] 应理解，目标图像将被作为拍摄图像在电子设备的界面上进行显示，或者，仅进行存储，具体可以根据需要进行选择，本申请实施例对此不进行任何限制。

[0179] 还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本申请实施例对此不进行任何限制。

[0180] 本申请实施例提供的图像处理方法，通过获取包括至少4个通道信号的原始图像，然后将原始图像中的通道信号合并重组，生成第一初始图像、第二初始图像和第三初始图像，再对第二初始图像和第三初始图像进行前端处理，得到前端处理图像，由于第一初始图像仅经历了合并重组，所以细节丰富度较高，而前端处理图像的颜色准确性较高，基于此，利用第一初始图像和前端处理图像生成目标图像，从而可以实现图像细节和色彩的较好还原。

[0181] 在上述基础上，图14提供了另一种图像处理方法的流程示意图。如图14所示，上述方法还可以包括S17。

[0182] S17、对目标图像进行后端处理，得到彩色图像。

[0183] 此处，需要说明的是，本申请所述的后端处理仅表示该步骤位于融合之后，因此称为“后端”处理，并无其他含义。后端处理也可以称为第二处理等，本申请实施例对此不进行任何限制。

[0184] 可选地，后端处理可以包括：去马赛克。

[0185] 在本申请中，去马赛克用于将每个像素中的单通道信号补充成多通道信号，也即根据位于RAW域的图像重建出RGB域的彩色图像。

[0186] 例如，针对包括红色、绿色和蓝色通道信号的目标图像，在去马赛克之前，图像中某个像素仅对应一种颜色通道信号，比如仅对应红色通道信号；而进行了去马赛克之后，该像素对应3种颜色通道信号，分别为红色、绿色、蓝色通道信号，也即是说，针对仅有红色通道信号的像素，补充了绿色和蓝色通道信号。其他颜色的像素的补充情况依次类推，在此不再赘述。

[0187] 可选地，第一后端处理还可以包括：伽马（Gamma）校正和风格变换（3dimensional look up table，3DLUT）、RGB域转YUV域中的至少一项。

[0188] 其中，伽马校正用于通过调整伽马曲线来调整图像的亮度，对比度，动态范围等；风格变换指示颜色的风格变换，即使用颜色滤镜，使原始的图像风格变成其他的图像风格，常见的风格比如，电影风格、日系风格、阴森风格等。RGB域转YUV域指的是将位于RGB域的图像转换成位于YUV域的图像。

[0189] 应理解，后端处理可以包括上述一个或多个处理步骤，当后端处理包括多个处理步骤时，该多个处理步骤的顺序可以根据需要进行调整，本申请实施例对此不进行任何限制。此外，后端处理均还可以包括其他步骤，具体可以根据需要进行增加，本申请实施例对此不进行任何限制。

[0190] 应理解，后端处理可以与预处理、前端处理和/或融合处理在同一图像信号处理器中进行处理，或者，后端处理也可以分开在其他图像信号处理器中进行处理，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

[0191] 图15示出了一种后端处理的示意图。例如，如图15所示，后端处理按处理顺序包括：去马赛克、伽马校正、风格变换和RGB域转YUV域。

[0192] 应理解，经过后端处理之后，目标图像从RAW域转换至YUV域，可以减小后续传输的数据量，节省带宽。

[0193] 应理解，彩色图像位于YUV域。彩色图像可以被作为拍摄图像在电子设备100的界面上进行显示，或者，仅进行存储，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

[0194] 在该实施例中，基于第一初始图像和前端处理图像进行融合，生成包含较好细节信息的和较好颜色信息的目标图像，然后对融合后的目标图像进行后端处理，对其颜色和细节进一步进行调整，从而可以实现图像细节和色彩的较好还原。

[0195] 还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本申请实施例对此不进行任何限制。

[0196] 示例性的，图16为本申请实施例提供的图像处理方法的效果示意图。

[0197] 如图16中的（a）所示，为未利用本申请实施例提供的图像处理方法处理所得到彩色图像，图16中的（c）所示的内容为（a）中的一部分。

[0198] 如图16中的（b）所示，为利用本申请实施例提供的图像处理方法处理后得到的彩色图像，图16中的（d）所示的内容为（b）中的一部分。相对于（a）和（c）来说，经过本申请实施例提供的图像处理方法处理后，图像的细节和色彩还原效果都相对更好。

[0199] 上述对本申请实施例提供的图像处理方法进行了详细介绍，下面结合电子设备的显示界面介绍一下用户如何启用本申请实施例提供的图像处理方法。

[0200] 图17为本申请实施例提供的一种电子设备的显示界面的示意图。

[0201] 示例性的，响应于用户的点击操作，当电子设备100运行相机应用时，电子设备100显示如图17中的（a）所示的拍摄界面。用户可以在该界面上进行滑动操作，使得拍摄键11指示拍摄选项“更多”上。

[0202] 响应于用户针对拍摄选项“更多”的点击操作，电子设备100显示如图17中的（b）所示的拍摄界面，在该界面上显示有多个拍摄模式选项，例如：专业模式、全景模式、HDR模式、延时摄影模式、水印模式、细节色彩还原模式等。应理解，上述拍摄模式选项仅为示例，具体可以根据需要进行设定和修改，本申请实施例对此不进行任何限制。

[0203] 响应于用户针对“细节色彩还原”模式的点击操作，电子设备100可以在拍摄启用本申请实施例提供的图像处理方法相关的程序。

[0204] 图18为本申请实施例提供的另一种电子设备的显示界面的示意图。

[0205] 示例性的，响应于用户的点击操作，当电子设备100运行相机应用时，电子设备100显示如图18中的（a）所示的拍摄界面，在该拍摄界面的右上角显示有“设置”按钮。用户可以在该界面上点击“设置”按钮，进入设置界面进行相关功能的设置。

[0206] 响应于用户针对“设置”按钮的点击操作，电子设备100显示如图18中的（b）所示的设置界面，在该界面上显示有多个功能，例如，照片比例用于实现拍照模式下对照片比例的设定，声控拍照用于实现拍照模式下是否通过声音进行触发的设定，视频分辨率用于实现对视频分辨率的调整，视频帧率用于实现对视频帧率的调整，此外还有通用的参考线、水平仪、细节色彩还原等。

[0207] 响应于用户针对“细节色彩还原”对应的开关按钮的拖动操作，电子设备100可以在拍摄时启用本申请实施例提供的图像处理方法相关的程序。

[0208] 应理解，上述仅为用户从电子设备的显示界面启用本申请实施例提供的图像处理方法的两种示例，当然也可以通过其他方式来启用本申请实施例提供的图像处理方法，或者，也可以在拍摄过程默认直接使用本申请实施例提供的图像处理方法，本申请实施例对此不进行任何限制。

[0209] 上文结合图1至图18详细描述了本申请实施例提供的图像处理方法以及相关的显示界面和效果图；下面将结合图19至图22详细描述本申请实施例提供的电子设备、装置和芯片。应理解，本申请实施例中的电子设备、装置和芯片可以执行前述本申请实施例的各种图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

[0210] 图19示出了一种适用于本申请的电子设备的硬件系统。电子设备100可用于实现上述方法实施例中描述的图像处理方法。

[0211] 电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra‑mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

[0212] 电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器
170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头
193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

[0213] 需要说明的是，图19所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图19所示的部件更多或更少的部件，或者，电子设备100可以包括图19所示的部件中某些部件的组合，或者，电子设备100可以包括图19所示的部件中某些部件的子部件。图19示的部件可以以硬件、软件、或软件和硬件的组合实现。

[0214] 处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器（application processor，AP）、调制解调处理器、图形处理器（graphics processing unit，GPU）、图像信号处理器（image signal processor，ISP）、控制器、视频编解码器、数字信号处理器（digital signal processor，DSP）、基带处理器、神经网络处理器（neural‑network processing unit，NPU）。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

[0215] 其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

[0216] 处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

[0217] 在本申请实施例中，处理器110可以执行显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取原始图像，原始图像包括至少4种颜色的通道信号；对原始图像进行预处理，得到第一初始图像、第二初始图像和第三初始图像；然后，对第二初始图像和第三初始图像进行前端处理，得到前端处理图像；对第一初始图像和前端处理图像进行融合处理，得到目标图像。

[0218] 图19所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

[0219] 电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

[0220] 天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

[0221] 电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

[0222] 显示屏194可以用于显示图像或视频。

[0223] 电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

[0224] ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

[0225] 摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal‑oxide‑semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝（red green blue，RGB），YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

[0226] 数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

[0227] 视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1、MPEG2、MPEG3和MPEG4。

[0228] 上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。

[0229] 图20是本申请实施例提供的电子设备的软件系统的示意图。

[0230] 如图20所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

[0231] 应用层210可以包括相机应用程序或者其他应用程序，其他应用程序包括但不限于：相机、图库等应用程序。

[0232] 应用框架层220可以向应用层的应用程序提供应用程序编程接口（application programming interface，API）和编程框架；应用框架层可以包括一些预定义的函数。

[0233] 例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备；其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

[0234] 硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法库中的相机算法。

[0235] 例如，硬件抽象层230中包括相机硬件抽象层2301与相机算法库；相机算法库中可以包括软件算法；比如，算法1、算法2等可以是用于图像处理的软件算法。

[0236] 驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动、数字信号处理器驱动和图形处理器驱动。

[0237] 硬件层250可以包括多个图像传感器（sensor）、多个图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。

[0238] 例如，硬件层250包括传感器和图像信号处理器；传感器中可以包括传感器1、传感器2、深度传感器（time of flight，TOF）、多光谱传感器等。图像信号处理器中可以包括图像信号处理器1、图像信号处理器2等。

[0239] 在本申请中，通过调用硬件抽象层230中的硬件抽象层接口，可以实现硬件抽象层230上方的应用程序层210、应用程序框架层220与下方的驱动层240、硬件层250的连接，实现摄像头数据传输及功能控制。

[0240] 其中，在硬件抽象层230中的摄像头硬件接口层中，厂商可以根据需求在此定制功能。摄像头硬件接口层相比硬件抽象层接口，更加高效、灵活、低延迟，也能更加丰富的调用ISP和GPU，来实现图像处理。其中，输入硬件抽象层230中的图像可以来自图像传感器，也可以来自存储的图片。

[0241] 硬件抽象层230中的调度层，包含了通用功能性接口，用于实现管理和控制。

[0242] 硬件抽象层230中的摄像头服务层，用于访问ISP和其他硬件的接口。

[0243] 下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

[0244] 应用程序层中的相机应用可以以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时，电子设备100开始运行相机应用。当相机应用运行在电子设备100上时，相机应用调用应用程序框架层210中的相机应用对应的接口，然后，通过调用硬件抽象层230启动摄像头驱动，开启电子设备100上的包含多光谱传感器的摄像头，并通过多光谱传感器采集原始图像。此时，多光谱传感器可按一定工作频率进行采集，并将采集的图像在多光谱传感器内部或传输至1路或多路图像信号处理器中进行处理，然后，再将处理后的目标图像或彩色图像进行保存和/或传输至显示屏进行显示。

[0245] 下面介绍本申请实施例提供的一种用于实现上述图像处理方法的图像处理装置300。图21是本申请实施例提供的图像处理装置300的示意图。

[0246] 如图21所示，图像处理装置300包括显示单元310、获取单元320和处理单元330。

[0247] 其中，显示单元310用于显示第一界面，第一界面包括第一控件。

[0248] 获取单元320用于检测到对第一控件的第一操作。

[0249] 处理单元330用于响应于第一操作，获取原始图像，原始图像包括至少4种颜色的通道信号。

[0250] 处理单元330还用于对原始图像进行预处理，得到第一初始图像、第二初始图像和第三初始图像；对第二初始图像和第三初始图像进行前端处理，得到前端处理图像；将第一初始图像和前端处理图像进行融合处理，得到目标图像。

[0251] 需要说明的是，上述图像处理装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

[0252] 例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

[0253] 因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0254] 本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在图像处理装置300上运行时，使得该图像处理装置300执行前述所示的图像处理方法。

[0255] 所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带），光介质、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。

[0256] 本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置300上运行时，使得图像处理装置300可以执行前述所示的图像处理方法。

[0257] 图22为本申请实施例提供的一种芯片的结构示意图。图22所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置300执行前述所示的技术方案。

[0258] 可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持图像处理装置300执行前述所示的技术方案。

[0259] 可选的，图22所示的芯片还可以包括：存储介质403。

[0260] 需要说明的是，图22所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列（field programmable gate array，FPGA）、可编程逻辑器件（programmable logic device，PLD）、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

[0261] 上述本申请实施例提供的电子设备、图像处理装置300、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

[0262] 应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

[0263] 还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

[0264] 还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

[0265] 还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

[0266] 还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

[0267] 还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

[0268] 最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。