图像处理方法和图像处理装置

摘要

本公开关于一种图像处理方法和图像处理装置。所述图像处理方法包括：获取具有阴影的文档图像原图；从所述原图获取文字区域信息和阴影区域信息；基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像。同时，可以使用人工智能模型来执行上述由电子设备执行的图像处理方法。

权利要求

1.一种图像处理方法，其特征在于，包括：

获取具有阴影的文档图像原图；

从所述原图获取文字区域信息和阴影区域信息；

基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；

基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述调整为减小处于阴影区域内的文字与处于非阴影区域内的文字之间的差异。

3.如权利要求1所述的图像处理方法，其特征在于，从所述原图获取文字区域信息和阴影区域信息，包括：基于所述原图，利用文字检测模型，获得文字区域掩膜图像，作为所述文字区域信息；

基于所述原图，利用阴影检测模型，获得阴影区域掩膜图像，作为所述阴影区域信息；

其中，所述文字检测模型和所述阴影检测模型为人工智能模型。

4.如权利要求1所述的图像处理方法，其特征在于，所述基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，包括：基于所述文字区域信息，从所述原图中确定并保留原始文字区域，并将所述原图中的非文字区域填充为预定颜色或图案，得到第一图像。

5.如权利要求4所述的图像处理方法，其特征在于，所述预定颜色或图案为预先指定的颜色或图案，或者根据所述原图的背景颜色或图案获得的相同或相似颜色或图案。

6.如权利要求1所述的图像处理方法，其特征在于，所述基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，包括：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；

基于所述文字区域信息，从所述原图中确定原始文字区域；

将所述原始文字区域叠加到第三图像，获得第一图像。

7.如权利要求1所述的图像处理方法，其特征在于，还包括：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；

将第二图像中的文字区域叠加到第三图像，得到第四图像。

8.如权利要求1所述的图像处理方法，其特征在于，所述基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像，包括：基于所述阴影区域信息，确定所述原图中的处于阴影区域内的文字区域和处于非阴影区域内的文字区域；

对处于阴影区域内的文字区域进行第一处理，和/或对处于非阴影区域内的文字区域进行第二处理；

其中，第一处理和第二处理为相反操作。

9.如权利要求8所述的图像处理方法，其特征在于，第一处理包括以下项中的至少一项：对处于阴影区域内的非文字区域向文字区域执行边缘扩张，对处于阴影区域内的文字区域的文字增加亮度，

对处于阴影区域内的文字区域的文字降低对比度；

第二处理包括以下项中的至少一项：

对处于非阴影区域内的非文字区域相对于文字区域执行边缘收缩，对处于非阴影区域内的文字区域的文字降低亮度，对处于非阴影区域内的文字区域的文字增加对比度。

10.如权利要求1所述的图像处理方法，其特征在于，还包括：显示用于选择第一模式或第二模式的模式选项；

接收选择模式选项的输入指令；

在接收到选择第一模式的输入指令的情况下，执行如权利要求1至9中任意一项权利要求所述的图像处理方法；

在接收到选择第二模式的输入指令的情况下，执行以下图像处理方法：获取具有阴影的文档图像原图，从所述原图获取阴影区域信息，并基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型。

11.如权利要求3所述的图像处理方法，其特征在于，所述阴影检测模型是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；

将所述具有阴影的文档图像样本输入所述阴影检测模型，得到预测阴影区域掩膜图像；

基于所述预测阴影区域掩膜图像和所述标注阴影区域掩膜图像，计算损失函数；

基于计算的损失函数对所述阴影检测模型的参数进行调整。

12.如权利要求3所述的图像处理方法，其特征在于，所述文字检测模型是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注文字区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像叠加阴影得到；

将所述具有阴影的文档图像样本输入所述文字检测模型，得到预测文字区域掩膜图像；

基于所述预测文字区域掩膜图像和所述标注文字区域掩膜图像，计算损失函数；

基于计算的损失函数对所述文字检测模型的参数进行调整。

13.如权利要求5、7和10中任意一项权利要求所述的图像处理方法，其特征在于，所述阴影消除模型是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括目标文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；

将所述具有阴影的文档图像样本和所述标注阴影区域掩膜图像输入所述阴影消除模型，得到预测文档图像；

基于所述目标文档图像样本和所述预测文档图像，计算损失函数；

基于计算的损失函数对所述阴影消除模型的参数进行调整。

14.一种图像处理装置，其特征在于，包括：

图像获取单元，被配置为：获取具有阴影的文档图像原图；

信息获取单元，被配置为：从所述原图获取文字区域信息和阴影区域信息；

第一图像获得单元，被配置为：基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；

第二图像获得单元，被配置为：基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像。

15.如权利要求14所述的图像处理装置，其特征在于，所述调整为减小处于阴影区域内的文字与处于非阴影区域内的文字之间的差异。

16.如权利要求14所述的图像处理装置，其特征在于，信息获取单元被配置为：基于所述原图，利用文字检测模型，获得文字区域掩膜图像，作为所述文字区域信息；

基于所述原图，利用阴影检测模型，获得阴影区域掩膜图像，作为所述阴影区域信息；

其中，所述文字检测模型和所述阴影检测模型为人工智能模型。

17.如权利要求14所述的图像处理装置，其特征在于，第一图像获得单元被配置为：基于所述文字区域信息，从所述原图中确定并保留原始文字区域，并将所述原图中的非文字区域填充为预定颜色或图案，得到第一图像。

18.如权利要求17所述的图像处理装置，其特征在于，所述预定颜色或图案为预先指定的颜色或图案，或者根据所述原图的背景颜色或图案获得的相同或相似颜色或图案。

19.如权利要求14所述的图像处理装置，其特征在于，第一图像获得单元被配置为：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；

基于所述文字区域信息，从所述原图中确定原始文字区域；

将所述原始文字区域叠加到第三图像，获得第一图像。

20.如权利要求14所述的图像处理装置，其特征在于，还包括：第四图像获得单元，被配置为：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；

将第二图像中的文字区域叠加到第三图像，得到第四图像。

21.如权利要求14所述的图像处理装置，其特征在于，第二图像获得单元被配置为：基于所述阴影区域信息，确定所述原图中的处于阴影区域内的文字区域和处于非阴影区域内的文字区域；

对处于阴影区域内的文字区域进行第一处理，和/或对处于非阴影区域内的文字区域进行第二处理；

其中，第一处理和第二处理为相反操作。

22.如权利要求21所述的图像处理装置，其特征在于，第一处理包括以下项中的至少一项：对处于阴影区域内的非文字区域向文字区域执行边缘扩张，对处于阴影区域内的文字区域的文字增加亮度，

对处于阴影区域内的文字区域的文字降低对比度；

第二处理包括以下项中的至少一项：

对处于非阴影区域内的非文字区域相对于文字区域执行边缘收缩，对处于非阴影区域内的文字区域的文字降低亮度，对处于非阴影区域内的文字区域的文字增加对比度。

23.如权利要求14所述的图像处理装置，其特征在于，还包括：显示单元，被配置为：显示用于选择第一模式或第二模式的模式选项；

接收单元，被配置为：接收选择模式选项的输入指令；

控制单元；

第三图像获得单元；

其中，控制单元被配置为：在接收到选择第一模式的输入指令的情况下，控制图像获取单元、信息获取单元、第一图像获得单元和第二图像获得单元执行如权利要求1至9中任意一项权利要求所述的图像处理方法；

在接收到选择第二模式的输入指令的情况下，控制图像获取单元获取具有阴影的文档图像原图，信息获取单元从所述原图获取阴影区域信息，第三图像获得单元基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型。

24.如权利要求16所述的图像处理装置，其特征在于，所述阴影检测模型是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；

将所述具有阴影的文档图像样本输入所述阴影检测模型，得到预测阴影区域掩膜图像；

基于所述预测阴影区域掩膜图像和所述标注阴影区域掩膜图像，计算损失函数；

基于计算的损失函数对所述阴影检测模型的参数进行调整。

25.如权利要求16所述的图像处理装置，其特征在于，所述文字检测模型是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注文字区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像叠加阴影得到；

将所述具有阴影的文档图像样本输入所述文字检测模型，得到预测文字区域掩膜图像；

基于所述预测文字区域掩膜图像和所述标注文字区域掩膜图像，计算损失函数；

基于计算的损失函数对所述文字检测模型的参数进行调整。

26.如权利要求18、20和23中任意一项权利要求所述的图像处理装置，其特征在于，所述阴影消除模型是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括目标文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；

将所述具有阴影的文档图像样本和所述标注阴影区域掩膜图像输入所述阴影消除模型，得到预测文档图像；

基于所述目标文档图像样本和所述预测文档图像，计算损失函数；

基于计算的损失函数对所述阴影消除模型的参数进行调整。

27.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到13中的任一权利要求所述的图像处理方法。

28.一种计算机可读存储介质，其特征在于，当述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到13中的任一权利要求所述的图像处理方法。

说明书

图像处理方法和图像处理装置

技术领域

[0001] 本公开涉及图像处理领域，具体地说，涉及一种图像处理方法和图像处理装置。

背景技术

[0002] 当人们用相机或者手机翻拍文档的时候，由于环境的光线问题(譬如单光源、被遮挡、光线不足等)、拍摄姿势限制等原因，拍摄出来的文档部分区域被阴影遮盖，导致照片内容的可读性变差，影响后期查看、归档、打印、分享和传播。

发明内容

[0003] 本公开提供一种图像处理方法和图像处理装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

[0004] 根据本公开实施例的第一方面，提供一种一种图像处理方法，其特征在于，包括：获取具有阴影的文档图像原图；从所述原图获取文字区域信息和阴影区域信息；基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像。

[0005] 可选地，所述调整可为减小处于阴影区域内的文字与处于非阴影区域内的文字之间的差异。

[0006] 可选地，从所述原图获取文字区域信息和阴影区域信息，可包括：基于所述原图，利用文字检测模型，获得文字区域掩膜图像，作为所述文字区域信息；基于所述原图，利用阴影检测模型，获得阴影区域掩膜图像，作为所述阴影区域信息；其中，所述文字检测模型和所述阴影检测模型为人工智能模型。

[0007] 可选地，所述基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，可包括：基于所述文字区域信息，从所述原图中确定并保留原始文字区域，并将所述原图中的非文字区域填充为预定颜色或图案，得到第一图像。

[0008] 可选地，所述预定颜色或图案可为预先指定的颜色或图案，或者根据所述原图的背景颜色或图案获得的相同或相似颜色或图案。

[0009] 可选地，所述基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，可包括：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；基于所述文字区域信息，从所述原图中确定原始文字区域；将所述原始文字区域叠加到第三图像，获得第一图像。

[0010] 可选地，所述图像处理方法还可包括：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；将第二图像中的文字区域叠加到第三图像，得到第四图像。

[0011] 可选地，所述基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像，可包括：基于所述阴影区域信息，确定所述原图中的处于阴影区域内的文字区域和处于非阴影区域内的文字区域；对处于阴影区域内的文字区域进行第一处理，和/或对处于非阴影区域内的文字区域进行第二处理；其中，第一处理和第二处理为相反操作。

[0012] 可选地，第一处理可包括以下项中的至少一项：对处于阴影区域内的非文字区域向文字区域执行边缘扩张，对处于阴影区域内的文字区域的文字增加亮度，对处于阴影区域内的文字区域的文字降低对比度；第二处理可包括以下项中的至少一项：处于非阴影区域内的非文字区域相对于文字区域执行边缘收缩，对处于非阴影区域内的文字区域的文字降低亮度，对处于非阴影区域内的文字区域的文字增加对比度。

[0013] 可选地，所述图像处理方法还可包括：显示用于选择第一模式或第二模式的模式选项；接收选择模式选项的输入指令；在接收到选择第一模式的输入指令的情况下，执行第一模式的图像处理方法；在接收到选择第二模式的输入指令的情况下，执行第二模式的图像处理方法：获取具有阴影的文档图像原图，从所述原图获取阴影区域信息，并基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型。

[0014] 可选地，所述阴影检测模型可以是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本输入所述阴影检测模型，得到预测阴影区域掩膜图像；基于所述预测阴影区域掩膜图像和所述标注阴影区域掩膜图像，计算损失函数；基于计算的损失函数对所述阴影检测模型的参数进行调整。

[0015] 可选地，所述文字检测模型可以是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注文字区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像叠加阴影得到；将所述具有阴影的文档图像样本输入所述文字检测模型，得到预测文字区域掩膜图像；基于所述预测文字区域掩膜图像和所述标注文字区域掩膜图像，计算损失函数；基于计算的损失函数对所述文字检测模型的参数进行调整。

[0016] 可选地，所述阴影消除模型可以是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括目标文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本和所述标注阴影区域掩膜图像输入所述阴影消除模型，得到预测文档图像；基于所述目标文档图像样本和所述预测文档图像，计算损失函数；基于计算的损失函数对所述阴影消除模型的参数进行调整。

[0017] 根据本公开实施例的第二方面，提供一种图像处理装置，其特征在于，包括：图像获取单元，被配置为：获取具有阴影的文档图像原图；信息获取单元，被配置为：从所述原图获取文字区域信息和阴影区域信息；第一图像获得单元，被配置为：基于所述文字区域信息，从所述原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；第二图像获得单元，被配置为：基于所述阴影区域信息，对第一图像中的文字进行调整以获得第二图像。

[0018] 可选地，所述调整可为减小处于阴影区域内的文字与处于非阴影区域内的文字之间的差异。

[0019] 可选地，信息获取单元可被配置为：基于所述原图，利用文字检测模型，获得文字区域掩膜图像，作为所述文字区域信息；基于所述原图，利用阴影检测模型，获得阴影区域掩膜图像，作为所述阴影区域信息；其中，所述文字检测模型和所述阴影检测模型为人工智能模型。

[0020] 可选地，第一图像获得单元可被配置为：基于所述文字区域信息，从所述原图中确定并保留原始文字区域，并将所述原图中的非文字区域填充为预定颜色或图案，得到第一图像。

[0021] 可选地，所述预定颜色或图案可为预先指定的颜色或图案，或者根据所述原图的背景颜色或图案获得的相同或相似颜色或图案。

[0022] 可选地，第一图像获得单元可被配置为：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；基于所述文字区域信息，从所述原图中确定原始文字区域；将所述原始文字区域叠加到第三图像，获得第一图像。

[0023] 可选地，所述图像处理装置还可包括：第四图像获得单元，被配置为：基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型；将第二图像中的文字区域叠加到第三图像，得到第四图像。

[0024] 可选地，第二图像获得单元可被配置为：基于所述阴影区域信息，确定所述原图中的处于阴影区域内的文字区域和处于非阴影区域内的文字区域；对处于阴影区域内的文字区域进行第一处理，和/或对处于非阴影区域内的文字区域进行第二处理；其中，第一处理和第二处理为相反操作。

[0025] 可选地，第一处理可包括以下项中的至少一项：对处于阴影区域内的非文字区域向文字区域执行边缘扩张，对处于阴影区域内的文字区域的文字增加亮度，对处于阴影区域内的文字区域的文字降低对比度；第二处理可包括以下项中的至少一项：对处于非阴影区域内的非文字区域相对于文字区域执行边缘收缩，对处于非阴影区域内的文字区域的文字降低亮度，对处于非阴影区域内的文字区域的文字增加对比度。

[0026] 可选地，所述图像处理装置还可包括：显示单元，被配置为：显示用于选择第一模式或第二模式的模式选项；接收单元，被配置为：接收选择模式选项的输入指令；控制单元；第三图像获得单元；其中，控制单元被配置为：在接收到选择第一模式的输入指令的情况下，控制图像获取单元、信息获取单元、第一图像获得单元和第二图像获得单元执行第一模式的图像处理方法；在接收到选择第二模式的输入指令的情况下，控制图像获取单元获取具有阴影的文档图像原图，信息获取单元从所述原图获取阴影区域信息，第三图像获得单元基于所述原图和所述阴影区域信息，利用阴影消除模型从所述原图中消除阴影，获得阴影被消除的第三图像，其中，所述阴影消除模型为人工智能模型。

[0027] 可选地，所述阴影检测模型可以是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本输入所述阴影检测模型，得到预测阴影区域掩膜图像；基于所述预测阴影区域掩膜图像和所述标注阴影区域掩膜图像，计算损失函数；基于计算的损失函数对所述阴影检测模型的参数进行调整。

[0028] 可选地，所述文字检测模型可以是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注文字区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像叠加阴影得到；将所述具有阴影的文档图像样本输入所述文字检测模型，得到预测文字区域掩膜图像；基于所述预测文字区域掩膜图像和所述标注文字区域掩膜图像，计算损失函数；基于计算的损失函数对所述文字检测模型的参数进行调整。

[0029] 可选地，所述阴影消除模型可以是通过下述方式训练得到的：获取训练样本，其中，所述训练样本包括目标文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本和所述标注阴影区域掩膜图像输入所述阴影消除模型，得到预测文档图像；基于所述目标文档图像样本和所述预测文档图像，计算损失函数；基于计算的损失函数对所述阴影消除模型的参数进行调整。

[0030] 根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。

[0031] 根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。

[0032] 本公开的实施例提供的技术方案至少带来以下有益效果：

[0033] 根据本公开的图像处理方法和图像处理设备，可利用具有阴影区域的文档图像中的文字区域信息来得到去除背景区域的阴影的初步图像，然后利用具有阴影区域的文档图像中的阴影区域信息来得到对初步图像中的文字区域进行调整的去阴影图像，从而获得效果提升的去阴影图像。此外，还可利用AI模型来执行根据本公开的图像处理方法，从而提高根据本公开的图像处理方法的去阴影的效率和效果。此外，还可提供两种消除阴影的模式供用户选择，用户可根据需要选择这两种模式中的任意一种，一键消除文档图像中的阴影，获得清晰的个性化文档图像。

[0034] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

[0035] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

[0036] 图1是示出使用根据本公开的图像处理方法前后的文档图像的示意图。

[0037] 图2是示出根据本公开的示例性实施例的图像处理方法的流程图。

[0038] 图3是示出根据本公开的示例性实施例的阴影检测模型的输入与输出示意图。

[0039] 图4是示出根据本公开的示例性实施例的阴影检测模型的结构示意图。

[0040] 图5是示出根据本公开的示例性实施例的阴影检测模型的训练示意图。

[0041] 图6是示出根据本公开的示例性实施例的用于训练阴影检测模型的训练样本的示意图。

[0042] 图7是示出根据本公开的示例性实施例的制作用于训练阴影检测模型的训练样本的流程图。

[0043] 图8是示出根据本公开的示例性实施例的产生具有阴影的文档图像样本的过程的示意图。

[0044] 图9是示出根据本公开的示例性实施例的文字检测模型的输入与输出示意图。

[0045] 图10是示出根据本公开的示例性实施例的文字检测模型的训练示意图。

[0046] 图11是示出根据本公开的示例性实施例的用于训练文字检测模型的训练样本的示意图。

[0047] 图12是示出根据本公开的示例性实施例的制作用于训练文字检测模型的训练样本的流程图。

[0048] 图13是示出根据本公开的示例性实施例的阴影消除模型的输入与输出示意图。

[0049] 图14是示出根据本公开的示例性实施例的阴影消除模型的训练示意图。

[0050] 图15是示出根据本公开的示例性实施例的用于训练阴影消除模型的训练样本的示意图。

[0051] 图16是示出根据本公开的示例性实施例的制作用于训练阴影消除模型的训练样本的流程图。

[0052] 图17是示出根据本公开的第一示例性实施例的图像处理方法的流程图。

[0053] 图18是示出根据本公开的示例性实施例的第一模式(即，文档化模式)的去阴影样例的示意图。

[0054] 图19是示出根据本公开的第二示例性实施例的图像处理方法的流程图。

[0055] 图20是示出根据本公开的示例性实施例的第二模式(即，去阴影模式)的去阴影样例的示意图。

[0056] 图21是示出根据本公开的示例性实施例的应用图像处理方法的流程图。

[0057] 图22是示出根据本公开的示例性实施例的在用户拍摄文档照片的场景下去阴影UI的示意图。

[0058] 图23是示出根据本公开的示例性实施例的在用户编辑文档照片的场景下去阴影UI的示意图。

[0059] 图24是示出根据本公开的示例性实施例的图像处理装置的框图。

[0060] 图25是根据本公开的示例性实施例的电子设备2500的框图。

具体实施方式

[0061] 为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

[0062] 需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

[0063] 在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

[0064] 当人们用相机或者手机翻拍文档的时候，由于环境的光线问题(譬如单光源、被遮挡、光线不足等)、拍摄姿势限制等原因，拍摄出来的文档部分区域被阴影遮盖，导致照片内容的可读性变差，影响后期查看、归档、打印、分享和传播。为了解决上述问题，本公开提出了一种图像处理方法和图像处理装置，具体地说，利用AI(人工智能)模型对具有阴影的文档图像执行处理，获得消除阴影后的文档图像，从而提高文档图像的质量。例如，图1是示出使用根据本公开的图像处理方法前后的文档图像的示意图。如图1中的(a)所示，用户在晚上使用手机拍摄文档，想拿去打印，但由于家里环境光照不足或是光线不均匀，导致拍出来的照片总有阴影块，影响到最后的打印效果。然而，根据本公开图像处理方法，可利用AI模型对如图1中的(a)所示的具有阴影的文档照片执行处理，获得如图1中的(b)所示的消除阴影后的文档照片。

[0065] 此外，本公开的图像处理方法和图像处理装置还可向用户提供两种模式的去阴影方式，例如，可称为“文档化”模式和“去阴影”模式。在“文档化”模式下，可利用AI模型对具有阴影的文档图像消除阴影且将文档图像的背景颜色转换为预定颜色(例如，白色)。在“去阴影”模式下，可利用AI模型对具有阴影的文档图像消除阴影且保留原始背景色(例如，纸张底色)。当用户拍摄文档时(或者拍摄文档后)，用户可根据需要选择这两种模式中的任意一种，一键消除文档图像中的阴影，获得清晰的个性化文档图像。

[0066] 下面，将参照图2至图25具体描述根据本公开的示例性实施例的图像处理方法和图像处理装置。

[0067] 图2是示出根据本公开的示例性实施例的图像处理方法的流程图。

[0068] 参照图2，在步骤201，可获取具有阴影的文档图像原图。这里，具有阴影的文档图像原图可以是用户拍摄文档照片时获得的，或者也可以是用户编辑文档照片时获得的，或者可根据需要从本地存储器或本地数据库被获取，或者可通过输入装置或传输媒介而从外部数据源(例如，互联网、服务器、数据库等)被接收。例如，当用户拍照时或编辑照片时，可检测照片是否为文档照片，如果检测到是文档照片，则对文档照片执行文档边缘检测，裁剪出文档区域，作为文档图像原图。

[0069] 在步骤202，可从具有阴影的文档图像原图获取文字区域信息和阴影区域信息。

[0070] 根据本公开的示例性实施例，可基于具有阴影的文档图像原图，利用阴影检测模型，获得阴影区域掩膜图像，作为阴影区域信息。例如，阴影检测模型可以任何可用的人工智能(AI)模型，其输入可以为具有阴影的文档图像原图或具有阴影的文档图像原图经预处理后的特征图像，其输出可以为阴影区域掩膜(mask)图像，其中，阴影区域掩图像用于标记文档图像中哪些像素处于阴影区域。如图3所示，图3是示出根据本公开的示例性实施例的阴影检测模型的输入与输出示意图。

[0071] 根据本公开的示例性实施例，阴影检测模型可以是带有循环注意力残差模块的双向特征金字塔网络(BDRAR)。图4是示出根据本公开的示例性实施例的阴影检测模型的结构示意图。如图4所示，阴影检测模型一类全卷积网络(FCN)，用于图像语义分割的深度神经网络算法。骨干的卷积网可采用残差网络(例如，ResNet)用于特征图(feature map)的提取，其每个特征图分辨率逐级降低故称为"特征金字塔"，将多个循环注意力残差模块(recurrent attention residual,缩写RAR)嵌入到特征金字塔结构中，从相邻特征图抽取注意力图(attention map)，用于融合特征金字塔相邻层的空间上下文信息，使得网络能够更好的将识别目标任务的注意力放在目标像素。此外，引入残差结构，有利于抑制高分辨率特征图中非阴影区域的细节对预测结果的干扰。此外，循环注意力残差模块(RAR)采用两组路径整合上下文信息，一组是从深层特征图往浅层，另一组相反从浅层到深层，故称为"双向"。此外，可在BDRAR的输出层添加一层可以端到端训练的RNN形式的全连接条件随机场层(CRFasRNN)，进一步提高识别准确度。这样，参数和运算逻辑可固化到模型文件中，使得能够利用GPU加速等硬件层级的优化，避免了在部署到移动端后额外复杂的后处理。当然，可根据精度需求，选择性地添加CRFasRNN，即，可添加或不添加CRFasRNN。

[0072] 当然，根据本公开的阴影检测模型可不限于上述结构，还可采用任何可能的AI模型来实现阴影检测模型，例如，GAN(Generative Adversarial Networks，对抗生成网络)模型。

[0073] 根据本公开的示例性实施例，可基于具有阴影的文档图像样本和相应的标注阴影区域掩膜图像来训练阴影检测模型。具体地说，可通过下述方式训练阴影检测模型：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本输入阴影检测模型，得到预测阴影区域掩膜图像；基于预测阴影区域掩膜图像和标注阴影区域掩膜图像，计算损失函数(例如，可采用二分类交叉熵(binary cross‑entropy loss)函数)；基于计算的损失函数对阴影检测模型的参数进行调整。下面，将具体地描述根据本公开的示例性实施例的阴影检测模型的训练样本的制作过程。

[0074] 图5是示出根据本公开的示例性实施例的阴影检测模型的训练示意图。如图5所示，可分别通过制作具有阴影的文档图像样本和制作相应的标注阴影区域掩膜图像，获得具有阴影的文档图像样本和相应的标注阴影区域掩膜图像，以用于训练阴影检测模型。

[0075] 图6是示出根据本公开的示例性实施例的用于训练阴影检测模型的训练样本的示意图。如图6所示，图6中的(a)示出具有阴影的文档图像样本，图6中的(b)示出相应的标注阴影区域掩膜图像。

[0076] 图7是示出根据本公开的示例性实施例的制作用于训练阴影检测模型的训练样本的流程图。

[0077] 参照图7，制作用于训练阴影检测模型的训练样本集的具体步骤如下：

[0078] (1)准备大量的文本、图标、表格样例，从文本、图标、表格样例库中随机抽取若干并组成图片内容素材。

[0079] (2)从背景色列表中，随机挑选一种颜色(背景色列表中都是一些比较浅的颜色，譬如浅黄、浅灰以及纯白色等，模拟用户拍照时的场景的色温)，用于模拟不同色温环境下的文档纸张，作为背景色图片。

[0080] (3)把图片内容素材叠加在背景色图片中，得到“干净文档图像”。

[0081] (4)在黑色背景上叠加白色的阴影图案，该阴影图案模拟用户拍照时受到遮挡的场景，阴影图片一般是大块的不规则图案，得到“标注阴影区域掩膜图像”。

[0082] (5)把标注阴影区域掩膜图像的阴影图案进行反色、背景完全透明、前景高斯模糊、前景部分透明的效果处理；

[0083] (6)把经过步骤(5)处理后的图片叠加到干净文档图像上，得到“具有阴影的文档图像样本”。

[0084] 图8是示出根据本公开的示例性实施例的产生具有阴影的文档图像样本的过程(即，上述步骤(5)和(6)的具体实现过程)的示意图。参照图8，可将标注阴影区域掩膜图像进行反色(invert)、背景透明(b/g transparent)、前景高期模糊(Gaussian blur)、前景部分透明(partially transparent)的处理，再将经过上述处理后的标注阴影区域掩膜图像与干净文档图像叠加，从而获得具有阴影的文档图像样本。

[0085] 返回参照图2，根据本公开的示例性实施例，可基于具有阴影的文档图像原图，利用文字检测模型，获得文字区域掩膜图像，作为文字区域信息。例如，文字检测模型可以任何可用的AI模型，其输入可以为具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像，其输出可以为文字区域掩膜(mask)图像，其中，文字区域掩膜图像用于标记文档图像中哪些像素是有效的信息像素，例如，文字、图标、表格框等。如图9所示，图9是示出根据本公开的示例性实施例的文字检测模型的输入与输出示意图。

[0086] 根据本公开的示例性实施例，文字检测模型可以是带有循环注意力残差模块的双向特征金字塔网络(BDRAR)，例如，如图4所示的结构。也就是说，根据本公开的文字检测模型和阴影检测模型的结构可以类似，主要区别在于分类任务不同，文字检测模型用于检测文字区域，阴影检测模型用于检测阴影区域，因此，相应的训练数据不同，训练得到的模型参数不同。当使用如图4所示的结构实现文字检测模型时，如图4所示的文字检测模型可输出文字区域掩膜图像，而不是阴影区域掩膜图像。当然，根据本公开的文字检测模型可不限于上述结构，还可采用任何可能的AI模型来实现文字检测模型，例如，GAN模型。

[0087] 根据本公开的示例性实施例，可基于具有阴影的文档图像样本及相应的标注文字区域掩膜图像来训练文字检测模型。具体地说，可通过下述方式训练文字检测模型：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注文字区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像叠加阴影得到；将所述具有阴影的文档图像样本输入所述文字检测模型，得到预测文字区域掩膜图像；基于所述预测文字区域掩膜图像和所述标注文字区域掩膜图像，计算损失函数(例如，可采用二分类交叉熵(binary cross‑entropy loss)函数)；基于计算的损失函数对所述文字检测模型的参数进行调整。下面，将具体地描述根据本公开的示例性实施例的文字检测模型的训练样本的制作过程。

[0088] 图10是示出根据本公开的示例性实施例的文字检测模型的训练示意图。如图10所示，可分别通过制作具有阴影的文档图像样本和制作相应的标注文字区域掩膜图像，获得具有阴影的文档图像样本和相应的标注文字区域掩膜图像，以用于训练文字检测模型。

[0089] 图11是示出根据本公开的示例性实施例的用于训练文字检测模型的训练样本的示意图。如图11所示，图11中的(a)示出具有阴影的文档图像样本，图11中的(b)示出相应的标注文字区域掩膜图像。

[0090] 图12是示出根据本公开的示例性实施例的制作用于训练文字检测模型的训练样本的流程图。

[0091] 参照图12，制作用于训练文字检测模型的训练样本集的具体步骤如下：

[0092] (1)准备大量的文本、图标、表格样例，从文本、图标、表格样例库中随机抽取若干并组成图片内容素材。

[0093] (2)把图片内容素材产设置成白色，并叠加在黑色背景的图片上，得到“标注文字区域掩膜图像”。

[0094] (3)从背景色列表中，随机挑选一种颜色(背景色列表中都是一些比较浅的颜色，譬如浅黄、浅灰以及纯白色等，模拟用户拍照时的场景的色温)，用于模拟不同色温环境下的文档纸张，作为背景色图片。

[0095] (4)把图片内容素材叠加在背景色图片中，得到“干净文档图像”。

[0096] (5)从若干阴影图案图片中随机挑选一张，该阴影图案模拟用户拍照时受到遮挡的场景，阴影图案一般是大块的不规则图案。

[0097] (6)把阴影图案进行反色、背景完全透明、前景高斯模糊、前景部分透明的效果处理；

[0098] (7)把经过步骤(6)处理后的图片叠加到干净文档图像上，得到“具有阴影的文档图像样本”。

[0099] 上述步骤(6)和(7)的具体实现过程可参照图8来实现。

[0100] 返回参照图2，在步骤203，可基于文字区域信息，从具有阴影的文档图像原图中保留原始文字区域以得到第一图像，其中，第一图像上的非文字区域不具有所述阴影。

[0101] 根据本公开的示例性实施例，可基于文字区域信息，从具有阴影的文档图像原图中确定并保留原始文字区域，并将具有阴影的文档图像原图中的非文字区域填充为预定颜色或图案，得到第一图像。例如，预定颜色或图案为预先指定的颜色或图案，或者根据所述原图的背景颜色或图案获得的相同或相似颜色或图案。

[0102] 根据本公开的另一示例性实施例，可基于具有阴影的文档图像原图和阴影区域信息，利用阴影消除模型从具有阴影的文档图像原图中消除阴影，获得阴影被消除的第三图像；基于文字区域信息，从具有阴影的文档图像原图中确定原始文字区域；将原始文字区域叠加到第三图像，获得第一图像。阴影消除模型为任意可用的AI模型，其输入可以为具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像以及阴影检测模型输出的阴影区域掩膜图像，其输出可以为消除阴影后的文档图像。如图13所示，图13是示出根据本公开的示例性实施例的阴影消除模型的输入与输出示意图。

[0103] 根据本公开的示例性实施例，阴影消除模型可采用GAN模型。具体地说，GAN模型可包括生成器和判别器两部分。生成器的输入可以是具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像(可称为真实数据)以及阴影检测模型输出的阴影区域掩膜图像，输出可以是预测的消除阴影后的文档图像(可称为生成数据)。生成器的损失函数可为生成数据与1的交叉熵损失函数+生成数据和标签数据(干净文档图像样本)的绝对误差损失函数。判别器的输入可以是生成数据，输出可以是生成数据为真的概率。判别器的损失函数可为真实数据与1的交叉熵损失函数+生成数据与0的交叉熵损失函数。

[0104] 根据本公开的示例性实施例，可基于干净文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像来训练阴影消除模型。具体地说，获取训练样本，其中，所述训练样本包括目标文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本和所述标注阴影区域掩膜图像输入所述阴影消除模型，得到预测文档图像；基于所述目标文档图像样本和所述预测文档图像，计算损失函数；基于计算的损失函数对所述阴影消除模型的参数进行调整。这里，干净文档图像是指不具有阴影且具有背景色(此背景色是模拟用户拍照时的照片原始背景色)的文档图像。目标文档图像样本是指用于训练阴影消除模型的目标去阴影的文档图像。目标文档图像样本可以是干净文档图像，或者是不具有阴影且背景为预定颜色(例如，白色)的文档图像。下面，将具体地描述根据本公开的示例性实施例的阴影消除模型的训练样本的制作过程。

[0105] 图14是示出根据本公开的示例性实施例的阴影消除模型的训练示意图。如图14所示，可分别通过制作目标文档图像样本(即，无阴影的标签图像样本)、制作相应的具有阴影的文档图像样本以及制作相应的标注阴影区域掩膜图像，获得目标文档图像样本、相应的具有阴影的文档图像样本和相应的标注阴影区域掩膜图像，以用于训练阴影消除模型。

[0106] 图15是示出根据本公开的示例性实施例的用于训练阴影消除模型的训练样本的示意图。如图15所示，图15中的(a)示出具有阴影的文档图像样本，图15中的(b)示出相应的标注阴影区域掩膜图像，图15中的(c)示出相应的干净文档图像样本。

[0107] 图16是示出根据本公开的示例性实施例的制作用于训练阴影消除模型的训练样本的流程图。

[0108] 参照图16，制作用于训练阴影消除模型的训练样本集的具体步骤如下：

[0109] (1)准备大量的文本、图标、表格样例，从文本、图标、表格样例库中随机抽取若干并组成图片内容素材。

[0110] (2)把图片内容素材叠加在纯白色背景的图片上，得到“消除阴影以及背景纯白的文档图片”，作为“目标文档图像样本”。

[0111] (3)从背景色列表中，随机挑选一种颜色(背景色列表中都是一些比较浅的颜色，譬如浅黄、浅灰以及纯白色等，模拟用户拍照时的场景的色温)，用于模拟不同色温环境下的文档纸张，作为背景色图片。

[0112] (4)把图片内容素材叠加在背景色图片中，得到“干净文档图像”。此外，干净文档图像也可作为目标文档图像样本。因此，在干净文档图像作为目标文档图像样本的情况下，可省略步骤(2)。

[0113] (5)在黑色背景上叠加白色的阴影图案，该阴影图案模拟用户拍照时受到遮挡的场景，阴影图片一般是大块的不规则图案，得到“标注阴影区域掩膜图像”。

[0114] (6)把标注阴影区域掩膜图像的阴影图案进行反色、背景完全透明、前景高斯模糊、前景部分透明的效果处理；

[0115] (7)把经过步骤(6)处理后的图片叠加到干净文档图像上，得到“具有阴影的文档图像样本”。

[0116] 当然，文字区域信息和阴影区域信息除了可以是文字区域掩膜图像和阴影区域掩膜图像之外，还可以是任何可能的反映文字区域特征的信息和反映阴影区域特征的信息。

[0117] 返回参照图2，在步骤204，可基于阴影区域信息，对第一图像中的文字进行调整以获得第二图像。由于初步的消除阴影后的文档图像(即，第一图像)中文字部分(有效像素)仍可能叠加阴影噪声，阴影区域文字像素颜色会比非阴影区域文字颜色加深，笔画也会轻微变宽。为了解决该问题，可利用阴影区域信息，对初步的消除阴影后的文档图像进行调整，从而获得第二图像。也就是说，该调整可减小处于阴影区域内的文字与处于非阴影区域内的文字之间的差异。

[0118] 根据本公开的示例性实施例，可基于阴影区域信息，确定具有阴影的文档图像原图中的处于阴影区域内的文字区域和处于非阴影区域内的文字区域；对处于阴影区域内的文字区域进行第一处理，和/或对处于非阴影区域内的文字区域进行第二处理；其中，第一处理和第二处理为相反操作。

[0119] 例如，第一处理可包括，但不限于：对处于阴影区域内的非文字区域向文字区域执行边缘扩张、对处于阴影区域内的文字区域的文字增加亮度、对处于阴影区域内的文字区域的文字降低对比度中的至少一项。第二处理可包括，但不限于：对处于非阴影区域内的非文字区域相对于文字区域执行边缘收缩、对处于非阴影区域内的文字区域的文字降低亮度、对处于非阴影区域内的文字区域的文字增加对比度中的至少一项。

[0120] 上述参照图2所描述的根据本公开的图像处理方法可以是根据本公开的第一模式。即，在第一模式下，可对具有阴影的文档图像进行语义分割，并基于语义分割结果和阴影区域掩膜图像，获得消除阴影后的文档图像，可称为“语义分析去阴影方法”，这里，语义分割可指将文字部分的有效像素与背景部分的像素分割。此外，根据本公开的第二模式，可获取具有阴影的文档图像原图，从具有阴影的文档图像原图获取阴影区域信息(例如，利用阴影检测模型)，并基于具有阴影的文档图像原图和阴影区域信息，利用阴影消除模型从具有阴影的文档图像原图中消除阴影，获得阴影被消除的第三图像。也就是说，根据本公开的第二模式，可利用人工智能模型和阴影区域掩膜图像对具有阴影的文档图像执行去阴影，获得消除阴影后的文档图像，可称为“直接去阴影方法”。

[0121] 因此，例如，可向用户提供上述两种模式的去阴影方法，即，第一模式(也可称为文档化模式)和第二模式(也可称为去阴影模式)。在第一模式下，可根据本公开的第一示例性实施例来执行去阴影操作。在第二模式下，可根据本公开的第二示例性实施例来执行去阴影操作。

[0122] 根据本公开的示例性实施例，可显示用于选择第一模式或第二模式的模式选项；接收选择模式选项的输入指令；在接收到选择第一模式的输入指令的情况下，执行“语义分析去阴影方法”，在接收到选择第二模式的输入指令的情况下，执行“直接去阴影方法”。

[0123] 下面，分别具体描述根据本公开的示例性实施例的第一模式和第二模式的图像处理方法。

[0124] 第一模式(即，文档化模式)

[0125] 图17是示出根据本公开的第一示例性实施例的图像处理方法的流程图。

[0126] 参照图17，在步骤1701，可基于具有阴影的文档图像，利用文字检测模型，获得文字区域掩膜图像。

[0127] 在步骤1702，可基于文字区域掩膜图像，从具有阴影的文档图像获得第一图像。根据本公开的示例性实施例，基于文字区域掩膜图像，从具有阴影的文档图像中确定并保留文字像素区域，并将具有阴影的文档图像中的除文字像素区域之外的区域填充为预定颜色(例如，白色)，得到第一图像。也就是说，可根据文字区域掩膜图像，将具有阴影的文档图像中的有效像素部分(前景)保留下来，并将背景(包含阴影噪声)填充为预定颜色，得到第一图像。在第一图像中，有效像素上的阴影可能还未消除。

[0128] 在步骤1703，可基于具有阴影的文档图像，利用阴影检测模型，获得阴影区域掩膜图像。

[0129] 在步骤1704，可利用阴影区域掩膜图像，对第一图像中的文字进行调整，获得第二图像。

[0130] 根据本公开的示例性实施例，可基于阴影区域掩膜图像，确定第一图像之中的处于阴影区域内的文字像素区域和处于非阴影区域内的文字像素区域；执行以下处理中的至少一项处理：对处于阴影区域内的文字像素区域的文字笔画进行调整，对处于阴影区域内的文字像素区域的文字颜色进行调整，对处于非阴影区域内的文字像素区域的文字颜色进行调整。执行上述调整的参数可根据经验值设置或调整。例如，可基于阴影区域掩膜图像，在第一图像中对阴影区域执行“膨胀”操作，即，将第一图像中阴影区域内已填充成预定颜色(例如，白色)的像素区域扩张，从而把处于阴影区域内的文字像素区域变窄，起到笔画变细的效果。又例如，可处于阴影区域内的文字像素区域的文字像素颜色提亮或颜色变浅。又例如，可基于非阴影区域掩膜图像(即，阴影区域掩膜图像取反操作)，对非阴影区域内的文字像素进行一定程度的增强对比度等处理(例如，颜色加深)，从而减少阴影/非阴影区域内的文字像素色差。

[0131] 当然，本公开对上述步骤1701和1702与步骤1703的顺序不作任何限制，例如，可先执行步骤1703，再执行步骤1701和1702，或者先执行步骤1701和1702，再执行步骤1703，或者先执行步骤1701、再执行步骤1703，再执行步骤1702，或者步骤1701和1702与步骤1703并行执行，等等。

[0132] 图18是示出根据本公开的示例性实施例的第一模式(即，文档化模式)的去阴影样例的示意图。

[0133] 参照图18，可获取具有阴影的文档图像原图(如图18中的(a)所示)。可基于具有阴影的文档图像，分别通过文字检测模型和阴影检测模型，得到文字区域掩膜图像(如图18中的(b)所示)和阴影区域掩膜图像(如图18中的(c)所示)。可基于文字区域掩膜图像，从具有阴影的文档图像获得初步的消除阴影后的文档图像(如图18中的(d)所示)。可利用阴影区域掩膜图像，对初步的消除阴影后的文档图像进行调整，获得最终的消除阴影后的文档图像(如图18中的(e)所示)。

[0134] 第二模式(即，去阴影模式)

[0135] 图19是示出根据本公开的第二示例性实施例的图像处理方法的流程图。

[0136] 参照图19，在步骤1901，可基于具有阴影的文档图像，利用阴影检测模型，获得阴影区域掩膜图像。

[0137] 在步骤1902，可基于具有阴影的文档图像和阴影区域掩膜图像，利用阴影消除模型，获得消除阴影后的文档图像。例如，阴影消除模型可以任何可用的AI模型。

[0138] 图20是示出根据本公开的示例性实施例的第二模式(即，去阴影模式)的去阴影样例的示意图。

[0139] 参照图20，可获取具有阴影的文档图像(如图20中的(a)所示)。可基于具有阴影的文档图像，通过阴影检测模型，得到阴影区域掩膜图像(如图20中的(b)所示)。可基于具有阴影的文档图像和阴影区域掩膜图像，通过阴影消除模型，获得消除阴影后的文档图像(如图20中的(c)所示)。

[0140] 此外，根据本公开的示例性实施例，还可对具有阴影的文档图像原图分别对文字区域和背景区域消除阴影，然后将消除阴影后的文字区域叠加到消除阴影的背景区域上，以得到阴影消除后的图像。例如，可获取具有阴影的文档图像原图；从具有阴影的文档图像原图获取文字区域信息和阴影区域信息；基于文字区域信息，从具有阴影的文档图像原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；基于阴影区域信息，对第一图像中的文字进行调整以获得第二图像；基于具有阴影的文档图像原图和所述阴影区域信息，利用阴影消除模型从具有阴影的文档图像原图中消除阴影，获得阴影被消除的第三图像；将第二图像中的文字区域叠加到第三图像，得到第四图像。

[0141] 下面，将参照图21至图23具体描述用户在拍摄照片或编辑照片的场景下使用根据本公开的示例性实施例的图像处理方法的示例。

[0142] 图21是示出根据本公开的示例性实施例的应用图像处理方法的流程图。

[0143] 参照图21，在步骤21，在用户拍摄照片或编辑照片时，检测所述照片是否为文档图片。

[0144] 在步骤2102，在检测结果为是文档照片的情况下，对所述照片执行文档边缘检测，并裁剪出文档区域，生成文档图像。

[0145] 在步骤2103，在检测结果为不是文档照片的情况下，将所述照片保存为普通图片或者进行普通编辑。

[0146] 在步骤2104，在生成文档图像后，进入图像编辑界面，在图像编辑界面中提供去阴影选项。

[0147] 在步骤2105，在接收到选择去阴影选项的用户输入时，可提供去阴影模式选项(例如，“文档化”模式选项和“去阴影”模式选项)供用户选择，同时开启两个线程分别对文档图像执行“文档化”模式下的图片阴影噪声消除和“去阴影”模式下的图片阴影噪声消除。在“文档化”模式下，可对原始文档图像进行语义分割并根据分割结果对像素进行不同的后处理，产生背景被替换为预定颜色的消除阴影后的文档图像。在“去阴影”模式下，可将原始文档图像输入AI网络直接得到保留原始背景色的消除阴影后的文档图像。

[0148] 在步骤2106，根据用户对去阴影模式选项的选择，输出并显示相应的消除阴影后的文档图像。也就是说，如果用户选择“文档化”模式选项，则显示通过“语义分析去阴影方法”获得的消除阴影后的文档图像。如果用户选择“去阴影”模式选项，则显示通过“直接去阴影方法”获得的消除阴影后的文档图像。

[0149] 当然，本公开不限于上述步骤2105和2106，还可以先提供去阴影模式选项，在接收到用户对去阴影模式选项的选择之后，再开启线程来执行用户选择的模式下的图片阴影噪声消除。

[0150] 在步骤2107，保存相应的消除阴影后的文档图像。当然，还可以提示用户可选择覆盖原图或保存成新的图片，如果用户选择覆盖原图，则保存相应的消除阴影后的文档图像，如果用户选择保存成新的图片，则保存原始文档图像和相应的消除阴影后的文档图像。

[0151] 图22是示出根据本公开的示例性实施例的在用户拍摄文档照片的场景下去阴影UI的示意图。

[0152] 参照图22，当用户拍摄照片后，可首先判断是否为文档照片，如果是文档照片，则执行文档边缘检测(如图22中的(a)所示)。当用户选择“点击来扫描”选项时，可裁剪出文档区域，生成文档图像(如图22中的(b)所示)。当用户在编辑界面中选择去阴影选项时，可向用户提供“文档化”模式选项和“去阴影”模式选项(如图22中的(c)所示)，并根据用户的选择显示相应的去阴影文档图像。

[0153] 图23是示出根据本公开的示例性实施例的在用户编辑文档照片的场景下去阴影UI的示意图。

[0154] 参照图23，当用户在编辑照片时，可在编辑界面中向用户提供编辑选项(如图23中的(a)所示)。当用户选择编辑选项时，可判断是否为文档照片，如果是文档照片，则执行文档边缘检测(如图23中的(b)所示)。当用户选择“点击来扫描”选项时，可裁剪出文档区域，生成文档图像(如图23中的(c)所示)。当用户在编辑界面中选择去阴影选项时，可向用户提供“文档化”模式选项和“去阴影”模式选项(如图23中的(d)所示)，并根据用户的选择显示相应的去阴影文档图像。

[0155] 图24是示出根据本公开的示例性实施例的图像处理装置的框图。

[0156] 参照图24，根据本公开的示例性实施例的图像处理装置2400可包括图像获取单元2401、信息获取单元2402、第一图像获得单元2403和第二图像获得单元2404。

[0157] 图像获取单元2401可获取具有阴影的文档图像原图。这里，具有阴影的文档图像原图可以是用户拍摄文档照片时获得的，或者也可以是用户编辑文档照片时获得的，或者可根据需要从本地存储器或本地数据库被获取，或者可通过输入装置或传输媒介而从外部数据源(例如，互联网、服务器、数据库等)被接收。例如，当用户拍照时或编辑照片时，可检测照片是否为文档照片，如果检测到是文档照片，则对文档照片执行文档边缘检测，裁剪出文档区域，作为文档图像原图。

[0158] 信息获取单元2402可从具有阴影的文档图像原图获取文字区域信息和阴影区域信息。

[0159] 根据本公开的示例性实施例，信息获取单元2402可基于具有阴影的文档图像原图，利用阴影检测模型，获得阴影区域掩膜图像，作为阴影区域信息。例如，阴影检测模型可以任何可用的AI模型，其输入可以为具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像，其输出可以为阴影区域掩膜(mask)图像，其中，阴影区域掩图像用于标记文档图像中哪些像素处于阴影区域。

[0160] 根据本公开的示例性实施例，阴影检测模型可以是如图4所示的带有循环注意力残差模块的双向特征金字塔网络(BDRAR)。当然，根据本公开的阴影检测模型可不限于上述结构，还可采用任何可能的AI模型来实现阴影检测模型，例如，GAN(Generative Adversarial Networks，对抗生成网络)模型。

[0161] 根据本公开的示例性实施例，可基于具有阴影的文档图像样本和相应的标注阴影区域掩膜图像来训练阴影检测模型。具体地说，可通过下述方式训练阴影检测模型：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本输入阴影检测模型，得到预测阴影区域掩膜图像；基于预测阴影区域掩膜图像和标注阴影区域掩膜图像，计算损失函数(例如，可采用二分类交叉熵(binary cross‑entropy loss)函数)；基于计算的损失函数对阴影检测模型的参数进行调整。此外，关于阴影检测模型的训练样本的制作已在上面进行了详细描述，在此不再赘述。

[0162] 根据本公开的示例性实施例，信息获取单元2402可基于具有阴影的文档图像原图，利用文字检测模型，获得文字区域掩膜图像，作为文字区域信息。根据本公开的示例性实施例，图像处理装置2400还可包括显示单元(未示出)、接收单元(未示出)和控制单元(未示出)。显示单元可显示用于选择第一模式或第二模式的模式选项；接收单元可接收选择模式选项的输入指令；控制单元可在接收到选择第一模式的输入指令的情况下，控制阴影去除单元2403执行“语义分析去阴影方法”，在接收到选择第二模式的输入指令的情况下，控制阴影去除单元2403执行“直接去阴影方法”。

[0163] 例如，文字检测模型可以任何可用的AI模型，其输入可以为具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像，其输出可以为文字区域掩膜(mask)图像，其中，文字区域掩膜图像用于标记文档图像中哪些像素是有效的信息像素，例如，文字、图标、表格框等。例如，文字检测模型可以是如图4所示的带有循环注意力残差模块的双向特征金字塔网络(BDRAR)。当然，根据本公开的文字检测模型可不限于上述结构，还可采用任何可能的AI模型来实现文字检测模型，例如，GAN模型。

[0164] 根据本公开的示例性实施例，可基于具有阴影的文档图像样本及相应的标注文字区域掩膜图像来训练文字检测模型。具体地说，可通过下述方式训练文字检测模型：获取训练样本，其中，所述训练样本包括具有阴影的文档图像样本及相应的标注文字区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像叠加阴影得到；将所述具有阴影的文档图像样本输入所述文字检测模型，得到预测文字区域掩膜图像；基于所述预测文字区域掩膜图像和所述标注文字区域掩膜图像，计算损失函数(例如，可采用二分类交叉熵(binary cross‑entropy loss)函数)；基于计算的损失函数对所述文字检测模型的参数进行调整。此外，关于文字检测模型的训练样本的制作已在上面进行了详细描述，在此不再赘述。

[0165] 第一图像获得单元2403可基于文字区域信息，从具有阴影的文档图像原图中保留原始文字区域以得到第一图像，其中，第一图像上的非文字区域不具有所述阴影。

[0166] 根据本公开的示例性实施例，可基于文字区域信息，从具有阴影的文档图像原图中确定并保留原始文字区域，并将具有阴影的文档图像原图中的非文字区域填充为预定颜色或图案，得到第一图像。例如，预定颜色或图案为预先指定的颜色或图案，或者根据所述原图的背景颜色或图案获得的相同或相似颜色或图案。

[0167] 根据本公开的另一示例性实施例，可基于具有阴影的文档图像原图和阴影区域信息，利用阴影消除模型从具有阴影的文档图像原图中消除阴影，获得阴影被消除的第三图像；基于文字区域信息，从具有阴影的文档图像原图中确定原始文字区域；将原始文字区域叠加到第三图像，获得第一图像。阴影消除模型为任意可用的AI模型，其输入可以为具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像以及阴影检测模型输出的阴影区域掩膜图像，其输出可以为消除阴影后的文档图像。根据本公开的示例性实施例，阴影消除模型可采用GAN模型。具体地说，GAN模型可包括生成器和判别器两部分。生成器的输入可以是具有阴影的文档图像或具有阴影的文档图像经预处理后的特征图像(可称为真实数据)以及阴影检测模型输出的阴影区域掩膜图像，输出可以是预测的消除阴影后的文档图像(可称为生成数据)。生成器的损失函数可为生成数据与1的交叉熵损失函数+生成数据和标签数据(干净文档图像样本)的绝对误差损失函数。判别器的输入可以是生成数据，输出可以是生成数据为真的概率。判别器的损失函数可为真实数据与1的交叉熵损失函数+生成数据与0的交叉熵损失函数。

[0168] 根据本公开的示例性实施例，可基于干净文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像来训练阴影消除模型。具体地说，获取训练样本，其中，所述训练样本包括目标文档图像样本、相应的具有阴影的文档图像样本及相应的标注阴影区域掩膜图像，其中，所述具有阴影的文档图像样本是通过将干净文档图像基于所述标注阴影区域掩膜图像而叠加阴影得到；将所述具有阴影的文档图像样本和所述标注阴影区域掩膜图像输入所述阴影消除模型，得到预测文档图像；基于所述目标文档图像样本和所述预测文档图像，计算损失函数；基于计算的损失函数对所述阴影消除模型的参数进行调整。这里，干净文档图像是指不具有阴影且具有背景色(此背景色是模拟用户拍照时的照片原始背景色)的文档图像。目标文档图像样本是指用于训练阴影消除模型的目标去阴影的文档图像。目标文档图像样本可以是干净文档图像，或者是不具有阴影且背景为预定颜色(例如，白色)的文档图像。此外，关于阴影消除模型的训练样本的制作已在上面进行了详细描述，在此不再赘述。

[0169] 第二图像获得单元2404可基于阴影区域信息，对第一图像中的文字进行调整以获得第二图像。由于初步的消除阴影后的文档图像(即，第一图像)中文字部分(有效像素)仍可能叠加阴影噪声，阴影区域文字像素颜色会比非阴影区域文字颜色加深，笔画也会轻微变宽。为了解决该问题，可利用阴影区域信息，对初步的消除阴影后的文档图像进行调整，从而获得第二图像。也就是说，该调整可减小处于阴影区域内的文字与处于非阴影区域内的文字之间的差异。

[0170] 根据本公开的示例性实施例，第二图像获得单元2404可基于阴影区域信息，确定具有阴影的文档图像原图中的处于阴影区域内的文字区域和处于非阴影区域内的文字区域；对处于阴影区域内的文字区域进行第一处理，和/或对处于非阴影区域内的文字区域进行第二处理；其中，第一处理和第二处理为相反操作。

[0171] 例如，第一处理可包括，但不限于：对处于阴影区域内的非文字区域向文字区域执行边缘扩张、对处于阴影区域内的文字区域的文字增加亮度、对处于阴影区域内的文字区域的文字降低对比度中的至少一项。第二处理可包括，但不限于：对处于非阴影区域内的非文字区域相对于文字区域执行边缘收缩、对处于非阴影区域内的文字区域的文字降低亮度、对处于非阴影区域内的文字区域的文字增加对比度中的至少一项。

[0172] 上述参照图2所描述的根据本公开的图像处理方法可以是根据本公开的第一模式。即，在第一模式下，可对具有阴影的文档图像进行语义分割，并基于语义分割结果和阴影区域掩膜图像，获得消除阴影后的文档图像，可称为“语义分析去阴影方法”，这里，语义分割可指将文字部分的有效像素与背景部分的像素分割。此外，根据本公开的第二模式，可获取具有阴影的文档图像原图，从具有阴影的文档图像原图获取阴影区域信息(例如，利用阴影检测模型)，并基于具有阴影的文档图像原图和阴影区域信息，利用阴影消除模型从具有阴影的文档图像原图中消除阴影，获得阴影被消除的第三图像。也就是说，根据本公开的第二模式，可利用人工智能模型和阴影区域掩膜图像对具有阴影的文档图像执行去阴影，获得消除阴影后的文档图像，可称为“直接去阴影方法”。

[0173] 因此，例如，可向用户提供上述两种模式的去阴影方法，即，第一模式(也可称为文档化模式)和第二模式(也可称为去阴影模式)。在第一模式下，可根据本公开的第一示例性实施例来执行去阴影操作。在第二模式下，可根据本公开的第二示例性实施例来执行去阴影操作。

[0174] 根据本公开的示例性实施例，图像处理装置2400还可包括显示单元(未示出)、接收单元(未示出)、控制单元(未示出)和第三图像获得单元(未示出)。显示单元可显示用于选择第一模式或第二模式的模式选项；接收单元可接收选择模式选项的输入指令；控制单元可在接收到选择第一模式的输入指令的情况下，控制图像获取单元2401、信息获取单元2402、第一图像获得单元2403和第二图像获得单元2404执行“语义分析去阴影方法”，在接收到选择第二模式的输入指令的情况下，控制图像获取单元2401、信息获取单元2402和第三图像获得单元(未示出)执行“直接去阴影方法”。

[0175] 此外，根据本公开的示例性实施例，还可对具有阴影的文档图像原图分别对文字区域和背景区域消除阴影，然后将消除阴影后的文字区域叠加到消除阴影的背景区域上，以得到阴影消除后的图像。例如，图像处理装置2400还可包括第四图像获得单元(未示出)。图像获取单元2401可获取具有阴影的文档图像原图；信息获取单元2402从具有阴影的文档图像原图获取文字区域信息和阴影区域信息；第一图像获得单元2403基于文字区域信息，从具有阴影的文档图像原图中保留原始文字区域以得到第一图像，其中，所述第一图像上的非文字区域不具有所述阴影；第二图像获得单元2404基于阴影区域信息，对第一图像中的文字进行调整以获得第二图像；第四图像获得单元(未示出)基于具有阴影的文档图像原图和所述阴影区域信息，利用阴影消除模型从具有阴影的文档图像原图中消除阴影，获得阴影被消除的第三图像，并将第二图像中的文字区域叠加到第三图像，得到第四图像。

[0176] 根据本公开的图像处理方法和图像处理装置所涉及的阴影检测模型、文字检测模型和阴影消除模型中的至少一个可以通过AI模型实现。与AI相关联的功能可以通过非易失性存储器、易失性存储器和处理器来执行。

[0177] 处理器可以包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器，例如中央处理器(CPU)、应用处理器(AP)等，仅用于图形的处理器(例如图形处理器(GPU)、视觉处理器(VPU)和/或AI专用处理器(例如神经处理单元(NPU))。

[0178] 一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(AI)模型来控制输入数据的处理。预定义的操作规则或人工智能模型可通过训练或学习提供。这里，通过学习提供意味着，通过将学习算法应用于多个学习数据，形成具有期望特性的预定义操作规则或AI模型。学习可以在根据实施例的执行AI的设备本身中执行，和/或可以通过单独的服务器/设备/系统来实现。

[0179] 作为示例，人工智能模型可以由多个神经网络层组成。每一层具有多个权重值，并且通过前一层的计算和多个权重值的操作来执行层操作。神经网络的例子包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向递归深度神经网络(BRDNN)、生成式对抗网络(GAN)和深度Q网络。

[0180] 学习算法是使用多个学习数据来训练预定目标设备(例如，机器人)以使得、允许或控制目标设备做出确定或预测的方法。学习算法的例子包括但不限于有监督学习、无监督学习、半监督学习或强化学习。

[0181] 根据本公开的图像处理方法和图像处理装置所涉及的AI模型(例如，阴影检测模型、文字检测模型和阴影消除模型中的至少一个)可被部署在云端或移动端。

[0182] 例如，在部署在云端的情况下，AI模型在服务器框架内运行，需要处理与客户端的交互流程(包括鉴权、图片上传下载等)，另外，还要考虑高并发的处理情况；AI模型大小没有太多限制，一般可为100～300MB左右，网络结构可以采用一些占空间大但精度高的模块，例如残差模块；服务器端的计算能力比较强，能够快速得出模型的输出结果。

[0183] 又例如，在部署在移动端的情况下，移动端部署AI模型时有较多限制，包括计算能力、存储资源、电池电量等方面。故移动端模型必须满足模型尺寸小、计算复杂度低、电池耗电量低、下发更新部署灵活等条件；对AI模型结构进行优化(裁剪)，例如，参考MobileNet、SqueezeNet等模型结构，使用深度可分离卷积/线性瓶颈/反转残差结构等优化技巧，把模型大小从100多MB减小到10MB以下；把AI模型转换为tflite文件(谷歌Tensorflow‑Lite框架)，或者dlc文件(高通SNPE框架)，然后部署到手机里；APP通过Tensorflow‑Lite/SNPE SDK调用tflite/dlc文件来进行模型推断；APP运行时检查手机是否支持GPU/NPU/DSP等芯片，如果支持的话，就优先使用这些芯片进行计算，从而提高AI模型的推断速度。

[0184] 图25是根据本公开的示例性实施例的电子设备2500的框图。

[0185] 参照图25，电子设备2500包括至少一个存储器2501和至少一个处理器2502，所述至少一个存储器2501中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器2502执行时，执行根据本公开的示例性实施例的图像处理方法。

[0186] 作为示例，电子设备2500可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备2500并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备2500还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

[0187] 在电子设备2500中，处理器2502可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

[0188] 处理器2502可运行存储在存储器2501中的指令或代码，其中，存储器2501还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

[0189] 存储器2501可与处理器2502集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器2501可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器2501和处理器502可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器2502能够读取存储在存储器中的文件。

[0190] 此外，电子设备2500还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备2500的所有组件可经由总线和/或网络而彼此连接。

[0191] 根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的图像处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD‑ROM、CD‑R、CD+R、CD‑RW、CD+RW、DVD‑ROM、DVD‑R、DVD+R、DVD‑RW、DVD+RW、DVD‑RAM、BD‑ROM、BD‑R、BD‑R LTH、BD‑RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

[0192] 根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的图像处理方法。

[0193] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

[0194] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。