处理表示图像的数据

摘要

方法包括接收数据，该数据表示在通过闪光灯的照明存在的情况下设置在表面上的对象的捕获的图像。技术包括处理数据以标识与对象相关联的对象类型，并且至少部分地基于所标识的对象类型来进一步处理数据。

权利要求

1.一种用于处理表示图像的数据的方法，包括：

接收数据，所述数据表示设置在表面上的对象的捕获的图像；在基于处理器的计算系统中处理数据以标识与对象相关联的对象类型并且至少部分地基于所标识的对象类型来进一步处理数据；

使用基于最小平方的拟合来确定表示通过闪光灯对表面的照明的多项式模型的系数；

以及处理数据以针对通过闪光灯对表面的非均匀照明来补偿图像，其中处理数据以补偿非均匀照明包括至少部分地基于表示通过闪光灯对表面的照明的所述多项式模型来补偿图像的强度值。

2.权利要求1所述的方法，其中接收包括从相机接收数据。

3.一种包括非暂时性计算机可读存储介质以存储指令的物品，所述指令在由计算机执行时使计算机：接收由计算机的相机提供的数据，其中数据表示设置在表面上的对象的图像；

处理数据以确定对象的高度，并且至少部分地基于高度，将对象分类为属于多个候选对象类型中的对象类型；以及至少部分地基于所标识的经分类的对象类型来进一步处理数据；

使用基于最小平方的拟合来确定表示通过闪光灯对表面的照明的多项式模型的系数；

以及处理数据以针对通过闪光灯对表面的非均匀照明来补偿图像，其中处理数据以补偿非均匀照明包括至少部分地基于表示通过闪光灯对表面的照明的所述多项式模型来补偿图像的强度值。

4.权利要求3所述的物品，其中多个对象类型包括照片、文档和三维对象类型。

5.权利要求3所述的物品，其中数据包括由相机的三维成像器采集并且表示三维图像的数据，存储介质存储指令，所述指令在由计算机执行时使计算机至少部分地基于三维图像是否指示对象基本上包含在平面中而将对象分类为属于三维对象类型。

6.权利要求3所述的物品，其中数据包括由相机的三维成像器采集并且表示三维图像的数据，存储介质存储指令，所述指令在由计算机执行时使计算机至少部分地基于从三维图像导出的对象的高度而将对象分类为属于三维对象类型。

7.权利要求3所述的物品，存储介质存储指令，所述指令在由计算机执行时使计算机至少部分地基于所检测到的对象的矩形边缘而将对象分类为属于文档对象类型和照片对象类型中的一个。

8.权利要求3所述的物品，存储介质存储指令，所述指令在由计算机执行时使计算机至少部分地基于以下中的一个或多个而将对象分类为属于照片对象类型：图像的强度分析，以及图像的颜色分析。

9.权利要求3所述的物品，存储介质存储指令，所述指令在由计算机执行时使计算机至少部分地基于所标识的对象类型而通过图形用户界面GUI推荐后处理操作。

10.权利要求3所述的物品，存储介质存储指令，所述指令在由计算机执行时使计算机在图像上执行自动白平衡以补偿环境光。

11.一种用于处理表示图像的数据的系统，包括：

相机，用于采集设置在表面上的对象的图像；

电子闪光单元，用于照明表面；以及

基于处理器的引擎，用于：

处理数据以标识与对象相关联的对象类型；以及

至少部分地基于所标识的对象类型来进一步处理数据；

使用基于最小平方的拟合来确定表示通过所述电子闪光单元对表面的照明的多项式模型的系数；以及处理数据以针对通过所述电子闪光单元对表面的非均匀照明来补偿图像，至少部分地基于表示通过所述电子闪光单元对表面的照明的所述多项式模型来补偿图像的强度值。

12.权利要求11所述的系统，其中引擎处理数据以补偿环境光。

说明书

处理表示图像的数据

技术领域

[0001] 本发明涉及用于处理表示图像的数据的系统和方法。

背景技术

[0002] 数字成像系统可以包括数字相机，该数字相机被构造为以电子方式捕获或者采集表示给定对象的像素图像的数据。相机可以包含图像信号处理器(ISP)，该图像信号处理器可以在所采集的图像数据上执行各种图像处理功能，诸如涉及自动白平衡、拜耳变换、噪声衰减、图像锐化等等的功能。

发明内容

[0003] 根据本发明的实施例，提供了一种用于处理表示图像的数据的方法，包括：接收数据，所述数据表示设置在表面上的对象的捕获的图像；在基于处理器的计算系统中处理数据以标识与对象相关联的对象类型并且至少部分地基于所标识的对象类型来进一步处理数据；使用基于最小平方的拟合来确定表示通过闪光灯对表面的照明的多项式模型的系数；以及处理数据以针对通过闪光灯对表面的非均匀照明来补偿图像，其中处理数据以补偿非均匀照明包括至少部分地基于表示通过闪光灯对表面的照明的所述多项式模型来补偿图像的强度值。

[0004] 根据本发明的实施例，提供了一种包括非暂时性计算机可读存储介质以存储指令的物品，所述指令在由计算机执行时使计算机：接收由计算机的相机提供的数据，其中数据表示设置在表面上的对象的图像；处理数据以确定对象的高度，并且至少部分地基于高度，将对象分类为属于多个候选对象类型中的对象类型；以及至少部分地基于所标识的经分类的对象类型来进一步处理数据；使用基于最小平方的拟合来确定表示通过闪光灯对表面的照明的多项式模型的系数；以及处理数据以针对通过闪光灯对表面的非均匀照明来补偿图像，其中处理数据以补偿非均匀照明包括至少部分地基于表示通过闪光灯对表面的照明的所述多项式模型来补偿图像的强度值。

[0005] 根据本发明的实施例，提供了一种用于处理表示图像的数据的系统，包括：相机，用于采集设置在表面上的对象的图像；电子闪光单元，用于照明表面；以及基于处理器的引擎，用于：处理数据以标识与对象相关联的对象类型；以及至少部分地基于所标识的对象类型来进一步处理数据；使用基于最小平方的拟合来确定表示通过所述电子闪光单元对表面的照明的多项式模型的系数；以及处理数据以针对通过所述电子闪光单元对表面的非均匀照明来补偿图像，至少部分地基于表示通过所述电子闪光单元对表面的照明的所述多项式模型来补偿图像的强度值。

附图说明

[0006] 图1A是根据示例实施方式的计算机系统的透视图。

[0007] 图1B是根据示例实施方式的图1A的计算机系统的示意图。

[0008] 图2A是描绘了根据示例实施方式的用以执行照明均匀性校正的技术的流程图。

[0009] 图2B是根据示例实施方式的通过闪光灯对表面的照明的图示。

[0010] 图2C是描绘了根据示例实施方式的用以至少部分地基于在图像中捕获的对象的类型来处理图像的技术的流程图。

[0011] 图3是描绘了根据示例实施方式的用以处理从相机接收的图像数据的技术的流程图。

[0012] 图4是描绘了根据示例实施方式的用以处理所采集的图像以补偿通过闪光灯对图像的非均匀照明的技术的流程图。

[0013] 图5是描绘了根据示例实施方式的用以对在图像中捕获的对象进行分类的技术的流程图。

[0014] 图6是描绘了根据示例实施方式的用以允许用户控制图像处理操作的技术的流程图。

具体实施方式

[0015] 参照图1A，依照示例实施方式，可以用于如数字图像采集和处理这样的目的的计算机系统100包括双显示单元：大体垂直设置的显示单元110和大体水平设置的显示单元150。以这种方式，垂直显示单元110包括用于显示图标、图形、图形用户界面(GUI)图像、多媒体内容、应用生成的图像等等的大体垂直取向的显示屏幕119。同样地，依照一些示例实施方式，水平显示单元150可以包含例如用于显示与垂直显示单元110所显示的内容类似的内容的大体水平取向的显示器或屏幕151。

[0016] 尽管以电子方式连接(经由有线连接121、无线连接、或者有线和无线连接的组合)，但是取决于特定实施方式，垂直显示单元110和水平显示单元150水平显示单元150可以是或者可以不是物理地连接在一起的(例如经由铰链连接)。依照一些实施方式，垂直显示单元110可以被支撑在搁置在桌子上的垂直延伸支架(未示出)上，该垂直延伸支架还支撑水平显示单元150。因而，预期到许多实施方式，该许多实施方式均在随附权利要求的范围内。

[0017] 依照示例实施方式，垂直显示单元110和/或水平显示单元150可以包括基于处理器的系统的组件，诸如设置在垂直显示单元110中的所图示的示例基于处理器的系统114。此外，基于处理器的系统110可以按照电子方式耦合到垂直显示单元110的内置相机112。相机112被定位成捕获或者采集放置在表面152上的对象的图像，表面152对于该示例而言被形成在水平显示单元150的显示屏幕151上的区上。应注意，表面152一般是指具有限定边界使得要被成像的对象放置在边界内的表面。依照另外的示例实施方式，表面152可以是或者可以不是水平显示单元上的表面或者甚至电子设备的表面。例如，依照另外的示例实施方式，表面152可以是桌面的某一预限定矩形或正方形区内的桌面表面或者面层的表面。

[0018] 作为示例，出于成像目的，用户可以在表面152上放置相对平坦或平面的对象154(如在图1A中的示例中所描绘的)，诸如照片或文档；或者用户可以在表面152上放置三维(3-D)对象。对象154的成像可以用于许多不同目的，诸如采集3-D对象的数字图像；存储和/或操控照片的数字图像；执行文本文档的光学字符识别(OCR)或者将文档转换成特定格式(例如，便携式文档格式(pdf))；等等。

[0019] 出于捕获对象154的图像的目的，用户可以将对象154定位在表面152上并且经由GUI(例如)与系统114的机器可执行指令或“软件”交互以设立相机112并且发起通过相机112采集表示对象154的一个或多个像素图像的图像数据的动作。相机112一般地在图像捕获期间通过触发基于处理器的系统114的电子闪光单元111以生成对应闪光灯来照明表面
152(和对象154)。作为示例，依照示例实施方式，闪光单元111可以是系统114的投影仪(未示出)的部分；并且相机112可以通过向投影仪传送通用输入/输出(GPIO)信号来触发闪光灯。取决于特定实施方式，闪光单元111可以是除投影仪之外的另一个组件的部分；或者可以是独立单元；可以使用其它信号触发；等等。

[0020] 以这种方式，当由闪光灯照明对象154的时候，相机112激活它的电子快门以便在它的(一个或多个)成像器中采集像素图像数据。相机112包含图像信号处理器(ISP)以在数据上执行图像信号处理；并且随后，相机112可以向基于处理器的系统114传送经处理的图像数据，其中可以对数据进行处理以便进一步操控(一个或多个)所捕获的图像。

[0021] 出于处理图像数据(例如，经由通过基于处理器的系统114的后ISP处理)以针对闪光灯的非均匀照明而补偿图像数据的目的以及出于通过应用基于经分类的对象154的类型的处理操作(例如，基于是否将对象154分类为3-D对象、照片或文档来选择和执行处理操作)来增强图像数据的目的，本文公开了技术和系统。

[0022] 更具体地，依照示例实施方式，系统114的基于处理器的成像引擎115接收由相机112提供的像素图像数据并且执行如以下各项的这样的功能：校正通过闪光灯对表面152的非均匀照明；标识或者分类对象154的类型；以及基于经分类的对象类型而选择性地执行图像处理操作。

[0023] 作为更具体的示例，图1B描绘了依照示例实施方式的计算机系统100的电子示意图。对于这些实施方式，相机112可以包括一个或多个成像器188。例如，依照一些实施方式，相机112包括红绿蓝(RGB)成像器188-1(以捕获表示RGB图像的数据)；3-D成像器188-2(以捕获表示3-D图像的数据)；以及红外(IR)成像器188-3(以捕获表示IR图像的数据)。如本文中进一步所述，成像引擎115(图1A)可以出于标识用于对象154的特定分类的目的而使用一个或多个图像。

[0024] 除成像器188之外，相机112可以包括一个或多个处理核184、闪光灯单元111和存储器182。存储器182可以表示相机112的总体系统存储器，并且例如可以存储指示(一个或多个)所捕获的图像的数据以及由相机112的图像信号处理器(ISP)190执行的指令。一般地，ISP 190可以执行各种功能以增强所捕获的图像，诸如例如自动白平衡、拜耳信号处理、伽马校正、透镜失真补偿、对比度或图像锐化、颜色矩阵处理、透镜描影、伽马校正等等。相机112可以进一步作为示例包括输入/输出(I/O)接口180(例如，通用串行总线(USB)接口)160，所述输入/输出(I/O)接口在基于处理器的系统114的对应I/O接口162和相机112之间传送数据(例如通过USB总线)。此外，相机112的I/O接口180可以与如上文所述的闪光单元
111通信。

[0025] 除接口162之外，基于处理器的系统114包括其它硬件，诸如一个或多个中央处理单元(CPU)164和存储器166。如在图1B中所图示的，存储器166可以包含用于由(一个或多个)CPU 164执行的程序指令168以及数据170(共享图像数据、中间处理阶段中的图像数据、最终图像数据等等)。此外，基于处理器的系统114可以包括各种机器可执行指令或“软件”，诸如成像引擎115、设备驱动程序、操作系统173和各种应用172(例如，用以控制通过相机112的设立、图像捕获、图像处理参数以及数据传输的应用)。

[0026] 与图1B结合地参照图1A，相机112的ISP 190假设所捕获的图像关于相机的光轴对称。然而，对于计算机系统100，可以关于相机的光轴以非正交角度设置表面152。因此，表面152可以不展现出关于相机的光轴的对称性，这可能导致通过ISP 190的不完美的照明均匀性校正。然而，依照示例实施方式，基于处理器的系统114的成像引擎115提供计及这种非对称性的后成像操作，以及提供其它增强，诸如对捕获对象分类以及选择用于所捕获的图像的特定对象类型的图像处理操作。

[0027] 更具体地，依照示例实施方式，图像引擎115执行在图2A中描绘的技术200。参照图2A，技术200包括接收(框204)数据，该数据表示放置在表面上的对象的图像并且在由相机的闪光灯提供的照明存在的情况下由相机采集。技术200包括在数据上执行(框208)均匀性校正以针对通过闪光灯对表面的非均匀照明来补偿图像。

[0028] 一般地，可归因于给定光源的光强度与距光源的距离的平方的倒数成比例。参照图2B，由于上述表面152关于相机的光轴的对称性不足，所以相机112可以在没有对象存在时捕获表面152的图像220。如在图2B中所图示的，尽管理想地这样的图像应当在表面152之上被均匀地照明，但是图像220包含其中一般较多地照明表面152的区222以及其中较少地照明表面的区，诸如区226。

[0029] 出于补偿这种非均匀照明的目的，成像引擎115应用所捕获的图像的像素强度；并且出于该目的，引擎115可以使用描述闪光灯如何照明表面152的模型。

[0030] 更具体地，参照图4，依照示例实施方式，技术400包括首先捕获表面152的图像，而没有对象存在于表面152上。在这方面，方法400包括接收(框404)数据，该数据表示在没有对象存在时在由相机的闪光灯提供的照明存在的情况下捕获的图像(“基础图像”)。这种所捕获的图像继而允许测量和表征非均匀照明使得可以向包含所捕获的对象的另外图像应用补偿。

[0031] 以这种方式，按照技术400，确定(框408)用于描述所捕获的基础图像的照明均匀性的多项式模型的系数。例如，依照一些实施方式，可以使用基于最小平方的拟合来确定描述照明的多项式函数的系数。利用该模型，然后可以出于引导非均匀照明补偿的目的来确定模型的倒数。在这方面，技术400包括确定(框412)要向未来图像数据应用以校正非均匀照明的用于补偿的模型(例如，所确定的多项式模型的倒数)。

[0032] 依照示例实施方式，成像引擎115基于所标识的或者经分类的对象类型来向所捕获的图像数据应用后处理应用。依照示例实施方式，对象标识和所应用的运算符发生在照明均匀性补偿之后。在这方面，某些图像处理操作取决于所捕获的对象的类型。例如，对于文档而言，可以应用操作以锐化或者增加图像的对比度使得图像的黑色文本变暗并且图像的较亮部分转换成“页面白”颜色。此外，文档处理可以牵涉到对文档的角落拍快照以拟合矩形页面轮廓。对于3-D对象的图像，可以应用阴影补偿以使图像的暗区变亮。此外，对于3-D对象，可以应用镜面补偿以柔化图像的“亮斑”，诸如例如以红色饱和的图像区。对于照片，可以确定白色增强程度，以及要添加的饱和度提升的量。

[0033] 因而，参照图2C，依照示例实施方式，技术250包括标识(框254)与包含在图像中的对象相关联的对象类型以及至少部分地基于所标识的对象类型来处理(框258)图像。依照示例实施方式，对图像进行处理以将对象分类为属于多个候选对象类型中的给定对象类型，诸如与照片、文档、3-D对象等等相关联的对象类型。

[0034] 作为更具体的示例，依照示例实施方式，成像引擎115可以执行在图3中描绘的技术300。参照图3，技术300包括从图像信号处理器(ISP)接收图像数据，其中所接收的图像数据通过捕获放置在表面上的对象的至少一个图像来导出。按照技术300，按照框306，成像引擎115可以处理图像数据以执行自动白平衡。此外，成像引擎115可以在所接收的图像上执行(框308)照明均匀性校正。接下来，按照框312，成像引擎标识对象类型。以这种方式，对于3-D对象，引擎115处理图像数据(框316)以执行3-D对象增强。对于照片，成像引擎115处理(框320)图像数据以执行用于图像的照片增强。最后，对于文档类型，成像引擎115处理(框
324)图像数据以执行用于图像的文档增强。最终，成像引擎115保存(框328)作为结果的最后图像数据。

[0035] 参照图5，依照示例实施方式，成像引擎115出于标识对象类型的目的而执行技术500。按照技术500，成像引擎115基于3-D图像确定(决策框504)对象是否位于平面中。如果是，则对象是文档或照片。否则，引擎115确定(决策框508)对象是否足够高。

[0036] 在这方面，依照示例实施方式，所捕获的图像可能与某一噪声水平相关联，使得整个平面对象的图像可能看起来具有一些高度变化，并且因此，可能被不正确地感知为非平面的。成像引擎115补偿噪声，因为引擎115比较所测量的对象高度与计及噪声存在的阈值；并且基于该比较，成像引擎115确定是将对象分类为平面的(例如，所测量的高度在阈值以下)还是将对象分类(框512)为3-D对象(例如，所测量的高度在阈值处或阈值以上)。

[0037] 如果成像引擎115确定对象为平面的，则依照示例实施方式，成像引擎115应用另外的处理操作，以用于确定对象是照片、文档还是另一种对象类型的目的。更具体地，按照技术500，成像引擎115确定(框516)是否在由相机112采集的红外(IR)和红绿蓝(RGB)图像中标识边缘。

[0038] 成像引擎115然后组合(框520)IR和RGB图像中的所标识的边缘(诸如通过联合操作)以导出展现所有所标识的边缘的复合图像。如果成像引擎115确定(决策框524)矩形周界存在于该复合图像中，则成像引擎115应用另外的测试以区分照片和文档。否则，成像引擎115将对象分类(框544)为属于与平面对象相关联的分类，该平面对象既不是照片也不是文档。

[0039] 出于分辨文档和照片的目的，依照示例实施方式，成像引擎115分析(框528)如图像的像素强度、强度梯度和颜色这样的因素；并且基于该分析，成像引擎115确定(决策框532)是否已经标识照片。如果是，则按照框536，成像引擎115将对象分类为属于照片分类。
否则，成像引擎115将对象分类(框540)为属于文档分类。

[0040] 依照示例实施方式，用户可以引导由成像引擎115应用的特定后处理操作。在这方面，按照在图6中描绘的技术600，成像引擎115使用(框604)图形用户界面(GUI)117(参照图1A)来基于所标识的对象类型推荐图像处理操作。例如，基于所标识的对象类型，成像引擎
115可以推荐要向图像应用的滤波器的某一集合，使得用户然后可以选择是接受所推荐的滤波器的应用，拒绝所推荐的滤波器的应用，还是修改滤波(选择用于给定所推荐的滤波器的不同参数，添加要应用的另一个滤波器，拒绝所推荐的滤波器等等)。

[0041] 使用GUI 117，成像引擎115接收(框608)用户输入；并且该输入可以用于允许要应用的所有所推荐的后处理操作；用于约束要应用的所推荐的后处理操作的集合；用于取消一个或多个后处理操作；用于选择没有被推荐的附加后处理操作；用于修改所选择的后处理操作的参数；等等。基于该输入，按照框612，技术600包括基于用户输入和所标识的对象类型来处理图像。

[0042] 尽管已经关于有限数目的实施例描述了本发明，但是获益于本公开的本领域技术人员将从中领会到众多修改和变化。随附权利要求旨在覆盖落入本发明的真实精神和范围内的所有这样的修改和变化。