图像处理设备和图像处理系统

摘要

提供一种图像处理设备(200)，包括：通信单元(202)，用于使区域图像数据和附加数据以不同的分组发送，该区域图像数据指示与区域相对应的每行的图像，该附加数据针对每个区域包括与相对于捕获图像设置的区域相对应的区域信息，该通信单元(202)能够与多个图像传感器中的每个图像传感器通信；以及处理单元(204)，用于基于包括在从多个图像传感器中的每个图像传感器获取的附加数据中的区域信息，与每个区域相关联地处理从多个图像传感器中的每个图像传感器获取的区域图像数据，该区域信息包括用于识别区域的信息、指示区域的位置的信息以及指示区域的大小的信息中的一部分或全部。

权利要求

1.一种图像处理设备，包括：

通信单元，能够与多个图像传感器中的每个图像传感器通信，所述多个图像传感器被配置为分别发送存储在不同的分组中的附加数据和区域图像数据，所述附加数据针对每个相对于捕获图像设置的区域包括与所述区域相对应的区域信息，所述区域图像数据指示与所述区域相对应的每行的图像，其中，所述分组是移动工业处理器接口联盟的长分组；以及处理单元，被配置为基于包括在从所述多个图像传感器中的每个图像传感器获取的所述附加数据中的所述区域信息，与每个区域相关联地处理从所述多个图像传感器中的每个图像传感器获取的所述区域图像数据，其中，所述区域信息包括所述区域的识别信息、指示所述区域的位置的信息以及指示所述区域的大小的信息中的一部分或全部，并且其中，所述处理单元被配置为针对每个区域组合由从所述多个图像传感器中的每个图像传感器获取的所述区域图像数据指示的图像。

2.根据权利要求1所述的图像处理设备，其中，所述处理单元被配置为通过对准所述图像的相对位置来组合由要组合的对象的所述区域图像数据指示的图像。

3.根据权利要求1所述的图像处理设备，其中，

所述附加数据包括关于所述图像传感器中的成像的信息，以及

所述处理单元被配置为基于已经从所述多个图像传感器中的每个图像传感获取的关于所述成像的信息，通过匹配所述图像的信号电平来组合由要组合的对象的所述区域图像数据指示的图像。

4.根据权利要求1所述的图像处理设备，其中，所述通信单元被配置为能够在作为通信对象的图像传感器之间切换。

5.一种图像处理系统，包括：

多个图像传感器，被配置为分别发送存储在不同的分组中的附加数据和区域图像数据，所述附加数据针对每个相对于捕获图像设置的区域包括与所述区域相对应的区域信息，所述区域图像数据指示与所述区域相对应的每行的图像，其中，所述分组是移动工业处理器接口联盟的长分组；以及图像处理设备，其中，

所述图像处理设备包括：

通信单元，能够与所述多个图像传感器中的每个图像传感器通信；以及处理单元，被配置为基于包括在从所述多个图像传感器中的每个图像传感器获取的所述附加数据中的所述区域信息，与每个区域相关联地处理从所述多个图像传感器中的每个图像传感器获取的所述区域图像数据，并且所述区域信息包括所述区域的识别信息、指示所述区域的位置的信息以及指示所述区域的大小的信息中的一部分或全部，并且其中，所述处理单元被配置为针对每个区域组合由从所述多个图像传感器中的每个图像传感器获取的所述区域图像数据指示的图像。

说明书

图像处理设备和图像处理系统

技术领域

[0001] 本公开涉及图像处理设备和图像处理系统。

背景技术

[0002] 正在开发与包括多个成像单元的复眼成像设备相关的技术。这样的技术的示例是以下专利文献1中描述的技术。

[0003] 引用列表

[0004] 专利文献

[0005] 专利文献1：JP 2007‑110499 A。

发明内容

[0006] 技术问题

[0007] 例如，在使用专利文献1中描述的技术的情况下，当从通过构成成像设备的成像单元中的一个成像单元成像获得的图像检测到具体对象时，执行通过构成成像设备的其他成像单元的成像。然而，使用专利文献1中描述的技术使得能够通过成像获得多个图像，并且没有特别考虑相关联地处理通过成像获得的多个图像。

[0008] 本公开提出一种新颖且改进的图像处理设备和图像处理系统，其能够相关联地处理分别从多个图像传感器获得的图像。

[0009] 问题的解决方案

[0010] 本公开提供一种图像处理设备，包括：通信单元，能够与多个图像传感器中的每个图像传感器通信，该多个图像传感器被配置为分别以不同的分组发送附加数据和区域图像数据，该附加数据针对每个区域包括与相对于捕获图像设置的区域相对应的区域信息，该区域图像数据指示与该区域相对应的每行的图像；以及处理单元，被配置为基于包括在从多个图像传感器中的每个图像传感器获取的附加数据中的区域信息，与每个区域相关联地处理从多个图像传感器中的每个图像传感器获取的区域图像数据，其中，区域信息包括区域的识别信息、指示区域的位置的信息以及指示区域的大小的信息中的一部分或全部。

[0011] 另外，本公开提供一种图像处理系统，包括：多个图像传感器，被配置为分别以不同的分组发送附加数据和区域图像数据，该附加数据针对每个区域包括与相对于捕获图像设置的区域相对应的区域信息，该区域图像数据指示与该区域相对应的每行的图像；以及图像处理设备，其中，该图像处理设备包括：通信单元，能够与多个图像传感器中的每个图像传感器通信；以及处理单元，被配置为基于包括在从多个图像传感器中的每个图像传感器获取的附加数据中的区域信息，与每个区域相关联地处理从多个图像传感器中的每个图像传感器获取的区域图像数据，并且区域信息包括区域的识别信息、指示区域的位置的信息以及指示区域的大小的信息中的一部分或全部。

[0012] 发明的有益效果

[0013] 根据本公开，可以相关联地处理分别从多个图像传感器获得的图像。

[0014] 应当注意，上述有益效果不必是限制性的，并且除了上述有益效果之外或者代替上述有益效果，可以产生本说明书中描述的任何有益效果或者可以从本说明书中理解的其他有益效果。

附图说明

[0015] [图1]是示出根据本实施例的信息处理系统的配置的示例的说明图。

[0016] [图2]是示出在MIPI CSI‑2标准中定义的分组的格式的说明图。

[0017] [图3]是示出在MIPI CSI‑2标准中定义的分组的格式的说明图。

[0018] [图4]是示出与MIPI CSI‑2标准中的分组的发送相关的信号波形的示例的说明图。

[0019] [图5]是示出要相对于图像设置的区域的示例的说明图。

[0020] [图6]是示出要由与根据本实施例的发送方法相关的第一发送系统发送的数据的示例的说明图。

[0021] [图7]是用于说明要由根据本实施例的第一发送系统发送的嵌入式数据的示例的说明图。

[0022] [图8]是用于说明包括在图7所示的嵌入式数据中的区域信息的示例的说明图。

[0023] [图9]是示出要相对于图像设置的区域的另一示例的说明图。

[0024] [图10]是示出要由与根据本实施例的发送方法相关的第二发送系统发送的数据的示例的说明图。

[0025] [图11]是示出根据本实施例的图像传感器的配置的示例的框图。

[0026] [图12]是示出根据本实施例的图像处理设备的配置的示例的框图。

[0027] [图13]是示出包括在根据本实施例的图像处理设备中的通信电路的功能配置的示例的框图。

[0028] [图14]是示出包括在根据本实施例的图像处理设备中的图像处理电路的功能配置的示例的框图。

[0029] [图15]是用于说明根据本实施例的信息处理系统中的处理的示例的说明图。

[0030] [图16]是用于说明根据本实施例的信息处理系统中的处理的示例的说明图。

[0031] [图17]是用于说明根据本实施例的信息处理系统中的处理的示例的说明图。

具体实施方式

[0032] 在下文中，将参考附图详细描述本公开的优选实施例。在本说明书和附图中，具有基本上相同功能配置的组件将由相同的参考标记表示，并且将省略其重叠描述。

[0033] 另外，在下文中，将按以下描述的顺序给出描述。

[0034] 1.根据本实施例的发送方法、根据本实施例的图像处理方法以及根据本实施例的图像处理系统

[0035] [1]可以应用根据本实施例的发送方法的图像处理系统的配置

[0036] [2]根据本实施例的图像处理系统的应用示例

[0037] [3]根据本实施例的发送方法

[0038] [4]构成根据本实施例的图像处理系统的图像传感器和图像处理设备的配置示例[0039] [5]根据本实施例的图像处理系统中的处理的示例

[0040] [6]通过使用根据本实施例的图像处理系统产生的有益效果的示例

[0041] 2.根据本实施例的程序

[0042] 1.根据本实施例的发送方法、根据本实施例的图像处理方法以及根据本实施例的图像处理系统

[0043] [1]可以应用根据本实施例的发送方法的图像处理系统的配置

[0044] 首先，将描述可以应用根据本实施例的发送方法的图像处理系统的配置的示例。

[0045] 在下文中，将作为示例描述构成根据本实施例的图像处理系统的设备之间的通信系统是符合MIPI(移动工业处理器接口)CSI‑2(相机串行接口2)标准的通信系统的情况。然而，构成根据本实施例的图像处理系统的设备之间的通信系统不限于符合MIPI CSI‑2标准的通信系统。例如，构成根据本实施例的图像处理系统的设备之间的通信可以满足由MIPI联盟开发的另一标准，诸如符合MIPI CSI‑3标准的通信系统或者符合MIPI DSI(数字串行接口)标准的通信系统。另外，不用说，可以应用根据本实施例的发送方法的通信系统不限于与由MIPI联盟开发的标准相关的通信系统。

[0046] 图1是示出根据本实施例的图像处理系统1000的配置的示例的说明图。图像处理系统1000的示例包括诸如智能电话的通信设备和诸如无人机(可以通过远程控制来操作的装置或能够自主操作的装置)或汽车的移动体。图像处理系统1000的应用示例不限于上述示例。稍后将描述图像处理系统1000的其他应用示例。

[0047] 例如，图像处理系统1000具有图像传感器100A和100B、图像处理设备200、存储器300以及显示装置400。在下文中，术语“图像传感器100”将在统称图像传感器100A和100B时以及当指代图像传感器100A和100B中的一个图像传感器时使用。

[0048] 图像传感器100具有成像功能和发送功能，并且发送指示通过成像生成的图像的数据。图像处理设备200接收从图像传感器100发送的数据，并处理所接收的数据。换句话说，在图像处理系统1000中，图像传感器100执行发送设备的作用，并且图像处理设备200执行接收设备的作用。

[0049] 尽管图1示出了具有两个图像传感器100的图像处理系统1000，但是包括在根据本实施例的图像处理系统中的图像传感器100的数量不限于图1所示的示例。例如，根据本实施例的图像处理系统可以具有三个或更多个图像传感器100。

[0050] 另外，在根据本实施例的图像处理系统中，可以使多个图像传感器100模块化。例如，通过使多个图像传感器100模块化而获得的图像传感器模块设置有多个图像传感器100、用于图像传感器模块的处理器(未示出)以及可由处理器读取的记录介质。例如，构成图像传感器模块的记录介质记录与构成图像传感器模块的图像传感器100的视角相关的信息(例如，指示视角的数据等)。另外，构成图像传感器模块的处理器经由任意发送路径将与视角相关的信息发送到图像处理设备200。

[0051] 此外，尽管图1示出了具有一个图像处理设备200的图像处理系统1000，但是包括在根据本实施例的图像处理系统中的图像处理设备200的数量不限于图1所示的示例。例如，根据本实施例的图像处理系统可以具有两个或更多个图像处理设备200。在具有多个图像处理设备200的图像处理系统中，多个图像传感器100与每个图像处理设备200相对应。即使在具有多个图像传感器100和多个图像处理设备200的图像处理系统中，也以与图1所示的图像处理系统1000类似的方式在每个图像传感器100与图像处理设备200之间执行通信。

[0052] 图像传感器100和图像处理设备200通过数据总线B1电连接。数据总线B1是将图像传感器100和图像处理设备200彼此连接的信号的传输路径。例如，指示从图像传感器100发送的图像的数据(在下文中，有时描述为“图像数据”)经由数据总线B1从图像传感器100发送至图像处理设备200。

[0053] 根据符合诸如MIPI CSI‑2标准的规定标准的通信系统来发送由图像处理系统1000中的数据总线B1发送的信号。

[0054] 图2和图3是示出在MIPI CSI‑2标准中定义的分组的格式的说明图。图2示出了在MIPI CSI‑2标准中定义的短分组的格式，而图3示出了在MIPI CSI‑2标准中定义的长分组的格式。

[0055] 长分组是指由分组报头(图3所示的“PH”)、有效载荷(图3所示的“有效载荷数据(Payload Data)”)以及分组页脚(图3所示的“PF”)构成的数据。短分组是指具有与图2所示的分组报头(图3所示的“PH”)类似的结构的数据。

[0056] 在短分组和长分组两者中，VC(虚拟信道)号(图2和图3所示的“VC”：VC值)被记录在报头部分中，并且可以为每个分组分配任意的VC号。被分配了相同VC号的分组作为属于同一图像数据的分组来处理。

[0057] 另外，在短分组和长分组两者中，DT(数据类型)值(图2和图3所示的“数据类型”)被记录在报头部分。因此，以与VC号类似的方式，被分配了相同DT值的分组也可以作为属于同一图像数据的分组来处理。

[0058] 分组的末端被记录为长分组的报头部分中的字计数中的字数。纠错码被记录在短分组和长分组的报头部分的ECC中。

[0059] 在MIPI CSI‑2标准中，在发送数据信号的时间段期间使用高速差分信号，而在数据信号的消隐时间段期间使用低功率信号。另外，使用高速差分信号的时间段被称为HPS(高功率状态)的时间段，而使用低功率信号的时间段被称为LPS(低功率状态)的时间段。

[0060] 图4是示出与MIPI CSI‑2标准中的分组的发送相关的信号波形的示例的说明图。图4中的A示出了分组的发送的示例，而图4中的B示出了分组的发送的另一示例。图4所示的“ST”、“ET”、“PH”、“PF”、“SP”以及“PS”分别是以下内容的缩写。

[0061] ·ST：发送开始

[0062] ·ET：发送结束

[0063] ·PH：分组报头

[0064] ·PF：分组页脚

[0065] ·SP：短分组

[0066] ·PS：分组间隔

[0067] 如图4所示，揭示了在LPS的时间段中的差分信号(图4所示的“LPS”)与HPS的时间段中的差分信号(除图4所示的“LPS”之外)之间，差分信号的幅度彼此不同。因此，从提高发送效率的角度来看，尽可能少地包括LPS的时间段。

[0068] 例如，图像传感器100和图像处理设备200通过不同于数据总线B1的控制总线B2彼此电连接。控制总线B2是将图像传感器100和图像处理设备200彼此连接的其他信号的传输路径。例如，从图像处理设备200输出的控制信息经由控制总线B2从图像处理设备200发送至图像传感器100。

[0069] 例如，控制信息包括用于控制的信息和处理命令。用于控制的信息的示例包括用于控制图像传感器100中的功能的数据，诸如指示图像大小的数据、指示帧速率的数据以及指示从接收图像的输出命令至输出图像的输出延迟量的数据中的一个或两个或更多个数据。另外，控制信息可以包括指示图像传感器100的识别信息。识别信息的示例包括能够识别图像传感器100的任意数据，诸如给图像传感器100设置的ID。

[0070] 经由控制总线B2从图像处理设备200发送至图像传感器100的信息不限于上述示例。例如，图像处理设备200可以经由控制总线B2发送指定图像中的区域的区域指定信息。区域指定信息的示例包括能够识别区域的任意格式的数据，诸如指示包括在该区域中的像素的位置的数据(例如，其中包括在该区域中的像素的位置由坐标表示的坐标数据)。

[0071] 尽管图1示出了图像传感器100和图像处理设备200通过控制总线B2彼此电连接的示例，但是图像传感器100和图像处理设备200可以不通过控制总线B2连接。例如，图像传感器100和图像处理设备200可以通过基于任意通信系统的无线通信来发送和接收控制信息等。

[0072] 另外，尽管在图1中图像传感器100A和图像传感器100B没有彼此电连接，但是可选地，图像传感器100A和图像传感器100B可以通过能够通过任意通信系统执行通信的传输路径彼此电连接。当图像传感器100A和图像传感器100B彼此电连接时，图像传感器100A和图像传感器100B可以彼此直接通信。作为示例，图像传感器100A和图像传感器100B可以通过处理器间通信彼此通信，该处理器间通信包括经由分别包括在图像传感器100A和100B中的处理器之间的传输路径进行通信。如图1所示，即使当图像传感器100A和图像传感器100B没有彼此电连接时，图像传感器100A和图像传感器100B也可以经由图像处理设备200彼此通信。

[0073] 在下文中，将描述构成图1所示的图像处理系统1000的每个设备。

[0074] [1‑1]存储器300

[0075] 存储器300是包括在图像处理系统1000中的记录介质。存储器300的示例包括诸如RAM(随机存取存储器)的易失性存储器和诸如闪存的非易失性存储器。存储器300使用从构成图像处理系统1000的内部电源(未示出)提供的电力(诸如电池)或从图像处理系统1000的外部电源提供的电力来操作。

[0076] 例如，存储器300存储从图像传感器100输出的图像。将图像记录到存储器300例如由图像处理设备200控制。

[0077] [1‑2]显示装置400

[0078] 显示装置400是包括在图像处理系统1000中的显示装置。显示装置400的示例包括液晶显示器和有机EL显示器(有机电致发光显示器)。显示装置400使用从构成图像处理系统1000的内部电源(未示出)提供的电力(诸如电池)或从图像处理系统1000的外部电源提供的电力来操作。

[0079] 例如，在显示装置400的显示屏上显示各种图像和画面，诸如从图像传感器100输出的图像、与在图像处理设备200中执行的应用相关的画面以及与UI(用户界面)相关的画面。显示装置400的显示屏上的图像等的显示例如由图像处理设备200控制。

[0080] [1‑3]图像传感器100

[0081] 图像传感器100具有成像功能和发送功能，并且发送指示通过成像生成的图像的数据。如先前所描述的，图像传感器100在图像处理系统1000中执行发送设备的作用。

[0082] 图像传感器100的示例包括诸如数字静态相机、数字视频相机或立体相机的成像装置以及诸如红外传感器或距离图像传感器的能够生成图像的任意系统的图像传感器装置，并且图像传感器100具有发送所生成的图像的功能。图像传感器100中生成的图像与指示图像传感器100中的感测结果的数据相对应。稍后将描述图像传感器100的配置的示例。

[0083] 图像传感器100通过稍后将描述的根据本实施例的发送方法来发送与相对于图像设置的区域相对应的图像数据(在下文中，称为“区域图像数据”)。与区域图像数据的发送相关的控制例如通过用作图像传感器100中的图像处理单元的组件(稍后将描述)来执行。相对于图像设置的区域可以被称为ROI(受关注区域)。在下文中，相对于图像设置的区域可以被称为“ROI”。

[0084] 与相对于图像设置区域相关的处理的示例包括能够识别图像中的部分区域的任意处理(或者能够剪切图像中的部分区域的任意处理)，诸如“用于从图像中检测对象并设置包括所检测到的对象的区域的处理”或者“用于设置由相对于任意操作装置执行的操作指定的区域的处理”。

[0085] 与相对于图像设置区域相关的处理可以由图像传感器100来执行，或者由诸如图像处理设备200的外部设备来执行。当图像传感器100执行与相对于图像设置区域相关的处理时，图像传感器100根据与相对于图像设置区域相关的处理的结果来识别区域。另外，例如，当外部设备执行与相对于图像设置区域相关的处理时，图像传感器100基于从外部设备获取的区域指定信息来识别区域。

[0086] 通过使图像传感器100发送区域图像数据，或者换句话说，发送图像的一部分的数据，与发送整个图像相比，减少了与发送相关的数据量。因此，通过使图像传感器100发送区域图像数据，例如，通过减少数据量(诸如减少发送时间和减少图像处理系统1000中与发送相关的载荷)产生各种有益效果。

[0087] 可选地，图像传感器100也可以发送指示整个图像的数据。

[0088] 当图像传感器100具有发送区域图像数据的功能和发送指示整个图像的数据的功能时，图像传感器100可以在发送区域图像数据与发送指示整个图像的数据之间选择性地切换。

[0089] 例如，图像传感器100根据设置的操作模式来发送区域图像数据或发送指示整个图像的数据。操作模式的设置例如通过相对于任意操作装置的操作来执行。

[0090] 另外，图像传感器100可以基于从外部设备获取的区域指定信息，在发送区域图像数据与发送指示整个图像的数据之间选择性地切换。例如，当从外部设备获取区域指定信息时，图像传感器100发送与区域指定信息相对应的区域的区域图像数据，并且当不从外部设备获取区域指定信息时，图像传感器100发送指示整个图像的数据。

[0091] [1‑4]图像处理设备200

[0092] 图像处理设备200接收从图像传感器100发送的数据，并且例如通过执行与根据本实施例的图像处理方法相关的处理来处理所接收的数据。如先前所描述的，图像传感器200具有图像处理系统1000中的接收设备的作用。稍后将描述与从图像传感器100发送的数据的处理相关的配置(用于实现作为接收设备的作用的配置)的示例。

[0093] 例如，图像处理设备200通过由诸如MPU(微处理单元)的算数电路构成的一个或两个或更多个处理器、各种处理电路等构成。图像处理设备200使用从构成图像处理系统1000的内部电源(未示出)提供的电力(诸如电池)或从图像处理系统1000的外部电源提供的电力来操作。

[0094] 图像处理设备200通过执行与根据本实施例的图像处理方法相关的处理来处理从多个图像传感器100中的每个图像传感器获取的图像数据。

[0095] 在图像处理系统1000中，图像传感器100通过根据稍后将描述的发送方法的发送系统来发送区域图像数据。图像处理设备200相对于图像设置的每个区域，相关联地处理从多个图像传感器100中的每个图像传感器获取的区域图像数据。

[0096] 更具体地，例如，图像处理设备200针对每个区域组合由从多个图像传感器100中的每个图像传感器获取的区域图像数据指示的图像。

[0097] 这样做时，图像处理设备200通过对准由要组合的对象的区域图像数据指示的图像的相对位置来组合图像。例如，图像处理设备200基于从已经发送了区域图像数据的每个图像传感器100获取的与视角相关的信息(或者从前述图像传感器模块获取的与视角相关的信息：在下文中，将应用类似的描述)来对准由区域图像数据指示的图像的相对位置。另外，图像处理设备200可以通过相对于由区域图像数据指示的每个图像执行任意对象检测处理并检测对应的对象来对准由区域图像数据指示的图像的相对位置。

[0098] 用于将从多个图像传感器100中的每个图像传感器获取的区域图像数据与每个区域相关联的处理不限于上述示例。

[0099] 例如，图像处理设备200可以通过匹配信号电平来组合由区域图像数据指示的图像。图像处理设备200例如通过“基于从多个图像传感器100中的每个图像传感器获取的并且与图像传感器100的成像相关的信息(稍后将描述)获得用于校正已经发送区域图像数据的图像传感器100的相应灵敏度比的校正增益”来实现匹配的信号电平的组合。在这种情况下，图像传感器100的灵敏度的示例是包括在图像传感器100中的图像传感器装置的光电转换率。

[0100] 图像处理设备200中的处理不限于上述示例。

[0101] 例如，图像处理设备200可以执行可以相对于图像数据执行的任意处理，诸如RGB(红绿蓝)处理、YC处理以及γ处理。

[0102] 另外，图像处理设备200执行各种类型的处理，诸如与控制将图像数据记录到诸如存储器300的记录介质相关的处理、与控制在显示装置400的显示屏上显示图像相关的处理以及用于执行任意应用软件的处理。与控制记录相关的处理的示例包括“用于将包括记录命令的控制数据和要记录在记录介质中的数据发送到诸如存储器300的记录介质的处理”。另外，与控制显示相关的处理的示例包括“用于将包括显示命令的控制数据和要在显示屏上显示的数据发送到诸如显示装置400的显示装置的处理”。

[0103] 此外，图像处理设备200可以例如通过将控制信息发送到图像传感器100来控制图像传感器100中的功能。图像处理设备200还可以例如通过将区域指定信息发送到图像传感器100来控制要从图像传感器100发送的数据。

[0104] 稍后将描述图像处理设备200的配置的示例。

[0105] 例如，如图1所示配置图像处理系统1000。应当注意，根据本实施例的图像处理系统的配置不限于图1所示的示例。

[0106] 例如，在从图像传感器100发送的图像被存储在图像处理系统外部的记录介质中的情况下，在从图像传感器100发送的图像被存储在设置在图像处理设备200中的存储器中的情况下，或者在未记录从图像传感器100发送的图像的情况下，根据本实施例的图像处理系统不需要具有存储器300。

[0107] 另外，根据本实施例的图像处理系统可以被配置为不具有图1所示的显示装置400。

[0108] 此外，根据本实施例的图像处理系统可以具有根据稍后将描述的设置在电子装置中的功能的任意配置，根据本实施例的图像处理系统将应用于该电子装置。

[0109] [2]根据本实施例的图像处理系统的应用示例

[0110] 尽管以上已经作为本实施例描述了图像处理系统，但是本实施例不限于该模式。例如，本实施例可以应用于各种电子装置，包括诸如智能电话的通信设备、诸如无人机(可以通过远程控制操作的装置或能够自主操作的装置)或汽车的移动体、诸如PC(个人计算机)的计算机、平板型设备和游戏机。

[0111] [3]根据本实施例的发送方法

[0112] 接下来，将描述根据本实施例的发送方法。在下文中，将描述根据本实施例的发送方法应用于图像传感器100的情况。

[0113] (1)第一发送系统

[0114] 图5是示出要相对于图像设置的区域的示例的说明图。在图5中，包括区域1、区域2、区域3以及区域4的四个区域被示为区域的示例。不用说，要相对于图像设置的区域不限于图5所示的示例。

[0115] 例如，图像传感器100分别以不同的分组发送“针对每个区域包括与相对于图像设置的区域(诸如图5所示区域1至区域4)相对应的区域信息的附加数据”和“指示与该区域相对应的每行(列)的图像的区域图像数据”。当像素的位置由二维平面坐标(x，y)指示时，图像中的行是指相同的y坐标。

[0116] 根据本实施例的区域信息是指用于从接收设备侧识别要相对于图像设置的区域的数据(数据组)。例如，区域信息包括区域的识别信息、指示区域位置的信息以及指示区域的大小的信息中的一部分或全部。

[0117] 包括在区域信息中的信息不限于上述示例。区域信息可以包括用于从接收设备侧识别要相对于图像设置的区域的任意信息。例如，当通过VC号划分区域时，VC号可以执行包括在行中的区域的识别信息的作用。另外，当通过VC号划分区域时，有效载荷长度可以代替指示包括在行中的区域的大小的信息。

[0118] 区域的识别信息的示例包括能够唯一地识别区域的任意数据，诸如指示区域的ID的数据，诸如添加到该区域的数字。在下文中，区域的识别信息可以被称为“ROI ID”。

[0119] 指示区域的位置的信息是指示图像中的区域的位置的数据。指示区域的位置的信息的示例是“指示能够通过与由指示区域的大小的信息指示的区域的大小组合来唯一地识别区域的任意位置的数据”，诸如通过二维平面坐标(x，y)指示图像中的区域的左上位置的数据。

[0120] 指示区域的大小的信息的示例包括指示区域的行数的数据(指示区域中的垂直方向上的像素数的数据)和指示区域的列数的数据(指示区域中的水平方向上的像素数的数据)。应当注意，指示区域的大小的信息可以是能够识别区域的大小的任意格式的数据，诸如指示矩形区域的数据(例如，指示矩形区域中的水平方向上的像素数和垂直方向上的像素数的数据)。

[0121] 在下文中，将描述根据图像传感器100中的第一发送系统的处理的示例。

[0122] 图像传感器100将区域信息存储在一个分组的“嵌入式数据”中，并使该分组被发送。另外，图像传感器100将区域图像数据存储在另一分组的有效载荷中，并且使该分组被按行发送。

[0123] “嵌入式数据”是指可以嵌入到要发送的分组中的数据，并且与由图像传感器100另外发送的附加数据相对应。在下文中，嵌入式数据也可以被称为“EBD”。

[0124] 图6是示出要由与根据本实施例的发送方法相关的第一发送系统发送的数据的示例的说明图。图6表示“分别与图5所示的区域1、区域2、区域3以及区域4相对应的区域信息作为“嵌入式数据”存储在MIPI的长分组的有效载荷中，并且区域图像数据存储在图3所示的MIPI的长分组的有效载荷中以被按行发送的示例。

[0125] 图6所示的“FS”是MIPI CSI‑2标准中的FS(帧开始)分组，而图6所示的“FE”是MIPI CSI‑2标准中的FE(帧结束)分组(类似的描述适用于其他附图)。

[0126] 如上所述，图6所示的“嵌入式数据”是可以嵌入到要发送的分组中的数据。例如，“嵌入式数据”可以嵌入到要发送的分组的报头、有效载荷或页脚中。在图6所示的示例中，区域信息被存储在一个分组的“嵌入式数据”中，并且存储区域信息的“嵌入式数据”与附加数据相对应。

[0127] 根据本实施例的包括在附加数据中的信息不限于上述示例。例如，根据本实施例的附加数据可以包括关于图像传感器100的成像的信息。关于图像传感器100的成像的信息的示例包括指示图像传感器装置中的曝光值等的曝光信息、指示图像传感器装置中的增益的增益信息以及指示图像传感器装置中的光电转换率的灵敏度信息中的一部分或全部。由曝光信息指示的曝光值和由增益信息指示的增益中的每一个例如通过图像处理设备200经由控制总线B2的控制而被设置到图像传感器装置。

[0128] 图7是用于说明要由根据本实施例的第一发送系统发送的嵌入式数据的示例的说明图。图7所示的PH及其后的数据是图6所示的嵌入式数据的示例。

[0129] 在嵌入式数据中，包括在嵌入式数据中的数据的类型例如由“数据格式代码”定义。

[0130] 在图7所示的示例中，紧随“数据格式代码”之后的“第一ROI信息”、“第二ROI信息”…中的每一个与区域信息的示例相对应。换句话说，图7所示的嵌入式数据是包括区域信息的附加数据的示例。

[0131] 例如，在图7所示的区域信息中，“值”包括区域的识别信息、指示区域的位置的信息以及指示区域的大小的信息。另外，“值”可以包括关于图像传感器100的成像的信息。在图7所示的区域信息中，具有包括在嵌入式数据中的其他区域信息的边界例如由“长度”定义。

[0132] 图8是用于说明包括在图7所示的嵌入式数据中的区域信息的示例的说明图。图8所示的“ROI ID”与区域的识别信息相对应，而图8所示的“左上坐标”与指示区域的位置的信息相对应。另外，图8所示的“高度”和“宽度”与指示区域的大小的信息相对应。

[0133] 不用说，包括在嵌入式数据中的区域信息和数据的数据配置示例不限于图7和图8所示的示例。

[0134] 再次参考图6，将描述由第一发送系统发送的数据的示例。图6所示的“1”、“2”、“3”以及“4”中的每一个与要存储在分组的有效载荷中的区域1的区域图像数据、区域2的区域图像数据、区域3的区域图像数据以及区域4的区域图像数据相对应。尽管图6示出了每个区域图像数据被划分，但是为了方便起见，仅简单地指示划分，而并未划分存储在有效载荷中的数据。

[0135] 在第一发送系统中，分别与图5所示的区域1、区域2、区域3以及区域4相对应的区域信息存储在如图7所示的一个分组的“嵌入式数据”中以被发送。另外，在第一发送系统中，分别与图5所示的区域1、区域2、区域3以及区域4相对应的区域图像数据存储在如图6所示的MIPI的长分组的有效载荷中以被按行发送。

[0136] (2)第二发送系统

[0137] 可以应用于根据本实施例的图像处理系统1000的发送方法不限于根据第一发送系统的发送方法。

[0138] 例如，图像传感器100可以将区域信息和区域图像数据存储在分组的有效载荷中，并且使该分组被按行发送。

[0139] 图9是示出要相对于图像设置的区域的另一示例的说明图。在图9中，包括区域1、区域2、区域3以及区域4的四个区域被示为区域的示例。

[0140] 图10是示出要由与根据本实施例的发送方法相关的第二发送系统发送的数据的示例的说明图。图10表示“分别与图9所示的区域1、区域2、区域3以及区域4相对应的区域信息和区域图像数据存储在图3所示的MIPI的长分组的有效载荷中以被按行发送的示例。”[0141] 图10所示的“PH”表示长分组的分组报头。在这种情况下，根据第二发送系统的长分组的分组报头可以用作指示包括在区域信息中的信息是否已经从包括在要最后发送的分组中的区域信息改变的数据(变化信息)。换句话说，图10所示的“PH”可以被认为是指示长分组的数据类型的数据。

[0142] 作为示例，当包括在区域信息中的信息已经从包括在要最后发送的分组中的区域信息改变时，图像传感器100将“PH”设置为“0x38”。在这种情况下，图像传感器100将区域信息存储在长分组的有效载荷中。

[0143] 作为另一示例，当包括在区域信息中的信息尚未从包括在要最后发送的分组中的区域信息改变时，图像传感器100将“PH”设置为“0x39”。在这种情况下，图像传感器100不将区域信息存储在长分组的有效载荷中。换句话说，当包括在区域信息中的信息尚未从包括在要最后发送的分组中的区域信息改变时，图像传感器100不使区域信息被发送。

[0144] 不用说，设置到“PH”的数据不限于上述示例。

[0145] 图10中的“信息”表示存储在有效载荷中的区域信息。如图10所示，区域信息存储在有效载荷的头部。

[0146] 图10所示的“1”、“2”、“3”以及“4”中的每一个与要存储在有效载荷中的区域1的区域图像数据、区域2的区域图像数据、区域3的区域图像数据以及区域4的区域图像数据相对应。尽管图10示出了每个区域图像数据被划分，但是为了方便起见，仅简单地指示划分，而并未划分存储在有效载荷中的数据。

[0147] 在第二发送系统中，分别与图9所示的区域1、区域2、区域3以及区域4相对应的区域信息和区域图像数据例如存储在如图10所示的MIPI的长分组的有效载荷中以被按行发送。

[0148] 因此，当使用第二发送系统时，图像传感器100能够发送设置到图像的任意区域的形状。

[0149] [4]构成根据本实施例的图像处理系统的图像传感器和图像处理设备的配置示例[0150] 接下来，将说明能够根据上述发送方法执行处理的图像传感器100的配置的示例和能够根据上述图像处理方法执行处理的图像处理设备200的配置的示例。

[0151] [4‑1]图像传感器100的配置

[0152] 图11是示出根据本实施例的图像传感器100的配置的示例的框图。例如，图像传感器100包括光电转换单元102、信号处理单元104、通信单元106以及控制单元108。图像传感器100使用从构成图像处理系统1000的内部电源(未示出)提供的电力(诸如电池)或从图像处理系统1000的外部电源提供的电力来操作。

[0153] 光电转换单元102由透镜/成像元件150构成，并且信号处理单元104由信号处理电路152构成。透镜/成像元件150和信号处理电路152用作图像传感器100中的图像传感器装置。在图像处理系统1000中，所有图像传感器100可以包括相同类型的图像传感器装置，或者部分图像传感器100可以包括不同类型的图像传感器装置。包括不同类型的图像传感器装置的图像传感器100的示例是包括对彩色图像进行成像的图像传感器装置的图像传感器100和包括对黑白图像进行成像的图像传感器装置的图像传感器100。

[0154] 通信单元106由通信电路154构成，并且控制单元108由处理器156构成。透镜/成像元件150、信号处理电路152以及通信电路154中的每一个的操作均由处理器156控制。

[0155] 应当注意，为了方便起见，已经通过划分包括在图像传感器100中的功能来创建图11所示的图像传感器100的功能框，并且不限于图11所示的示例。例如，图11所示的信号处理单元104和控制单元108也可以被认为是单个处理单元。

[0156] 透镜/成像元件150例如由光学系统的透镜和使用诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合装置)的多个成像元件的图像传感器构成。在透镜/成像元件150中，当已经穿过光学系统的透镜的光被图像传感器的成像元件光电转换时，获得指示捕获图像的模拟信号。

[0157] 例如，信号处理电路152包括AGC(自动增益控制)电路和ADC(模数转换器)，并且将从透镜/成像元件150发送的模拟信号转换为数字信号(图像数据)。另外，信号处理电路152包括放大器，并且以规定的增益放大数字信号。

[0158] 此外，信号处理电路152可以执行与相对于图像设置区域相关的处理，并将区域指定信息发送至通信电路154。如稍后将描述的，可以由处理器156执行与相对于图像传感器100中的图像的区域的设置相关的处理。另外，如先前所描述的，在图像处理系统1000中，可以由诸如图像处理设备200的外部设备来执行与相对于图像的区域的设置相关的处理。

[0159] 此外，信号处理电路152可以将诸如曝光信息和增益信息的各种数据发送到通信电路154。可以由处理器156执行将诸如曝光信息和增益信息的各种数据发送到图像传感器100中的通信电路154。

[0160] 通信电路154是与根据本实施例的发送方法的数据发送功能相关的电路，并且通信电路154的示例是集成了与发送功能相关的电路的IC(集成电路)芯片。通信电路154处理从信号处理电路152发送的图像数据，并发送与所生成的图像相对应的数据。与图像相对应的数据是从信号处理电路152发送的图像数据(换句话说，指示整个图像的数据)或区域信息和区域图像数据。

[0161] 处理器156基于例如经由控制总线B2从图像处理设备200发送的控制信号来控制镜头/成像元件150、信号处理电路152以及通信电路154中的每一个的操作。可选地，当设置有处理器156的图像传感器100和另一图像传感器100能够彼此直接通信时，处理器156可以基于经由任意传输路径从另一图像传感器100发送的控制信号来执行处理。

[0162] 处理器156对透镜/成像元件150的控制的示例包括成像的控制，诸如曝光时间的控制。处理器156对信号处理电路152的控制的示例包括信号处理的控制，诸如增益的控制。处理器156对通信电路154的控制的示例包括通信控制，诸如“在发送区域图像数据与发送指示整个图像的数据之间的切换控制”，以及当发送区域图像数据时的各种类型的控制(例如，区域信息的发送控制和与成像相关的信息的发送控制)。

[0163] 图像传感器100例如通过图11所示的配置来执行与上述发送方法相关的处理。不用说，图像传感器100的配置不限于图11所示的示例。

[0164] [4‑2]图像处理设备200的配置

[0165] 图12是示出根据本实施例的图像处理设备200的配置的示例的框图。图12示出了构成图1所示的图像处理系统1000的图像处理设备200的配置的示例，或者换句话说，示出了与两个图像传感器100(即，图像传感器100A和100B)中的每个图像传感器通信的配置的示例。

[0166] 例如，图像处理设备200包括通信单元202和处理单元204。图像处理设备200使用从构成图像处理系统1000的内部电源(未示出)提供的电力(诸如电池)或从图像处理系统1000的外部电源提供的电力来操作。

[0167] 通信单元202具有与多个图像传感器100中的每个图像传感器通信的功能。例如，通信单元202由分别与作为通信对象的图像传感器100相对应的通信电路250A和250B构成。在下文中，构成通信单元202的通信电路250A和250B中的一个通信电路将被称为“通信电路
250”。

[0168] 另外，通信单元202可以能够在作为通信对象的图像传感器100之间切换。使用图1所示的图像处理系统1000作为示例，作为通信单元202中的通信对象的图像传感器100的切换包括在“仅与图像传感器100A通信”、“仅与图像传感器100B通信”以及“与图像传感器100A和图像传感器100B两者通信”之间切换。作为通信单元202中的通信对象的图像传感器
100的切换例如通过处理器252控制通信电路250A和250B的操作来实现。处理器252通过基于能够检测亮度的传感器(诸如照度传感器)(该传感器可以是图像处理设备200外部的传感器，也可以是包括在图像处理设备200中的传感器)的检测值的阈值处理来执行作为通信对象的图像传感器100的切换。作为示例，当检测值等于或小于设置阈值时(或者当检测值小于阈值时)，处理器252使执行与图像传感器100A和图像传感器100B两者的通信。作为另一示例，当检测值大于阈值时(或者当检测值等于或大于阈值时)，处理器252使执行与图像传感器100A和图像传感器100B中的一个图像处理器的通信。由于通过使处理器252切换作为通信对象的图像传感器100，可以进一步减少图像处理设备200中的数据处理量，因此可以实现功耗的降低。

[0169] 另外，当执行“仅与图像传感器100A通信”或“仅与图像传感器100B通信”时，处理器252可以暂停不执行通信的图像传感器100的操作。例如，处理器252通过基于能够检测亮度的传感器(诸如照度传感器)的检测值的阈值处理来执行作为通信对象的图像传感器100的切换和图像传感器100的操作的暂停。通过使处理器252暂停图像传感器100的操作，可以在图像处理系统1000实现功耗的降低。

[0170] 处理单元204处理由通信单元202接收的数据。例如，处理单元204执行与根据本实施例的图像处理方法相关的处理，并且基于区域信息，针对每个区域相关联地处理从多个图像传感器100的每个图像传感器获取的区域图像数据。可选地，处理单元204还可以处理指示整个图像的数据。

[0171] 处理单元204由处理器252和图像处理电路254构成。通信电路250A和250B以及图像处理电路254中每一个的操作均由处理器252控制。换句话说，处理单元204可以执行图像处理设备200中的控制单元的作用。

[0172] 另外，构成处理单元204的处理器252执行控制构成图像处理系统1000的每个图像传感器100的操作的作用。处理器252通过经由控制总线B2将控制信号发送到图像传感器100来控制每个图像传感器100的操作。

[0173] 应当注意，为了方便起见，已经通过划分包括在图像处理设备200中的功能来创建图12所示的图像处理设备200的功能框，并且不限于图12所示的示例。例如，图12所示的处理单元204也可以划分为由处理器252构成的控制单元和由图像处理电路254构成的图像处理单元。

[0174] 例如，通信电路250A是与图像传感器100A通信的通信电路。通信电路250A从图像传感器100A接收已经由根据本实施例的发送方法发送的数据(例如，图6或图10所示的分组)。通信电路250A可以具有经由例如通信电路250A与图像传感器100A之间的任意传输路径将数据发送到图像传感器100A的功能。

[0175] 例如，通信电路250B是与图像传感器100B通信的通信电路。通信电路250B从图像传感器100B接收已经由根据本实施例的发送方法发送的数据(例如，图6或图10所示的分组)。通信电路250B可以具有经由例如通信电路250B与图像传感器100B之间的任意传输路径将数据发送至图像传感器100B的功能。

[0176] 通信电路250A和250B将所接收的数据中包括在嵌入式数据中的数据(诸如区域信息和关于图像传感器100的成像的信息)发送至处理器252。图12示出了“从通信电路250A和250B中的每个通信电路将区域信息发送至处理器252的示例”。通信电路250A和250B可以将所接收的数据中的嵌入式数据发送至处理器252。当将嵌入式数据发送至处理器252时，由处理器252从嵌入式数据中检索包括在嵌入式数据中的数据，诸如区域信息和关于图像传感器100的成像的信息。另外，通信电路250A和250B将所接收的数据中除了包括在有效载荷中的嵌入式数据之外的数据发送至图像处理电路254。

[0177] 通信电路250A和250B从所接收的数据中分离与报头部分相对应的报头数据和与有效载荷部分相对应的有效载荷数据。通信电路250A和250B根据例如由标准等预先定义的规则从所接收的数据中分离报头数据。另外，通信电路250A和250B可以根据例如由标准等预先定义的规则从所接收的数据中分离有效载荷数据，或者基于由报头数据指示的内容从所接收的数据中分离有效载荷数据。此外，通信电路250A和250B将所分离的数据中包括在嵌入式数据中的数据(或嵌入式数据)发送至处理器252，并且将有效载荷数据中除了嵌入式数据之外的数据发送至图像处理电路254。

[0178] 图13是示出包括在根据本实施例的图像处理设备200中的通信电路250的功能配置的示例的框图。例如，通信电路250包括报头分离单元260、报头解释单元262以及有效载荷分离单元264。

[0179] 报头分离单元260从所接收的数据中分离与报头部分相对应的报头数据和与有效载荷部分相对应的有效载荷数据。报头分离单元260根据例如由标准等预先定义的规则从所接收的数据中分离报头数据。另外，报头分离单元260可以根据例如由标准等预先定义的规则从所接收的数据中分离有效载荷数据，或者基于报头解释单元262的处理的结果从所接收的数据中分离有效载荷数据。

[0180] 报头解释单元262解释由报头数据指示的内容。

[0181] 作为示例，报头解释单元262解释有效载荷数据是否是“嵌入式数据”。报头解释单元262基于例如记录在报头部分中的DT值来解释有效载荷数据是否是“嵌入式数据”。作为另一示例，报头解释单元262可以识别有效载荷数据的位置，并且将所识别的位置发送至报头分离单元260。

[0182] 有效载荷分离单元264基于报头解释单元262的解释结果来处理有效载荷数据。

[0183] 作为示例，当报头解释单元262解释有效载荷数据是“嵌入式数据”时，有效载荷分离单元264从有效载荷数据中分离包括在嵌入式数据中的数据，诸如区域信息和关于图像传感器100的成像的信息。另外，有效载荷分离单元264将包括在嵌入式数据中的数据(诸如区域信息和关于图像传感器100的成像的信息)发送至处理单元204(更具体地，构成处理单元204的处理器252)。图13示出了“将区域信息从有效载荷分离单元264发送至处理器204的示例”。

[0184] 作为另一示例，当报头解释单元262解释有效载荷数据不是“嵌入式数据”时，有效载荷分离单元264从有效载荷数据中分离图像数据(指示整个图像的数据或区域图像数据)。有效载荷分离单元264基于例如从嵌入式数据中检索的区域信息从有效载荷数据中分离区域图像数据。另外，有效载荷分离单元264将图像数据发送处理单元204(更具体地，构成处理单元204的图像处理电路254)。

[0185] 由于通信电路250具有例如图13所示的功能配置，因此通信电路250通过根据本实施例的发送方法接收已经从图像传感器100发送的数据，并且将所接收的数据发送至处理单元204。应当注意，为了方便起见，已经通过划分包括在通信电路250中的功能来创建图13所示的通信电路250的功能框，并且不限于图13所示的示例。另外，如上所述，通信电路250可以被配置为将所接收的数据中的嵌入式数据发送至处理器252。

[0186] 再次参考图12，将描述图像处理设备200的配置的示例。处理器252控制通信电路250A和250B以及图像处理电路254中的每一个的操作。另外，处理器252可以执行各种类型的处理，诸如用于执行任意应用软件的处理。

[0187] 处理器252对通信电路250A和250B的控制的示例包括通信功能的开/关控制。例如，通过如上所述控制通信电路250A和250B中的每个通信电路的通信功能的开/关，实现了作为通信对象的图像传感器100之间的切换。

[0188] 处理器252对图像处理电路254的控制包括由图像处理电路254执行的与根据本实施例的图像处理方法相关的处理的控制。处理器252使用例如包括在嵌入式数据中的数据(诸如从通信电路250A和250B发送的区域信息和关于图像传感器100的成像的信息)来执行图像处理电路254的控制。另外，当从通信电路250A和250B发送嵌入式数据时，处理器252通过例如从嵌入式数据中检索区域信息等来执行图像处理电路254的控制。

[0189] 作为示例，处理器252将指示用于对准由区域图像数据指示的图像的相对位置的校正值的校正控制信息发送至图像处理电路254。基于例如包括在从通信电路250A和250B中每个通信电路发送的嵌入式数据中的区域信息和从每个图像传感器100获取的关于视角的信息来设置用于对准由区域图像数据指示的图像的相对位置的校正值。可选地，可以基于例如包括在从通信电路250A和250B中每个通信电路发送的嵌入式数据中的区域信息和相对于由区域图像数据指示的每个图像执行任意对象检测处理的结果来设置用于对准由区域图像数据指示的图像的相对位置的校正值。

[0190] 作为另一示例，处理器252将指示用于校正已经发送区域图像数据的每个图像传感器100的灵敏度比的校正增益的校正控制信息发送至图像处理电路254。

[0191] 通过基于例如从每个图像传感器100获取的关于视角的信息计算满足以下数学表达式1的校正增益“G21”来设置校正增益。应当注意，基于以下数学表达式1计算校正增益是在图像处理设备200控制图像传感器100使得相应曝光时间相同的情况下的计算示例。换句话说，根据本实施例的校正增益的计算方法不限于使用以下数学表达式1。

[0192] G2·G2l＝A1·G1/A2

[0193] …(数据表达式1)

[0194] 在这种情况下，上述数学表达式1中的“G1”表示包括在图像传感器100A中的图像传感器装置中的增益，并且上述数学表达式1中的“G2”表示包括在图像传感器100B中的图像传感器装置中的增益。另外，上述数学表达式1中的“A1”表示包括在图像传感器100A中的图像传感器装置中的光电转化率，并且上述数学表达式1中的“A2”表示包括在图像传感器100B中的图像传感器装置中的光电转化率。换句话说，使用上述数学表达式1计算用于校正由从图像传感器100B获取的区域图像数据指示的图像的信号电平的校正增益。

[0195] 图像处理电路254处理从通信电路250A和250B中每个通信电路发送的数据。例如，在图像处理电路254中，处理单元204执行与根据本实施例的图像处理方法相关的处理，并且基于区域信息，针对每个区域相关联地处理从图像传感器100A和100B中每个图像传感器获取的区域图像数据。

[0196] 例如，图像处理电路254使用例如从处理器252发送的校正控制信息来匹配由区域图像数据指示的图像的信号电平。在匹配信号电平之后，图像处理电路254使用从处理器252发送的校正控制信息来对准由区域图像数据指示的图像的相对位置。另外，图像处理电路254组合由每个区域的区域图像数据指示的图像。应当注意，图像处理电路254能够组合由区域图像数据指示的图像，而不必匹配由区域图像数据指示的图像的信号电平，并且能够组合由区域图像数据指示的图像，而不必对准由区域图像数据指示的图像的相对位置。

[0197] 可选地，图像处理电路254还可以处理指示从图像传感器100A和100B中每个图像传感器获取的整个图像的数据。

[0198] 另外，图像处理电路254中的处理不限于上述示例。另外，图像处理电路254可以执行与控制将图像数据记录到诸如存储器300的记录介质相关的处理和与控制在显示装置400的显示屏上显示图像相关的处理两者中的一者或两者。

[0199] 图14是示出包括在根据本实施例的图像处理设备200中的图像处理电路254的功能配置的示例的框图。例如，图像处理电路254具有第一图像处理单元270A和270B、相对灵敏度差校正处理单元272、相对位置校正处理单元274、组合处理单元276以及第二图像处理单元278。每个单元中的部分或全部处理可以通过硬件来执行，或者通过在硬件上执行软件(计算机程序)来执行。

[0200] 在下文中，将使用图像处理电路254处理区域图像数据的情况作为示例来描述图像处理电路254的功能配置的示例。

[0201] 第一图像处理单元270A相对于从通信电路250A发送的数据执行规定的图像处理。第一图像处理单元270B相对于从通信电路250B发送的数据执行规定的图像处理。由第一图像处理单元270A和270B中的每一个执行的规定的图像处理的示例包括与RAW现象等相关的各种类型的处理。

[0202] 相对灵敏度差校正处理单元272将从第一图像处理单元270B发送的区域图像数据指示的图像的信号电平与已经由第一图像处理单元270A处理的区域图像数据指示的图像的信号电平相匹配。相对灵敏度差校正处理单元272使用例如由从处理器252发送的校正控制信息指示的校正增益来校正从第一图像处理单元270B发送的区域图像数据的增益。

[0203] 尽管图14示出了校正从第一图像处理单元270B发送的区域图像数据的增益的示例，但是图像处理电路254可以具有用于校正从第一图像处理单元270A发送的区域图像数据的增益的功能配置。

[0204] 相对位置校正处理单元274将从相对灵敏度差校正处理单元272发送的区域图像数据指示的图像的相对位置与已经由第一图像处理单元270A处理的区域图像数据指示的图像对准。相对位置校正处理单元274使用例如用于对准由从处理器252发送的校正控制信息指示的相对位置的校正增益来校正由从相对灵敏度差校正处理单元272发送的区域图像数据指示的图像的相对位置。

[0205] 组合处理单元276针对每个区域组合由第一图像处理单元270A处理的区域图像数据指示的图像和由从相对位置校正处理单元274发送的区域图像数据指示的图像。组合处理单元276通过能够组合图像的任意处理(诸如α混合)来组合由区域图像数据指示的图像。

[0206] 第二图像处理单元278相对于从组合处理单元276发送的组合图像执行规定的图像处理。由第二图像处理单元278执行的规定的图像处理的示例包括可以相对于图像数据执行的任意处理，诸如γ处理。

[0207] 由于图像处理电路254具有例如图14所示的功能配置，因此图像处理电路254执行与根据本实施例的图像处理方法相关的处理。应当注意，为了方便起见，已经通过划分包括在图像处理电路254中的功能来创建图14所示的图像处理电路254的功能框，并且不限于图14所示的示例。

[0208] 图像处理设备200通过例如图12至图14所示的配置来执行与上述图像处理方法相关的处理。不用说，图像处理设备200的配置不限于图12至图14所示的示例。

[0209] [5]根据本实施例的图像处理系统中的处理的示例

[0210] 接下来，将描述图像处理系统1000中的处理的示例。

[0211] [5‑1]与初始化相关的处理

[0212] 图15是用于说明根据本实施例的图像处理系统1000中的处理的示例的说明图，并且示出了与初始化相关的处理。例如，当激活图像处理系统1000时或者当图像处理系统1000的用户等执行规定的操作时，执行图15所示的处理。

[0213] 图像处理设备200例如经由控制总线B2发送用于使图像传感器100A和100B中每个图像传感器设置驱动参数的设置请求，并且发送用于使图像传感器100A和100B中每个图像传感器发送关于视角的信息的获取请求(S100)。例如，驱动参数的设置请求包括诸如曝光值、曝光时间和增益的各种设置值以及设置命令。例如，获取请求包括与视角相关的信息的发送命令。

[0214] 已经接收到在步骤S100中发送的设置请求和获取请求的图像传感器100A和100B中每个图像传感器基于设置请求来设置驱动参数，并且基于获取请求来发送与视角相关的信息(S102、S104)。

[0215] 已经在步骤S100中发送了设置请求的图像处理设备200基于包括在设置请求中的各种设置值来计算校正增益，并且根据计算出的校正增益来配置用于执行校正的设置(S106)。

[0216] 已经接收到在步骤S102和S104中发送的关于视角的信息的图像处理设备200基于关于视角的信息来获得用于对准相对位置的校正值(S108)，并且根据校正值配置用于执行校正的设置(S110)。

[0217] 在图像处理系统1000中，例如，执行图15所示的处理作为与初始化相关的处理。不用说，与初始化相关的处理的示例不限于图15所示的示例。

[0218] [5‑2]操作期间的处理

[0219] 图16是用于说明根据本实施例的图像处理系统1000中的处理的示例的说明图，并且示出了操作期间的处理的示例。图16示出了以图像传感器100A的成像为基准执行图像传感器100B的处理的示例。换句话说，图像处理系统1000可以通过使一个图像传感器100用作主图像传感器并且使另一图像传感器100用作从图像传感器来执行协同成像。

[0220] 图像传感器100A在获取帧开始触发(在下文中，有时称为“V开始触发”)时开始成像(S200)。

[0221] 图像传感器100A设置要从捕获图像中剪切的剪切位置(S202)，并且将指示所设置的剪切位置的信息发送到图像传感器100B和图像处理设备200(S204)。图像传感器100A中的剪切位置的设置与相对于捕获图像设置区域相对应。换句话说，例如，指示剪切位置的信息与区域信息相对应。

[0222] 图像传感器100A例如经由数据总线B1将指示剪切位置的信息发送至图像处理设备200。另外，图像传感器100A例如经由图像处理设备200将指示剪切位置的信息(区域信息：在下文中，将应用类似的描述)发送至图像传感器100B。在图像传感器100A和图像传感器100B均能够通过处理器间通信等彼此通信的配置的情况下，图像传感器100A可以通过直接通信将指示剪切位置的信息发送至图像传感器100B。

[0223] 已经在步骤S204中接收到从图像传感器100A发送的指示剪切位置的信息的图像传感器100B基于指示剪切位置的信息来设置要从捕获图像中剪切的剪切位置(S206)。

[0224] 已经在步骤S204中接收到从图像传感器100A发送的指示剪切位置的信息的图像处理设备200基于指示剪切位置的信息来识别包括在设置区域中的像素数和像素的二维平面坐标(S208)，并且设置要在处理中使用的坐标和区域的大小(S210)。

[0225] 已经在步骤S204中发送了指示剪切位置的信息的图像传感器100A将关于图像传感器100A中的成像的信息发送至图像传感器100B和图像处理设备200(S212)。如先前所描述的，关于成像的信息包括曝光信息和增益信息。图像传感器100A例如以与在步骤S204中发送指示剪切位置的信息类似的方式将关于成像的信息发送至图像传感器100B和图像处理设备200。

[0226] 已经在步骤S212中接收到从图像传感器100A发送的关于成像的信息的图像传感器100B基于所接收的关于成像的信息来执行增益控制和曝光控制(S214)。另外，图像传感器100B将关于图像传感器100B中的成像的信息发送至图像处理设备200。

[0227] 已经在步骤S212中接收到从图像传感器100A发送的关于成像的信息和从图像传感器100B发送的关于成像的信息的图像处理设备200计算例如校正增益，并根据计算出的校正增益来配置用于执行校正的设置(S216)。另外，图像处理设备200相对于从图像传感器100A和100B中每个图像传感器发送的图像数据开始处理(S218)。

[0228] 图17是用于说明根据本实施例的图像处理系统1000中的处理的示例的说明图，并且示出了与图16所示的处理相对应的时序图。换句话说，图17以与图16类似的方式示出了“图像传感器100A用作主图像传感器，而图像传感器100B用作从图像传感器的示例”。

[0229] 如图17所示，在图像处理系统1000中，图像传感器100A和图像传感器100B彼此协作以根据图像传感器100A中的设置通知来执行成像。另外，在图像处理系统1000中，图像处理设备200基于图像传感器100A中的设置通知，针对每个区域相关联地处理从图像传感器100A和100B中每个图像传感器获取的区域图像数据。因此，在图像处理系统1000中实现了图像传感器100A、图像传感器100B以及图像处理设备200的协作操作。

[0230] 在图像处理系统1000中，例如，执行图16和图17所示的处理作为操作期间的处理。不用说，操作期间的处理的示例不限于图16和图17所示的示例。

[0231] [6]通过使用根据本实施例的图像处理系统产生的有益效果的示例

[0232] 例如，使用根据本实施例的图像处理系统产生以下描述的有益效果。不用说，通过使用根据本实施例的图像处理系统产生的有益效果不限于以下描述的示例。

[0233] ·在根据本实施例的图像处理系统中，可以通过多个图像传感器100之间的协作来执行相对于捕获图像设置的区域的成像。

[0234] ·在根据本实施例的图像处理系统中，由于多个图像传感器和图像处理设备彼此协作操作，例如，设备可以在共享诸如关于曝光时间、驱动频率、增益值、图像传感器装置之间的相对视角差以及被摄体距离的信息的各种信息的同时操作。

[0235] ·由于图像处理设备能够通过匹配图像的信号电平来组合由区域图像数据指示的图像，因此根据本实施例的图像处理系统能够增强要相关联地处理的图像的灵敏度。

[0236] ·图像处理设备能够在作为通信对象的图像传感器之间切换，并且结合这种切换来暂停部分图像传感器的操作。因此，根据本实施例的图像处理系统能够实现功耗的降低。

[0237] 2.根据本实施例的程序

[0238] 通过使计算机中的处理器或图像处理电路执行程序，该程序使计算机用作根据本实施例的图像处理设备(例如，使计算机执行与根据本实施例的图像处理方法相关的处理的程序)，可以相关联地处理分别从多个图像传感器获得的图像。

[0239] 另外，通过使计算机中的处理器或图像处理电路执行程序，该程序使计算机用作根据本实施例的图像处理设备，可以产生通过使用根据本实施例的图像处理方法而产生的有益效果。

[0240] 尽管已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于此。对于本公开的技术领域所属领域的普通技术人员将显而易见的是，在不脱离所附权利要求中阐述的技术思想的范围的情况下，可以实现各种修改和变化，因此，可以理解，这样的修改和变化将自然地涵盖在本公开的技术范围内。

[0241] 例如，尽管在上面给出的描述中提供了使计算机用作根据本实施例的图像处理设备的程序(计算机程序)，但是本实施例还可以提供存储上述程序的记录介质。

[0242] 上述配置代表本实施例的示例，并且自然地落入本公开的技术范围内。

[0243] 此外，本说明书中描述的有益效果仅是描述性的或示例性的，而不是限制性的。换句话说，除了上述有益效果之外或代替上述有益效果，根据本公开的技术可以产生本领域技术人员从本说明书的描述中将显而易见的其他有益效果。

[0244] 以下配置也涵盖在本公开的技术范围内。

[0245] (1)

[0246] 一种图像处理设备，包括：

[0247] 通信单元，能够与多个图像传感器中的每个图像传感器通信，该多个图像传感器被配置为分别以不同的分组发送附加数据和区域图像数据，该附加数据针对每个区域包括与相对于捕获图像设置的区域相对应的区域信息，该区域图像数据指示与该区域相对应的每行的图像；以及

[0248] 处理单元，被配置为基于包括在从多个图像传感器中的每个图像传感器获取的附加数据中的区域信息，与每个区域相关联地处理从多个图像传感器中的每个图像传感器获取的区域图像数据，其中，

[0249] 区域信息包括区域的识别信息、指示区域的位置的信息以及指示区域的大小的信息中的一部分或全部。

[0250] (2)

[0251] 根据(1)的图像处理设备，其中，处理单元被配置为针对每个区域组合由从多个图像传感器中的每个图像传感器获取的区域图像数据指示的图像。

[0252] (3)

[0253] 根据(2)的图像处理设备，其中，处理单元被配置为通过对准图像的相对位置来组合由要组合的对象的区域图像数据指示的图像。

[0254] (4)

[0255] 根据(2)或(3)的图像处理设备，其中，

[0256] 附加数据包括关于图像传感器中的成像的信息，以及

[0257] 处理单元被配置为基于已经从多个图像传感器中的每个图像传感获取的关于成像的信息，通过匹配图像的信号电平来组合由要组合的对象的区域图像数据指示的图像。

[0258] (5)

[0259] 根据(1)至(4)中任一项的图像处理设备，其中，通信单元被配置为能够在作为通信对象的图像传感器之间切换。

[0260] (6)

[0261] 根据(1)至(5)中任一项的图像处理设备，其中，分组是MIPI(移动工业处理器接口联盟)的长分组。

[0262] (7)

[0263] 一种图像处理系统，包括：

[0264] 多个图像传感器，被配置为分别以不同的分组发送附加数据和区域图像数据，该附加数据针对每个区域包括与相对于捕获图像设置的区域相对应的区域信息，该区域图像数据指示与该区域相对应的每行的图像；以及

[0265] 图像处理设备，其中，

[0266] 该图像处理设备包括：

[0267] 通信单元，能够与多个图像传感器中的每个图像传感器通信；以及

[0268] 处理单元，被配置为基于包括在从多个图像传感器中的每个图像传感器获取的附加数据中的区域信息，与每个区域相关联地处理从多个图像传感器中的每个图像传感器获取的区域图像数据，并且

[0269] 区域信息包括区域的识别信息、指示区域的位置的信息以及指示区域的大小的信息中的一部分或全部。

[0270] 参考标记列表

[0271] 100、100A、100B 图像传感器

[0272] 102 光电转换单元

[0273] 104 信号处理单元

[0274] 106、202 通信单元

[0275] 150 透镜/成像元件

[0276] 152 信号处理电路

[0277] 154、250、250A、250B 通信电路

[0278] 156、252 处理器

[0279] 200 图像处理设备

[0280] 204 处理单元

[0281] 254 图像处理电路

[0282] 260 报头分离单元

[0283] 262 报头解释单元

[0284] 264 有效载荷分离单元

[0285] 270A、270B 第一图像处理单元

[0286] 272 相对灵敏度差校正处理单元

[0287] 274 相对位置校正处理单元

[0288] 276 组合处理单元

[0289] 278 第二图像处理单元

[0290] 300 存储器

[0291] 400 显示装置

[0292] 1000 图像处理系统

[0293] B1 数据总线

[0294] B2 控制总线。