用于多路复用MIPI多光谱成像设备的系统和方法

摘要

本发明提供一种从多个摄像机获取接近同步的帧的方法和系统。可以从两种方式获取同步帧。如果摄像机设置为在触发模式下工作，为了从每个摄像机获取接近同步的图像，要调整触发第一摄像机和下一个摄像机的时间使每个摄像机的触发信号和图像通信控制信号的时序有所重叠。如果摄像机处于视频模式，通过使用公用时钟并同时启动各摄像机就可使它们保持同步。在每个摄像机产生帧的同时，每个摄像机在收到触发信号后相继采样单独的相应的帧。因此，即可从视频模式下多个摄像机中采样并存储接近同步的图像。

权利要求

1.一种用于多路复用MIPI多光谱成像设备的系统，用于接近同步地触发多个摄像机以对同一对象获取多个接近相同的图像，该系统包括：处理单元，以及

多个摄像机，该多个摄像机中的每一个都处于触发模式；

其中：处理单元通过触发信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与每一个摄像机电子连接；其中，至少一个复位信号链接和至少一个通信信号链接，通过至少一个以多路复用形式设置的开关，与处理单元电子连接。

2.根据权利要求1所述的系统，其中，至少一个摄像机触发信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

3.根据权利要求1所述的系统，其中，至少一个外部时钟控制信号链接通过至少一个移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

4.根据权利要求1所述的系统，其中，至少一个通信信号链接选自以下链接：图像通信链接和设置通信链接。

5.根据权利要求4所述的系统，其中，该通信信号链接是MIPI链接。

6.根据权利要求4所述的系统，其中，该设置通信链接是I2C链接。

7.一种用于多路复用MIPI多光谱成像设备的系统，用于接近同步地对多个摄像机获取的同一对象的多个接近相同的图像进行采样，该系统包括：处理单元，以及

多个摄像机，该多个摄像机中的每一个都处于视频模式，且通过公用外部时钟进行同步；

其中：处理单元通过起始信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与每一个摄像机电子连接；

其中，至少一个复位信号链接和至少一个通信信号链接，通过至少一个以多路复用形式设置的开关，与处理单元电子连接。

8.根据权利要求7所述的系统，其中，至少一个摄像机起始信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

9.根据权利要求7所述的系统，其中，至少一个外部时钟控制信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

10.根据权利要求7所述的系统，其中，至少一个通信信号链接选自以下链接：图像通信链接和设置通信链接。

11.根据权利要求10所述的系统，其中，该通信信号链接是MIPI链接。

12.根据权利要求10所述的系统，其中，该设置通信链接是I2C链接。

13.一种用于多路复用MIPI多光谱成像的方法，用于接近同步地触发多个摄像机以对同一对象获取多个接近相同的图像，该方法包括以下步骤：利用外部时钟控制信号链接对至少第一摄像机和至少第二摄像机进行同步；

作为对主触发信号的响应，产生至少第一触发信号和第二触发信号，该第一触发信号与触发模式下的第一摄像机相关，该第二触发信号与触发模式下的第二摄像机相关，该第一触发信号具有起始点和终止点，该第二触发信号也具有起始点和终止点；

通过在第一摄像机和处理单元之间的第一触发信号链接接收第一触发信号；

通过第一通信控制信号链接在第一摄像机和处理单元之间建立与第一摄像机相关的第一图像通信控制信号，该第一图像通信控制信号具有起始点和终止点；

建立与第一摄像机相关的第一曝光周期，该第一曝光周期具有起始点和终止点；以及在第一摄像机和处理单元之间建立与第一摄像机相关的第一数据传送链接，该第一数据传送链接具有起始点和终止点；

其中，在第一触发信号的起始点、第一图像通信控制信号的起始点、第一曝光周期的起始点和第一数据传送链接的起始点之后，接收第二触发信号；以及

在第一通信控制信号的终止点和第一数据传送链接的终止点之前，建立与第二摄像机相关的第二曝光周期；

其中，每个第一摄像机和第二摄像机都通过触发信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与处理单元电子连接；

其中，至少一个复位信号链接和至少一个通信信号链接，通过至少一个以多路复用形式设置的开关，与处理单元电子连接。

14.根据权利要求13所述的方法，其中，至少一个触发信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

15.根据权利要求13所述的方法，其中，至少一个外部摄像机时钟信号链接通过至少一个移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

16.根据权利要求13所述的方法，其中，至少一个通信信号链接选自以下链接：图像通信链接和设置通信链接。

17.根据权利要求16所述的方法，其中，该通信信号链接是MIPI链接。

18.根据权利要求16所述的方法，其中，该设置通信链接是I2C链接。

19.一种用于多路复用MIPI多光谱成像的方法，用于接近同步地对多个摄像机获取的同一对象的多个接近相同的图像进行采样，该方法包括以下步骤：利用公用外部时钟控制信号链接对至少第一摄像机和至少第二摄像机进行同步；

在第一摄像机和处理单元之间建立第一图像通信链接；

从视频模式下的第一摄像机获取的第一组帧中采样第一帧，该第一帧对应于第一时间；

在第二摄像机和处理单元之间建立第二图像通信链接；

从视频模式下的第二摄像机获取的第二组帧中采样第二帧，该第二帧对应于第一时间；

其中，该第一时间和第二时间接近相同，这样，第一图像和第二图像也接近相同；

其中，每个第一摄像机和第二摄像机都通过起始信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与处理单元电子连接；以及

其中，至少一个复位信号链接和至少一个通信信号链接通过至少一个以多路复用形式设置的开关与处理单元电子连接。

20.根据权利要求19所述的方法，其中，至少一个起始信号链接通过至少一个移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

21.根据权利要求19所述的方法，其中，至少一个外部时钟控制信号链接通过至少一个移位寄存器将多个摄像机中的至少一个与处理单元电子连接。

22.根据权利要求19所述的方法，其中，至少一个通信信号链接选自以下链接：图像通信链接和设置通信链接。

23.根据权利要求22所述的方法，其中，该通信信号链接是MIPI链接。

24.根据权利要求22所述的方法，其中，该设置通信链接是I2C链接。

说明书

用于多路复用MIPI多光谱成像设备的系统和方法

技术领域

[0001] 本发明涉及适用于协调多个成像设备的操作的方法及系统。更确切地，在至少一个实施例中，本发明涉及无人驾驶飞行器上与多光谱成像系统相关的电子控制系统及管理
多个数字摄像机的相关软件。

背景技术

[0002] 可携带轻型优质数字摄像机(及其相应的电子控制系统)的不断发展已自然导致了这些设备与各种应用领域的广泛结合。而一直以来，由于空间小、能耗高和其他实际应用
中的各种限制，与这些设备的结合都被认为是不可行的。

[0003] 同样，移动电子设备的发展也使得遥控无人驾驶飞行器(UAVs，也称无人机(drone))被广泛运用。通常，UAV的配置包括多个小型、电子控制、呈垂直或水平方向的螺旋
桨，该螺旋桨设于UAV机身的中部或靠近端部边缘。而结合了轻型优质数字摄像机的改良型
UAV由于其高质量的UAV摄影技术而带来了新型娱乐和商业应用的迅猛发展。

[0004] 通常，安装于UAV上的数字摄像机具有专用的图像处理单元，用来控制触发信号、获取图像及传送图像，除此之外，处理单元还包括各种其它操纵远程模式下安装在移动运
输工具上的数字摄像机所需的控制功能。然而，在某些应用中，需要将多个数字摄像机安装
在同一个UAV上，以获得同步或接近同步的多个图像，其中每个摄像机分别捕捉不同光谱范
围内的图像。这种应用在军事，安全防护和农业等应用中很常见。

[0005] 但是，可以理解，由于现有蓄电池技术的局限性，通常希望UAV的电子部件要尽量质轻且节能，以最大限度地减少VAV能耗并延长UAV飞行时间。因此，通常期望多摄像机的配
置能最大幅度减少电子硬件的重量和能耗。更确切地，我们期望减少用于操作多个数字摄
像机所需的每个图像处理单元的数量，这样就能缩小UAV上的集成电路板的总体尺寸。

[0006] 因此，我们需要一种能够将操作多个数字摄像机的图像处理器的数量减至最少的系统和方法，同时能最大幅度地缩小对于每个数字摄像机的触发信号之间的总体延迟，以
确保每个数字摄像机都能够捕捉到接近同步的图像。

发明内容

[0007] 在至少一个实施例中，本发明提供了一种系统和方法，其用于最大限度减少用来操作多个数字摄像机的图像处理器的数量，因而也最大幅度减少了用于触发多个摄像机中
每一个摄像机的各触发信号之间的总体延迟，从而确保了每个摄像机所获取的图像都接近
相同(near‑identical)。

[0008] 特别是，在一个实施例中，本发明提供了一种方法和系统，用于触发第一摄像机和下一个摄像机，以便通过同一个图像处理单元获取接近同步的图像。

[0009] 在一个实施例中，提供了一种方法和系统，其对多个摄像机与同一个图像处理单元之间的各自的图像通信链接和触发链接通过多路复用的形式进行协调。

[0010] 在至少一个实施例中，其中，在摄像机处于触发模式时，根据本发明构思，与第一摄像机相关的第一触发信号和与下一个摄像机相关的下一个触发信号，分别跟与第一摄像
机相关的第一图像通信链接，及与第二摄像机相关的第二图像通信链接有所重叠。因此，在
这些与第一摄像机相关的第一触发信号、第一图像通信控制信号、第一曝光周期以及第一
数据传送链接启动之后，接下来的触发信号和曝光周期的启动都开始于第一通信控制信号
和第一数据传送链接的关闭之前。

[0011] 在至少一个实施例中，本发明提供了一种方法，用于控制触发模式下的多个摄像机，从而获得多个接近相同的图像。该方法包括以下步骤：作为对主触发信号的响应，产生
第一触发信号和第二触发信号，该第一触发信号与触发模式下的第一摄像机有关，该第二
触发信号与触发模式下的第二摄像机有关，该第一触发信号具有起始点和终止点，该第二
触发信号也具有起始点和终止点；通过第一摄像机和处理单元之间的第一触发信号链接接
收第一触发信号；通过第一通信控制信号链接在第一摄像机和处理单元之间建立与第一摄
像机相关的第一图像通信控制信号，该第一图像通信控制信号具有起始点和终止点；建立
与第一摄像机相关的第一曝光周期，该第一曝光周期具有起始点和终止点；以及在第一摄
像机和处理单元之间建立与第一摄像机相关的第一数据传送链接，该第一数据传送链接具
有起始点和终止点，因此，在第一触发信号的起始点、第一图像通信控制信号的起始点、第
一曝光周期的起始点和第一数据传送链接的起始点之后，接收第二触发信号；以及，在第一
通信控制信号的终止点和第一数据传送链接的终止点之前，建立与第二摄像机相关的第二
曝光周期。

[0012] 在至少一个实施例中，本发明提供了一种系统，用于控制多个触发模式下的摄像机，从而获取多个接近相同的图像。该系统包括：处理单元，以及多个摄像机，该多个摄像机
中的每一个都处于触发模式，这样，该处理单元通过触发控制信号链接、复位信号链接、开
关控制信号链接、图像通信信号链接、以及摄像机控制信号链接与每个摄像机电子连接。

[0013] 在另一个实施例中，摄像机处于视频模式。对于视频模式下的摄像机，从第一摄像机获取的第一组帧中采样第一帧，从第二摄像机获取的第二组帧中采样第二帧。这样，第一
帧和第二帧就代表了由视频模式下两个不同摄像机所获取的两个接近相同的图像。

[0014] 在至少一个实施例中，本发明提供了一种方法，用于控制视频模式下的多个摄像机以获取多个接近相同的图像。该方法包括以下步骤：用外部时钟对至少第一摄像机和至
少第二摄像机进行同步；在第一摄像机和处理单元之间建立第一图像通信链接；从视频模
式下的第一摄像机获取的第一组帧中采样第一帧，该第一帧对应于第一时间；在第二摄像
机和处理单元之间建立第二图像通信链接；从视频模式下的第二摄像机获取的第二组帧中
采样第二帧，该第二帧对应于第二时间；这样，该第一时间和第二时间接近相同，因此，第一
图像和第二图像也接近相同。

[0015] 在至少一个实施例中，本发明提供了一种系统，用于控制视频模式下的多个摄像机以获取多个接近相同的图像。该系统包括：处理单元，以及，多个摄像机，该多个摄像机中
的每一个都处于视频模式，其中：处理单元通过起始控制信号链接、复位信号链接、开关控
制信号链接、图像通信信号链接、外部时钟信号链接以及摄像机控制信号链接与每个摄像
机电子连接。

附图说明

[0016] 通过阅读如下相关附图，可以更好地理解本发明的说明书。其中：

[0017] 图1A为根据本发明的至少一种实施例，一种带有典型输入/输出信号的数字摄像机实施例示意图；

[0018] 图1B为根据本发明的至少一种实施例，一种适当的模拟低频开关(适用于(例如)控制12C和/或复位信号)的实施例示意图；

[0019] 图1C为根据本发明的至少一种实施例，一种适当的2x1多通道高频多路复用器(适用于(例如)控制MIPI链接)的实施例示意图；

[0020] 图1D为根据本发明的至少一种实施例，一种用于产生信号和控制信号的适当的移位寄存器的实施例示意图；

[0021] 图2为根据本发明的至少一种实施例的一般电路布置示意图；

[0022] 图3A为根据本发明的至少一种实施例，一种用于适当系统的2n:1MIPI链接多路复用布置的实施例示意图；

[0023] 图3B为根据本发明的至少一种实施例，一种2n:1MIPI链接多路复用布置的实施例示意图，该布置采用带有2:1MIPI开关级联格式的树状结构；

[0024] 图4为根据本发明的至少一种实施例，一种摄像机在触发模式下触发和图像获取过程的时序示意图；

[0025] 图5A为根据图4所示实施例，一种触发过程的时序示意图；

[0026] 图5B为根据图4所示实施例，一种图像获取过程的时序示意图；

[0027] 图6为根据本发明的至少一种实施例，一种摄像机在录像模式下图像获取过程的时序示意图；

[0028] 图7A为根据图6所示实施例，一种详细示出曝光与数据传送过程的时序示意图；

[0029] 图7B为根据图6所示实施例，一种图像获取开关控制过程的时序示意图；

[0030] 图8A为根据本发明的至少一种实施例，一种识别摄像机硬件的步骤流程图；

[0031] 图8B为根据本发明的至少一种实施例，另一种识别摄像机硬件的步骤流程图；

[0032] 图9为根据本发明的至少一种实施例，一种对单独摄像机初始化的步骤流程图；

[0033] 图10为根据本发明的至少一种实施例，一种对n个摄像机初始化的步骤流程图；

[0034] 图11为根据本发明的至少一种实施例，一种获取一个图像的步骤流程图；

[0035] 图12为根据本发明的至少一种实施例，一种获取n个图像的步骤流程图。

具体实施方式

[0036] 在至少一种实施例中，本发明提供了一种系统和方法，其用于最大限度地减少用来操作多个数字摄像机的图像处理器的数量，因而也最大幅度减少了用于触发多个摄像机
中每一个摄像机的各触发信号之间的总体延迟，从而确保每个摄像机获取的图像都接近相
同(near‑identical)。特别是，在其中一个实施例中，本发明提供了一种通过单独图像处理
单元接近同步(near‑simultaneous)地触发多个摄像机的系统和方法。

[0037] 本领域技术人员可以理解，本发明所提供的方法和系统可以各种不同的方式应用于各种适当的电子元件中，且易于本领域技术人员操作。

[0038] 特别是，可以考虑将本发明按照现有或未来的任何电路设备标准进行制造，所述标准包括但并不限于集成电路线路(Inter‑integrated circuit,‘I2C’)以及移动产业处
理器接口(mobile industry processor interface,‘MIPI’)电路设计协议，本文之后将有
详述。因此，可以理解，本发明可以利用任何其他的相关协议，且不会超出本发明所涵盖的
保护范围。

[0039] 在本发明内容中，所考虑的“缓冲器”(buffer)和“存储器”(storage)包括以可获取和可擦写方式储存数字数据的任何相关方法和硬件。在某些实施例中，可以考虑将相应
的缓冲器和相应的存储器设置于本地且与本发明的组成元件硬件线连接。而在其它的布置
中，可以考虑将缓冲器设置于异地且通过相应的电子通讯网络无线连接。可以考虑相应的
缓冲器和相应的存储器与图像处理单元以及至少一个摄像机进行电子通信，下文将作详细
叙述。

[0040] 本发明所构思的“帧”(frame)，“图像”(image)“, 数字图像”(digital image)，以及“视频”(video)包括用于解码视觉数据的任何适当的电子格式，该视觉数据由相应的摄
像机传感器获取并传送至图像处理单元进行储存及进行必要的处理。

[0041] 本发明所构思的“处理单元”(processing unit)包括至少一个图像处理单元、至少一个MIPI摄像机端口、多个GPIO(通用输入输出，general purpose input/output)线路，
该线路可根据任何所需用途进行配置，包括触发控制信号、图像获取控制信号等，以及至少
一组I2C线路。根据至少一个实施例的构思，相应的处理单元是(例如)经过适当配置的
Qualcomm 410处理器。

[0042] 根据本发明构思，“摄像机”(camera)或“数字摄像机”(digital camera)包括任何数量的相应的数字摄像机单元，包括但不限于单色和彩色摄像机，以及本领域技术人员能
够轻易想到的任何其它相应的数字成像单元。可以理解，在至少一个实施例中，相应的摄像
机具有触发模式(也即，其适于在收到触发信号后获取单一图像)；而在另外一些实施例中，
相应的摄像机具有视频模式(也即，其适于获取作为连续移动图像的一系列数字帧)，后文
将有详述。

[0043] 本发明所构思的“多路复用器”(multiplexer)包括本领域技术人员易于理解的任何适当的多路复用单元。

[0044] 根据本发明构思，“线路”(line)或“链接”(link)包括在任何适当的电流、频率和电压下，适于传送数字或模拟电子“脉冲”(pulse)或“信号”(signal)的任何相应的电子连
接。也可以按照本发明特定终端用户的应用需求，将“线路”或“链接”构思为可以包括多个
电子连接或单一电子连接。

[0045] 在根据发明构思，相应的“开关”(switch)可以包括模拟开关或数字开关，也可以进一步包括任何适当的集成电路开关设备，例如但不限于，高速MIPI开关，如Fairchild 
TM
Semiconductors  FSA642UMX低功耗、三端口、高速差分开关，以及8通道I2C开关，如Texas 
TCA9548A低电压8通道I2C开关。当然，也可以采用本领域技术人员易于理解
的其他适当元器件。

[0046] 根据本发明构思，相应的“移位寄存器”(shift register)包含任何适当的集成电TM
路移位寄存器设备，例如：NXP Semiconductors  74LV595串入、并出移位/存储寄存器。当
然，也可以采用本领域技术人员易于理解的其他适当元器件。

[0047] 电路硬件

[0048] 根据本发明构思，本发明提供一种方法和系统，其适于将多个数字摄像机的各触发信号之间产生的延迟最小化，以获取由每个摄像机所捕捉的接近相同的图像。

[0049] 更具体地，本发明构思了一种能够在图像处理单元的一个单独的端口接近同步地触发多个数字摄像机的系统和方法。本领域技术人员可以理解，这种设置需要以可控制的
方式将这些多个图像的图像数据传送至单独图像处理单元。在至少一个实施例中，可以将
多个数字摄像机相应设置为采用至少一个通用输入/输出(“GPIO”)线路的多路复用模式，
后文将作详述。

[0050] 参考图1A，本发明所采用的相应的摄像机10可以具有数个通信链接，其包括但不限于：

[0051] ·摄像机控制通信信号链接12，适用于通过摄像机控制通信信号，控制并设置摄像机。在至少一个实施例中，该摄像机控制通信信号链接可以是两个同步I2C线路。在至少
一个实施例中，同步I2C线路包括数据线路(“SDL”)和时钟线路(“SCL”)；

[0052] ·数据或图像通信信号链接14，适用于通过数据通信信号传送图像数据和接收数据。在至少一个实施例中，该图像通信数据链接是至少一个MIPI通道和至少一个时钟通道；

[0053] ·触发通信信号链接16，适用于通过触发信号触发数字摄像机。在至少一个实施例中，该触发通信链接被构思为一个单独的触发通信线路；

[0054] ·复位通信信号链接18，适用于通过复位信号对数字摄像机起始化并打开摄像机。在至少一个实施例中，该复位通信信号链接是一个单独的复位通信线路；

[0055] ·外部时钟通信信号链接20，适用于通过外部时钟信号对多个数字摄像机同步。在至少一个实施例中，外部时钟通信信号链接是单独的外部时钟通信线路。根据本发明内
容，可以理解，当摄像机处于触发模式时，外部时钟通信信号链接是可选的；但当摄像机处
于视频模式时，可以使用外部时钟通信信号链接。本文后续将有详述；以及

[0056] ·闪光灯通信信号链接22，其适用于触发闪光灯。在至少一个实施例中，闪光灯通信信号链接是单独的闪光灯通信线路。根据本发明内容，可以理解，闪光灯通信信号链接是
可选的，其可依据本发明的终端用户应用的需求而定。本文后续将有详述。

[0057] 上文中已讨论了单独摄像机10所需的多个通信信号链接。可以理解，要以接近同步的方式将来自多个摄像机的多个图像传送至单独图像处理单元是具有挑战性的。

[0058] 图1B，1C及1D为将单独图像处理单元连接至多个摄像机的单元模块图。可以理解，在选择了适当的摄像机操作模式后，整个系统的正确操作也部分取决于适当的软件开发，
在此将作详细叙述。

[0059] 更确切地，根据本发明，图1B示出了相应的2m:1模拟开关2，图1C示出了相应的2x1n
多通道高频多路复用器4，及图1D示出了相应的2位移位寄存器30，其用于将各个摄像机连
接至处理器单元。

[0060] 参考图1B及图2，至少一个实施例构思为包括两个模拟开关2，用于对本发明中每个摄像机10所需的I2C链接12进行多路复用。当然也可以构思其它布置。在至少一个实施例
m
中，也可以构思将专用2:1模拟开关2用于对一系列复位信号18进行多路复用，该一系列复
位信号18用于对本发明中每个摄像机进行复位。

[0061] 参考图1C及图2，在本发明中，MIPI多路复用单元4可以在至少一个实施例中用于对本发明中每个摄像机10所需的MIPI链接进行多路复用。当然也可以考虑其它布置。在至
少一个实施例中，将专用MIPI多路复用器4构思为专用于两个摄像机，且当本发明使用了两
个以上的摄像机时，本领域技术人员可以理解，该MIPI多路复用器可以布置为树形结构，如
图3A及3B所示。

[0062] 参考图1D及图2，根据至少一个实施例，可以采用移位寄存器30将来自处理单元40的单一链接转换为对于本发明中每个摄像机的m个链接，当然也可以考虑其它布置。在至少
一个实施例中，还可以考虑采用移位寄存器30将单一的触发控制信号、开关控制信号和I2C
控制信号转换为相应的m个触发信号，m个用于复位信号和MIPI链接的开关信号，以及m个用
于I2C信号的开关信号，如图2所示。

[0063] 在至少一个实施例中，根据终端用户应用需求，可以考虑采用多个所需的通用输入/输出(GPIO)来交替控制本文在此讨论的各个模拟开关2、MIPI多路复用单元4及移位寄
存器30。

[0064] 如图2所示，在至少一个实施例中，可以考虑通过采用与处理单元40适当连接的移位寄存器30，获取各个触发信号16的时序控制及对图像通信控制信号进行协调。

[0065] 在至少一个实施例中，可以考虑将来自于处理单元40的触发控制信号15发送至移位寄存器30，然后由移位寄存器30以固定间隔产生多个并行的触发信号16；而第二移位寄
存器30用于产生对于MIPI开关4的相应开关信号。在某些实施例中，可以考虑将第三移位寄
存器30用于产生对I2C开关2的开关信号19。

[0066] 因此，在发出主触发信号之后，接着处理单元40向移位寄存器30发出触发控制信号15，移位寄存器30再向每个数字摄像机10分别发出单独的触发信号16。在至少一个实施
例中，可以考虑，触发控制信号15和各个触发信号16都是数字脉冲信号。

[0067] 进一步，还可以考虑，开关2可以是(但不限于)n通道集成电路线路(I2C)开关，其与开关信号19一起用于在各个摄像机之间转换I2C线路3。

[0068] 进一步，可以考虑将数个摄像机10与处理单元40单独的MIPI摄像机端口相连，后文将作详细叙述。

[0069] 多路复用方案

[0070] 参考图1A，1B，1C，1D，2，3A及3B，本领域技术人员可以理解，针对将多个摄像机10连接至单独处理单元40的问题，可以衍生出数个布置方案。

[0071] 参考图3A及3B，本领域技术人员可以理解，根据本发明，可以采用现有的MIPI多路复用方案(图3A)和树形结构(图3B)将多个摄像机10的MIPI链接14连接于处理单元40上。

[0072] 本领域技术人员可以理解，在至少一个实施例中，本发明采用的相应的处理单元40还特别具有至少一个用于连接I2C链接3的I2C通信端口，以及至少一个用于连接MIPI链
接11的MIPI端口。如在此所讨论的，在一些实施例中，I2C通信链接可以构思为包括一个数
据线路(SDL)，一个时钟线路(SCL)；且MIPI通信链接可以包括至少一个MIPI线路和一个时
钟线路。当然，也可以构思其它布置形式。

[0073] 参考图1A，如在此所述，在某些实施例中，当摄像机在视频模式下操作时，相应的摄像机10可以构思为能提供至少一个I2C输入/输出链接(如，摄像机控制通信信号链接
12)，MIPI输出通信信号链接(如，图像通信信号链接14)，触发通信信号链接16，复位通信信
号链接18，以及外部时钟通信信号链接20。因此，本领域技术人员可以理解，本发明需要对
多个I2C链接、多个MIPI链接、多个触发信号及多个复位信号提供多路复用配置。

[0074] 本领域技术人员可以理解，通过参考图1A，1B，1C，1D，图2，3A及3B，可以达到最大降低处理单元40的操作复杂性的目的。

[0075] 触发摄像机

[0076] 参考图2，本领域技术人员可知，一旦接收到来自于UAV导航模块(图未示)或处理单元40的主触发信号，处理单元40将产生触发控制信号15。触发控制信号15通过移位寄存
器30产生多个触发每个摄像机10的单独信号16。

[0077] 对摄像机复位

[0078] 参考图2，可以理解，要对多个数字摄像机10进行复位，需要产生复位信号。可以考虑通过处理单元40发出复位信号5。进一步可以理解，必须产生连续的复位信号5并转换为
多个单独的复位信号17，以对每个摄像机10进行复位。在至少一个实施例中，复位信号通过
开关2被转换为多个单独的复位信号17，且通过移位寄存器30切换信号。

[0079] 控制多路复用的MIPI摄像机

[0080] 参考图2，根据至少一个实施例，第二移位寄存器30用于控制多路复用图像通信信号链接14的操作，其中每个多路复用图像通信信号链接通过与处理单元40相应端口进行通
信的主图像通信信号链接11分别与每个摄像机10相连。

[0081] 因此，可考虑利用移位寄存器30对每个MIPI开关4产生切换信号，该切换信号通过本发明所设计的主图像通信信号链接11和每个摄像机10即可控制数据流传送至处理单元
40。如此，图像通过多图像通信信号链接14被多路传送至主图像通信信号链接11，并输入至
处理单元40的相应端口。

[0082] 控制摄像机的信号切换

[0083] 参考图2，根据至少一个实施例，相应的处理单元40特别具有向摄像机10传送控制信号的单独的输入/输出链接3(在至少一个实施例中，可以是同步I2C线路组12)。

[0084] 因此，为了便于处理单元40与多个摄像机10通信，每个摄像机10都需要依次切换至处理单元40的输入/输出通道，以便在处理单元40和每个摄像机10之间传送数据。

[0085] 参考图2，只要处理单元40需要与所期望的某个摄像机10通信，就由处理单元发出I2C控制信号25。I2C控制信号25经由移位寄存器30产生适当的切换信号19以控制开关2。本
领域技术人员可以理解，经过适当切换，就可以在处理单元40的I2C同步链接3和一个单独
的摄像机26的一个I2C信号之间提供直接连接。

[0086] 根据至少一个实施例，可以用两个开关2(如I2C开关)切换多个摄像机10的控制信号。可以理解，用在n个摄像机的相应开关能够提供在其间切换的n个双通道(例如，一个
SDL，另一个SCL)。也即，相应的开关2能在多个摄像机10和处理单元40的单独输入/输出链
接之间提供n:1的切换。

[0087] 因此，多个摄像机10可以与处理单元40的单独输入/输出链接相连，以便根据需要对每个摄像机10与处理单元40之间的通信进行切换。在此将作进一步详述。

[0088] 接近同步地触发多个摄像机

[0089] 在至少一个实施例中，在飞行模式期间，可以或者通过处理单元40、或者通过UAV的飞行导航单元产生主触发脉冲，来开始获取图像。在此将作进一步详述。

[0090] 根据某些实施例的构思，安装在UAV上的多个摄像机可以接近同步的方式被触发，以便对同一个对象获取接近同步的多个图像。在这些实施例中，可以理解，由于UAV自身也
许处于移动状态，因此被拍摄对象也相对于摄像机模块处于移动状态。在此我们要讨论在
多摄像机应用中，UAV包括n个摄像机的情况。在某些实施例中，n个摄像机中的每个摄像机
都各自具有在预设的不同波长范围内用来获取被拍摄对象反射光的光学滤波器。

[0091] 在至少一个实施例中，连续的触发脉冲之间的主触发脉冲周期(ΔT)依据下式动态计算得出:

[0092]

[0093] 其中，h和v分别为高度和速度，VFOV为飞行方向的摄像机视野，“overlap”为连续图像之间的预期重叠。根据该实施例构思，导航系统产生多个触发信号，以使各图像之间保
持预期的重叠。可以理解的是，我们期望能确保在每个摄像机之间以最小延迟获取各图像，
并在下一个触发信号发出之前保存该图像。

[0094] 触发模式

[0095] 根据本发明的至少一个实施例，处于触发模式的至少一个摄像机在收到来自处理单元的触发信号后，能产生一个单独的帧，如图4，5A和5B所示。

[0096] 图4示出了多摄像机在触发模式下的触发时序过程的方法实施例。在该实施例中，第一触发信号和第二触发信号之间的时长为主触发脉冲周期(ΔT)200，ΔT代表对同一个
摄像机202触发两个连续图像之间的时间间隔。当第一个摄像机被触发204，该摄像机的
MIPI图像通信信号链接随之被激活206，于是产生一个帧并被传送至处理单元208。

[0097] 重复上述过程，第二个摄像机210接着被触发212，该第二个摄像机的MIPI图像通信信号链接接着被激活214，产生第二个帧被传送至处理单元216。

[0098] 第三个摄像机又重复上述过程220，就这样直到摄像机n‑1230，以及摄像机n240。

[0099] 主触发信号(ΔT)发出之后，接着发出第二主触发信号，第一摄像机的第二触发脉冲、第二摄像机的第二触发脉冲、第三摄像机，…，直至第n‑1、第n个摄像机的第二触发脉
冲；再重复上述过程，每个摄像机都接着获取图像；这样，n个不同摄像机就能高效地响应每
个主触发信号而获取n个接近同步的图像。

[0100] 图5A示出了至少一个实施例中一种特定的时序过程。在该实施例中，帧周期(δt)300是对同一个摄像机的两个连续的触发脉冲之间的最小时间。根据本发明构思，该帧周期
(δt)300是摄像机曝光时间(dt2)320、与该摄像机相关的数据传送时间(dt3)304以及摄像机
准备获取下一个图像的预留误差(margin)时间(dt4)的总和。

[0101] 换言之，该时间周期是摄像机从被初始触发到被随即成功触发之间的时间间隔，其包括曝光时间(也称积分时间(integration time))，将所需图像电子传送至缓冲器的时
间，以及为摄像机预留的准备下一个触发脉冲的误差时间。

[0102] 如图5B所示，起始触发信号首先触发第一摄像机310，接着在第一摄像机的预设曝光时间(dt2)内获取图像312。第一摄像机获取图像后，图像在数据传送周期(dt3)内通过第
一摄像机和处理单元之间的数据通信链接314从第一摄像机传送至缓冲器。在至少一个实
施例中，数据通信链接可以是本文所述的MIPI链接。

[0103] 可以理解，在从第一摄像机发出数据之前，必须要建立摄像机和处理单元40之间的数据通信链接316。进一步可以理解，建立的该图像通信链接316必须保持到数据传送周
期(dt3)结束314，以便将第一摄像机发出的图像数据成功发送到缓冲器。

[0104] 根据本发明构思，一旦数据传送结束，在处理单元准备再一次接收和存储下一个摄像机发出的图像之前，还有一个额外的滞后时间(dt4)。进一步，一旦产生了第一摄像机
的初始信号，在获取第一图像并传送至缓冲器之前，每个接下来的摄像机的其它多个触发
信号也随之产生312。

[0105] 另外，根据本发明构思，还需要对每个接下来的各个摄像机建立各自的图像通信链接。在至少一个实施例中，如图3所示，这些图像通信链接由树形多路复用结构中的控制
开关来配置。

[0106] 根据本发明构思，在至少一个实施例中，第一图像通信链接的建立316是紧接在曝光周期(dt2)312结束之前和数据传送周期(dt3)开始之前。然而，可以进一步考虑，在第一图
像通信链接结束之后，紧接着通过本发明所提供的多路复用切换设置迅速建立第二图像通
信链接326。

[0107] 在第一图像通信链接316建立后和第二图像通信链接326建立之前的这段时间内，第二摄像机被触发320，且进入第二摄像机的曝光周期以便获取第二图像322。在至少一个
实施例中，第二摄像机的曝光周期在第二图像通信链接建立326之后才结束。

[0108] 因此，根据本发明构思，在收到相应的单独触发信号后，n个摄像机中的每一个都能在预设的曝光周期(dt2)312，322之内在某个特定的波长范围内紧接着对入射光强度开
始进行积分。紧接着摄像机传感器对所获取图像进行数字化，经由图像通信链接(如MIPI链
接)发送至与处理单元电子通信的缓冲器。因此，可以理解，相应的图像通信链接控制图像
从摄像机传送至处理单元。

[0109] 在本文所述的某些实施例中，图像通信链接是建立数据传送周期(dt3)的MIPI通信链接，其还包括在数据传送实际发生之前的一段很短的时间，以便留出一段时间(误差幅
度(margin of error))以确保处理单元已经收到及存储了缓冲器中的数字图像数据。在一
些实施例中，进一步地，在图像处理单元准备再次接收和存储下一个到来的帧之前，还有一
个额外的滞后时间(dt4)。

[0110] 因此，参考图5A及5B，根据本发明的构思，帧的总延迟时长(dt4)(换言之，也即，触发第一摄像机与触发下一个摄像机之间的时长)与摄像机所需的曝光时间无关，其只是随
着数据传送时间(dt3)和延迟时间(dt4)的变化而变化，如下式：

[0111] dt1＝dt3+dt4

[0112] 因此，本发明提供了一种方法和系统，其能够接近同步地触发第一摄像机和下一个摄像机，以便在这些摄像机处于触发模式下对同一个拍摄对象获取接近同步的多个图
像。

[0113] 更具体地，根据本发明构思，至少一个与第一摄像机相关的第一触发信号，及与下一个摄像机相关的下一个触发信号，都跟与第一摄像机相关的第一图像通信链接，及与第
二摄像机相关的第二图像通信链接有所重叠。因此，在这些与第一摄像机相关的第一触发
信号、第一图像通信链接、第一曝光周期以及第一数据传送链接启动之后，其后的触发信号
和其后的曝光周期都开始于第一通信链接和第一数据传送链接的关闭之前。

[0114] 因此，第一摄像机向处理单元的缓冲器传送图像数据的同时，随后的摄像机被触发并开始曝光。因此，由第一摄像机获取并被传送至处理单元的第一图像，和被第二摄像机
获取并被传送至处理单元的第二图像是接近同步的。

[0115] 视频模式

[0116] 根据本发明的另一实施例，所有摄像机都处于视频模式，其一旦收到来自处理单元的触发信号，即产生数字视频，如图6，7A及7B所示。

[0117] 根据本发明构思，本领域技术人员可以理解，相应的视频包括连续设置的构成移动视频图像的数个独立的数字图像帧。在视频模式下，可以理解，每个单独的摄像机在预设
的帧每秒速率下产生固定的图像帧数(“FPS”)。在某些实施例中，FPS为每秒30至50帧之间。
当然，也可以想到其它的设置。

[0118] 根据本发明，所有处于视频模式的摄像机都应当利用公用外部时钟进行同步，以使从每个摄像机所获取的帧都在同一时间获取(假设其都是在同一时间开始拍摄)。这样就
能确保由所有摄像机获取的图像帧在时间轴线上都是平齐的。

[0119] 在该实施例中，主触发信号触发帧采样过程(frame sampling procedure)。这样，摄像机一直在运行并获取连续的图像帧，但只有被采样的帧将会被储存在处理器的缓冲器
中。缓冲器中的图像最后会被传送至内存。

[0120] 图6示出了多个摄像机在视频模式下的时序过程的一个方法实施例。根据本发明构思，如果每个摄像机的图像通讯链接周期调整的合适，就可以实现从第一摄像机获取的
第一组帧中采样第一帧，从第二摄像机获取的第二组帧中采样第二帧。这样，第一帧和相应
的第二帧就代表由两个不同摄像机所获取的两个接近相同的图像。

[0121] 接着，要考虑必须在第一摄像机和处理单元之间建立图像通信链接(可以是MIPI链接)，该链接使用移位寄存器操作MIPI开关从而产生适当的MIPI切换信号，如图3所示。这
样就使采样的第一帧406从第一摄像机传送至处理单元。

[0122] 接着，要考虑接下来必须在第二摄像机和处理单元之间建立第二图像通信链接，以使采样的第二帧406从第二摄像机传送至处理单元。

[0123] 根据本发明构思，如此类推，第三摄像机，…，直至第n‑1摄像机、第n摄像机都重复该过程。如此，第一帧，第二帧，第三帧，…，直至第n‑1帧和第n帧都可以从n个摄像机的视频
帧中依次被采样，从而获得n个接近同步的帧。

[0124] 主触发脉冲ΔT之后，会建立对于第一摄像机，第一摄像机，第三摄像机，…，直至第n‑1摄像机、第n摄像机的第二通信链接，该过程可以存储从每个摄像机获取的一系列帧
中的数个采样帧。因此，起始信号发出后，就可获得n个视频模式下摄像机的n个接近同步的
采样帧。

[0125] 图7A及7B示出了为每个视频模式下摄像机建立的各自的通信链接的时序过程。更具体地，可以确定，相应的帧周期(δt)是摄像机曝光周期(dt2)、摄像机传送周期(dt3)和为
摄像机的下一帧预留的误差时间(dt4)500的总和，如下式：

[0126] δt＝dt2+dt3+dt4

[0127] 再参考图7B，处理器一旦收到主触发信号500，随即产生相应的控制信号以对每个摄像机的图像通信链接进行控制。根据本发明构思，这些控制信号可以将特定的摄像机在
特定的时间段与处理器有效连接512，如图7B所示。在本实施例中，如果起始信号与摄像机
帧不同步，可以考虑对实际的触发信号进行延迟，最大延迟为一个帧周期(δt)，其由下式得
出：

[0128] δt＝1/FPS

[0129] 因此，根据本发明构思，本发明可以提供一种从视频模式下多个同步摄像机中采样多个图像帧的方法和系统。更具体地，第一帧采样自第一摄像机获取的第一系列帧，第二
帧采样自第二摄像机获取的第二系列帧。因此，第一帧和第二帧代表视频模式下两个不同
摄像机所获取的两个接近相同的图像。

[0130] 通用软件操作

[0131] 根据本发明构思，本领域技术人员可以理解，本发明包括集成的硬件和软件。在至少一个实施例中，摄像机模块软件操作可以分为三个通用操作模式：启动模式(booting 
mode)，预飞行模式(pre‑flight mode)以及飞行模式(in‑flight mode)。我们需要考虑每
种操作模式下的操作过程，以便使摄像机模块正常工作。

[0132] 虽然下文所讨论的是摄像机在触发模式下的相应的软件操作，可以理解，这些软件操作也可以类似方式运用于视频模式下的摄像机中。

[0133] 启动模式

[0134] 参考图8A，根据至少一个实施例，在启动模式期间，处理器检查已连接的预定义设备是否出现，以确保相应的软件驱动器已准备就绪。在至少一个实施例中，预定义设备是本
文所述的至少一个摄像机。

[0135] 具体地，在某些实施例中，软件首先检查摄像机是否出现100。如果摄像机被检测到，软件就会接着相应地对摄像机进行复位并通过预寄存的I2C地址在摄像机和处理单元
之间发送检测数据102。一旦摄像机被复位102，软件便相应地在预定时间内等待摄像机的
确认104。

[0136] 如果没有收到确认106，便忽略该设备，软件进行下一步。如果收到确认108，该设备便保持准备就绪状态110。

[0137] 在其它实施例中，参考图8B，根据本发明构思，要在最开始时复位相应的复位线和IC线101，以便对上文中所述已连接但尚未被预定义的本发明所使用设备进行验证。

[0138] 预飞行模式

[0139] 如图8A及8B所示，一旦处理器成功地初始化了至少一个数字摄像机，根据本发明构思，软件即进入预飞行模式。

[0140] 如图9，10，11及12所示，在至少一个实施例中，预飞行模式包括以下步骤：初始化所有数字摄像机；分别调整所有摄像机的增益时间和曝光时间；以及，如果需要，储存校正
板图像。

[0141] 初始化摄像机

[0142] 参考图9，对于初始化所有摄像机，在至少一个实施例中，可以考虑使用摄像机应用程序接口(API)来操作所有的数字摄像机112。通过初始化第一摄像机以启动摄像机
API114。在至少一个实施例中，通过相应的第一摄像机控制通信链接(可以是I2C链接)对第
一摄像机的寄存器装载数据114。在某些实施例中，必须首先复位摄像机111。

[0143] 本发明技术人员可以理解，必须对每个摄像机分别进行复位111，以便对每个摄像机初始化以获取新图像。在至少一个实施例中，可以通过从处理单元向准备要初始化的摄
像机发送一个简单的数字脉冲来完成复位。本领域技术人员可以理解，可以用脉冲来复位
摄像机。

[0144] 接下来，要对桥(bridge)参数进行配置116。本领域技术人员可以理解，桥是用于将摄像机的并行图像数据转换为适当的格式，以便通过图像通信链接将数据发送至处理单
元。在某些实施例中，如本文所述，相应的图像通信链接可以是MIPI链接，那么本文所讨论
的数据格式就是MIPI格式。可以理解，在某些实施例中，每个摄像机传感器和桥都具有各不
相同的地址。

[0145] 根据本发明构思，用户完成初始化步骤后，然后进入准备退出步骤118，摄像机可以通过API维持无限期的待机状态120；另一方面，如果需要立即使用摄像机，退出指令被拒
绝，然后进入下一步骤，数字摄像机准备运行并被设置为激活模式122。

[0146] 初始化n个摄像机

[0147] 参考图10，根据本发明实施例，需要对n个摄像机进行初始化。对于要进行初始化的摄像机m123，通过摄像机API，软件可以将I2C线路及复位线路相应设置到摄像机m上124，
th
然后启动摄像机API126。然而在该实施例中，如果还未运行到第n 摄像机128，在退出
API132之前，可以将I2C线路和复位线路设为空闲(idle)状态130。接下来，API继续运行，将
I2C线路及复位线路设置到下一个摄像机(即，m+1摄像机)上134。可以理解，该过程可以向
th th
上重复直到第n 摄像机被初始化。当达到第n 摄像机时128，便退出API132。

[0148] 校正摄像机

[0149] 摄像机一旦被复位和初始化后，接着就要考虑通过任何已知的校正步骤分别校正每个摄像机的增益和曝光时间。这还可以包括获取白色参考面板图像。

[0150] 摄像机被校正后，进一步要考虑存储校正图像以进行进一步的辐射测量图像(radiometric image)的校正。本领域技术人员可以理解，这是许多现有技术应用中比较容
易实现的过程。然而在本发明中，必须要执行这个步骤以便为本发明中的各种开关和电路
结构保留适当的时间。

[0151] 飞行中模式

[0152] 在本发明应用于UAV应用的实施例中，要进一步考虑，n个摄像机完成初始化和校正后，本发明就进入飞行操作模式。

[0153] 在该操作模式下，参考图11，摄像机首先从待机状态变为激活模式134，然后对摄像机发送触发脉冲136，接着摄像机获取图像138；该图像随后被储存在专用缓冲器中，摄像
机然后被重新设置为待机状态140，图像数据从缓冲器被存入内存142。

[0154] 参考图12，本领域技术人员可以了解，如果本发明有n个摄像机，就会有n个被获取的图像且被存入专用缓冲器中。在这些实施例中，第n个帧摄像机的API只有在获取了n个帧
并将其存入专用缓冲器后才退出操作，其中，该专用缓冲器的容量足够存储至少n个帧。根
据本发明构思，摄像机API可以适当的方式与相应的切换和触发信号一起协调n个摄像机的
操作，后文将进一步讨论。

[0155] 更进一步，根据本发明，运行所有n个摄像机的n个帧的摄像机API144。对于摄像机m146，设置与摄像机m相应的通信链接148，对摄像机m发送触发脉冲150，摄像机m获取图像
m。其后该图像m被存入专用缓冲器，一旦完成该步骤152，在将摄像机通信链接设置到下一
th
个摄像机(即，m+1)后154，API又开始循环运行。该过程一直向上重复一直运行到第n 摄像
th
机156。当运行到第n 摄像机时，第n个获取的图像从缓冲器存入内存158，API返回起始步
骤，并且在收到下一个主触发信号之前一直保持激活模式。

[0156] 在某些实施例中，触发信号可以自UAV的导航模块发出142，或者由处理单元周期性发送。

[0157] 本发明所述实施例旨在对本发明的组成部件和方法作示意性的说明，但这些实施例不应限制本发明的保护范围。与本说明书总体相一致、且本领域技术人员所能轻易想到
的各种修改和变化，都应纳入本发明范围。其后附的权利要求书也不应被说明书中所举的
个别具体实施例所限，而应赋予其与说明书总体一致的更加广义的内涵。