一种图像传感器及图像处理系统转让专利

申请号 : CN202110425391.1

文献号 : CN113132656B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈守顺郭梦晗

申请人 : 豪威芯仑传感器(上海)有限公司

摘要 :

本发明公开了一种图像传感器及图像处理系统。其中,图像传感器至少包括:像素采集电路阵列、活跃度检测单元、低功耗控制单元和读出单元,且像素采集电路阵列分别与活跃度检测单元、低功耗控制单元、读出单元相耦接。像素采集电路阵列由多个像素采集电路组成,像素采集电路监测视场中的光强变化,并在光强变化满足一定条件时进入触发状态;活跃度检测单元监测全局活跃度检测信号线上的电流值,并在电流值小于活跃度阈值时,将低活跃度使能信号置为有效;低功耗控制单元在低活跃度使能信号有效时,将全局低功耗使能信号置为有效;读出单元在全局低功耗使能信号有效时被复位。

权利要求 :

1.一种图像传感器,包括:

由多个像素采集电路组成的像素采集电路阵列,所述像素采集电路适于监测视场中的光强变化,并在光强变化满足一定条件时进入触发状态;

活跃度检测单元,经全局活跃度检测信号线与所述像素采集电路阵列耦接,适于监测所述全局活跃度检测信号线上的电流值,并在所述电流值小于活跃度阈值时,将低活跃度使能信号置为有效,其中,所述电流值与所述像素采集电路阵列中处于触发状态的像素采集电路的数目正相关;

低功耗控制单元,其一端经全局低功耗使能信号线与所述像素采集电路阵列和读出单元耦接,另一端与所述活跃度检测单元耦接,适于在所述低活跃度使能信号有效时,将全局低功耗使能信号置为有效;

读出单元,分别与所述像素采集电路阵列和低功耗控制单元耦接,适于在所述全局低功耗使能信号有效时被复位,

其中,所述像素采集电路至少包括相互耦接的锁存器和选通电流源,其中所述选通电流源包括电流源和由所述锁存器的输出信号来控制的开关,以及,在所述锁存器被置位时,所述选通电流源中的开关导通,所述电流源的电流流过所述全局活跃度检测信号线;在所述锁存器被复位时,所述选通电流源中的开关关断,所述电流源的电流不流过所述全局活跃度检测信号线;或

所述像素采集电路至少包括触发生成模块和锁存器,其中所述触发生成模块包括:滤波放大器,适于对电信号进行滤波和/或放大,生成处理后的电信号;阈值比较子模块,适于在所述处理后的电信号满足阈值条件时,生成触发信号,所述阈值比较子模块包括第一比较器、第二比较器和或门;其中,所述全局活跃度检测信号线为所述或门的电源线或地线、所述锁存器的电源线或地线,以监测其上的动态电流。

2.如权利要求1所述的图像传感器,还包括:全局控制单元,经全局复位信号线与所述像素采集电路阵列耦接,适于在所述图像传感器上电时,复位所述像素采集电路阵列,以及,在像素采集电路阵列保持稳定的初始状态时,解除复位,使得所述像素采集电路阵列开始工作。

3.如权利要求1所述的图像传感器,其中,所述像素采集电路包括:光电探测模块,适于实时监测照射在其上的光信号,并输出相应的电信号;

触发生成模块,适于在所述电信号满足阈值条件时,生成触发信号;

锁存器,适于在接收到所述触发信号时被置位;

逻辑模块,包括握手协议控制逻辑和自定时复位逻辑,其中,所述自定时复位逻辑在所述像素采集电路进入自定时工作模式时被激活;

所述锁存器还适于在自定时工作模式下,在所述像素采集电路保持触发状态一段时间后被复位。

4.如权利要求3所述的图像传感器,在所述像素采集电路中,所述触发生成模块包括:滤波放大器,适于对所述电信号进行滤波和/或放大,生成处理后的电信号;

阈值比较子模块,适于在所述处理后的电信号满足阈值条件时,生成触发信号,所述阈值比较子模块包括第一比较器、第二比较器和或门。

5.如权利要求3所述的图像传感器,在所述像素采集电路中,所述自定时复位逻辑包括:

第二反相器,其一端连接所述锁存器的输出端,另一端连接第三晶体管的栅极;

第三晶体管和第一电容,其中,所述第三晶体管的源极与所述第一电容的下极板均接地,所述第三晶体管的漏极与所述第一电容的上极板均连接到第三电流源;

第三电流源,其另一端接电源;

依次连接的第三反相器和第四反相器,其中,第三反相器的另一端连接所述第一电容的上极板,第四反相器的另一端输出自定时复位输出信号。

6.如权利要求1所述的图像传感器,在所述像素采集电路中,所述选通电流源,包括:第一电流源,其一端与第一晶体管的漏极连接,另一端连接到电源;

第一晶体管,其栅极连接所述锁存器的输出端,其源极连接所述全局活跃度检测信号线。

7.如权利要求1所述的图像传感器,在所述像素采集电路中,所述选通电流源包括:第一反相器,其一端连接所述锁存器的输出端,另一端连接第二晶体管的栅极;

第二晶体管,其源极连接至所述全局活跃度检测信号线;

第二电流源,其一端与所述第二晶体管的漏极连接,另一端接地。

8.如权利要求1所述的图像传感器,其中,所述活跃度检测单元包括:电流转接器,其一端连接所述全局活跃度检测信号线,其另一端连接至电流模式比较器,适于将全局活跃度检测信号线钳位于一固定电平,以及,复制所述全局活跃度检测信号线上的电流信号并输出至所述电流模式比较器;

电流模式比较器,其正输入端连接活跃度阈值信号,其负输入端连接所述电流信号,适于在所述电流信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。

9.如权利要求1所述的图像传感器,其中,所述活跃度检测单元包括:电流转接器,其一端连接所述全局活跃度检测信号线,其另一端连接至电流模式模数转换器,适于将全局活跃度检测信号线钳位于一固定电平,以及,复制所述全局活跃度检测信号线上的电流信号并输出至所述电流模式模数转换器;

电流模式模数转换器,适于将所述电流信号转换为数字信号;

数字比较器,其正输入端连接活跃度阈值信号,其负输入端连接所述数字信号,适于在所述数字信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。

10.如权利要求1所述的图像传感器,其中,所述活跃度检测单元包括:电流转接器,其一端连接所述全局活跃度检测信号线,其另一端连接至电流电压转换器,适于将全局活跃度检测信号线钳位于一固定电平,以及,复制所述全局活跃度检测信号线上的电流信号并输出至所述电流电压转换器;

电流电压转换器,适于将所述电流信号转换为电压信号;

电压模式比较器,其正输入端连接活跃度阈值信号,其负输入端连接所述电压信号,适于在所述电压信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。

11.如权利要求1所述的图像传感器,其中,所述活跃度检测单元包括:电流转接器,其一端连接所述全局活跃度检测信号线,其另一端连接至电流电压转换器,适于将全局活跃度检测信号线钳位于一固定电平,以及,复制所述全局活跃度检测信号线上的电流信号并输出至所述电流电压转换器;

电流电压转换器,适于将所述电流信号转换为电压信号;

电压模式模数转换器,适于将所述电压信号转换为数字信号;

数字比较器,其正输入端连接活跃度阈值信号,其负输入端连接所述数字信号,适于在所述数字信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。

12.如权利要求1‑11中任一项所述的图像传感器,其中,所述活跃度检测单元还适于在所述电流值不小于活跃度阈值时,将输出的低活跃度使能信号置为无效;

所述低功耗控制单元还适于在所述低活跃度使能信号无效时,将所述全局低功耗使能信号置为无效;

所述像素采集电路阵列还适于在所述全局低功耗使能信号无效时,退出自定时工作模式;

所述读出单元还适于在所述全局低功耗使能信号无效时,解除复位状态,以响应处于触发状态的像素采集电路,并输出被触发像素采集电路的事件数据。

13.一种图像处理系统,包括:如权利要求1‑12中任一项所述的图像传感器;

与所述图像传感器耦接的计算设备,适于对来自所述图像传感器的事件数据进行处理。

说明书 :

一种图像传感器及图像处理系统

技术领域

[0001] 本发明涉及图像采集技术领域,尤其涉及一种图像传感器。

背景技术

[0002] 在图像传感器的诸多应用领域之中,对运动物体的检测是其中的一个重要的方面。在该应用领域,相对于传统的图像传感器(如有源像素传感器),动态视觉图像传感器
(以下简称为,动态视觉传感器)因其独特的优势而逐渐受到人们的重视。
[0003] 基于仿生原理设计的像素单元(或称之为,像素采集电路),动态视觉传感器可以实时连续地响应视野中的光强变化而不需要任何曝光时间,这使其可以较为容易地检测到
高速运动物体。此外,由于动态视觉传感器仅响应并输出视野中光强变化的区域所对应的
像素单元的位置信息、并自动屏蔽掉无用的背景信息,使得它还具有输出数据量小、占用带
宽低等优点。动态视觉传感器的上述特点,使得后端的图像处理系统可以直接获取并处理
视野中有用的动态信息,从而大大降低了对其存储和算力的要求,并可以做到较好的实时
性。
[0004] 由于像素单元需要连续监控视场中的光强变化,因此其需要一直处于工作状态并消耗电能。当视场中没有动态信息时,像素单元仅消耗一定的静态功耗。当视场中存在动态
信息时,除像素单元自身的静态功耗外,还消耗动态功耗,这部分动态功耗不仅包括像素阵
列外围控制电路读出和管理像素单元所消耗的动态功耗,还包括动态视觉传感器输出接口
在传输数据时所消耗的动态功耗。对于动态视觉传感器的一些应用场合,例如在视频监控
领域,视场中可能长时间没有运动发生,而仅在较短时间内存在需要检测的运动信息。视场
中没有有效运动发生,即视场中有用的动态信息很少时,此时动态视觉传感器还是会输出
一些杂散的噪声数据,这其中既包括动态视觉传感器自身的热噪声干扰,也包括因背景光
强缓慢变化或者动态视觉传感器与背景的相对运动而错误生成的一些数据。
[0005] 因此,如何有效地识别出这种动态信息很少的情况,并在这种情况下降低图像处理系统的整体功耗,就显得尤为重要。
[0006] 现有的识别方法是基于后端算法来实现的,即通过后端算法分析动态视觉传感器输出的数据量的多少,来控制其工作状态。这种方法虽然可以控制像素单元阵列在低功耗
模式下的静态功耗,但是它却无法降低动态功耗。而且,后端处理系统也需要持续工作以对
低功耗模式进行判断和识别,这无疑还是增加了整个图像处理系统的功耗开销。因此,基于
后端算法来降低系统的整体功耗有一定的局限性。
[0007] 基于上述描述,需要一种新的图像传感器及图像处理系统,来解决上述问题。

发明内容

[0008] 本发明提供了一种图像传感器,以力图解决或至少缓解上面存在的至少一个问题。
[0009] 根据本发明的一个方面,提供了一种图像传感器,包括:由多个像素采集电路组成的像素采集电路阵列,像素采集电路适于监测视场中的光强变化,并在光强变化满足一定
条件时进入触发状态;活跃度检测单元,经全局活跃度检测信号线与像素采集电路阵列耦
接,适于监测全局活跃度检测信号线上的电流值,并在电流值小于活跃度阈值时,将低活跃
度使能信号置为有效,其中电流值与像素采集电路阵列中处于触发状态的像素采集电路的
数目正相关;低功耗控制单元,其一端经全局低功耗使能信号线与像素采集电路阵列和读
出单元耦接,另一端与活跃度检测单元耦接,适于在低活跃度使能信号有效时,将全局低功
耗使能信号置为有效;读出单元,分别与像素采集电路阵列和低功耗控制单元耦接,适于在
全局低功耗使能信号有效时被复位。
[0010] 可选地,根据本发明的图像传感器还包括全局控制单元,经全局复位信号线与像素采集电路阵列耦接,适于在图像传感器上电时,复位像素采集电路阵列,以及,在像素采
集电路阵列保持稳定的初始状态时,解除复位,使得像素采集电路阵列开始工作。
[0011] 可选地,在根据本发明的图像传感器中,像素采集电路包括:光电探测模块,适于实时监测照射在其上的光信号,并输出相应的电信号;触发生成模块,适于在电信号满足阈
值条件时,生成触发信号;锁存器,适于在接收到触发信号时被置位;逻辑模块,包括握手协
议控制逻辑和自定时复位逻辑,其中,自定时复位逻辑在所述像素采集电路进入自定时工
作模式时被激活;锁存器还适于在自定时工作模式下,在像素采集电路保持触发状态一段
时间后被复位。
[0012] 可选地,在根据本发明的图像传感器中,触发生成模块包括:滤波放大器,适于对电信号进行滤波和/或放大,生成处理后的电信号;阈值比较子模块,适于在处理后的电信
号满足阈值条件时,生成触发信号,阈值比较子模块包括第一比较器、第二比较器和或门。
此外,全局活跃度检测信号线布置为或门的电源线或地线、锁存器的电源线或地线,以监测
其上的动态电流。
[0013] 可选地,在根据本发明的图像传感器中,像素采集电路还包括:选通电流源,包括电流源和由锁存器的输出信号来控制的开关,以及在锁存器被置位时,选通电流源中的开
关导通,电流源的电流流过全局活跃度检测信号线;在锁存器被复位时,选通电流源中的开
关关断,电流源的电流不流过全局活跃度检测信号线。
[0014] 可选地,在根据本发明的图像传感器中,自定时复位逻辑包括:第二反相器,其一端连接锁存器的输出端,另一端连接第三晶体管的栅极;第三晶体管和第一电容,其中,第
三晶体管的源极与第一电容的下极板均接地,第三晶体管的漏极与第一电容的上极板均连
接到第三电流源;第三电流源,其另一端接电源;依次连接的第三反相器和第四反相器,其
中,第三反相器的另一端连接第一电容的上极板,第四反相器的另一端输出自定时复位输
出信号。
[0015] 可选地,在根据本发明的图像传感器中,选通电流源包括:第一电流源,其一端与第一晶体管的漏极连接,另一端连接到电源;第一晶体管,其栅极连接锁存器的输出端,其
源极连接全局活跃度检测信号线。
[0016] 可选地,在根据本发明的图像传感器中,选通电流源包括:第一反相器,其一端连接锁存器的输出端,另一端连接第二晶体管的栅极;第二晶体管,其源极连接至全局活跃度
检测信号线;第二电流源,其一端与第二晶体管的漏极连接,另一端接地。
[0017] 可选地,在根据本发明的图像传感器中,活跃度检测单元包括:电流转接器,其一端连接全局活跃度检测信号线,其另一端连接至电流模式比较器,适于将全局活跃度检测
信号线钳位于一固定电平,以及,复制全局活跃度检测信号线上的电流信号并输出至电流
模式比较器;电流模式比较器,其正输入端连接活跃度阈值信号,其负输入端连接电流信
号,适于在电流信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。
[0018] 可选地,在根据本发明的图像传感器中,活跃度检测单元包括:电流转接器,其一端连接全局活跃度检测信号线,其另一端连接至电流模式模数转换器,适于将全局活跃度
检测信号线钳位于一固定电平,以及,复制全局活跃度检测信号线上的电流信号并输出至
电流模式模数转换器;电流模式模数转换器,适于将电流信号转换为数字信号;数字比较
器,其正输入端连接活跃度阈值信号,其负输入端连接数字信号,适于在数字信号小于活跃
度阈值信号时,将低活跃度使能信号置为有效。
[0019] 可选地,在根据本发明的图像传感器中,活跃度检测单元包括:电流转接器,其一端连接全局活跃度检测信号线,其另一端连接至电流电压转换器,适于将全局活跃度检测
信号线钳位于一固定电平,以及,复制全局活跃度检测信号线上的电流信号并输出至电流
电压转换器;电流电压转换器,适于将电流信号转换为电压信号;电压模式比较器,其正输
入端连接活跃度阈值信号,其负输入端连接电压信号,适于在电压信号小于活跃度阈值信
号时,将低活跃度使能信号置为有效。
[0020] 可选地,在根据本发明的图像传感器中,活跃度检测单元包括:电流转接器,其一端连接全局活跃度检测信号线,其另一端连接至电流电压转换器,适于将全局活跃度检测
信号线钳位于一固定电平,以及,复制全局活跃度检测信号线上的电流信号并输出至电流
电压转换器;电流电压转换器,适于将电流信号转换为电压信号;电压模式模数转换器,适
于将电压信号转换为数字信号;数字比较器,其正输入端连接活跃度阈值信号,其负输入端
连接数字信号,适于在数字信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。
[0021] 可选地,在根据本发明的图像传感器中,活跃度检测单元还适于在电流值不小于活跃度阈值时,将输出的低活跃度使能信号置为无效;低功耗控制单元还适于在低活跃度
使能信号无效时,将全局低功耗使能信号置为无效;像素采集电路阵列还适于在全局低功
耗使能信号无效时,退出自定时工作模式;读出单元还适于在全局低功耗使能信号无效时,
解除复位状态,以响应处于触发状态的像素采集电路,并输出被触发像素采集电路的事件
数据。
[0022] 根据本发明的另一个方面,提供了一种图像处理系统,包括:如上所述的图像传感器;与图像传感器耦接的计算设备,适于对来自图像传感器的事件数据进行处理。
[0023] 根据本发明的图像传感器,增加了活跃度检测单元,通过全局活跃度检测信号线耦接到像素采集电路阵列。活跃度检测单元通过测量该全局活跃度检测信号线上电流值的
大小,就可以判断视场中动态信息的多少,即视场的活跃度信息。当视场活跃度较低、视场
中动态信息较少时,低功耗控制单元令图像传感器进入低功耗模式,图像传感器以很低的
功耗自行监测视场中的动态信息,这种监测不依赖于读出单元对事件数据的读出以及后端
算法的运算,从而达到降低图像功耗的目的。

附图说明

[0024] 为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面
旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述
以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的
部件或元素。
[0025] 图1示出了根据本发明一些实施例的图像处理系统100的示意图;
[0026] 图2示出了根据本发明一些实施例的图像传感器200的示意图;
[0027] 图3A至图3D示出了根据本发明一个实施例的图像传感器200的工作流程的示例;图3E示出了其中全局活跃度检测信号线上的电流值及低活跃度使能信号的具体状态;
[0028] 图4A和图4B分别示出了根据本发明一个实施例的像素采集电路400的示意图;
[0029] 图5A和图5B分别示出了根据本发明一个实施例的选通电流源450的示意图;
[0030] 图6示出了根据本发明一个实施例的像素采集电路400中自定时复位逻辑的示意图;
[0031] 图7A至图7D分别示出了根据本发明一些实施例的活跃度检测单元220的示意图。

具体实施方式

[0032] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例
所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围
完整的传达给本领域的技术人员。
[0033] 图1示出了根据本发明一些实施例的图像处理系统100的示意图。
[0034] 如图1所示,图像处理系统100包括相互耦接的图像传感器200和计算设备120。其中,图像传感器200能够检测运动在时空域上的不连续性。计算设备120例如可以被实现为
图像处理设备。
[0035] 图像传感器200内部具有由多个像素单元构成的像素单元阵列,其中每个像素单元只有在感应到光强变化(即,视场中有运动变化)时,才会被触发,响应并记录光强快速变
化的区域,生成光强变化信息(如,光强变化的时间戳和光强阈值)以及被触发像素单元的
坐标位置,作为触发事件的事件数据。图像传感器200将事件数据传送给计算设备120。计算
设备120对事件数据进行处理,以便于下一步的计算和应用。
[0036] 计算设备120可以实现为服务器或服务器集群,也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然,计算设备120还可以实现为小尺寸便携(或者移动)
电子设备的一部分,甚至是微型计算模块。本发明的实施例对此不做具体限制。
[0037] 根据本发明的实现方式,图像处理系统100的工作模式包括低功耗模式和正常工作模式。
[0038] 在低功耗模式下,图像传感器200不再输出事件数据至外部的计算设备120,只是以很低的功耗自行监测视场中的动态信息,这种监测不依赖于事件数据的输出以及后端算
法的运算。计算设备120由于不需要接收和处理任何事件数据,因此可以处于完全的休眠状
态。
[0039] 当视场中出现有效运动时,被触发的像素单元的数目逐渐增多,图像传感器200监测到这种变化,并在达到一定条件时进入正常工作模式。此时,图像传感器200输出被触发
像素单元的事件数据给计算设备120。在正常工作模式下,图像传感器200的工作原理和工
作过程与一般的动态视觉传感器没有差别,在此不再赘述。
[0040] 与基于后端算法来降低系统的整体功耗不同,图像处理系统100主要依赖于前端图像传感器200,来识别视场中动态信息较少的情况,并以此来启动低功耗模式,以降低系
统的整体功耗。同时,在低功耗模式下,图像传感器200以很低的功耗自行监测视场中的动
态信息,这种监测不依赖与事件数据的输出以及后端计算设备120的运算,因此可以关闭数
据读出电路和计算设备120,以达到进一步降低系统100功耗的目的。
[0041] 图2示出了根据本发明一些实施例的图像传感器200的示意图。
[0042] 如图2所示,图像传感器200至少包括:像素采集电路阵列210、活跃度检测单元220、低功耗控制单元230、读出单元240和全局控制单元250。
[0043] 其中,像素采集电路阵列210作为图像传感器200的核心部分,由在行列方向上均匀分布的多个像素采集电路400(或称为,像素单元)组成(如图2示出了一个3×3大小的像
素采集电路阵列,不限于此)。像素采集电路阵列210分别与活跃度检测单元220、低功耗控
制单元230、读出单元240和全局控制单元250相耦接。更具体地,在一种实施例中,像素采集
电路阵列210经由全局活跃度检测信号线和活跃度检测单元220相耦接,经由全局复位信号
线和全局控制单元250相耦接;同时,像素采集电路阵列210和读出单元240分别经由全局低
功耗使能信号线与低功耗控制单元230相耦接;以及,像素采集电路阵列210还经由行请求
线、行选择线、列请求线和列选择线与读出单元240相耦接。
[0044] 根据本发明的实施方式,像素采集电路实时监测视场中的光强变化,并在光强变化满足一定条件时进入触发状态。
[0045] 全局控制单元250负责在图像传感器200上电时刻复位整个像素采集电路阵列210,以确保每个像素采集电路有稳定的初始状态;以及,在像素采集电路阵列210保持稳定
的初始状态时,解除复位,使得像素采集电路阵列210开始工作。
[0046] 读出单元240包括行选择子单元242、列选择子单元244和读出控制子单元246。行选择子单元242在行方向上管理像素采集电路阵列210,列选择子单元244在列方向上管理
像素采集电路阵列210,读出控制子单元246协调行选择子单元242与列选择子单元244,以
完成换行等操作。行选择子单元242和列选择子单元244可以是随机扫描的判决器,或者是
顺序扫描的选择扫描电路,在此不再赘述。
[0047] 相比于一般的动态视觉传感器,图像传感器200添加了活跃度检测单元220和低功耗控制单元230。活跃度检测单元220监测全局活跃度检测信号线上的电流值。根据本发明
的实施例,全局活跃度检测信号线所流经的总电流值的大小,与像素采集电路阵列210中处
于触发状态的像素单元的数目成正比,即被触发的像素单元数目越多,全局活跃度检测信
号线上的电流值就越大,反之,电流值越小。当电流值小于活跃度阈值时,活跃度检测单元
220将低活跃度使能信号置为有效,表明此时视场中无有效运动发生。
[0048] 低功耗控制单元230接收活跃度检测单元220输出的低活跃度使能信号,并在低活跃度使能信号有效时,将全局低功耗使能信号置为有效,并输出给像素采集电路阵列210和
读出单元240,此时整个图像传感器200进入低功耗模式。
[0049] 在低功耗模式中,像素采集电路进入自定时工作模式,其内部的自定时复位逻辑被激活。同时,像素采集电路依然可以检测外界视场中光强的变化,并进入触发状态,在其
进入触发状态后,像素采集电路会保持触发状态一段时间,之后自行撤销触发状态,重新开
始检测外界光强变化。
[0050] 根据本发明的一种实施例,在自定时工作模式下,像素采集电路内部的模拟模块也工作于低偏置电流状态,以降低像素采集电路阵列210的静态功耗。
[0051] 同时,读出单元240在全局低功耗使能信号有效时被复位。行选择子单元242、列选择子单元244和读出控制子单元246均不再工作。此时,读出单元240不消耗任何动态功耗,
后端的计算设备120也可以进入休眠状态,由此大大降低了图像传感器200以及图像处理系
统100的功耗。
[0052] 另一方面,在低功耗模式中,活跃度检测单元220还会实时监测全局活跃度检测信号线所流经的电流值的大小。当视场中出现有效运动时,被触发的像素单元的数目逐渐增
多,全局活跃度检测信号线上流经的总电流增大,当电流值不小于活跃度阈值时,活跃度检
测单元220将低活跃度使能信号置为无效,低功耗控制单元230随之将低功耗使能信号也置
为无效,系统即退出低功耗模式而进入正常工作模式。此时,像素采集电路也退出自定时工
作模式,读出单元240也解除复位状态。
[0053] 在正常工作模式,读出单元240管理像素采集电路阵列210,其输出被触发的像素采集电路的事件数据。在正常工作模式下,本发明给出的图像传感器200的工作原理和工作
过程与一般的动态视觉传感器没有差别,在此不再赘述。
[0054] 为进一步说明图像传感器200的工作流程,图3A至图3D通过一个实例来说明根据本发明一个实施例的图像传感器200的工作流程。图3E给出了这个实例中全局活跃度检测
信号线上的电流值及低活跃度使能信号的具体状态。应当指出,图3E中对电流信号和低活
跃度使能信号的信号值的描述仅作为示例,以便于说明在整个过程中,这两个信号的变化
状态,并不限制其信号值的大小。
[0055] 如图3A至图3D所示,手从左向右划过图像传感器的视场区域。初始时刻,如图3A,手位于视场区域之外,此时视场中没有运动发生,动态信息很少,全局活跃度检测信号线上
的总电流也很小,其小于活跃度阈值(如图3E中的虚线所示),因此低活跃度使能信号有效,
图像传感器200工作于低功耗模式且没有事件数据输出,图像传感器200以很低的功耗自行
监测视场中的动态信息。
[0056] 在图3B中,手开始运动至图像传感器200的视场区域,此时被触发的像素采集电路逐渐增多,流经全局活跃度检测信号线上的电流值也逐渐增大,当该电流值不小于活跃度
阈值时,如图3E中A点所示,活跃度检测单元220将低活跃度使能信号置为无效,低功耗控制
单元230随之将低功耗使能信号也置为无效,图像传感器200退出低功耗模式,进入正常工
作模式。在正常工作模式下,手的运动被检测并且相应的事件数据被输出至外部的计算设
备120。
[0057] 从图3B至图3C,运动的手一直位于图像传感器的视场区域,因此,全局活跃度检测信号线上的电流值始终高于活跃度阈值,图像传感器200一直处于正常工作模式,手的运动
一直被检出并输出相应的事件数据。
[0058] 在图3D中,手运动至视场区域之外,由于被触发的像素单元的数目减少,全局活跃度检测信号线上的电流值逐渐降低,当其低于活跃度阈值时,如图3E中B点所示,活跃度检
测单元220将低活跃度信号再次置为有效,图像传感器200再次进入低功耗模式。
[0059] 图4A和图4B分别示出了根据本发明一个实施例的像素采集电路400的示意图。
[0060] 在图4A所示的实施例中,像素采集电路400包括:光电探测模块410、触发生成模块420、锁存器430和逻辑模块440。其中,触发生成模块420又包括:滤波放大器422和阈值比较
子模块424。逻辑模块440包括握手协议控制逻辑和自定时复位逻辑。
[0061] 更具体地,锁存器430通过全局复位信号线与全局控制单元250相耦接;逻辑模块440通过行请求线、行选择线、列请求线和列选择线与读出单元240相耦接;滤波放大器422、
阈值比较子模块424、锁存器430和逻辑模块440分别通过全局低功耗使能信号线与低功耗
控制单元230相耦接,阈值比较子模块424和锁存器430分别通过全局活跃度检测信号线与
活跃度检测单元220相耦接。
[0062] 根据一种实施例,光电探测模块410实时监测照射在其上的光信号,并输出相应的电信号。
[0063] 触发生成模块420在电信号满足阈值条件时,生成触发信号。更具体地,滤波放大器422先对光电探测模块410所输出的电信号进行滤波和/或放大处理,生成处理后的电信
号;阈值比较子模块424再判断该处理后的电信号是否满足阈值条件,并在处理后的电信号
满足阈值条件时,生成触发信号。在一种实施例中滤波放大器422为高通滤波放大器,阈值
比较子模块424包括第一比较器(VC1)、第二比较器(VC2)和或门。
[0064] 锁存器430与阈值比较子模块424相耦接,在接收到触发信号(即,处理后的电信号满足阈值条件)时被置位。
[0065] 逻辑模块440与锁存器430耦接,其包含像素采集电路400的工作逻辑。例如,握手协议控制逻辑负责像素采集电路400与周边电路进行通信。而自定时复位逻辑在像素采集
电路400进入自定时工作模式时(也就是在图像传感器200进入低功耗模式时),且像素采集
电路400被触发时被激活。此时,像素采集电路400会自动保持触发状态一段时间(即所谓的
“自定时”),之后,复位锁存器430,使得像素采集电路400自动解除触发状态,并重新检监测
外界的光强变化。
[0066] 此外,全局活跃度检测信号线布置为阈值比较子模块424的或门的电源线或地线、以及、锁存器430的电源线或地线,以监测这两个模块上的动态电流,这样,通过检测全局活
跃度检测信号线上流经的电流值大小便可判断视场的活跃度信息。
[0067] 与一般动态视觉传感器的像素采集电路相比,本实施例的像素采集电路400的差别主要在以下两点:首先,在逻辑模块中添加了自定时复位逻辑;其次,是将全局活跃度检
测信号线引入阈值比较子模块424中的或门以及锁存器430之中。当像素采集电路400被触
发时,第一比较器VC1或者第二比较器VC2的输出变为高电平,或门的输出也会变为高电平
并且锁存器被置位。由此,在像素采集电路被触发时,由于或门以及锁存器等数字电路模块
的输入输出发生翻转,它们会消耗一定的动态电流;反之,当像素采集电路没有被触发时,
这些数字模块不会消耗电流。
[0068] 相较于图4A,在图4B所示的实施例中,像素采集电路400除了光电探测模块410、滤波放大器422、阈值比较子模块424、锁存器430和逻辑模块440之外,还包括选通电流源450。
该选通电流源450分别与锁存器430、逻辑模块440、滤波放大器422耦接。同时,全局活跃度
检测信号线连接至选通电流源450,其他信号线的连接方式同图4A。
[0069] 在一种实施例中,选通电流源450包括电流源和由锁存器430的输出信号来控制的开关。当像素采集电路400被触发时,锁存器430被置位,选通电流源450中的开关导通,电流
源的电流流过全局活跃度检测信号线;当像素采集电路400未被触发时,锁存器430被复位,
选通电流源450中的开关关断,电流源的电流不流过全局活跃度检测信号线。通过这种方
式,全局活跃度检测信号线上的总电流值的大小也可以表征视场的活跃度信息。
[0070] 图5A和图5B分别示出了根据本发明一个实施例的选通电流源450的示意图。
[0071] 在图5A中,选通电流源450包括第一电流源I1和第一晶体管M1。其中M1的栅极接至锁存器430的输出,M1的源极连接至全局活跃度检测信号线,在此全局活跃度检测信号线应
维持在一个低电平,以确保锁存器430输出为高电平时M1可以导通。当像素采集电路400被
触发时,锁存器430被置位,其输出变为高电平,第一晶体管M1导通,第一电流源I1的电流便
流入全局活跃度检测信号线;当像素采集电路400未触发时,锁存器430维持复位,其输出为
低电平,第一晶体管M1关断,第一电流源I1的电流不会流过全局活跃度检测信号线。
[0072] 在图5B给出的实施例中,选通电流源450包括第二电流源I2、第二晶体管M2和第一反相器。如图5B,M2是一个P型晶体管,第一反相器的一端连接锁存器430的输出端,另一端
连接第二晶体管M2的栅极,即,锁存器430的输出经第一反相器后接至第二晶体管M2的栅
极,M2的源极接至全局活跃度检测信号线。第二电流源I2的一端与M2的漏极连接,另一端接
地。在此,全局活跃度检测信号线应维持在一个高电平,以确保锁存器430输出为高电平时
M2可以导通。当像素采集电路400被触发时,锁存器430被置位,其输出变为高电平,第二晶
体管M2导通,第二电流源I2的电流便从全局活跃度检测信号线流出;当像素采集电路400未
触发时,锁存器430维持复位,其输出为低电平,第二晶体管M2关断,第二电流源I2的电流不
会流过全局活跃度检测信号线。
[0073] 图6示出了根据本发明一个实施例的像素采集电路400中自定时复位逻辑的示意图。
[0074] 如图6所示,自定时复位逻辑包括:第三晶体管M3、第三电流源I3、第一电容C1以及三个反相器(第二反相器、第三反相器和第四反相器)。其中,第二反相器的一端连接锁存器
430的输出端,另一端连接第三晶体管的栅极;第三晶体管的源极与第一电容的下极板均接
地,第三晶体管的漏极与第一电容的上极板均连接到第三电流源;第三电流源的另一端接
电源;第三反相器和第四反相器依次连接,其中,第三反相器的另一端连接第一电容的上极
板,第四反相器的另一端输出自定时复位输出信号。当自定时复位输出信号有效时,复位锁
存器430。
[0075] 当像素采集电路400未被触发时,锁存器430输出为低电位,第三晶体管M3的栅极为高电位,M3导通,C1的上极板被拉至低电位,自定时复位输出无效。当像素采集电路400被
触发时,锁存器430输出为高电平,M3的栅极变为低电平,M3关断,第三电流源I3开始给第一
电容C1充电,C1上极板的电位缓慢升高,当其上升至后面第三反相器的翻转电平时,自定时
复位逻辑输出的自定时复位信号有效,其复位锁存器。此外,自定时复位逻辑的定时时间的
长短由第三电流源I3决定,I3越小,第一电容C1的充电就越慢,定时的时间就越长。
[0076] 综上,像素采集电路400具有两种工作模式:自定时工作模式和正常工作模式,由来自低功耗控制单元230输出的全局低功耗使能信号来控制。当视场中动态信息较少时,全
局低功耗使能信号有效,图像传感器200进入低功耗模式,像素采集电路400则进入自定时
模式。一方面,像素采集电路400中的模拟电路部分进入低偏置电流模式,以降低像素单元
的静态功耗,这部分电路主要是指滤波放大器422以及阈值比较子模块424中的第一比较器
VC1和第二比较器VC2。此外,全局低功耗使能信号线还耦接到逻辑模块440。在自定时模式
下,握手协议控制逻辑被关闭,自定时复位逻辑被开启。当像素采集电路被触发时,自定时
复位逻辑被激活,它在定时结束后给出一个自定时复位输出信号至锁存器430,来撤销锁存
器430的置位状态。在自定时工作模式,自定时复位逻辑代替握手协议控制逻辑完成锁存器
430的复位功能,由此像素采集电路400可以完全自主地工作而不依赖于外围的读出单元
240(在低功耗模式,读出单元240被复位以降低系统的动态功耗)。当视场中动态信息较多
时,全局低功耗使能信号无效,图像传感器200进入正常工作模式,像素采集电路400也进入
正常工作模式。一方面,像素采集电路400中的模拟电路部分进入正常偏置电流模式,以提
高像素采集电路对外界光强变化的响应速度;另一方面,握手协议控制逻辑被开启,自定时
复位逻辑被关闭,外围读出单元240管理像素采集电路阵列,其处理并读出处于触发状态的
像素采集电路的事件数据至计算设备120。在正常工作模式下,此处给出的像素采集电路和
图像传感器的工作原理与一般动态视觉传感器没有差异,故在此不再赘述。
[0077] 图7A至图7D分别示出了根据本发明一些实施例的活跃度检测单元220的示意图。活跃度检测单元220实时监测全局活跃度检测信号线上的电流值的大小,并在其低于活跃
度阈值时,将低活跃度使能信号置为有效。
[0078] 在图7A中,活跃度检测单元220由电流转接器和电流模式比较器组成。电流转接器的一端连接全局活跃度检测信号线,另一端连接至电流模式比较器,电流转接器将全局活
跃度检测信号线钳位于一个固定电平,同时,将全局活跃度检测信号线上的电流信号复制
以供电流模式比较器使用。电流模式比较器的正输入端接活跃度阈值信号,负输入端接电
流转接器输出的电流信号,其在电流域完成这两个信号的比较,并在电流信号小于活跃度
阈值信号时,将低活跃度使能信号置为有效。
[0079] 在图7B中,活跃度检测单元220由电流转接器、电流模式模数转换器(电流模式ADC)以及数字比较器组成。电流转接器的一端连接全局活跃度检测信号线,另一端连接至
电流模式模数转换器。在本实施例中,电流转接器输出的电流信号经过电流模式ADC转换为
数字信号。数字比较器的正输入端连接活跃度阈值信号(其中,活跃度阈值信号为数字信
号),负输入端连接经电流模式ADC输出的数字信号。数字比较器在数字域完成这两个信号
的比较,并在电流信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。
[0080] 在图7C中,活跃度检测单元220由电流转接器、电流电压转换器以及电压模式比较器组成。电流转接器的一端连接全局活跃度检测信号线,另一端连接至电流电压转换器。在
本实施例中,电流转接器输出的电流信号经过电流电压转换器转换为电压信号。电压模式
比较器的正输入端连接活跃度阈值信号,负输入端连接电压信号。由电压模式比较器在电
压域完成这两个信号的比较,并在电压信号小于活跃度阈值信号时,将低活跃度使能信号
置为有效。
[0081] 在图7D中,活跃度检测单元220由电流转接器、电流电压转换器、电压模式模数转换器(电压模式ADC)以及数字比较器组成。电流转接器的一端连接全局活跃度检测信号线,
另一端连接至电流电压转换器。在本实施例中,电流转接器输出的电流信号先经过电流电
压转换器转换为电压信号,再经过电压模式ADC的量化,转换为数字信号。数字比较器的正
输入端连接活跃度阈值信号,负输入端连接数字信号。数字比较器在数字域完成这两个信
号的比较,并在该数字信号小于活跃度阈值信号时,将低活跃度使能信号置为有效。
[0082] 综上,根据本发明的图像传感器,不依赖于后端算法,能够独立识别视场中动态信息较少的情况,并降低自身及整个图像处理系统的整体功耗。具体而言,首先,在像素采集
电路阵列中添加了全局活跃度检测信号线,像素采集电路在被触发前后,流经该全局活跃
度检测信号线的电流值不同。其次,在像素采集电路阵列外部,通过活跃度检测单元测量该
全局活跃度检测信号线上电流值的大小,并根据该电流值来判断视场中动态信息的多少,
即视场的活跃度信息。当视场活跃度较低、视场中动态信息较少时,低功耗控制单元令图像
传感器进入低功耗模式,图像传感器以很低的功耗自行监测视场中的动态信息,这种监测
不依赖于事件数据的输出以及后端算法的运算,因此可以关闭读出单元来降低功耗。同时,
在低功耗模式下,后端的计算设备也不需要接收事件数据,因此还可以关闭计算设备,以达
到进一步降低图像处理系统功耗的目的。
[0083] 在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结
构和技术,以便不模糊对本说明书的理解。
[0084] 类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施
例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保
护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的
权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵
循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都
作为本发明的单独实施例。
[0085] 本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备
不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个
子模块。
[0086] 本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单
元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何
组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任
何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权
利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代
替。
[0087] 此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的
范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任
意之一都可以以任意的组合方式来使用。
[0088] 此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法
元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在
此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行
的功能。
[0089] 如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必
须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0090] 尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,
本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限
定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本
技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本
发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。