一种仿生超分辨成像传感器及成像方法转让专利

申请号 : CN201710413455.X

文献号 : CN107105147B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 曹杰郝群闫雷程雪岷王子寒张芳华王新宇

申请人 : 北京理工大学

摘要 :

本发明公开的一种仿生超分辨成像传感器及成像方法,涉及一种成像传感器及成像方法,属于光学成像技术领域。本发明公开的一种仿生超分辨成像传感器,包括旋转双光楔、仿复眼探测相机组、分光镜、仿复眼凝视相机组、图像处理模块、中央控制器和伺服电机。旋转双光楔用于调整场景中感兴趣区域在视野中的位置;仿复眼探测组用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测。本发明还公开基于所述的一种仿生超分辨成像传感器实现的成像方法,本发明提供一种具有大视场成像和小凹成像的成像模式切换功能的成像传感器及成像方法,能够实现感兴趣区域的两次探测和判断,准确率较高。

权利要求 :

1.一种仿生超分辨成像传感器,其特征在于:包括旋转双光楔(1)、仿复眼探测相机组(2)、分光镜(3)、仿复眼凝视相机组(4)、图像处理模块(5)、中央控制器(6)和伺服电机(7);

旋转双光楔(1)用于调整场景中感兴趣区域在视野中的位置;仿复眼探测相机组(2)用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测;分光镜(3)将入射光线分为正交的两束光,分别进入仿复眼探测相机组(2)和仿复眼凝视相机组(4)成像;

仿复眼凝视相机组(4)用于实现小凹成像效果,对感兴趣区域清晰成像;图像处理模块(5)对于接收的图像的重叠区域进行超分辨率重构,实现重叠区域的清晰成像,并实现感兴趣区域的识别和判断,将结果输出到中央控制器(6)中;中央控制器(6)根据参数和阈值对比控制伺服电机(7)的相位调整,进而调节旋转双光楔(1)的凝视点位置,实现感兴趣区域的优化凝视;

旋转双光楔(1)的光轴与仿复眼凝视相机组(4)的光轴重合,分光镜(3)和仿复眼凝视相机组(4)的光轴成45°角,仿复眼探测相机组(2)的光轴与旋转双光楔(1)的光轴垂直,仿复眼探测相机组(2)和仿复眼凝视相机组(4)的成像结果可以输送到图像处理模块(5)中,图像处理模块(5)通过接收和处理不同的相机组的成像实现工作模式的选择。

2.如权利要求1所述的一种仿生超分辨成像传感器,其特征在于:所述的仿复眼探测相机组(2)是由多个子眼相机组成的成像阵列,水平子眼相机视场角度设计重叠,竖直的子眼相机视场角度设计重叠,相邻子眼相机的图像存在视场重叠;仿复眼凝视相机组(4)是由多个子眼相机组成的成像阵列,水平子眼相机视场角度设计重叠,竖直的子眼相机视场角度设计重叠,相邻子眼相机的图像存在视场重叠;仿复眼凝视相机组(4)中的子眼相机的视场角要小于仿复眼探测相机组(2)中的子眼相机的视场角;所述的仿复眼探测相机组(2)包含的子眼相机数量和子眼相机的视场角度根据探测视场角度范围大小和仿复眼探测相机组(2)体积大小而定;所述的仿复眼凝视相机组(4)包含的子眼相机数量和子眼相机的视场角度根据凝视视场角度范围大小和仿复眼凝视相机组(4)体积大小而定;子眼相机的感光元件采用CCD或CMOS。

3.如权利要求2所述的一种仿生超分辨成像传感器,其特征在于:仿复眼探测相机组(2)中包含四个子眼相机,水平方向的子眼相机和竖直方向的子眼相机成十字排列;水平子眼相机的视场角为18.26°,水平子眼相机视场角度重叠为9.13°,在水平方向上实现视场角扩大1.5倍,即27.39°;竖直子眼相机的视场角设计为13.75°,竖直的子眼相机视场角度设计重叠6.87°,在竖直方向上实现视场角扩大1.5倍,即20.62°;在仿复眼探测相机组(2)中,通过子眼相机阵列实现大视场成像;图像处理模块(5)对成像区域进行超分辨率重构和感兴趣区域探测;

仿复眼凝视相机组(4)中包含四个子眼相机,水平方向的子眼相机和竖直方向的子眼相机成十字排列;水平子眼相机的视场角设计为4.08°,水平的子眼相机视场角度设计重叠

2.04°,在水平方向上实现视场角扩大1.5倍,即6.12°;竖直子眼相机的视场角设计为

3.06°,竖直的子眼相机视场角度设计重叠1.53°,在竖直方向上实现视场角扩大1.5倍,即

4.59°;与仿复眼探测相机组(2)相比,仿复眼凝视相机组(4)的视场小,能对感兴趣区域更清晰成像,实现类似人眼的小凹成像效果。

4.基于权利要求1、2或3所述的一种仿生超分辨成像传感器实现的一种仿生超分辨成像方法,其特征在于:包括如下步骤,步骤一:仿复眼探测相机组(2)成像;初始模式为大视场探测模式;图像处理模块(5)接收来自仿复眼探测相机组(2)的大视场成像;外部光线经过旋转双光楔(1)和分光镜(3)进入仿复眼探测相机组(2),仿复眼探测相机组(2)的相机对当前场景进行仿复眼大视场成像;

步骤二:对步骤一中得到的大视场图像进行图像处理;

步骤一中同时获得仿复眼探测相机组(2)的多个子眼相机图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨率重构算法能获得更多的重叠区域信息;此外,超分辨率重构图像还能够实现仿复眼探测相机组(2)多子眼相机的视场拼接,得到仿复眼探测相机组(2)的全视场图像;进而利用感兴趣区域的探测算法,对全视场图像中可能存在的感兴趣区域进行探测;若没有发现感兴趣区域,则返回步骤一;若发现感兴趣区域,将感兴趣区域的位置等信息输入到中央控制器(6)中;

步骤三:通过调节旋转双光楔(1)相位调整凝视点位置;

根据步骤二中的感兴趣区域位置,在中央控制器(6)中生成指令,控制伺服电机(7)的旋转角度,进而调节旋转双光楔(1)的相位,实现凝视点的变化;

步骤四:仿复眼凝视相机组(4)成像;

经过步骤三中旋转双光楔(1)的相位调整,仿复眼凝视相机组(4)凝视在感兴趣区域;

图像处理模块(5)接收仿复眼凝视相机组(4)的小视场、高分辨成像;外部光线经过旋转双光楔(1)和分光镜(3)进入仿复眼凝视相机组(4),此时的成像区域更多的凝视在步骤二中发现的感兴趣区域;仿复眼凝视相机组(4)的视场角要小于仿复眼探测相机组(2)的视场角,所以在像素数量不变的情况下,视场角减小,图像的空间分辨率提高;

步骤五:对步骤四中的仿复眼凝视相机组(4)成像的图像进行图像处理;

步骤四是工作在仿复眼凝视相机组(4)模式下,能够同时获得多个仿复眼凝视相机组(4)的子眼相机图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨重构算法能获得更多的重叠区域信息;由于仿复眼凝视组相机(4)的视场角小于仿复眼探测组相机(2)的视场角,因此在像素数量不变的情况下,视场角减小,图像的空间分辨率提高;步骤四中凝视在感兴趣区域,对此区域进行超分辨率重构,能获得感兴趣区域的更高空间分辨率图像;

步骤六:对步骤五中超分辨重构后的感兴趣区域进行优化凝视;

步骤四对感兴趣区域进行小视场、高分辨率成像,形成小凹成像效果,步骤六中首先利用感兴趣区域探测算法进行第二次判定,使得结果的准确率大大提高;若判定结果为区域并不是所要求的感兴趣区域,重新返回步骤一,进入仿复眼探测相机组(2)工作模式;若判定结果是所要求的感兴趣区域,认为该区域是最终的感兴趣区域;将最终的感兴趣区域的位置信息等计算结果与步骤三中的凝视点区域进行重合度计算;若重合度小于阈值,认为凝视过程有待优化,返回步骤三;若重合度大于阈值,认为凝视过程工作在最优状态,即实现感兴趣区域的最优凝视;步骤六中的感兴趣区域探测算法采用区域生长法,重合度阈值大小人为设定。

5.如权利要求4所述的一种仿生超分辨成像方法,其特征在于:还包括步骤七:任务扩展;将步骤六中实现的感兴趣区域的最优凝视结果,应用于实现基于感兴趣区域的扩展任务。

6.如权利要求5所述的一种仿生超分辨成像方法,其特征在于:步骤七所述的扩展任务包括目标识别和目标跟踪。

7.如权利要求4或5所述的一种仿生超分辨成像方法,其特征在于:步骤三的具体实现方法为:旋转双光楔(1)中第一光楔、第二光楔的楔角分别为α1和α2,材料折射率分别为n1、n2;旋转双光楔(1)在初始状态即静态下,第一光楔和第二光楔的光轴截面均与XOZ平面重合,且沿X轴负方向厚度递增;γ为入射光线与光轴的夹角;定义旋转双光楔(1)厚度递减的方向为正;δ为出射光线与光轴的夹角;

笛卡尔坐标系下光学元件的静态作用矩阵R为:

其中cos(x,^x')指入射光坐标系x轴和出射光坐标系^x'轴的夹角余弦;公式中其他余弦值代表的含义与上述含义相同;单光楔指第一光楔或第二光楔,单光楔的功能是对入射光矢量产生绕Y轴顺时针为δi的偏转,静态单光楔的作用矩阵RXi为:式中:δi=(ni-1)αi,i=1,2;

旋转双光楔(1)的特点在于每个光楔在伺服系统的控制下能够独立绕Z轴以ω1、ω2的角速度旋转,定义逆时针转动为正向转动;某一时刻t,每个单光楔与成像坐标系X轴负轴的绝对角度θ1t、θ2t分别为:θit=ωit+θi0,i=1,2

式中,θi0为相应光楔的零时刻的绝对角度;绕Z轴旋转θit的旋转矩阵rit表达式如下,其中,定义逆时针转动为正向转动;

某一时刻,出射光Outt(δ)的矢量表达式为:

式中: 为rit的逆矩阵;根据出射光Outt(δ)公式,通过改变旋转双光楔(1)的形状、旋转方向和速度,能够在XOY平面内获得出射光不同的轨迹,即实现仿复眼凝视相机组(4)中凝视点的改变。

8.如权利要求4或5所述的一种仿生超分辨成像方法,其特征在于:步骤二所述探测算法选区域生长算法。

说明书 :

一种仿生超分辨成像传感器及成像方法

技术领域

[0001] 本发明属于光学成像技术领域,涉及一种成像传感器及成像方法,尤其涉及一种具有大视场成像和小凹成像的成像模式切换功能的成像传感器及成像方法。

背景技术

[0002] 仿生图像传感器是利用光学、微电子和机械等技术,模仿生物的结构和功能原理而进行成像视觉传感器。昆虫复眼具有大视场,体积小,高响应,时间分辨率高等优点,在运动目标探测、目标识别以及微小型超分辨率成像系统设计方面具有优势;人眼小凹成像可以实现对感兴趣区域的高分辨率成像,用于目标识别和跟踪,同时压缩边缘无关区域的信息量,用于显著特征(如运动)探测,这种空间非均匀采样结构提高了信息利用率,在目标识别、目标检索以及自动对焦等领域具有优势。复眼和人眼仿生吸引了大量研究者对仿生成像系统的研发。随着微机械加工技术、微电子以及图像处理算法的迅猛发展,仿生成像系统的集成度越来越高,运算能力不断增强,图像分辨率越来越高,现已广泛用于监控、制导、航空、航天等领域。
[0003] 传统的仿生复眼系统分为平面型复眼和曲面型复眼。其中平面型复眼的相邻子眼视场基本相同,其图像之间存在亚像素级位移,根据人眼固视微动原理,平面型复眼主要用于超分辨率图像重构,所得图像的空间分辨率不仅超越了图像传感器的尼奎斯特采样频率,甚至可获得接近光学系统衍射极限的空间角分辨率。但由于超分辨率重构要求子眼阵列具有较大视场重叠,因此系统的全视场范围受限,同时全局超分辨率重构图像带来大量冗余数据,降低后端图像处理的效率。曲面型复眼主要用于大视场成像,相邻子眼的视场重叠是为了全视场覆盖,避免视场丢失,因此曲面型复眼容易获取大视场,但在超分辨率成像方面的性能受限。传统的仿人眼成像方法分为两种,一种是基于CMOS或CCD微电子制造技术设计和制造的仿人眼图像传感器,实现像素的空间非均匀排布(如对数极坐标映射),可通过辅助电路直接读取具有小凹视觉特征的图像,实现感兴趣区域高分辨率成像,边缘无关区域低分辨率成像。但该图像传感器成本太高,技术尚不成熟,且现阶段的凝视点选取策略仍然亟待解决。此外,对比曲面型复眼成像系统,单孔径成像方法不能满足大视场需求。另一种仿人眼成像方法利用多传感器结构,以大视场、低空间分辨率传感器实现大视场成像,可用于对目标细节要求低的任务,如目标探测,以小视场、高空间分辨率传感器实现感兴趣区域成像,用于精确目标识别等。该方法可利用市场上的已有成像模块进行集成,成本低,但与仿复眼成像系统的超分辨率重构相比,其分辨率仍受图像传感器的吉奎斯特频率限制,且该方法仍然依靠单目实现大视场成像,无法满足大视场需求。综上所述,单独依靠复眼仿生或人眼仿生的成像传感器已无法需求。

发明内容

[0004] 本发明公开的一种仿生超分辨成像传感器及成像方法要解决的技术问题是:提供一种具有大视场成像和小凹成像的成像模式切换功能的成像传感器及成像方法,能够实现感兴趣区域的两次探测和判断,准确率较高。
[0005] 本发明的目的是通过下述技术方案实现的。
[0006] 本发明公开的一种仿生超分辨成像传感器包括旋转双光楔、仿复眼探测相机组、分光镜、仿复眼凝视相机组、图像处理模块、中央控制器和伺服电机。旋转双光楔用于调整场景中感兴趣区域在视野中的位置;仿复眼探测相机组用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测;分光镜将入射光线分为正交的两束光,分别进入仿复眼探测相机组和仿复眼凝视相机组成像;仿复眼凝视相机组用于实现小凹成像效果,对感兴趣区域清晰成像;图像处理模块对于接收的图像的重叠区域进行超分辨率重构,实现重叠区域的清晰成像,并实现感兴趣区域的识别和判断,将结果输出到中央控制器中;中央控制器根据参数和阈值对比控制伺服电机的相位调整,进而调节旋转双光楔的凝视点位置,实现感兴趣区域的优化凝视。
[0007] 旋转双光楔与仿复眼凝视相机组的光轴重合,分光镜和光轴成45°角,仿复眼探测相机组的光轴旋转双光楔的光轴垂直,仿复眼探测相机组和仿复眼凝视相机组的成像结果可以输送到图像处理模块中,图像处理模块通过接收和处理不同的相机组的成像实现工作模式的选择。
[0008] 所述的仿复眼探测相机组是由多个子眼相机组成的成像阵列,每个子眼相机之间的视场角都存在重合区域。仿复眼凝视相机组是多个子眼组成的成像阵列,每个子眼相机之间的视场角都存在重合区域。仿复眼凝视相机组中的子眼相机的视场角要小于仿复眼探测相机组中的子眼相机的视场角。所述的仿复眼探测相机组包含的子眼相机数量和子眼相机的视场角度根据探测视场角度范围大小和仿复眼探测相机组体积大小而定。所述的仿复眼凝视相机组包含的子眼相机数量和子眼相机的视场角度根据凝视视场角度范围大小和仿复眼凝视相机组体积大小而定。子眼相机的感光元件采用CCD或CMOS。
[0009] 本发明还公开的基于所述的一种仿生超分辨成像传感器实现的成像方法,包括如下步骤:
[0010] 步骤一:仿复眼探测相机组成像。初始模式为大视场探测模式。图像处理模块接收来自仿复眼探测相机组的大视场成像。外部光线经过旋转双光楔和分光镜进入仿复眼探测相机组,仿复眼探测相机组的相机对当前场景进行仿复眼大视场成像。
[0011] 步骤二:对步骤一中得到的大视场图像进行超分辨率重构。
[0012] 利用感兴趣区域探测算法进行感兴趣区域提取。步骤一中同时获得仿复眼探测相机组的多个子眼图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨率重构算法能获得更多的重叠区域信息。此外,超分辨率重构图像还能够实现仿复眼探测相机组多子眼的视场拼接,得到仿复眼探测相机组的全视场图像。进而利用感兴趣区域的探测算法,对全视场图像中可能存在的感兴趣区域进行探测。若没有发现感兴趣区域,则返回步骤一;若发现感兴趣区域,将感兴趣区域的位置等信息输入到中央控制器中。
[0013] 所述探测算法优选区域生长算法。
[0014] 步骤三:通过调节旋转双光楔相位调整凝视点位置。
[0015] 根据步骤二中的感兴趣区域位置,在中央控制器中生成指令,控制伺服电机的旋转角度,进而调节旋转双光楔的相位,实现凝视点的变化。
[0016] 步骤三的具体实现方法为:旋转双光楔中第一光楔、第二光楔的楔角分别为α1和α2,材料折射率分别为n1、n2。旋转双光楔在初始状态(静态)下,第一光楔和第二光楔的光轴截面均与XOZ平面重合,且沿X轴负方向厚度递增。γ为入射光线与光轴的夹角。定义旋转双光楔厚度递减的方向为正。δ为出射光线与光轴的夹角。
[0017] 笛卡尔坐标系下光学元件的静态作用矩阵R为:
[0018]
[0019] 其中cos(x,^x')指入射光坐标系x轴和出射光坐标系^x'轴的夹角余弦。公式中其他余弦值代表的含义与上述含义相同。单光楔(指第一光楔或第二光楔)的功能是对入射光矢量产生绕Y轴顺时针为δi的偏转,静态单光楔的作用矩阵RXi为:
[0020]
[0021] 式中:δi=(ni-1)αi,i=1,2。
[0022] 旋转双光楔的特点在于每个光楔在伺服系统的控制下能够独立绕Z轴以ω1、ω2的角速度旋转,定义逆时针转动为正向转动。某一时刻t,每个单光楔与成像坐标系X轴负轴的绝对角度θ1t、θ2t分别为:
[0023] θit=ωit+θi0,i=1,2
[0024] 式中,θi0为相应光楔的零时刻的绝对角度。绕Z轴旋转θit(逆时针为正)的旋转矩阵rit为:
[0025]
[0026] 某一时刻,出射光Outt(δ)的矢量表达式为:
[0027]
[0028] 式中: 为rit的逆矩阵。根据出射光Outt(δ)公式,通过改变旋转双光楔的形状、旋转方向和速度,能够在XOY平面内获得出射光不同的轨迹,即实现仿复眼凝视相机组中凝视点的改变。
[0029] 步骤四:仿复眼凝视相机组成像。
[0030] 经过步骤三中旋转双光楔的相位调整,相机凝视在感兴趣区域。图像处理模块接收仿复眼凝视相机组的小视场、高分辨成像。外部光线经过旋转双光楔和分光镜进入仿复眼凝视相机组,此时的成像区域更多的凝视在步骤二中发现的感兴趣区域。仿复眼凝视相机组的视场角要小于仿复眼探测相机组的视场角,所以在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。
[0031] 步骤五:对步骤四中的仿复眼凝视相机组成像的图像进行图像处理。
[0032] 步骤四是工作在仿复眼凝视相机组模式下,能够同时获得多个仿复眼凝视相机组的子眼图像,相邻子眼的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨重构算法能获得更多的重叠区域信息。由于仿复眼凝视组相机的视场角小于仿复眼探测组相机的视场角,因此在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。步骤四中凝视在感兴趣区域,对此区域进行超分辨率重构,能获得感兴趣区域的更高空间分辨率图像。
[0033] 步骤六:对步骤五中超分辨重构后的感兴趣区域进行优化凝视。
[0034] 步骤四对感兴趣区域进行小视场、高分辨率成像,形成小凹成像效果,步骤六中首先利用感兴趣区域探测算法进行第二次判定,使得结果的准确率大大提高。若判定结果为区域并不是所要求的感兴趣区域,重新返回步骤一,进入仿复眼探测相机组工作模式;若判定结果是所要求的感兴趣区域,认为该区域是最终的感兴趣区域。将最终的感兴趣区域的位置信息等计算结果与步骤三中的凝视点区域进行重合度计算。若重合度小于阈值,认为凝视过程有待优化,返回步骤三;若重合度大于阈值,认为凝视过程工作在最优状态,即实现感兴趣区域的最优凝视。步骤六中的感兴趣区域探测算法采用区域生长法,重合度阈值大小可以人为设定。
[0035] 步骤七:任务扩展。将步骤六中实现的感兴趣区域的最优凝视结果,应用于实现基于感兴趣区域的扩展任务。如目标识别和目标跟踪等。
[0036] 有益效果:
[0037] 1、本发明公开的一种仿生超分辨成像传感器及成像方法,可同时实现大视场和高分辨率成像,通过仿复眼探测相机组,多个子眼对可能存在感兴趣区域的场景实现大视场成像,并且通过超分辨率重构提高子眼重叠区域的图像分辨率。仿复眼凝视相机组进行小视场凝视成像,进一步提高感兴趣区域的图像分辨率,与仿复眼探测相机组(2)结合,实现小凹成像效果。
[0038] 2、本发明公开的一种仿生超分辨成像传感器及成像方法,采用旋转双光楔像移补偿原理,通过精确控制旋转双光楔的相位能够实现凝视点位置的准确控制。
[0039] 3、本发明公开的一种仿生超分辨成像传感器及成像方法,能够外扩各种基于感兴趣区域的后续应用,如目标识别、跟踪等,具有较好的扩展性。

附图说明

[0040] 图1为本发明公开的一种仿生超分辨成像传感器结构图;
[0041] 图2为实例中子眼阵列的排列方式;
[0042] 图3为本发明公开的一种仿生超分辨成像传感器的成像方法工作流程图;
[0043] 图4为旋转双光楔工作原理图;
[0044] 其中:1-旋转双光楔、2-仿复眼探测相机组、3-分光镜,4-仿复眼凝视相机组,5-图像处理模块,6-中央控制器和7-伺服电机。

具体实施方式

[0045] 以下结合附图对本发明的具体实施方式进行说明。
[0046] 实施例一:
[0047] 如图1所示,本实施例公开的一种仿生超分辨成像传感器包括旋转双光楔1、仿复眼探测相机组2、分光镜3、仿复眼凝视相机组4、图像处理模块5、中央控制器6和伺服电机7。旋转双光楔1用于调整场景中感兴趣区域在视野中的位置;仿复眼探测组2用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测;分光镜3将入射光线分为正交的两束光,分别进入仿复眼探测相机组2和仿复眼凝视相机组4成像;仿复眼凝视相机组4用于实现小凹成像效果,对感兴趣区域清晰成像;图像处理模块5对于接收的图像的重叠区域进行超分辨率重构,实现重叠区域的清晰成像,并实现感兴趣区域的识别和判断,将结果输出到中央控制器6中;中央控制器6根据参数和阈值对比控制伺服电机7的相位调整,进而调节旋转双光楔1的凝视点位置,实现仿复眼探测相机组2和仿复眼凝视相机组4的工作模式的选择或者优化。
[0048] 如图2所示,子眼相机的参数选择如下:仿复眼探测相机组2中包含四个子眼相机,子眼水平和竖直方向成十字排列。水平子眼的视场角为18.26°,水平子眼视场角度重叠为9.13°,在水平方向上实现视场角扩大1.5倍,即27.39°;竖直子眼的视场角设计为13.75°,竖直的子眼视场角度设计重叠6.87°,在竖直方向上实现视场角扩大1.5倍,即20.62°;在仿复眼探测相机组2中,通过子眼阵列实现大视场成像。图像处理模块5对成像区域进行超分辨率重构和感兴趣区域探测。
[0049] 本实施例公开的仿复眼凝视相机组4中包含四个子眼相机,子眼水平和竖直方向成十字排列。水平子眼的视场角设计为4.08°,水平的子眼视场角度设计重叠2.04°,在水平方向上实现视场角扩大1.5倍,即6.12°;竖直子眼的视场角设计为3.06°,竖直的子眼视场角度设计重叠1.53°,在竖直方向上实现视场角扩大1.5倍,即4.59°;与仿复眼探测相机组2相比,仿复眼凝视相机组4的视场小,能对感兴趣区域更清晰成像,实现类似人眼的小凹成像效果。
[0050] 仿复眼探测相机组2和仿复眼凝视相机组4中子眼阵列的成像器件采用CMOS元件。
[0051] 如图3所示,本实施例还公开的基于所述的一种仿生超分辨成像传感器实现的成像方法,包括如下步骤:
[0052] 步骤一:仿复眼探测相机组2成像。初始模式为大视场探测模式。图像处理模块5接收来自仿复眼探测相机组2的大视场成像。外部光线经过旋转双光楔1和分光镜3进入仿复眼探测相机组2,仿复眼探测相机组2的相机对当前场景进行仿复眼大视场成像。
[0053] 步骤二:对步骤一中得到的大视场图像进行超分辨率重构。
[0054] 利用感兴趣区域探测算法进行感兴趣区域提取。步骤一中同时获得仿复眼探测相机组2的多个子眼图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨率重构算法能获得更多的重叠区域信息。此外,超分辨率重构图像还能够实现仿复眼探测相机组2多子眼的视场拼接,得到仿复眼探测相机组2的全视场图像。进而利用感兴趣区域的探测算法,对全视场图像中可能存在的感兴趣区域进行探测。若没有发现感兴趣区域,则返回步骤一;若发现感兴趣区域,将感兴趣区域的位置等信息输入到中央控制器6中。
[0055] 所述探测算法优选区域生长算法。
[0056] 步骤三:通过调节旋转双光楔1相位调整凝视点位置。
[0057] 根据步骤二中的感兴趣区域位置,在中央控制器6中生成指令,控制伺服电机7的旋转角度,进而调节旋转双光楔1的相位,实现凝视点的变化。
[0058] 步骤三的具体实现方法为:旋转双光楔1中第一光楔、第二光楔的楔角分别为α1和α2,材料折射率分别为n1、n2。旋转双光楔1在初始状态(静态)下,第一光楔和第二光楔的光轴截面均与XOZ平面重合,且沿X轴负方向厚度递增。γ为入射光线与光轴的夹角。定义旋转双光楔1厚度递减的方向为正。δ为出射光线与光轴的夹角。
[0059] 笛卡尔坐标系下光学元件的静态作用矩阵R为:
[0060]
[0061] 其中cos(x,^x')指入射光坐标系x轴和出射光坐标系^x'轴的夹角余弦。公式中其他余弦值代表的含义与上述含义相同。所述的单光楔指第一光楔或第二光楔。单光楔的功能是对入射光矢量产生绕Y轴顺时针为δi的偏转,静态单光楔的作用矩阵RXi为:
[0062]
[0063] 式中:δi=(ni-1)αi,i=1,2。
[0064] 旋转双光楔1的特点在于每个光楔在伺服系统的控制下能够独立绕Z轴以ω1、ω2的角速度旋转,定义逆时针转动为正向转动。某一时刻t,每个单光楔与成像坐标系X轴负轴的绝对角度θ1t、θ2t分别为:
[0065] θit=ωit+θi0,i=1,2
[0066] 式中,θi0为相应光楔的零时刻的绝对角度。绕Z轴旋转θit(逆时针为正)的旋转矩阵rit为:
[0067]
[0068] 某一时刻,出射光Outt(δ)的矢量表达式为:
[0069]
[0070] 式中: 为rit的逆矩阵。根据出射光Outt(δ)公式,通过改变旋转双光楔1的形状、旋转方向和速度,能够在XOY平面内获得出射光不同的轨迹,即实现仿复眼凝视相机组4中凝视点的改变。
[0071] 步骤四:仿复眼凝视相机组4成像。
[0072] 经过步骤三中旋转双光楔1的相位调整,相机凝视在感兴趣区域。图像处理模块5接收仿复眼凝视相机组4的小视场、高分辨成像。外部光线经过旋转双光楔1和分光镜3进入仿复眼凝视相机组4,此时的成像区域更多的凝视在步骤二中发现的感兴趣区域。仿复眼凝视相机组4的视场角要小于仿复眼探测相机组2的视场角,所以在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。
[0073] 步骤五:对步骤四中的仿复眼凝视相机组4成像的图像进行图像处理。
[0074] 步骤四是工作在仿复眼凝视相机组4模式下,能够同时获得多个仿复眼凝视相机组4的子眼图像,相邻子眼的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨重构算法能获得更多的重叠区域信息。由于仿复眼凝视组相机4的视场角小于仿复眼探测组相机2的视场角,因此在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。步骤四中系统凝视在感兴趣区域,对此区域进行超分辨率重构,能获得感兴趣区域的更高空间分辨率图像。
[0075] 步骤六:对步骤五中超分辨重构后的感兴趣区域进行优化凝视。
[0076] 步骤四对感兴趣区域进行小视场、高分辨率成像,形成小凹成像效果,步骤六中首先利用感兴趣区域探测算法进行第二次判定,使得结果的准确率大大提高。若判定结果为区域并不是所要求的感兴趣区域,重新返回步骤一,进入仿复眼探测相机组2工作模式;若判定结果是所要求的感兴趣区域,认为该区域是最终的感兴趣区域。将最终的感兴趣区域的位置信息等计算结果与步骤三中的凝视点区域进行重合度计算。若重合度小于阈值,认为凝视过程有待优化,返回步骤三;若重合度大于阈值,认为凝视过程工作在最优状态,即实现感兴趣区域的最优凝视。步骤六中的感兴趣区域探测算法采用区域生长法,重合度阈值大小可以人为设定。
[0077] 步骤七:任务扩展。将步骤六中实现的感兴趣区域的最优凝视结果,应用于实现基于感兴趣区域的扩展任务。如目标识别和目标跟踪等。
[0078] 以上仅为本发明的较好工作流程,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。