一种应用于移动机器人SLAM领域的分光HDR相机

摘要

本发明公开了一种应用于移动机器人SLAM领域的分光HDR相机，包括：壳体以及安装在壳体前端的镜头，在所述壳体中设置有分光系统，包括：设置在所述镜头正后方的主分光镜，主分光镜的分光面倾斜于所述镜头的光轴，主分光镜后方设置有第一副分光镜，第一副分光镜的分光面与主分光镜的分光面垂直；位于主分光镜上方设置有第二副分光镜，第二副分光镜的分光面与主分光镜的镜面平行；在第一副分光镜的下方、后方，第二副分光镜的后方、上方分别设置一个焊接在PCB基板上的CMOS芯片，所有PCB基板连接至一个FPGA芯片。本发明可以减小整体曝光时间，降低图像拖影现象的发生，由于采用相同时间和空间的曝光方式，适用于室外大场景和室内小场景。

权利要求

1.一种应用于移动机器人SLAM领域的分光HDR相机，包括：壳体(2)以及安装在壳体(2)前端的镜头(1)，在所述壳体(2)中设置有分光系统，其特征在于，所述分光系统包括：设置在所述镜头(1)正后方的主分光镜(12)，主分光镜(12)的分光面倾斜于所述镜头(1)的光轴，主分光镜(12)后方设置有第一副分光镜(10)，第一副分光镜(10)的分光面与主分光镜(12)的分光面垂直；位于主分光镜(12)上方设置有第二副分光镜(4)，第二副分光镜(4)的分光面与主分光镜(12)的镜面平行；

所述第一副分光镜(10)的下方设置有第一CMOS芯片(11)，第一副分光镜(10)的后方设置有第二CMOS芯片(9)；所述第二副分光镜(4)的后方设置有第三CMOS芯片(8)，第二副分光镜(4)的上方设置有第四CMOS芯片(3)；其中，每一个CMOS芯片均分别焊接在一块PCB基板上；每一个CMOS芯片对应的PCB基板均连接至FPGA芯片(5)；其中，所述FPGA芯片(5)用于将每一个CMOS芯片获取的图像合成高动态范围的图像；

所述主分光镜(12)、第一副分光镜(10)和第二副分光镜(4)均为正立方体分光镜；

所述主分光镜(12)的分光面与镜头(1)的光轴之间的夹角为45°；

外界光线经过所述镜头(1)聚焦后，经过主分光镜(12)，50％的外界光线穿透主分光镜(12)的分光面射入第一副分光镜(10)中，其余50％的外界光线被主分光镜(12)的分光面反射到第二副分光镜(4)中；

进入第一副分光镜(10)中的50％的外界光线，其中的一半外界光线经过第一副分光镜(10)的分光面反射后射入第一CMOS芯片(11)，另一半外界光线穿过第一副分光镜(10)的分光面后射入第二CMOS芯片(9)；

进入第二副分光镜(4)中的其余50％的外界光线，其中的一半外界光线经过第二副分光镜(4)的分光面反射后射入第三CMOS芯片(8)，另一半外界光线穿过第二副分光镜(4)的分光面后射入第四CMOS芯片(3)；

所述FPGA芯片(5)通过数据通信接口与外部通信；当FPGA芯片(5)接收到外部发送的图像请求时，同时向第一CMOS芯片(11)至第四CMOS芯片(3)下达不同曝光时长的曝光指令，第一CMOS芯片(11)至第四CMOS芯片(3)分别通过对应的分光面独立获取图像；

所述分光HDR相机的工作模式包括弱光模式和强光模式，其中，FPGA芯片(5)通过分析上一次利用每一个CMOS芯片获取的图像中，正常曝光的图像的平均亮度以及曝光时间来确定环境的光线情况，然后在下一次每一个CMOS芯片获取图像之前，选择将工作模式切换在弱光模式或强光模式；

在弱光模式下，所述的曝光指令为：延长曝光时间2档、延长曝光时间1档、正常曝光、减少曝光时间1档，此时能获得过曝光图像2张、正常曝光图像1张、曝光不足图像1张，则分光系统更关注暗部的图像细节；

在强光模式下，所述的曝光指令为：延长曝光时间1档、正常曝光、减少曝光时间1档、减少曝光时间2档，此时能获得过曝光图像1张、正常曝光图像1张、曝光不足图像2张，则分光系统更关注亮部的图像细节；

所述FPGA芯片(5)通过系数融合的方式将每一个CMOS芯片获取的图像合成高动态范围的图像，包括：

对于每一个CMOS芯片获取的图像，将每一张图像的每一个像素点对应一个融合系数，然后通过加权计算不同图像上相同位置的像素值得到所述高动态范围的图像；

所述壳体(2)内部设置有分光系统支架(7)，所述分光系统支架(7)包括对称设置的一对支撑板(71)，所述一对支撑板(71)上对称开设有用于固定所述主分光镜(12)、第一副分光镜(10)和第二副分光镜(4)的L形卡槽；

当主分光镜(12)、第一副分光镜(10)和第二副分光镜(4)安装到卡槽中之后，所述第一副分光镜(10)下方及后方的支撑板(71)上对称开设有第一固定槽(73)、第二固定槽(74)，分别用于固定安装所述第一CMOS芯片(11)对应的PCB基板和第二CMOS芯片(9)对应的PCB基板；所述第二副分光镜(4)的后方及上方的支撑板(71)上对称开设有第三固定槽(75)、第四固定槽(76)，分别用于固定安装所述第三CMOS芯片(8)对应的PCB基板和第四CMOS芯片(3)对应的PCB基板。

2.如权利要求1所述的应用于移动机器人SLAM领域的分光HDR相机，其特征在于，所述主分光镜(12)、第一副分光镜(10)、第二副分光镜(4)的反射与投射比例均为1:1。

3.如权利要求1所述的应用于移动机器人SLAM领域的分光HDR相机，其特征在于，所述PCB基板与相邻的副分光镜的端面平行且面积相同。

说明书

一种应用于移动机器人SLAM领域的分光HDR相机

技术领域

[0001] 本发明涉及移动机器人定位与导航领域，具体涉及一种应用于移动机器人同时定位与地图构建(SLAM)领域的高动态范围成像(HDR)相机。

背景技术

[0002] 基于图像的定位算法是自主移动机器人领域内的热门问题，它是解决移动机器人运动规划与控制的前提条件。基于图像的同时定位与地图构建(Simultaneous 
Localization and Mapping，SLAM)能够在未知的环境下，通过分析图像序列，在估计出机
器人自身位姿的同时恢复出环境的地图。由于此技术只依赖机器人自身的图像传感器，不
需要对环境改造和人工标记，同时相机具有成本较低等有点，因此SLAM技术得到了国内外
的广泛关注。视觉SLAM主要依赖的传感器是相机，因此相机的成像质量直接关系着SLAM的
定位精度，然而，传统相机由于光宽容度有限，在一些环境下例如：透过窗户的阳光、物体的
阴影等，相机得到的图像会存在局部的曝光过度以及局部曝光不足的情况，丢失了图像大
部分的亮部或者暗部信息，不利于SLAM算法对于特征点的提取，而特征提取的精度直接关
乎整个SLAM算法的精度。高阶相机虽然光宽容度较高，但是其成本往往也较高，应用在移动
机器人上非常不经济、普通相机虽然可以在静态的环境下通过连续曝光的方式得到高动态
范围成像(High Dynamic Range Imaging,HDR)图像，然而由于移动机器人的运动的存在，
会造成普通相机在HDR模式下有较为严重的拖影。因此，提出一种性价比高的高动态范围相
机对于SLAM的应用具有重要的意义。

发明内容

[0003] 本发明的目的是提供一种应用于移动机器人SLAM领域的分光HDR相机，主要用以解决传统相机在HDR模式下会存在运动模糊的问题。

[0004] 为了实现上述任务，本发明采用以下技术方案：

[0005] 一种应用于移动机器人SLAM领域的分光HDR相机，包括：壳体以及安装在壳体前端的镜头，在所述壳体中设置有分光系统，包括：

[0006] 设置在所述镜头正后方的主分光镜，主分光镜的分光面倾斜于所述镜头的光轴，主分光镜后方设置有第一副分光镜，第一副分光镜的分光面与主分光镜的分光面垂直；位
于主分光镜上方设置有第二副分光镜，第二副分光镜的分光面与主分光镜的镜面平行；

[0007] 所述第一副分光镜的下方设置有第一CMOS芯片，第一副分光镜的后方设置有第二CMOS芯片；所述第二副分光镜的后方设置有第三CMOS芯片，第二副分光镜的上方设置有第
四CMOS芯片；其中，每一个CMOS芯片均分别焊接在一块PCB基板上；每一个CMOS芯片对应的
PCB基板均连接至FPGA芯片；其中，所述FPGA芯片用于将每一个CMOS芯片获取的图像合成高
动态范围的图像。

[0008] 进一步地，所述主分光镜、第一副分光镜、第二副分光镜的反射与投射比例均为1:1。

[0009] 进一步地，所述主分光镜的分光面与镜头的光轴之间的夹角为45°。

[0010] 进一步地，所述主分光镜、第一副分光镜和第二副分光镜均为正立方体分光镜。

[0011] 外界光线经过所述镜头聚焦后，经过主分光镜，50％的外界光线穿透主分光镜的分光面射入第一副分光镜中，其余50％的外界光线被主分光镜的分光面反射到第二副分光
镜中；

[0012] 进入第一副分光镜中的50％的外界光线，其中的一半外界光线经过第一副分光镜的分光面反射后射入第一CMOS芯片，另一半外界光线穿过第一副分光镜的分光面后射入第
二CMOS芯片；

[0013] 进入第二副分光镜中的其余50％的外界光线，其中的一半外界光线经过第二副分光镜的分光面反射后射入第三CMOS芯片，另一半外界光线穿过第二副分光镜的分光面后射
入第四CMOS芯片。

[0014] 进一步地，所述FPGA芯片通过数据通信接口与外部通信；当FPGA芯片接收到外部发送的图像请求时，同时向第一CMOS芯片至第四CMOS芯片下达不同曝光时长的曝光指令，
第一CMOS芯片至第四CMOS芯片分别通过对应的分光面独立获取图像。

[0015] 进一步地，所述分光HDR相机的工作模式包括弱光模式和强光模式，其中，FPGA芯片通过分析上一次利用每一个CMOS芯片获取的图像中，正常曝光的图像的平均亮度以及曝
光时间来确定环境的光线情况，然后在下一次每一个CMOS芯片获取图像之前，选择将工作
模式切换在弱光模式或强光模式。

[0016] 进一步地，所述FPGA芯片通过系数融合的方式将每一个CMOS芯片获取的图像合成高动态范围的图像，包括：

[0017] 对于每一个CMOS芯片获取的图像，将每一张图像的每一个像素点对应一个融合系数，然后通过加权计算不同图像上相同位置的像素值得到所述高动态范围的图像。

[0018] 进一步地，在弱光模式下，所述的曝光指令为：延长曝光时间2档、延长曝光时间1档、正常曝光、减少曝光时间1档，此时能获得过曝光图像2张、正常曝光图像1张、曝光不足
图像1张，则分光系统更关注暗部的图像细节；

[0019] 在强光模式下，所述的曝光指令为：延长曝光时间1档、正常曝光、减少曝光时间1档、减少曝光时间2档，此时能获得过曝光图像1张、正常曝光图像1张、曝光不足图像2张，则
分光系统更关注亮部的图像细节。

[0020] 进一步地，所述壳体内部设置有分光系统支架，所述分光系统支架包括对称设置的一对支撑板，所述一对支撑板上对称开设有用于固定所述主分光镜、第一副分光镜和第
二副分光镜的L形卡槽；

[0021] 当主分光镜、第一副分光镜和第二副分光镜安装到卡槽中之后，所述第一副分光镜下方及后方的支撑板上对称开设有第一固定槽、第二固定槽，分别用于固定安装所述第
一CMOS芯片对应的PCB基板和第二CMOS芯片对应的PCB基板；所述第二副分光镜的后方及上
方的支撑板上对称开设有第三固定槽、第四固定槽，分别用于固定安装所述第三CMOS芯片
对应的PCB基板和第四CMOS芯片对应的PCB基板。

[0022] 进一步地，所述PCB基板与相邻的副分光镜的端面平行且面积相同。

[0023] 本发明具有以下技术特点：

[0024] 1.本发明的相机为一体化分光系统结构，采用多CMOS同时曝光的方式采集不同曝光参数下的图像合成HDR图像，相比于传统的HDR成像方式，可以减小整体曝光时间，降低图
像拖影现象的发生，由于采用相同时间和空间的曝光方式，适用于室外大场景和室内小场
景。

[0025] 2.本发明采用多片低成本的CMOS芯片通过合成的方式得到HDR图像，相比具有高光宽容度的芯片具有巨大的成本优势，有助于降低移动机器人定位系统的成本。

[0026] 3.相比于普通的相机，本发明的相机具有更高的动态范围，有助于移动机器人的SLAM算法提高定位与地图构建的精度。

附图说明

[0027] 图1为本发明去掉部分壳体后的结构示意图；

[0028] 图2位本发明的分光系统支架的示意图；

[0029] 图3为本发明的整体结构示意图；

[0030] 图中标号说明：1镜头，2壳体，3第四CMOS芯片，4第二副分光镜，5FPGA芯片，6电路板，7分光系统支架，71支撑板，72卡槽，73第一固定槽，74第二固定槽，75第三固定槽，76第
四固定槽，77第五固定槽，8第三CMOS芯片，9第二CMOS芯片，10第一副分光镜，11第一CMOS芯
片，12主分光镜。

具体实施方式

[0031] 本发明公开了一种应用于移动机器人SLAM邻域的分光HDR相机，如图1所示，包括：壳体2以及安装在壳体2前端的镜头1，例如镜头1可通过螺纹配合的方式固定在壳体2前端；
在所述壳体2中设置有分光系统，包括：

[0032] 设置在所述镜头1正后方的主分光镜12，其中正后方是指主分光镜12的中心线与镜头1的光轴重合；主分光镜12的分光面倾斜于所述镜头1的光轴，主分光镜12后方设置有
第一副分光镜10，第一副分光镜10的分光面与主分光镜12的分光面垂直；位于主分光镜12
上方设置有第二副分光镜4，第二副分光镜4的分光面与主分光镜12的镜面平行。本实施例
中，所述主分光镜12、第一副分光镜10和第二副分光镜4均为大小相同的正立方体分光镜，
分光面均在正立方体内部的一侧底边和另一侧顶边之间，分光面与正立方体顶面、底面的
夹角均为45°；所述主分光镜12、第一副分光镜10、第二副分光镜4的反射与投射比例均为1:
1，即光线沿平行于分光镜底面的方向照射在分光镜的分光面上以后，有一半的光线被分光
面反射，而另一半光线则穿过分光面。

[0033] 可选地，所述所述主分光镜12的分光面与镜头1的光轴之间的夹角为45°，以便于精确地进行分光。如图1所示，主分光镜12的下端更靠近镜头1一侧。

[0034] 所述第一副分光镜10的下方设置有第一CMOS芯片11，第一副分光镜10的后方设置有第二CMOS芯片9；所述第二副分光镜4的后方设置有第三CMOS芯片8，第二副分光镜4的上
方设置有第四CMOS芯片3；其中，每一个CMOS芯片(包括第一CMOS芯片11至第四CMOS芯片3)
均分别焊接在一块PCB基板上，用于接收穿过对应的副分光镜的光线；每一个CMOS芯片对应
的PCB基板均连接至FPGA芯片5；所述的对应的PCB基板是指CMOS芯片所焊接的PCB基板，在
PCB基板上实现CMOS芯片的外围电路。所述PCB基板与相邻的副分光镜的端面平行且面积相
同，在本实施例中，每个PCB基板均为正方形板，其大小与第一副分光镜10、第二副分光镜4
的端面面积相同，且中心在同一条轴线上。例如，第一CMOS芯片11对应的PCB基板平行设置
在第一副分光镜10的正下方，其大小与第一副分光镜10的底面大小相同，且二者的中心在
同一条轴线上；第二CMOS芯片9对应的PCB基板平行设置在第一副分光镜10的正后方，其大
小与第一副分光镜10的后端面大小相同。

[0035] 在本方案中，外界光线经过所述镜头1聚焦后，经过主分光镜12，50％的外界光线穿透主分光镜12的分光面射入第一副分光镜10中，其余50％的外界光线被主分光镜12的分
光面反射到第二副分光镜4中；进入第一副分光镜10中的50％的外界光线，其中的一半外界
光线经过第一副分光镜10的分光面反射后射入第一CMOS芯片11，另一半外界光线穿过第一
副分光镜10的分光面后射入第二CMOS芯片9；进入第二副分光镜4中的其余50％的外界光
线，其中的一半外界光线经过第二副分光镜4的分光面反射后射入第三CMOS芯片8，另一半
外界光线穿过第二副分光镜4的分光面后射入第四CMOS芯片3。因此，外界光线经过分光系
统后，每个CMOS芯片上能有25％的外界光线。

[0036] 本方案中，所述FPGA芯片5通过电路板6固定在壳体2内部，FPGA芯片5通过数据通信接口与外部通信；PCB基板通过排线与电路板连接，继而与FPGA芯片5通信；其中数据接口
例如可以采用USB3.0，所述的外部可以为例如计算机、移动机器人的控制器等。FPGA芯片5
用于将每一个CMOS芯片获取的欠曝光、正常曝光、过曝光的图像合成高动态范围的图像。

[0037] 当FPGA芯片5接收到外部发送的图像请求时，同时向第一CMOS芯片11至第四CMOS芯片3下达不同曝光时长的曝光指令，第一CMOS芯片11至第四CMOS芯片3分别通过对应的分
光面独立获取图像；其中，第一CMOS芯片11、第二CMOS芯片9分别通过第一副分光镜10的分
光面反射、透射独立获取图像，而第三CMOS芯片8、第四CMOS芯片3分别通过第二副分光镜4
的分光面反射、透射独立获取图像。

[0038] 所述分光HDR相机的工作模式包括弱光模式和强光模式，其中，FPGA芯片5通过分析上一次利用每一个CMOS芯片获取的图像中，正常曝光的图像的平均亮度以及曝光时间来
确定环境的光线情况，然后在下一次每一个CMOS芯片获取图像之前，选择将工作模式切换
在弱光模式或强光模式。每个CMOS芯片获取的图像经过处理与合成最终得到所述高动态范
围的图像。

[0039] 在弱光模式下，所述的曝光指令为：延长曝光时间2档、延长曝光时间1档、正常曝光、减少曝光时间1档，此时能获得过曝光图像2张、正常曝光图像1张、曝光不足图像1张，该
情况下分光系统更关注暗部的图像细节；

[0040] 在强光模式下，所述的曝光指令为：延长曝光时间1档、正常曝光、减少曝光时间1档、减少曝光时间2档，此时能获得过曝光图像1张、正常曝光图像1张、曝光不足图像2张，该
情况下分光系统更关注亮部的图像细节。

[0041] 其中所述的1档、2档指的是表示曝光的时间程度，例如延长曝光时间1档为延长曝光时间T，则延长曝光时间2档为延长曝光时间2T；减少曝光时间同理；具体的档位可根据实
际需求设定。

[0042] 所述正常曝光的时间的获得根据图像的熵最大原理，图像熵反应的是图像中平均信息量的多少，在每次获取正常曝光图像后，FPGA芯片5统计当前的图像熵值，然后根据熵
值调整下一次的曝光时间。使用以下公式计算图像熵：

[0043]

[0044] 其中pi是像素灰度值为i的像素在图像中出现的概率：

[0045] pi＝ni/M×N

[0046] 其中M、N分别表示图像中像素的行列数，ni表示灰度值为i的像素在图像中的数量。

[0047] 所述FPGA芯片5通过系数融合的方式将每一个CMOS芯片获取的图像合成高动态范围的图像，具体为首先估计不同曝光图像的融合权重，然后再进行加权平均融合，融合方法
遵循以下公式：

[0048]

[0049] 其中Wn(x,y)为融合权重，In(x,y)代表不同的图像，n表示图像序号。

[0050] 即，对于每一个CMOS芯片获取的图像，将每一张图像的每一个像素点对应一个融合系数，然后通过加权计算不同图像上相同位置的像素值得到所述高动态范围的图像。

[0051] 如图1所示，为了便于分光系统的布设，所述壳体2内部设置有分光系统支架7，所述分光系统支架7包括对称设置的一对支撑板71，所述的对称设置是指这一对支撑板71相
互平行且对应；所述一对支撑板71上对称开设有用于固定所述主分光镜12、第一副分光镜
10和第二副分光镜4的L形卡槽；如图2所示，由于主分光镜12、第一副分光镜10、第二副分光
镜4从位置关系上来看第一副分光镜10位于主分光镜12后方，第二副分光镜4位于主分光镜
12上方，故形成在所述支撑板71上的L形卡槽能很好地固定这些分光镜；具体地，将这些分
光镜按照位置放置好之后，使分光镜的两侧分别卡入到所述一对支撑板71上的L形卡槽中
即可。

[0052] 当主分光镜12、第一副分光镜10和第二副分光镜4安装到卡槽中之后，所述第一副分光镜10下方及后方的支撑板71上对称开设有第一固定槽73、第二固定槽74，如图1、图2所
示，第一固定槽73、第二固定槽74均为条形槽，分别用于固定安装所述第一CMOS芯片对应的
PCB基板和第二CMOS芯片对应的PCB基板；具体地，使PCB基板的两侧分别卡入到所述一对支
撑板71上的固定槽中，即对PCB基板进行了有效固定，也就对PCB基板上的CMOS芯片进行了
有效固定，使其能在设定的精确位置接收经过分光镜的光线。所述第二副分光镜4的后方及
上方的支撑板71上对称开设有第三固定槽75、第四固定槽76，分别用于固定安装所述第三
CMOS芯片对应的PCB基板和第四CMOS芯片对应的PCB基板。

[0053] 进一步地，如图2所示，在第四固定槽76右侧的支撑板71上还对称开设有第五固定槽77，结合图1，第五固定槽用于FPGA芯片5的电路板6。

[0054] 本实施例中，在进行镜头1与壳体2螺纹连接时，螺纹型号为工业镜头1的统用C型接口，镜头1的参数为：焦距5mm、光圈1.8、适配CMOS最大像面1/2”、水平视角64°、垂直视角
50°、镜头1畸变‑0.33％、镜头1长度58mm、镜头1最大分辨率10M、镜头1接口C‑mount。

[0055] 第一CMOS芯片11至第四CMOS芯片3采用相同的型号，本实施例中为ON Semiconductor MT9V034C12STM，图像分辨率752H×480V、最大像面1/3”、像素大小6.0um×
6.0um、灰度成像、全局快门、最大帧率60Hz、10位ADC分辨率、动态范围大于55dB。此CMOS的
成本较低、同时具有较高的像素大小、有助于提高图像的动态范围。其中每一个CMOS芯片对
应的PCB基板的规格相同，例如PCB基板的厚度为1.2mm，尺寸为20mm×20mm。

[0056] 主分光镜12、第一分光镜、第二分光镜的规格相同，优选尺寸为20mm×20mm×20mm。

[0057] FPGA芯片5与外部通过USB3.0接口连接通信，用以向各个CMOS芯片发送曝光指令，同时接收、处理、合成图像，并将最终合成的图像通过USB3.0接口发送给外部。例如，FPGA芯
片5的型号可以为：Xilinx Zynq 7020，其中可编辑逻辑单元为85K，具有充足的计算资源处
理4片CMOS芯片的数据。同时此芯片内部包含一个双核心ARM Cortex‑A9 SOC计算单元，可
以进行通用计算，用来计算图像熵、曝光时间等。FPGA芯片5在每次获取CMOS芯片的图像数
据后对当前环境进行测光，统计正常曝光图像的灰度分布，即0‑255每个灰度值出现的概
率，然后计算正常曝光图像的信息熵，遵循信息熵最大的原则，动态调整下一帧正常曝光的
时间。根据下一帧正常曝光的时间确定当前的模式是处于弱光模式和强光模式。

[0058] 本实施例使用4片性价比较高的低阶CMOS芯片配合分光系统，实现了对环境的同时同位置曝光，经过图像合成得到HDR图像，解决了传统相机采集图像光宽容度不足以及普
通相机在HDR模式下的运动模糊问题，适用于室内小场景和室外大场景，较高端相机成本优
势突出，有助于提高移动机器人的SLAM精度。