一种基线长度自动调节的双目立体摄像机转让专利
申请号 : CN200810105403.7
文献号 : CN101276138B
文献日 : 2010-11-24
发明人 : 于乃功 , 秦永钢 , 阮晓钢 , 孙亮 , 龚道雄 , 华瑾
申请人 : 北京工业大学
摘要 :
本发明是一种基线长度自动调节的双目立体摄像机，用于机器人导航、三维重建等，属于机器视觉领域。它包括有立体成像部分、立体视觉信息处理部分和电机传动部分。立体成像部分包括两个CCD图像传感器，两个CCD图像传感器安装在支架上的两根平行滑竿上，其中的一个CCD图像传感器与电机传动部分相连，受其引导可以在支架上沿滑竿滑动，另一个CCD图像传感器与滑竿固定连接。立体视觉信息处理部分为一块嵌入式图像处理器，与两个CCD图像传感器相连，嵌入式图像处理器与电机传动部分相连。相对基线长度固定的双目摄像机，本发明增加了一个基线长度调节的自由度，可以在使用过程中变换基线的长度，以满足匹配或者跟踪等不同任务的要求。
权利要求 :
1.一种基线长度自动调节的双目立体摄像机，包括有立体成像部分(2)，所述的立体成像部分(2)包括有两个CCD图像传感器(5)；两个CCD图像传感器(5)的光轴始终保持平行，并且两个CCD图像传感器(5)的图像平面在同一个平面上；其特征在于：还包括有立体视觉信息处理部分(1)和电机传动部分(3)；其中：所述的立体视觉信息处理部分(1)为一块嵌入式图像处理器，与两个CCD图像传感器(5)相连，接收来自两个CCD图像传感器(5)的图像信息并进行处理，两个CCD图像传感器(5)安装在支架(4)上的两根平行滑竿上，其中的一个CCD图像传感器(5)与电机传动部分(3)相连，受其引导可在支架(4)上沿滑竿滑动，另一个CCD图像传感器(5)与滑竿固定连接；电机传动部分(3)与所述嵌入式图像处理器相连。
2.根据权利要求1所述的一种基线长度自动调节的双目立体摄像机，其特征在于：所述的电机传动部分(3)包括有电机(7)、控制电机(7)运动的运动控制卡(14)和皮带(9)，皮带(9)与其中的一个CCD图像传感器(5)通过连接块(6)固定连接，运动控制卡(14)与电机(7)相连，用来驱动电机(7)的运动，运动控制卡(14)与立体视觉信息处理部分(1)相连。
3.根据权利要求2所述的一种基线长度自动调节的双目立体摄像机，其特征在于：还包括有上位机(13)，上位机(13)分别与立体视觉信息处理部分(1)和电机传动部分(3)的运动控制卡(14)相连。
4.根据权利要求2所述的一种基线长度自动调节的双目立体摄像机，其特征在于：所述的电机(7)为带有电机编码器的直流伺服电机。
说明书 :
技术领域
本发明是一种基线长度自动调节的双目立体摄像机，用于机器人导航、三维重建等，属于机器视觉领域。
背景技术
立体视觉技术在移动机器人导航、多目标跟踪、三维测量和三维重建方面得到了广泛的应用。目前存在很多种应用于机器人的立体摄像机，如加拿大灰点公司(Point Grey Research Inc)生产的Bumblebee系列立体摄像机，Bumblebee2由两个并排的CCD图像传感器构成，镜头可为焦距为3.8mm或者6mm的微镜头，基线长度是12cm，通过1394线与PC机相连，图像匹配等算法在PC机上实现，可构建实时的深度图。美国Videre Design公司生产基线可以手动调节的双目立体摄像机，如STH-MDCS3-VAR型号的立体摄像机，由两个并排的CMOS图像传感器组成，基线长度可以在5-20cm之间调节，镜头可以选择各种C/CS接口的标准镜头，图像匹配等算法工作在PC机上实现，可以获得实时的深度图，另外的一种STH-MDCS3-VARX型号的摄像机，基线长度可以在18-60cm之间以步长7cm调节，其他各种参数与STH-MDCS3-VAR类似。湖南大学的王耀南，余洪山，梁昂，段峰的发明专利(专利申请号：03124756.3)---仿人多自由度立体双目视觉装置，其主要用途是自动获取三维环境信息，具有摄像机的水平旋转，仰俯动作，两个摄像机的聚散度调整四个自由度，可通过计算机控制系统实现各运动部分快速、动态的交互调整，实现了类似人眼睛和头部的运动功能，具有一定的智能性。
目前双目立体摄像机主要存在以下问题：
双目立体摄像机的两个摄像机之间的距离，即基线长度是无法自动调节的，如上面所述，加拿大灰点公司(Point Grey Research Inc)生产的Bumblebee2的基线长度是固定的，Videre Design公司生产的STH-MDCS3-VAR(X)，基线长度虽然可以调节，但是这种调节是在使用之前进行的，无法在工作过程中实现调节。湖南大学王耀南等的发明专利---仿人多自由度立体双目视觉装置，两个摄像机虽然具有自动聚散度调整的功能，但是这种调整是凭借摄像机的旋转形成的，没有改变基线的长度，并且摄像机旋转之后会给图像匹配与深度计算等算法带来很大的难度。
发明内容：
本发明的目的在于克服现有技术的上述缺陷，提供一种基线长度可以自动调节的双目立体摄像机，本发明具有高精度的伺服控制性能，可以精确调节基线的长度，从而改变两个摄像机共同可视范围的大小，能有效计算图像的深度信息，可以应用于机器人导航、目标跟踪、三维重建等领域。
为了实现上述目的，本发明采取如下技术方案。它包括立体成像部分，立体视觉信息处理部分和电机传动部分。所述的立体成像部分包括两个CCD图像传感器，两个CCD图像传感器安装在支架上的两根平行滑竿上，其中的一个CCD图像传感器与电机传动部分相连，受其引导可以在支架上沿滑竿滑动，另一个CCD图像传感器与滑竿固定连接。所述的立体视觉信息处理部分为一块嵌入式图像处理器，与两个CCD图像传感器相连，接收来自两个CCD图像传感器的图像信息并进行处理；嵌入式图像处理器与电机传动部分相连。
所述的电机传动部分包括有电机、控制电机运动的运动控制卡和皮带，皮带与其中的一个CCD图像传感器通过连接块固定连接，运动控制卡与电机相连，用来驱动电机的运动，运动控制卡还与立体视觉信息处理部分的嵌入式图像处理器相连。
还包括有上位机，上位机分别与立体视觉信息处理部分和电机传动部分的运动控制卡相连。
所述的电机为带有电机编码器的直流伺服电机。
本发明的双目摄像机始终保持两个摄像机的光轴平行，两个摄像机的图像平面在同一个平面，满足最基本的双目立体几何关系，根据三角形相似原理，得出场景中某点的深度其中f为焦距，b为基线距离，d为左右图像匹配得出的视差。当基线长度变换时，只需改变公式中的b值。同时从上面的深度计算公式可以看出，为提高深度值的精度可以增大基线长度b，基线长度增大时，两个摄像机的可视范围增大，有利于物体的搜索与跟踪，但是共同可视范围减少，由此场景点对应的视差值增大，为图像匹配增加了难度。根据上面的原理，根据不同时间不同地点的任务需要，可以实时的改变基线长度，在本发明中基线长度的调节范围为5～20cm。
本发明通过获取两个图像传感器的信息来完成多项任务。如可以获取空间物体的三维信息，跟踪空间中的某个目标。获取空间物体的三维信息的工作原理为：其中一个图像传感器的光轴在运动过程中始终与另外一个图像传感器的光轴平行，两个传感器的图像平面位于同一个平面上，空间中的一点在两个图像平面上的投影位置是不同的，其坐标差值称为视差，根据三角形相似原理，借助两个图像传感器之间的距离，即基线长度，可以获得空间该点的深度，同时结合摄像机定标技术可以得到这点的三维信息。跟踪空间中某个目标的工作原理为：首先需要在两个传感器的视野中寻找目标或者人为的指定某个目标，然后运用图像跟踪的算法，在当前视野中不断寻找，直到找到合适的目标。在各种应用情况下的各种任务中，需要的两个图像传感器之间的基线长度是不一样的，当基线长度大时，两个摄像机的共同可视范围小，其可视范围的并集较大，有利于目标的跟踪，但是这时候只能计算较远处目标的三维信息；当基线长度小时，两个摄像机的共同可视范围大，能计算较近处目标的三维信息，但是两个摄像机可视范围的并集比较小，不利于物体的搜索与跟踪。同时，通过公式(f为焦距，b为基线距离，d为左右图像匹配得出的视差)可以看出，基线长度大的时候，计算出的物体的深度信息精度比较大，但是当基线长度大时，又给物体的匹配增加了难度。
本发明的有益效果在于相对基线长度固定的双目摄像机，本发明增加了一个基线长度调节的自由度，类似于人眼的会聚功能，这样可以让本发明在使用过程中自由的变换基线的长度，使本发明工作在适应各项任务的最佳状态，以满足匹配或者跟踪等不同任务的要求，同时这种基线长度的变化又没有对算法过程带来大的难度(从上面的公式看出只需改变其中一个值)，本发明可以适应较为复杂的视觉任务，具有一定的灵活性。
目前双目立体摄像机主要存在以下问题：
双目立体摄像机的两个摄像机之间的距离，即基线长度是无法自动调节的，如上面所述，加拿大灰点公司(Point Grey Research Inc)生产的Bumblebee2的基线长度是固定的，Videre Design公司生产的STH-MDCS3-VAR(X)，基线长度虽然可以调节，但是这种调节是在使用之前进行的，无法在工作过程中实现调节。湖南大学王耀南等的发明专利---仿人多自由度立体双目视觉装置，两个摄像机虽然具有自动聚散度调整的功能，但是这种调整是凭借摄像机的旋转形成的，没有改变基线的长度，并且摄像机旋转之后会给图像匹配与深度计算等算法带来很大的难度。
发明内容：
本发明的目的在于克服现有技术的上述缺陷，提供一种基线长度可以自动调节的双目立体摄像机，本发明具有高精度的伺服控制性能，可以精确调节基线的长度，从而改变两个摄像机共同可视范围的大小，能有效计算图像的深度信息，可以应用于机器人导航、目标跟踪、三维重建等领域。
为了实现上述目的，本发明采取如下技术方案。它包括立体成像部分，立体视觉信息处理部分和电机传动部分。所述的立体成像部分包括两个CCD图像传感器，两个CCD图像传感器安装在支架上的两根平行滑竿上，其中的一个CCD图像传感器与电机传动部分相连，受其引导可以在支架上沿滑竿滑动，另一个CCD图像传感器与滑竿固定连接。所述的立体视觉信息处理部分为一块嵌入式图像处理器，与两个CCD图像传感器相连，接收来自两个CCD图像传感器的图像信息并进行处理；嵌入式图像处理器与电机传动部分相连。
所述的电机传动部分包括有电机、控制电机运动的运动控制卡和皮带，皮带与其中的一个CCD图像传感器通过连接块固定连接，运动控制卡与电机相连，用来驱动电机的运动，运动控制卡还与立体视觉信息处理部分的嵌入式图像处理器相连。
还包括有上位机，上位机分别与立体视觉信息处理部分和电机传动部分的运动控制卡相连。
所述的电机为带有电机编码器的直流伺服电机。
本发明的双目摄像机始终保持两个摄像机的光轴平行，两个摄像机的图像平面在同一个平面，满足最基本的双目立体几何关系，根据三角形相似原理，得出场景中某点的深度其中f为焦距，b为基线距离，d为左右图像匹配得出的视差。当基线长度变换时，只需改变公式中的b值。同时从上面的深度计算公式可以看出，为提高深度值的精度可以增大基线长度b，基线长度增大时，两个摄像机的可视范围增大，有利于物体的搜索与跟踪，但是共同可视范围减少，由此场景点对应的视差值增大，为图像匹配增加了难度。根据上面的原理，根据不同时间不同地点的任务需要，可以实时的改变基线长度，在本发明中基线长度的调节范围为5～20cm。
本发明通过获取两个图像传感器的信息来完成多项任务。如可以获取空间物体的三维信息，跟踪空间中的某个目标。获取空间物体的三维信息的工作原理为：其中一个图像传感器的光轴在运动过程中始终与另外一个图像传感器的光轴平行，两个传感器的图像平面位于同一个平面上，空间中的一点在两个图像平面上的投影位置是不同的，其坐标差值称为视差，根据三角形相似原理，借助两个图像传感器之间的距离，即基线长度，可以获得空间该点的深度，同时结合摄像机定标技术可以得到这点的三维信息。跟踪空间中某个目标的工作原理为：首先需要在两个传感器的视野中寻找目标或者人为的指定某个目标，然后运用图像跟踪的算法，在当前视野中不断寻找，直到找到合适的目标。在各种应用情况下的各种任务中，需要的两个图像传感器之间的基线长度是不一样的，当基线长度大时，两个摄像机的共同可视范围小，其可视范围的并集较大，有利于目标的跟踪，但是这时候只能计算较远处目标的三维信息；当基线长度小时，两个摄像机的共同可视范围大，能计算较近处目标的三维信息，但是两个摄像机可视范围的并集比较小，不利于物体的搜索与跟踪。同时，通过公式(f为焦距，b为基线距离，d为左右图像匹配得出的视差)可以看出，基线长度大的时候，计算出的物体的深度信息精度比较大，但是当基线长度大时，又给物体的匹配增加了难度。
本发明的有益效果在于相对基线长度固定的双目摄像机，本发明增加了一个基线长度调节的自由度，类似于人眼的会聚功能，这样可以让本发明在使用过程中自由的变换基线的长度，使本发明工作在适应各项任务的最佳状态，以满足匹配或者跟踪等不同任务的要求，同时这种基线长度的变化又没有对算法过程带来大的难度(从上面的公式看出只需改变其中一个值)，本发明可以适应较为复杂的视觉任务，具有一定的灵活性。
附图说明
图1为本发明的基本组成框图
图2为本发明的结构示意图
图3为本发明的立体视觉模型图
图4为本发明的功能结构方框图
图中：1、立体视觉信息处理部分，2、立体成像部分，3、电机传动部分，4、支架，5、CCD图像传感器，6、连接块，7、电机，8、从动轮，9、皮带，10、图像平面，11、基线，12、共同可视范围，13、上位机，14、运动控制卡。
图2为本发明的结构示意图
图3为本发明的立体视觉模型图
图4为本发明的功能结构方框图
图中：1、立体视觉信息处理部分，2、立体成像部分，3、电机传动部分，4、支架，5、CCD图像传感器，6、连接块，7、电机，8、从动轮，9、皮带，10、图像平面，11、基线，12、共同可视范围，13、上位机，14、运动控制卡。
具体实施方式
下面结合附图1～4对本发明作进一步说明：
本实施例包括立体视觉信息处理部分1、立体成像部分2和电机传动部分3。如图1所示，立体视觉信息处理部分1接收立体成像部分2采集的同步图像，实时的计算图像的深度图，立体视觉信息处理部分1根据任务和处理效果的需要，实时地把基线11的长度调整指令发送给电机传动部分3，电机传动部分3作用于立体成像部分1，实现两个CCD图像传感器5之间基线11长度的调整。如图3所示，两个CCD图像传感器5的图像平面10共面，当基线长度11调整时，两个图像传感器5的共同可视范围12会发生变化。
如图2所示，立体成像部分2包括两个CCD图像传感器5，安装在具有两根平行滑竿的支架4上，其中一个CCD图像传感器5固定在支架4上，另外一个可以由电机传动部分3引导在支架4上自由滑动。电机传动部分3包括一个直流伺服电机7，运动控制卡14和皮带9。电机7通过皮带9带动从动轮8转动，皮带9通过连接块6与一个CCD图像传感器5固定连接，由此电机7通过此连接带动一个CCD传感器5沿着滑竿滑动。
立体成像部分的CCD图像传感器5为逐行扫描方式，更适合于动态环境下图像的采集，可以配备各种型号的标准C/CS接口的镜头。
立体视觉信息处理部分1为一块嵌入式图像处理器，本实施例选用的是一块DSP处理器，上面配有编解码芯片、RS232串行接口和IEEE1394串行总线接口，该处理器既可以通过RS232接口与运动控制卡14相连实现电机7的控制，也可以与上层的上位机13通过1394接口相连实现图像信息的实时传输。
电机传动部分的电机7为直流伺服电机，设有电机编码器，通过皮带9与其中的一个CCD图像传感器5连接，可以精确定位图像传感器的位置。运动控制卡14上的RS232接口既可以与立体视觉信息处理部分1的DSP处理器相连也可以与上位机13相连，满足多种应用环境。
CCD图像传感器5采集的同步图像信息传输到立体视觉信息处理部分1，在立体视觉信息处理部分1完成两个图像的匹配工作，根据匹配效果的好坏确定基线11的长度，然后通过串口把基线11长度调节的指令发送给运动控制卡14，运动控制卡14驱动电机7，电机7通过皮带9，带动其中的一个图像传感器5到达指定的位置。同时立体视觉处理部分1还可以把图像传感器5采集到的图像或者处理过的图像通过1394接口发送给上位机13，上位机13可以做一些高层的工作，如跟踪目标，机器人的导航等，上位机13可以根据任务的需要调节基线11的长度，然后通过串口把指令发送给运动控制卡14，由运动控制卡14驱动电机7实现图像传感器5的运动。
本实施例包括立体视觉信息处理部分1、立体成像部分2和电机传动部分3。如图1所示，立体视觉信息处理部分1接收立体成像部分2采集的同步图像，实时的计算图像的深度图，立体视觉信息处理部分1根据任务和处理效果的需要，实时地把基线11的长度调整指令发送给电机传动部分3，电机传动部分3作用于立体成像部分1，实现两个CCD图像传感器5之间基线11长度的调整。如图3所示，两个CCD图像传感器5的图像平面10共面，当基线长度11调整时，两个图像传感器5的共同可视范围12会发生变化。
如图2所示，立体成像部分2包括两个CCD图像传感器5，安装在具有两根平行滑竿的支架4上，其中一个CCD图像传感器5固定在支架4上，另外一个可以由电机传动部分3引导在支架4上自由滑动。电机传动部分3包括一个直流伺服电机7，运动控制卡14和皮带9。电机7通过皮带9带动从动轮8转动，皮带9通过连接块6与一个CCD图像传感器5固定连接，由此电机7通过此连接带动一个CCD传感器5沿着滑竿滑动。
立体成像部分的CCD图像传感器5为逐行扫描方式，更适合于动态环境下图像的采集，可以配备各种型号的标准C/CS接口的镜头。
立体视觉信息处理部分1为一块嵌入式图像处理器，本实施例选用的是一块DSP处理器，上面配有编解码芯片、RS232串行接口和IEEE1394串行总线接口，该处理器既可以通过RS232接口与运动控制卡14相连实现电机7的控制，也可以与上层的上位机13通过1394接口相连实现图像信息的实时传输。
电机传动部分的电机7为直流伺服电机，设有电机编码器，通过皮带9与其中的一个CCD图像传感器5连接，可以精确定位图像传感器的位置。运动控制卡14上的RS232接口既可以与立体视觉信息处理部分1的DSP处理器相连也可以与上位机13相连，满足多种应用环境。
CCD图像传感器5采集的同步图像信息传输到立体视觉信息处理部分1，在立体视觉信息处理部分1完成两个图像的匹配工作，根据匹配效果的好坏确定基线11的长度，然后通过串口把基线11长度调节的指令发送给运动控制卡14，运动控制卡14驱动电机7，电机7通过皮带9，带动其中的一个图像传感器5到达指定的位置。同时立体视觉处理部分1还可以把图像传感器5采集到的图像或者处理过的图像通过1394接口发送给上位机13，上位机13可以做一些高层的工作，如跟踪目标，机器人的导航等，上位机13可以根据任务的需要调节基线11的长度，然后通过串口把指令发送给运动控制卡14，由运动控制卡14驱动电机7实现图像传感器5的运动。