本发明提出一种三维三目摄像装置及深度融合方法，该装置包括：左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；及图像处理模块，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。能够获得优质的3D图像。
左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；
深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；
及图像处理模块，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。
2.如权利要求1所述的三维三目摄像装置，其特征在于，所述图像处理模块包括处理器及存储器，存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：A1：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；
A2：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；
A3：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息。
3.如权利要求2所述的三维三目摄像装置，其特征在于，所述步骤A3包括对深度传感器采集的深度图像数据的每个像素区域进行反射光强度判别：A31：当反射光强度大于等于设定的强度高值时，根据深度传感器传入的深度信息确定对应像素区域的融合深度信息；
A32：当反射光强度小于等于设定的强度低值时，根据所述左右可见光图像传感器计算的深度信息确定对应像素区域的融合深度信息；
A33：当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i,j)，根据左右两路可见光图像数据的匹配度确定所述左右可见光图像传感器计算的深度信息的置信度β(x,y)，根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息。
4.如权利要求3所述的三维三目摄像装置，其特征在于，所述步骤A31中和/或所述步骤A2中，以第一路可见光图像数据为基准图，第二路可见光图像数据为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤确定：A311：找到基准图上的像素点(x，y)对应的深度传感器上的像素坐标信息(i,j)，并取该像素坐标信息(i,j)的八个邻域点，共九个点用(i+δi,j+δj)表示；
(i-1,j-1)、(i,j-1)、(i+1,j-1)、
(i-1,j+1)、(i,j+1)、(i+1,j+1)
A312：根据匹配图和所述深度图像数据的像素对应关系，确定该九个点对应所述深度图像数据上的九个大小M*N像素块，每个像素块对应的深度信息为TD(i+δi,j+δj)，反射光强度为RI(i+δi,j+δj)；M和N为正整数；
A313：以基准图上的像素点(x,y)为中心，在基准图上取大小M*N的像素块，分别与匹配图上的9个像素块做匹配，找到最佳匹配的像素块，基准图上的像素点(x,y)的融合深度信息D(x,y)即取该像素块对应的深度值TD，即D(x,y)＝TD(i+δi,j+δj)。
5.如权利要求4所述的三维三目摄像装置，其特征在于，所述步骤A33包括以下步骤：A331：针对所述深度图像数据，对各个像素点的反射光强度RI(i,j)进行归一化，作为所述深度传感器传入的深度信息的置信度α(i,j)，归一化方法为：α(i,j)＝(RI(i,j)-minRI)/(maxRI-minRI)其中，α(i,j)为像素点(i,j)的深度信息置信度；RI(i,j)为像素点(i,j)的反射光强度；minRI为反射光强度RI(i,j)的最小值；maxRI为反射光强度RI(i,j)的最大值；
A332：左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算中，对各个像素点匹配度进行归一化，作为所述左右可见光图像传感器计算的深度信息的置信度β(x,y)，归一化方法为：β(x,y)＝(MI(x,y)-minMI)/(maxMI-minMI)其中，β(x,y)为像素点(x,y)的深度信息置信度；MI(x,y)为左右两路可见光图像数据在像素点(x,y)的匹配度；minMI为匹配度MI(x,y)的最小值；maxMI为匹配度MI(x,y)的最大值；
A333：根据所述步骤A311和A312找到一路可见光图像数据的像素点(x,y)对应的深度图像数据的深度信息TD(i+δi,j+δj)；
A334：根据左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算，得到该像素点(x,y)的深度DD(x,y)；
A335：根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息：D(x,y)＝
α(i+δi,j+δj)*TD(i+δi,j+δj)/(α(i,j)+β(x,y))+β(x,y)*DD(x,y)/(α(i,j)+β(x,y))。
6.如权利要求2所述的三维三目摄像装置，其特征在于，所述步骤A1中，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，计算公式如下：D(x,y)＝DD(x,y)
其中，D(x,y)为左路可见光图像数据或右路可见光图像数据的像素点(x,y)的融合深度信息；DD(x,y)为通过所述左右可见光图像传感器计算的像素点(x,y)的深度值。
7.如权利要求1-6中任意一项所述的三维三目摄像装置，其特征在于，所述左右可见光图像传感器的分辨率相同且高于所述深度传感器的分辨率。
8.如权利要求1-6中任意一项所述的三维三目摄像装置，其特征在于，所述深度传感器设于左可见光图像传感器和右可见光图像传感器之间且三者共线设置，在所述左可见光图像传感器和右可见光图像传感器的两侧还分别设置有朝向所述拍摄对象的左光源和右光源。
9.如权利要求1-6中任意一项所述的三维三目摄像装置，其特征在于，还包括应用模块，用以调取所述图像处理模块的数据；根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像，或者，将所述融合深度信息及左路可见光图像数据或右路可见光图像数据进行编译以提供给应用模块进行调取使用。
10.一种三维三目摄像装置的深度融合方法，其特征在于，包括以下步骤：S1：通过左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；同时通过深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；
S2：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；
S3：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；
S4：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息；
S5：根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像。
一种三维三目摄像装置及深度融合方法
技术领域
[0001] 本发明涉及图像处理技术领域，具体为一种三维三目摄像装置及深度融合方法。
背景技术
[0002] 目前，摄相机的二维(以下简称2D)成像技术都日趋成熟，高清、智能、多维成为未来摄像机的发展趋势。目前无论是芯片商还是设备商，都将未来的发展方向瞄准了三维(以下简称3D)成像与智能分析两个方面，并推出了多种解决方案，解决了一些应用问题。
[0003] 在3D成像方面，有结构光、TOF与双目可见光视差计算深度三种方案，在手势识别、3D摄影及工业检测等取得一些应用。在智能分析方面，2D图像的智能分析在智能交通、人脸识别与智能机器视觉等领域全面推广。但3D图像的智能分析稍显滞后，如主流应用中的3D摄影、智能汽车、人的识别与行为分析等，都是研究多实际应用少，究其原因，就是目前各种主流方案，都存在着无法解决的缺陷，不能形成优质的解决方案，各个方案的缺陷如下：
[0004] 1.结构光方案，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外；同时，在长时间监控方面，激光发射设备容易坏，重新换设备后，需要重新标定；
[0005] 2.双目可见光视差计算方案，实现算法需要很高的计算资源，导致实时性很差，而且分辨率越高，要求精度越高，则计算越复杂，同时，双目方案受光照，物体纹理性质影响；
[0006] 3.TOF(飞行时间)方案，分辨率较低，但检测角度最宽，实时性高，不需要额外增加计算资源，几乎无算法开发工作量。
发明内容
[0007] 本发明的目的在于提供种一种三维三目摄像装置及深度融合方法，能够获得优质的3D图像。
[0008] 为实现上述目的，本发明提供如下技术方案：一种三维三目摄像装置的深度融合方法，包括以下步骤：
[0009] S1：通过左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；同时通过深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；
[0010] S2：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；
[0011] S3：利用左右可见光图像传感器计算的深度信息,确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；
[0012] 所述步骤S3包括对深度传感器采集的深度图像数据的每个像素区域进行反射光强度判别：
[0013] S31：当反射光强度大于等于设定的强度高值时，根据深度传感器传入的深度信息确定对应像素区域的融合深度信息；
[0014] 所述步骤S31中和/或所述步骤S3中，以第一路可见光图像数据为基准图，第二路可见光图像数据为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤确定：
[0015] S311：找到基准图上的像素点(x，y)对应的深度传感器上的像素坐标信息(i,j)，并取该像素坐标信息(i,j)的八个邻域点，共九个点用(i+δi,j+δj)表示；
[0016] 其中，
[0017] δi∈[-1，+1]
[0018] δj∈[-1，+1]
[0019] 展开即：
[0020] (i-1,j-1)、(i,j-1)、(i+1,j-1)、
[0021] (i-1,j)、(i,j)、(i+1,j)、
[0022] (i-1,j+1)、(i,j+1)、(i+1,j+1)
[0023] S312：根据匹配图和所述深度图像数据的像素对应关系，确定该九个点对应所述深度图像数据上的九个大小M*N像素块，每个像素块对应的深度信息为TD(i+δi,j+δj)，反射光强度为RI(i+δi,j+δj)；M和N为正整数；
[0024] S313：以基准图上的像素点(x,y)为中心，在基准图上取大小M*N的像素块，分别与匹配图上的9个像素块做匹配，找到最佳匹配的像素块，基准图上的像素点(x,y)的融合深度信息D(x,y)即取该像素块对应的深度值TD，即
[0025] D(x,y)＝TD(i+δi,j+δj)
[0026] S32：当反射光强度小于等于设定的强度低值时，根据所述左右可见光图像传感器计算的深度信息确定对应像素区域的融合深度信息；
[0027] S33：当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i,j)，根据左右两路可见光图像数据的匹配度确定所述左右可见光图像传感器计算的深度信息的置信度β(x,y)，根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息；
[0028] 所述步骤S33包括以下步骤：
[0029] S331：针对所述深度图像数据，对各个像素点的反射光强度RI(i,j)进行归一化，作为所述深度传感器传入的深度信息的置信度α(i,j)，归一化方法为：
[0030] α(i,j)＝(RI(i,j)-minRI)/(mSxRI-minRI)
[0031] 其中，α(i,j)为像素点(i,j)的深度信息置信度；RI(i,j)为像素点(i,j)的反射光强度；minRI为反射光强度RI(i,j)的最小值；mSxRI为反射光强度RI(i,j)的最大值；
[0032] S332：左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算中，对各个像素点匹配度进行归一化，作为所述左右可见光图像传感器计算的深度信息的置信度β(x,y)，归一化方法为：
[0033] β(x,y)＝(MI(x,y)-minMI)/(mSxMI-minMI)
[0034] 其中，β(x,y)为像素点(x,y)的深度信息置信度；MI(x,y)为左右两路可见光图像数据在像素点(x,y)的匹配度；minMI为匹配度MI(x,y)的最小值；mSxMI为匹配度MI(x,y)的最大值；
[0035] S333：根据所述步骤S311和S312找到一路可见光图像数据的像素点(x,y)对应的深度图像数据的深度信息TD(i+δi,j+δj)；
[0036] S334：根据左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算，得到该像素点(x,y)的深度DD(x,y)；
[0037] S335：根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息：
[0038] D(x,y)＝α(i+δi,j+δj)*TD(i+δi,j+δj)/(α(i,j)+β(x,y))+β(x,y)*DD(x,y)/(α(i,j)+β(x,y))；
[0039] 其中，步骤S2和步骤S3可调换；
[0040] S4：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息；
[0041] S5：根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像。
[0042] 根据本发明的一个实施例，所述步骤S2中，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，计算公式如下：
[0043] D(x,y)＝DD(x,y)
[0044] 其中，D(x,y)为左路可见光图像数据或右路可见光图像数据的像素点(x,y)的融合深度信息；DD(x,y)为通过所述左右可见光图像传感器计算的像素点(x,y)的深度值。
[0045] 一种三维三目摄像装置，用于实现权利要求1或2所述的三维三目摄像装置的深度融合方法，包括：
[0046] 左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；
[0047] 深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；
[0048] 及图像处理模块，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。
[0049] 根据本发明的一个实施例，所述图像处理模块包括处理器及存储器。
[0050] 根据本发明的一个实施例，所述左右可见光图像传感器的分辨率相同且高于所述深度传感器的分辨率。
[0051] 根据本发明的一个实施例，所述深度传感器设于左可见光图像传感器和右可见光图像传感器之间且三者共线设置，在所述左可见光图像传感器和右可见光图像传感器的两侧还分别设置有朝向所述拍摄对象的左光源和右光源。
[0052] 根据本发明的一个实施例，还包括应用模块，用以调取所述图像处理模块的数据；根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像，或者，将所述融合深度信息及左路可见光图像数据或右路可见光图像数据。
[0053] 与现有技术相比，本发明的有益效果是：
[0054] 由于深度信息是根据两路可见光图像数据及一路深度图像数据融合得到的，将两路可见光图像数据中的一个二维图像作为图像基础，在此图像基础上根据深度信息构建三维图像，一方面深度信息更准确，另一方面可见光图像相比TOF图像分辨率更高，从而获得的三维图像更为优质；使得在拍摄距离、检测精度、分辨率、检测角度、检测速度，抗环境干扰能力六个衡量3D成像效果的关键指标上，都有了显著提高，另外在安装要求、成本与功耗方面也没有明显劣势，是一种性价比超优的解决方。
附图说明
[0055] 图1为本发明一实施例的三维三目摄像装置的结构框图；
[0056] 图2为本发明一实施例的左右两路可见光图像数据与深度图像数据的像素区域之间的对应关系示意图；
[0057] 图3为本发明一实施例的可见光图像数据与深度图像数据的坐标映射关系[0058] 图4为本发明一实施例的三维三目摄像装置的深度融合方法的流程示意图。
具体实施方式
[0059] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060] 请参阅图1-4，本发明提供一种技术方案：一种三维三目摄像装置的深度融合方法，包括以下步骤：
[0061] S1：通过左可见光图像传感器1和右可见光图像传感器3，针对拍摄对象采集左右两路可见光图像数据；同时通过深度传感器2，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；
[0062] S2：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左可见光图像传感器1和右可见光图像传感器3计算的深度信息确定融合深度信息，执行完成；否则继续执行；
[0063] S3：利用左可见光图像传感器1和右可见光图像传感器3计算的深度信息，确定左可见光图像传感器1和右可见光图像传感器3与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；
[0064] 其中，步骤S2和步骤S3可调换；
[0065] S4：根据左可见光图像传感器1和右可见光图像传感器3通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息；
[0066] 所述步骤S3包括对深度传感器2采集的深度图像数据的每个像素区域进行反射光强度判别：
[0067] S31：当反射光强度大于等于设定的强度高值时，根据深度传感器2传入的深度信息确定对应像素区域的融合深度信息；
[0068] 所述步骤S31中和/或所述步骤S3中，以第一路可见光图像数据为基准图，第二路可见光图像数据为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤确定：
[0069] S311：找到基准图上的像素点(x，y)对应的深度传感器2上的像素坐标信息(i,j)，并取该像素坐标信息(i,j)的八个邻域点，共九个点用(i+δi,j+δj)表示；
[0070] 其中，
[0071] δi∈[-1，+1]
[0072] δj∈[-1，+1]
[0073] 展开即：
[0074] (i-1,j-1)、(i,j-1)、(i+1,j-1)、
[0075] (i-1,j)、(i,j)、(i+1,j)、
[0076] (i-1,j+1)、(i,j+1)、(i+1,j+1)
[0077] S312：根据匹配图和所述深度图像数据的像素对应关系，确定该九个点对应所述深度图像数据上的九个大小M*N像素块，每个像素块对应的深度信息为TD(i+δi,j+δj)，反射光强度为RI(i+δi,j+δj)；M和N为正整数；
[0078] S313：以基准图上的像素点(x,y)为中心，在基准图上取大小M*N的像素块，分别与匹配图上的9个像素块做匹配，找到最佳匹配的像素块，基准图上的像素点(x,y)的融合深度信息D(x,y)即取该像素块对应的深度值TD，即
[0079] D(x,y)＝TD(i+δi,j+δj)
[0080] S32：当反射光强度小于等于设定的强度低值时，根据所述左可见光图像传感器1和右可见光图像传感器3计算的深度信息确定对应像素区域的融合深度信息；
[0081] S33：当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i,j)，根据左右两路可见光图像数据的匹配度确定所述左可见光图像传感器1和右可见光图像传感器3计算的深度信息的置信度β(x,y)，根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息；
[0082] 由于深度传感器2容易受环境强光(如太阳光)干扰，在白天效果不好，而根据左右可见光图像传感器通过视差法计算的深度信息却需要较强的环境光才能获得可靠的深度信息，在夜晚环境光弱时效果不好，因此根据环境光强度适应性地调整深度信息的来源，可获得全天候可靠的深度信息。
[0083] 可以在出厂时分别进行标定，从而预先确定深度传感器2采集的深度图像数据与左右可见光图像传感器采集的左右两路可见光图像数据在真实世界的像素对应关系。左可见光图像与右可见光图像皆为高分辨率图像，而深度传感器2的深度图像为低分辨率图像，因此深度传感器2的图像每个像素点将对应左可见光图像与右可见光图像中包含M*N个像素的块，优选的，M、N为奇数。
[0084] 在步骤S31中，对深度传感器2的每一个像素，根据深度传感器2反馈的该像素点的反射光强度判别，当反射光强度大于等于设定的强度高值thH时，以深度传感器2的深度图的深度信息为准。
[0085] 所述步骤S33包括以下步骤：
[0086] S331：针对所述深度图像数据，对各个像素点的反射光强度RI(i,j)进行归一化，作为所述深度传感器传入的深度信息的置信度α(i,j)，归一化方法为：
[0087] α(i,j)＝(RI(i,j)-minRI)/(maxRI-minRI)
[0088] 其中，α(i,j)为像素点(i,j)的深度信息置信度；RI(i,j)为像素点(i,j)的反射光强度；minRI为反射光强度RI(i,j)的最小值；maxRI为反射光强度RI(i,j)的最大值；
[0089] S332：左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算中，对各个像素点匹配度进行归一化，作为所述左右可见光图像传感器计算的深度信息的置信度β(x,y)，归一化方法为：
[0090] β(x,y)＝(MI(x,y)-minMI)/(maxMI-minMI)
[0091] 其中，β(x,y)为像素点(x,y)的深度信息置信度；MI(x,y)为左右两路可见光图像数据在像素点(x,y)的匹配度；minMI为匹配度MI(x,y)的最小值；maxMI为匹配度MI(x,y)的最大值；
[0092] S333：根据所述步骤A311和A312找到一路可见光图像数据的像素点(x,y)对应的深度图像数据的深度信息TD(i+δi,j+δj)；
[0093] S334：根据左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算，得到该像素点(x,y)的深度DD(x,y)；
[0094] S335：根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息：
[0095] D(x,y)＝α(i+δi,j+δj)*TD(i+δi,j+δj)/(α(i,j)+β(x,y))+β(x,y)*DD(x,y)/(α(i,j)+β(x,y))；
[0096] S5：根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像。
[0097] 本发明还提供了一种三维三目摄像装置，包括：
[0098] 左可见光图像传感器1和右可见光图像传感器3，针对拍摄对象采集左右两路可见光图像数据；
[0099] 深度传感器2，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系，深度传感器2可以为TOF传感器，深度传感器2针对同样的拍摄对象进行拍摄，采集一路深度图像数据。其中，针对所拍摄的拍摄对象，左右两路可见光图像数据的像素区域与一路深度图像数据的像素区域之间有既定的对应关系，可以为此对应关系建立像素坐标映射表，来快速对应查找；
[0100] 及图像处理模块4，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像，图像处理模块4可以通过FPGA(Field-Programmable Gate Array，现场可编程门阵列)实现。
[0101] 左可见光图像传感器1和右可见光图像传感器3左右设置，构成双目视觉拍摄装置，左右可见光图像传感器针对拍摄对象进行拍摄，采集到左右两路可见光图像数据，得到的左可见光图像数据和右可见光图像数据可以采用双目视觉技术而确定相应的深度信息，双目视觉技术确定左右图像的深度信息是较为成熟的技术，在此不再赘述。
[0102] 由于深度信息是根据两路可见光图像数据及一路深度图像数据融合得到的，将两路可见光图像数据中的一个二维图像作为图像基础，在此图像基础上根据深度信息构建三维图像，一方面深度信息更准确，另一方面可见光图像相比TOF图像分辨率更高，从而获得的三维图像更为优质；使得在拍摄距离、检测精度、分辨率、检测角度、检测速度，抗环境干扰能力六个衡量3D成像效果的关键指标上，都有了显著提高，另外在安装要求、成本与功耗方面也没有明显劣势，是一种性价比超优的解决方案。
[0103] 在一个实施例中，所述图像处理模块包括处理器及存储器，存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：
[0104] A1：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；
[0105] A2：利用可见光图像传感器1和右可见光图像传感器3计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器2传入的深度信息确定融合深度信息，执行完成；否则继续执行；
[0106] 其中，步骤A1和步骤A2可调换；
[0107] A3：根据可见光图像传感器1和右可见光图像传感器3通过视差法计算的深度信息和深度传感器2采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息。
[0108] 下面对上述步骤A1-A3进行更具体的描述，但不应以此为限。
[0109] 步骤A1-A3中出现的像素区域，可以为一像素点或一像素块，具体根据几者之间的分辨率大小关系确定，只要最终能够实现图像之间的像素区域一一对应即可。
[0110] 例如，深度传感器2为低分辨率的TOF传感器，分辨率为I*J，对于TOF图像上的每个像素点(i，j)，皆有对应的深度信息TD(i，j)，及反射光强度RI(i，j)。而左路可见光图像数据和右路可见光图像数据为高分辨率图像，分辨率为X*Y，通过视差计算可以得到任意像素点(x，y)的深度信息DD(x，y)，及进行匹配计算时，会得到匹配度MI(x，y)。这些信息都是根据图像本身可确定的，也是后续融合需要使用的。各传感器的图像分辨率具体不限，可以选为尽可能的高。
[0111] 在步骤A1中，根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行。也即在光强较强情况下，将双目视觉技术计算出的深度信息直接作为其中一可见光图像的深度信息。
[0112] 在一个实施例中，所述步骤A1中，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，计算公式如下：
[0113] D(x,y)＝DD(x,y)
[0114] 其中，D(x,y)为左路可见光图像数据或右路可见光图像数据的像素点(x,y)的融合深度信息；DD(x,y)为通过所述左右可见光图像传感器计算的像素点(x,y)的深度值。
[0115] 步骤A1和A2中，对同一感知对象而言，只是根据环境光的强度和距离在两个深度信息中二选一。而本实施例通过逐像素的深度融合，可以将两者的优势完全融合，获得高分辨率高精度高可靠的深度信息。
[0116] 在一个实施例中，所述左右可见光图像传感器的分辨率相同且高于所述深度传感器的分辨率，左右可见光图像传感器的分辨率相同可以便于像素点的对应，而深度传感器通常分辨率较低，为了保证获得的三维图像更高清，以更高分辨率的可见光图像传感器作为二维图像。
[0117] 在一个实施例中，所述深度传感器设于左可见光图像传感器和右可见光图像传感器之间且三者共线设置，尽可能保证深度的一致性，在所述左可见光图像传感器和右可见光图像传感器的两侧还分别设置有朝向所述拍摄对象的左光源和右光源，可以进行补光。
[0118] 在一个实施例中，还包括应用模块5，用以调取所述图像处理模块4的数据；根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像，或者，将所述融合深度信息及左路可见光图像数据或右路可见光图像数据给输出模块6，2D图像数据可以编码后输出。输出模块6例如是网络模块、显示模块等。
[0119] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
