该发明公开了一种多光谱多视角环境感知方法，涉及计算机视觉领域。利用在多模态数据融合中经常被规避和忽略的视差信息，推算深度信息，为了产生显著的视差信息，针对性的设计长基线安装方案，利用深度信息和多光谱信息融合进行环境感知，有效的提高环境感知的准确性。
1.一种多光谱多视角环境感知方法，其特征在于，包括以下步骤：S1、根据探测器探测范围，设计基线长度 ，将不同光谱的摄像机放置在同一个基线长度为 的两端；基线长度 /f，其中，表示探测器焦距，表示视差，表示深度；工作距离 需要符合下式（1）： (1)
其中，P表示根据实际需要设定的阈值，对遮挡的要求：限定遮挡的区域对应的圆心角小于 ，则： (2)
根据式(1)(2)，在确定 ， ，的要求下，求得 的范围；同时由深度和视差的偏微分为： (3)
为了让深度估计更加准确，在容许的范围内 取最小， 取最大值，为最优的 ；
S2、为消除安装偏差，摄像机需要提前标定，确定好其坐标旋转矩阵和基线长度 ；
S3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对 ；
S4、利用视差计算模型计算多光谱多视角相机之间的视差 ，并得到深度 ；
视差计算网络将 作为固定图像，将 作为匹配图像，和 数据进行视差计算；配准网络采用编码器解码器结构生成视差 ；和 采用独立的解码器 ，和 ，使用Tiny配置下的MSCAN模块作为基础解码器，该解码器包括4个阶段，每个阶段分辨率分别为原先的1/4,1/
8,1/16,1/32,对应的通道数为32，64，160，256；
编码器直接对原始图像进行处理，得到 特征R和 特征T： （4）
R和T由不同尺度的特征组成 其中下标为编码器阶段，不同阶段输出的特征其尺度不同；R和T内各元素表示提取到的对应特征；
相同尺度的特征通道相等，初步的特征融合模块，使用加权相加和相乘来对模态特征R和T做初步的融合处理；
其中 为初步融合后的特征， 为学习参数；利用式(6)进行参数的更新：
其中， 表示更新后的学习参数， 表示线性整流函数， 的尺度不同，将 上采样为 的大小，为用于防止分母为零导致计算溢出的小数，然后将上采样之后的特征进行通道合并得到 : (7)
其中 表示将 进行二次线性插值到 大小， 的分辨率为原始输入分辨率的1/
将 依次通过 卷积层、组数为32的组归一化层和RELU非线性层，将通道数变更为256，得到M，将M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数 ，对矩阵分解的得到的V进行进一步处理，得到K具体计算过程如下： (8)
其中， 表示组归一化， 表示卷积， 表示对 进行矩阵分解；
最后依次利用卷积层、批归一化、Tanh非线性层，将K转化为我们需要视差数据 ；使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[‑1,1]之内： (11)
S5、利用视差 对 进行配准得到 ， 表示标准化函数， 表示非线性变换函数；
S6、将深度 和多光谱图像 一起输入到多模态融合的环境感知模型中，执行感知任务。
一种多光谱多视角环境感知方法
技术领域
[0001] 本发明涉及计算机视觉领域。具体涉及到一种多光谱多视角环境感知方法。
背景技术
[0002] 多光谱多传感器环境感知是提升环境感知任务鲁棒性的重要途径，以往的多光谱多传感器环境感知方案采用多个传感器采集不同波段的图像，为了更好的融合多个传感器拍摄的图像，传感器之间的基线往往设计的较小，以规避两种波段图像之间的视差，方便下游任务的处理。视差会导致不同图像之间存在偏移，对于同时利用不同波段图像进行环境感知的方案而言，不同波段的图像存在的偏移会对环境感知的结果造成干扰。太短的基线虽然能够减小图像之间的视差，避免了图像配准的流程。但也损失了环境感知的一种潜在的线索，深度信息。深度信息和视差信息存在一一对应的关系，在不存在坐标系旋转的情况下视差和深度成反比，和基线长度成正比。不同波段图像的视差如果能够准确解算，则可以利用视差对图像进行配准。并根据解算出来的视差计算深度信息。进而可以利用深度线索，融合多光谱图像序列，进一步提高环境感知的准确性。
发明内容
[0003] 本发明的目的在于提供一种减小视差的多光谱多视角环境感知方法。
[0004] 本发明针对多光谱多传感器数据采集，设计合理的基线长度可以获取明显的视差信息，利用视差信息，可以提高环境感知的准确性。
[0005] 本发明技术方案为：一种多光谱多视角环境感知方法，其特征在于，包括以下步骤：
[0006] S1、根据探测器探测范围，设计基线长度 ，将不同光谱的摄像机放置在同一个基线长度为 的两端；基线长度 /f，其中，表示探测器焦距，表示视差，表示深度；工作距离 需要符合下式（1）：
[0007] (1)
[0008] 其中，P表示根据实际需要设定的阈值；对遮挡的要求：限定遮挡的区域对应的圆心角小于 ，则：
[0009] (2)
[0010] 根据式(1)(2)，在确定 ， ，的要求下，求得 的范围；同时由深度和视差的偏微分为：
[0011] (3)
[0012] 为了让深度估计更加准确，在容许的范围内 取最小， 取最大值，为最优的；
[0013] S2、为消除安装偏差，摄像机需要提前标定，确定好其坐标旋转矩阵R和基线长度；
[0014] S3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对 ；分别表示两端摄像机采集的画面；
[0015] S4、利用视差计算模型计算多光谱多视角相机之间的视差 ，并得到深度 ；
[0016] 视差计算网络将 作为固定图像，将 作为匹配图像，和 数据进行视差计算；配准网络采用编码器解码器结构生成视差 ；和 采用独立的解码器 ，和 ，使用Tiny配置下的MSCAN模块作为基础解码器，该解码器包括4个阶段，每个阶段分辨率分别为原先的1/4,1/8,1/16,1/32,对应的通道数为32，64，160，256；
[0017] 编码器直接对原始图像进行处理，得到 特征R和 特征T：
[0018] （4）
[0019] R和T由不同尺度的特征组成 其中下标为编码器阶段，不同阶段输出的特征其尺度不同；R和T内各元素表示提取到的对应特征；
[0020] 相同尺度的特征通道相等，初步的特征融合模块，使用加权相加和相乘来对模态特征R和T做初步的融合处理；
[0021] 具体过程如式（5）所示：
[0022] (5)
[0023] 其中，为初步融合后的特征， 为学习的参数；利用式(6)(7)进行参数的更新：
[0024] (6)
[0025] (7)
[0026] 其中， 表示更新后的学习参数， 表示线性整流函数， 的尺度不同，将 上采样为 的大小，为用于防止分母为零导致计算溢出的小数，然后将上采样之后的特征进行通道合并得到 :
[0027] (8)
[0028] 其中 表示将 进行二次线性插值到 大小， 的分辨率为原始输入分辨率的1/4，通道数为512；
[0029] 将 依次通过 卷积层、组数为32的组归一化层和RELU非线性层，将通道数变更为256，得到M，将M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数 ，对矩阵分解的得到的V进行进一步处理，得到K具体计算过程如下：
[0030] (9)
[0031] (10)
[0032] (11)
[0033] 其中， 表示组归一化， 表示卷积， 表示对 进行矩阵分解；
[0034] 最后依次利用卷积层、批归一化、Tanh非线性层，将K转化为我们需要视差数据 ；使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[‑1,1]之内：
[0035] (12)
[0036] 其中，K表示公式（11）的计算结果；
[0037] S5、利用视差 对 进行配准得到 ；
[0038] S6、将深度 和多光谱图像 一起输入到多模态融合的环境感知模型中，执行感知任务。
[0039] 本发明的多光谱多视角环境感知方法，利用在多模态数据融合中经常被规避和忽略的视差信息，推算深度信息，为了产生显著的视差信息，针对性的设计长基线安装方案，利用深度信息和多光谱信息融合进行环境感知，有效的提高环境感知的准确性。
附图说明
[0040] 图1为整个方法的流程示意图；
[0041] 图2为两部相机的遮挡模型示意图；
[0042] 图3为计算多光谱多视角相机之间的视差 中的解码器示意图；图中，1.初步特征融合，2.上采样，3.合并，4.卷积，5.组归一化，6.线性整流图中，1.初步特征融合，2.上采样，3.合并，4.卷积，5.组归一化，6.线性整流，7.矩阵分解，8.泄露线性整流，9.批归一化，10.双曲正切，7.矩阵分解，8.泄露线性整流，9.批归一化，10.双曲正切；
[0043] 图4为计算多光谱多视角相机之间的视差 中初步的特征融合模块示意图。实施方式
[0044] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0045] 如图1所示，不同于传统的多光谱多传感器需要设计较短的基线以消除视差的影响，本方案通过视差生成模型生成视差信息，并利用视差信息解算深度信息，将深度线索和多光谱线索融合进行环境感知，直接将被视为干扰的视差利用，多传感器之间的基线可以根据探测器探测范围进行合理调整，具体步骤为：
[0046] 步骤1、根据探测器探测范围，设计基线长度 ，将不同光谱的摄像机放置在同一个基线长度为 的两端。在不考虑旋转矩阵的情况下，视差和深度的关系：
[0047]
[0048] 如图2所示，同时要求遮挡尽可能的小，使用简化的模型评估遮挡，左右相机的均能够看到球的一半；考虑5m到50m探测范围内需要产生显著性的视差（大于4个像素，设像素大小为12u），对于焦距 的成像系统，基线长度B0=SD/f=4*12e‑6*50/0.012=20cm。
[0049] 步骤2、根据步骤1提出的设计指标，将多光谱相机距离20cm安装。安装之后利用双目立体标定，设计针对不同波段的标定靶标，采集同一靶标在不同相机下的多张成像画面。进行标定。确定好其坐标旋转矩阵R和基线长度 ；(标定方法，参考张正友标定法)。
[0050] 步骤3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对；
[0051] 步骤4、如图3所示本发明设计了对应的解码器，利用视差计算模型 计算多光谱多视角相机之间的视差 ，并得到深度 ，一种视差计算模型使用编码器解码器网络对输入的 进行隐式的特征提取与匹配，得到视差 ，并根据视差和深度的关系，计算深度 ；
[0052] 如图4所示为本发明的初步特征融合模块，该初步特征融合模块的具体过程如式（5）所示：
[0053] (5)
[0054] 其中 为初步融合后的特征， 为学习的参数；利用式(6)(7)进行参数的更新：
[0055] (6)
[0056] (7)
[0057] 的尺度不同，将 上采样为 的大小，为用于防止分母为零导致计算溢出的小数，然后将上采样之后的特征进行通道合并得到 :
[0058] (8)
[0059] 其中 ，表示将 进行二次线性插值到 大小， 的分辨率为原始输入分辨率的1/4，通道数为512；
[0060] 将 依次通过 卷积层、组数为32的组归一化层和RELU非线性层，将通道数变更为256，得到M，将M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数 ，对矩阵分解的得到的V进行进一步处理，得到K具体计算过程如下：
[0061] (9)
[0062] (10)
[0063] (11)
[0064] 其中 表示对 进行矩阵分解；
[0065] 最后依次利用卷积层、批归一化、 非线性层，将K转化为视差数据 ；使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[‑1,1]之内：
[0066] (12)
[0067] 步骤5、利用视差 对 进行配准得到 ， 表示标准化函数， 表示非线性变换函数；
[0068] 步骤6、将深度 和多光谱图像 一起输入到多模态融合的环境感知模型中，执行感知任务（如目标检测和语义分割等）。
[0069] 利用本发明的多光谱多视角环境感知，利用在多模态数据融合中经常被规避和忽略的视差信息，推算深度信息，为了产生显著的视差信息，针对性的设计长基线安装方案，利用深度信息和多光谱信息融合进行环境感知，可有效的提高环境感知的准确性。本发明公开了多光谱多视角环境感知方法，所述多光谱多视角感知方法包括基线设计，多光谱相机安装，相机参数标定，多光谱图像序列拍摄，视差计算，深度推算以及融合深度信息和多光谱信息的环境感知环节。通过对视差信息的有效提取，将深度信息和多光谱信息结合，有效提高环境感知的效果。
[0070] 对比不同编码器下，使用本发明所提出的配准模块和不使用配准模块下的RGB‑T语义分割的表现，其中mAcc和mIoU是常见的评价语义分割的指标，可以看出添加了本发明所提出的配准模块之后，整体模型的语义分割在mAcc和mIoU指标均取得了不错了提升，特别是mAcc指标，均取得了2 5个百分点的提升。~
[0071] 表1.加了配准模块和不加配准模块效果对比，每轮实验训练4次，按最优（平均）记录
[0072]
