一种摄像机及图像采集方法

摘要

本发明涉及一种摄像机及图像采集方法，该摄像机包括：接收环境光线的透镜组件；包括多个滤光区域的滤光组件，各滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同；处理器，用于控制滤光组件的工作滤光区域依次在多个滤光区域之间切换；图像传感器，用于接收工作滤光区域出射的光线，并转换为对应的电信号；处理器，还用于：生成与多个滤光区域各自对应的图像；多个滤光区域各自对应的图像的时序与多个滤光区域的切换顺序相同；多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔满足对象重识别的准确性要求。通过本发明，降低了成本，提高了成像速度，且满足对象重识别的准确性要求。

权利要求

1.一种摄像机，其特征在于，包括：

透镜组件，用于接收环境光线；

滤光组件，包括多个滤光区域，设置于所述透镜组件与图像传感器之间，其中，各所述滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同；

处理器，用于控制所述滤光组件的工作滤光区域依次在所述多个滤光区域之间切换，以接收经由所述透镜组件入射的光线；

所述图像传感器，用于接收工作滤光区域出射的光线，随着所述滤光组件依次切换出不同工作滤光区域，依次接收通过各所述滤光区域出射的光线，并分别转换为对应的电信号；

所述处理器，还用于：根据所述图像传感器所获得的电信号，生成与所述多个滤光区域各自对应的图像；其中，所述多个滤光区域各自对应的图像的时序与所述多个滤光区域的切换顺序相同；所述多个滤光区域各自对应的图像用于对象重识别；所述多个滤光区域的切换速度，使得所述多个滤光区域各自对应的图像之间的时间间隔，满足所述对象重识别的准确性要求。

2.根据权利要求1所述的摄像机，其特征在于，各所述滤光区域对应的波段包括紫外波段、可见光波段、白光波段或红外波段中的任一项。

3.根据权利要求1或2所述的摄像机，其特征在于，所述处理器，还用于：控制所述滤光组件以旋转轴为中心旋转，使得在一旋转周期内所述滤光组件的工作滤光区域依次在所述多个滤光区域之间切换；其中，所述旋转轴与所述透镜组件的光轴平行。

4.根据权利要求3所述的摄像机，其特征在于，各所述滤光区域围绕所述旋转轴的中心依次分布在所述滤光组件上；

所述图像传感器，还用于：在所述一旋转周期内，连续接收通过各所述滤光区域出射的光线。

5.根据权利要求1至4中任一项所述的摄像机，其特征在于，所述滤光组件为一个镀膜滤光片，所述一个镀膜滤光片分为所述多个滤光区域。

6.根据权利要求1至5中任一项所述的摄像机，其特征在于，所述滤光组件为正方形滤光片，所述正方形滤光片等分为四个正方形的滤光区域。

7.根据权利要求1至6中任一项所述的摄像机，其特征在于，所述处理器，还用于：在所述多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值的情况下，指令所述滤光组件以第一速度切换滤光区域；否则，指令所述滤光组件以第二速度切换滤光区域，其中，所述第一速度大于所述第二速度。

8.根据权利要求1至7中任一项所述的摄像机，其特征在于，所述处理器，还用于：根据所述多个滤光区域各自对应的图像的时序，获取所述多个滤光区域各自对应的图像中时序相邻的多张图像；

提取所述多张图像中待识别对象的特征；

根据所述待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果。

9.根据权利要求1至8中任一项所述的摄像机，其特征在于，所述处理器，还用于：根据所述多个滤光区域各自对应的图像的时序，将所述多个滤光区域各自对应的图像输入到训练完成的神经网络模型中，输出目标对象标识信息；

其中，所述神经网络模型是利用训练图像集进行训练的模型，每个训练图像已被标注对应的对象标识信息。

10.一种图像采集方法，其特征在于，所述方法包括：

摄像机控制滤光组件的工作滤光区域依次在所述滤光组件的多个滤光区域之间切换，以接收经由透镜组件入射的光线；其中，所述透镜组件用于接收环境光线，所述滤光组件设置于所述透镜组件与图像传感器之间，各所述滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同；所述图像传感器，用于接收工作滤光区域出射的光线，随着所述滤光组件依次切换出不同工作滤光区域，依次接收通过各所述滤光区域出射的光线，并分别转换为对应的电信号；

根据所述图像传感器所获得的电信号，生成与所述多个滤光区域各自对应的图像；其中，所述多个滤光区域各自对应的图像的时序与所述多个滤光区域的切换顺序相同；所述多个滤光区域各自对应的图像用于对象重识别；所述多个滤光区域的切换速度，使得所述多个滤光区域各自对应的图像之间的时间间隔，满足所述对象重识别的准确性要求。

11.根据权利要求10所述的方法，其特征在于，各所述滤光区域对应的波段包括紫外波段、可见光波段、白光波段或红外波段中的任一项。

12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：根据所述多个滤光区域各自对应的图像的时序，获取所述多个滤光区域各自对应的图像中时序相邻的多张图像；

提取所述多张图像中待识别对象的特征；

根据所述待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果。

13.根据权利要求10至12中任一项所述的方法，其特征在于，所述方法还包括：根据所述多个滤光区域各自对应的图像的时序，将所述多个滤光区域各自对应的图像输入到训练完成的神经网络模型中，输出目标对象标识信息；

其中，所述神经网络模型是利用训练图像集进行训练的模型，每个训练图像已被标注对应的对象标识信息。

说明书

一种摄像机及图像采集方法

技术领域

[0001] 本发明涉及计算机视觉技术领域，尤其涉及一种摄像机及图像采集方法。

背景技术

[0002] 机器视觉指利用机器代替人眼来做测量和识别，例如，智能摄像机可以对采集的图像进行处理(如对象重识别)，从而识别图像中的目标对象；随着机器视觉在智能安保等领域的普及，对智能摄像机的成像效果要求也越来越高；目前智能摄像机所采集的图像，更倾向于给“人”看，而不是给“机器”看。人眼倾向于观看更为清晰的图像，并且由于人类大脑的处理，人的视觉对多模态信息也有很好的先验知识，比如对距离或运动物体的感知。而对于智能摄像机而言，其配置的智能算法(例如，对象重识别等算法)，相当于智能摄像机的“大脑”，通过将采集的图像输入到智能算法中，可以识别图像中的目标对象。因此，需要智能摄像机采集多模态信息，从而提升智能算法的识别能力。

[0003] 相关技术中，智能摄像机可以配置多个镜头或多光谱成像仪，从而采集多模态信息；然而，这种方式成本较高，成像较慢，且多模态信息仅包括多光谱图像，对智能算法的识别能力提升有限，在复杂场景(如待识别对象被遮挡、天气差等)下，识别精度较差。

发明内容

[0004] 有鉴于此，提出了一种摄像机、图像采集方法、可读存储介质及计算机程序产品。

[0005] 第一方面，本发明的实施例提供了一种摄像机，包括：透镜组件，用于接收环境光线；滤光组件，包括多个滤光区域，设置于所述透镜组件与图像传感器之间，其中，各所述滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同；处理器，用于控制所述滤光组件的工作滤光区域依次在所述多个滤光区域之间切换，以接收经由所述透镜组件入射的光线；所述图像传感器，用于接收工作滤光区域出射的光线，随着所述滤光组件依次切换出不同工作滤光区域，依次接收通过各所述滤光区域出射的光线，并分别转换为对应的电信号；所述处理器，还用于：根据所述图像传感器所获得的电信号，生成与所述多个滤光区域各自对应的图像；其中，所述多个滤光区域各自对应的图像的时序与所述多个滤光区域的切换顺序相同；所述多个滤光区域各自对应的图像用于对象重识别；所述多个滤光区域的切换速度，使得所述多个滤光区域各自对应的图像之间的时间间隔，满足所述对象重识别的准确性要求。

[0006] 基于上述技术方案，随着滤光组件依次切换出不同工作滤光区域，图像传感器可以依次接收各滤光区域出射的光线，从而生成与多个滤光区域各自对应的图像(即多光谱图像)，图像传感器无需配置为特殊的阵列(如拜耳阵列)，降低了成本；一些示例中，透镜组件的数量可以为一个，仅需一个透镜组件，无需配置多光谱成像仪及多个镜头，进一步降低了成本，也无需线性扫描及对多个镜头的图像进行校正等处理，提高了成像速度。

[0007] 此外，不同滤光区域对应的波段不同，不同滤光区域各自对应的图像可以看作多光谱图像，在此基本上，由于多个滤光区域各自对应的图像的时序与多个滤光区域的切换顺序相同，可以根据多个滤光区域的切换顺序确定多个滤光区域各自对应的图像的时序，时序与多光谱图像可以看作不同类型的模态信息，从而可以获取更丰富的多模态信息；多个滤光区域各自对应的图像可以用于对象重识别，且多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔满足对象重识别的准确性要求；可以理解的是，在该时间间隔下，所生成的多个滤光区域各自对应的图像中任意两张时序上相邻的图像的图像特征存在差异，这样，利用丰富的多模态信息及差异性的图像特征，进行对象重识别，有助于提升多种场景下对象的识别能力，满足对象重识别的准确性要求。

[0008] 根据第一方面，在所述第一方面的第一种可能的实现方式中，各所述滤光区域对应的波段包括紫外波段、可见光波段、白光波段或红外波段中的任一项。

[0009] 基于上述技术方案，在不同环境下，不同波段的图像清晰度不同，例如，在白天，光线较好的情况下，可见光波段及白光波段的图像较清晰，通过该波段的图像识别目标对象，效果较好；在夜晚，光线较暗的情况下，红外成像效果较好，可以通过红外波段的图像，识别出目标对象。在浓雾等能见度较差的天气下，紫外光穿透云雾的效果更好，可以利用紫外波段的图像，识别出目标对象。这样，不同滤光区域对应的波段不同，基于所生成的多个滤光区域各自对应波段的图像，可以在多种环境下，提升对目标对象的识别能力。

[0010] 根据第一方面或所述第一方面的第一种可能的实现方式，在所述第一方面的第二种可能的实现方式中，所述处理器，还用于：控制所述滤光组件以旋转轴为中心旋转，使得在一旋转周期内所述滤光组件的工作滤光区域依次在所述多个滤光区域之间切换；其中，所述旋转轴与所述透镜组件的光轴平行。

[0011] 基于上述技术方案，仅需配置与透镜组件的光轴平行的旋转轴，并控制滤光组件以该旋转轴为中心旋转，即可实现在一旋转周期内，滤光组件的工作滤光区域依次在多个滤光区域之间切换，进而得到多个滤光区域各自对应的图像，制作工艺上易于实现，成本低，稳定性高；且无需配置多光谱成像仪，也无需进行线性扫描等处理，成像速度快。

[0012] 根据所述第一方面的第二种可能的实现方式，在所述第一方面的第三种可能的实现方式中，各所述滤光区域围绕所述旋转轴的中心依次分布在所述滤光组件上；所述图像传感器，还用于：在所述一旋转周期内，连续接收通过各所述滤光区域出射的光线。

[0013] 基于上述技术方案，各滤光区域围绕旋转轴的中心依次分布在滤光组件上，相邻的两个滤光区域之间紧密相接，从而节约了滤光组件所占空间，降低了成本；图像传感器可以连续接收到通过各滤光区域出射的光线，从而实现不间断成像，提高了图像采集效率。

[0014] 根据所述第一方面或所述第一方面的上述多种可能的实现方式，在所述第一方面的第四种可能的实现方式中，所述滤光组件为一个镀膜滤光片，所述一个镀膜滤光片分为所述多个滤光区域。

[0015] 基于上述技术方案，滤光组件一体成型，制造工艺上易于实现，节约了制造成本，同时，滤光组件以旋转轴为中心旋转的过程中，更加平稳，提高了成像效果。

[0016] 根据所述第一方面或所述第一方面的上述多种可能的实现方式，在所述第一方面的第五种可能的实现方式中，所述滤光组件为正方形滤光片，所述正方形滤光片等分为四个正方形的滤光区域。

[0017] 基于上述技术方案，滤光组件可以为正方形的镀膜滤波片，相对于其他形状，正方形滤光片在制作工艺上更易实现，从而进一步降低了制作成本。

[0018] 根据所述第一方面或所述第一方面的上述多种可能的实现方式，在所述第一方面的第六种可能的实现方式中，所述处理器，还用于：在所述多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值的情况下，指令所述滤光组件以第一速度切换滤光区域；否则，指令所述滤光组件以第二速度切换滤光区域，其中，所述第一速度大于所述第二速度。

[0019] 基于上述技术方案，第一速度大于第二速度，第一速度可以为相对较快的速度，第二速度可以为相对较慢的速度；在多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值时，表明外部环境的光照条件好，此时，可以指令滤光组件以第一速度切换滤光区域，从而使得每个滤光区域接收经由透镜组件入射光线的时间较短，避免过曝及长时间曝光带来的拖影现象，进而保证所生成的各滤光区域对应的图像的清晰度。在滤光区域中至少一个滤光区域出射的光线强度不大于预设阈值的情况下，表明外部环境的光照条件较差，此时，可以指令滤光组件以第二速度切换滤光区域，从而使得每个滤光区域接收经由透镜组件入射光线的时间较长，即曝光时间较长，从而保证所生成的各滤光区域对应的图像的清晰度。

[0020] 根据所述第一方面或所述第一方面的上述多种可能的实现方式，在所述第一方面的第七种可能的实现方式中，所述处理器，还用于：根据所述多个滤光区域各自对应的图像的时序，获取所述多个滤光区域各自对应的图像中时序相邻的多张图像；提取所述多张图像中待识别对象的特征；根据所述待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果。

[0021] 基于上述技术方案，多个滤光区域各自对应的图像中时序相邻的多张图像可以看作多光谱图像，多光谱图像可以适用于多种环境，多光谱图像与多个滤光区域各自对应的图像的时序可以看作不同类型的模态信息，在多光谱图像的基础上融合时序信息，得到丰富的多模态信息；同时，时序相邻的多张图像的图像特征存在差异，可以获取待识别对象更多的特征(如姿态、位移等)；这样，利用丰富的多模态信息及差异性的图像特征，从而可以提取更多且有效的待识别对象的特征，有助于提升多种场景下，尤其是复杂场景下，对象重识别的准确性。

[0022] 根据所述第一方面或所述第一方面的上述多种可能的实现方式，在所述第一方面的第八种可能的实现方式中，所述处理器，还用于：根据所述多个滤光区域各自对应的图像的时序，将所述多个滤光区域各自对应的图像输入到训练完成的神经网络模型中，输出目标对象标识信息；其中，所述神经网络模型是利用训练图像集进行训练的模型，每个训练图像已被标注对应的对象标识信息。

[0023] 基于上述技术方案，可以利用预先采集的多个滤光区域各自对应的图像及这多个滤光区域各自对应的图像的时序，即丰富的多模态信息，对神经网络模型进行预先训练，由于多个滤光区域各自对应的图像中相邻图像的图像特征存在差异；这样，利用丰富的多模态信息及差异性的图像特征，使得训练完成后的神经网络模型可以将图像编码成表达能力更强的特征，增大所提取的特征的分辨度；进而，可以根据待识别的多个滤光区域各自对应的图像的时序，将待识别的多个滤光区域各自对应的图像输入到训练完成的神经网络模型，得到目标对象标识信息；由于训练完成后的神经网络模型可以提取表达能力更强的特征，所得到的目标对象标识信息准确率更高，从而提升了对象重识别的准确性。

[0024] 第二方面，本发明的实施例提供了一种图像采集方法，所述方法包括：摄像机控制滤光组件的工作滤光区域依次在所述滤光组件的多个滤光区域之间切换，以接收经由透镜组件入射的光线；其中，所述透镜组件用于接收环境光线，所述滤光组件设置于所述透镜组件与图像传感器之间，各所述滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同；所述图像传感器，用于接收工作滤光区域出射的光线，随着所述滤光组件依次切换出不同工作滤光区域，依次接收通过各所述滤光区域出射的光线，并分别转换为对应的电信号；根据所述图像传感器所获得的电信号，生成与所述多个滤光区域各自对应的图像；其中，所述多个滤光区域各自对应的图像的时序与所述多个滤光区域的切换顺序相同；所述多个滤光区域各自对应的图像用于对象重识别；所述多个滤光区域的切换速度，使得所述多个滤光区域各自对应的图像之间的时间间隔，满足所述对象重识别的准确性要求。

[0025] 根据第二方面，在所述第二方面的第一种可能的实现方式中，各所述滤光区域对应的波段包括紫外波段、可见光波段、白光波段或红外波段中的任一项。

[0026] 根据第二方面或所述第二方面的第一种可能的实现方式，在所述第二方面的第二种可能的实现方式中，所述方法还包括：控制所述滤光组件以旋转轴为中心旋转，使得在一旋转周期内所述滤光组件的工作滤光区域依次在所述多个滤光区域之间切换；其中，所述旋转轴与所述透镜组件的光轴平行。

[0027] 根据所述第二方面的第二种可能的实现方式，在所述第二方面的第三种可能的实现方式中，各所述滤光区域围绕所述旋转轴的中心依次分布在所述滤光组件上；所述图像传感器，还用于：在所述一旋转周期内，连续接收通过各所述滤光区域出射的光线。

[0028] 根据所述第二方面或所述第二方面的上述多种可能的实现方式，在所述第二方面的第四种可能的实现方式中，所述滤光组件为一个镀膜滤光片，所述一个镀膜滤光片分为所述多个滤光区域。

[0029] 根据所述第二方面或所述第二方面的上述多种可能的实现方式，在所述第二方面的第五种可能的实现方式中，所述滤光组件为正方形滤光片，所述正方形滤光片等分为四个正方形的滤光区域。

[0030] 根据所述第二方面或所述第二方面的上述多种可能的实现方式，在所述第二方面的第六种可能的实现方式中，所述方法还包括：在所述多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值的情况下，指令所述滤光组件以第一速度切换滤光区域；否则，指令所述滤光组件以第二速度切换滤光区域，其中，所述第一速度大于所述第二速度。

[0031] 根据所述第二方面或所述第二方面的上述多种可能的实现方式，在所述第二方面的第七种可能的实现方式中，所述方法还包括：根据所述多个滤光区域各自对应的图像的时序，获取所述多个滤光区域各自对应的图像中时序相邻的多张图像；提取所述多张图像中待识别对象的特征；根据所述待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果。

[0032] 根据所述第二方面或所述第二方面的上述多种可能的实现方式，在所述第二方面的第八种可能的实现方式中，所述方法还包括：根据所述多个滤光区域各自对应的图像的时序，将所述多个滤光区域各自对应的图像输入到训练完成的神经网络模型中，输出目标对象标识信息；其中，所述神经网络模型是利用训练图像集进行训练的模型，每个训练图像已被标注对应的对象标识信息。

[0033] 第三方面，本发明的实施例提供了一种图像采集装置，该图像采集装置可以执行上述第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像采集方法。

[0034] 第四方面，本发明的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现上述第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像采集方法。

[0035] 第五方面，本发明的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像采集方法。

[0036] 上述第二方面至第五方面的各方面，及各方面的各种可能的实现方式的技术效果，可参见上述第一方面。

[0037] 本发明的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。

附图说明

[0038] 包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

[0039] 图1示出根据本发明一实施例的一种应用场景的示意图。

[0040] 图2示出了拜耳阵列中各感光像素镶嵌滤波片的示意图。

[0041] 图3示出了一种采用棱镜方式进行分光的示意图。

[0042] 图4示出了一种利用红绿蓝(RGB)图像进行对象重识别的示意图。

[0043] 图5示出了一种配置有多镜头的摄像机的结构示意图。

[0044] 图6示出了一种多光谱成像仪的结构示意图。

[0045] 图7示出了一种利用多光谱图像进行对象重识别的示意图。

[0046] 图8示出根据本发明一实施例的一种摄像机的结构示意图。

[0047] 图9示出根据本发明一实施例的另一种摄像机的结构示意图。

[0048] 图10示出根据本发明一实施例的另一种摄像机的结构示意图。

[0049] 图11a‑11c示出根据本发明一实施例的几种滤光组件的结构示意图。

[0050] 图12示出上述图11a中滤光组件以旋转轴为中心旋转的示意图。

[0051] 图13示出黑白传感器与拜耳阵列的量子效率曲线图。

[0052] 图14示出了生成的多组多光谱图像的示意图。

[0053] 图15示出了上述图12中滤光组件的一旋转周期的示意图。

[0054] 图16示出根据本发明一实施例的多组多光谱图像中差异性特征的示意图。

[0055] 图17示出根据本发明一实施例的一种神经网络模型的结构示意图。

[0056] 图18示出根据本发明一实施例的另一种神经网络模型的结构示意图。

[0057] 图19示出根据本发明一实施例的一种图像采集方法的流程图。

[0058] 图20示出根据本发明一实施例的另一种图像采集装置的结构示意图。

具体实施方式

[0059] 以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

[0060] 在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

[0061] 另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

[0062] 本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a‑b，a‑c，b‑c，或a‑b‑c，其中a，b，c可以是单个，也可以是多个。

[0063] 为了便于理解，下面首先对本发明实施例所涉及的一些概念进行说明。

[0064] 重识别(Re‑Identification，ReID)，也称再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定对象的技术；可以认为是一个图像检索的子问题。通常给定一个摄像机拍摄的对象图像，可以检索跨摄像机下的该对象图像，从而弥补固定的摄像机的视觉局限，可广泛应用于智能视频监控、智能安保等领域。对象例如是：车辆、行人、动物等。重识别技术的使用如果涉及个人信息，应当在遵循适用的法律法规，包括个人信息保护相关法规的情况下，获取个人信息主体的授权同意，在必要范围内进行。

[0065] 多光谱图像，多光谱图像是指包含多个波段(频带)的图像。其中，每个波段的图像是一幅灰度图像，它表示根据产生该波段图像的传感器的敏感度所得到的场景亮度。例如，同时包含紫外波段(ultraviolet，UV)、可见光波段(红光、绿光、蓝光等)和红外波段(Infrared Radiation，IR)的光谱图即可称为多光谱图像。

[0066] 多模态，模态是指事件发生或经历的方式，一种模态下产生的信息可以称为单模态信息，不同的模态信息具有不同的统计特性，当一个研究问题包含多个模态信息时，它就具有多模态的特性，从而可以更好地解决问题。例如，可见光波段的图像可以称为一种单模态信息，红外波段的图像也可以称为另一种单模态信息，多光谱图像包含多个波段的图像，即多光谱图像可以称为多模态信息。

[0067] 为了更清楚地理解本发明，下面对本发明实施例的摄像机的应用场景及相关技术中方案进行示例性说明。

[0068] 图1示出根据本发明一实施例的一种应用场景的示意图。如图1所示，摄像机101、摄像机102为部署在某道路旁的两个摄像机，摄像机101、摄像机102可以安装在固定位置，并按照预设时间间隔对道路环境进行拍摄，从而采集大量的图像。在某一时间段内，该道路中可以存在对象103、对象104、对象105等，其中，对象103沿图中箭头所示方向前行，摄像机101与摄像机102可以先后拍摄到对象103的图像。当通过摄像机102拍摄的对象103的图像，认定对象103为目标对象时，需要跨摄像机对对象103进行识别与跟踪，即需要在摄像机101采集的大量图像中，寻找对象103的图像，从而完成对象重识别，并可对对象103进行跟踪。

[0069] 示例性地，摄像机101、摄像机102均可以包括普通摄像机或智能摄像机，其中，普通摄像机或智能摄像机均可以具有图像采集功能，还可以具有数据传输能力，例如，可以将所采集的图像转换为适合的码率上传至云端服务器(例如视频监控平台的服务器)；其中，智能摄像机还具有一定的图像处理能力，例如，可以通过在智能摄像机内部嵌入的处理器中配置对象重识别等算法，对智能摄像机所采集的图像进行处理，从而实现对象重识别；而普通摄像机可以借助于云端服务器，对普通摄像机所拍摄的图像进行处理，从而实现对象重识别。

[0070] 相关技术中通过下述方式采集图像，并对采集的图像进行处理，实现对象重识别。

[0071] 方式一、摄像机通过配置特殊的图像传感器阵列或棱镜采集彩色RGB图像，进而对RGB图像进行处理，实现对象重识别。

[0072] 在一些示例中，摄像机的图像传感器可以包括大量的感光像素，其中，每个感光像素上镶嵌不同颜色的滤光片，依照不同的排列方式组成不同的阵列，进而通过不同颜色通道的差值和叠加组成彩色图像；图2示出了拜耳阵列中各感光像素镶嵌滤波片的示意图；如图2所示，拜耳阵列为一个4×4阵列，由8个绿色感光像素、4个蓝色感光像素和4个红色感光像素组成，每个感光像素上镶嵌有相应颜色的滤波片(即图2中红光(R)滤波片、绿光(G)滤波片、蓝光(B)滤波片)，从而使相应波段的光通过，并过滤掉其他波段的光；将不同颜色感光像素生成的灰度图进行融合处理，从而生成一幅彩色RGB图像。在一些示例中，摄像机可以配置棱镜，对可见光进行分光处理；图3示出了一种采用棱镜方式进行分光的示意图；如图3所示，全波段白光经过棱镜分光之后，分别将可见光波段中(R、G、B)三个波段的光分光至对应颜色的图像传感器(即图3中红光图像传感器、绿光图像传感器片、蓝光图像传感器)，每一颜色的图像传感器包括多个对应颜色的感光像素，最后经过三个图像传感器的空间校正组合生成一幅彩色RGB图像。

[0073] 进一步地，可以对生成的RGB图像进行处理，实现对象重识别。图4示出了一种利用RGB图像进行对象重识别的示意图；如图4所示，将RGB图像输入到训练后的神经网络中，该神经网络可以包括卷积层、分类层等，通过特征提取与匹配等处理，从而输出预测的目标对象的身份信息，实现对象重识别。

[0074] 该方式中，摄像机需要配置特殊阵列的图像传感器或棱镜，成本高，且摄像机所生成的RGB图像为可见光波段的图像，即为单模态信息；神经网络识别对象的精度依赖于所输入的数据，将该单模态信息输入到神经网络中，神经网络无法获得更多的先验信息，从而影响了对象重识别的精度。

[0075] 方式二、摄像机可以配置多个镜头或者多光谱成像仪，从而获取多光谱图像，进而对多光谱图像进行处理，实现对象重识别。

[0076] 在一些示例中，摄像机可以配置多个镜头，图5示出了一种配置有多镜头的摄像机的结构示意图；如图5所示，该摄像机配置有左成像器、右成像器、红外镜头、RGB镜头；其中，左成像器及右成像器产生的视差可以生成深度灰度图，RGB镜头用于生成彩色RGB图像，红外镜头用于生成红外图像，从而得到多光谱图像。在一些示例中，摄像机可以配置多光谱成像仪，图6示出了一种多光谱成像仪的结构示意图；如图6所示，通过在空间Y轴方向进行线性扫描成像，线光源照射待扫描样本的反光通过前镜头、狭缝和准直器后，将平行光通过衍射棱镜分光，然后通过聚焦镜头在光谱维度按照波长分光，分光后通过检测器阵列感光，形成紫外光至红外光的感光信号，并分别生成紫外图像、RGB图像及红外图像，从而得到多光谱图像。

[0077] 进一步地，可以对生成的多光谱图像进行处理，实现对象重识别。图7示出了一种利用多光谱图像进行对象重识别的示意图；如图7所示，将RGB图像及红外图像输入到训练后的神经网络中，该神经网络可以包括卷积层、分类层等，通过特征提取与匹配等处理，从而输出预测的目标对象的身份信息，实现对象重识别。

[0078] 该方式中，摄像机需要配置多个镜头或多光谱成像仪，成本高，且多光谱成像仪需要线性扫描，对多个镜头的生成的图像需要进行校正等处理，造成成像速度慢。此外，所获取的多模态信息仅包括多光谱图像，将多光谱图像输入到神经网络中，对对象重识别的精度提升有限，且在复杂场景(如待识别对象被环境中物体遮挡或部分遮挡、天气差能见度低等)下，识别精度仍旧较差。

[0079] 基于此，本发明提供了一种摄像机(具体描述参见下文)，本发明实施例的摄像机成本低、成像快，且可以获取更加丰富的多模态信息及差异性的图像特征，更适应机器的“视觉”，有助于提升多种场景下对目标对象的探测或识别能力，满足对象重识别的准确性要求。示例性地，该摄像机可以部署为上述图1中的摄像机101及摄像机102，进而可以通过对摄像机101及摄像机102采集的图像进行处理得到对象重识别结果，且可以满足对象重识别的准确性要求。

[0080] 需要说明的是，上述图1中仅以两个摄像机、三个对象示出，应理解，这并不限定应用场景中摄像机及对象的数量，应用场景中可以包括更多的对象及摄像机，例如，还可以包括车辆、房屋、树木等等其他物体，此处不再示出。

[0081] 此外，本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，针对其他相似的应用场景(例如，车辆重识别)或新的应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

[0082] 以下对本发明提供的摄像机进行具体说明。

[0083] 图8示出根据本发明一实施例的一种摄像机的结构示意图，如图8所示，该摄像机800，可以包括：透镜组件801、滤光组件802、图像传感器803、处理器804；如图8中箭头所示，透镜组件801接收外部环境中的光线，该光线经由透镜组件801出射到达滤光组件802，示例性地，透镜组件801的数量可以为一个；滤光组件802，可以包括多个滤光区域，设置于透镜组件801与图像传感器803之间，其中，各滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同。处理器804，用于控制滤光组件802的工作滤光区域依次在多个滤光区域之间切换，以接收经由透镜组件801入射的光线。图像传感器803，用于接收工作滤光区域出射的光线，随着滤光组件802依次切换出不同工作滤光区域，图像传感器803依次接收通过各滤光区域出射的光线，并分别转换为对应的电信号；处理器804，还用于：根据图像传感器
803所获得的电信号，生成与多个滤光区域各自对应的图像；其中，多个滤光区域各自对应的图像的时序与多个滤光区域的切换顺序相同；多个滤光区域各自对应的图像用于对象重识别；多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔，满足对象重识别的准确性要求。

[0084] 在图像采集过程中，当滤光组件802中的任一滤光区域被切换为工作滤光区域时，外部环境中的光线可以经由透镜组件801到达该滤光区域，进而，与该滤光区域对应波段的光线可以透过该滤光区域到达图像传感器803，其他波段的光线则被过滤掉，图像传感器803将接收到的光线转换为对应的电信号，以便生成该滤光区域对应的图像，该滤光区域对应的图像包括该滤光区域对应波段的图像。这样，随着滤光组件802依次切换出不同的工作滤光区域，即可生成多个滤光区域各自对应的图像。

[0085] 示例性地，各滤光区域对应的波段可以包括紫外波段、可见光波段、白光波段或红外波段中的任一项。在不同环境下，不同波段的图像清晰度不同，例如，在白天，光线较好的情况下，可见光波段及白光波段的图像较清晰，通过该波段的图像识别目标对象，效果较好；在夜晚，光线较暗的情况下，红外成像效果较好，可以通过红外波段的图像，更准确地识别出目标对象。在浓雾等能见度较差的天气下，紫外光穿透云雾的效果更好，可以利用紫外波段的图像，识别出目标对象。这样，不同滤光区域对应的波段不同，基于所生成的多个滤光区域各自对应的图像，可以在多种环境下，提升识别对象的能力。

[0086] 多个滤光区域的切换顺序可以根据实际需求进行配置，示例性地，可以按照各滤光区域被切换为工作滤光区域的先后顺序，对所生成的各滤光区域对应的图像进行顺次编号，不同时刻生成的滤光区域对应的图像的编号不同，这样，可以利用一个滤光区域对应的图像的唯一编号表示该滤光区域的切换顺序，也可表示该滤光区域对应的图像的时序。

[0087] 其中，多个滤光区域的切换速度表示多个滤光区域中的任意滤光区域切换到下一个滤光区域所使用的时间长度，多个滤光区域各自对应的图像之间的时间间隔表示生成多个滤光区域各自对应的图像的时刻之间的间隔。多个滤光区域各自对应的图像用于对象重识别，多个滤光区域的切换速度使得多个滤光区域各自对应的图像之间的时间间隔，满足对象重识别的准确性要求；示例性地，所述对象重识别的准确性与所述多个滤光区域的切换速度负相关；在一些示例中，对象重识别的准确性可以通过识别出来的对象的身份信息与对象的真实身份相符的比率来衡量。可以理解的是，在满足图像分辨率要求的情况下，多个滤光区域的切换速度越短，则所生成的多个滤光区域各自对应的图像之间的时间间隔越长，相应的，所生成的多个滤光区域各自对应的图像中任意两张时序上相邻的图像的图像特征存在的差异越明显，其中，图像特征可以包括图像中所包含的对象的特征；在进行对象重识别时，利用差异性的图像特征，所识别出来的对象的身份信息与对象的真实身份相符的概率更高。示例性地，在进行图像采集之前，可以根据预设的对象重识别的准确性要求，调节多个滤光区域的切换速度，其中，切换速度的初始值可以设置为较小值，直到多个滤光区域各自对应的图像之间的时间间隔满足对象重识别的准确性要求。

[0088] 举例来说，摄像机800部署为上述图1中的摄像机101，在进行图像采集之前，可以调节摄像机101中多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔满足对象重识别的准确性要求，摄像机101以调节后的切换速度工作，调节后的切换速度通常较慢，若连续拍摄到对象103的两张图像，则这两张图像的时间间隔较长，在长时间间隔内，对象103的姿态等更可能发生较明显的变化(例如，对象103的姿态可能由静止转变为行走，或者对象103的身体可能由被其他物体部分遮挡转变为无物体遮挡)，这样，所拍摄到的这两张图像中对象103的姿态等特征差异越明显，基于对象103的差异性的姿态特征，可以更加准确地识别出对象103。

[0089] 本发明实施例中，随着滤光组件802依次切换出不同工作滤光区域，图像传感器803可以依次接收各滤光区域出射的光线，从而生成与多个滤光区域各自对应的图像(即多光谱图像)，图像传感器803无需配置为特殊的阵列(如拜耳阵列)，且可以仅配置一个透镜组件，无需配置多光谱成像仪及多个镜头，降低了成本，也无需线性扫描及对多个镜头的图像进行校正等处理，提高了成像速度。此外，不同滤光区域对应的波段不同，不同滤光区域各自对应的图像可以看作多光谱图像，在此基本上，由于多个滤光区域各自对应的图像的时序与多个滤光区域的切换顺序相同，可以根据多个滤光区域的切换顺序确定多个滤光区域各自对应的图像的时序，时序与多光谱图像可以看作不同类型的模态信息，从而可以获取更丰富的多模态信息；多个滤光区域各自对应的图像可以用于对象重识别，且多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔满足对象重识别的准确性要求，可以理解的是，在该时间间隔下，所生成的多个滤光区域各自对应的图像中任意两张时序上相邻的图像的图像特征存在差异，这样，利用丰富的多模态信息及差异性的图像特征，进行对象重识别，有助于提升多种场景下对象的识别能力，满足对象重识别的准确性要求。

[0090] 其中，透镜组件801可以由各种不同形状、不同介质(如塑料、玻璃或晶体等)的光学零件(如反射镜、透射镜或棱镜等)按一定方式组合起来，使得环境光线经过这些光学零件的透射或反射以后，按照预设的传输路线到达滤光组件802。示例性地，滤光组件802、图像传感器803可以沿透镜组件801的光轴方向依次设置，即透镜组件801的光轴可以依次穿过滤光组件802及图像传感器803，可以理解的是，在滤光组件802的多个滤光区域中，透镜组件801的光轴所穿过的滤光区域即为工作滤光区域。

[0091] 其中，滤光组件802的数量可以为一个或多个，滤光组件802可以包括多个滤光区域，各滤光区域的形状可以为圆形、菱形、方形等等，示例性地，各滤光区域的大小可以相等、形状可以相同。处理器804可以控制滤光组件802以旋转、平移等方式，实现滤光组件802的工作滤光区域依次在多个滤光区域之间切换。

[0092] 在一种可能的实现方式中，处理器804可以控制滤光组件802以旋转轴为中心旋转，使得在一旋转周期内滤光组件802的工作滤光区域依次在多个滤光区域之间切换；其中，旋转轴与透镜组件801的光轴平行。可以理解的是，旋转速度即可表示多个滤光区域的切换速度，旋转速度越大，则表示多个滤光区域的切换速度越大；旋转速度越小，则表示多个滤光区域的切换速度越小；示例性地，摄像机800还可以包括驱动电机，驱动电机的驱动轴可以与透镜组件的光轴平行设置，驱动电机的驱动轴可以与滤光组件相连，驱动电机805的驱动轴即为透镜组件801的旋转轴，这样，在一旋转周期内，随着滤光组件802以旋转轴为中心旋转，使得透镜组件801的光轴可以依次穿过滤光组件802中的不同滤光区域，不同的滤光区域依次被切换为工作滤光区域，进而生成多个滤光区域各自对应的图像。本发明实施例中，仅需配置与透镜组件801的光轴平行的旋转轴，并控制滤光组件802以该旋转轴为中心旋转，即可实现在一旋转周期内滤光组件的工作滤光区域依次在多个滤光区域之间切换，进而得到多个滤光区域各自对应的图像，制作工艺上易于实现，成本低，稳定性高；且无需配置多光谱成像仪，也无需进行线性扫描等处理，成像速度快。

[0093] 举例来说，图9示出根据本发明一实施例的另一种摄像机的结构示意图，如图9所示，滤光组件802包括滤光区域a1及滤光区域a2，且滤光区域a1及滤光区域a2共面设置，透镜组件801的光轴垂直于滤光区域a1(或滤光区域a2)所在的平面。摄像机800包括驱动电机805，驱动电机805的驱动轴与滤光组件的中心相连，驱动电机805的驱动轴与透镜组件801的光轴平行设置；驱动电机805可以根据接收到的处理器804的指令，以预设速度驱动滤光组件802以驱动轴为中心旋转，当滤光区域a1旋转至特定位置时(如图9中滤光区域a1所在的位置)，透镜组件801的光轴可以穿过滤光区域a1及图像传感器803，此时，滤光区域a1为工作滤光区域，与滤光区域a1对应波段的光线可以透过滤光区域a1到达图像传感器803，从而得到滤光区域a1对应的图像；随着滤光组件802以驱动轴为中心继续旋转，当滤光区域a2旋转至上述特定位置时，透镜组件801的光轴可以依次穿过滤光区域a2及图像传感器803，从而可以得到滤光区域a2对应的图像。这样，旋转一周，滤光组件802的工作滤光区域依次在滤光区域a1与滤光区域a2之间切换，图像传感器803依次接收滤光区域a1及滤光区域a2出射的光线，从而生成一张滤光区域a1对应的图像及一张滤光区域a2对应的图像。

[0094] 图10示出根据本发明一实施例的另一种摄像机的结构示意图，如图10所示，滤光组件802包括滤光区域b1及滤光区域b2，且滤光区域b1及滤光区域b2非共面设置，透镜组件801的光轴垂直于滤光区域b1所在的平面及滤光区域b2所在的平面。驱动电机805驱动滤光组件802以驱动轴为中心旋转，在一旋转周期内，滤光组件802的工作滤光区域依次在滤光区域b1与滤光区域b2之间切换，从而生成一张滤光区域b1对应的图像及一张滤光区域b2对应的图像。其中，驱动电机805的配置及驱动滤光组件802旋转的过程可参照上述图9中相关表述。

[0095] 需要说明的是，为了便于描述，上述图9及图10中，以滤光组件802包括两个滤光区域作为示例，滤光组件802可以包括更多的滤光区域，对此不作限定。

[0096] 在一种可能的实现方式中，滤光组件802的各滤光区域可以围绕旋转轴的中心依次分布在滤光组件802上；示例性地，各滤光区域可以共面设置，滤光组件802上相邻的两个滤光区域之间紧密相接；随着滤光组件802以旋转轴为中心旋转，在旋转速度较慢的情况下，依旧可以在极短时间内将工作滤光区域由相邻的两个滤光区域中的一个滤光区域切换到另一个滤光区域，这样，在一旋转周期内，透镜组件801的光轴可以连续穿过滤光组件802中的各滤光区域，图像传感器803可以连续接收到通过各滤光区域出射的光线，从而实现不间断成像。

[0097] 本发明实施例中，各滤光区域围绕旋转轴的中心依次分布在滤光组件802上，相邻的两个滤光区域之间紧密相接，从而节约了滤光组件802所占空间，降低了成本；图像传感器803可以连续接收到通过各滤光区域出射的光线，从而实现不间断成像，提高了图像采集效率。

[0098] 举例来说，图11a‑11c示出根据本发明一实施例的几种滤光组件的结构示意图，如图11a所示，滤光组件802可以包括滤光区域A、滤光区域B、滤光区域C、滤光区域D；滤光区域A、滤光区域B、滤光区域C、滤光区域D的形状均为正方形，滤光区域A、滤光区域B、滤光区域C、滤光区域D中任意两个相邻的滤光区域之间紧密相接。如图11b所示，滤光组件802可以包括滤光区域E、滤光区域F；滤光区域E、滤光区域F的形状均为半圆形，滤光区域E与滤光区域F之间紧密相接。如图11c所示，滤光组件802可以包括滤光区域G、滤光区域H、滤光区域I、滤光区域J；滤光区域G、滤光区域H、滤光区域I、滤光区域J的形状均为三角形，滤光区域G、滤光区域H、滤光区域I、滤光区域J中任意两个相邻的滤光区域之间紧密相接。随着上述图11a‑11c中滤光组件以旋转轴为中心旋转，图像传感器803可以连续接收到通过各滤光区域出射的光线，实现不间断成像。

[0099] 在一种可能的实现方式中，滤光组件802可以包括多个镀膜滤光片，其中，每个镀膜滤光片为一个滤光区域；示例性地，可以通过拼装、粘接、配平等方式将多个镀膜滤光片围绕滤光组件302旋转的中心依次连续分布在滤光组件302上。

[0100] 在一种可能的实现方式中，滤光组件802可以为一个镀膜滤光片，该镀膜滤光片分为多个滤光区域。其中，各滤光区域可以围绕旋转的中心依次连续分布在滤光组件802上。示例性地，可以对一个滤光片的不同区域分别镀制对应波段的膜层，每一个波段的膜层对应的区域即为一个滤光区域；这样，滤光组件802一体成型，制造工艺上易于实现，节约了制造成本，同时，滤光组件802以旋转轴为中心旋转的过程中，更加平稳，提高了成像效果。

[0101] 示例性地，滤光组件802可以为正方形滤光片，正方形滤光片等分为四个正方形的滤光区域。其中，滤光组件802可以为正方形的镀膜滤波片，四个正方形的滤光区域可以围绕旋转的中心依次连续分布在滤光组件802上；例如，在上述图11a中，滤光组件802可以为一个正方形的镀膜滤光片，滤光区域A、滤光区域B、滤光区域C、滤光区域D的形状可以均为正方形，且大小相等，滤光区域A、滤光区域B、滤光区域C、滤光区域D中任意两个相邻的滤光区域之间紧密相接。相对于其他形状，正方形滤光片在制作工艺上更易实现，从而进一步降低了制作成本。

[0102] 示例性地，上述四个正方形的滤光区域对应的波段可以分别为紫外波段、可见光波段、白光波段或红外波段，这样，正方形滤光片以旋转轴为中心旋转，在一旋转周期内，工作滤光区域依次在四个正方形的滤光区域之间切换，从而可以得到四个不同波段的图像，即得到了丰富的多模态信息。例如，图12示出上述图11a中滤光组件以旋转轴为中心旋转的示意图，如图12所示，上述图11a中滤光组件802以旋转轴为中心，进行沿顺时针方向匀速旋转，旋转周期为T，滤光区域A对应的波段为紫外波段、滤光区域B对应的波段为红外波段、滤光区域C对应的波段为白光波段、滤光区域D对应的波段为可见光波段；滤光区域A、滤光区域B、滤光区域C、滤光区域D的大小均大于光线区域的大小，其中，光线区域表示滤光组件802中能够接收到经由透镜组件801入射的光线的区域，光线区域可以为以透镜组件801的光轴与透镜组件801的交点为中心的圆形区域,光线区域的大小由透镜组件801的配置参数确定。在第一时刻，滤光组件802旋转至图12中左图所示的位置，滤光区域C与光线区域重叠，经由透镜组件801入射的光线中白光波段的光线可通过滤光区域C到达图像传感器803，从而生成白光波段的图像；滤光组件802继续旋转，在第二时刻，滤光组件802旋转至图12中右图所示的位置，滤光区域B与光线区域重叠，经由透镜组件801入射的光线中红外波段的光线可通过滤光区域B到达图像传感器803，从而得到红外波段的图像；这样，以图12中第一时刻开始，滤光组件802旋转一周，即可依次得到白光波段的图像、红外波段的图像、紫外波段的图像及可见光波段的图像。

[0103] 示例性地，各滤光区域的大小可以略大于光线区域的大小。这样，在保证经由透镜组件801入射的光线可以到达至少一个滤光区域的基础上，尽可能减小各滤光区域的大小，从而节约成本及滤光组件801所占空间。

[0104] 其中，图像传感器803为一种将光学影像转换成电子信号的器件，示例性地，图像传感器803可以包括感光耦合元件(charge‑coupled device，CCD)和互补式金属氧化物半导体(complementary MOS，CMOS)。CCD和CMOS均拥有大量(例如数千万)的感光二极管(photodiode)，每个感光二极管称为一个感光基元，每个感光基元对应一个像素。根据多个滤光区域所切换出的工作滤光区域，该感光二极管在接收通过工作滤光区域出射的光线之后，把光信号转化成包含了亮度(或者亮度与颜色)的电信号。示例性地，在一旋转周期内，滤光组件的工作滤光区域依次在多个滤光区域之间切换，这样，随着滤光组件以旋转轴为中心连续旋转，经由透镜组件802入射的光线周期性被不同滤光区域过滤，不同波段的光线周期性通过工作滤光区域，进而，图像传感器803可以周期性接收不同波段的光线。

[0105] 示例性地，图像传感器803可以为黑白传感器，由于图像传感器803所接收的不同波段的光线已经在时序上的相分离，降低了对图像传感器803的制作工艺要求，无需配置为对特定波段敏感的传感器阵列，例如拜耳阵列，也不需要昂贵的稀有金属检测阵列，大大降低了成本。同时，相对于拜耳阵列等形式的图像传感器，避免了紧凑排布的感光像素，在感光时存在的串扰。此外，黑白传感器吸收光的能力更强，成像效果更好；图13示出黑白传感器与拜耳阵列的量子效率(Quantum efficirncy，QE)曲线图，如图13所示，针对同一波段的光线，黑白传感器的量子效率要好于拜耳阵列。

[0106] 示例性地，图像传感器803的数量可以为一个，相对于配置棱镜及多个图像传感器进行分光的方式，利用一个图像传感器即可接收不同波段的光线，进一步节约了成本，且无需进行多个图像传感器之间的校准，避免了校准误差对成像质量的影响。

[0107] 进一步地，处理器804可以根据图像传感器803所获得的电信号，生成与多个滤光区域各自对应的图像，示例性地，根据图像传感器803在将一旋转周期内所获得的电信号，依次生成的与多个滤光区域各自对应的图像，可以作为一组多光谱图像；即在一组多光谱图像中，多个滤光区域各自对应的图像，依照各滤光区域对应的图像的时序顺次排列；这样，随着滤光组件802周期性旋转，即可得到多组多光谱图像。可以理解的是，在每组多光谱图像中，包括多个波段对应的图像，以及各波段对应的图像的时序信息，实现了在时序和光谱维度的双重分离成像，从而获取了更丰富的多模态信息。例如，图14示出了生成的多组多光谱图像的示意图，如图14所示，上述图12中的滤光组件802旋转一周，依次得到白光波段的图像、红外波段的图像、紫外波段的图像及可见光波段的图像，将各波段的图像按照顺序进行编号，一个波段的图像的编号即表示该波段图像的时序，将各波段的图像依照编号顺次排列，即可得到一组多光谱图像；这样，在旋转n个周期之后，即可生成n组多光谱图像，如图14所示，T1表示第1个旋转周期得到的一组多光谱图像，其中，四个波段的图像可以顺次编号为f00、f01、f02、f03，Tn表示第n个旋转周期得到的一组多光谱图像，其中，四个波段的图像可以顺次编号为fn0、fn1、fn2、fn3；在每组多光谱图像中，四个波段的图像按照各自对应的时序，顺次排列。

[0108] 示例性地，若滤光组件802中各滤光区域的形状相同、大小相等，且各滤光区域围绕滤光组件802的旋转的中心依次连续分布在滤光组件802上，则处理器804可以根据滤光组件802中所包含的滤光区域的数量，将一旋转周期内图像传感器803所获得的电信号截取为多个相等时间段内的电信号，其中，时间段的数量与滤光组件802中所包含的滤光区域的数量相等；每一时间段内的电信号即表示一滤光区域被切换为工作滤光区域时，图像传感器803接收的通过该滤光区域出射的光线，并转换为的对应的电信号；根据该旋转周期内多个滤光区域的切换顺序，可以确定各时间段对应的滤光区域；从而可以根据各时间段内的电信号，生成与各时间段对应的滤光区域所对应的图像，还可以根据各时间段的先后顺序对所生成的图像进行编号，从而得到各滤光区域对应的图像的时序。例如，以上述图12中滤光组件802为例，图15示出了图12中滤光组件的一旋转周期的示意图，如图15所示，滤光组件802的旋转周期为T，四个正方形的滤光区域中每个滤光区域接收透镜组件801出射的光线的时间为四分之一周期，可以将一旋转周期内图像传感器803所获得的电信号截取为四个相等时间段内的电信号，根据该旋转周期内四个滤光区域的切换顺序可知，前四分之一周期内(即图15中阴影部分)对应滤光区域C，则可以根据该前四分之一周期内所生成的电信号，生成滤光区域C对应的图像，依次类推，可以得到四个正方形的滤光区域各自对应的图像，实现了不间断成像，并可以得到各滤光区域对应的图像的时序。

[0109] 示例性地，处理器804可以对图像传感器803所获得的电信号进行去噪、增益等处理，以提高所生成的各滤光区域对应的图像质量。

[0110] 示例性地，处理器804还可以根据光线强度的大小，调整多个滤光区域的切换速度，从而保证各滤光区域对应的图像的清晰度；示例性地，可以在多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值的情况下，指令滤光组件802以第一速度切换滤光区域；否则，指令滤光组件802以第二速度切换滤光区域，其中，所述第一速度大于所述第二速度，示例性地，第一速度可以为相对较大的速度，第二速度可以为相对较小的速度，第一速度及第二速度的具体数值可以根据实际需求进行设定。其中，滤光区域出射的光线强度可以通过多种方式获取，例如；可以通过在摄像机800中配置光线强度传感器，以检测各滤光区域出射的光线强度；还可以通过对图像传感器803所获取的电信号进行分析，根据该电信号的幅值确定各滤光区域出射的光线强度。

[0111] 其中，预设阈值可以根据实际需求或经验进行设定，例如，可以为20勒克斯(lx)；在检测到多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值时，表明外部环境的光照条件好，此时，处理器804可以指令滤光组件802以较快的切换速度工作，(例如，滤光组件802可以以较快的旋转速度工作，或滤光组件802以较小的旋转周期工作)，从而使得每个滤光区域接收经由透镜组件801入射光线的时间较短，避免过曝及长时间曝光带来的拖影现象，进而保证所生成的各滤光区域对应的图像的清晰度。在滤光区域中至少一个滤光区域出射的光线强度不大于预设阈值的情况下，表明外部环境的光照条件较差，此时，处理器804可以指令滤光组件802以较慢的切换速度工作(例如，滤光组件802可以以较慢的旋转速度工作，或滤光组件802以较大的旋转周期工作)，从而使得每个滤光区域接收经由透镜组件801入射光线的时间较长，即曝光时间较长，从而保证各滤光区域对应的图像的清晰度。

[0112] 示例性地，在需要采集单个波段的图像时，处理器804可以将多个滤光区域的切换速度调整为零，进入单波段图像采集模式；或者，可以在无需采集多个波段的情况下，将多个滤光区域的切换速度调整为零，从而降低能耗；例如，如上述图12所示，在第一时刻，处理器804控制滤光组件802停止旋转，透镜组件801及图像传感器803继续工作，经由透镜组件801入射的光线中白光波段的光线可通过滤光区域C到达图像传感器803，从而可以生成多张白光波段的图像；相似的，在第二时刻，处理器804控制滤光组件802停止旋转，则可以生成多张红外波段的图像。

[0113] 进一步地，处理器804可以根据需求将上述生成的多个滤光区域各自对应的图像进行融合处理，合成为伪彩图，或者，直接输出多个滤光区域各自对应的图像以及多个滤光区域各自对应的图像的时序。

[0114] 在一种可能的实现方式中，处理器804可以根据多个滤光区域各自对应的图像的时序，获取多个滤光区域各自对应的图像中时序相邻的多张图像；提取多张图像中待识别对象的特征；根据待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果。

[0115] 其中，时序相邻的多张图像可以包括不同滤光区域各自对应的图像，示例性地，可以根据所生成的各滤光区域对应的图像的编号，在多个滤光区域各自对应的图像中选取出相邻的多个编号对应的图像，作为时序相邻的多张图像；例如，时序相邻的多张图像可以包括上述得到的一组或多组多光谱图像。

[0116] 示例性地，可以将上述得到的多张图像输入到常规对象重识别算法中，提取多张图像中待识别对象的特征，进而根据待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果；其中，已有的目标对象的特征可以为处理器804接收到的外部设备所发送的目标对象的特征。

[0117] 其中，多个滤光区域各自对应的图像中时序相邻的多张图像可以看作多光谱图像，参照前文描述，多光谱图像可以适用于多种环境，多光谱图像与多个滤光区域各自对应的图像的时序可以看作不同类型的模态信息，在多光谱图像的基础上融合时序信息，得到丰富的多模态信息；同时，时序相邻的多张图像的图像特征存在差异，可以获取待识别对象更多的特征(如姿态、位移等)；这样，利用丰富的多模态信息及差异性的图像特征，从而可以提取更多且有效的待识别对象的特征，有助于提升多种场景下，尤其是复杂场景下，对象重识别的准确性。

[0118] 在一种可能的实现方式中，处理器804可以根据多个滤光区域各自对应的图像的时序，将多个滤光区域各自对应的图像输入到训练完成的神经网络模型中，输出目标对象标识信息；其中，神经网络模型是利用训练图像集进行训练的模型，其中，每个训练图像已被标注对应的对象标识信息。

[0119] 其中，训练图像集可以包括利用上述图8中图像采集设备800所采集的大量图像；例如，可以包括上述实施例中生成的多组多光谱图像，该多组多光谱图像中每一图像已被标注对应的对象标识信息，每一对象可以对应唯一的对象标识信息，例如，训练图像中对象可以为对象，每个训练图像已被标注对应的对象的身份信息(如对象身份(identity，ID))，不同的对象对应不同的对象身份信息。此外，每个训练图像还可以被标注对应的对象所在的包围框，例如，可以被标注训练图像中对象所在的包围框。

[0120] 这样，利用采集的多组多光谱图像，即丰富的多模态信息，对神经网络模型进行训练，由于多个滤光区域各自对应的图像中相邻图像的图像特征存在差异；这样，利用丰富的多模态信息及差异性的图像特征，使得训练完成后的神经网络模型可以将图像编码成表达能力更强的特征，增大所提取的特征的分辨度；进而可以根据待识别的多个滤光区域各自对应的图像的时序，将待识别的多个滤光区域各自对应的图像输入到训练完成的神经网络模型，例如，可以将一组或几组待识别的多光谱图像输入到训练完成的神经网络模型中，上述训练好的神经网络模型对该待识别的多光谱图像进行处理，得到待识别的多光谱图像的特征向量，根据识别的多光谱图像的特征向量与已有的对象图像的特征向量进行匹配，得到目标对象标识信息；由于神经网络模型可以提取表达能力更强的特征，从而提高了特征匹配的准确性，所得到的目标对象标识信息准确率更高，进而提升了对象重识别的准确性。

[0121] 图16示出根据本发明一实施例的多组多光谱图像中差异性特征的示意图；如图16所示，将上述图14中在T1‑Tn周期生成的多组多光谱图像输入到训练完成后的神经网络模型中，对于感兴趣的人体区域，可以看到在同一个组多光谱图像内的不同波段的图像中对象存在不同程度的姿态变换和/或位移。即图像f00、f01、f02、f03中的对象存在姿态变换和/或位移，fn0、fn1、fn2、fn3中的对象存在姿态变换和/或位移，神经网络模型可以提取出这些姿态变换和/或位移的特征，从而可以更加准确地识别及跟踪目标对象。

[0122] 示例性地，为了更好地利用多个滤光区域各自对应的图像的时序，神经网络模型可以采用针对时间序列优化的模型结构，如循环神经网络(Recurrent Neural Network,RNN)和编码器‑解码器(Transformer)等结构，同时，融合多个滤光区域各自对应的图像，即多光谱图像，从而可以大大加强神经网络模型的特征提取能力，增大所提取的特征的分辨度，有效提升特征匹配、目标识别、跟踪等的正确率。例如，图17示出根据本发明一实施例的一种神经网络模型的结构示意图,如图17所示，该神经网络模型基于RNN结构，可以将一组或多组多光谱图像，按照多个滤光区域各自对应的图像的时序，分别输入到对应的卷积网络中，其中，X1、X2、X3…Xt表示按时序排列的图像，h1、h2、h3…ht表示相对应的特征向量序列。图18示出根据本发明一实施例的另一种神经网络模型的结构示意图，如图18所示，该神经网络模型基于Transformer结构，可以将一组或多组多光谱图像，按照多个滤光区域各自对应的图像的时序，即将按时序排列的图像序列X1、X2、X3…Xt输入到编码器中，相应的，解码器可以输出相应的特征向量序列h1、h2、h3…ht。

[0123] 举例来说，以上述图1所示的应用场景为例，上述图8所示的摄像机800可以部署为图1中的摄像机101及摄像机102，摄像机101及摄像机102对道路环境进行拍摄，从而可以采集到多组多光谱图像，这多组多光谱图像中可以包括对象103、对象104、对象105等诸多对象的图像；利用训练好的神经网络模型对摄像机101及摄像机102采集的对象图像进行处理，得到对象图像的特征向量，并根据对象图像的特征向量与已有的对象图像的特征向量进行匹配，从而可以识别出同一对象，实现对象重识别，进而可以对该对象进行定位与跟踪等。

[0124] 下面对上述摄像机101及摄像机102实现对象重识别的过程进行进一步说明。

[0125] 首先，获取训练图像集，示例性地，训练图像集中可以包括由一个或多个摄像机拍摄的对象图像，例如，可以包括上述摄像机101及摄像机102采集的多组多光谱图像，应理解，训练图像集中可以包括各对象图像对应的对象标识信息；需要说明的是，训练图像集中的训练图像还可以包括其他摄像机采集的对象图像，或者从云端或其他设备获取的对象图像。示例性地，可以将训练图像集中的训练图像按预定比例划分为训练集、验证集以及测试集，其中，预定比例可以根据需求或经验设置，对此不作限定。示例性地，为了提高神经网络模型在多种场景下对目标对象的探测或识别能力，训练图像集可以包括多个场景下的对象图像，例如雾天、雨天、异常照明、阴影、强光、弱光、黑夜、对象被遮挡、对象移动速度快、对象姿态变化明显等等场景下的对象图像，还可以在训练图像中加入噪声、模糊等扰动，劣化训练图像的成像质量等等。

[0126] 然后，利用上述训练图像集对神经网络模型进行训练；示例性地，可以通过常规训练方式对神经网络模型(如RNN)进行训练。神经网络模型内的各个模型参数的初始参数可以是默认参数，利用训练图像集来调整各个模型参数，直至达到损失函数达到预设要求。例如，可将训练图像输入至神经网络模型中(例如，可以将一组或多组多光谱图像组成的图像序列，输入到RNN中)，输出对象的身份信息，利用该对象的身份信息与训练图像已被标注的对象身份信息对各个模型参数进行调整，直至损失函数收敛，完成训练；训练完成后的神经网络模型能够区分开不同对象的图像。

[0127] 接下来，利用训练完成后的神经网络模型进行对象重识别，示例性地，摄像机101及摄像机102可以配置有训练完成后的神经网络模型；利用该训练完成后的神经网络模型对摄像机101及摄像机102对采集到的对象图像进行处理，提取对象图像的特征向量。其中，摄像机102中配置的神经网络模型可以对摄像机102所拍摄对象103的图像进行处理，得到该对象103的图像的特征向量；根据识别出的特征向量与预存的对象图像的特征向量进行比对，得到对象103的身份信息，若根据对象103的身份信息认定对象103为目标对象，则需要跨摄像机对对象103进行跟踪，摄像机102可以将对象103的身份信息，或者对象103的身份信息及上述提取的对象103的图像的特征向量，发送到摄像机101；摄像机101中配置的神经网络模型，对摄像机101所采集的图像进行处理，提取摄像机101所采集的图像的特征向量，并将该特征向量与摄像机发送的对象103的图像的特征向量或预存的对象103图像的特征向量进行比对，例如，可以比对特征向量之间的相似度或欧式距离等；从而可以确定与对象103的图像的特征向量最相似的特征向量，并将该特征向量所对应的摄像机101采集的图像，确定为对象103的图像，这样，利用摄像机101识别出对象103，从而完成对象重识别。

[0128] 基于上述装置实施例的同一发明构思，本发明的实施例还提供了一种图像采集方法。该方法可应用于上述任一实施例的摄像机。

[0129] 图19示出根据本发明一实施例的一种图像采集方法的流程图，该方法可通过上述图8中所示的摄像机800执行，如图19所示，该方法可以包括以下步骤：

[0130] 步骤1901、控制滤光组件的工作滤光区域依次在多个滤光区域之间切换，以接收经由透镜组件入射的光线；其中，透镜组件用于接收环境光线，滤光组件，包括多个滤光区域，设置于透镜组件与图像传感器之间，各所述滤光区域用于通过对应波段的光线，不同滤光区域对应的波段不同；图像传感器，用于接收工作滤光区域出射的光线，随着滤光组件依次切换出不同工作滤光区域，依次接收通过各所述滤光区域出射的光线，并分别转换为对应的电信号。

[0131] 步骤1902、根据图像传感器所获得的电信号，生成与多个滤光区域各自对应的图像；其中，多个滤光区域各自对应的图像的时序与多个滤光区域的切换顺序相同；多个滤光区域各自对应的图像用于对象重识别；多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔，满足对象重识别的准确性要求。

[0132] 本发明实施例中，随着滤光组件的依次切换出不同滤光区域，图像传感器可以依次接收各滤光区域出射的光线，从而生成与多个滤光区域各自对应的图像(即多光谱图像)，图像传感器无需配置为特殊的阵列(如拜耳阵列)，且可以仅配置一个透镜组件，无需配置多光谱成像仪及多个镜头，降低了成本，也无需线性扫描及对多个镜头的图像进行校正等处理，提高了成像速度。此外，不同滤光区域对应的波段不同，不同滤光区域各自对应的图像可以看作多光谱图像，在此基本上，由于多个滤光区域各自对应的图像的时序与多个滤光区域的切换顺序相同，可以根据多个滤光区域的切换顺序确定多个滤光区域各自对应的图像的时序，时序与多光谱图像可以看作不同类型的模态信息，从而可以获取更丰富的多模态信息；多个滤光区域各自对应的图像可以用于对象重识别，且多个滤光区域的切换速度，使得多个滤光区域各自对应的图像之间的时间间隔满足对象重识别的准确性要求；可以理解的是，在该时间间隔下，所生成的多个滤光区域各自对应的图像中任意两张时序上相邻的图像的图像特征存在差异；利用丰富的多模态信息及差异性的图像特征，进行对象重识别，有助于提升多种场景下对目标对象的探测或识别能力，满足对象重识别的准确性要求。

[0133] 在第一种可能的实现方式中，各滤光区域对应的波段包括紫外波段、可见光波段、白光波段或红外波段中的任一项。

[0134] 在第一种可能的实现方式中，所述方法还包括：控制滤光组件以旋转轴为中心旋转，使得在一旋转周期内所述滤光组件的工作滤光区域依次在所述多个滤光区域之间切换；其中，旋转轴与透镜组件的光轴平行。

[0135] 在第一种可能的实现方式中，各滤光区域围绕旋转轴的中心依次分布在滤光组件上；图像传感器，还用于：在一旋转周期内，连续接收通过各滤光区域出射的光线。

[0136] 在第一种可能的实现方式中，滤光组件为一个镀膜滤光片，一个镀膜滤光片分为多个滤光区域。

[0137] 在第一种可能的实现方式中，滤光组件为正方形滤光片，正方形滤光片等分为四个正方形的滤光区域。

[0138] 在第一种可能的实现方式中，所述方法还可以包括：在多个滤光区域中至少一个滤光区域出射的光线强度大于预设阈值的情况下，指令滤光组件以第一速度切换滤光区域；否则，指令滤光组件以第二速度切换滤光区域，其中，第一速度大于所述第二速度。

[0139] 在第一种可能的实现方式中，所述方法还可以包括：根据多个滤光区域各自对应的图像的时序，获取多个滤光区域各自对应的图像中时序相邻的多张图像；提取多张图像中待识别对象的特征；根据待识别对象的特征与已有的目标对象的特征进行比对，得到对象重识别结果。

[0140] 在第一种可能的实现方式中，所述方法还可以包括：根据多个滤光区域各自对应的图像的时序，将多个滤光区域各自对应的图像输入到训练完成的神经网络模型中，输出目标对象标识信息；其中，神经网络模型是利用训练图像集进行训练的模型，每个训练图像已被标注对应的对象标识信息。

[0141] 本发明实施例中图像采集方法及其各种可能的实现方式的具体说明及技术效果，可参见上述实施例中摄像机的相关介绍，此处不再赘述。

[0142] 本发明的实施例还提供了一种图像采集装置，包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法，在一些示例中，可以实现上述图19中所示方法中的相应步骤。

[0143] 图20示出根据本发明一实施例的另一种图像采集装置的结构示意图，如图20所示，该图像采集装置可以包括：至少一个处理器2001以及至少一个通信接口2004。可选的，还可以包括通信线路2002以及存储器2003。

[0144] 处理器2001可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application‑specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。处理器2001可用于实现本发明上述实施例的处理器804，在一些实例中，可用于实现上述图8中所示的处理器804。

[0145] 通信线路2002可以包括一通路，在上述组件之间传送信息。在一些示例中，可以传输上述图8中图像传感器803所获得的电信号或处理器804生成的多个滤光区域各自对应的图像等等。

[0146] 通信接口2004，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local area networks，WLAN)等。

[0147] 存储器2003可以是独立存在，通过通信线路2002与处理器相连接。存储器也可以和处理器集成在一起。本发明实施例提供的存储器通常可以具有非易失性。其中，存储器2003用于存储执行本发明方案的计算机执行指令，并由处理器2001来控制执行。处理器
2001用于执行存储器2003中存储的计算机执行指令，从而实现本发明上述实施例中提供的图像采集方法；在一些示例中，可以实现上述图19中所示方法中的相应步骤。

[0148] 可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。

[0149] 在具体实现中，作为一种实施例，处理器2001可以包括一个或多个CPU，例如图20中的CPU0和CPU1。

[0150] 在具体实现中，作为一种实施例，图像采集装置可以包括多个处理器，例如图20中的处理器2001和处理器2007。这些处理器中的每一个可以是一个单核(single‑CPU)处理器，也可以是一个多核(multi‑CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

[0151] 在具体实现中，作为一种实施例，图像采集装置还可以包括输出设备2005和输入设备2006。输出设备2005和处理器2001通信，可以以多种方式来显示信息。例如，输出设备2005可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备2006和处理器2001通信，可以以多种方式接收用户的输入。例如，输入设备2006可以是鼠标、键盘、触摸屏设备或传感设备等。

[0152] 本发明的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述实施例中的方法。在一些示例中，可以执行上述图19中所示方法中的相应步骤。

[0153] 本发明的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述实施例中的方法。在一些示例中，可以执行上述图19中所示方法中的相应步骤。

[0154] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read‑Only‑Memory，EPROM或闪存)、静态随机存取存储器(Static Random‑Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read‑Only Memory，CD‑ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

[0155] 这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

[0156] 用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field‑Programmable Gate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

[0157] 这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

[0158] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

[0159] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

[0160] 附图中的流程图和框图显示了根据本发明的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

[0161] 也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application Specific Integrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。

[0162] 尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

[0163] 以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。