非视域目标检测方法、装置和存储介质

摘要

本发明公开了一种非视域目标检测方法和装置，用于降低检测成本和提高目标检测的精度，适用场景包括半导体制造业、电子制造业等高精度工业检测的机器视觉应用场景，也用于自动驾驶、安防监控等领域的检测中。方法部分包括：发射相干光脉冲至非视域目标对应的中介面；接收非视域目标返回的漫反射混合光脉冲，漫反射混合光脉冲包含非视域目标的形状信息；根据应用场景对漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲；将标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列；将每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵；将数字矩阵输入至深度学习网络中进行特征提取，以得到非视域目标的特征信息。

权利要求

1.一种非视域目标检测方法，其特征在于，所述非视域目标检测方法包括：发射相干光脉冲至所述非视域目标对应的中介面；

接收所述非视域目标返回的漫反射混合光脉冲，所述漫反射混合光脉冲包含非视域目标的形状信息；

根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲；

将所述标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列；

将所述每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵；

将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息；

其中，所述深度学习网络包括多个不同膨胀率的并行分支膨胀卷积层和对应的并行分支多尺度融合特征提取网络，每个所述并行分支多尺度融合特征提取网络包括多级分辨率由大到小且依次相连的子网络层，且所述子网络层连接至相邻分支的同级网络层的上下级网络层，所述子网络层用于对本分支的上级网络层输出的特征图与所述同级网络层的上级网络层输出的特征图进行融合，并从融合特征中提取新特征作为下一级输入。

2.如权利要求1所述的非视域目标检测方法，其特征在于，所述根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲，包括：确定捕获所述漫反射混合光脉冲的光电探测器的探测精度和所述非视域目标的大小；

根据所述非视域目标的大小确定所述光电探测器的探测精度是否足够；

若所述光电探测器的探测精度为不够，则通过光脉冲处理设备拉伸所述漫反射混合光脉冲，以得到所述标准漫反射混合光脉冲。

3.如权利要求2所述的非视域目标检测方法，其特征在于，所述方法还包括：若所述光电探测器的探测精度为足够且非视域目标大于预设大小，则通过所述光脉冲处理设备压缩所述漫反射混合光脉冲，得到所述标准漫反射混合光脉冲。

4.如权利要求1‑3任一项所述的非视域目标检测方法，其特征在于，所述将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息，包括：通过所述多个不同膨胀率的并行分支膨胀卷积层对所述数字矩阵进行特征提取，以获取多个不同感受野的特征图；

将所述多个不同感受野的特征图对应输入至所述多个并行分支多尺度融合特征提取网络中，以分别获取每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图；

对所述每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息。

5.如权利要求4所述的非视域目标检测方法，其特征在于，所述深度学习网络包括三个不同膨胀率的并行分支膨胀卷积层和三个并行分支多尺度融合特征提取网络，其中，所述三个不同膨胀率的并行分支膨胀卷积层中，膨胀率自上而下依次为1、2和4。

6.如权利要求4所述的非视域目标检测方法，其特征在于，所述对所述每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息，包括：

采用如下公式对所述每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息：其中， 表示各个并行分支膨胀卷积层的第c个通道对应的特征图，Hc表示第c个通道对应的卷积核，*表示卷积操作，C表示卷积层的通道总数，D表示所述非视域目标的特征信息，所述M表示第M分支，所述N表示第N子网络层。

7.如权利要求4所述的非视域目标检测方法，其特征在于，所述子网络层输出的特征图计算方式如下公式所示：

其中，d表示对应并行分支膨胀卷积层的空洞因子，ω表示卷积参数，xn表示卷积采样点，Δxi表示卷积采样点的间隔，G表示采样网格，Fi表示所述子网络层对上一级网络层输出的特征图与所述同级网络层的上级网络层输出的特征图进行融合得到的融合特征图。

8.一种非视域目标检测装置，其特征在于，所述非视域目标检测装置包括：发射模块，用于发射相干光脉冲至所述非视域目标对应的中介面；

接收模块，用于接收所述非视域目标返回的漫反射混合光脉冲，所述漫反射混合光脉冲包含非视域目标的形状信息；

预处理模块，用于根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲；

转换模块，用于将所述标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列，并将所述每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵；

特征提取模块，用于将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息；

其中，所述深度学习网络包括多个不同膨胀率的并行分支膨胀卷积层和对应的并行分支多尺度融合特征提取网络，每个所述并行分支多尺度融合特征提取网络包括多级分辨率由大到小且依次相连的子网络层，且所述子网络层连接至相邻分支的同级网络层的上下级网络层，所述子网络层用于对本分支的上级网络层输出的特征图与所述同级网络层的上级网络层输出的特征图进行融合，并从融合特征中提取新特征作为下一级输入。

9.一种非视域目标检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述非视域目标检测方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述非视域目标检测方法的步骤。

说明书

非视域目标检测方法、装置和存储介质

技术领域

[0001] 本发明涉及人工智能、目标检测技术领域，尤其涉及一种非视域目标检测方法、装置和计算机存储介质。

背景技术

[0002] 基于传统光学成像的目标检测技术已经比较普及，其利用CCD、CMOS等探测器直接获取目标图像，根据图像特征来进行目标检测。然而，传统的光学成像只能对可以看到的物
体进行成像，对于光线不能直接到达的区域无法成像，无法对被遮挡目标进行检测。

[0003] 目前，也有激光距离选通、飞行时间瞬态成像和光子计数探测等非视域成像技术，但上述非视域成像技术方案均对设备要求较高，难以应用到实际非视域目标检测中。

发明内容

[0004] 本发明提供一种基于深度学习网络的目标检测方法，具体地，提供了一种基于深度学习网络的非视域目标检测方法，用于解决现有技术中非视域目标特征的检测效果较
差、成本较高等技术问题。适用场景包括半导体制造业、电子制造业等高精度工业检测的机
器视觉应用场景，也可以用于自动驾驶、安防监控、医学影像、抢险救灾、军事侦查等多个领
域的非视域目标检测中。

[0005] 第一方面，提供了一种非视域目标检测方法，所述非视域目标检测方法包括：

[0006] 发射相干光脉冲至所述非视域目标对应的中介面；

[0007] 接收所述非视域目标返回的漫反射混合光脉冲，所述漫反射混合光脉冲包含非视域目标的形状信息；

[0008] 根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲；

[0009] 将所述标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列；

[0010] 将所述每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵；

[0011] 将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息。

[0012] 进一步地，所述根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲，包括：

[0013] 确定捕获所述漫反射混合光脉冲的光电探测器的探测精度和所述非视域目标的大小；

[0014] 根据所述非视域目标的大小确定所述光电探测器的探测精度是否足够；

[0015] 若所述光电探测器的探测精度为不够，则通过光脉冲处理设备拉伸所述漫反射混合光脉冲，以得到所述标准漫反射混合光脉冲。

[0016] 进一步地，所述方法还包括：

[0017] 若所述光电探测器的探测精度为足够且非视域目标大于预设大小，则通过所述光脉冲处理设备压缩所述漫反射混合光脉冲，得到所述标准漫反射混合光脉冲。

[0018] 进一步地，所述深度学习网络包括多个不同膨胀率的并行分支膨胀卷积层和对应的并行分支多尺度融合特征提取网络，每个所述并行分支多尺度融合特征提取网络包括多
级分辨率由大到小且依次相连的子网络层，且所述子网络层连接至相邻分支的同级网络层
的上下级网络层，所述子网络层用于对本分支的上级网络层输出的特征图与所述同级网络
层的上级网络层输出的特征图进行融合，并从融合特征中提取新特征作为下一级输入，所
述将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信
息，包括：

[0019] 通过所述多个不同膨胀率的并行分支膨胀卷积层对所述数字矩阵进行特征提取，以获取多个不同感受野的特征图；

[0020] 将所述多个不同感受野的特征图对应输入至所述多个并行分支多尺度融合特征提取网络中，以分别获取每个并行分支多尺度融合特征提取网络输出的多尺度融合特征
图；

[0021] 对所述每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息。

[0022] 进一步地，所述深度学习网络包括三个不同膨胀率的并行分支膨胀卷积层和三个并行分支多尺度融合特征提取网络，其中，所述三个不同膨胀率的并行分支膨胀卷积层中，
膨胀率自上而下依次为1、2和4。

[0023] 进一步地，所述对所述每个相邻并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息，包括：

[0024] 采用如下公式对所述每个相邻并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息：

[0025]

[0026] 其中， 表示各个并行分支膨胀卷积层的第c个通道对应的特征图，Hc表示第c个通道对应的卷积核，*表示卷积操作，C表示卷积层的通道总数，D表示所述非视域目标的
特征信息。

[0027] 进一步地，所述子网络层输出的特征图计算方式如下公式所示：

[0028]

[0029] 其中，d表示对应并行分支膨胀卷积层的空洞因子，ω表示卷积参数，xn表示卷积采样点，Δxi表示卷积采样点的间隔，G表示采样网格，Fi表示所述子网络层对上一级网络层
输出的特征图与所述同级网络层的上级网络层输出的特征图进行融合得到的融合特征图。

[0030] 第二方面，提供了一种非视域目标检测装置，所述非视域目标检测装置包括：

[0031] 发射模块，用于发射相干光脉冲至所述非视域目标对应的中介面；

[0032] 接收模块，用于接收所述非视域目标返回的漫反射混合光脉冲，所述漫反射混合光脉冲包含非视域目标的形状信息；

[0033] 预处理模块，用于根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲；

[0034] 转换模块，用于将所述标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列，并将所述每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵；

[0035] 特征提取模块，用于将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息。

[0036] 第三方面，提供了一种非视域目标检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述非视域目标检
测方法的步骤。

[0037] 第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述非视域目标检测方法的步骤。

[0038] 上述基于深度学习网络的非视域目标检测方法、装置及存储介质所实现的方案中，在对非视域进行检测过程中，发明人研究发现，由于漫反射混合光脉冲的光速很快，飞
行0.3um只需1飞秒，那么对于识别微米级特征的非视域目标(比如半导体表面缺陷)而言，
那么就需要飞秒级的光电探测器来捕获光脉冲，以保证检测精度。然而，满足这种时间精度
的光电探测器通常价格十分昂贵，而且对硬件设备过高的精度要求会严重制约技术的应用
范围。针对此问题，本发明中，可采用一些设备在不改变漫反射混合光脉冲的波形的情况
下，利用光脉冲处理设备对漫反射混合光脉冲进行时域拉伸，转化为所需尺度的标准漫反
射混合光脉冲，以便于光电探测器捕获光脉冲，极大降低光电探测器的探测要求，例如，不
改变漫反射混合光脉冲的波形的情况下，对漫反射混合光脉冲进行时域拉伸，极大降低光
电探测器要求，极大的降低了成本。

附图说明

[0039] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。

[0040] 图1是本发明中非视域目标检测方法的一流程示意图；

[0041] 图2是本发明中非视域目标的一检测场景示意图；

[0042] 图3是本发明中非视域目标的另一检测场景示意图；

[0043] 图4是本发明中深度学习网络的一网络架构示意图；

[0044] 图5是本发明中深度学习网络的另一网络架构示意图；

[0045] 图6是本发明中深度学习网络的一工作过程示意图；

[0046] 图7是本发明中非视域目标检测装置的一结构示意图；

[0047] 图8是本发明中计算机设备的一结构示意图。

具体实施方式

[0048] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发
明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。

[0049] 需要说明的是，本发明还提供了一种基于深度学习网络的非视域目标检测方法，可应用至各种各样的被检测目标的检测场景中，本发明所指的被检测目标可以是指可视域
目标或者是非视域目标，本发明不做限定。当被检测目标为可视域目标时，被检测目标对应
的深度学习网络输入信息可以是基于传统光学成像方式所获取的图像信息，例如，利用
CCD、CMOS等探测器直接获取可视域目标的图像；当被检测目标为非视域目标时，非视域目
标对应的深度学习网络的输入信息可以是非视域目标的漫反射混合光脉冲转换得到的数
字矩阵，具体本发明不做限定。

[0050] 需要说明的是，在本发明实施例中，上述非视域目标可以指各应用领域中出现的非视域目标，例如，在电子制造领域，高集成度的工艺流程使得多数元器件要同时组装，导
致后续进行质量检测时，元器件之间互相遮挡，CCD、CMOS等工业相机无法拍摄到被遮挡区
域，也即非视域目标。又例如，在半导体制造领域，微机电系统(Micro Electromechanical 
System，MEMS)体微加工(Bulk Micromachining)的工艺缺陷检测，体微加工是指利用刻蚀
(Etching)和光刻等工艺对块硅进行准三维结构的微加工，有选择地去除部分基体或衬底
材料，以形成所需要的硅微结构。目前体微加工技术制造的主要产品有：某些压力微传感
器、加速度微传感器、微泵、微阀、微沟槽等微传感器、微机械和为机械零件等，这些产品的
微结构的显著特点是它们都有可运动的悬臂梁或桥、可振动的膜或硅衬底里的沟槽。体微
加工常用的刻蚀(Etching)工艺分为湿法腐蚀和干法腐蚀，根据腐蚀速率的方向性分为各
向同性和各向异性腐蚀。腐蚀沟槽的深度、悬臂梁、桥、振动膜的厚度，通过控制腐蚀时间来
控制。在刻蚀过程中，会由于刻蚀过度、刻蚀不完全产生一些工艺结构缺陷，或由刻蚀引发
的材料内部应力缺陷。由于体微加工通常利用刻蚀工艺产生复杂三维结构，这些工艺缺陷
难免会位于三维结构中无法直接观测的位置，比如悬臂梁或悬桥下方，镂空沟槽的角落等
非视域目标。

[0051] 除上述非视域目标之外，还可以是指其他场景下的非视域目标，例如，本发明不仅可以用于半导体制造业、电子制造业等高精度工业检测的机器视觉应用场景，也可以用于
自动驾驶、安防监控、医学影像、抢险救灾、军事侦查等多个领域的目标检测中，具体本发明
不做限定，也不一一举例说明。

[0052] 发明人研究发现，在上述非视域目标中，无法通过传统光学成像实现缺陷检测，目前透视成像技术是一种解决被遮挡目标检测的方法，主要有X射线、红外透视、超声透视。但
由于X射线成本太高、红外透视只能透视部分材料、超声透视分辨率太低等原因，都有不同
程度的应用障碍。而且，现有的非视域成像技术主要有激光距离选通、飞行时间瞬态成像、
光子计数探测几种类型，但各自存在分辨率不足、场景泛化能力差、抗干扰能力差、成本昂
贵等问题，难以应用到实际目标检测中。对此，本发明实施例中，基于深度学习网络的目标
检测方法，下面结合附图1，以非视域目标检测为例，对本发明实施例提供的基于深度学习
网络的非视域目标检测方法，进行详细的描述，包括如下步骤：

[0053] S11：发射相干光脉冲至非视域目标对应的中介面。

[0054] S12：接收非视域目标返回的漫反射混合光脉冲，漫反射混合光脉冲包含非视域目标的形状信息。

[0055] S13：根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲。

[0056] S14：将所述标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列。

[0057] S15：将所述每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵。

[0058] S16：将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息。

[0059] 下面对上述步骤S11‑S16进行详细的描述。如图2所示，脉冲激光器发射相干光脉冲至中介面，经中介面和非视域目标作用，从而产生漫反射混合光脉冲，其中，反射的漫反
射混合光脉冲中将包含着非视域目标的形状信息。需要说明的是，这里的中介面指的是脉
冲激光器发射的相干光脉冲可直接扫射的区域，通常为位于非视域目标周围的可视域目
标。

[0060] 需要说明的是，具备高时间相干性的脉冲激光器发射相干光脉冲至中介面，由于中介面通常为粗糙表面，入射光将发生一次漫反射，部分一次漫射光在可视目标区域传播，
另部分一次漫射光传播至非视域目标，在非视域目标发生二次漫反射，非视域目标的部分
二次漫射光再次传播到中介面发生三次漫反射，产生的部分三次漫射光在可视域目标传
播。因此，对于某一确定时刻而言，在可视域目标可以观察到的漫反射光，可以视为由脉冲
激光器在不同时刻发出的相干光经历不同光路程产生的漫反射光的混合光。再如图2所示，
例如，在可视域目标的t时刻观察到的漫反射光，可以包含激光器t1时刻发出的相干光经中
介面一次漫反射、非视域二次漫反射、中介面三次漫反射所产生的漫反射光，也包含激光器
t2时刻发出的相干光直接经中介面一次漫反射所产生的漫反射光，还包含激光器其他时刻
发出的相干光经历不同光路程所产生的漫反射光。需要说明的是，图2所示的漫反射光的反
射情况在此仅为示例性说明，具体不做限定。

[0061] 值得注意的是，虽然各原始相干光在不同时刻从激光器发出，但不同的光路程弥补了时间差，使得最终产生的各漫反射光同时刻被观察到，形成漫反射混合光脉冲。激光器
不同时刻发出的相干光具备高度时间相干性，由于漫反射过程会保留部分相干性，因而不
同光路程产生的漫反射光会在混合时发生干涉。各漫反射光之间干涉引起的混合光幅度变
化与各漫反射光相位差异有关，而相位差异是由不同光路程之间的光程差引起的，即各漫
反射过程中光的路程变化决定了混合光中各漫反射光的干涉情况。对于非视域目标而言，
当光从其表面不同位置发生漫反射，会产生不同的光路程，并在不同时刻到达可视域区域，
在混合光中引起不同的干涉变化，因此，混合光随时间的变化规律中隐含着非视域目标的
形状信息。脉冲激光器发射具有一定脉冲宽度的相干光脉冲，接收包含非视域目标信息的
漫反射混合光脉冲，后续便可以利用模数转换器将包含非视域目标信息的漫反射混合光脉
冲转换为离散数字序列后输入至深度学习网络，通过深度学习网络对离散数字序列进行特
征识别便可以实现非视域目标的检测，得到非视域目标的特征信息。

[0062] 需要说明的是，上述获取漫反射混合光脉冲的过程可应用至各种各样的非视域目标的检测过程中，在此不做限定。例如，如图3所示，以其中的半导体微结构的非视域缺陷为
非视域目标为例，使用脉冲激光器发射相干光脉冲，经发射光纤入射到半导体微结构表面，
入射光经过微结构表面和非视域缺陷位置的多次漫反射进入接收光纤，接收光纤接收到的
漫反射混合光脉冲中携带着非视域缺陷的信息，经过光脉冲处理设备(如时间透镜)预处理
后被光电探测器探测，由模数转换器对光电探测器探测得到的漫反射混合光脉冲转化为数
字矩阵后输出至处理器，由处理器执行本发明提供的基于深度学习网络的目标检测方法。

[0063] 另外值得注意的是，通常为了增加检测准确率，脉冲激光器可以发射多次脉冲，接收多个返回脉冲进行联合检测。同时，为了充分收集非视域目标的形状信息，可以调整脉冲
发射和脉冲接收的位置和角度进行扫描式检测，具体不做限定。当接收多个检测光脉冲时，
将每个光脉冲转换的离散数字序列进行组合，生成数字矩阵，作为深度学习网络输入，进行
特征提取和目标检测。

[0064] 如前述，在得到非视域目标对应的数字矩阵之后，便可将其作为深度学习网络的输入，输入至该深度学习网络中，以便深度学习网络对非视域目标对应的输入信息进行特
征提取。

[0065] 发明人研究发现，由于漫反射混合光脉冲的光速很快，飞行0.3um只需1飞秒，那么对于识别微米级特征的非视域目标(比如半导体表面缺陷)而言，那么就需要飞秒级的光电
探测器来捕获光脉冲，以保证检测精度。然而，满足这种时间精度的光电探测器通常价格十
分昂贵，而且对硬件设备过高的精度要求会严重制约技术的应用范围。针对此问题，本发明
中，可采用一些设备在不改变漫反射混合光脉冲的波形的情况下，利用光脉冲处理设备对
漫反射混合光脉冲进行预处理，转化为所需的标准尺度的漫反射混合光脉冲，以便于光电
探测器捕获光脉冲，极大降低光电探测器的探测要求，例如，不改变漫反射混合光脉冲的波
形的情况下，可对漫反射混合光脉冲进行时域拉伸，极大降低光电探测器要求，极大的降低
了成本。

[0066] 在一些实施例中，由于漫反射混合光脉冲的光速和对光电探测器的特殊情况，本发明实施例可以需确定是否需要对漫反射混合光脉进行拉伸、压缩或不处理，以转化为所
需的标准尺度的漫反射混合光脉冲。

[0067] 其中，在一些实施例中，步骤S13中，也即根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲，具体包括如下步骤：

[0068] S131：确定捕获所述漫反射混合光脉冲的光电探测器的探测精度和所述非视域目标的大小。

[0069] S132：根据非视域目标的大小确定光电探测器的探测精度是否足够。

[0070] S133：若光电探测器的探测精度为不够，则通过光脉冲处理设备拉伸非视域目标返回的漫反射混合光脉冲。

[0071] S134：通过光电探测器接收经过拉伸后的漫反射混合光脉冲。

[0072] 对于步骤S131‑S134，需要说明的是，光脉冲处理设备还可以是指的其他可以拉伸或压缩光脉冲的设备，本发明不做限定。其中，根据时空对应性，能够在时域中对光脉冲信
号进行二次相位调制的器件都可以称为时间透镜，时间透镜的主要功能是实现时域成像和
傅里叶变换。时域成像功能指的能够在保持波形不变的情况下，对输入光脉冲信号进行拉
伸和压缩。基于时间透镜可以将光脉冲在时域上进行拉伸，降低对示波器和探测器分辨率
的要求，这样可以采用纳秒级或百皮秒量级的探测设备对超高速光信号进行实时测量和表
征，极大地降低检测成本。因此，本发明实施例中，在光电探测器的探测精度为不够的情况
下，可以采用时间透镜对反射回来的反射混合光脉冲。进行拉伸，以降低后续光电探测器的
探测要求，从而降低了光电探测器成本。

[0073] S135：若光电探测器的探测精度为足够且非视域目标大于预设大小，则通过光脉冲处理设备压缩非视域目标返回的漫反射混合光脉冲；

[0074] S136：通过光电探测器接收经过压缩后的漫反射混合光脉冲。

[0075] 对于步骤S135‑S136，可以看出，一般是在确定光电探测器精度的情况下来决定是否需要压缩或拉伸，其中，压缩也主要针对大型的非视域目标。比如，先确定采用百皮秒量
级探测器，如果探测非视域目标的是小目标，探测精度不够，那就通过时间透镜拉伸漫反射
混合光脉冲；如果非视域目标是大目标，探测精度也满足要求，那可以调整时间透镜不对漫
反射混合光脉冲进行拉伸压缩或不使用时间透镜；如果非视域目标过大，光电探测器的探
测精度绰绰有余但返回时间脉冲过长，则可以采用时间透镜进行压缩，当然，此时也可通过
降低探测器精度来实现有效数据采样，但对于探测器精度已固定的系统，压缩是一种有效、
简便的方法。

[0076] 也就是说，时间透镜的光脉冲拉伸能力，还可以使得本发明可用于对微尺度特征的非视域目标的探测，另一方面，时间透镜的光脉冲压缩能力也可以用于大尺度特征非视
域目标探测。如果需要识别的非视域目标特征尺寸比较大，在米或者分米级别，那么完整捕
获目标特征需要的脉冲宽度会比较长，在不改变探测器采样精度的情况下会产生大量的数
据，其中大部分细节变化数据对于大尺度特征检测来说是不必要的，利用时间透镜进行光
脉冲压缩，可以在时域压缩脉冲宽度，在相同采样精度下只保留宏观特征，也可以极大地提
升目标检测数据处理效率。

[0077] 另外值得注意的是，对于具有不同尺度特征的非视域目标而言，时间透镜还有着标准化的作用，通过建立标准尺度，有利于建立统一性非视域目标检测算法框架，也有利于
提升本发明提供的非视域目标检测方法的通用性和适应性。

[0078] 需要说明的是，在实际应用中，许多场景都对非视域目标的目标检测的细微特征提取能力有着较高的要求。比如，在半导体制造领域，由刻蚀工艺形成的非视域缺陷非常微
小，而且特征都体现在材料表面的细节变化中。因此需要深度学习模型具有学习可靠的高
分辨率表示的能力，以实现对非视域目标的准确描述，人类视觉具有从复杂背景中快速精
准定位微小目标的能力，因此，本发明通过建模人类视觉感知机理，提出基于多维度融合感
受野的深度学习网络，可实现高分辨率深度特征提取和非视域目标的目标检测。

[0079] 其中，本发明深度学习网络可以是指本发明特殊设计的深度学习网络，这里先对本发明提供的深度学习网络进行描述，请一并参阅图4‑图6所示，本发明提供的深度学习网
络包括多个不同膨胀率的并行分支膨胀卷积层和对应数量的并行分支多尺度融合特征提
取网络和最后的融合层，各并行分支膨胀卷积层对应连接至对应的各并行分支多尺度融合
特征提取网络，各并行分支多尺度融合特征提取网络均连接至融合层，其中，每个并行分支
多尺度融合特征提取网络包括多级分辨率由大到小且依次相连的子网络层，且子网络层连
接至相邻分支的同级网络层的上下级网络层。具体可如图5所示，每个并行分支多尺度融合
特征提取网络可以包括子网络层1、子网络层2、...子网络层N，网络层1‑N的提取分辨率自
上而下依次减小。例如，假设第一分支与第二分支为相邻分支，对于第一分支子网络层1而
言，该第一分支子网络层1连接至第一分支膨胀卷积层和第一分支子网络层2，且该第一分
支子网络层1还连接至相邻分支第二分支膨胀卷积层和第二分支子网络层2；对于第一分支
其他子网络层，如第一分支子网络层2而言，该第一分支子网络层2连接至第一分支子网络
层1和第一分支子网络层3，且该第一分支子网络层2还连接至第二分支子网络层1和第二分
支子网络层3，对于各分支的子网络层3‑N，可参阅前述关于第一分支子网络层2的描述，且
具体各层网络的连接关系也可以参阅图5所示，这里不再重复说明。

[0080] 其中，对于每个分支多尺度融合特征提取网络的子网络层而言，子网络层用于对本分支的上级网络层输出的特征图与同级网络层的上级网络层输出的特征图进行融合，并
从融合特征中提取新特征作为下一级输入。例如，对于第一分支子网络层1而言，该第一分
支子网络层1用于对第一分支膨胀卷积层输出的特征图与第二分支膨胀卷积层输出的特征
图进行融合，并从融合特征中提取新特征作为下一级输入，也即作为与第一分支子网络层2
的输入以及第二分支子网络层2的输入；对于第一分支其他子网络层，如第一分支子网络层
2，该第一分支子网络层2用于对第一分支子网络层1输出的特征图与第二分支子网络层1输
出的特征图进行融合，并从融合特征中提取新特征作为第一分支子网络层3和第二分支子
网络层3的输入，对于各分支的子网络层3‑N，可对应参前述，这里也不再重复说明。

[0081] 可以看出，本发明可以设置不同倍数膨胀率的膨胀卷积层组成多支并行分支对非视域目标对应的输入信息进行特征提取，使每个分支产生不同的感受野的特征图，需要说
明的是，针对非视域目标的具体情况，本发明可以对并行分支膨胀卷积层和对应的并行分
支多尺度融合特征提取网络的分支数量做设计，如图4中，可以设置到第M分支，例如，在本
发明的一些实施方式中，可以针对多个大中小三种不同尺寸的非视域目标，可以设计三个
分别采用不同倍数膨胀率的膨胀卷积组成三支并行分支对非视域目标的输入信息进行特
征提取，从而使得每个分支产生不同的感受野的特征图。例如，当膨胀卷积使用3*3大小的
卷积核时，各分支产生的感受野边长可以用公式3+2*2*(d‑1)表示，其中，d表示膨胀因子。
值得注意的是，发明人经过研究实验发现，当三个分支膨胀因子分别为1、2、4时，深度学习
网络针对非视域目标为缺陷时的效果极佳，此时，三个分支所对应的感受野大小分别为3*
3、7*7、15*15，从这里也可以看出，不同大小感受野可以提取不同细粒度的特征信息用于识
别不同大小的缺陷目标。

[0082] 本发明中，不同倍数膨胀率的膨胀卷积层组成多支并行分支，对应的，还设置有与膨胀卷积层分支数量对应的多个并行分支多尺度融合特征提取网络，可见，本发明提供的
深度学习网络整体上采用了并行分支结构，使得各个分支可以获得具有统一表示能力的输
入特征信息，这样可以使得模型对于不同细粒度特征信息具有相同的特征提取能力。

[0083] 再如图6所示，对于每个并行分支多尺度融合特征提取网络而言，从各个分支的一个高分辨率子网络层作为第一级开始，逐步将高分辨率到低分辨率的网络层逐个添加，形
成多个级的子网络层，并将相邻分支不同分辨率的上下级子网络层并行连接起来，可以实
现多尺度的特征融合。需要说明的是，每个并行分支多尺度融合特征提取网络所设置的多
级子网络层的数量这里不做限制，如均设置N个子网络层，具体可以根据应用需求进行配
置。

[0084] 其中，多尺度融合特征提取网络的融合过程可继续参阅图5和图6所示，例如，1a是子网络层1提取出上一级网络层(膨胀卷积层)输出的特征图的过程，1b表示该级子网络层1
利用卷积操作对相邻分支上各个通道特征信息进行特征融合，也即该级子网络层1对自身
分支膨胀卷积层提取的特征图与相邻分支膨胀卷积层输出的特征图进行特征融合的，得到
由不同感受野提取的特征融合后的特征图；2a表示子网络层2提取出自身分支网络层1的特
征图和相邻分支网络层1的特征图，2b表示利用卷积操作对自身分支网络层1的特征图和相
邻分支网络层1的特征图再次进行特征融合，之后，后续的3a、3b、4a、4b...Na、Nb，均是后续
子网络层的特征融合过程，这里不再重复赘述。可以看出，后续的网络层不断重复进行相邻
分支间的多尺度特征融合，实现多尺度并行密集连接，使得每个高分辨率到低分辨率的表
示一次又一次地接收来自其他分支并行表示的信息，通过并行多分支的密集连接，实现在
整个网络特征提取过程中保持高分辨率的表示，并通过重复的多尺度特征融合，使得每个
高分辨率到低分辨率的表示一次又一次地接收来自其他分支并行表示的信息，从而得到丰
富的高分辨率表示，使得非视域目标的检测结果更精确。

[0085] 结合上述深度学习网络，在一实施例中，步骤S16中，也即将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息，具体包括如下步骤：

[0086] S161：通过所述多个不同膨胀率的并行分支膨胀卷积层对所述数字矩阵进行特征提取，以获取多个不同感受野的特征图。

[0087] S162：将多个不同感受野的特征图对应输入至多个并行分支多尺度融合特征提取网络中，以分别获取每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图。

[0088] S163：对所述每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图进行特征融合，得到所述非视域目标的特征信息。

[0089] 对于步骤S161，将所述数字矩阵输入至深度学习网络中，首先通过深度学习网络的多个不同膨胀率的并行分支膨胀卷积层对所述数字矩阵进行特征提取，以获取多个不同
感受野的特征图。在一些实施例中，多尺度并行密集连接网络包括三个不同膨胀率的并行
分支膨胀卷积层和三个并行分支多尺度融合特征提取网络，其中，三个不同膨胀率的并行
分支膨胀卷积层中，膨胀率自上而下依次为1、2和4。在该实施例对应的应用场景中，设计了
三个分别采用不同倍数膨胀率的膨胀卷积组成三支并行分支对输入数字矩阵进行特征提
取，从而使得每个分支产生不同的感受野。

[0090] 值得说明的是，当使用3*3大小的卷积核时，各分支产生的感受野边长可以用公式3+2*2*(d‑1)表示，其中d表示膨胀因子，发明人经过研究实验发现，当三个分支膨胀因子分
别为1、2、4时，网络检测缺陷的效果最佳，此时三个分支所对应的感受野大小分别为3*3、7*
7、15*15。不同大小感受野可以提取不同细粒度的特征信息用于识别不同大小的缺陷目标，
尤其对于半导体缺陷等非视域目标具有较好的检测效果。

[0091] 对于步骤S162，在得到多个并行分支膨胀卷积层输出的多个不同感受野的特征信息，对应输至相应分支的并行分支多尺度融合特征提取网络中，以通过每个并行分支多尺
度融合特征提取网络输出的多尺度融合特征图进行处理，得到每个并行分支多尺度融合特
征提取网络最后输出的多尺度融合特征图。需要说明的是，具体地关于并行分支多尺度融
合特征提取网络的工作过程可以参阅前述描述，这里不再重复说明。

[0092] 对于步骤S163，在得到每个并行分支多尺度融合特征提取网络输出的多尺度融合特征图之后，便能通过融合层对每个并行分支多尺度融合特征提取网络输出的多尺度融合
特征图进行特征融合，得到非视域目标的特征信息。

[0093] 在一些实施例中，子网络层对上一级网络层输出的特征图与所述同级网络层的上级网络层输出的特征图进行融合得到的融合特征图的过程如下公式所示：

[0094] Fi＝f(x1)+f(x2)；

[0095] 其中，Fi表示所述子网络层对上一级网络层输出的特征图与所述同级网络层的上级网络层输出的特征图进行融合得到的融合特征图，f(x1)，f(x2)表示上一级网络层相邻并
行分支输出的特征图，“+”操作表示通过快捷连接将相邻并行分支各个元素相加实现特征
融合，将融合后的特征传递到下一层。例如，对于第一分支其他子网络层，如第一分支子网
络层2，该第一分支子网络层2用于对第一分支子网络层1输出的特征图f(x1)与第二分支子
网络层1输出的特征图f(x2)进行融合，并从融合特征中提取新特征Fi作为第一分支子网络
层3和第二分支子网络层3的输入，其他子网络层的处理过程类似，这里不重复描述。

[0096] 其中，在一实施方式中，各个分支的子网络层特征在相互融合后，需使用各自膨胀率的卷积核进行独立的前向传播，来提取不同分辨率的特征信息，例如，对于一个3*3卷积
核的标准二维卷积，可使用常规的网格在输入特征图上进行采样，网格G可以定义为：G＝
{(‑1,‑1),(‑1,0),...,(0,1),(1,1)}，对应的，子网络层输出的特征图的计算方式如下公
式所示：

[0097]

[0098] 其中，d表示对应并行分支膨胀卷积层的空洞因子，ω表示卷积参数，该卷积参数包括每个卷积核对应的权重值，xn表示卷积采样点，Δxi表示卷积采样点的间隔，G表示采样
网格，Fi表示子网络层对上一级网络层输出的特征图与相邻分支对应的上级网络层输出的
特征图进行融合得到的融合特征图。例如，对于第一分支子网络层1，该第一分支子网络层1
输出至下一级网络的特征图可通过上述公式计算得到，此时的Fi表示子网络层1对第一分
支膨胀卷积层输出的特征图与第二分支膨胀卷积层输出的特征图进行融合得到的融合特
征图。

[0099] 多尺度融合特征提取网络处理之后，各个并行分支多尺度融合特征提取网络可以得到对应的多尺度融合特征，随后再利用融合层进行再融合，可以实现通过在并行的多分
辨率分支中反复交换信息来进行多尺度的重复融合，从而得到非视域目标更为精确的特征
信息，融合过程可如结合图6参阅。

[0100] 其中，在采用如下公式对每个并行分支多尺度融合特征提取网络最后输出的多尺度融合特征图进行特征融合，得到非视域目标的特征信息：

[0101]

[0102] 表示各个并行分支膨胀卷积层的第c个通道对应的特征图，Hc表示第c个通道对应的卷积核，*表示卷积操作，C表示卷积层的通道总数，D表示非视域目标的特征信息。

[0103] 可见，在上述深度学习网络的整个工作过程中，通过在并行的多分辨率分支中反复交换特征信息来进行多尺度的重复融合，通过网络输出的高分辨率表示来非视域目标，
这种深度学习网络可以将高分辨率到低分辨率的特征信息并联起来，而不是像大多数现有
解决方案那样串联起来，通过从低到高的过程恢复分辨率。同样，该深度学习网络也利用相
同深度和相似水平的低分辨率表示来增强高分辨率表示，使得高分辨率表示具有了丰富的
高语义特征信息。因此，该方法能够对非视域具有更高的检测准确率。

[0104] 需要说明的是，上述实施例是以非视域目标检测为例，上述检测方法和深度学习模型也可以应用至可视域目标的检测之中，具体这里不再说明，也不做限定。

[0105] 综上所示，本发明提供了一种基于深度学习网络的目标检测方法，具体地，也提供了一种基于深度学习网络的非视域目标检测方法，以及基于脉冲激光和光脉冲处理设备的
非视域目标检测方法。尤其是针对非视域目标的检测过程中，本发明可利用相干光脉冲的
时间相干性，基于不同光程差漫反射光产生干涉的原理，将非视域目标的形状信息调制在
返回的漫反射混合光脉冲中，并可以通过时间透镜改变漫反射混合光脉冲时间宽度，实现
低成本光电探测器信号采集，而且再通过深度学习网络，实现非视域目标的准确检测，利用
时间透镜，实现不同尺度特征非视域目标的准确检测，场景适应性广。

[0106] 另外，本发明从时域光脉冲波形分析角度出发，基于时间透镜的时域调制作用，可以建立标准尺度非视域目标检测算法框架，具有实际应用快速复制能力。其次，本发明还提
出一种基于多尺度并行密集连接的深度学习网络，也即本发明特殊设计的深度学习网络，
通过在并行的多分辨率分支中反复交换信息来进行多尺度的重复融合获取高分辨率特征，
实现高准确率的非视域或视域目标的检测。

[0107] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限
定。

[0108] 在一实施例中，提供一种非视域目标检测装置，该非视域目标检测装置与上述实施例中的非视域目标检测方法一一对应，其中，如图7所示，该目标检测装置包括发射模块
101、接收模块102、预处理模块103、转换模块104和特征提取模块105。各功能模块详细说明
如下：

[0109] 发射模块，用于发射相干光脉冲至所述非视域目标对应的中介面；

[0110] 接收模块，用于接收所述非视域目标返回的漫反射混合光脉冲，所述漫反射混合光脉冲包含非视域目标的形状信息；

[0111] 预处理模块，用于根据应用场景对所述漫反射混合光脉冲进行预处理，得到符合所需尺度的标准漫反射混合光脉冲；

[0112] 转换模块，用于将所述标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列，并将所述每个光脉冲转换对应的离散数字序列进行组合，得到数字矩阵；

[0113] 特征提取模块，用于将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息。

[0114] 关于非视域目标检测装置的具体限定可以参见上文中对于非视域目标检测方法的限定，在此不再赘述。上述非视域目标检测装置中的各个模块可全部或部分通过软件、硬
件及其组合来实现。部分模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也
可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对
应的操作。

[0115] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。
其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的网络接口用于与外部设备，如模数转换器通过网络连接通信。该计算机程序被处理器执
行时以实现一种非视域目标检测方法。

[0116] 在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

[0117] 获取数字矩阵，其中，所述数字矩阵为标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列所组合而成，所述标准漫反射混合光脉冲为根据应用场景对所述非视域目
标返回的漫反射混合光脉冲转换得到，所述非视域目标返回的漫反射混合光脉冲包含非视
域目标的形状信息；

[0118] 将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息。

[0119] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0120] 获取数字矩阵，其中，所述数字矩阵为标准漫反射混合光脉冲的每个光脉冲转换为离散数字序列所组合而成，所述标准漫反射混合光脉冲为根据应用场景对所述非视域目
标返回的漫反射混合光脉冲转换得到，所述非视域目标返回的漫反射混合光脉冲包含非视
域目标的形状信息；

[0121] 将所述数字矩阵输入至深度学习网络中进行特征提取，以得到所述非视域目标的特征信息。

[0122] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0123] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上
描述的全部或者部分功能。

[0124] 以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改
或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应
包含在本发明的保护范围之内。