一种针对重叠问题的X射线安检违禁品检测方法转让专利
申请号 : CN202110551186.X
文献号 : CN113326753B
文献日 : 2022-04-19
发明人 : 赵才荣 , 朱亮
申请人 : 同济大学
摘要 :
本发明针对现有X射线安检违禁品检测存在的X射线图像的重叠问题，提出了一种针对重叠问题的X射线安检违禁品检测方法，可以部署到安检机上进行使用。本发明通过以下技术方案来实现：步骤一，将训练集图像输入网络中进行训练；步骤二，将测试集图像输入训练后网络中进行测试。与现有技术相比，本发明具有以下优点：一、本发明采用了端到端的深度学习网络，检测速度快，易于部署。二、本发明仅需使用X射线安检系统生成的图像即可进行预测，和其他方法相比，不需要以额外的物理器材，方法简单易行，可以快速部署到安检机上，投入到实际应用当中。
权利要求 :
1.一种针对重叠问题的X射线安检违禁品检测方法，其特征在于，包括步骤一：将训练集图像输入网络中进行训练：网络分为特征提取网络和检测网络两个子网络；特征提取网络负责输入的图像到特征图谱的转化，采用ResNet‑50‑FPN网络作为特征提取网络；
检测网络负责特征图谱到对边界框的预测转化以及训练阶段中损失函数的求取；
在检测网络中，特征图谱经过ATSS层的回归和分类得到第一次预测结果，特征图谱上不同位置的采样点负责对不同位置的目标进行预测，将标签通过ATSS层的标签分配策略为特征图谱上的每一个采样点赋予对应的标签信息；预测的结果分为分类预测和回归预测，其中分类预测是多个类别对应的预测概率值；将预测得到的多类别概率值和标签分配获得的正确类别信息输入到OB模块中，用于生成第二次预测所使用的特征图谱；
在OB模块中，假定重叠的物体不属于同一类别，因此重叠区域的同一采样点所包含的源自不同物体的特征对应不同的类别，求所有采样点预测的多类别概率值对于正确类别的梯度，并反向传播到特征图谱所在的网络层；由于反向传播获取的梯度大小反应了特征图谱的特征与正确目标的相关程度，因此可以作为权重对特征图谱重新加权；采用Sigmoid函数，将权重变换到0到1之间，Sigmoid函数如下：使用权重对原特征图谱进行加权来增强相关特征，减弱无关特征，生成新的特征图谱xnew如下：
其中x表示特征图谱，y表示预测的多类别置信度，表示分配的类别标签；
考虑到 为0的情况下Sigmoid(0)＝0.5，为了使得网络退化后依然有xnew＝x，修改生成公式为：
进一步采用相同方式求取梯度，根据求取的梯度，在原公式中添加一项，用来进一步减弱无关特征：
其中y*表示除正确类别外预测概率最高的类别；
从OB模块输出得到新的特征图谱后，重新输入ATSS层，得到新的预测结果并计算新的预测结果与目标之间的损失函数，损失函数如下：回归损失Lreg：
Lreg＝Giou*LGIoU(Preg，Greg)边界框质量预测损失LIOU：
LIOU＝Giou*LBCE(Piou，Giou)分类损失Lcls：
Lcls＝LFL_loss(Pcls，Gcls)其中，LGIoU为GIoU损失函数，LBCE为二元交叉熵损失函数，LFL_loss为Focal loss损失函数；Preg，Greg，Piou，Giou分别为对应标签为前景的采样点的回归预测、实际回归目标、边界框质量预测、边界框实际质量，其中边界框质量的含义为预测的边界框与实际的边界框的相交区域与合并区域的比值，Pcls和Gcls分别为所有采样点的分类预测和实际类别；总的损失函数L如下：
其中，A为正样本数量，B为所有正样本的Giou之和；
通过损失函数和梯度下降算法对网络参数进行优化，经过多次迭代后获得最终可用于检测的网络；
步骤二：将测试集图像输入训练后网络中进行测试：测试阶段的OB模块输入只有类别的预测；OB模块设计了一个判断是否有输入的标签的环节，如果没有输入的标签，就用预测的类别概率值中最大的类别代替真实标签进行标签分配，其他的步骤则与训练阶段一致；
假设网络经过训练后已经能正确预测类别，第二次预测的结果通过后处理得到最终的预测的边界框，使用真实的边界框标签与最终的预测的边界框计算mAP用以评价网络性能。
说明书 :
一种针对重叠问题的X射线安检违禁品检测方法
技术领域
[0001] 本发明涉及计算机视觉领域。
背景技术
[0002] 随着公共交通枢纽人群的增加，安全检查在保护公共安全方面变得越来越重要。X光行李安检系统通常由人类检察员操作，但单纯的依赖人眼搜索X光图像中危险品的方法
有很大的不稳定性。当密封包裹中的危险品因为遮挡、旋转而在X 光图像中呈现出难以识
别的视图时，将使检测任务变得十分艰难。尤其在应对海量安检图片的情况下，工作人员只
有几秒钟判断袋子中是否装有威胁品。而在大量不包含威胁品的各种形状和材质的物品检
查过程中，持续集中的注意力是难以保持的，疲劳带来的误判和漏判成为安检过程中不容
忽视的问题，一次不小心的漏检就可能对公众造成严重的危害。因此，需要一种快速，准确
和自动的方法来协助甚至代替检察员检测X光安检图像中的违禁物品。
有很大的不稳定性。当密封包裹中的危险品因为遮挡、旋转而在X 光图像中呈现出难以识
别的视图时，将使检测任务变得十分艰难。尤其在应对海量安检图片的情况下，工作人员只
有几秒钟判断袋子中是否装有威胁品。而在大量不包含威胁品的各种形状和材质的物品检
查过程中，持续集中的注意力是难以保持的，疲劳带来的误判和漏判成为安检过程中不容
忽视的问题，一次不小心的漏检就可能对公众造成严重的危害。因此，需要一种快速，准确
和自动的方法来协助甚至代替检察员检测X光安检图像中的违禁物品。
[0003] 目前，基于传统计算机视觉的目标检测方法早先已被实验证明能有效的检测X 光安检图像中的违禁物品，近年来迅速发展并在照片图像上取得巨大成功的深度学习目标检
测算法也被应用于X光安检图像，同样在X光安检图像检测上取得了巨大的性能提升。
测算法也被应用于X光安检图像，同样在X光安检图像检测上取得了巨大的性能提升。
[0004] 专利CN 106250936 A提出了一种基于机器学习的多特征多线程安检违禁品识别方法，使用Adaboost分类器结合LBP+HOG特征提取对人工识别方法进行了改进，克服了人工
检测的低效和出错率。但是训练前期的预处理和特征提取过程过于复杂，并且输出结果仅
仅是违禁品的分类，没有实现违禁品的定位，这种分两步走的方法缺少端到端的能力，难以
部署到安检机上。
检测的低效和出错率。但是训练前期的预处理和特征提取过程过于复杂，并且输出结果仅
仅是违禁品的分类，没有实现违禁品的定位，这种分两步走的方法缺少端到端的能力，难以
部署到安检机上。
[0005] 专利CN 108519625 A提出了一种基于射线技术与深度学习的安检违禁品识别方法，引入了深度学习的概念，能够使用更简单有效的网络来实现违禁品识别。但是整个方法
需要基于大量物理条件，比如核密度计、光谱分析仪等，训练过程复杂，当类别增加时需要
重新训练整个分类器并修改网络，这种每类单独训练分类器的方法在实际运用过程中不易
实现。
需要基于大量物理条件，比如核密度计、光谱分析仪等，训练过程复杂，当类别增加时需要
重新训练整个分类器并修改网络，这种每类单独训练分类器的方法在实际运用过程中不易
实现。
[0006] 除了上述问题，X射线安检违禁品检测所面临的更重要的问题是X射线图像的重叠问题，而现有技术没有涉及这个问题。此前研究使用的数据是通过模拟实验采集的，因而重
叠现象较少，背景较为简单，目标特征显著。而真实场景中的X射线安检图像往往包含多个
大小不一、形状各异的物品，具有更复杂的背景和相互重叠的前景。因此，在真实场景中，能
否正确检测出重叠区域的违禁物对检测效果有着较大的影响。
叠现象较少，背景较为简单，目标特征显著。而真实场景中的X射线安检图像往往包含多个
大小不一、形状各异的物品，具有更复杂的背景和相互重叠的前景。因此，在真实场景中，能
否正确检测出重叠区域的违禁物对检测效果有着较大的影响。
发明内容
[0007] 本发明的目的是在克服上述现有技术缺陷的基础上，提供一种针对重叠问题的 X射线安检违禁品检测方法，可以部署到安检机上进行使用。
[0008] 本发明的目的可以通过以下技术方案来实现：
[0009] 步骤一：将训练集图像输入网络中进行训练
[0010] 网络分为特征提取网络和检测网络两个子网络；
[0011] 特征提取网络负责输入的图像到特征图谱的转化，采用ResNet‑50‑FPN网络作为特征提取网络；
[0012] 检测网络负责特征图谱到对边界框的预测转化以及训练阶段中损失函数的求取；
[0013] 在检测网络中，特征图谱经过ATSS层的回归和分类得到第一次预测结果，特征图谱上不同位置的采样点负责对不同位置的目标进行预测，将标签通过ATSS层的标签分配策
略为特征图谱上的每一个采样点赋予对应的标签信息；预测的结果分为分类预测和回归预
测，其中分类预测是多个类别对应的预测概率值；将预测得到的多类别概率值和标签分配
获得的正确类别信息输入到OB模块中，用于生成第二次预测所使用的特征图谱；
略为特征图谱上的每一个采样点赋予对应的标签信息；预测的结果分为分类预测和回归预
测，其中分类预测是多个类别对应的预测概率值；将预测得到的多类别概率值和标签分配
获得的正确类别信息输入到OB模块中，用于生成第二次预测所使用的特征图谱；
[0014] 在OB模块中，假定重叠的物体不属于同一类别，因此重叠区域的同一采样点所包含的源自不同物体的特征对应不同的类别，求所有采样点预测的多类别概率值对于正确类
别的梯度，并反向传播到特征图谱所在的网络层；由于反向传播获取的梯度大小反应了特
征图谱的特征与正确目标的相关程度，因此可以作为权重对特征图谱重新加权；采用
Sigmoid函数，将权重变换到0到1之间，Sigmoid函数如下：
别的梯度，并反向传播到特征图谱所在的网络层；由于反向传播获取的梯度大小反应了特
征图谱的特征与正确目标的相关程度，因此可以作为权重对特征图谱重新加权；采用
Sigmoid函数，将权重变换到0到1之间，Sigmoid函数如下：
[0015]
[0016] 使用权重对原特征图谱进行加权来增强相关特征，减弱无关特征，生成新的特征图谱xnew如下：
[0017]
[0018] 其中x表示特征图谱，y表示预测的多类别置信度，表示分配的类别标签；
[0019] 考虑到 为0的情况下Sigmoid(0)＝0.5，为了使得网络退化后依然有xnew＝x，修改生成公式为：
[0020]
[0021] 进一步采用相同方式求取梯度，根据求取的梯度，在原公式中添加一项，用来进一步减弱无关特征：
[0022]
[0023] 其中y*表示除正确类别外预测概率最高的类别；
[0024] 从OB模块输出得到新的特征图谱后，重新输入ATSS层，得到新的预测结果并计算新的预测结果与目标之间的损失函数，损失函数如下：
[0025] 回归损失Lreg：
[0026] Lreg＝Giou*LGIoU(Preg，Greg)
[0027] 边界框质量预测损失LIOU：
[0028] LIOU＝Ciou*LBCE(Piou，Giou)
[0029] 分类损失Lcls：
[0030] Lcls＝LFL_loss(Pcls，Gcls)
[0031] 其中，LGIoU为GIoU损失函数，LBCE为二元交叉熵损失函数，LFL_loss为Focal loss损失函数；Preg，Greg，Piou，Giou分别为对应标签为前景的采样点的回归预测、实际回归目标、边界
框质量预测、边界框实际质量，其中而边界框质量的含义为预测的边界框与实际的边界框
的相交区域与合并区域的比值，Pcls和Gcls分别为所有采样点(包含标签为背景)的分类预测
和实际类别；总的损失函数L如下：
框质量预测、边界框实际质量，其中而边界框质量的含义为预测的边界框与实际的边界框
的相交区域与合并区域的比值，Pcls和Gcls分别为所有采样点(包含标签为背景)的分类预测
和实际类别；总的损失函数L如下：
[0032]
[0033] 其中，A为正样本(标签为前景的样本)数量，B为所有正样本的Giou之和；
[0034] 通过损失函数和梯度下降算法对网络参数进行优化，经过多次迭代后获得最终可用于检测的网络；
[0035] 步骤二：将测试集图像输入训练后网络中进行测试：
[0036] 测试阶段的OB模块输入只有类别的预测；OB模块设计了一个判断是否有输入的标签的环节，如果没有输入的标签，就用预测的类别概率值中最大的类别代替真实标签进行
标签分配，其他的步骤则与训练阶段一致；
标签分配，其他的步骤则与训练阶段一致；
[0037] 假设了网络经过训练后已经能正确预测类别，第二次预测的结果通过后处理得到最终的预测的边界框，使用真实的边界框标签与最终的预测的边界框计算mAP用以评价网
络性能。
络性能。
[0038] 本发明采用深度学习技术，使用端到端的深度神经网络对X射线图像进行训练，实现对违禁品的分类和准确定位。本发明结合X射线图像中物体重叠的特点和深度学习技术
基于提取的特征图谱来预测目标的方式，首次提出一个从预测目标到特征图谱的反向网络
模块。该网络模块首先根据重叠区域中不同采样点所要预测的目标和首次预测的结果，寻
找目标在特征图谱所对应的相关特征以及对预测结果产生干扰的无关特征，然后通过对相
关特征和无关特征加权，在原有特征图谱上生成新的特征图谱，最后送回检测网络中重新
进行预测。由于新的特征图谱消除了重叠区域特征之间的纠缠状态，降低了重叠物体之间
干扰，因此相比原有的特征图谱更易于网络的检测，继而提升了检测的性能。该技术方案设
计的反向网络模块不依赖于特定网络，只增加了少量网络参数和计算量，且对真实场景中
的X射线安检图像的重叠问题有针对性的解决，因此本发明技术方案具有通用性强，易于实
现，精度高。此外，本发明技术方案还为携带物安检的智能化和算法落地提供了理论指导和
技术支持。
基于提取的特征图谱来预测目标的方式，首次提出一个从预测目标到特征图谱的反向网络
模块。该网络模块首先根据重叠区域中不同采样点所要预测的目标和首次预测的结果，寻
找目标在特征图谱所对应的相关特征以及对预测结果产生干扰的无关特征，然后通过对相
关特征和无关特征加权，在原有特征图谱上生成新的特征图谱，最后送回检测网络中重新
进行预测。由于新的特征图谱消除了重叠区域特征之间的纠缠状态，降低了重叠物体之间
干扰，因此相比原有的特征图谱更易于网络的检测，继而提升了检测的性能。该技术方案设
计的反向网络模块不依赖于特定网络，只增加了少量网络参数和计算量，且对真实场景中
的X射线安检图像的重叠问题有针对性的解决，因此本发明技术方案具有通用性强，易于实
现，精度高。此外，本发明技术方案还为携带物安检的智能化和算法落地提供了理论指导和
技术支持。
[0039] 与现有技术相比，本发明具有以下优点：
[0040] 一、本发明采用了端到端的深度学习网络，检测速度快，易于部署。
[0041] 二、本发明仅需使用X射线安检系统生成的图像即可进行预测，和其他方法相比，不需要以额外的物理器材为前提，方法简单易行，可以快速部署到安检机上，投入到实际应
用当中。
用当中。
[0042] 三、本发明针对X射线图像的重叠问题，设计了一个通用的网络模块。该网络模块可以去除重叠物体之间的特征纠缠状态，降低重叠物体之间的干扰，在牺牲少量存储空间
和计算速度的情况下能够提升网络的整体性能。
和计算速度的情况下能够提升网络的整体性能。
附图说明
[0043] 图1为本发明算法流程图。
[0044] 图2为本发明的网络结构图
[0045] 图3为OB模块的结构示意图
[0046] 图4为本发明进行违禁物检测的输出图像。
具体实施方式
[0047] 下面结合附图和具体实施例对本发明进行详细说明。
[0048] 实施例：
[0049] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，具体如图1所示算法流程图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅
仅用以解释本发明，但并不限定本发明。
仅用以解释本发明，但并不限定本发明。
[0050] 步骤一：将训练集图像输入网络中进行训练
[0051] 图2为整体网络的结构图，整体网络可分为特征提取网络和检测网络两个子网络。特征提取网络负责输入的图像到特征图谱的转化。这里选择业内目前通用的 ResNet‑50‑
FPN网络作为特征提取网络，并使用Pytorch官方提供的预训练权重初始化网络，用以节省
训练时间，提高检测精度。检测网络负责特征图谱到对边界框的预测转化以及训练阶段中
损失函数的求取。在检测网络中，特征图谱经过ATSS 层的回归和分类得到第一次预测结
果，特征图谱上不同位置的采样点负责对不同位置的目标进行预测，将标签通过ATSS层的
标签分配策略为特征图谱上的每一个采样点赋予对应的标签信息。由于重叠区域中同一个
采样点受到源自不同物体的特征的干扰，第一次预测结果较差。预测的结果又分为分类预
测和回归预测，其中分类预测是多个类别对应的预测概率值。我们将预测得到的多类别概
率值和标签分配获得的正确类别信息输入到OB模块中，用于生成第二次预测所使用的特征
图谱。OB 模块的结构示意图见图3。在OB模块中，我们假定重叠的物体不属于同一类别，因
此重叠区域的同一采样点所包含的源自不同物体的特征对应不同的类别，求所有采样点预
测的多类别概率值对于正确类别的梯度，并反向传播到特征图谱所在的网络层。这一过程
通过Pytorch内置的Autograd方法完成。由于反向传播获取的梯度大小反应了特征图谱的
特征与正确目标的相关程度，因此可以作为权重对特征图谱重新加权。这里用到了Sigmoid
函数，将权重变换到0到1之间。Sigmoid函数如下：
FPN网络作为特征提取网络，并使用Pytorch官方提供的预训练权重初始化网络，用以节省
训练时间，提高检测精度。检测网络负责特征图谱到对边界框的预测转化以及训练阶段中
损失函数的求取。在检测网络中，特征图谱经过ATSS 层的回归和分类得到第一次预测结
果，特征图谱上不同位置的采样点负责对不同位置的目标进行预测，将标签通过ATSS层的
标签分配策略为特征图谱上的每一个采样点赋予对应的标签信息。由于重叠区域中同一个
采样点受到源自不同物体的特征的干扰，第一次预测结果较差。预测的结果又分为分类预
测和回归预测，其中分类预测是多个类别对应的预测概率值。我们将预测得到的多类别概
率值和标签分配获得的正确类别信息输入到OB模块中，用于生成第二次预测所使用的特征
图谱。OB 模块的结构示意图见图3。在OB模块中，我们假定重叠的物体不属于同一类别，因
此重叠区域的同一采样点所包含的源自不同物体的特征对应不同的类别，求所有采样点预
测的多类别概率值对于正确类别的梯度，并反向传播到特征图谱所在的网络层。这一过程
通过Pytorch内置的Autograd方法完成。由于反向传播获取的梯度大小反应了特征图谱的
特征与正确目标的相关程度，因此可以作为权重对特征图谱重新加权。这里用到了Sigmoid
函数，将权重变换到0到1之间。Sigmoid函数如下：
[0052]
[0053] 使用权重对原特征图谱进行加权来增强相关特征，减弱无关特征。生成新的特征图谱xnew如下：
[0054]
[0055] 其中x表示特征图谱，y表示预测的多类别置信度，表示分配的类别标签。
[0056] 考虑到 为0的情况下Sigmoid(0)＝0.5，为了使得网络退化后依然有xnew＝x，修改生成公式为：
[0057]
[0058] 此外，由于重叠区域的特征纠缠状态，正确类别以外的类别往往预测出较高的概率值。将除正确类别以外的类别中预测概率值最高的类别作为易错类别，采用相同方式求
取梯度。根据求取的梯度，在原公式中添加一项，用来进一步减弱无关特征：
取梯度。根据求取的梯度，在原公式中添加一项，用来进一步减弱无关特征：
[0059]
[0060] 其中y*表示除正确类别外预测概率最高的类别。
[0061] 得到新的特征图谱后，重新输入ATSS层，得到新的预测结果并计算新的预测结果与目标之间的损失函数，损失函数如下：
[0062] 回归损失Lreg：
[0063] Lreg＝Giou*LGIoU(Preg，Greg)
[0064] 边界框质量预测损失LIOU：
[0065] LIOU＝Giou*LBCE(Piou,Giou)
[0066] 分类损失Lcls：
[0067] Lcls＝LFL_loss(Pcls,Gcls)
[0068] 其中，LGIoU为GIoU损失函数，LBCE为二元交叉熵损失函数，LFL_loss为Focal loss损失函数。Preg，Greg，Piou，Giou分别为对应标签为前景的采样点的回归预测、实际回归目标、边界
框质量预测、边界框实际质量。其中而边界框质量的含义为预测的边界框与实际的边界框
的相交区域与合并区域的比值。Pcls和Gcls分别为所有采样点(包含标签为背景)的分类预测
和实际类别。总的损失函数L如下：
框质量预测、边界框实际质量。其中而边界框质量的含义为预测的边界框与实际的边界框
的相交区域与合并区域的比值。Pcls和Gcls分别为所有采样点(包含标签为背景)的分类预测
和实际类别。总的损失函数L如下：
[0069]
[0070] 其中，A为正样本(标签为前景的样本)数量，B为所有正样本的Giou之和。
[0071] 通过损失函数和梯度下降算法对网络参数进行优化，经过多次迭代后获得最终可用于检测的网络。
[0072] 步骤二：将测试集图像输入训练后网络中进行测试：
[0073] 由于测试的时候，真实标签只能用于评价网络预测的性能,不能输入到网络中，测试阶段的网络没有ATSS层标签分配这一步骤，因此测试阶段的OB模块输入只有类别的预
测。OB模块设计了一个判断是否有输入的标签的环节，如果没有输入的标签，就用预测的类
别概率值中最大的类别代替真实标签进行标签分配，其他的步骤则与训练阶段一致。这里，
假设了网络经过训练后已经能正确预测类别。第二次预测的结果通过后处理(采用非极大
值抑制对同一个预测对象保留质量最高的预测的边界框，去除重复预测的边界框)得到最
终的预测的边界框。使用真实的边界框标签与最终的预测的边界框计算mAP(业内普遍采用
的检测性能评价标准)用以评价网络性能。
测。OB模块设计了一个判断是否有输入的标签的环节，如果没有输入的标签，就用预测的类
别概率值中最大的类别代替真实标签进行标签分配，其他的步骤则与训练阶段一致。这里，
假设了网络经过训练后已经能正确预测类别。第二次预测的结果通过后处理(采用非极大
值抑制对同一个预测对象保留质量最高的预测的边界框，去除重复预测的边界框)得到最
终的预测的边界框。使用真实的边界框标签与最终的预测的边界框计算mAP(业内普遍采用
的检测性能评价标准)用以评价网络性能。
[0074] 上述流程可简化为：
[0075] (1)首先使用基于ResNet‑50‑FPN(本领域已有网络)的卷积网络进行特征提取，生成特征图谱。其中网络的权重使用Pytorch预训练的ResNet50 权重。
[0076] (2)将特征图谱输入ATSS层进行目标边界框预测和标签分配。
[0077] (3)OB模块通过如下公式生成新的特征图谱：
[0078]
[0079] (4)新的特征图谱重新送入ATSS层进行目标边界框预测。
[0080] (5)计算预测结果和目标的损失函数，采用梯度下降算法对网络参数进行迭代优化。
[0081] (6)对训练好的网络进行测试。