一种面向X光安检场景的危险品检测方法及装置转让专利

申请号 : CN202210532420.9

文献号 : CN114663711B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘祥龙陶仁帅王天博李海南

申请人 : 北京航空航天大学

摘要 :

本发明公开了一种面向X光安检场景的危险品检测方法及装置。该方法包括如下步骤:获取待检测的X射线安检图像;训练得到与提取域无关的危险品类别信息特征的神经网络模型;将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。利用本发明,可以很好地处理因为安检机器型号不同产生的内生偏移。

权利要求 :

1.一种面向X光安检场景的危险品检测方法,其特征在于包括如下步骤:S1:获取待检测的X射线安检图像;

S2:通过如下子步骤,训练得到与提取域无关的危险品类别信息特征的神经网络模型;

S21:收集由两种不同型号的安检机器生成的包含危险品的图像,分别建立源域的图像数据集和目标域的图像数据集,并分别划分为训练集数据和测试集数据;

S22:将来自源域的训练集数据中的图像,每次输入一个批次的图像到危险品检测神经网络模型中,得到各个图像里的危险品在源域中的表征特征;

S23:重复执行步骤S22直至预设迭代次数,得到一个能初步定位并识别危险品的危险品检测神经网络模型;

S24:将来自源域的训练集数据与来自目标域的训练集数据中的图像,每次成对输入到危险品检测神经网络模型中,分别得到源域的图像特征图与目标域的图像特征图,以及各自的候选框集合;

S25:分别将源域的图像特征图与候选框集合、目标域的图像特征图与候选框集合输入到局部原型对齐模块中,得到源域与目标域下各个危险品种类的原型特征,进而更新全局危险品种类的原型特征,并计算得到原型对齐损失;

S26:将源域与目标域的图像特征图与各个危险品种类的原型特征输入到全局对抗抑制模块中,计算得到对抗分类损失;

S27:重复执行步骤S24至S26直至预设迭代次数,得到与提取域无关的危险品类别信息特征的神经网络模型;

S3:将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。

2.如权利要求1所述的面向X光安检场景的危险品检测方法,其特征在于在S21中,建立源域的图像数据集时,采集数张由同一安检机器生成的X射线安检图像,并对每一张图像中的物品进行标注后,从中选取出包含危险品的图像建立图像数据集;建立目标域的图像数据集时,采集数张由与作为源域的安检机器不同型号的安检机器生成的X射线安检图像,不需要标注,直接从中选取出包含危险品的图像建立图像数据集。

3.如权利要求1所述的面向X光安检场景的危险品检测方法,其特征在于在S22中,将所述来自源域的训练集数据中的图像每次输入一个批次的图像利用卷积层,生成各个图像的初始特征图与候选框集合,所述初始特征图与候选框集合输入到后续的分类与回归模块,计算模型的损失。

4.如权利要求1所述的面向X光安检场景的危险品检测方法,其特征在于在S25中,所述原型对齐损失通过如下子步骤得到:S250:将所述候选框集合映射到图像特征图上,得到候选框特征集合;

S251:根据得到的候选框特征集合建立一个关系图集合 ,其

中 为对第i个目标建立的关系图;

S252:根据得到的每个目标的关系图 建立每个目标的特征原型 ,其中i表示第i个目标;

S253:根据得到的每个目标的特征原型 计算得到每个目标原型所属的类别概率向量 ;

S254:根据得到的每个目标的特征原型 与原型所属的类别概率向量 计算得到每个类别的特征原型 ,其中k表示第k种类别;

S255:根据得到每个类别的特征原型 分别更新源域的全局原型库

与目标域的全局原型库 ;

S256:根据更新后源域的全局原型库 与目标域的全局原型库 计算得到所述原型对齐损失。

5.如权利要求4所述的面向X光安检场景的危险品检测方法,其特征在于在每个子步骤中,对于源域和目标域进行相同的操作。

6.如权利要求5所述的面向X光安检场景的危险品检测方法,其特征在于在S26中,所述对抗分类损失通过如下子步骤得到:S260:分别将源域与目标域的图像特征图输入到第一域分类器中,计算得到第一域分类器的损失;

S261:分别将源域与目标域的各个危险品种类的原型特征输入到第二域分类器中,计算得到第二域分类器的损失;

S262:将第一域分类器的损失和第二域分类器的损失相加,计算得到所述对抗分类损失。

7.如权利要求4所述的面向X光安检场景的危险品检测方法,其特征在于在S250中,将候选框的四个坐标化作一个矩形框,并将该矩形框映射到图像特征图上,提取出被该矩形框包围住的特征作为候选框特征,最终得到相应的候选框特征集合。

8.如权利要求4所述的面向X光安检场景的危险品检测方法,其特征在于在S253中,对于有标签的源域目标,所述类别概率向量 为一个只包含0和1的向量,即该目标所对应真实标签的概率为1,其余类别概率为0;对于没有标签的目标域目标,所述类别概率向量为将特征原型 通过危险品检测神经网络模型最后的预测层后,得到的分类预测结果。

9.一种面向X光安检场景的危险品检测装置,其特征在于包括处理器和存储器,所述处理器读取所述存储器中的计算机程序或指令,用于执行以下操作:S1:获取待检测的X射线安检图像;

S2:通过如下子步骤,训练得到与提取域无关的危险品类别信息特征的神经网络模型;

S21:收集由两种不同型号的安检机器生成的包含危险品的图像,分别建立源域的图像数据集和目标域的图像数据集,并分别划分为训练集数据和测试集数据;

S22:将来自源域的训练集数据中的图像,每次输入一个批次的图像到危险品检测神经网络模型中,得到各个图像里的危险品在源域中的表征特征;

S23:重复执行步骤S22直至预设迭代次数,得到一个能初步定位并识别危险品的危险品检测神经网络模型;

S24:将来自源域的训练集数据与来自目标域的训练集数据中的图像,每次成对输入到危险品检测神经网络模型中,分别得到源域的图像特征图与目标域的图像特征图,以及各自的候选框集合;

S25:分别将源域的图像特征图与候选框集合、目标域的图像特征图与候选框集合输入到局部原型对齐模块中,得到源域与目标域下各个危险品种类的原型特征,进而更新全局危险品种类的原型特征,并计算得到原型对齐损失;

S26:将源域与目标域的图像特征图与各个危险品种类的原型特征输入到全局对抗抑制模块中,计算得到对抗分类损失;

S27:重复执行步骤S24至S26直至预设迭代次数,得到与提取域无关的危险品类别信息特征的神经网络模型;

S3:将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。

说明书 :

一种面向X光安检场景的危险品检测方法及装置

技术领域

[0001] 本发明涉及一种面向X光安检场景的危险品检测方法,同时也涉及相应的危险品检测装置,属于安全检查技术领域。

背景技术

[0002] 随着在公共交通中人流量的增加,安全检查变得越来越重要。在安全检查场景中,通常采用X光检查行李中是否含有危险品,然后利用人工检查通过安检机器生成的安检图像中是否有危险品。但是,在长时间高注意力地观看复杂的安检图像后,安检员可能会产生视觉疲劳,导致工作效率下降。因此,人工安检会存在人力成本高,漏检误检多,检测效率低等问题,需要利用安检机器代替人工进行安检。
[0003] 由于不同型号的安检机器在硬件上存在差异,导致不同安检机器生成的X光安检图像中存在肉眼难以察觉的内生偏移。这种内生偏移的存在让用一种型号安检机器生成的X光图像进行训练的危险品检测神经网络模型在另一种型号安检机器上进行检测时会有很严重的性能下降。现有的跨域危险品检测神经网络模型并不能很好地处理因为安检机器型号不同产生的内生偏移,难以学习到危险品图像中与域无关的类别特征,这对面向X光安检场景的跨域目标物(即危险品或违禁物品)检测任务提出了挑战。
[0004] 在申请号为202110219356.4的中国发明申请中,商汤公司提供了一种神经网络训练方法,包括如下步骤:基于生成的目标维度的域变量,对接收到的源域图像进行数据扩增,得到处理好的源域图像;将处理好的源域图像和目标域图像输入到域无关特征提取器进行特征提取,分别得到处理好的源域图像的域变量无关特征向量以及目标域图像的域无关特征向量;将域变量无关特征向量以及域无关特征向量输入至域辨别器以及神经网络中的目标任务网络;基于域辨别器输出的判别结果,对域辨别器以及域无关特征提取器进行参数调整,并基于目标任务网络输出的预测结果以及源域图像的标注结果对目标任务网络以及域无关特征提取器进行参数调整,得到训练好的神经网络。利用该技术方案,提高了神经网络在目标域上的适用性能。

发明内容

[0005] 本发明所要解决的首要技术问题在于提供一种面向X光安检场景的危险品检测方法。
[0006] 本发明所要解决的另一技术问题在于提供一种面向X光安检场景的危险品检测装置。
[0007] 为了实现上述目的,本发明采用下述的技术方案:
[0008] 根据本发明实施例的第一方面,提供一种面向X光安检场景的危险品检测方法,包括如下步骤:
[0009] S1:获取待检测的X射线安检图像;
[0010] S2:训练得到与提取域无关的危险品类别信息特征的神经网络模型;
[0011] S3:将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。
[0012] 其中较优地,所述与提取域无关的危险品类别信息特征的神经网络模型通过如下子步骤得到:
[0013] S21:收集由两种不同型号的安检机器生成的包含危险品的图像,分别建立源域的图像数据集和目标域的图像数据集,并分别划分为训练集数据和测试集数据;
[0014] S22:将来自源域的训练集数据中的图像,每次输入一个批次的图像到危险品检测神经网络模型中,得到各个图像里的危险品在源域中的表征特征;
[0015] S23:重复执行步骤S22直至预设迭代次数,得到一个能初步定位并识别危险品的危险品检测神经网络模型;
[0016] S24:将来自源域的训练集数据与来自目标域的训练集数据中的图像,每次成对输入到危险品检测神经网络模型中,分别得到源域的图像特征图与目标域的图像特征图,以及各自的候选框集合;
[0017] S25:分别将源域的图像特征图与候选框集合、目标域的图像特征图与候选框集合输入到局部原型对齐模块中,得到该批次源域与目标域下各个危险品种类的原型特征,进而更新全局危险品种类的原型特征,并计算得到原型对齐损失;
[0018] S26:将该批次的源域与目标域的图像特征图与各个危险品种类的原型特征输入到全局对抗抑制模块中,计算得到对抗分类损失;
[0019] S27:重复执行步骤S24至S26直至预设迭代次数,得到与提取域无关的危险品类别信息特征的神经网络模型。
[0020] 其中较优地,在S21中,建立源域的图像数据集时,采集数张由同一安检机器生成的X射线安检图像,并对每一张图像中的物品进行标注后,从中选取出包含危险品的图像建立图像数据集;建立目标域的图像数据集时,采集数张由与作为源域的安检机器不同型号的安检机器生成的X射线安检图像,不需要标注,直接从中选取出包含危险品的图像建立图像数据集。
[0021] 其中较优地,在S22中,将所述来自源域的训练集数据中的图像每次输入一个批次的图像利用卷积层,生成各个图像的初始特征图与候选框集合,所述初始特征图与候选框集合输入到后续的分类与回归模块,计算模型的损失。
[0022] 其中较优地,在S25中,所述原型对齐损失通过如下子步骤得到:
[0023] S250:将所述候选框集合映射到图像特征图上,得到候选框特征集合;
[0024] S 2 5 1 :根 据 得 到 的 候 选 框 特 征 集 合 建 立 一 个 关 系 图 集 合,其中 为对第i个目标建立的关系图;
[0025] S252:根据得到的每个目标的关系图 建立每个目标的特征原型 ,其中i表示第i个目标;
[0026] S253:根据得到的每个目标的特征原型 计算得到每个目标原型所属的类别概率向量 ;
[0027] S254:根据得到的每个目标的特征原型 与原型所属的类别概率向量 计算得到每个类别的特征原型 ,其中k表示第k种类别;
[0028] S255:根据得到每个类别的特征原型 分别更新源域的全局原型库与目标域的全局原型库 ;
[0029] S256:根据更新后源域的全局原型库 与目标域的全局原型库 计算得到所述原型对齐损失。
[0030] 其中较优地,在每个子步骤中,对于源域和目标域进行相同的操作。
[0031] 其中较优地,在S26中,所述对抗分类损失通过如下子步骤得到:
[0032] S260:分别将源域与目标域的图像特征图输入到第一域分类器中,计算得到第一域分类器的损失
[0033] S261:分别将源域与目标域的各个危险品种类的原型特征输入到第二域分类器中,计算得到第二域分类器的损失;
[0034] S262:将第一域分类器的损失和第二域分类器的损失相加,计算得到所述对抗分类损失。
[0035] 其中较优地,在S250中,将候选框的四个坐标化作一个矩形框,并将该矩形框映射到图像特征图上,提取出被该矩形框包围住的特征作为候选框特征,最终得到相应的候选框特征集合。
[0036] 其中较优地,在S253中,对于有标签的源域目标,所述类别概率向量 为一个只包含0和1的向量,即该目标所对应真实标签的概率为1,其余类别概率为0;对于没有标签的目标域目标,所述类别概率向量 为将特征原型 通过危险品检测神经网络模型最后的预测层后,得到的分类预测结果。
[0037] 根据本发明实施例的第二方面,提供一种面向X光安检场景的危险品检测装置,包括处理器和存储器,所述处理器读取所述存储器中的计算机程序或指令,用于执行以下操作:
[0038] 获取待检测的X射线安检图像;
[0039] 训练得到与提取域无关的危险品类别信息特征的神经网络模型;
[0040] 将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。
[0041] 与现有技术相比较,本发明所提供的面向X光安检场景的危险品检测方法及装置通过获取待检测的X射线安检图像,并将其输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图。该特征图包含了与域无关的危险品表征信息,能够很好地处理因为安检机器型号不同而产生的内生偏移,从而有效解决用一种型号安检机器生成的X光图像进行训练的危险品检测神经网络模型在另一种型号安检机器上检测时性能严重下降的问题。

附图说明

[0042] 图1为本发明实施例中,面向X光安检场景的危险品检测方法的流程图;
[0043] 图2为本发明实施例中,与提取域无关的危险品类别信息特征的神经网络模型训练流程图;
[0044] 图3为本发明实施例中,局部原型对齐模块的原理图;
[0045] 图4为本发明实施例中,全局对抗抑制模块的原理图;
[0046] 图5为本发明实施例中,面向X光安检场景的危险品检测装置的结构图。

具体实施方式

[0047] 下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。
[0048] 为了能够很好地处理因为安检机器型号不同产生的内生偏移,有效解决用一种型号安检机器生成的X光图像进行训练的神经网络模型在另一种型号安检机器上检测时性能严重下降的问题,如图1所示,本发明实施例提供了一种面向X光安检场景的危险品检测方法,至少包括如下步骤:
[0049] 步骤S1:获取待检测的X射线安检图像。
[0050] 在需要安全检查的场所,采用安检机器对行李进行扫描,以采集行李的X射线安检图像(简称行李图像)。在此需要说明的是,在本发明的实施例中,所述行李为包裹、袋子、箱子、背包、手提包等的统称。
[0051] 步骤S2:训练得到与提取域无关的危险品类别信息特征的神经网络模型。
[0052] 在本发明的一个实施例中,该神经网络模型可以通过如下步骤得到:
[0053] 步骤S21:收集由两种不同型号的安检机器生成的包含危险品的图像,分别建立源域的图像数据集和目标域的图像数据集,并分别划分为训练集数据和测试集数据。
[0054] 在建立源域的图像数据集时,从真实场景中采集数张由同一安检机器生成的X射线安检图像,以JPG、BMP或PNG等图像格式进行存储,分辨率大小不做限定;对每一张图像中的物品进行标注,标注中详细记录了图像名、图像中所包含物体的种类以及物体的位置(图像中所占像素的区域位置),每一张图像的标注信息形成一个标注文件。当一张图像包含多个物体时,每个物体在标注文件中都有一条标注信息与之对应。
[0055] 在本发明的一个实施例中,待安检的物品可以包含多个种类,例如不带电芯的充电宝、带电芯的充电宝、化妆品、水杯、电脑、手机、平板电脑、非金属打火机、刀具等。从进行标注后的图像中选取出包含危险品(例如带电芯的充电宝、非金属打火机、刀具等)的图像建立源域的图像数据集,并将该图像数据集中的图像按照预设比例(例如4:1或8:1等)划分为训练集数据与测试集数据。
[0056] 需要说明的是,在建立目标域的图像数据集时,采用与源域的图像数据集一样的建立方式,但可以不用对每一张图像中的物品进行标注。同样地,将该图像数据集中的图像按照预设比例也划分为训练集数据与测试集数据。
[0057] 步骤S22:将来自源域的训练集数据中的图像,每次输入一个批次的图像到危险品检测神经网络模型中,得到各个图像里的危险品在源域中的表征特征。
[0058] 在本发明的一个实施例中,危险品检测神经网络模型是安检机器内预置的神经网络模型,包括输入层、卷积层和预测层等。前已述及,现有技术中的危险品检测神经网络模型只用一种型号安检机器生成的X光图像进行训练,在另一种型号安检机器上进行检测时会有很严重的性能下降。为此,发明人考虑到虽然源域中的图像与目标域中的图像存在一定的内生偏移,但是相同种类的目标在纹理信息与形态特征上是大致相同的,所以在此步骤可以采用现有技术中的目标检测任务的训练方式,只将来自源域的训练集数据中的图像,每次输入一个批次的图像到危险品检测神经网络模型中进行训练,让该危险品检测神经网络模型能够大致学习到相同类别的纹理信息与形态特征,提升候选框生成网络对目标的定位能力与类别预测能力。在本步骤中,由于只利用了来自源域的图像数据进行训练,因此最终会得到各个图像里的危险品在源域中的表征特征。
[0059] 步骤S23:重复执行步骤S22直至预设迭代次数,得到一个能初步定位并识别危险品的危险品检测神经网络模型。
[0060] 在与提取域无关的危险品类别信息特征的神经网络模型中,每次输入一个批次的源域训练集中的图像,执行一次步骤S22的过程,就会将神经网络模型的参数更新一次,迭代更新网络模型参数达到预设迭代次数后,得到能够初步定位并识别危险品的危险品检测神经网络模型。
[0061] 步骤S24:将来自源域的训练集数据与来自目标域的训练集数据中的图像,每次成对输入到危险品检测神经网络模型中,分别得到源域的图像特征图与目标域的图像特征图,以及各自的候选框集合。
[0062] 如图2所示,将来自源域的训练集数据与来自目标域的训练集数据中的图像,每次成对输入一个批次图像(例如,每个批次图像数量为20张,源域的图像数量为10张,目标域的图像数量也为10张)到危险品检测神经网络模型中,利用卷积层生成各个图像的多层初始特征图, 随后候选框生成网络根据得到的多层初始特征图预测得到各个图像中可能存在感兴趣目标的区域,即候选框区域,并经过非极大值抑制等操作对生成的候选框区域进行过滤,得到各个图像的候选框集合。
[0063] 步骤S25:分别将源域的图像特征图与候选框集合、目标域的图像特征图与候选框集合输入到局部原型对齐模块中,得到该批次源域与目标域下各个危险品种类的原型特征,进而更新全局危险品种类的原型特征,并计算得到原型对齐损失。
[0064] 如图3所示,通过将源域的图像特征图与候选框集合、目标域的图像特征图与候选框集合输入到局部原型对齐模块中,利用如下子步骤得到原型对齐损失。在此需要说明的是,在每个子步骤中对于源域和目标域进行相同的操作。
[0065] 步骤S250:将候选框集合映射到图像特征图上,得到候选框特征集合;
[0066] 具体地说,候选框生成网络得到的候选框是由中心点(x,y)以及宽w和高h四个参数构成,此步骤需要将候选框的四个坐标化作一个矩形框,并将该矩形框映射到图像特征图上,提取出被该矩形框包围住的特征,即为候选框特征,最终得到相应的候选框特征集合。
[0067] 步骤S251:根据得到的候选框特征集合,建立一个关系图集合,其中 为对第i个目标建立的关系图,其中i为正整数,表示第
i个目标;
[0068] 针 对 第 i 个 目 标 建 立 的 关 系 图 ,需 要 建 立 图 的 节 点 集与边集 ,其中节点集 中每个点 为属于第i个目标的第k个候选框特征,边集 中的每个边为两个候选框特征之间的边,边权采用的是两个候选框之间的交并比IoU。
[0069] 步骤S252:根据得到的每个目标的关系图 建立每个目标的特征原型 。
[0070] 为了将同一个目标对应的所有候选框特征聚合在一起,以生成该目标最为准确的特征图,发明人准备建立每个目标的特征原型 来代表该目标。建立每个目标的特征原型 时根据如下公式实现:
[0071]
[0072] 其中, 表示除了 之外其他在第i个目标周围的候选框, 表示第i个目标周围的候选框数量, 表示第i个目标的特征原型。在计算时采用两个候选框之间的交并比IoU作为衡量指标。
[0073] 步骤S253:根据得到的每个目标的特征原型 ,计算得到每个目标原型所属的类别概率向量 。
[0074] 类别概率向量 为长度为所有类别数量的一维向量, 表示原型 属于第k种类别的概率。对于有标签的源域目标而言,类别概率向量 为一个只包含0和1的向量,即该目标所对应真实标签的概率为1,其余类别概率为0。对于没有标签的目标域目标而言,类别概率向量 为将特征原型 通过危险品检测神经网络模型最后的预测层后,得到的分类预测结果。
[0075] 步骤S254:根据得到的每个目标的特征原型 与原型所属的类别概率向量计算得到每个类别的特征原型 ,其中k为正整数,表示第k种类别。
[0076] 和步骤S252中建立每个目标的特征原型类似,发明人要对每一个类别k建立一个关系图,并建立相应的特征原型。
[0077] 建立第i个目标的特征原型 时,根据如下公式实现:
[0078]
[0079] 其中, 表示原型 属于第k种类别的概率, 表示属于第k种类别的目标数量, 表示第k种类别的特征原型。
[0080] 步骤S255:根据得到每个类别的特征原型 ,分别更新源域的全局原型库与目标域的全局原型库
[0081] 在上述步骤中,发明人对源域和目标域都分别建立了相应的原型库,其中的元素是对每个类别建立的原型,接着发明人分别对
源域和目标域,利用得到的原型库 更新局部原型对齐模块中的全局原型库 和 。
在更新源域的全局原型库 与目标域的全局原型库 时,根据如下公式实现:
[0082]
[0083] 其中,表示两个变量之间的余弦相似度,即 , 表示第l次迭代训练时第k种类别的类别特征原型, 表示经过第l‑1次迭代训练后第k种类别在全局原型库中的特征原型。
[0084] 步骤S256:根据更新后源域的全局原型库 与目标域的全局原型库 ,计算得到原型对齐损失。
[0085] 更新过全局原型库后,需要利用损失函数来最小化两个域间对应类别原型之间的距离,并且最大化两个域内不同类别原型之间的距离。在计算得到原型对齐损失时,根据如下公式计算:
[0086]
[0087] 其中, 表示原型对齐损失, 代表衡量不同类别的距离参数。
[0088] 步骤S26:将该批次的源域与目标域的图像特征图与各个危险品种类的原型特征输入到全局对抗抑制模块中,计算得到对抗分类损失。
[0089] 全局对抗抑制模块的设计初衷是为了解决域之间类无关的扰动,包含了数个域分类器。在本发明的一个实施例中,将该批次的源域与目标域的图像特征图与各个危险品种类的原型特征输入到全局对抗抑制模块中,利用如下子步骤计算得到对抗分类损失:
[0090] 步骤S260:分别将源域与目标域的图像特征图输入到第一域分类器1中,计算得到第一域分类器1的损失。
[0091] 主干网络 试图生成两个域(即源域与目标域)共有的特征来迷惑分类器,让其无法识别出输入的特征图来自于源域还是目标域,而扰动信息则在生成鲁棒的共有特征时被选择性地过滤掉。因此,发明人将由主干网络生成的图像特征图看作是原材料,将其输入到第一域分类器1中生成相应的损失。在计算第一域分类器1的损失时,根据如下公式实现:
[0092]
[0093] 其中, , 分别表示来自源域与目标域的输入数据。
[0094] 步骤S261:分别将源域与目标域的各个危险品种类的原型特征输入到第二域分类器2中,计算得到第二域分类器2的损失。
[0095] 为了充分发挥全局对抗抑制模块抑制扰动信息的能力,发明人还将上述生成的类别原型库 作为原材料输入到第二域分类器2中,辅助调节主干网络 中的参数。在计算第二域分类器2的损失时,根据如下公式实现:
[0096]
[0097] 其中, , 分别表示源域的全局原型库与目标域的全局原型库中,第k种类别的全局特征原型。
[0098] 步骤S262:根据第一域分类器1的损失和第二域分类器2的损失,计算得到对抗分类损失。
[0099] 在本发明的一个实施例中,将上述步骤得到的第一域分类器1的损失和第二域分类器2的损失相加,计算得到对抗分类损失。
[0100] 步骤S27:重复执行步骤S24至S26直至预设迭代次数,得到与提取域无关的危险品类别信息特征的神经网络模型。
[0101] 在上述神经网络模型中,每输入一个批次的训练集图像,执行一次步骤S24至S26的过程,就会将该神经网络模型的参数更新一次,迭代更新神经网络模型的参数达到预设迭代次数后,得到与提取域无关的危险品类别信息特征的神经网络模型。
[0102] 在训练得到与提取域无关的危险品类别信息特征的神经网络模型之后,可以将测试集数据中的图像输入其中,以验证该神经网络模型的精度。采用测试集数据测试神经网络模型的精度为现有的成熟技术(例如采用打分的方式),在此不再赘述了。
[0103] 步骤S3:将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。
[0104] 此外,如图5所示,本发明实施例还提供一种面向X光安检场景的危险品检测装置,包括处理器32和存储器31,还可以根据实际需要进一步包括通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口。其中,存储器、通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口均与该处理器32连接。前已述及,存储器31可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器等;处理器32可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。其它通信组件、传感器组件、电源组件、多媒体组件等均可以采用现有智能手机中的通用部件实现,在此就不具体说明了。
[0105] 另外,本发明实施例提供的面向X光安检场景的危险品检测装置,包括处理器32和存储器31,处理器32读取所述存储器31中的计算机程序或指令,用于执行以下操作:
[0106] 步骤S1:获取待检测的X射线安检图像;
[0107] 在需要安全检查的场所,采用安检机器对行李进行扫描,以采集行李的X射线安检图像(简称行李图像)。其中,本发明中,行李为行李、包裹、袋子、箱子、背包、手提包等的统称。
[0108] 步骤S2:训练得到与提取域无关的危险品类别信息特征的神经网络模型;
[0109] 步骤S3:将待检测的X射线安检图像输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图,作为安检机器的输入来提取图像特征用于后续危险品的预测。
[0110] 另外,本发明实施例还提供一种计算机可读存储介质,所述可读存储介质上存储有指令,当其在计算机上运行时,使得所述计算机执行如上述图1所示的面向X光安检场景的危险品检测方法,此处不再赘述其具体实现方式。
[0111] 另外,本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行如上述图1所示的面向X光安检场景的危险品检测方法,此处不再赘述其具体实现方式。
[0112] 与现有技术相比较,本发明所提供的面向X光安检场景的危险品检测方法及装置通过获取待检测的X射线安检图像,并将其输入到预先训练好的与提取域无关的危险品类别信息特征的神经网络模型中,得到该图像用于危险品预测的包含域无关的危险品表征信息的特征图。该特征图包含了与域无关的危险品表征信息,能够很好地处理因为安检机器型号不同而产生的内生偏移,从而有效解决用一种型号安检机器生成的X光图像进行训练的危险品检测神经网络模型在另一种型号安检机器上检测时性能严重下降的问题。
[0113] 以上对本发明所提供的面向X光安检场景的危险品检测方法及装置进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将属于本发明专利权的保护范围。