一种物品溯源方法和装置转让专利
申请号 : CN202011231857.6
文献号 : CN112100430B
文献日 : 2021-03-30
发明人 : 陈越 , 王林芳 , 王瑶 , 梅涛
申请人 : 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要 :
权利要求 :
1.一种物品溯源方法,其特征在于,包括:对待比对图像进行预处理,以提取所述待比对图像中物品的特征点纹理特征;
根据所述待比对图像的标识,从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征;
对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配,从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度;
对待比对图像进行预处理,以提取所述待比对图像中物品的特征点纹理特征,包括:对待比对图像进行图像检测,得到所述待比对图像中物品的图像;
对所述物品的图像进行特征点检测,提取出所述物品的各个特征点的纹理特征;
对待比对图像进行图像检测,得到所述待比对图像中物品的图像,包括:对待比对图像进行目标检测,采用矩形框在所述待比对图像中定位出物品的位置;
沿着所述矩形框,对所述待比对图像中的物品进行图像裁剪,得到所述物品的矩形框图像;
对所述物品的矩形框图像进行语义分割,以识别出物品区域和非物品区域;
将所述物品的矩形框图像中非物品区域的像素值置为零,从而得到所述物品的图像;
对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配,从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度,包括:对于所述待比对图像中物品的每个特征点,根据特征点的纹理特征,从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点;基于所述入库图像中与所述特征点的距离最近的两个特征点,判断所述特征点在所述入库图像中有无匹配的特征点;基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果,确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。
2.根据权利要求1所述的方法,其特征在于,对待比对图像进行图像检测,得到所述待比对图像中物品的图像,包括:
采用Mask-RCNN对待比对图像进行图像检测,得到所述待比对图像中物品的图像。
3.根据权利要求1所述的方法,其特征在于,所述入库图像中与所述特征点的距离最近的两个特征点包括第一特征点和第二特征点;
基于所述入库图像中与所述特征点的距离最近的两个特征点,判断所述特征点在所述入库图像中有无匹配的特征点,包括:计算所述第一特征点与所述特征点的距离为第一距离,计算所述第二特征点与所述特征点的距离为第二距离,将所述第二距离与预设的百分比阈值相乘,得到判定距离;
若所述第一距离小于所述判定距离,则判定所述特征点在所述入库图像中有匹配特征点;若所述第一距离大于等于所述判定距离,则认为所述特征点在所述入库图像中无匹配特征点。
4.根据权利要求1所述的方法,其特征在于,基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果,确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度,包括:
计算所述待比对图像中的在所述入库图像中有匹配特征点的特征点数量;
将所述特征点数量除以所述待比对图像的物品的特征点总数量,得到所述待比对图像中的物品与所述入库图像中的物品的匹配程度。
5.根据权利要求1所述的方法,其特征在于,对待比对图像进行预处理之前,还包括:获取物品的生产信息,根据所述物品的生产信息生成标识,将所述标识及其对应的生产信息存储到数据库中;
对所述物品进行图像采集,作为所述物品的入库图像存储到所述数据库中,并与所述标识关联;
对所述入库图像进行特征点检测,以提取所述入库图像中物品的特征点纹理特征,将所述入库图像中物品的特征点纹理特征存储到所述数据库中,并与所述标识关联。
6.一种物品溯源装置,其特征在于,包括:提取模块,用于对待比对图像进行预处理,以提取所述待比对图像中物品的特征点纹理特征;
获取模块,用于根据所述待比对图像的标识,从数据库中获取所述标识对应的入库图像中物品的特征点纹理特征;
比对模块,用于对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配,从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度;
所述提取模块还用于:
对待比对图像进行图像检测,得到所述待比对图像中物品的图像;
对所述物品的图像进行特征点检测,提取出所述物品的各个特征点的纹理特征;
所述提取模块还用于:
对待比对图像进行目标检测,采用矩形框在所述待比对图像中定位出物品的位置;
沿着所述矩形框,对所述待比对图像中的物品进行图像裁剪,得到所述物品的矩形框图像;
对所述物品的矩形框图像进行语义分割,以识别出物品区域和非物品区域;
将所述物品的矩形框图像中非物品区域的像素值置为零,从而得到所述物品的图像;
所述比对模块对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特征点纹理特征进行特征点匹配,从而确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度,包括:对于所述待比对图像中物品的每个特征点,根据特征点的纹理特征,从所述入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征点;基于所述入库图像中与所述特征点的距离最近的两个特征点,判断所述特征点在所述入库图像中有无匹配的特征点;基于所述待比对图像中物品的每个特征点在所述入库图像中的特征点匹配结果,确定所述待比对图像中的物品与所述入库图像中的物品的匹配程度。
7.一种电子设备,其特征在于,包括:一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
说明书 :
一种物品溯源方法和装置
技术领域
背景技术
Frequency Identification)无线射频技术,通过在物品包装或物品内部增加一个带芯片
的标识,物品在物流过程中通过感应设备能够自动读取芯片中包含的物品标识,通过更新
数据库中的对应标识的物品信息,记录物品的流动情况。该方法优势是速度快,准确度高,
安全性好,但是需要专门的感应设备,所以主要应用在工业生产等专业领域。另外一种较为
“轻量”方案是使用二维码,将物品的标识以二维码的形式印刷在物品包装上,通过摄像头
扫描物品的二维码读取物品标识实现溯源,这种溯源方式多用在面向消费者的场景,如农
产品的溯源。
发明内容
配程度。
品的匹配程度,包括:
中与所述特征点的距离最近的两个特征点,判断所述特征点在所述入库图像中有无匹配的
特征点;
特征点。
中的物品的匹配程度。
中与所述特征点的距离最近的两个特征点,判断所述特征点在所述入库图像中有无匹配的
特征点;
特征点。
对图像中的物品与入库图像中的物品的匹配程度的技术手段,所以克服了现有技术中溯源
信息不正确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技
术,在识别物品标识的基础上,增加基于物品纹理识别的二次检验,确保溯源信息的一致
性,防止通过替换物品标识来更改物品的生产信息。在本发明的实施例中,只需生产方完成
物品信息录入流程,用户即可通过物品图像查询的方法,获取物品的生产信息,判断实际购
买的物品的真伪,避免了传统基于物品标识的溯源手段存在的易造假的问题,由此保证了
物品生产信息的可靠性。
附图说明
具体实施方式
到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同
样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
纹理特征,用于与入库图像中物品的特征点纹理特征进行特征点匹配。
身。可选地,步骤101可以包括:对待比对图像进行图像检测,得到所述待比对图像中物品的
图像;对所述物品的图像进行特征点检测,提取出所述物品的各个特征点的纹理特征。通过
图像检测可以先从待比对图像中获取物品的图像,该物品的图像包含物品区域,然后对该
物品的图像进行特征点检测,从该图像中提取出该物品的各个特征点的纹理特征;其中,每
个特征点的纹理特征为多维度的特征向量。
述矩形框,对所述待比对图像中的物品进行图像裁剪,得到所述物品的矩形框图像;对所述
物品的矩形框图像进行语义分割,以识别出物品区域和非物品区域;将所述物品的矩形框
图像中非物品区域的像素值置为零,从而得到所述物品的图像。在本发明的实施例中,首先
通过目标检测定位出物品在待比对图像中的矩形位置(bounding box),然后依据该矩形位
置对待比对图像进行裁剪,得到包含有物品的矩形框图像,接着通过语义分割识别出矩形
框图像中的物品区域和非物品区域,最后将非物品区域的像素值置为0,最终得到的图像只
含有物品本身。这样可以排除背景区域对特征抽取的干扰,保证获得的特征点的纹理特征
只来自物品本身。
算法对矩形框图像进行语义分割,以识别出物品区域和非物品区域。可选地,还可以采用将
目标检测算法和语义分割算法二合一的算法,这样可以降低系统复杂度,比如Mask-RCNN,
该算法可以实现目标检测和语义分割,而且技术较成熟,算法性能较好。
集对模型进行预训练,之后使用70%人工标注的图像数据对模型进行微调,最后使用剩下的
30%的图像数据对模型进行验证,验证的指标为检测结果的交并比(IoU,Intersection
over Union)阈值为0.5至0.95时,检测结果的mAP值(mean Average Precision),该指标在
评价数据上的值为99.5%。
及各个特征点对应的特征向量来表示物品的纹理。可选地,可以采用SIFT、SURF或者ORB等
图像特征点检测算法对所述物品的图像进行特征点检测,以提取出物品的各个特征点的纹
理特征。现有的图像特征点检测算法有很多,综合特征点检测速度、准确度和特征点匹配的
速度,本发明使用ORB算法作为检测特征点、获取特征点纹理特征的方法,该算法能够较为
快速的检测物品纹理中的特征点,并以0,1序列的形式表示特征点的特征。因此,ORB算法可
以大大降低系统的计算复杂度,在保证性能的同时,具有明显的速度优势。
的图像上检测特征点并获取特征点的纹理特征。为了降低算法复杂度,可以设定特征点的
个数不超过1500个。
特征。可选地,所述待比对图像的标识也就是所述物品的标识,比如二维码等。通常来说,物
品的标识可以在物品外包装上采集到,通过该标识可以从数据库中获取物品的生产信息、
入库图像、入库图像中物品的特征点纹理特征等所有与该标识关联的信息。
息存储到数据库中;对所述物品进行图像采集,作为所述物品的入库图像存储到所述数据
库中,并与所述标识关联;对所述入库图像进行特征点检测,以提取所述入库图像中物品的
特征点纹理特征,将所述入库图像中物品的特征点纹理特征存储到所述数据库中,并与所
述标识关联。物品的生产信息录入可以由事先编辑好的自动化程序完成,该程序依据物品
的生产厂家、生产日期、物品的生产编号(生产编号必须采集,且与物品一一对应,不重复)、
物品的种类、产地、工艺等信息生成包含这些信息的二维码。物品图像采集可以由工业摄像
头完成,可以采集物品各个面的图像,并对每个面的图像都进行特征点检测。以茶饼为例,
每一个茶饼需要采集正面图像和反面图像。为了能够清晰地获取物品上的纹理信息,采集
的图像中物品区域应该清晰且曝光正常,物品区域的像素面积应该大于800*800,而且通过
摄像头采集到的图像中应该有且只有一个物品。
以及入库图像中物品的特征点纹理特征。需要指出的是,所述入库图像可以是目标检测后
的图像,也可以是语义分割后的图像,还可以是未经过目标检测和语义分割的图像,本发明
实施例对此不作限制,只要入库图像中包含有物品即可。目标检测、语义分割和特征点检测
等过程与步骤101类似,不再赘述。
张),物品的特征点纹理特征(正反面各一组)。
物品的匹配程度。
纹理特征进行一一比对。可选地,步骤103可以包括:对于所述待比对图像中物品的每个特
征点,根据特征点的纹理特征,从所述入库图像中物品的特征点中筛选出与所述特征点的
距离最近的两个特征点;基于所述入库图像中与所述特征点的距离最近的两个特征点,判
断所述特征点在所述入库图像中有无匹配的特征点;基于所述待比对图像中物品的每个特
征点在所述入库图像中的特征点匹配结果,确定所述待比对图像中的物品与所述入库图像
中的物品的匹配程度。在本发明的实施例中,特征点比对在待比对图像中物品的特征点与
入库图像中物品的特征点之间进行:将待比对图像中物品的每个特征点分别与入库图像中
物品的特征点进行一一比对,从入库图像中物品的特征点中筛选出与所述特征点的距离最
近的两个特征点,然后基于这两个特征点判断所述特征点在入库图像中有无匹配的特征
点,最后统计出待比对图像中在入库图像中有匹配的特征点的特征点数量,从而确定所述
待比对图像中的物品与所述入库图像中的物品的匹配程度。
判断所述特征点在所述入库图像中有无匹配的特征点,包括:计算所述第一特征点与所述
特征点的距离为第一距离,计算所述第二特征点与所述特征点的距离为第二距离,将所述
第二距离与预设的百分比阈值相乘,得到判定距离;若所述第一距离小于所述判定,则判定
所述特征点在所述入库图像中有匹配特征点;若所述第一距离大于等于所述判定距离,则
认为所述特征点在所述入库图像中无匹配特征点。首先,选取待比对图像中物品的任意一
个特征点P,依据其特征向量,使用KNN(K-NearestNeighbor)算法在入库图像中物品的特征
点中找到与特征点P距离最近的两个特征点,设距离较近的特征点为P1,距离较远的特征点
为P2。若P1和P的距离小于P2和P距离的百分比阈值(比如60%、68%、75%、80%、85%或者90%
等),则认为特征点P1是与特征点P匹配的特征点(即P1为P的匹配特征点),若P1和P的距离
大于等于P2和P距离的百分比阈值,则认为特征点P在入库图像上没有匹配的特征点。
述待比对图像中的在所述入库图像中有匹配特征点的特征点数量;将所述特征点数量除以
所述待比对图像的物品的特征点总数量,得到所述待比对图像中的物品与所述入库图像中
的物品的匹配程度。通过上述方式,对待比对图像中物品的每个特征点逐一进行特征匹配,
可以统计出在所述入库图像中有匹配特征点的特征点数量,任何将统计出的特征点数量与
待比对图像的特征点总数量相除,即为待比对图像中的物品与入库图像中的物品的匹配程
度。可以预先设定匹配程度阈值(比如0.01、0.05、0.016、0.3、0.5或者0.8等),若匹配程度
大于阈值,则认为匹配成功。
并将查找结果都返回至用户终端。
还会进一步对数据库中存储的入库图像中物品的特征点纹理特征与用户上传的待比对图
像中物品的特征点纹理特征进行比对,以确定所述待比对图像中的物品与所述入库图像中
的物品的匹配程度,从而实现溯源。
选择性的输入物品的生产日期,生产厂家等可以获取的生产信息,服务端会依据用户提供
的信息从数据库中获取所有满足信息的物品的入库图像。对于每个入库图像,比对该入库
图像中物品的特征点纹理特征与用户上传的待比对图像中物品的特征点纹理特征,之后通
过特征匹配确定距离最近的入库图像,确定待比对图像中的物品与该入库图像中的物品的
匹配程度,然后将该物品的生产信息、入库图像和匹配程度等都返回至用户终端,从而实现
溯源。
作,选取匹配程度最高的一张入库图像作为匹配结果,并将对应的物品信息作为查询结果
返回给用户。
像中的物品与入库图像中的物品的匹配程度的技术手段,解决了现有技术中溯源信息不正
确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术,在识别
物品标识的基础上,增加基于物品纹理识别的二次检验,确保溯源信息的一致性,防止通过
替换物品标识来更改物品的生产信息。在本发明的实施例中,只需生产方完成物品信息录
入流程,用户即可通过物品图像查询的方法,获取物品的生产信息,判断实际购买的物品的
真伪,避免了传统基于物品标识的溯源手段存在的易造假的问题,由此保证了物品生产信
息的可靠性。
的种类、产地、工艺等信息生成包含这些信息的物品标识,物品标识可以粘附与物品外包装
上,方便用户扫描。
库图像也作为查询结果返回至用户。
像,本发明实施例对此不作限制,只要入库图像中包含有物品即可。
关联。
物品的纹理。
多,综合特征点检测速度、准确度和特征点匹配的速度,本发明使用ORB算法作为检测特征
点、获取特征点纹理特征的方法,该算法能够较为快速的检测物品纹理中的特征点,并以0,
1序列的形式表示特征点的特征。因此,ORB算法可以大大降低系统的计算复杂度,在保证性
能的同时,具有明显的速度优势。
特征;其中,每个特征点的纹理特征为多维度的特征向量。
过语义分割识别出矩形框图像中的物品区域和非物品区域,最后将非物品区域的像素值置
为0,最终得到的图像只含有物品本身。这样可以排除背景区域对特征抽取的干扰,保证获
得的特征点的纹理特征只来自物品本身。可选地,可以采用Yolo或者Faster-RCNN等目标检
测算法对待比对图像进行目标检测,并采用矩形框在待比对图像中定位出物品的位置。可
选地,可以采用FCN等语义分割算法对矩形框图像进行语义分割,以识别出物品区域和非物
品区域。可选地,还可以采用将目标检测算法和语义分割算法二合一的算法,这样可以降低
系统复杂度,比如Mask-RCNN,该算法可以实现目标检测和语义分割,而且技术较成熟,算法
性能较好。
及各个特征点对应的特征向量来表示物品的纹理。该步骤与步骤203类似,不再赘述。
点纹理特征。
物品的匹配程度。
进行一一比对,从入库图像中物品的特征点中筛选出与所述特征点的距离最近的两个特征
点,然后基于这两个特征点判断所述特征点在入库图像中有无匹配的特征点,最后统计出
待比对图像中在入库图像中有匹配的特征点的特征点数量,从而确定所述待比对图像中的
物品与所述入库图像中的物品的匹配程度。
成熟,算法性能较好。
定距离。
中无匹配特征点。
对待比对图像进行预处理,以提取所述待比对图像中物品的特征点纹理特征;获取模块502
用于根据所述待比对图像的标识,从数据库中获取所述标识对应的入库图像中物品的特征
点纹理特征;比对模块503用于对所述待比对图像中物品的特征点纹理特征与所述入库图
像中物品的特征点纹理特征进行特征点匹配,从而确定所述待比对图像中的物品与所述入
库图像中的物品的匹配程度。
中与所述特征点的距离最近的两个特征点,判断所述特征点在所述入库图像中有无匹配的
特征点;
特征点。
像中的物品与入库图像中的物品的匹配程度的技术手段,解决了现有技术中溯源信息不正
确的技术问题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术,在识别
物品标识的基础上,增加基于物品纹理识别的二次检验,确保溯源信息的一致性,防止通过
替换物品标识来更改物品的生产信息。在本发明的实施例中,只需生产方完成物品信息录
入流程,用户即可通过物品图像查询的方法,获取物品的生产信息,判断实际购买的物品的
真伪,避免了传统基于物品标识的溯源手段存在的易造假的问题,由此保证了物品生产信
息的可靠性。
包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
围带来任何限制。
执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。
CPU 701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总
线704。
以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因
特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如
磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出
的计算机程序根据需要被安装入存储部分708。
介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样
的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸
介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本发明的系统中限
定的上述功能。
限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便
携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储
器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、
或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程
序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本
发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,
其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限
于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可
读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于
由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的
程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述
的任意合适的组合。
个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于
实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注
的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可
以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意
的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的
功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来
实现。
括提取模块、获取模块和比对模块,其中,这些模块的名称在某种情况下并不构成对该模块
本身的限定。
机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,该
设备实现如下方法:对待比对图像进行预处理,以提取所述待比对图像中物品的特征点纹
理特征;根据所述待比对图像的标识,从数据库中获取所述标识对应的入库图像中物品的
特征点纹理特征;对所述待比对图像中物品的特征点纹理特征与所述入库图像中物品的特
征点纹理特征进行特征点匹配,从而确定所述待比对图像中的物品与所述入库图像中的物
品的匹配程度。
库图像中的物品的匹配程度的技术手段,所以克服了现有技术中溯源信息不正确的技术问
题。本发明实施例在当前的物品溯源方法的基础上引入图像识别技术,在识别物品标识的
基础上,增加基于物品纹理识别的二次检验,确保溯源信息的一致性,防止通过替换物品标
识来更改物品的生产信息。在本发明的实施例中,只需生产方完成物品信息录入流程,用户
即可通过物品图像查询的方法,获取物品的生产信息,判断实际购买的物品的真伪,避免了
传统基于物品标识的溯源手段存在的易造假的问题,由此保证了物品生产信息的可靠性。
在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围
之内。