一种基于图匹配的目标检测方法及目标检测装置转让专利
申请号 : CN202110739846.7
文献号 : CN113255702B
文献日 : 2021-11-09
发明人 : 李杰明 , 杨洋
申请人 : 深圳市华汉伟业科技有限公司
摘要 :
权利要求 :
1.一种基于图匹配的目标检测方法,其特征在于,包括:获取目标物体的待检测图像;
根据预设的顶点检测模型对所述待检测图像进行局部特征的检测处理,得到所述目标物体上的若干个顶点;所述顶点用于表征物体表面的一个局部特征;
根据预设的图匹配算法将所述目标物体上的若干个顶点与一标准模板进行匹配,得到相匹配的顶点并形成第一匹配结果;所述标准模板为所述目标物体对应的标准物体上所有顶点的信息集合;
计算所述第一匹配结果相对于所述标准模板的匹配分数,在所述匹配分数超过预设分数阈值时将所述第一匹配结果中的各顶点形成为第二匹配结果;
通过所述第二匹配结果中各顶点与所述标准模板之间的变化关系,推断出所述待检测图像中的目标物体上未被检测到的顶点,利用所述第二匹配结果中的各顶点和未被检测到的顶点形成第三匹配结果;
根据所述第三匹配结果确定所述待检测图像中目标物体的位置和角度,并形成所述目标物体的检测结果;
其中,所述根据预设的图匹配算法将所述目标物体上的若干个顶点与一标准模板进行匹配,得到相匹配的顶点并形成第一匹配结果包括:获取所述目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围;所述标准模板包括所述标准物体上所有顶点的位置信息、角度信息和类别信息,所述信息搜索范围用于设定角度、位置的检测范围;利用所述待检测图像中已检测得到的若干个顶点形成待检测顶点集合,计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系,以及构建所述待检测顶点集合中顶点与顶点之间的连接关系;比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系,将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中,以及确定一个变化关系 ;将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系 进行比较,通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点;利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述第一匹配结果。
2.如权利要求1所述的目标检测方法,其特征在于,所述顶点检测模型是由基于深度学习的卷积神经网络进行训练而得到,则训练过程包括:获取目标物体的至少一个样本图像,所述样本图像包括所述目标物体上多个顶点的位置信息、角度信息和类别信息;
将所述样本图像输入至所述卷积神经网络,迭代更新网络参数,直至所述卷积神经网络对应的损失函数收敛,将训练完成的所述卷积神经网络作为所述顶点检测模型。
3.如权利要求1所述的目标检测方法,其特征在于,所述计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系,以及构建所述待检测顶点集合中顶点与顶点之间的连接关系,包括:对于所述待检测顶点集合中的任意两个顶点k、l和所述标准模板中的任意两个顶点i、j,计算顶点k和顶点l的位置关系且表示为βkl,计算顶点i和顶点j的位置关系且表示为βij;
若判断顶点i与顶点k的类别信息相同,且顶点j与顶点l的类别信息相同,则计算位置关系βij相对于位置关系βkl的变化关系且表示为δij‑kl;所述变化关系用于表征相对转换的角度偏移量和距离缩放量;
判断变化关系δij‑kl是否处于所述标准模板的信息搜索范围内,若是则构建所述待检测顶点集合中顶点k和顶点l的连接关系且用γkl表示;所述信息搜索范围中设有角度α、坐标x、坐标y以及距离缩放尺度的检测范围。
4.如权利要求3所述的目标检测方法,其特征在于,所述比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系,将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中,以及确定一个变化关系 ,包括:判断所述待检测顶点集合中构建有顶点与顶点之间的连接关系,则将所述待检测顶点集合中的所有顶点存入堆栈St;从所述堆栈St中依次出栈每一个顶点并记为顶点h,依次建立顶点集合Xh并将顶点h加入顶点集合Xh;
遍历所述待检测顶点集合中与顶点h之间具有连接关系的其它顶点,投票确定其中一个连接关系并获得对应的变化关系 ,以及利用与顶点h之间具有连接关系的其它顶点形成候选点集P;
对于所述候选点集P中的每一个顶点o,获取顶点o与所述待检测顶点集合中各顶点的连接关系和对应的变化关系,若判断顶点o与所述顶点集合Xh中的任意一个顶点的连接关系所对应的变化关系等于变化关系 ,则将顶点o暂时加入所述顶点集合Xh中;之后获取所述顶点集合Xh内部各顶点之间新增的内部连接关系lin和内部各顶点与所述顶点集合Xh外部顶点之间新增的外部连接关系lout,判断新增的内部连接关系lin的数目是否小于新增的外部连接关系lout的数目,若是则将顶点o移出所述顶点集合Xh,若否则将新增的外部连接关系lout上与顶点o关联的顶点也加入所述候选点集P;
遍历所述候选点集P中的所有顶点并更新所述顶点集合Xh,输出最终形成的所述顶点集合Xh和确定的变化关系 。
5.如权利要求4所述的目标检测方法,其特征在于,所述将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系 进行比较,通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点,包括:获取所述顶点集合Xh中顶点h与其余各顶点之间的连接关系和对应的变化关系;
若顶点h与其余任意一个顶点之间的连接关系所对应的变化关系等于变化关系 ,则将该连接关系标记为第一值;
对连接关系标记为第一值的顶点进行计数投票,得到所述顶点集合中各个顶点的投票结果,根据投票结果确定与所述标准模板相匹配的若干个顶点。
6.如权利要求1所述的目标检测方法,其特征在于,所述计算所述第一匹配结果相对于所述标准模板的匹配分数,在所述匹配分数超过预设分数阈值时将所述第一匹配结果中的各顶点形成为第二匹配结果,包括:
计算所述标准模板变换到所述第一匹配结果的仿射变换矩阵且表示为G;
将所述标准模板变换到与所述第一匹配结果相同的坐标系下,计算反投影误差;所述反投影误差用公式表示为
;
其中,pc表示所述标准模板中的任意顶点,满足pc ϵ M1且M1表示所述标准模板;qc表示所述第一匹配结果中与pc对应的顶点,满足qc ϵ F1且F1表示所述第一匹配结果;
根据所述反投影误差计算所述第一匹配结果相对于所述标准模板的匹配分数,所述匹配分数表示为
;
其中,e表示自然对数,|F1|为所述第一匹配结果中的顶点数目,|M1|为所述标准模板中的顶点数目;
判断μ>λ时,则利用所述第一匹配结果构成第二匹配结果;其中,λ为预设分数阈值。
7.如权利要求6所述的目标检测方法,其特征在于,所述通过所述第二匹配结果中各顶点与所述标准模板之间的变化关系,推断出所述待检测图像中的目标物体上未被检测到的顶点,利用所述第二匹配结果中的各顶点和未被检测到的顶点形成第三匹配结果,包括:将推断出的所述待检测图像中的目标物体上未被检测到的顶点构成为第一集合T,将所述标准模板中与所述第一集合T相对应的顶点构成为第二集合R;
所述第一集合T和所述第二集合R之间能够满足t=Gr;其中,r表示所述第二集合R中的任意顶点且满足rϵ R,t表示所述第一集合T中与r对应的顶点且满足tϵ T;
若用F2表示所述第二匹配结果,则所述第三匹配结果表示为F3=T∪F2。
8.一种目标检测装置,其特征在于,包括:相机,用于通过取像得到目标物体的待检测图像;
处理器,与所述相机连接,用于通过权利要求1‑7中任一项所述的目标检测方法对所述待检测图像进行处理,得到所述目标物体的检测结果;
显示器,与所述处理器连接,用于对所述目标物体的待检测图像和/或检测结果进行显示。
9.如权利要求8所述的目标检测装置,其特征在于,所述处理器包括:获取模块,用于从所述相机获取目标物体的待检测图像;
第一检测模块,用于根据预设的顶点检测模型对所述待检测图像进行局部特征的检测处理,得到所述目标物体上的若干个顶点;所述顶点用于表征物体表面的一个局部特征;
第二检测模块,用于根据预设的图匹配算法将所述目标物体上的若干个顶点与一标准模板进行匹配,得到相匹配的顶点并形成第一匹配结果;所述标准模板为所述目标物体对应的标准物体上所有顶点的信息集合;其中,所述第二检测模块根据预设的图匹配算法将所述目标物体上的若干个顶点与一标准模板进行匹配,得到相匹配的顶点并形成第一匹配结果包括:获取所述目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围;所述标准模板包括所述标准物体上所有顶点的位置信息、角度信息和类别信息,所述信息搜索范围用于设定角度、位置的检测范围;利用所述待检测图像中已检测得到的若干个顶点形成待检测顶点集合,计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系,以及构建所述待检测顶点集合中顶点与顶点之间的连接关系;比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系,将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中,以及确定一个变化关系 ;将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系 进行比较,通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点;利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述第一匹配结果;
第一处理模块,用于计算所述第一匹配结果相对于所述标准模板的匹配分数,在所述匹配分数超过预设分数阈值时将所述第一匹配结果中的各顶点形成为第二匹配结果;
第二处理模块,通过所述第二匹配结果中各顶点与所述标准模板之间的变化关系,推断出所述待检测图像中的目标物体上未被检测到的顶点,利用所述第二匹配结果中的各顶点和未被检测到的顶点形成第三匹配结果;
第三处理模块,根据所述第三匹配结果确定所述待检测图像中目标物体的位置和角度,并形成所述目标物体的检测结果。
10.一种计算机可读存储介质,其特征在于,所述介质上存储有程序,所述程序能够被处理器执行以实现如权利要求1‑7中任一项所述的目标检测方法。
说明书 :
一种基于图匹配的目标检测方法及目标检测装置
技术领域
背景技术
练卷积神经网络,能够完成分类、目标检测和语义分割等工作。其中,目标检测卷积神经网
络在工业上有许许多多的应用,如流水线产品的识别和计数等。
器视觉的一大需求。现有的基于深度学习目标检测算法有YOLO、SSD、RCNN等,这些算法通过
搭建CNN(卷积神经网络)并用标注数据进行训练,训练完成后,输入图像至卷积神经网络并
输出特征图,通过计算特征图得出检测结果,比如物体的种类、外接矩形的中心坐标和长
宽。
或随机将图像中待检测的物体的一部分的像素设置为固定像素值(如0);该方法的缺点是
可能对训练数据引入过多噪声,从而使目标检测模型的收敛更加困难,而且对训练数据的
处理方式不一定与现实的遮挡相同,因此仍可能得到错误的检测结果。二者,优化多尺度检
测的方法有:特征金字塔,通过融合不同尺度的特征图,获得多个感受野不同的特征图,再
分别对这些特征图进行分类和方框回归以得到结果;该方法的缺点是增加了计算量,且待
识别的物体的形状的长宽比需要在一个适中的区间(一般为1:3到3:1之间),难以实现对极
端长宽比物体的检测。三者,识别物体方向的方法有:在原有的目标检测网络的基础上,增
加一个或多个角度回归量,通过训练数据进行拟合,可以识别物体方向;该方法的缺点是需
要在标注时额外增加角度的标注,增加了标注的工作量,而且由于增加角度的回归,增大了
训练难度。
发明内容
理,得到所述目标物体上的若干个顶点;所述顶点用于表征物体表面的一个局部特征;根据
预设的图匹配算法将所述目标物体上的若干个顶点与一标准模板进行匹配,得到相匹配的
顶点并形成第一匹配结果;所述标准模板为所述目标物体对应的标准物体上所有顶点的信
息集合;计算所述第一匹配结果相对于所述标准模板的匹配分数,在所述匹配分数超过预
设分数阈值时将所述第一匹配结果中的各顶点形成为第二匹配结果;通过所述第二匹配结
果中各顶点与所述标准模板之间的变化关系,推断出所述待检测图像中的目标物体上未被
检测到的顶点,利用所述第二匹配结果中的各顶点和未被检测到的顶点形成第三匹配结
果;根据所述第三匹配结果确定所述待检测图像中目标物体的位置和角度,并形成所述目
标物体的检测结果。
的位置信息、角度信息和类别信息;将所述样本图像输入至所述卷积神经网络,迭代更新网
络参数,直至所述卷积神经网络对应的损失函数收敛,将训练完成的所述卷积神经网络作
为所述顶点检测模型。
标准模板和所述标准模板的信息搜索范围;所述标准模板包括所述标准物体上所有顶点的
位置信息、角度信息和类别信息,所述信息搜索范围用于设定角度、位置的检测范围;利用
所述待检测图像中已检测得到的若干个顶点形成待检测顶点集合,计算所述待检测顶点集
合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系,以及构建所述待
检测顶点集合中顶点与顶点之间的连接关系;比较所述待检测顶点集合中每个顶点与其它
各顶点之间的连接关系,将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合
Xh中,以及确定一个变化关系 ;将所述顶点集合Xh中各顶点分别对应的变化关系和确定的
变化关系 进行比较,通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干
个顶点;利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述
第一匹配结果。
对于所述待检测顶点集合中的任意两个顶点k、l和所述标准模板中的任意两个顶点i、j,计
算顶点k和顶点l的位置关系且表示为βkl,计算顶点i和顶点j的位置关系且表示为βij;若判
断顶点i与顶点k的类别信息相同,且顶点j与顶点l的类别信息相同,则计算位置关系βij相
对于位置关系βkl的变化关系且表示为δij‑kl;所述变化关系用于表征相对转换的角度偏移
量和距离缩放量;判断变化关系δij‑kl是否处于所述标准模板的信息搜索范围内,若是则构
建所述待检测顶点集合中顶点k和顶点l的连接关系且用γkl表示;所述信息搜索范围中设
有角度α、坐标x、坐标y以及距离缩放尺度的检测范围。
,包括:判断所述待检测顶点集合中构建有顶点与顶点之间的连接关系,则将所述待检测顶
点集合中的所有顶点存入堆栈St;从所述堆栈St中依次出栈每一个顶点并记为顶点h,依次
建立顶点集合Xh并将顶点h加入顶点集合Xh;遍历所述待检测顶点集合中与顶点h之间具有
连接关系的其它顶点,投票确定其中一个连接关系并获得对应的变化关系 ,以及利用与
顶点h之间具有连接关系的其它顶点形成候选点集P;对于所述候选点集P中的每一个顶点
o,获取顶点o与所述待检测顶点集合中各顶点的连接关系和对应的变化关系,若判断顶点o
与所述顶点集合Xh中的任意一个顶点的连接关系所对应的变化关系等于变化关系 ,则将
顶点o暂时加入所述顶点集合Xh中;之后获取所述顶点集合Xh内部各顶点之间新增的内部连
接关系lin和内部各顶点与所述顶点集合Xh外部顶点之间新增的外部连接关系lout,判断新
增的内部连接关系lin的数目是否小于新增的外部连接关系lout的数目,若是则将顶点o移出
所述顶点集合Xh,若否则将新增的外部连接关系lout上与顶点o关联的顶点也加入所述候选
点集P;遍历所述候选点集P中的所有顶点并更新所述顶点集合Xh,输出最终形成的所述顶
点集合Xh和确定的变化关系 。
所述顶点集合Xh中顶点h与其余各顶点之间的连接关系和对应的变化关系;若顶点h与其余
任意一个顶点之间的连接关系所对应的变化关系等于变化关系 ,则将该连接关系标记为
第一值;对连接关系标记为第一值的顶点进行计数投票,得到所述顶点集合中各个顶点的
投票结果,根据投票结果确定与所述标准模板相匹配的若干个顶点。
标准模板变换到所述第一匹配结果的仿射变换矩阵且表示为G;将所述标准模板变换到与
所述第一匹配结果相同的坐标系下,计算反投影误差;所述反投影误差用公式表示为
;其中,pc表示所述标准模板中的任意顶点,满足pc ϵ M1且M1表示所述标
准模板;qc表示所述第一匹配结果中与pc对应的顶点,满足qc ϵ F1且F1表示所述第一匹配结
果;根据所述反投影误差计算所述第一匹配结果相对于所述标准模板的匹配分数,所述匹
配分数表示为 ;其中,e表示自然对数,|F1|为所述第一匹配结果
中的顶点数目,|M1|为所述标准模板中的顶点数目;判断μ>λ时,则利用所述第一匹配结果
构成第二匹配结果;其中,λ为预设分数阈值。
被检测到的顶点形成第三匹配结果,包括:将推断出的所述待检测图像中的目标物体上未
被检测到的顶点构成为第一集合T,将所述标准模板中与所述第一集合T相对应的顶点构成
为第二集合R;所述第一集合T和所述第二集合R之间能够满足t=Gr;其中,r表示所述第二集
合R中的任意顶点且满足rϵ R,t表示所述第一集合T中与r对应的顶点且满足tϵ T;若用F2
表示所述第二匹配结果,则所述第三匹配结果表示为 。
标检测方法对所述待检测图像进行处理,得到所述目标物体的检测结果;显示器,与所述处
理器连接,用于对所述目标物体的待检测图像和/或检测结果进行显示。
所述目标物体上的若干个顶点;所述顶点用于表征物体表面的一个局部特征;第二检测模
块,用于根据预设的图匹配算法将所述目标物体上的若干个顶点与一标准模板进行匹配,
得到相匹配的顶点并形成第一匹配结果;所述标准模板为所述目标物体对应的标准物体上
所有顶点的信息集合;第一处理模块,用于计算所述第一匹配结果相对于所述标准模板的
匹配分数,在所述匹配分数超过预设分数阈值时将所述第一匹配结果中的各顶点形成为第
二匹配结果;第二处理模块,通过所述第二匹配结果中各顶点与所述标准模板之间的变化
关系,推断出所述待检测图像中的目标物体上未被检测到的顶点,利用所述第二匹配结果
中的各顶点和未被检测到的顶点形成第三匹配结果;第三处理模块,根据所述第三匹配结
果确定所述待检测图像中目标物体的位置和角度,并形成所述目标物体的检测结果。
上的若干个顶点;根据预设的图匹配算法将目标物体上的若干个顶点与一标准模板进行匹
配,得到相匹配的顶点并形成第一匹配结果;计算匹配分数并在匹配分数超过预设分数阈
值时将第一匹配结果中的各顶点形成为第二匹配结果;通过第二匹配结果中各顶点与标准
模板之间的变化关系,推断出待检测图像中的目标物体上未被检测到的顶点,利用第二匹
配结果中的各顶点和未被检测到的顶点形成第三匹配结果;根据第三匹配结果确定待检测
图像中目标物体的位置和角度,并形成目标物体的检测结果。第一方面,由于通过顶点检测
模型先对目标物体的待检测图像进行局部特征的检测处理,则便于得到目标物体上局部特
征显著的个别顶点,为这些顶点与标准模板的匹配提供了技术条件;第二方面,由于通过图
匹配算法将已检测到的部分顶点与标准模板进行匹配,则不仅将顶点匹配问题转化为图匹
配算法进行求解来提高后续图像配准的准确性和稳定性,还通过计算顶点间的位置关系来
筛选适当的顶点,降低计算的复杂度并提高算法的运行效率;第三方面,由于利用匹配分数
来对第一匹配结果进行过滤,则能够得到准确度更高的第二匹配结果;第四方面,技术方案
通过已检测顶点与标准模板之间的变化关系推断未被检测到的顶点,那么仅借助少量已检
测的顶点即可推断出其余未被检测的顶点,如此大大降低前期顶点检测的处理开销;第五
方面,由于第三匹配结果包含有目标物体上几乎所有顶点的信息,则依据第三匹配结果来
确定待检测图像中目标物体的位置和角度时,能够提高目标物体检测的准确度,从而得到
更优的检测结果。
图的匹配问题进行求解和计算,从而实现了若干个顶点和标准模板中顶点的对应关系;那
么在得到顶点部分对应关系的情况下,就方便根据对应关系计算相对应之间的变换矩阵,
从而通过这种变化关系推断和识别目标物体上其余还未检测的顶点,最终完成目标物体上
各顶点的匹配和检测。
标物体上选取长宽比适中的局部特征,便可完整检测此目标物体;对于遮挡的目标物体,只
需要识别至少两个顶点,就可以完成对整体的推断和检测;此外,对于同时需要检测的多种
不同尺度的物体,只需要选取尺度大小相当的局部特征,就可以在不采用特征金字塔的情
况下同时检测多种不同尺度的目标物体。也就是说,技术方案提出的目标检测算法对于对
长宽比极端的物体、部分被遮挡的物体、同时检测多种尺度的物体,具有很好的检测效果。
附图说明
具体实施方式
使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征
在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申
请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过
多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们
根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一
个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
间接连接(联接)。
检测。可将一个完整的目标物体分为若干个特征顶点,以下称为顶点(这些顶点需设置为较
能反映待检测物体特征的局部区域)。多个顶点组成的集合称为一个模板,通过检测每个顶
点可完成对模板的整体检测;即通过对目标物体局部的检测,可以完成对目标物体整体的
检测。
部分遮挡、表面损坏、形体异常的情况,这时会给检测目标物体的表面特征带来一些困难。
进一步的图像处理工作。
物体上多个顶点的位置信息、角度信息和类别信息;(2)将样本图像输入至卷积神经网络,
迭代更新网络参数,直至卷积神经网络对应的损失函数收敛,将训练完成的卷积神经网络
作为顶点检测模型。关于顶点检测模型的构建过程将在下文进行详细说明。
体上所有顶点的信息集合。
顶点进行表示的话,则标准物体的标准模板就是这些顶点信息的集合。
高的第二匹配结果。
点形成第三匹配结果。
测的顶点,如此大大降低前期顶点检测的处理开销。
准确度,从而得到更优的检测结果。
模型的构建过程进行详细说明。
数。样本图像参与卷积神经网络的训练过程即为网络权重系数的更新过程,随着更新次数
的增加会使对应的损失函数逐步趋于收敛;一般地,在损失函数收敛时即可认为卷积神经
网络训练完成。
个顶点。
理解,输出的每个顶点的信息可能包括:顶点位置坐标、顶点类别、顶点外接矩形、顶点外包
矩形等;至于具体能够输出哪些信息,则与卷积神经网络的自身结构和参与训练的样本图
像的顶点信息有关系。
一些卷积、激活函数和池化等操作,可对输入的图像(如图4中表盘1的图像)进行图像特征
的提取,从而得到对应的特征图。其中,分类检测网络中可设置一些卷积、激活函数和池化
等操作,由于网络参数的区别,使得分类检测网络能够专注于特征分类的处理,从而对得到
的特征图进行进一步的分类处理,得到目标物体上顶点关于分类信息的特征图,也就能够
得到顶点的分类信息。其中,方框回归网络中也可设置一些卷积、激活函数和池化等操作,
依据自身网络参数的区别可对得到的特征图进行进一步的回归处理,从而得到目标物体上
顶点关于方框回归的特征图,也就能够得到顶点的位置、外接矩形/外包矩形。
定角度、位置、距离缩放尺度的检测范围。需要说明的是,对于任意的目标物体或对应的标
准物体,其表面的局部特征包括但不限于:物体上能表征物体核心特征的凸凹形状、能表征
物体核心特征的印刷图案等;如果一旦选取某一类局部特征,需将所有属于该类局部特征
的顶点全部标注完成。可以理解,每个顶点至少包括以下2个信息:顶点的横纵坐标(即顶点
的坐标)、所表征的局部特征的类别(即顶点的类别);当然,除了这2个信息,还可以选择增
加其他信息以加快后续的匹配速度,一般可选的信息有:局部特征的最小外接矩形(即顶点
外接矩形,顶点外接矩形的信息可包括矩形中心点、矩形长和宽,可指带旋转角度的标准矩
形)、局部特征的外包矩形(即顶点外包矩形,顶点外包矩形的信息可包括矩形中心点、矩形
长宽和方向,可指没有旋转角度的标准矩形)。可以理解,由于物体上每个顶点是一个局部
特征的表示,而局部特征在整个物体图像中具有明确的类别、确切的位置和相对的旋转角
度,以及区域的大小,所以可用角度、位置、类别、矩形等具体数值来描述顶点。
在这里可以通过人工标注方式来生成标准物体上所有顶点的标注信息,并且,标注信息包
括标准物体上每个顶点的位置信息、角度信息和类别信息;当然,标注信息中也可增加顶点
外接矩形、顶点外包矩形这些数值。
置、距离缩放尺度的最大变化量设定角度、位置、距离缩放尺度的检测范围,从而形成标准
模板的信息搜索范围。
缘数字处的顶点A3,那么利用这些顶点的标注信息可生成一个简单的标准模板,具体参见
图5中的A1‑A2‑A3‑A4;在图5中,标准模板的参考方向为L1、旋转中心点为L0。由于同一顶点
在不同大小和旋转方向的图像中展示的形态是不一样的,所以需要对顶点形态进行一些调
整以实现匹配,调整内容不仅包括顶点自身的角度偏移量和位置偏移量,还包括顶点与另
一个顶点之间的距离缩放量。这里的信息搜索范围表示在此范围内变换的标准模板可以被
检测出,反之则不能。
建待检测顶点集合中顶点与顶点之间的连接关。
问题是两者之间的对应关系。这里为了快速解决两者之间的对应关系,将顶点的匹配问题
转化为图的匹配问题进行求解和计算。
系且表示为βij。
里的变化关系δij‑kl用于表征相对转换的角度偏移量和距离缩放量,也就是位置关系βij变
换到位置关系βkl所需的角度偏移量,以及顶点vi—vj之间距离变换到顶点vk—vl之间距离
所需的距离缩放量。
息搜索范围Ω中设有角度α、坐标x、坐标y以及距离缩放尺度的检测范围,所以当变换关系
δij‑kl中的各信息都满足对应的检测范围时才构建待检测顶点集合中顶点k和顶点l的连接
关系;此时表明顶点k与顶点l可能是顶点i与顶点j经一定的变换方法转换而来,这种情况
下称顶点k与顶点l可以构成图的一条边,并且存在连接关系。
。
如果有多个内部点与顶点集合外同一个点有连接关系,则外部连接关系只进行一次计数。
形成候选点集P,也就是将所有与顶点h存在连线的顶点加入候选点集。
于初始的顶点集合Xh,其中只有一个顶点,此时内部边为空。
应的变化关系等于变化关系 ,则将顶点o暂时加入顶点集合Xh中。接下来,获取顶点集合Xh
内部各顶点之间新增的内部连接关系lin和内部各顶点与顶点集合Xh外部顶点之间新增的
外部连接关系lout,那么就可以判断新增的内部连接关系lin的数目是否小于新增的外部连
接关系lout的数目时,若是将顶点o移出顶点集合Xh,若否则将新增的外部连接关系lout上与
顶点o关联的顶点也加入候选点集P。
关系lout,则候选顶点o符合要求,将新增的顶点加入顶点集合Xh;如果新增的内部连接关系
lin小于新增的外部连接关系lout,则不符合要求,应将候选顶点o从顶点集合Xh中删去。
空。
得到下表1中顶点集合Xh和标准模板的对应关系以及变换关系。
点U相匹配,顶点F和顶点V相匹配,顶点H和顶点W之间也相匹配。
算法进行解决,从而得到顶点集合Xh的顶点与标准模板的顶点的对应关系,称为第一匹配
结果,可表示为F1。
续图像配准的准确性和稳定性,还通过计算顶点间的位置关系来筛选适当的顶点,降低计
算的复杂度并提高算法的运行效率。
转化为图的匹配问题进行求解和计算,从而实现了若干个顶点和标准模板中顶点的对应关
系;那么在得到顶点部分对应关系的情况下,就方便根据对应关系计算相对应之间的变换
矩阵,从而通过这种变化关系推断和识别目标物体上其余还未检测的顶点,最终完成目标
物体上各顶点的匹配和检测。
一匹配结果构成第二匹配结果,并且可将第二匹配结果记为F2;当判断μ<=λ时,则舍弃当前
的第一匹配结果。
r对应的顶点且满足tϵ T。
距离缩放量,由此形成待检测图像中的目标物体相对于标准模板中的标准物体的变换关
系,当然也能够形成第二匹配结果中各顶点与标准模板之间的变化关系。既然待检测图像
中的部分已检测的顶点能够与标准模板中的一些顶点相互匹配,那么待检测图像中未被检
测的顶点也能够与标准模板中的剩余顶点进行匹配,如此便能够推断待检测图像中的目标
物体上未被检测到的顶点,从而获得未被检测到的顶点的位置信息、角度信息和类别信息。
像中目标物体上的各顶点进行信息标注,然后使用这些样本图像对卷积神经网络进行训
练,直到卷积神经网络对应的损失函数收敛时得到顶点检测模型。对于目标物体的待检测
图像,利用训练好的顶点检测模型对待检测图像进行局部特征的检测处理,从而得到目标
物体上的若干个顶点。
像,以及获取标准图像中对标准物体上所有顶点的标注信息,从而根据标准物体上所有顶
点的标注信息生成标准模板,并自动设置或人为设置标准模板的信息搜索范围。
集合中任意两个顶点和标准模板中任意两个顶点之间位置的变化关系,以及构建待检测顶
点集合中顶点与顶点之间的连接关系;接着,比较待检测顶点集合中每个顶点与其它各顶
点之间的连接关系,将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh
中,以及确定一个变化关系 ;然后,将顶点集合Xh中各顶点分别对应的变化关系和确定的
变化关系 进行比较,通过投票处理确定顶点集合Xh中与标准模板相匹配的若干个顶点;
最后,利用相匹配的若干个顶点和与标准模板中对应顶点之间的对应关系得到第一匹配结
果。
差,从而根据反投影误差计算第一匹配结果相对于标准模板的匹配分数。那么就能够判断
匹配分数和预设分数阈值的大小关系,当判断匹配分数大于预设分数阈值时,则利用第一
匹配结果构成第二匹配结果。接下来,通过第二匹配结果中各顶点与标准模板之间的变化
关系,推断出待检测图像中的目标物体上未被检测到的顶点,利用第二匹配结果中的各顶
点和未被检测到的顶点就能够形成第三匹配结果。最后,根据第三匹配结果来确定待检测
图像中目标物体的位置和角度,从而形成目标物体的检测结果。
宽比的目标物体,仅需要在此目标物体上选取长宽比适中的局部特征,便可完整检测此目
标物体;对于遮挡的目标物体,只需要识别至少两个顶点,就可以完成对整体的推断和检
测;此外,对于同时需要检测的多种不同尺度的物体,只需要选取尺度大小相当的局部特
征,就可以在不采用特征金字塔的情况下同时检测多种不同尺度的目标物体。也就是说,技
术方案提出的目标检测算法对于对长宽比极端的物体、部分被遮挡的物体、同时检测多种
尺度的物体,具有很好的检测效果。
可能会存在部分遮挡、表面损坏、形体异常的情况,这时会给检测目标物体的表面特征带来
一些困难。
GPU、FPGA、微控制器或数字集成电路,只要能够依据自身逻辑指令实现上文实施例一中步
骤110‑160实现的目标检测方法即可。
行单独显示或共同显示即可,具体的屏幕类型和显示布局方式不做限制。
关于第一检测模块32‑2的功能可具体参考实施例一中的步骤120,这里不再赘述。
物体上多个顶点的位置信息、角度信息和类别信息;将样本图像输入至卷积神经网络,迭代
更新网络参数,直至卷积神经网络对应的损失函数收敛,将训练完成的卷积神经网络作为
顶点检测模型。
标准物体上所有顶点的信息集合。比如,获取目标物体对应的标准物体的标准模板和标准
模板的信息搜索范围;利用待检测图像中已检测得到的若干个顶点形成待检测顶点集合,
计算待检测顶点集合中任意两个顶点和标准模板中任意两个顶点之间位置的变化关系,以
及构建待检测顶点集合中顶点与顶点之间的连接关系;比较待检测顶点集合中每个顶点与
其它各顶点之间的连接关系,将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点
集合Xh中,以及确定一个变化关系 ;将顶点集合Xh中各顶点分别对应的变化关系和确定的
变化关系 进行比较,通过投票处理确定所述顶点集合Xh中与标准模板相匹配的若干个顶
点;利用相匹配的若干个顶点和与标准模板中对应顶点之间的对应关系得到第一匹配结
果。关于第二检测模块32‑3的功能可具体参考实施例一中的步骤131‑135,这里不再赘述。
模板变换到所述第一匹配结果的仿射变换矩阵,将标准模板变换到与第一匹配结果相同的
坐标系下,计算反投影误差;根据反投影误差计算第一匹配结果相对于标准模板的匹配分
数,判断匹配分数大于预设分数阈值时,则利用第一匹配结果构成第二匹配结果。关于第一
处理模块32‑4的功能可具体参考实施例一中的步骤141‑144,这里不再赘述。
测到的顶点形成第三匹配结果。比如,将推断出的待检测图像中的目标物体上未被检测到
的顶点构成为第一集合T,将标准模板中与第一集合T相对应的顶点构成为第二集合R;第一
集合T和第二集合R之间能够满足t=Gr,其中r表示第二集合R中的任意顶点且满足rϵ R,t表
示第一集合T中与r对应的顶点且满足tϵ T;若用F2表示第二匹配结果,则第三匹配结果表
示为 。关于第二处理模块32‑5的功能可具体参考实施例一中的步骤150,这里不再
赘述。
的步骤160,这里不再赘述。
通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可
以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述
功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上
述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现
时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质
中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通
过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
推演、变形或替换。