本发明的目的在于提出一种基于2d图像识别的模板姿态修正方法及系统。其中一种基于2d图像识别的模板姿态修正方法，包括以下步骤：步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进保存；步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，若满足距离阈值要求，则获取满足距离阈值第一识别特征的数量，并判断数量是否满足数量阈值，若满足，则通过变化矩阵修正模板的位姿，使模板的位姿向目标图像的位姿靠拢，为后续操作提供精准的特殊点，提高机械臂的操作精度。
1.一种基于2d图像识别的模板姿态修正方法，其特征在于：包括以下步骤：步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进行保存；
步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；
步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，并判断相关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值，若满足，则获取满足距离阈值第一识别特征点的数量，并判断数量是否满足数量阈值，若满足，则通过变化矩阵修正所述模板的位姿，使模板的位姿向所述目标图像的位姿靠拢；
变化矩阵包括平移矩阵以及旋转矩阵，其中步骤S3中通过变化矩阵修改所述模板的位姿的步骤如下：步骤S31：通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下，目标函数如下公式一所示：其中R为旋转矩阵，为平移矩阵，qi和pi分别为相关联
的第一识别特征点与第二识别特征点的坐标，ni为特征向量，i为大于1的自然整数；
步骤S32：对偏转的角度r取最小，所述旋转矩阵R获得最小值，最小值的旋转矩阵R如下公式二所示：将最小值的旋转矩阵R代入目标函数中获取最小的目标函数，最小的目标函数公式三如下：其中ci＝pi×ni；
对公式三求偏导，并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y，其过程如下：偏导公式四如下：
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下：
2.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法，其特征在于：所述步骤S1的具体步骤如下：步骤S11：通过Canny算子收集目标图像的边缘点集；
步骤S12：对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
步骤S13：对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
3.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法，其特征在于：所述步骤S3中获取关联后的第一识别特征点与第二识别特征点之间的距离的步骤如下：获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
4.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法，其特征在于：还包括步骤S4，所述步骤S4如下：获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，重复步骤3，直到修改次数大于次数阈值或满足距离阈值第一识别特征点的数量不满足数量阈值，不再对模板进行修正。
5.一种基于2d图像识别的模板姿态修正系统，使用权利要求1～4任一项所述一种基于
2d图像识别的模板姿态修正方法，其特征在于，包括：目标图像提取模块、第一识别特征点提取模块、第二特征点提取模块、距离阈值判断模块、数量判断模块和模板修正模块；
目标图像提取模块用于在图像中将所述目标图像提取出来；
所述第一识别特征点提取模块用于提取目标图像中的识别特征；
所述第二识别特征点提取模块用于提取模板中的识别特征；
距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值；
所述数量判断模块用于取满足距离阈值第一识别特征点的数量，并判断满足距离阈值第一识别特征点的数量是否满足数量阈值；
所述模板修正模块用于通过变化矩阵修正所述模板的位姿，使模板向所述目标图像靠拢。
6.根据权利要求5所述的一种基于2d图像识别的模板姿态修正系统，其特征在于：所述目标图像提取模块包括边缘点集获取子模块、边缘点集运输子模块以及亚像素提取模块；
所述边缘点集获取子模块用于通过Canny算子收集目标图像的边缘点集；
所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
7.根据权利要求5所述的一种基于2d图像识别的模板姿态修正系统，其特征在于：距离阈值判断模块包括距离获取子模块；
所述距离获取子模块用于获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
8.根据权利要求5所述的一种基于2d图像识别的模板姿态修正系统，其特征在于：还包括迭代修正次数模块，所述迭代修正次数模块用于获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，若大于次数阈值则不再对模板进行修正。
一种基于2d图像识别的模板姿态修正方法及系统
技术领域
[0001] 本发明涉及图像识别技术领域，特别是一种基于2d图像识别的模板姿态修正方法及系统。
背景技术
[0002] 在图像识别领域中，用户通常会使用训练好的模型以及模板对所需要识别的目标进行识别。在识别确认后，用户会对启动机器人对目标进行相关的操作，例如对目标进行抓
取操作。在进行相关操作前，需要定位目标相关的特殊点。在现有技术中，通常会使用与目
标位姿最接近的模板对目标进行识别，然后再模板上定位特殊点，将模板上的特殊点位置
发生给机械臂进行相关操作。但是由于模板的位姿与目标的位姿不完全一致，导致了特殊
点的定位存在有偏差，导致了机械臂的操作精度降低，无法实现精细化的操作。
发明内容
[0003] 针对上述缺陷，本发明的目的在于提出一种基于2d图像识别的模板姿态修正方法及系统，使模板的位姿无限接近目标图像的位姿，为后续操作提供精准的特殊点，提高机械
臂的操作精度。
[0004] 为达此目的，本发明采用以下技术方案：一种基于2d图像识别的模板姿态修正方法，包括以下步骤：
[0005] 步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进行保存；
[0006] 步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；
[0007] 步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，并判断相关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值，若满足，则获取
满足距离阈值第一识别特征点的数量，并判断数量是否满足数量阈值，若满足，则通过变化
矩阵修正所述模板的位姿，使模板的位姿向所述目标图像的位姿靠拢。
[0008] 优选的，所述步骤S1的具体步骤如下：
[0009] 步骤S11：通过Canny算子收集目标图像的边缘点集；
[0010] 步骤S12：对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
[0011] 步骤S13：对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
[0012] 优选的，所述步骤S3中获取关联后的第一识别特征点与第二识别特征点之间的距离的步骤如下：
[0013] 获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识
别特征点之间的距离。
[0014] 优选的，变化矩阵包括平移矩阵以及旋转矩阵，其中步骤S3中通过变化矩阵修改所述模板的位姿的步骤如下：
[0015] 步骤S31：通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下，目标函数如下公式一所示：
[0016] 其中R为旋转矩阵， 为平移矩阵，qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标，ni为特征向量，i为大于1的自然整数；
[0017] 步骤S32：对偏转的角度r取最小，所述旋转矩阵R获得最小值，最小值的旋转矩阵R如下公式二所示：
[0018]
[0019] 将最小值的旋转矩阵R代入目标函数中获取最小的目标函数，最小的目标函数公式三如下：
[0020] 其中ci＝pi×ni；
[0021] 对公式三求偏导，并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y，其过程如下：
[0022] 偏导公式四如下：
[0023]
[0024]
[0025]
[0026] 转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下：
[0027]
[0028] 优选的，还包括步骤S4，所述步骤S4如下：
[0029] 获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的
位姿进行修正，重复步骤3，直到修改次数大于次数阈值或满足距离阈值第一识别特征点的
数量不满足数量阈值，不再对模板进行修正。
[0030] 一种基于2d图像识别的模板姿态修正系统，上述一种基于2d图像识别的模板姿态修正方法，包括：目标图像提取模块、第一识别特征点提取模块、第二特征点提取模块、距离
阈值判断模块、数量判断模块和模板修正模块；
[0031] 目标图像提取模块用于在图像中将所述目标图像提取出来；
[0032] 所述第一识别特征点提取模块用于提取目标图像中的识别特征；
[0033] 所述第二识别特征点提取模块用于提取模板中的识别特征；
[0034] 距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值；
[0035] 所述数量判断模块用于取满足距离阈值第一识别特征点的数量，并判断满足距离阈值第一识别特征点的数量是否满足数量阈值；
[0036] 所述模板修正模块用于通过变化矩阵修正所述模板的位姿，使模板向所述目标图像靠拢。
[0037] 优选的，所述目标图像提取模块包括边缘点集获取子模块、边缘点集运输子模块以及亚像素提取模块；
[0038] 所述边缘点集获取子模块用于通过Canny算子收集目标图像的边缘点集；
[0039] 所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
[0040] 所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进
行提取。
[0041] 优选的，距离阈值判断模块包括距离获取子模块；
[0042] 所述距离获取子模块用于获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第
一识别特征点与第二识别特征点之间的距离。
[0043] 优选的，还包括迭代修正次数模块，所述迭代修正次数模块用于获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩
阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，若大于次数
阈值则不再对模板进行修正。
[0044] 上述技术方案中的一个技术方案具有如下优点或有益效果：本申请将目标图像提取出来后，在通过第一识别特征点与第二识别特征点之间的关联性，使用变化矩阵获取第
二识别特征点平移至第一识别特征点的距离以及角度，使模板的位姿无限接近目标图像，
为后续操作提供精准的特殊点，提高机械臂的操作精度。
附图说明
[0045] 图1是本发明方法的一个实施例的流程示意图；
[0046] 图2是本发明系统的一个实施例的结构示意图。
具体实施方式
[0047] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0048] 在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方
位构造和操作，因此不能理解为对本发明的限制。
[0049] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两
个或两个以上。
[0050] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的
普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0051] 如图1～2所示，一种基于2d图像识别的模板姿态修正方法，包括以下步骤：
[0052] 步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进行保存；
[0053] 步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；
[0054] 步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，并判断相关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值，若满足，则获取
满足距离阈值第一识别特征点的数量，并判断数量是否满足数量阈值，若满足，则通过变化
矩阵修正所述模板的位姿，使模板的位姿向所述目标图像的位姿靠拢。
[0055] 通过将所述目标图像进行提取，在提取后可以明确目标图像的边缘。在后续模板位姿的修正过程中，能够更加精准判断模板的位姿是否与目标图像的位姿贴近。随后获取
所述目标图像的第一识别特征点以及模板上第二识别特征点。所述第一识别特征点与第二
识别特征点可以取在模板与目标图像匹配时的匹配点，也可以取模板和目标图像的边缘
点。当使用匹配点作为第一识别特征点与第二识别特征点时，由于匹配时两者的匹配点是
相关联一一配对的，无需再进行关联操作，方便使用。当使用边缘点作为第一识别特征点与
第二识别特征点时，使用边缘点进行修正能够更加清楚模板修正的程度，但是需要对第一
识别特征点与第二识别特征点进行关联。在本申请的一个实施例中，所述第一识别特征点
与第二识别特征点为7：3比例的匹配点与边缘点的混合点集。此比例能够减少挑出边缘点
以及关联边缘点的时间，同时大量的匹配点能够保证模板位姿修正的精准度。
[0056] 随后获取关联后一一对应的第一识别特征点与第二识别特征点的距离，并判断该距离是否大于距离阈值。只有当大于距离阈值时，才能说明，目标图像的位姿与模板的位姿
相差大，需要对模板的位姿进行修正。获取完所有满足距离阈值的第一识别特征点与第二
识别特征点后，统计第一识别特征点与第二识别特征点的数量，当该数量是否满足数量阈
值后才对模板进行修正。因为第一识别特征点与第二识别特征点虽然是相互关联在位姿上
是对应的，但是有可能所述第一识别特征点是旋转边缘点，而相关联边缘点在位姿上是相
接近的，模板位姿接近目标图像后，第一识别特征点与第二识别特征点还是满足距离阈值
的要求。如果单纯只采用距离阈值来判断是否需要进行模板位姿修改的话，会模板的位姿
会一直进行修正，浪费系统的运行资源。
[0057] 当确认模板的位姿需要进行修正后，使用变化矩阵计算模板位姿到目标图像位姿的平移距离以及旋转角度，使用该平移距离以及旋转角度对目标进行修正，使模板的位姿
向所述目标图像的位姿靠拢。
[0058] 优选的，所述步骤S1的具体步骤如下：
[0059] 步骤S11：通过Canny算子收集目标图像的边缘点集；
[0060] 步骤S12：对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
[0061] 步骤S13：对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
[0062] 通过Canny算子实现检测图像边缘点集，随后拟合二元二次多项式，利用facet模型求解系数，得到Hessian矩阵，由此求解到特征值和特征向量，特征向量即为第二识别特
征点的方向矢量，再有泰勒展开式求导，结合点方向矢量，求得相应亚像素点，如此循环求
得相应亚像素点集和方向矢量点集，保存在kdtree数据结构体相应位置。通过构建KDTree
算法，将kdtree数据结构中的亚像素点集和方向矢量点集存储顺序与KDTree树的叶子节点
建立关联，即改变原先的亚像素和点方向矢量的在数据结构中的存储顺序。另外本申请中
提取边缘的亚像素点，对目标图像进行提取。亚像素的边缘点更加能提高边缘的清晰度，提
取的目标图像会更加精准，而目标图像上的边缘点或者特征点也会更加精准。
[0063] 优选的，所述步骤S3中获取关联后的第一识别特征点与第二识别特征点之间的距离的步骤如下：
[0064] 获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识
别特征点之间的距离。
[0065] 优选的，变化矩阵包括平移矩阵以及旋转矩阵，其中步骤S3中通过变化矩阵修改所述模板的位姿的步骤如下：
[0066] 步骤S31：通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下，目标函数如下公式一所示：
[0067] 其中R为旋转矩阵， 为平移矩阵，qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标，ni为特征向量，i为大于1的自然整数；
[0068] 步骤S32：对偏转的角度r取最小，所述旋转矩阵R获得最小值，最小值的旋转矩阵R如下公式二所示：
[0069]
[0070] 将最小值的旋转矩阵R代入目标函数中获取最小的目标函数，最小的目标函数公式三如下：
[0071] 其中ci＝pi×ni；
[0072] 对公式三求偏导，并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y，其过程如下：
[0073] 偏导公式四如下：
[0074]
[0075]
[0076]
[0077] 转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下：
[0078]
[0079] 优选的，还包括步骤S4，所述步骤S4如下：
[0080] 获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的
位姿进行修正，重复步骤3，直到修改次数大于次数阈值或满足距离阈值第一识别特征点的
数量不满足数量阈值，不再对模板进行修正。
[0081] 在本申请还设置所述次数阈值用于终结模板修正才次数，由于在算法上，模板的位姿只能无限接近目标图像的位姿，在有限次修正后，模板的位姿已经非常接近目标图像
的位姿。在模板上提取的点也能非常接近目标图像对应点。再对模板的位姿进行修正就是
浪费内存资源。由于本申请运用于2d图像中，模板与目标图像之间存在线型关系，所以本申
请的理论算法为AX＝B，X为线型关系，即变化举证。在进行一次位姿修正后，所述X＝*X，使
用当前的X乘以上一次的X，对变化举证进行更新，以提高变化矩阵对于该模板位姿修正的
精准度。
[0082] 一种基于2d图像识别的模板姿态修正系统，上述一种基于2d图像识别的模板姿态修正方法，包括：目标图像提取模块、第一识别特征点提取模块、第二特征点提取模块、距离
阈值判断模块、数量判断模块和模板修正模块；
[0083] 目标图像提取模块用于在图像中将所述目标图像提取出来；
[0084] 所述第一识别特征点提取模块用于提取目标图像中的识别特征；
[0085] 所述第二识别特征点提取模块用于提取模板中的识别特征；
[0086] 距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值；
[0087] 所述数量判断模块用于取满足距离阈值第一识别特征点的数量，并判断满足距离阈值第一识别特征点的数量是否满足数量阈值；
[0088] 所述模板修正模块用于通过变化矩阵修正所述模板的位姿，使模板向所述目标图像靠拢。
[0089] 优选的，所述目标图像提取模块包括边缘点集获取子模块、边缘点集运输子模块以及亚像素提取模块；
[0090] 所述边缘点集获取子模块用于通过Canny算子收集目标图像的边缘点集；
[0091] 所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
[0092] 所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进
行提取。
[0093] 优选的，距离阈值判断模块包括距离获取子模块；
[0094] 所述距离获取子模块用于获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第
一识别特征点与第二识别特征点之间的距离。
[0095] 优选的，还包括迭代修正次数模块，所述迭代修正次数模块用于获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩
阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，若大于次数
阈值则不再对模板进行修正。
[0096] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结
构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的
示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特
点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0097] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本
发明的范围由权利要求及其等同物限定。
