随着科学技术的不断发展，基于图像处理技术的果蔬采摘机器人已经问 世，果蔬采摘机器人的出现解决了果农在采摘时节，由于种植面积大而不能 及时采摘的困扰，具有采摘成功率和采摘效率高的优点，节省了人力。
为了使果蔬采摘机器人更好地为果农服务，需要对果蔬采摘机器人在技 术上不断地改进。其中，果蔬采摘机器人的视觉系统是果蔬采摘机器人的关 键组成部分，视觉系统的主要作用是识别目标果实并对其进行三维定位。在 现有技术中，视觉系统通常采用双彩色相机及附属设备，从不同角度同时获 得目标果实的两幅数字图像，然后通过将两幅数字图像进行立体匹配恢复出 目标果实的三维几何信息，重建目标果实三维轮廓及位置；或者采用一个彩 色相机和另外的一种测距设备，在不同时刻从不同角度获得目标果实的两幅 数字图像，然后通过将两幅数字图像进行立体匹配恢复出目标果实的三维几 何信息，重建目标果实三维轮廓及位置。上述的立体匹配主要实现空间同 一物体点的两幅或多幅图像在空间位置上的对准，即在一幅图像中给定一点， 在另一幅图像中寻找对应点的过程，使得这两点为空间同一物体点的投影， 立体匹配是恢复目标果实的三维几何信息的关键技术。
进一步地，现有技术中的立体匹配主要基于特征进行立体匹配，基于 特征的立体匹配有两个主要环节：特征提取和特征匹配。可以提取的特征包 括：点、线与区域等。具体到果蔬采摘机器人被采摘的目标果实的定位，由 于目标果实的位置具有随机性，又易受自然光线变化、风力变化等不稳定因 素的影响，而且目标果实往往是掩藏在树叶、树枝中间，目标果实之间存在 相互遮挡、重叠现象，在上述复杂的环境中快速准确的提取目标果实的特征， 是进行后续特征匹配的基础。
目前，国内外有些关于果蔬图像特征提取方面的研究报道，例如：国 内本领域技术人员研究了自然环境下多种果蔬图像的果实和背景的颜色 特征，提出了用2R-G-B分量进行图像的分割，并对随机Hough变换算法进 行了改进，对目标果实的圆心和半径等特征进行提取；再如，国外本领域 的技术人员根据图像中目标果实比背景成分红色分量高的原理，进一步增 强数字图像中的红色分量，得到双峰直方图，根据最佳阈值分割算法，分割 目标果实和背景，以进行对目标果实的圆心和半径等特征进行提取；另外 还有些研究人员采用目标果实的颜色特征及纹理特征对目标果实进行图 像分割，最后采用求取目标果实边缘平均曲率的方法提取目标果实的圆心 和半径等特征。上述方法均难以解决目标果实图像粘连问题，并且存在速 度慢或准确度低等缺陷。

本发明实施例的第一目的是提供一种图像特征提取方法，利用该方法能 够较好地解决作为目标图像的果实图像相互粘连的问题。
本发明实施例的第二目的是提供一种图像特征提取装置，利用该装置同 样能够较好地解决作为目标图像的果实图像相互粘连的问题。
为实现上述第一目的，本发明的一些实施例提供了一种图像特征提取方 法，包括：
根据采集到的图像生成加权图像，所述加权图像的像素由在RGB色彩空 间对应像素的和差比和Lab色彩空间对应像素的灰度值加权获得；
根据所述加权图像生成二值图像，所述二值图像包括目标图像和背景图像， 所述目标图像由单个目标或多个目标的图像互相遮挡构成；
填充所述二值图像中目标图像的孔洞并消除所述二值图像的噪声；
获取所述填充完孔洞的目标图像的边缘图像，并获取所述边缘图像的外 接矩形图像；
对于任一所述外接矩形图像，根据该外接矩形图像内的边缘图像计算得 到相应的圆心和半径。
为实现上述第二目的，本发明的另一些实施例还提供了一种图像特征提 取装置，包括：第一生成模块、第二生成模块、处理模块、第一获取模块和 第二获取模块；
所述第一生成模块包括第一获取单元、转换单元、第二获取单元和生成 单元，所述第一获取单元，用于在RGB色彩空间中获取所述采集到的图像中 每个像素的和差比；所述转换单元，用于将所述采集到的图像从所述RGB色 彩空间转换到Lab色彩空间；所述第二获取单元，与所述转换单元相连，用 于从所述Lab色彩空间a通道中获取对应所述采集到的图像中每个像素的灰 度值；所述生成单元，与所述所述第一获取单元和所述第二获取单元分别相 连，用于根据所述和差比和灰度值，获取对应所述采集到的图像中每个像素 的加权值，生成加权图像；
所述第二生成模块，与所述生成单元相连，用于根据所述加权图像生成 二值图像，所述二值图像包括目标图像和背景图像；
所述处理模块，与第二生成模块相连，用于填充所述二值图像中目标图 像的孔洞并消除所述二值图像的噪声；
所述第一获取模块，与所述处理模块相连，用于获取所述填充完孔洞的 目标图像的边缘图像，并获取所述边缘图像的外接矩形图像；
所述第二获取模块，与所述第一获取模块相连，用于对于任一所述外接 矩形图像，根据该外接矩形图像内的边缘图像计算得到相应的圆心和半径。。
由上述技术方案可知，本发明的一些实施例提供了一种图像特征提取方 法，通过对采集到的图像进行处理，生成加权图像、二值图像，在二值图像中 填充目标图像的孔洞并消除随机噪声，最终通过目标图像的边缘图像和外接矩 形图像，获取一组圆心和半径的图像特征，解决了目标较多而重叠、遮挡时， 对目标粘连图像的识别问题，具有准确、快速的特点；本发明的另一些实 施例提供了一种图像特征提取装置，在第一生成模块中用于在RGB色彩空间 中获取所述采集到的图像中每个像素的和差比，同时由转换单元将采集到的 图像从RGB色彩空间转换到Lab色彩空间，并由第二获取单元获取每个像素 的灰度值，最终由生成单元根据和差比和灰度值获取每个像素的加权值以生 成加权图像，第二生成模块对加权图像的加杈值像素分割以生成二值图像， 处理模块在二值图像中填充目标图像的孔洞、消除二值图像的随机噪声，并由 第一获取模块获取目标图像的边缘图像和外接矩形图像，最终由第二获取模 块对于任一所述外接矩形图像，根据该外接矩形图像内的边缘图像计算得到 相应的圆心和半径，可以很好的解决粘连果实图像的分割问题，该图像特 征提取的方法具有快速、准确的特点。

图1为本发明实施例图像特征提取方法的流程图；
图2为本发明实施例对二值图像进行填孔洞和消除噪声后的示意图；
图3为本发明实施例图2中目标图像的边缘图像和外接矩形的示意图；
图4为本发明实施例以一组圆心和半径构成圆形图像的示意图；
图5为本发明实施例选中外接矩形图像内剩余边缘图像的示意图；
图6为本发明实施例图像特征提取装置的结构示意图。

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描 述。
本发明所有实施例所提供的图像特征提取方法，主要是针对在自然条件 下，对类圆形目标果实进行图像特征提取的方法，以下各实施例中类圆形目 标果实可以选择以苹果为例。
图1为本发明实施例图像特征提取方法的流程图。如图1所示，本实施 例的图像特征提取方法，具体为：
步骤11、根据采集到的图像生成加权图像，所述加权图像的像素由在RGB 色彩空间对应像素的和差比和Lab色彩空间对应像素的灰度值加权获得；
该步骤可以具体为：首先，对所要采摘苹果的图像进行采集，一般采 集到的图像均处于RGB色彩空间，所述采集到的图像中的每一个像素都对 应一组RGB(红、绿、蓝)值，将所述采集到的图像在RGB色彩空间中，根 据所述采集到图像中每个像素的RGB值获取和差比(G+B)/(G-B)；接着， 将所述采集到的图像从所述RGB色彩空间转换到Lab色彩空间，获取CI E色 度值(X，Y，Z)，所述CI E色度值(X，Y，Z)与RGB值的对应关系为：
X＝2.7689R+1.7517G+1.13025B，
Y＝1.000R+4.5907G+0.0601B，
Z＝0.55907G+5.5943B，
在所述Lab色彩空间中，所述采集到的图像中的每一个像素都对应L、a、 b三条通道，即每一个像素都对应一组(L、a、b)值，在本实施例中从所 述Lab色彩空间中的a通道，获取对应所述采集到的图像中每个像素的灰度 值IMAGa，IMAGa为所述CI E色度值X和Y的函数：
IMAGa＝500[f(X/X0)-f(Y/Y0)]，
其中，函数f为：f(x)＝x1/3，X0，Y0为标准光源的值；
最后，根据所述和差比(G+B)/(G-B)和灰度值IMAGa，采用公式 IMAGJ＝0.5*IMAGa+0.5*(G+B)/(G-B)，获取加权值IMAGJ，所述加权值即 为所要生成加权图像中每个像素对应所述采集到的图像中每个像素的值，以 生成加权图像。
这里需要说明地是，所述CIE色度值(X，Y，Z)可以在所述RGB色彩空 间转换到Lab色彩空间之前或之后获取，并不影响获取灰度值IMAGa。
步骤12、根据所述加权图像生成二值图像，所述二值图像包括目标图像和 背景图像，所述目标图像由单个目标或多个目标的图像互相遮挡构成；
该步骤可以具体为：对所述加权图像中所有像素的加权值IMAGJ采用 Ostu法自动阈值分割，生成二值图像，所述二值图像包括目标图像和背景图像， 所述采集到的图像中一般会有多个苹果果实图像，目标图像为所述果实图 像在所述二值图像中的表现形式；所述目标图像可能由单个目标苹果而构成 的目标图像，或者由多个目标苹果互相遮挡而构成的目标图像；在本实施例 中目标图像由白色像素点构成，以下简称白色点，背景图像由黑色像素点构成， 以下简称黑色点。
步骤13、填充所述二值图像中目标图像的孔洞并消除所述二值图像的噪 声；
由于苹果表面光照反射及遮挡等原因，分割所述加权图像中所有像素 的加权值IMAGJ所生成的二值图像中，有些目标图像的内部存在孔洞现象， 孔洞的区域由黑色点构成，同时，枝干、地面等部分在所述二值图像中有 可能形成一些区域较小的白色区域，成为目标图像的噪声，即噪声由白色 点构成；
该步骤可以具体为：采用4*4的结构元素对所述二值图像连续进行两 次开运算和闭运算，可填充上述目标图像内部的孔洞并消除二值图像中的 部分噪声，所述4*4的结构元素是指边长为4个像素的方形阵列，其中的 像素值都为1，所述开运算可以去除比4*4的结构元素更小的明亮细节， 闭运算可以去除比4*4的结构元素更小的暗色细节，开闭运算组合使用可 以平滑图像，消除部分点状的噪声；然后计算各个目标图像面积，设定面 积阈值，将面积小于所述面积阈值的目标图像(白色区域)转换为背景图 像(由黑色点构成)，即可消除其余部分的噪声，所述面积阈值可根据需 要在50像素左右选取，本实施例中省略了二值图像中存在噪声和其目标 图像存在孔洞的示意图，图2为本发明实施例对二值图像进行填孔洞和消除 噪声后的示意图，如图2所示，图中的每一个白色区域即为填充完孔洞的目 标图像。
步骤14、获取所述填充完孔洞的目标图像的边缘图像，并获取所述边缘 图像的外接矩形图像；
该步骤可以具体为：首先，在上述步骤13处理后的二值图像中，搜 索白色点，判断搜索到的白色点的其他8个邻域像素点是否有黑色点，若 有，所述白色点则为边缘点，不处理，否则为非边缘点，将其转换为黑色 点，最终获取到以白色点为边缘点的边缘图像。所述边缘图像为图2中每 个白色区域的边缘图像，由于所述白色区域对应所述填充完孔洞的目标图 像，因此所述边缘图像为所述填充完孔洞的目标图像的边缘图像，最后根据 所述每个白色区域的边缘图像，获取所述边缘图像的外接矩形图像。图3 为本发明实施例图2中目标图像的边缘图像和外接矩形的示意图。如图3所 示，图3中每一个外接矩形图像内的边缘图像都对应图2中相同位置的目 标图像。
步骤15、对于任一所述外接矩形图像，根据该外接矩形图像内的边缘图 像计算得到相应的圆心和半径。
该步骤可以具体为：首先对于图3中的任一外接矩形图像，所述外接 矩形图像可由左上角的坐标(X1，Y1)和右上角的坐标(X2，Y2)限定其 内部边缘图像的范围，具体地，左上角的X1坐标为所述边缘图像的边缘 点中X坐标值最小值，Y1坐标为所述边缘图像的边缘点中Y坐标最大值， 右下角的X2坐标值为所述边缘图像的边缘点中X坐标值最大值，Y2坐标 值为所述边缘图像的边缘点中Y坐标最小值，本实施例中的所有坐标都是 以像素为单位衡量的；再根据所述外接矩形图像和其内部的边缘图像，采用 遗传算法获取所述外接矩形图像和其内部的边缘图像相应的目标图像圆心和 半径；
本实施例所采用的遗传算法是从代表问题潜在解集的一个初始种群 开始的。所述初始种群由经过基因编码的一定数目的染色体组成。所述染 色体作为多个基因的集合，其内部表现(即基因型)是某种基因组合，它 决定了染色体的外部表现(即表现型)。首先，需要实现从表现型到基因 型的映射即基因编码，由于仿照基因编码的工作很复杂，在实际应用中往 往进行简化，一般采用二进制编码；接着，初代种群产生之后，按照适者 生存和优胜劣汰的原理，逐代演化产生出越来越好的近似解，根据染色体 的适应度大小选择染色体，并借助于自然遗传学的对基因型进行组合交叉 和变异，产生下一代种群。这个过程将导致种群像自然进化一样，末代种 群中的最优染色体的基因型经过解码的表现型，可以作为问题近似的最优 解。所述遗传算法的搜索从群体出发，在同一时间可以进行多个染色体的 并行比较，新一代种群比上一代更加适应于环境，提高了求解的速度和精 度；
在本实施例中，利用的遗传算法为：
步骤1501、生成初始种群；
该步骤可以具体为：如果苹果果实边缘被遮挡过多，有可能苹果果实 的圆心出现在该苹果果实的目标图像所对应外接矩形图像的外面，因此， 可根据图2的二值图像中各个目标图像的尺寸设定一恒量Lr，Lr可设定 为苹果半径的近似值，单位为像素，例如，所采集到的图像中苹果图像的 半径在80像素制100像素之间，则可设Lr为100，为提高遗传算法的搜 索效率，利用恒量Lr对所述外接矩形图像左上角的坐标(X1，Y1)和右 下角的坐标(X2，Y2)限定范围内的坐标(x，y)做如下处理：x∈ [X1-Lr，X2+Lr]，y∈[Y1+Lr，Y2-Lr]；接着在坐标值x和y所限定的范围内， 采用随机数产生的方法，随机产生50个坐标(x，y)，其中每个坐标(x， y)都代表一个染色体，这50个染色体构成了初始种群。
步骤1502、对染色体编码，并生成所述染色体的基因型；
该步骤可以具体为：对上述染色体Ik(k＝1，2，…，50)进行编 码，由于染色体Ik的基因型GK为二进制数，又考虑到所采集到的图像中 苹果图像的大小，因此将代表染色体的坐标(x，y)中的x和y值分别采 用10位的二进制数表示，以组成20位的二进制数xy，例如坐标(8，14)， 8和14的10位二进制数所组成的20位二进制数为00000，01000，00000， 01110，这里的20位二进制数xy即为染色体I k的基因型GK。
步骤1503、获取初始种群中所有染色体的适应度；
该步骤可以具体为：根据代表染色体的坐标(x，y)获取该坐标到其边 缘图像上每个边缘点的距离，并统计这些距离中接近所采集到的图像中苹果 图像半径距离的个数n，例如，所采集到的图像中苹果图像半径在80像素制 100像素之间，可统计距离在70像素至110像素间的距离的个数，进一步地， 可设定接近该半径的距离为可信距离，因此可信距离的个数为n，然后再获 取在70像素至110像素距离范围内这些可信距离的方差var，并通过本实施 例所提供的公式ffitness＝n/var，获取初始种群中每个染色体的适应度；
步骤1504、对每个染色体进行交叉和变异，最终获取最优的染色体。
该步骤可以具体为：根据初始种群中每个染色体的适应度，对每个染 色体的基因型进行交叉和变异，生成第一下一代种群，在本实施例中设定所 述的交叉率为30％，变异率为0.1％，进一步地，第一下一代种群继续执行步 骤1503和步骤1504，本实施例中设定进化到第一百下一代种群，最终获取 最优的染色体，其中最优染色体的表现型即为所选中外接矩形图像所对应目 标图像的圆心，进一步地，根据步骤1503，获取该圆心到其边缘图像上每 个边缘点的可信距离，并统计该可信距离中相等数值最多的前3个可信距 离，获取该3个可信距离的均值，即为目标图像的半径。
本实施中所提供的图像特征提取方法，通过对采集到的图像归一化和转 换色彩空间，生成加杈图像，并对加权图像的加杈值像素分割以生成二值图 像，在二值图像中填充目标图像的孔洞、消除二值图像的随机噪声并获取目标 图像的边缘图像和外接矩形图像，最终根据所述边缘图像和选中外接矩形图 像获取一组圆心和半径的图像特征，不但可以较好地解决果实图像之间的遮 挡问题，在果实图像被遮挡超过2/3时，依然可以准确的提取圆心和半径 的特征，而且可以很好的解决粘连果实图像的分割问题，该图像特征提取 的方法具有快速、准确的特点。
本发明实施例的图像特征提取方法，还包括：
步骤16、将所述圆心和半径的边缘图像转换为所述背景图像；
在图3中所述对于任一外接矩形图像中，以所述相应的圆心和半径构 成圆形图像，图4为本发明实施例以一组圆心和半径构成圆形图像的示意图， 如图4所示，图4即为所选中的外接矩形图像，其内部为边缘图像；接着采 用“消去法”，将所述选中外接矩形图像内部的边缘图像转换为所述背景图 像。
进一步，还包括：
步骤17、当所述外接矩形图像内部还包含剩余的边缘图像时，则根据所 述剩余的边缘图像和所述外接矩形图像计算获得所述剩余的边缘图像对应的 圆心和半径；
该步骤可以具体为：图5为本发明实施例选中外接矩形图像内剩余边缘 图像的示意图；进一步地，在图5的基础上，当所述选中外接矩形图像内部 还具有剩余的边缘图像时，确定在所述选中外接矩形图像内部的边缘点的个 数，其中先设定一阈值50，超过阈值50说明选中外接矩形图像内部还具有 剩余的边缘图像，该剩余的边缘图像为其他苹果图像的边缘图像，进一步说 明对应所述选中外接矩形图像的目标图像为果实粘连图像；接着则根据所述 剩余的边缘图像和所述选中外接矩形图像，返回步骤1503，并采用上述遗传 算法，计算获得所述剩余的边缘图像对应的圆心和半径，直到所选中的外接 矩形图像内部不再有剩余的边缘图像，即不再有其他苹果图像为止。
接下来，选取所采集到的图像中图3二值图像的另一外接矩形图像，并 对其执行步骤15和步骤16，直到获取图3二值图像中所有的外接矩形图像 内边缘图像的圆心和半径，以完成对所采集到的图像的圆心和半径特征的提 取。
图6为本发明实施例图像特征提取装置的结构示意图。如图6所示，本 发明实施例图像特征提取装置包括第一生成模块61、第二生成模块62、处理 模块64、第一获取模块63、第二获取模块65，
其中，第一生成模块61包括第一获取单元6101、转换单元6102、第二 获取单元6103和生成单元6104；第一获取单元6101，在所述采集到的图像 在RGB色彩空间中，获取所述采集到的图像中每一个像素的和差比(G+B)/ (G-B)；转换单元6102将所述采集到的图像从所述RGB色彩空间转换到Lab 色彩空间，具体为将所述采集到的图像从所述RGB色彩空间转换到Lab色彩 空间，在所述Lab色彩空间中，所述采集到的图像中的每一个像素都对应L、 a、b三条通道，即每一个像素都对应一组(L、a、b)值；第二获取单元 6103，与转换单元6102相连，并从所述Lab色彩空间a通道中获取对应所述 采集到的图像中每个像素的灰度值IMAGa；生成单元6104，与第一获取单元 6101和第二获取单元6103分别相连，并根据所述和差比和灰度值，获取对 应所述采集到的图像中每个像素的加权值生成加权图像，具体为根据所述和 差比(G+B)/(G-B)和灰度值IMAGa，采用公式IMAGJ＝0.5*IMAGa+0.5*(G+B) /(G-B)，获取加权值IMAGJ，所述加权值即为所要生成加权图像中每个像 素对应所述采集到的图像中每个像素的值，最终生成加权图像。
第二生成模块62，与第一生成单元6104相连，并根据所述加权图像生成 二值图像，具体为对所述加权图像中所有像素的加权值IMAGJ采用Ostu法自 动阈值分割以生成二值图像，所述二值图像包括目标图像和背景图像，其中目 标图像具体为由单个目标或多个目标互相遮挡而构成的目标图像；处理模块 64，与第二生成模块62相连，并填充所述二值图像中目标图像的孔洞并消除 所述二值图像的噪声，具体为采用4*4的结构元素对所述二值图像连续进 行两次开运算和闭运算，可填充上述目标图像内部的孔洞并消除二值图像 中的部分噪声，进一步计算各个目标图像面积，设定面积阈值，将面积小 于所述面积阈值的区域转换为背景图像，即可消除其余部分的噪声；第一 获取模块63，与处理模块64相连，并获取所述填充完孔洞的目标图像的边 缘图像，并获取所述边缘图像的外接矩形图像，具体为首先搜索白色点，然 后判断搜索到的白色点的其他8个邻域像素点是否有黑色点，若有，所述 白色点则为边缘点，不处理，否则为非边缘点，将其转换为黑色点，接着 获取到以白色点为边缘点的边缘图像，最终根据以白色点为边缘点的边缘 图像，获取所述填充完孔洞的目标图像边缘图像的外接矩形图像；第二获取 模块65，与第一获取模块63相连，对于任一所述外接矩形图像，根据该外 接矩形图像内的边缘图像计算得到相应的圆心和半径。
本实施中所提供的图像特征提取装置，在第一生成模块中通过归一化单 元对所述采集到的图像中每个像素归一化，由第一获取单元获取归一化后的 和差比，同时由转换单元将采集到的图像从RGB色彩空间转换到Lab色彩空 间，并由第二获取单元获取每个像素的灰度值，最终由生成单元根据和差比 和灰度值获取每个像素的加权值以生成加权图像，第二生成模块对加权图像 的加权值像素分割以生成二值图像，处理模块在二值图像中填充目标图像的孔 洞、消除二值图像的随机噪声，并由第一获取模块获取目标图像的边缘图像和 外接矩形图像，最终由第二获取模块根据所述边缘图像和选中外接矩形图像 获取一组圆心和半径的图像特征，可以较好地解决果实图像之间的遮挡问 题，在果实图像被遮挡超过2/3时，依然可以准确的提取圆心和半径的特 征，具有快速、准确的特点。
本发明实施例图像特征提取装置还包括转换模块和第三获取模块，其中 转换模块与所述第二获取模块相连，用于将所述圆心和半径的边缘图像转换 为所述背景图像(即黑色点)，第三获取模块所述第一获取模块相连，当所 述外接矩形图像内部还包含剩余的边缘图像时，则根据所述剩余的边缘图像 和所述外接矩形图像计算获得所述剩余的边缘图像对应的圆心和半径，直到 所述外接矩形图像中不再有剩余的边缘图像为止。
最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案而非 对其进行限制，尽管参照较佳实施例对本发明实施例进行了详细的说明，本 领域的普通技术人员应当理解：其依然可以对本发明实施例的技术方案进行 修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱 离本发明实施例技术方案的精神和范围。