视觉识别系统及视觉识别方法

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

视觉识别系统及视觉识别方法
申请号	CN201110270299.9	申请日	2011-09-13	公开(公告)号	CN102324042B	公开(公告)日	2013-11-27
申请人	盛乐信息技术(上海)有限公司;			发明人	马永壮; 胡金辉;
摘要	本发明提供一种视觉识别系统及视觉识别方法，采用局部特征提取和模板特征训练，通过提取出的待识别图像中局部特征点匹配模板特征训练中的局部特征点来确定候选类，在通过全局空间结构信息进行候选类的验证，以确定所述待识别图像中的要是别的目标物体，本发明基于局部特征和全局空间结构信息来识别一待识别图像中一个物体，召回率比较高，误识别率比较低，识别速度较快，实现了比较好的物体识别效果。
权利要求	1.一种视觉识别系统，其特征在于，包括：模板训练模块，用于准备所有类的模板并提取所有模板的局部特征，其中，所述模板训练模块的模板训练方法包括：准备所有类的模板；提取所有模板的局部特征；对所有局部特征建立局部特征索引，所述模板训练模块还用于为每个模板建立了K-D树索引结构；局部特征提取模块，用于提取一待识别图像的局部特征，所述局部特征包括空间结构信息；类识别模块，用于将所述待识别图像的局部特征与所有模板的局部特征进行匹配，找到所述模板训练模块中局部特征匹配最多的类作为候选类，其中，所述类识别模块使用所述K-D树索引结构找到所述模板训练模块中局部特征匹配最多的类作为候选类；类验证模块，用于根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 2.如权利要求1所述的视觉识别系统，其特征在于，所述局部特征提取模块用于生成所述待识别图像的特征尺度空间；在所述特征尺度空间中寻找极值点，所述极值点为局部特征点；提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子。 3.如权利要求1或2所述的视觉识别系统，其特征在于，所述局部特征提取模块提取的局部特征的空间结构信息包括位置、尺度和旋转不变量。 4.如权利要求3所述的视觉识别系统，其特征在于，所述类验证模块根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，包括：使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵；对所述特征空间匹配矩阵进行异或计算，去掉错误位置的匹配的局部特征；使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息，去掉有错误信息的匹配的局部特征；计算剩余匹配的局部特征的数目，当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 5.一种视觉识别方法，其特征在于，包括：准备所有类的模板并提取所有模板的局部特征，其中，在准备所有类的模板并提取所有模板的局部特征之后，还包括：对所有局部特征建立局部特征索引，为每个模板建立了K-D树索引结构；提取一待识别图像的局部特征，所述局部特征包括空间结构信息；将所述待识别图像的局部特征与所有模板的局部特征进行匹配，找到局部特征匹配最多的类作为候选类，其中，使用所述K-D树索引结构找到所有模板的局部特征中局部特征匹配最多的类作为候选类；根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 6.如权利要求5所述的视觉识别方法，其特征在于，提取一待识别图像的局部特征的步骤包括：生成所述待识别图像的特征尺度空间；在所述特征尺度空间中寻找极值点，所述极值点为局部特征点；提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子。 7.如权利要求5或6所述的视觉识别方法，其特征在于，所述空间结构信息包括位置、尺度和旋转不变量。 8.如权利要求7所述的视觉识别方法，其特征在于，根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，包括：使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵；对特征空间匹配矩阵进行异或计算，去掉错误位置的匹配的局部特征；使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息，去掉有错误信息的匹配的局部特征；计算剩余匹配的局部特征的数目，当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
说明书全文	视觉识别系统及视觉识别方法技术领域 [0001] 本发明涉及图像处理领域，尤其涉及一种视觉识别系统及视觉识别方法。背景技术 [0002] 任何物体都是有一定的特征来进行表述的，人类认知原理基本是从物体的局部信息和全局信息进行整合认知的。局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方。局部特征通常是描述一块区域，使其能具有高可区分度。局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果。全局空间主要是从图像的局部特征的相互之间的方位和满足一定的仿射变换原理的来进行进一步的验证，在模板匹配过程中，如果把不满足的全局结构信息和仿射变换的局部特征去除，如果没有达到一个匹配点个数，就认为不是所述类物体。 [0003] 目前，在网络游戏当中，为了提高玩家的体验，也为了商家的广告利益，常常需要进行真实和虚拟世界的互动游戏，在此类游戏中，经常会遇到通过拍照作为桥梁把真实的物体转换成虚拟的玩家道具，来进行互动体验。因此，对于真实物体的图像里面的内容进行识别变得尤其关键，只有识别好了里面的目标图像才能产生对应的虚拟道具。发明内容 [0004] 本发明的目的在于提供一种视觉识别系统及视觉识别方法，基于局部特征和全局空间结构信息来识别一待识别图像中一个物体，来实现达到比较好的物体识别效果。 [0005] 为解决上述问题，本发明提供一种视觉识别系统，包括： [0006] 模板训练模块，用于准备所有类的模板并提取所有模板的局部特征； [0007] 局部特征提取模块，用于提取一待识别图像的局部特征，所述局部特征包括空间结构信息； [0008] 类识别模块，用于将所述待识别图像的局部特征与所有模板的局部特征进行匹配，找到所述模板训练模块中局部特征匹配最多的类作为候选类； [0009] 类验证模块，用于根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 [0010] 进一步的，所述模板训练模块的模板训练方法包括： [0011] 准备所有类的模板； [0012] 提取所有模板的局部特征； [0013] 对所有局部特征建立局部特征索引。 [0014] 进一步的，所述模板训练模块还为每个模板建立了K-D树索引结构，所述类识别模块使用所述K-D树索引结构找到所述模板训练模块中局部特征匹配最多的类作为候选类。 [0015] 进一步的，所述局部特征提取模块提取一待识别图像的局部特征的步骤包括： [0016] 生成所述待识别图像的特征尺度空间； [0017] 在所述特征尺度空间中寻找极值点，所述极值点为局部特征点； [0018] 提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子。 [0019] 进一步的，所述局部特征提取模块提取的局部特征的空间结构信息包括位置、尺度和旋转不变量。 [0020] 进一步的，所述类验证模块根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，包括： [0021] 使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵； [0022] 对特征空间匹配矩阵进行异或计算，去掉错误位置的匹配的局部特征； [0023] 使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息，去掉有错误信息的匹配的局部特征； [0024] 计算剩余匹配的局部特征的数目，当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 [0025] 相应的，本发明还提供一种视觉识别方法，包括： [0026] 准备所有类的模板并提取所有模板的局部特征； [0027] 提取一待识别图像的局部特征，所述局部特征包括空间结构信息； [0028] 将所述待识别图像的局部特征与所有模板的局部特征进行匹配，找到局部特征匹配最多的类作为候选类； [0029] 根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 [0030] 与现有技术相比，本发明提供的视觉识别系统及视觉识别方法，采用局部特征提取和模板特征训练，通过提取出的待识别图像中局部特征点匹配模板特征训练中的局部特征点来确定候选类，再通过全局空间结构信息进行候选类的验证，以确定所述待识别图像中的要识别的目标物体，本发明基于局部特征和全局空间结构信息来识别一待识别图像中一个物体，召回率比较高，误识别率比较低，识别速度较快，实现了较好的物体识别效果。附图说明 [0031] 图1是本发明实施例一的视觉识别系统的架构示意图； [0032] 图2是本发明实施例一的模式训练方法流程图； [0033] 图3是本发明实施例一的提取局部特征的方法流程图； [0034] 图4是本发明实施例一的验证匹配的局部特征的方法流程图 [0035] 图5是本发明实施例二的视觉识别方法流程图。具体实施方式 [0036] 以下结合附图和具体实施例对本发明提出的视觉识别系统及视觉识别方法作进一步详细说明。 [0037] 实施例一 [0038] 如图1所示，本实施例提供一种视觉识别系统，包括： [0039] 模板训练模块11，用于准备所有类的模板并提取所有模板的局部特征； [0040] 局部特征提取模块12，用于提取一待识别图像的局部特征，所述局部特征包括空间结构信息； [0041] 类识别模块13，用于将所述待识别图像的局部特征与所有模板的局部特征进行匹配，找到所述模板训练模块11中局部特征匹配最多的类作为候选类； [0042] 类验证模块14，用于根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 [0043] 如图2所示，本实施中，所述模板训练模块11的模板训练方法包括： [0044] 步骤S21，准备所有类的模板； [0045] 步骤S22，提取所有模板的局部特征； [0046] 步骤S23，对所有局部特征建立局部特征索引。 [0047] 本实施例中，所述模板训练模块11还为每个模板建立了K-D树索引结构，所述类识别模块13使用所述K-D树索引结构找到所述模板训练模块11中局部特征匹配最多的类作为候选类。 [0048] 如图3所示，本实施例中，所述局部特征提取模块12提取一待识别图像的局部特征的步骤包括： [0049] 步骤S31，生成所述待识别图像的特征尺度空间； [0050] 步骤S32，在所述特征尺度空间中寻找极值点，所述极值点为局部特征点； [0051] 步骤S33，提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子，所述局部特征提取模块12提取的局部特征的空间结构信息包括位置、尺度和旋转不变量。 [0052] 本实施例中，可使用类似SIFT算子的算法进行局部性特征提取，它在特征尺度空间中寻找极值点作为局部特征点，并提取出其位置、尺度、旋转不变量，可以局部特征点为中心取1616像素的邻域作为采样窗口，将采样点与局部特征点的相对方向通过高斯加权后归入包含8个区间的方向直方图，以获得所述局部特征点的44*8的128维的特征描述子。本实施提取的局部特征所具备以下特性：1.重复性；2.可区分性；3.准确性；4.数量以及效率；5.不变性。 [0053] 需要说明的是，所述模板训练模块11和局部特征提取模块12的局部特征提取方法相同，对所有的模板进行局部特征点的提取后为所有的局部特征点建立索引结构。所述模板训练模块11进一步为每个模板建立了K-D树索引结构，以便后期类识别模块13快速识别候选类需要。K-D树索引结构中，K表示空间的维数，它的每一层通过检测不同的属性(关键字)值以决定选择分枝的方向，例如在二维空间中(也就是2-D树)，在根和偶数层比较X坐标值(假设根的深度为0)，在奇数层比较Y坐标值，也就是说每一层所比较的是不同的属性。 [0054] 如图4所示，所述类验证模块14根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，包括： [0055] 步骤S41，使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵； [0056] 步骤S42，对特征空间匹配矩阵进行异或计算，去掉错误位置的匹配的局部特征； [0057] 步骤S43，使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息，去掉有错误信息的匹配的局部特征； [0058] 步骤S44，计算剩余匹配的局部特征的数目，当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 [0059] 本实施例中，类识别模块13把待识别图像的局部特征与所有的模板中的局部特征进行匹配，使用K-D树索引结构找到匹配点最多的类，那么这个候选类可能就属于要识别的目标物体，但是是否为真正的目标物体还需要进一步的验证，在类验证模块14验证的过程中使用了全局空间结构信息来进行区分，所谓全局结构信息就是所有匹配的局部特征的空间结构信息中的位置构成的位置矩阵。例如： [0060] 有N对匹配的局部特征点，则N对匹配的局部特征点的位置可以形成了一个特征空间匹配矩阵，对特征空间匹配矩阵进行异或计算，可以去掉错误位置的匹配的局部特征点； [0061] 接下来，再使用基于随机采样算法的单应矩阵进行估计N对匹配的局部特征点中的错误信息，一般计算单应矩阵(线性解)需要4对不共线的点，来得到精确、鲁棒(Robus)的结果； [0062] 通过上述步骤去掉了N对匹配的局部特征点中错误匹配的局部特征点，最后得到一个正确的匹配局部特征点个数，如果满足一定的阈值，就认为候选类是待识别图像中要识别的目标物体。 [0063] 实施例二 [0064] 如图5所示，本实施例提供一种视觉识别方法，包括以下步骤： [0065] 步骤S51，准备所有类的模板并提取所有模板的局部特征； [0066] 步骤S52，提取一待识别图像的局部特征，所述局部特征包括空间结构信息； [0067] 步骤S53，将所述待识别图像的局部特征与所有模板的局部特征进行匹配，找到局部特征匹配最多的类作为候选类； [0068] 步骤S54，根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征，当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。 [0069] 本实施例还进行了结果测试，测试过程中使用了大量的正样本和负样本，并且还使用了召回率和拒绝率作为衡量指标，本实施中选取的正样本一共10个类别，每个类别有1000张照片；选取的负样本总共两万张不同种类的照片。经测试发现正样本的召回率在 97.5％以上，负样本的拒绝率在98.5％以上。从测试结果看本发明的视觉识别方法识别率已经达到很高的鲁棒性，具有很高的实用价值。 [0070] 需要说明的是，本发明可以应用于各种应用的目标识别任务，比如说在AR(Augmented Reality，增强现实)互动游戏领域。其中AR(Augmented Reality，增强现实)技术是采用对真实场景利用虚拟物体进行“增强”显示的技术，与虚拟现实相比，具有真实感强、建模工作量小的优点。 [0071] 以下是本发明的一种具体的应用： [0072] 某游戏运营商和某饮料厂商签订协议，协助其在游戏内推广饮料。游戏运营商在其游戏服务器上接入本发明的视觉识别系统，在模板训练模块11准备好真实的饮料瓶的所有模板，提取所有模板的局部特征，并根据饮料的特性和游戏的特点，建立其在游戏内显示的虚拟标识库；同时向游戏玩家发布信息，激励游戏玩家到现实生活中去拍摄真实的饮料瓶的照片并上传，用户到现实世界中拍摄了饮料瓶的照片，并将其上传到游戏服务器，局部特征提取模块12会对照片的局部特征进行提取，类识别模块13会将提取的照片中的局部特征与模板训练模块11中的局部特征进行匹配，对照片中饮料瓶进行识别，类验证模块13进一步判定识别出的饮料瓶是否为活动所需要的饮料瓶。当确认所述饮料瓶之后，游戏玩家再登陆到游戏中，可以在游戏的人物周围，显示那个和饮料瓶相对应的虚拟标识，比如是所述饮料厂的Logo。同时，游戏玩家能够看到自己以及自己身边的人身上都是显示的什么Logo。 [0073] 综上所述，本发明提供的视觉识别系统及视觉识别方法，采用局部特征提取和模板特征训练，通过提取出的待识别图像中局部特征点匹配模板特征训练中的局部特征点来确定候选类，再通过全局空间结构信息进行候选类的验证，以确定所述待识别图像中的要识别的目标物体，本发明基于局部特征和全局空间结构信息来识别一待识别图像中一个物体，召回率比较高，误识别率比较低，识别速度较快，实现了比较好的物体识别效果。 [0074] 需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于与实施例公开的系统相对应，所以描述的比较简单，相关之处参见系统部分说明即可。 [0075] 显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。