基于置信度图的增强现实场景虚拟对象判别和检测方法

摘要

基于置信度图的增强现实场景虚拟对象判别和检测方法，包括：选取虚实分类特征；利用虚实分类特征；构建像素级虚实分类器；利用虚实分类特征，分别提取增强现实场景与真实场景的区域对比特征，构建区域级虚实分类器；给定测试增强现实场景，利用像素级虚实分类器和小尺寸检测窗进行检测，得到反映每个像素虚实分类结果的虚拟得分图；定义虚拟置信度图，利用阈值化得到测试增强现实场景的虚拟置信度图；根据虚拟置信度图中高虚拟响应点的分布情况，得到虚拟对象包围盒的粗略形状和位置；在测试增强现实场景中利用区域级虚实分类器和大尺寸检测窗进行检测，得到虚拟对象的最终检测结果。本发明可应用到影视制作、数字娱乐、教育培训等领域。

权利要求

1.基于置信度图的增强现实场景虚拟对象判别和检测方法，其特征在于实现步骤如下：

（1）以包含虚拟对象的增强现实图像作为正样本，真实场景图像作为负样本，构建增强现实场景训练数据集；并利用虚拟对象与真实图像的物理成像差异，选取虚实分类特征；

（2）在训练数据集上，利用虚实分类特征，分别提取增强现实场景与真实场景的区域自身特征，构建像素级虚实分类器；

（3）在训练数据集上，利用虚实分类特征，分别提取增强现实场景与真实场景的区域对比特征，构建区域级虚实分类器；

（4）给定测试增强现实场景，利用像素级虚实分类器和小尺寸检测窗进行检测，得到反映每个像素虚实分类结果的虚拟得分图；

（5）定义虚拟置信度图，并在虚拟得分图的基础之上，利用阈值化得到测试增强现实场景的虚拟置信度图；

（6）基于虚拟置信度图，进行虚拟对象粗略定位，得到虚拟对象包围盒的粗略形状和位置；

（7）在虚拟对象粗略定位的基础之上，在测试增强现实场景图像中利用区域级虚实分类器和大尺寸检测窗进行检测，得到虚拟对象的最终检测结果；

所述步骤（1）中选取的虚实分类特征，包括：局部统计量、表面梯度、第二基本形式和贝尔特拉米流，在图像的每一个像素点处都能够提取得到该点对应的上述虚实分类特征；

所述步骤（2）中构建像素级分类器时，在训练数据集上，对增强现实场景图像，只选取虚拟对象区域作为正样本区域；而对真实场景图像，只选取与正样本中虚拟对象相近似的区域作为负样本区域；对于给定的图像区域，计算出区域内每一点的虚实分类特征；利用转动惯量压缩方法对给定正负样本区域的虚实分类特征进行压缩，得到该区域对应的区域自身特征；将正负样本的区域自身特征集合输入支持向量机分类器进行训练，得到像素级虚实分类器；

所述步骤（3）构建区域级虚实分类器时，在训练数据集上，对于正负样本区域，将其本身视为待判定的对象区域；而将区域包围盒之外的等面积矩形区域视为对象所处的背景区域；分别提取对象区域与背景区域内每一点的虚实分类特征；统计对象区域与背景区域内所有点对应的虚实分类特征，分别构成对象区域特征的联合分布直方图与背景区域特征的联合分布直方图；计算两个直方图之间的卡方距离，将其视为衡量对象与其所处背景之间差异的特征，称为区域对比特征；将提取的正负样本的区域对比特征集合输入支持向量机分类器进行训练，得到区域级虚实分类器；

所述步骤（4）虚拟得分图构建步骤是：对于输入的增强现实场景图像，利用小尺寸检测窗以较小的移动步长扫描整幅图像；计算每个小尺寸检测窗内的小图像块的区域自身特征；将所有小图像块的区域自身特征输入到像素级虚实分类器中，得到每个小图像块的区域自身特征得分，得分高表示像素级分类器将该图像块分类为虚拟区域的确定度高；由于检测窗的尺寸相对整幅图像很小且分布密集，因此可以将每个小图像块的区域自身特征得分映射到该图像块的中心像素，并将其作为该中心像素点的虚拟得分；由此构成了整个增强现实场景图像的虚拟得分图；

所述步骤（5）虚拟置信度图构建方法为：对于增强现实场景图像的虚拟得分图进行阈值化处理，记录所有虚拟得分为正的点；设置一个固定的百分比N%，记录所有虚拟得分为正的点的前N%以及这些点在原图像上所处的位置，这些点称为高虚拟响应点；设置一个固定且相对较小的常数M，记录所有虚拟得分为正的点的前M个点以及这些点在原图像上所处的位置，这些点称为最高虚拟响应点；通过参数设置可以保证，最高虚拟响应点同时也包含于高虚拟响应点所在的集合，即最高虚拟响应点是高虚拟响应点中虚拟得分值最高的一部分；综合高虚拟响应点、最高虚拟响应点及其所在原图像上的位置信息，构成虚拟置信度图；

所述步骤（6）得到虚拟对象包围盒的粗略形状和位置的方法为：对得到的虚拟置信度图将其分为五个等面积、可重叠的子区域，分别求得每个子区域中的高虚拟响应点的分布中心；将子区域中心视为候选的虚拟对象中心点，从各个中心点分别向外扩展搜索，得到高虚拟响应点分布密集的区域；对于高虚拟响应点分布密集的区域，分别近似推算出该区域内的候选对象形状，结合该区域的位置信息，构成虚拟对象初步候选区域；在虚拟对象初步候选区域中，根据其各自包含的高虚拟响应点与最高虚拟响应点的数目，选择出加权数目最多的一个，将其作为虚拟对象候选区域，该区域即包含了虚拟对象包围盒粗略形状与位置信息；

所述步骤（7）虚拟对象检测方法具体为：在测试增强现实场景中的虚拟对象候选区域周围密集采样，构造多个相互重叠的检测窗，并使用区域级虚实分类器进行分类，选取得分最好的检测窗作为虚拟对象的最终检测结果。

说明书

基于置信度图的增强现实场景虚拟对象判别和检测方法

技术领域

[0001] 本发明涉及图像处理、计算机视觉和增强现实领域，具体地说是一种基于置信度图的增强现实场景虚拟对象判别和检测方法。

背景技术

[0002] 增强现实是虚拟现实的进一步拓展，它借助必要的设备使计算机生成的虚拟对象与客观存在的真实环境共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟对象与真实环境融为一体的增强现实环境。随着增强现实技术的发展，具有较高的图像真实感的增强现实场景的出现，急需度量和评价增强现实场景可信度的标准和依据。如何判定一个场景是否增强现实场景，并且进一步地将增强现实场景中的虚拟对象检测出来，作为增强现实场景图像可信度评价的一个途径，有重要的研究意义和应用需求。

[0003] 2011年，意大利特伦多大学的研究人员提出一种图像伪造鉴别方法，该方法能将融入真实场景中的计算机生成成分检测出来。该工作是已知的现有工作中唯一一个以增强现实场景为处理对象的。但是该工作所进行的检测不是以对象为单位，而是只检测增强现实场景中的虚拟成分，即检测结果可能是一个区域，也可能是零散分布的点。

[0004] 2005年美国达特茅斯大学的研究人员提出了基于小波分解的自然图像统计模型并采用支持向量机和线性鉴别分析来分类虚拟图像和真实图像的方法。该首先提取彩色图像小波分解后各个子带和方向上分解系数的四阶统计特征(均值、方差、偏度、峰度)；同时考虑小波分解后相邻分解系数之间的四阶线性预测误差特征，然后利用支持向量机和线性判别分析法训练出分类器，再将测试集输入训练好的分类器得到分类结果。该方法的虚实分类是针对整张图像进行的，且分类准确率随着虚实分类特征的提取区域大小不同而有较大波动。

[0005] 2007年，美国纽约科技大学的研究人员提出了利用颜色滤波阵列插值检测特点以及图像中色差一致性来区分虚拟图像和真实图像的方法。该方法首先从训练集正负样本中提取基于颜色滤波阵列插值检测特点以及图像中色差一致性的特征，然后将提取的特征输入支持向量机中训练出分类器，再将测试集输入训练好的分类器得到分类结果。

[0006] 2009年加拿大艾伯塔大学的研究人员提出了利用图像块重采样参数的一致性来分类虚拟图像和真实图像的方法。该方法的原理是基于虚拟图像生成中对模型表面纹理映射的过程可能会用到对纹理图像的旋转、缩放等操作，造成虚拟图像中各图像块重采样的参数不一致。这样就可以通过检测图像块重采样的参数是否一致来区别虚拟图像和真实图像。该方法的图像块重采样的参数估计是针对整张图像进行。

[0007] 2004年，美国康柏电脑公司剑桥研究实验室的研究人员提出了利用基于哈尔滤波器并采用AdaBoost分类算法来进行人脸检测的方法。该方法首先从训练集中提取分类特征，再训练出基于人脸和非人脸统计特征的分类器，然后将提取的待检测图像的分类特征输入分类器并通过级联分类器来减少需计算的检测窗口的数目以提高效率，最终得到检测结果。该方法的特征提取是基于哈尔滤波器，描述的是人脸固有结构带来的区域对比度。

[0008] 2005年，法国国立计算机及自动化研究院的研究人员提出了利用方向梯度直方图和线性支持向量机进行人物检测的方法。该方法分首先对输入图片进行颜色归一化，然后计算图片中的梯度，统计落在不同方向和方位区间的像素点，并对重叠的空间块进行对比归一化，再生成每个检测窗的方向梯度直方图，最后用线性支持向量机分类器分类出人物/非人物区域，得到检测结果。该方法相比于其他检测方法有更高的检测效果，但要求图片中的人物要大致保持竖直站立的状态。该方法特征提取采用的是图像梯度直方图，描述的是人体轮廓的固有特点。

[0009] 上述区分虚拟图像和真实图像的方法，共同点是它们所提取的虚实分类特征都不适用于针对图像中任意给定区域的虚实分类。此外，现有的对象检测的工作中，一般处理的对象都有较强的易于描述的外观特点作为先验信息。相对而言，增强现实场景中的虚拟对象检测，其检测目标(即虚拟对象)不具有外观上显式的易于描述的先验信息，如颜色、形状、大小等，因此判别和检测难度较大。

发明内容

[0010] 本发明的技术解决方案：克服现有技术的不足，提供一种基于置信度图的增强现实场景虚拟对象判别和检测方法，该方法不需要预先知道虚拟对象的任何外观信息，如颜色、形状、大小，也不需要知道虚拟对象在增强现实场景中所处的位置，而是利用区分虚拟对象与真实图像的物理成像差异，进行虚实分类特征提取，分别计算训练集正负样本的区域自身特征与区域对比特征，并构造出像素级虚实分类器与区域级虚实分类器；在此基础上，通过基于虚拟置信度图的虚拟对象判别与检测进行虚拟对象初步定形定位和精确检测。

[0011] 本发明采用的技术方案：基于置信度图的增强现实场景虚拟对象判别和检测方法，步骤如下：构建增强现实场景训练数据集，并利用虚拟对象与真实图像的物理成像差异，选取虚实分类特征；在训练数据集上，利用虚实分类特征，分别提取增强现实场景与真实场景的区域自身特征，构建像素级虚实分类器；在训练数据集上，利用虚实分类特征，分别提取增强现实场景与真实场景的区域对比特征，构建区域级虚实分类器；给定测试增强现实场景，利用像素级虚实分类器和小尺寸检测窗进行检测，得到反映每个像素虚实分类结果的虚拟得分图；定义虚拟置信度图，并在虚拟得分图的基础之上，利用阈值化得到测试增强现实场景的虚拟置信度图；根据虚拟置信度图中高虚拟响应点的分布情况，得到虚拟对象包围盒的粗略形状和位置；在虚拟对象粗略定位的基础之上，在测试增强现实场景图像中利用区域级虚实分类器和大尺寸检测窗进行检测，得到虚拟对象的最终检测结果。

[0012] 构建增强现实场景训练数据集。在训练数据集中，将包含虚拟对象的增强现实场景图像作为正样本，将真实场景图像作为负样本。利用虚拟对象与真实图像的物理成像差异，选取虚实分类特征。选取的虚拟分类特征包括：局部统计量、表面梯度、第二基本形式、贝尔特拉米流。在图像的每一个像素点处都可以提取得到该点对应的上述虚实分类特征。

[0013] 在训练数据集上，利用虚实分类特征，提取增强现实场景的区域自身特征，构建像素级虚实分类器。在构建像素级分类器时，对增强现实场景图像，只选取虚拟对象区域作为正样本区域；而对真实场景图像，只选取与正样本中虚拟对象相近似的区域作为负样本区域。对于给定的图像区域，计算出区域内每一点的虚实分类特征(包括：局部统计量、表面梯度、第二基本形式、贝尔特拉米流)；利用转动惯量压缩方法对给定区域的虚实分类特征进行压缩，得到该区域对应的区域自身特征。将正负样本的区域自身特征集合输入支持向量机分类器进行训练，得到像素级虚实分类器。

[0014] 在训练数据集上，利用虚实分类特征，提取增强现实场景的区域对比特征，构建区域级虚实分类器。对于正负样本区域，将其本身视为待判定的对象区域；而将区域包围盒之外的等面积矩形区域视为对象所处的背景区域；分别提取对象区域与背景区域内每一点的虚实分类特征；统计对象区域与背景区域内所有点对应的虚实分类特征，分别构成对象区域特征的联合分布直方图与背景区域特征的联合分布直方图；计算两个直方图之间的卡方距离，将其视为衡量对象与其所处背景之间差异的特征，称为区域对比特征；将提取的正负样本的区域对比特征集合输入支持向量机分类器进行训练，得到区域级虚实分类器。

[0015] 虚拟得分图构建，步骤是对于输入的增强现实场景图像，利用小尺寸检测窗(检测窗尺寸为[10，30]×[10，30]像素)以较小的移动步长(如{1，2，3，4，5}像素)扫描整幅图像；计算每个小尺寸检测窗内的小图像块的区域自身特征；将所有小图像块的区域自身特征输入到像素级虚实分类器中，得到每个小图像块的区域自身特征得分，得分高表示像素级分类器将该图像块分类为虚拟区域的确定度高；由于检测窗的尺寸相对整幅图像很小且分布密集，因此可以将每个小图像块的区域自身特征得分映射到该图像块的中心像素，并将其作为该中心像素点的虚拟得分；由此构成了整个增强现实场景图像的虚拟得分图。该过程可通过二维积分图提高计算效率。

[0016] 虚拟置信度图构建，步骤是对于增强现实场景图像的虚拟得分图进行阈值化处理，记录所有虚拟得分为正的点；设置一个固定的百分比N％，记录所有虚拟得分为正的点的前N％以及这些点在原图像上所处的位置，这些点称为高虚拟响应点；设置一个固定且相对较小的常数M(如令M∈[10，100])，记录所有虚拟得分为正的点的前M个点以及这些点在原图像上所处的位置，这些点称为最高虚拟响应点；通过参数设置可以保证，最高虚拟响应点同时也包含于高虚拟响应点所在的集合，即最高虚拟响应点是高虚拟响应点中虚拟得分值最高的一部分。综合高虚拟响应点、最高虚拟响应点及其所在原图像上的位置信息，构成虚拟置信度图。

[0017] 虚拟对象包围盒的粗略形状和位置推理步骤如下：对得到的虚拟置信度图，将其分为五个等面积、可重叠的子区域，分别求得每个子区域中的高虚拟响应点的分布中心；将子区域中心视为候选的虚拟对象中心点，从各个中心点分别向外扩展搜索得到高虚拟响应点分布密集的区域，对于高虚拟响应点分布密集的区域，近似推算出该区域内的候选对象形状(体现为候选的虚拟对象包围盒)，结合该区域的位置信息，构成虚拟对象初步候选区域；在多个虚拟对象初步候选区域中，根据其各自包含的高虚拟响应点与最高虚拟响应点的数目，选择出加权数目最多的一个，将其作为虚拟对象候选区域，该区域即包含了虚拟对象包围盒粗略形状与位置信息。

[0018] 对于得到的虚拟对象的粗略定位，进一步优化，得到虚拟对象的最终检测结果。具体步骤为：在虚拟对象候选区域周围取面积为虚拟对象候选区域两倍的区域，在该区域内构造形状大小和虚拟对象候选区域相同的多个相互重叠的大尺寸检测窗(大尺寸检测窗的尺寸范围通常为[200，500]×[200，500]，其长度和宽度的具体取值等于虚拟对象候选区域中虚拟对象包围盒的长度和宽度)；取每个大尺寸检测窗内图像块并计算其区域对比特征；将所有大尺度检测窗内图像块的区域对比特征输入区域级虚实分类器进行分类，选出对应得分最高的检测窗作为虚拟对象的最终检测结果。

[0019] 本发明与现有的技术相比，其有益效果是：

[0020] (1)本发明以增强现实场景中的虚拟对象为检测对象，可以将增强现实场景中的虚拟对象作为一个整体判别和检测出来。

[0021] (2)本发明构建了两级虚实分类器，包括像素级虚实分类器和区域级虚实分类器，满足置信度图构建和虚拟对象最终检测的需求。

[0022] (3)本发明建了一个置信度图，基于虚拟置信度图，能在没有虚拟对象外观、形状、位置等先验信息的条件下，得出增强现实场景中的虚拟对象大致位置和形状。

[0023] (4)本发明不需要预先知道虚拟对象的任何外观信息，如颜色、形状、大小等先验信息，也不需要知道虚拟对象在增强现实场景中所处的位置，有较广的适用性，可广泛应用推广到影视制作、数字娱乐、教育培训等领域。

附图说明

[0024] 图1是本发明的总体设计结构；

[0025] 图2是本发明的虚拟置信度图构建流程图；

[0026] 图3是本发明的虚拟对象包围盒形状、位置推理流程图；

[0027] 图4是本发明的获取候选中心点的流程图；

[0028] 图5是本发明的扩展搜索、获得高虚拟响应点分布密集区域的流程图。

具体实施方式

[0029] 如图1所示，本发明的主要步骤如下：构建增强现实场景训练数据集，并利用虚拟对象与真实图像的物理成像差异，选取虚实分类特征；在训练数据集上，利用虚实分类特征，提取增强现实场景的区域自身特征，构建像素级虚实分类器；在训练数据集上，利用虚实分类特征，提取增强现实场景的区域对比特征，构建区域级虚实分类器；给定测试增强现实场景，利用像素级虚实分类器进行小尺度检测，得到反映每个像素虚实分类结果的虚拟得分图；定义虚拟置信度图，并在虚拟得分图的基础之上，利用阈值化得到测试增强现实场景的虚拟置信度图；根据虚拟置信度图中高虚拟响应点的分布情况，得到虚拟对象包围盒的粗略形状和位置；在虚拟对象粗略定位的基础之上，在测试增强现实场景图像中利用区域级虚实分类器和大尺寸检测窗进行检测，得到虚拟对象的最终检测结果。

[0030] 构造训练数据集，用于训练虚实分类器。训练数据集由包含虚拟对象的增强现实场景图像作为正样本、真实场景图像作为负样本构成。在训练像素级分类器时，对增强现实场景图像，只选取虚拟对象区域作为正样本；而对真实场景图像，只选取与正样本中虚拟对象相近似的区域作为负样本。在训练区域级分类器时，对增强现实场景图像，选取虚拟对象及其周围等面积的图像区域作为正样本；而对真实场景图像，选取与正样本中虚拟对象相近似的区域及其周围等面积的图像区域作为负样本。

[0031] 区域自身特征的提取。对于给定的图像区域，计算出区域内每一点的虚实分类特征，包括：局部统计量、表面梯度、第二基本形式、贝尔特拉米流；利用转动惯量压缩方法对给定区域的虚实分类特征进行压缩，得到该区域对应的区域自身特征。

[0032] 局部统计量、表面梯度、第二基本形式、贝尔特拉米流各自的物理意义及其计算方法分别如下：

[0033] 局部统计量反映的是局部微小的边缘结构。局部统计量的计算方法如下：取原图像的灰度图上任意一点P，以P点为中心的一个3×3像素的小图像块，将其中每一点的像素值按顺序排列成9维向量x＝[x1，x2，...x9]。P点的局部统计量y是一个9维向量，其定义为：

[0034] 其中， 而||·||D是D范数操作。

[0035] D范数操作的定义是： 其中i～j表示图像块中所有四邻域关系的点对。

[0036] 任意点p处的局部统计量虚实分类特征即为该点处的9维向量y。

[0037] 表面梯度是用来度量真实场景成像过程中的非线性变化特点。图像中任一点处的表面梯度S定义为：

[0038] 其中， 为该点处的图像梯度模值， Ix、Ix分别表示图像x方向(水平方向)和y方向(竖直方向)的偏导。α为常数，α＝0.25。

[0039] 任意点p处的表面梯度虚实分类特征由该点处的图像像素值I与该点处表面梯度S联合构成。

[0040] 第二基本形式是用来描述图像表面局部的凹凸程度。第二基本形式的两个分量λ1和λ2分别对应矩阵A的两个特征值。

[0041] 其中，Ix、Ix分别表示图像x方向和y方向的偏导；Ixx、Ixy、Iyy分别表示图像xx方向、xy方向、yy方向的二阶偏导；由该式可计算出矩阵A的值。不妨将A记为： 其中a11、a12、α21、α22分别表示矩阵A中对应的四个元素值。因此，矩阵A的两个特征值λ1和λ2计算公式如下：

[0042]

[0043] 任意点p处的第二基本形式虚实分类特征由该点处的图像梯度模值与该点处第二基本形式的两个分量λ1、λ2联合构成。

[0044] 贝尔特拉米流可以用来描述不同颜色通道之间的相关性。颜色通道c(c＝{R，G，B})对应的贝尔特拉米流ΔgIc定义为：

[0045]

[0046] 其中，Ic表示原始图像的颜色通道c(c＝{R，G，B})对应的图像；算子 分别表示对于作用量取x方向和y方向的偏导；

[0047] 矩阵 分别表示图像R通道(红色通道)x方向和y方向的偏导； 分别表示图像G通道(绿色通道)x方向和y方向的偏导； 分别表示图像B通道(蓝色通道)x方向和y方向的偏导；|g|为矩阵xx xy yy yx xx xy yy yx
g的行列式；而g 、g 、g 、g 则由 分别给出，即g 、g 、g 、g 分别为矩阵g的逆矩阵对应的四个元素值。

[0048] 任意点p处的贝尔特拉米流虚实分类特征由该点处的各颜色通道c(c＝{R，G，B})的贝尔特拉米流分量ΔgIc与各颜色通道的图像梯度模值 联合构成。

[0049] 当计算出区域内每一点的四组虚实分类特征(包括：局部统计量、表面梯度、第二基本形式、贝尔特拉米流)后，需要利用转动惯量压缩方法对虚实分类特征进行压缩。转动惯量压缩方法步骤如下：先单独考虑局部统计量、表面梯度、第二基本形式、贝尔特拉米流这四组虚实分类特征中的任意一组(每一组虚实分类特征的处理方式都相同)。若给定区域内共有N个点，任一点Pi(i＝1，…，N)的一组虚实分类特征的共有M维(M的值根据在四组虚实分类特征中取定其中一组即可确定)，将点Pi(i＝1，…，N)的一组虚实分类特征记为vi＝(vi1，...，vim)。此时，将点Pi的虚实分类特征vi＝(vi1，...，vim)视为M维特征空间中的一个质点，规定该质点的质量为 ，该质点在M维特征空间中的位置坐标为vi＝(vi1，...，vim)，则可以通过刚体转动惯量矩阵公式计算出所有N个质点构成的质点系的转动惯量矩阵J。转动惯量矩阵J是一个M×M维矩阵，矩阵J可以写成如下形式：矩阵J的任意一个元素记为Jjk(j，k＝1，...，M)。Jjk的计算
方法为： (j，k＝1，...，M)。其中mi表示质点Pi的质量，
vi＝(vi1，...，vim)表示点Pi在特征空间中的位置坐标；|vi|表示质点Pi到坐标原点的欧氏距离，即 δjk为克罗内克函数，其计算方法为
由此可以确定转动惯量矩阵J的所有元素Jjk(j，k＝1，...，M)。由转动惯量矩阵J的对称性可知，Jjk＝Jkj，因此只取矩阵J的主对角线以及主对角线以上的所有元素Jjk(j，k＝
1，...，M且j≤k)，这些元素即可表示原始矩阵J的所有信息。

[0050] 取转动惯量矩阵中的所有元素Jjk(j，k＝1，...，M且j≤k)；联合所有质点的质心向量 联合所有质点与坐标原点距离|vi|的均值、方差、偏度、峰度；组合构成一个特征向量。该特征向量即为该区域内所有点的该组虚实分类特征经转动惯量压缩方法得到的压缩表示结果。将分别得到的四组压缩表示结果联合，即可得到该区域对应的区域自身特征。由于转动惯量矩阵可以较好地描述多个质点在特征空间中的分布，因此转动惯量矩阵压缩方法可以在对区域多个高维数据点进行压缩的同时尽可能低保证较大程度地保留原有数据分布的信息。

[0051] 区域对比特征的提取。对于给定的图像区域，将区域本身视为待判定的对象区域；而将区域包围盒之外紧邻包围盒的等面积矩形区域视为对象所处的背景区域；分别计算出对象区域与背景区域内每一点的虚实分类特征；分别统计对象区域内和背景区域内所有点对应的虚实分类特征，构成对象区域内和背景区域特征的联合分布直方图；计算对象区域特征的联合分布直方图与背景区域特征的联合分布直方图之间的卡方距离，将其视为可以衡量对象与其所处背景之间对比度或者差异的特征，称为区域对比特征。

[0052] 构建像素级虚实分类器和区域级虚实分类器，用于分别从区域自身特征的角度和区域对比特征的角度区分给定区域是否属于虚拟对象所在区域。

[0053] 像素级虚实分类器构建，通过输入训练集正负样本；分别提取正负样本的区域自身特征；将提取的正负样本的区域自身特征集合输入支持向量机分类器进行训练，得到像素级虚实分类器。像素级虚实分类器的特点是，其所采用的特征压缩方法使得其分类结果具有一定的尺寸适应性。即当待分类的区域自身特征是由与训练集的区域尺寸显著不同的区域提取得到时，像素级虚实分类器对于给定区域是否属于虚拟对象所在区域的分类结果具有较好的准确性。具体而言：尽管像素级分类器是由训练集中虚拟对象(尺寸为[10，30]×[10，30]像素)的区域自身特征集合训练得到的，但实验结果显示：该分类器对于相对小很多的区域(尺寸为[10，30]×[10，30]像素)的区域特征，其分类结果仍具有较好的准确性。由于该分类器分类的对象是针对小尺寸区域，而这些小区域用来近似描述区域中心点所对应的像素，因此将该分类器成为像素级虚实分类器。

[0054] 区域级虚实分类器构建，通过输入训练集正负样本；分别提取正负样本的区域对比特征；将提取的正负样本的区域对比特征集合输入支持向量机分类器进行训练，得到区域级虚实分类器。由于区域级虚实分类器使用的分类特征是反应区域及其所在背景之间的总体分布差异，因此可以将待检测对象作为一个整体较好地判别和检测出来。

[0055] 构建虚拟得分图。对于输入的增强现实场景图像，利用小尺寸检测窗(检测窗尺寸为[10，30]×[10，30]像素)以较小的移动步长(如{1，2，3，4，5}像素)扫描整幅图像；计算每个小尺寸检测窗内的小图像块的区域自身特征；将所有小图像块的区域自身特征输入到像素级虚实分类器中，得到每个小图像块的区域自身特征得分，得分高表示像素级分类器将该图像块分类为虚拟区域的确定度高；由于检测窗的尺寸相对整幅图像很小且分布密集，因此可以将每个小图像块的区域自身特征得分映射到该图像块的中心像素，并将其作为该中心像素点的虚拟得分；由此构成了整个增强现实场景图像的虚拟得分图。由于区域自身体征计算中的虚实分类特征计算和特征压缩操作比较耗时，而对于生成的大量相互重叠的图像块需要逐个计算其区域自身特征，因此在该步骤中采用积分图方法加速计算过程。由此得到的虚拟得分图构建结果能够较好地反映出图像上的点与该点是否属于虚拟对象的关系。即：实验结果显示：虚拟得分图中，虚拟得分高的点一般都集中在虚拟对象所在区域；反之，虚拟对象所在区域的点，对应的虚拟得分都较高。

[0056] 构建虚拟置信度图，其流程如图2所示。首先，对于得到的虚拟得分图进行阈值化处理，先选择并记录所有虚拟得分为正的点；设置一个固定的百分比N％，选择并记录所有虚拟得分为正的点的前N％以及这些点在原图像上所处的位置。这些点称为高虚拟响应点。设置一个固定且相对较小的常数M(如令M∈[10，100])，选择并记录所有虚拟得分为正的点的前M个点以及这些点在原图像上所处的位置。这些点称为最高虚拟响应点。最高虚拟响应点的数目远小于高虚拟响应点的数目。综合高虚拟响应点、最高虚拟响应点及其所在原图像上的位置信息，即构成虚拟置信度图。所述的虚拟置信度图构建结果能够较好地反映出图像上的点与该点是否属于虚拟对象的关系。即：实验结果显示：虚拟置信度图中，高虚拟响应点一般都集中在虚拟对象所在区域；反之，虚拟对象所在区域的点，对应的高虚拟响应点分布较为密集。类似地，最高虚拟响应点一般只出现在虚拟对象所在区域；反之，虚拟对象所在区域中，一般会出现较多的最高虚拟响应点。对于高虚拟响应点和最高虚拟响应点中出现在虚拟对象区域以外的，将其称为噪声点。

[0057] 虚拟对象包围盒的粗略形状和位置推理流程如图3所示，包括以下步骤：划分子区域、获取候选中心点；扩展搜索，获得高虚拟响应点分布密集区域；虚拟对象初步候选区域确定；虚拟对象候选区域确定。其中具体而言，划分子区域，是对得到的虚拟置信度图，将其分为五个等面积、可重叠的子区域。获取候选中心点的流程图如图4所示，分别根据每个子区域中的高虚拟响应点的分布，利用均值漂移算法求得每个子区域中的高虚拟响应点分布的中心点，该中心点称为候选中心点。候选中心点数目为k(k≤5，k小于5的情况对应于某些子区域中不存在高虚拟响应点)，在此不妨假设虚拟对象所对应区域的中心点必为上述k个候选中心点中的一个。扩展搜索，获得高虚拟响应点分布密集区域，该过程如图5所示：对于每个候选中心点，以候选中心点为圆心，以按照固定步长增大的长度为半径，动态构造依次增大的圆形搜索区域，直到当前搜索区域内高虚拟响应点的数目不再增加时，则可以认为搜索到了虚拟对象区域的边界；理想情况下，扩展搜索停止的条件是当搜索半径增加时，搜索区域内高虚拟响应点的数目增量为零，但为了消除虚拟置信度图中存在的噪声点的影响，设置一个噪声抑制参数，将扩展搜索停止的条件加强为：当搜索半径增加时，搜索区域内高虚拟响应点的数目增量必须大于噪声抑制参数。

[0058] 虚拟对象初步候选区域确定是由高虚拟响应点分布密集的区域近似推算出该区域内的候选对象形状，结合该区域的位置信息，构成虚拟对象初步候选区域。当扩展搜索停止时，得到了高虚拟响应点分布密集区域，可知该区域中所有的高虚拟响应点的集合P，根据P可以得出该区域内的候选对象形状，即体现为候选对象包围盒的形状：

[0059] xmin＝min({x|∈P})；xmax＝max({x|∈P})；

[0060] ymin＝min({y|∈P})；ymax＝max({y|∈P})；

[0061] 其中xmin、xmax分别表示候选对象包围盒所在区域对应图像坐标中的x方向最小值和最大值；ymin、ymax分别表示候选对象包围盒所在位置对应图像坐标中的y方向最小值和最大值。由此即可确定候选对象包围盒相对于图像中的位置和形状。

[0062] 该区域内的候选对象形状，结合该区域的位置信息(候选中心点位置)，构成虚拟对象初步候选区域。

[0063] 在得到的k个虚拟对象初步候选区域中，根据其各自包含的高虚拟响应点与最高虚拟响应点的数目，选择出加权数目最多的一个，将其作为虚拟对象候选区域，该区域即包含了虚拟对象包围盒的大致形状与位置的信息。

[0064] 对于得到的虚拟对象的粗略定位，进一步优化，以减小虚拟对象候选区域计算过程中可能出现的误差，从而得到虚拟对象的最终检测结果。具体步骤为：在虚拟对象候选区域周围取面积为虚拟对象候选区域两倍的区域；在该区域内构造形状大小和虚拟对象候选区域相同的多个相互重叠的大尺寸检测窗(大尺寸检测窗的尺寸范围通常为[200，500]×[200，500]，其长度和宽度的具体取值等于虚拟对象候选区域中虚拟对象包围盒的长度和宽度)；取每个大尺寸检测窗内图像块并计算其区域对比特征；将所有大尺度检测窗内图像块的区域对比特征输入区域级虚实分类器进行分类，选出对应得分最高的检测窗作为虚拟对象的最终检测结果。

[0065] 以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

[0066] 本发明未详细阐述部分属于本领域公知技术。