本发明提供了一种激光散斑图像的运动向量生成方法，先对投射到目标物体上的输入散斑图进行图像自适应预处理，再以经过相同图像自适应预处理的作为基准的标准散斑图为参考，将输入散斑图按一定大小的图像块进行块匹配运动估计，即以一定的搜索策略和相似度测量指标寻找图像块在标准散斑图中对应位置为中心的搜索窗内寻找最优匹配块，获得该图像块与匹配块之间的偏移量，即为该图像块的运动向量。该运动向量可由X、Y轴方向的位移量（Δx，Δy）表示，起点为标准散斑图中的图像块，终点为输入散斑图的图像块，其精度可达到子像素级。
步骤一、标准散斑图像和输入散斑图像的获取，其中，将固定散斑图案投射到与散斑投射装置的中心轴垂直、且距离所述投射装置为标准距离d的平面上，捕捉所述平面上的标准散斑图像；捕捉投射到目标物体区域而得到的输入散斑图像；
步骤二、散斑图的图像自适应预处理，其中，标准散斑图像和输入散斑图像经同样方式的图像自适应预处理后，生成预处理后的标准散斑图像和输入散斑图像；
步骤三、输入散斑图像和标准散斑图像之间的块匹配运动估计，其中，结合所述预处理后的标准散斑图像和输入散斑图像，以块匹配运动估计算法获取输入散斑图像各个区域上的运动向量，其中，在输入散斑图像中提取一定大小的图像块blockm×n；在标准散斑图像中，以图像块blockm×n所对应位置为中心的一定范围的搜索窗search_blockM×N内，根据搜索策略和相似度测量指标来寻找该图像块的最优匹配块，其中，m、n为图像块的尺寸大小，M、N为搜索窗的尺寸大小，且M大于等于m、N大于等于n，获得该图像块与所述匹配块之间的偏移量(Δx，Δy)，即为该图像块的运动向量，并且其中，根据所述块匹配运动估计算法获取的运动向量为1/2像素精度或1/4像素精度，其中计算1/2像素点时，按照与整数像素点是否相邻分为两种情况：
若待求1/2像素点位置与整数像素点在水平或垂直方向上相邻，计算公式为式(1)；
若待求1/2像素点位置与整数像素点在水平或垂直方向上不相邻，则计算公式为式(2)或式(3)；
i＝(A-5B+20C+20D-5E+F+16)＞＞5 (1)
j＝(a-5b+20c+20d-5e+f+16)＞＞5 (2)
j＝(g-5h+20i+20k-5l+m+16)＞＞5 (3)
其中，i，j为待求的1/2像素点，＞＞5则表示右移5位；A、B、C、D、E和F为以i为中心，与i位于同一水平方向的整数像素点；a、b、c、d、e、f为以j为中心，与j位于同一水平方向且与整数像素点相邻的1/2像素点；g、h、i、k、l和m为以j为中心，与j位于同一垂直方向且与整数像素点相邻的的1/2像素点；
1/2像素点计算出来后，对终点指向C点的运动向量 其中，假设C点为所述图像块的某一顶点，运动向量是从图像块顶点指向最优匹配块的对应顶点：依据所述相似度测量指标，在整数像素点C点和其周围8个1/2像素点分别为顶点组成的9个1/2像素精度匹配块中寻找最优匹配块，得到像素点C到周围1/2像素点的运动向量 再结合向量获得所述图像块与匹配块之间1/2像素精度的运动向量
2.根据权利要求1所述的方法，其中，所述平面的位置选取满足以下约束条件：(1)所述平面与所述投射装置的中心轴垂直；(2)标注距离d值在散斑照射有效距离范围内；(3)所述平面上的散斑图为尽可能涵盖固定图案形成的整幅散斑图像，且所述平面上的散斑图能够被捕捉。
3.根据权利要求1所述的方法，其中，图像自适应预处理包括以下处理中的一种或多种：Bayer格式转换、色度空间转换、灰度图像自适应去噪和增强。
4.根据权利要求1所述的方法，从输入散斑图中提取的图像块的步长小于匹配块的大小。
5.根据权利要求1所述的方法，计算1/4像素点时，其特征在于：
求得1/2像素精度的运动向量后，1/4像素精度的运动向量也分为两种情况：
若待求1/4像素点的位置与整数像素点或1/2像素点在水平或垂直方向上相邻，计算公式为式(4)；
若待求1/4像素点的位置与整数像素点和1/2像素点在水平或垂直方向上均不相邻，计算公式为式(5)；
其中，aa、bb为待求的1/4像素点，＞＞1则表示右移1位；式(4)中，C和i分别为与aa相邻的整数像素点和1/2像素点；式(5)中，i和c分别为与bb相邻，且位于同一对角线上的1/2像素点；
1/4像素点插值后，对终点指向i点的1/2像素精度的运动向量 其中，假设i点为所述1/2像素精度图像块的某一顶点，运动向量是从图像块顶点指向最优匹配块的对应顶点：依据所述相似度测量指标，在1/2像素点i和其周围8个1/4像素点分别为顶点组成的9个1/4像素精度匹配块中寻找最优匹配块，得到像素点i到周围1/4像素点的运动向量 再结合向量 获得所述图像块与匹配块之间1/4像素精度的运动向量
6.根据权利要求1所述的方法，其中，所述步骤一捕捉的输入散斑图像包括在所述目标物体移动过程中捕捉的一系列测试图像，根据计算得到的该一系列测试图像的运动向量来跟踪该目标物体的运动。
一种激光散斑图像的运动向量生成方法
技术领域
[0001] 本发明属于图像处理、自然交互技术领域，具体涉及一种激光散斑图像的运动向量生成方法。
背景技术
[0002] 自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。通过高精度的图像深度信息获取也是机器视觉系统发展的技术难点之一。图像深度信息获取技术已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC、平板电脑等，为用户带来“科幻”般的操控方式和全新的人机交互体验，在游戏娱乐、消费电子、医疗、教育等领域都有广泛的应用前景。
[0003] 基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度传感器芯片计算获得物体的深度信息。本发明针对基于结构光的主动视觉模式，利用图像传感器所采集的输入散斑图（深度信息未知）与标准散斑图（深度距离信息已知）进行比较，通过图像块的模式匹配获得输入散斑图的运动向量信息，用于后续的深度图计算。可以说本发明内容是快速、准确地获取图像深度信息的关键。
发明内容
[0004] 本发明提供了一种激光散斑图像的运动向量生成方法，先对投射到目标物体上的输入散斑图（深度信息未知）进行图像自适应预处理，再以经过相同图像自适应预处理的作为基准的标准散斑图（深度距离信息已知）为参考，将输入散斑图按一定大小的图像块进行块匹配运动估计，即以一定的搜索策略和相似度测量指标寻找图像块在标准散斑图中对应位置为中心的搜索窗内寻找最优匹配块，获得该图像块与匹配块之间的偏移量，即为该图像块的运动向量。该运动向量可由X、Y轴方向的位移量（ ， ）表示，起点为标准散斑图中的图像块，终点为输入散斑图的图像块，其精度可达到子像素级。
[0005] 根据本发明的一种激光散斑图像的运动向量生成方法，其实现步骤包括：
[0006] 步骤一、标准散斑图像和输入散斑图像的获取，其中，将固定散斑图案投射到与散斑投射装置的中心轴垂直、且距离所述投射装置标准距离的平面上，捕捉所述平面上的标准散斑图像；捕捉投射到目标物体区域而得到的输入散斑图像；
[0007] 步骤二、散斑图的图像自适应预处理，其中，标准散斑图像和输入散斑图像经同样方式的图像自适应预处理后，生成预处理后的标准散斑图像和输入散斑图像；
[0008] 步骤三、输入散斑图像和标准散斑图像之间的块匹配运动估计，其中，结合所述预处理后的标准散斑图像和输入散斑图像，以块匹配运动估计算法获取输入散斑图像各个区域上的运动向量。
[0009] 采用本发明技术方案的有益效果将通过以下实施例的阐述而得到具体的体现。
附图说明
[0010] 图1是本发明实施例的整体流程框图；
[0011] 图2是本发明实施例的图像自适应预处理的流程框图；
[0012] 图3是本发明实施例的块匹配运动估计示意图；
[0013] 图4是本发明实施例的子像素运动估计示意图。
具体实施方式
[0014] 下面结合附图对本发明进行进一步的详细说明。
[0015] 图1示意性图示了本发明实施例激光散斑图像运动向量生成的整体流程图。为了清楚说明，下文中将结合图2和图3来描述该方法。
[0016] 在生成激光散斑图像的运动向量时，首先进行步骤一，获取标准散斑图和输入散斑图，其中，将固定散斑图案投射到与散斑投射装置的中心轴垂直、且距离所述投射装置标准距离的平面上，捕捉所述平面上的标准散斑图像；捕捉投射到目标物体区域而得到的输入散斑图像。
[0017] 捕捉散斑图像的系统主要有散斑投射装置和图像传感器。散斑投射装置可以是相干光源和图案生成器，相干光通过图案生成器投影到物体上形成散斑图案。散斑投射装置和图像传感器到物体具有基本相等的距离。该系统扫过的空间是光源光路传播的视角和图像传感器针对的视角所交叉形成的空间，从而使距图案生成器的距离大于Rayleign距离的物体能够成像。
[0018] 标准散斑图的获取是将激光束（红外、可见光、紫外线、不可见光）经图案生成器形成的散斑图案投射到与激光束发生装置的中心轴（Z轴）相垂直的、且已知位置距离为d的平面（该平面可由投影布、平板等构成，用于呈现清晰稳定的散斑点图，该平面可称之为标准平面）上，平面上所形成的散斑图即为标准散斑图。
[0019] 在上述过程中，距离d是标准平面与散斑投射装置的垂直距离。在另一个较佳的实施例中，标准平面，即所述平面的位置选取满足以下约束条件：（1）所述平面与投射装置的中心轴垂直；（2）d值必须在散斑照射有效距离范围内；（3）所述平面上的散斑图为尽可能涵盖固定图案形成的整幅散斑图像，且所述平面上的散斑图能够被捕捉。例如，图像传感器能在其视角范围内捕捉所述平面上的散斑图。
[0020] 输入散斑图与标准散斑图的获取方法基本一致，由相同的图像传感器逐帧输入，散斑图中含有要测量深度信息的目标物体，即目标物体必须在散斑照射的有效距离范围内。
[0021] 在图像传感器装置捕捉标准散斑图和输入散斑图的之前，需经过滤波装置，滤波器的功能是只允许相干光源波段内或接近光源波段的光波正常通过（其它波段的均受到抑制），然后经图像传感器采集。
[0022] 经滤波后采集的标准散斑图和输入散斑图需经步骤二图像自适应预处理，其中，标准散斑图像和输入散斑图像经同样方式的图像自适应预处理后，生成预处理后的标准散斑图像和输入散斑图像。如图2所示图像自适应预处理包括以下处理中的一种或多种：Bayer格式转换（取决于图像传感器的输出视频格式）、色度空间转换（例如，RGB到YUV）、灰度图像自适应去噪和增强等。Bayer格式转换是灰度图像与彩色图像格式间的一种转换方法。灰度图像自适应去噪方法用于噪声的消除，图像增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强方法。通过去噪和增强使散斑图能更准确地进行块匹配运动估计。
[0023] 预处理后的标准散斑图和输入散斑图，进入步骤三，进行块匹配运动估计，结合所述预处理后的标准散斑图像和输入散斑图像，以块匹配运动估计算法获取输入散斑图像各个区域上的运动向量。块匹配运动估计一个具体实施例如图3所示。以标准散斑图为参考基准，在输入散斑图中提取一定大小的图像块 ， 、 为图像块的尺寸大小，可以相等，也可以不相等。在标准散斑图中,以图像块 所对应位置为中心的一定范围的搜索窗 内，以一定的搜索策略和相似度测量指标来寻找该图像块的最优匹配块，获得该图像块与匹配块之间的偏移量（ ， ），即为该图像块的运动向量，其中、 为搜索窗的尺寸大小，可以相等，也可以不相等。作为示例，搜索策略和相似度测量指标可以采用传统块匹配方法中使用的，比如三步搜索法（TSS）和绝对误差和（SAD），但是也可以采用其他各种改进的搜索策略和相似度测量指标。
[0024] 对输入散斑图,图像块是按相同的大小从左到右，从上到下按一定的步长提取的。在求取运动向量的过程中，假设图像块内所有像素的位移量都相同。图像块对应搜索窗的选取是以该图像块在标准散斑图中的对应区域为中心，上下左右分别扩展相同的像素半径 。优选地，如果只关注图像块X方向的偏移量 ，搜索窗的选取可以只扩展图像块的左右方向，这样可以减少大量的计算量，提高运行速度。同理图像块的Y方向亦然。
[0025] 本发明获取输入散斑图运动向量的块匹配运动估计方法不同于传统的块匹配算法。在匹配过程中，传统的运动估计匹配算法其匹配块的步长等于匹配块的大小，本发明中从输入散斑图中提取的图像块的步长也可小于匹配块的大小。如图3所示，匹配块经运动估计求取的运动向量只代表了中间以斜线标记的阴影区域内像素点的运动向量，阴影区域可以由一个或多个像素点组成，以此方法取得运动向量的准确率和细小物体运动向量误匹配现象的折衷。
[0026] 本发明中搜索策略是逐个匹配块进行搜索，因此精度可达到像素级，甚至于子像素级。对于子像素精度，为了便于硬件实现，可以采用H.264编码器中子像素运动估计方法，主要包含两部分：对像素点进行插值运算和子像素级运动向量的求取。子像素的位置常以1/2n为单位，作为示例，以下结合图4说明1/4像素精度运动向量的求取。
[0027] 第一步，1/2像素精度运动向量的求取。首先对输入散斑图和标准散斑图进行1/2像素点插值，1/2像素点的计算通过水平或垂直方向上相邻的6个像素点经滤波得到，按照与整数像素点是否相邻分为两种情况：若1/2像素点位置与整数像素点相邻，如图4中的i像素点，计算公式如式（1）；若1/2像素点位置与整数像素点不相邻，如图4中的j像素点，以水平方向或垂直方向上的6个1/2像素点计算得到，计算公式如式（2）或式（3）。公式中右移5位(>>5)表示除以32后只截取整数部分计算。
[0028] （1）
[0029] （2）
[0030] （3）
[0031] 1/2像素点计算出来后，每个整数像素点周围有8个1/2像素点，如图4所示，对终点指向C点的运动向量 ，其中，假设C点为图像块的某一顶点，运动向量是从图像块顶点指向最优匹配块的对应顶点：依据所述相似度测量指标，在整像素点C点和其周围8个1/2像素点分别为顶点组成的9个1/2像素精度匹配块中寻找最优匹配块，得到像素点C到其周围1/2像素点的运动向量 ，再结合向量 ，获得所述该图像块与匹配块之间1/2像素精度的运动向量 。
[0032] 第二步，求得1/2像素精度的运动向量后，1/4像素精度的运动向量可通过线性内插、以及与上一布类似的计算方法得出。具体计算也分为两种情况：若1/4像素点的位置与整数像素点或1/2像素点相邻，如图4中的aa和cc像素点，计算公式如式（4）；若1/4像素点的位置与整数像素点和1/2像素点均不相邻，如图4中的bb像素点，由对角线上的2个1/2像素点计算得到，计算公式如式（5）。公式（4）和（5）中右移1位(>>1)表示除以2后只截取整数部分的计算。
[0033] （4）
[0034] （5）
[0035] 1/4像素点插值后，每个1/2像素点周围有8个1/4像素点，如图4所示，对终点指向i点的运动向量 ，依据所述相似度测量指标在1/2像素点i点和其周围8个1/4像素点分别为顶点组成的9个1/4像素精度匹配块中寻找最优匹配块，得到像素点i到其周围1/4像素点的运动向量 ，再结合向量 ，获得所述该图像块与匹配块之间
1/4像素精度的运动向量 。
[0036] 本发明中，捕捉的输入散斑图像包括所述物体移动过程中捕捉的一系列测试图像，并可根据所估计的位置跟踪目标区域内物体的运动。
[0037] 虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的图案投射和图像传感器系统中。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。
