光学运动感知方法转让专利
申请号 : CN200710196741.1
文献号 : CN101169693B
文献日 : 2010-06-09
发明人 : 林豹 , 肖勇
申请人 : 埃派克森微电子有限公司
摘要 :
一种光学运动感知方法，用于视频系统指示装置上，该指示装置上设有光敏检测器阵列，用以光学感知外部物体的图像，从而感知物体的运动，它包括如下步骤：利用光敏检测器阵列获取外部物体的两帧图像，分别形成参考帧与目标帧；根据设置的预测位移量预测参考帧与目标帧中的信息重叠区；在参考帧预测的信息重叠区选择一参考块，而在目标帧预测的信息重叠区内预定一具有多个定位点的方向模板；将参考块与以该方向模板的各个定位点为基准点形成的各个搜索块进行相关计算，确定关联性最强的搜索块以及该搜索块的位置；利用该搜索块基准点相对于方向模板中心点位置的距离修正预测位移量输出修正后的实际位移矢量
权利要求 :
1.一种用于视频系统指示装置上的光学运动感知方法，所述指示装置设有光敏检测器阵列，用以光学感知外部物体的图像，从而感知物体的运动，其特征在于，所述方法包括如下步骤：用光敏检测器阵列，获取外部物体的两帧图像；
根据所获取的两帧图像，分别形成参考帧与目标帧；
根据设置的预测位移量预测所述参考帧与所述目标帧中的信息重叠区；
将所述参考帧的信息重叠区中的某一定位点设为基准点，并从所述基准点开始，向四周延伸一定的距离，当触及到所述参考帧的信息重叠区的边界停止，从而得到所述参考帧的一组距离分量；而在所述目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板，并且所述参考帧的基准点与所述方向模板的中心对应，并在所述目标帧的信息重叠区中，以所述方向模板的各个定位点为起点，往上、下、左、右四个方向延伸，延伸至所述目标帧的信息重叠区的边界处停止，从而得到所述目标帧的多组上、下、左、右的距离分量，在依上述方法形成的所述参考帧的一组距离分量和所述目标帧的多组上、下、左、右的距离分量中，选择最小的上、下、左、右的距离分量，并以所述参考帧的基准点为起点，确定参考块的形状和大小，所述参考块的基准点与所述方向模板的中心对应，并在所述目标帧的信息重叠区中；
以所述方向模板的各定位点为基准点，形成多个形状和大小与所述参考块的形状和大小相同的搜索块；
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai，利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离，当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强，从而确定关联性最强的搜索块以及所述关联性最强的搜索块的位置；
利用所述关联性最强的搜索块的基准点相对于方向模板的中心位置的距离修正预测位移量以及输出修正后的实际位移矢量
2.如权利要求1所述的光学运动感知方法，其特征在于，所述预测的位移量是由上次运动的实际位移矢量确定的。
3.如权利要求1所述的光学运动感知方法，其特征在于，还包括把修正后的实际位移矢量累积到运动的积累量上，为下一次运动预测做准备。
4.如权利要求1所述的光学运动感知方法，其特征在于，当关联性最强的搜索块包括的像素点个数小于某一阈值时，则更换参考帧，同时将运动的积累量置零，并采用上次运动的实际位移矢量来确定该次运动的信息重叠区的预测位移量。
说明书 :
技术领域
本发明涉及一种运动感知方法，特别涉及应用在计算机或视频系统指示装置上的光学运动感知方法。
背景技术
计算机指示装置，如鼠标，是最为常用的计算机接口设备之一。当用户在工作表面上移动鼠标时，鼠标内的运动感知装置便感知此运动，由此可以移动计算机屏幕上的指针。
现有技术中的光学感知装置一般包括：光发射装置(如发光二极管)和光敏检测器阵列。光敏检测器阵列可以检测鼠标垫或桌面的特征。光敏检测器通常排列成二维阵列，运动的感知和跟踪是通过计算新捕获的采样图像(或称“帧”)和以前捕获的参考图像之间的相关性来完成对运动方向及大小的确定的。
现有技术中的通常做法是，在第一帧图像中选择部分影像作为参考块，然后将该参考块与第二帧图像在不同的位置进行关联性计算，以找出匹配关联性最强的位置，从而得到位移量。
但是，现有技术的这种方法存在许多不足之处。例如，相关性的计算量过大，电路复杂，功耗大，等等。并且即使采用这种方法也未必能真正得到正确的结果。另外，如果参考块是选择在第一帧图像中的未与第二帧图像的重叠区时，那么在第二帧图像中就会因无法找到相匹配的位置而出错。
因此，人们希望找到一种可靠的光学运动感知方法，以改进现有技术。
现有技术中的光学感知装置一般包括：光发射装置(如发光二极管)和光敏检测器阵列。光敏检测器阵列可以检测鼠标垫或桌面的特征。光敏检测器通常排列成二维阵列，运动的感知和跟踪是通过计算新捕获的采样图像(或称“帧”)和以前捕获的参考图像之间的相关性来完成对运动方向及大小的确定的。
现有技术中的通常做法是，在第一帧图像中选择部分影像作为参考块，然后将该参考块与第二帧图像在不同的位置进行关联性计算，以找出匹配关联性最强的位置，从而得到位移量。
但是，现有技术的这种方法存在许多不足之处。例如，相关性的计算量过大，电路复杂，功耗大，等等。并且即使采用这种方法也未必能真正得到正确的结果。另外，如果参考块是选择在第一帧图像中的未与第二帧图像的重叠区时，那么在第二帧图像中就会因无法找到相匹配的位置而出错。
因此，人们希望找到一种可靠的光学运动感知方法，以改进现有技术。
发明内容
本发明的目的在于提供一种简洁且精确的光学运动感知方法。本发明的方法能够准确地跟踪运动方向和位移，且速度快，能够减少延迟并提高指示装置的性能。
为实现上述发明目的，本发明提供了一种在视频系统指示装置上感知物体运动的方法，该指示装置上设有光敏检测器阵列，用以光学感知外部物体的图像，以感知物体的运动。本领域中的普通技术人员能够理解，这里所说的视频系统可以是诸如计算机显示屏、电视机、游戏机等诸如此类的视频系统。
本发明的方法包括如下步骤：
用光敏检测器阵列，获取外部物体的两帧图像；
根据所获取的两帧图像，分别形成参考帧与目标帧；
根据设置的预测位移量预测所述参考帧与所述目标帧中的信息重叠区；
将参考帧的信息重叠区中的某一定位点设为基准点，而在目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板，并且参考块的基准点与该方向模板的中心对应，并在所述目标帧的信息重叠区中，以所述方向模板的各个定位点为起点，往上、下、左、右四个方向延伸，延伸至所述信息重叠区的边界处停止，从而得到多组上、下、左、右的距离分量，同理也可得到所述参考块的一组距离分量，如此依上述形成的多组上、下、左、右的距离分量，选择最小的上、下、左、右的距离分量，并以所述参考块的基准点为起点，确定所述参考块的形状和大小；
以方向模板的各定位点为基准点，形成多个形状和大小与所述参考块的形状和大小相同的搜索块；
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai，利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离，当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强，从而确定关联性最强的搜索块以及该搜索块的位置；
利用该搜索块基准点相对于方向模板的中心位置的距离修正预测位移量以及
输出修正后的实际位移矢量
依据上述主要特征，其中预测的位移量是由上次运动的实际位移矢量确定。
依据上述主要特征，该方法还包括把修正后的实际位移矢量累积到运动的积累量上，为下一次运动预测做准备。
依据上述主要特征，当关联性最强的搜索块包括的像素点个数小于某一阈值时，则更换参考帧，同时运动的积累量置零，而该次运动的信息重叠区的预测量由上次运动的实际位移矢量确定。
与现有技术相比较，本发明采用的方法比现有技术更加简洁，从而减少的相关运算量，利于提高检测速度，并且还提高了运动搜索的精确度。
为实现上述发明目的，本发明提供了一种在视频系统指示装置上感知物体运动的方法，该指示装置上设有光敏检测器阵列，用以光学感知外部物体的图像，以感知物体的运动。本领域中的普通技术人员能够理解，这里所说的视频系统可以是诸如计算机显示屏、电视机、游戏机等诸如此类的视频系统。
本发明的方法包括如下步骤：
用光敏检测器阵列，获取外部物体的两帧图像；
根据所获取的两帧图像，分别形成参考帧与目标帧；
根据设置的预测位移量预测所述参考帧与所述目标帧中的信息重叠区；
将参考帧的信息重叠区中的某一定位点设为基准点，而在目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板，并且参考块的基准点与该方向模板的中心对应，并在所述目标帧的信息重叠区中，以所述方向模板的各个定位点为起点，往上、下、左、右四个方向延伸，延伸至所述信息重叠区的边界处停止，从而得到多组上、下、左、右的距离分量，同理也可得到所述参考块的一组距离分量，如此依上述形成的多组上、下、左、右的距离分量，选择最小的上、下、左、右的距离分量，并以所述参考块的基准点为起点，确定所述参考块的形状和大小；
以方向模板的各定位点为基准点，形成多个形状和大小与所述参考块的形状和大小相同的搜索块；
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai，利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离，当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强，从而确定关联性最强的搜索块以及该搜索块的位置；
利用该搜索块基准点相对于方向模板的中心位置的距离修正预测位移量以及
输出修正后的实际位移矢量
依据上述主要特征，其中预测的位移量是由上次运动的实际位移矢量确定。
依据上述主要特征，该方法还包括把修正后的实际位移矢量累积到运动的积累量上，为下一次运动预测做准备。
依据上述主要特征，当关联性最强的搜索块包括的像素点个数小于某一阈值时，则更换参考帧，同时运动的积累量置零，而该次运动的信息重叠区的预测量由上次运动的实际位移矢量确定。
与现有技术相比较，本发明采用的方法比现有技术更加简洁，从而减少的相关运算量，利于提高检测速度，并且还提高了运动搜索的精确度。
附图说明
读者在参照附图阅读了本发明的具体实施例以后，将会清楚地了解本发明的各个方面及其优点。
其中，
图1是本发明的参考帧与参考块的示意图。
图2是本发明中目标帧中所使用的一个方向模板的示意图。
图3是本发明中确定参考块形状与大小的示意图。
图4是本发明的流程图。
图5是换帧条件设定在匹配块小于80个像素点时，慢速画圆条件下本发明与现有常用算法的比较示意图。
图6是换帧条件设定在匹配块小于80个像素点时，中速画圆条件下本发明与现有常用算法的比较示意图。
图7是换帧条件设定在匹配块小80个像素点时，快速画圆条件下本发明与现有常用算法的比较示意图。
其中，
图1是本发明的参考帧与参考块的示意图。
图2是本发明中目标帧中所使用的一个方向模板的示意图。
图3是本发明中确定参考块形状与大小的示意图。
图4是本发明的流程图。
图5是换帧条件设定在匹配块小于80个像素点时，慢速画圆条件下本发明与现有常用算法的比较示意图。
图6是换帧条件设定在匹配块小于80个像素点时，中速画圆条件下本发明与现有常用算法的比较示意图。
图7是换帧条件设定在匹配块小80个像素点时，快速画圆条件下本发明与现有常用算法的比较示意图。
具体实施方式
下面结合附图，详细描述按照本发明的具体实施方式。
首先，采用光敏检测器阵列，从外部获取外部物体分别对应于当前运动帧和先前运动帧的图像，并根据获取的两帧图像，分别形成如图1所示的参考帧和如图2所示的目标帧。
下面参照图4描述本发明的方法。
本发明的方法用于各种视频系统指示装置上，该指示装置上设有光敏检测器阵列，用以采用光学手段感知外部物体的图像，从而感知物体的运动，利用此方法能够有重点的先确定关联性较强的区域，即信息重叠区，然后把所有分析和计算都放在该区域中进行。本发明的方法主要包括如下步骤：
设置的预测位移量并根据所设置的预测位移量来预测参考帧与目标帧中的信息重叠区，图1和图2中的阴影部分即为所涉及的信息重叠区；
在参考帧预测的信息重叠区中选择一个参考块，而在目标帧预测的信息重叠区内也预定一个具有多个定位点的方向模板，并且使参考块的基准点与该方向模板的中心对应；
将参考块与以该方向模板的各定位点为基准点，形成各个搜索块，并进行相关性计算，确定关联性最强的搜索块(也称为匹配块)以及该关联性最强的搜索块的位置；
利用该搜索块基准点相对于方向模板的中心位置的距离来修正预测位移量
输出修正后的实际位移矢量
上述步骤中：
1.预测位移量和信息重叠区的设置：
如上所述，本发明用上次运动的结果对本次运动进行预测，即
如果把更换参考帧之前所有运动矢量累加到位移的积累量上，那么本次运动的重叠区的预测位置为：如此在参考帧预测的信息重叠区中确定一个参考块。
2.基准点、中心点和方向模板的确定：
将参考帧的重叠区域的某一定位点设为基准点，并把目标帧中与此基准点对应的定位点设为方向模板的中心点。
在本实施例中，该方向模板是由13个定位点组成的菱形模板。但在实际上，也可以采用形状为方形或圆形或其它形状的模板。
3.参考块形状与大小的确定：
先在参考块帧的信息重叠区中，以上述选择的基准点开始，往四个方向延伸一定的距离，以确定一个参考块的大小和形状。例如，触及到信息重叠区的边界停止，得到一组距离分量U0、D0、L0、R0，如图1所示。
同理，在目标帧中，以方向模板的每个定位点为基准都可以确定一组U、D、L、R，从而会得到13组U、D、L、R分量，如图3所示，加上U0、D0、L0、R0，则一共有14组分量。然后，比较此14组分量，得到最小的U、D、L、R值，之后在参考块中，以基准点为起点，向上、下、左、右四个方向分别延伸由上述四个最小的U、D、L、R确定的距离，就确定了一个参考块的大小和形状。
4.搜索块的确定及相关计算：
在确定了参考块的形状和大小后，以上述方向模板的各个定位点为基准点，可以选择形状、大小与参考块相同的矩阵，从而可以确定13个搜索块。
每个进行匹配的块，即参考块与搜索块都对应一个灰度矩阵。如果用C表示参考块矩阵，Si表示第i个搜索块矩阵，那么可以得到参考块矩阵和搜索块矩阵的差值矩阵Ai，其中Ai＝Si-C，并且利用矩阵范数||Ai||表示两个矩阵的距离。||Ai||越小，表示参考块和搜索块的关联性越强。最小||Ai||对应的搜索块就是匹配块。
5.修正值计算：关联性最强的搜索块(即匹配块)的基准点相对于方向模板的中心点的距离就是所需的修正值
6.运动矢量计算：运动矢量的预测值加上修正值就是本次运动的运动矢量即然后把该运动矢量累积到运动的积累量上，为下一次运动预测做准备。
当信息重叠区太小时，上述运算不便进行，或者是一次运动的矢量值较大，信息重叠区较小，这种情况导致匹配块较小，当匹配块包括的像素点个数小于某一阈值，如小于80个时，则更换参考帧，同时运动的积累量置零，该次运动的信息重叠区的预测量由上次运动的实际位移矢量确定。
与现有技术相比较，本发明通过预测选择重叠区域，之后利用方向模板确定参考块的大小与形状，并决定搜索块的大小与形状，从而进行相关计算找出匹配块，由于缩小了匹配的区域，从而相关性的计算量大副度减小，并且换帧的频率相对较低，这样形成的轨迹的平滑度就更好，匹配精度更高。
与现有技术相比，本发明至少具有两个方面的优越性：
从速度方向来看，如果换帧的条件设定在匹配块大小为80个像素点时，利用本发明，即使速度达到9个像素点以上时，还能准确地找到运动矢量，而现有技术的算法只能达到6个像素点。因此，本发明可以适用于高速应用场合。
另一方面，从轨迹质量来看，轨迹的平滑度是衡量轨迹质量的重要标准。下面通过平滑度来比较本发明相对于以前技术的优越性。图5把换帧条件设定在匹配块小于80个像素点时慢速画圆的情形，左边为现有技术中的常用方法，右边为本发明采用的方法。图6把换帧条件设定在匹配块小于80个像素点时中速画圆的情形，左边为现有技术中常用的方法，右边为本发明采用的方法。图7把换帧条件设定在匹配块小于80个像素点时快速画圆的情形，左边为现有技术中常用的方法，右边为本发明采用的方法。从上述四组图的比较中可以清楚地看到，本发明采用的方法的轨迹平滑度大大优于现有的方法。
上文中参考附图描述了本发明的具体实施例。本领域中的普通技术人员能够理解，这些实施例是非限定性的。可以对这些实施例作各种变更。这些变更都落在权利要求书所限定的保护范围内。
首先，采用光敏检测器阵列，从外部获取外部物体分别对应于当前运动帧和先前运动帧的图像，并根据获取的两帧图像，分别形成如图1所示的参考帧和如图2所示的目标帧。
下面参照图4描述本发明的方法。
本发明的方法用于各种视频系统指示装置上，该指示装置上设有光敏检测器阵列，用以采用光学手段感知外部物体的图像，从而感知物体的运动，利用此方法能够有重点的先确定关联性较强的区域，即信息重叠区，然后把所有分析和计算都放在该区域中进行。本发明的方法主要包括如下步骤：
设置的预测位移量并根据所设置的预测位移量来预测参考帧与目标帧中的信息重叠区，图1和图2中的阴影部分即为所涉及的信息重叠区；
在参考帧预测的信息重叠区中选择一个参考块，而在目标帧预测的信息重叠区内也预定一个具有多个定位点的方向模板，并且使参考块的基准点与该方向模板的中心对应；
将参考块与以该方向模板的各定位点为基准点，形成各个搜索块，并进行相关性计算，确定关联性最强的搜索块(也称为匹配块)以及该关联性最强的搜索块的位置；
利用该搜索块基准点相对于方向模板的中心位置的距离来修正预测位移量
输出修正后的实际位移矢量
上述步骤中：
1.预测位移量和信息重叠区的设置：
如上所述，本发明用上次运动的结果对本次运动进行预测，即
如果把更换参考帧之前所有运动矢量累加到位移的积累量上，那么本次运动的重叠区的预测位置为：如此在参考帧预测的信息重叠区中确定一个参考块。
2.基准点、中心点和方向模板的确定：
将参考帧的重叠区域的某一定位点设为基准点，并把目标帧中与此基准点对应的定位点设为方向模板的中心点。
在本实施例中，该方向模板是由13个定位点组成的菱形模板。但在实际上，也可以采用形状为方形或圆形或其它形状的模板。
3.参考块形状与大小的确定：
先在参考块帧的信息重叠区中，以上述选择的基准点开始，往四个方向延伸一定的距离，以确定一个参考块的大小和形状。例如，触及到信息重叠区的边界停止，得到一组距离分量U0、D0、L0、R0，如图1所示。
同理，在目标帧中，以方向模板的每个定位点为基准都可以确定一组U、D、L、R，从而会得到13组U、D、L、R分量，如图3所示，加上U0、D0、L0、R0，则一共有14组分量。然后，比较此14组分量，得到最小的U、D、L、R值，之后在参考块中，以基准点为起点，向上、下、左、右四个方向分别延伸由上述四个最小的U、D、L、R确定的距离，就确定了一个参考块的大小和形状。
4.搜索块的确定及相关计算：
在确定了参考块的形状和大小后，以上述方向模板的各个定位点为基准点，可以选择形状、大小与参考块相同的矩阵，从而可以确定13个搜索块。
每个进行匹配的块，即参考块与搜索块都对应一个灰度矩阵。如果用C表示参考块矩阵，Si表示第i个搜索块矩阵，那么可以得到参考块矩阵和搜索块矩阵的差值矩阵Ai，其中Ai＝Si-C，并且利用矩阵范数||Ai||表示两个矩阵的距离。||Ai||越小，表示参考块和搜索块的关联性越强。最小||Ai||对应的搜索块就是匹配块。
5.修正值计算：关联性最强的搜索块(即匹配块)的基准点相对于方向模板的中心点的距离就是所需的修正值
6.运动矢量计算：运动矢量的预测值加上修正值就是本次运动的运动矢量即然后把该运动矢量累积到运动的积累量上，为下一次运动预测做准备。
当信息重叠区太小时，上述运算不便进行，或者是一次运动的矢量值较大，信息重叠区较小，这种情况导致匹配块较小，当匹配块包括的像素点个数小于某一阈值，如小于80个时，则更换参考帧，同时运动的积累量置零，该次运动的信息重叠区的预测量由上次运动的实际位移矢量确定。
与现有技术相比较，本发明通过预测选择重叠区域，之后利用方向模板确定参考块的大小与形状，并决定搜索块的大小与形状，从而进行相关计算找出匹配块，由于缩小了匹配的区域，从而相关性的计算量大副度减小，并且换帧的频率相对较低，这样形成的轨迹的平滑度就更好，匹配精度更高。
与现有技术相比，本发明至少具有两个方面的优越性：
从速度方向来看，如果换帧的条件设定在匹配块大小为80个像素点时，利用本发明，即使速度达到9个像素点以上时，还能准确地找到运动矢量，而现有技术的算法只能达到6个像素点。因此，本发明可以适用于高速应用场合。
另一方面，从轨迹质量来看，轨迹的平滑度是衡量轨迹质量的重要标准。下面通过平滑度来比较本发明相对于以前技术的优越性。图5把换帧条件设定在匹配块小于80个像素点时慢速画圆的情形，左边为现有技术中的常用方法，右边为本发明采用的方法。图6把换帧条件设定在匹配块小于80个像素点时中速画圆的情形，左边为现有技术中常用的方法，右边为本发明采用的方法。图7把换帧条件设定在匹配块小于80个像素点时快速画圆的情形，左边为现有技术中常用的方法，右边为本发明采用的方法。从上述四组图的比较中可以清楚地看到，本发明采用的方法的轨迹平滑度大大优于现有的方法。
上文中参考附图描述了本发明的具体实施例。本领域中的普通技术人员能够理解，这些实施例是非限定性的。可以对这些实施例作各种变更。这些变更都落在权利要求书所限定的保护范围内。