运动图像位移检测方法及装置、光电鼠标

摘要

一种运动图像位移检测方法及装置，用于分析具有时间关系的图像序列以确定采集该图像序列过程中光感应器件相对于物体的运动轨迹，可用于光电鼠标。令图像信号处理单元按时间顺序接收所述图像序列；基于所述图像序列，依次对各当前图像进行数据处理，依据与该当前图像相对应的差分图像上的各像素进行二维光流计算处理，采用全局矩阵运算方法来计算并输出与当前图像对应的位移矢量。采用本发明的光电鼠标，导航定位的精确度和检测的稳定性均得到有效提高。

权利要求

1.一种运动图像位移检测方法，用于分析具有时间关系的图像序列以确定采集该图像序列时光感应器件相对于物体的运动轨迹，包括步骤：A.图像信号处理单元按时间顺序接收所述图像序列；

其特征在于：所述图像序列包括三帧或三帧以上的图像；还包括步骤

B.基于所述图像序列，依次对各当前图像进行数据处理，依据与该当前图像相对应的差分图像上的各像素进行计算，按下列公式计算并输出与当前图像对应的位移矢量(ux，uy)其中Dx，Dy为差分像素的空间导数，代表着差分像素梯度值的两个分量；Dt为差分图像的时间导数；n为该差分图像内的像素数。

2.根据权利要求1所述的运动图像位移检测方法，其特征在于，还包括步骤：C.根据步骤B中的各位移矢量及其对应图像间的时间间隔来拟合出所述运动轨迹。

3.根据权利要求1所述的运动图像位移检测方法，其特征在于，所述步骤B具体为包括步骤：①根据所述图像序列来产生差分图像序列，即把该图像序列中当前帧图像数据的一后帧图像数据减去当前帧图像数据后作为当前帧的差分图像数据，再设定该后帧图像数据为当前帧图像数据，......依此类推直到获得两帧或两帧以上的差分图像来构成所述差分图像序列；

②利用当前差分图像及其一后帧差分图像来计算当前差分图像中每一像素的所述空间导数Dx，Dy和时间导数Dt；

③通过两两相乘来运算得到所述公式中的各中间系数 DxDy，DxDt，DyDt；

④在当前差分图像范围内计算所述公式中的各中间系数的累加和；并进而计算得到所述位移矢量(ux，uy)。

4.根据权利要求1所述的运动图像位移检测方法，其特征在于，所述步骤B具体为包括步骤：①根据所述图像序列利用当前图像及其一后帧图像来计算获得当前图像中每一像素的空间导数Ix，Iy和时间导数It；

②把一后帧图像中各像素的空间导数Ix，Iy和时间导数It减去当前帧图像中相应像素的空间导数和时间导数，来产生与当前图像相对应的差分图像的每一像素的所述空间导数Dx，Dy和时间导数Dt；

③通过两两相乘来运算得到所述公式中的各中间系数 DxDy，DxDt，DyDt；

④在当前差分图像范围内计算所述公式中的各中间系数的累加和；并进而计算得到所述位移矢量(ux，uy)。

5.根据权利要求3或4所述的运动图像位移检测方法，其特征在于：

所述后帧图像或者为所述图像序列中当前图像的下一帧图像，或者为所述图像序列中当前图像之后若干帧的一帧图像。

6.根据权利要求1所述的运动图像位移检测方法，其特征在于：

步骤B对各当前图像进行数据处理时，处理区域最大为图像区域的可求导数的最大相关区域。

7.一种运动图像位移检测装置，用于光电鼠标；包括一个用来接收数字图像信号的数据接口以及一个数据输出口；其特征在于：还包括串连连接的差分处理模块及求导处理模块，来自所述数据接口的数字图像信号经差分处理模块以帧为单位进行帧间数据的差分运算及求导处理模块的求导运算后，输出与当前帧图像相对应的差分图像的每一像素的空间导数Dx，Dy和时间导数Dt送往全局运算模块，分别计算该差分图像预定范围内所有像素的各个中间系数 DxDy，DxDt，DyDt的累加和；该全局运算模块输出这些累加和往位移矢量计算单元，以按公式 来计算位移矢量(ux，uy)，

其中n为所述差分图像预定范围内的像素的数量；该位移矢量计算单元输出位移矢量(ux，uy)往所述数据输出口。

8.根据权利要求7所述的运动图像位移检测装置，其特征在于：

还包括两个相串连的帧延迟器或帧缓存存储器，连接所述数据接口，将所述数字图像信号以帧为单位进行分离；令远离所述数据接口的第二帧延迟器或第二帧缓存存储器输出当前帧图像数据，则第一帧延迟器或第一帧缓存存储器输出的是该当前帧的一帧后帧图像的数据，所述数据接口同时输出的是该后帧图像的一帧后帧图像的数据，这三帧图像数据同时输出往差分处理模块和求导处理模块的串连支路。

9.根据权利要求8所述的运动图像位移检测装置，其特征在于：

所述差分处理模块串连在所述数据接口和求导处理模块之间，所述第二帧延迟器/帧缓存存储器和第一帧延迟器/帧缓存存储器分别提供一路输出送往所述差分处理模块进行帧间差分，从而该差分处理模块同时产生两帧差分图像数据送往所述求导处理模块。

10.根据权利要求8所述的运动图像位移检测装置，其特征在于：

所述求导处理模块串连在所述数据接口和差分处理模块之间，所述第二帧延迟器/帧缓存存储器和第一帧延迟器/帧缓存存储器分别提供一路输出送往所述求导处理模块，从而该求导处理模块同时产生两帧空间导数Ix，Iy和时间导数It送往所述差分处理模块进行帧间差分以获得差分后的空间导数Dx，Dy和时间导数Dt。

11.根据权利要求7所述的运动图像位移检测装置，其特征在于：

还包括一微控制单元，该微控制单元具有用来接收按键信号的按键接口；该微控制单元接收来自所述按键接口的数据和来自所述位移矢量计算单元的位移矢量数据，并将这些数据打包输出往所述数据输出口。

12.一种光电鼠标，包括提供照射光的发光二极管，用来感应被物面反射的照射光并将光信号转换成模拟图像信号的图像传感器，将所述模拟图像信号转换成数字图像信号的模数转换器，以及一个接收所述数字图像信号的图像信号处理单元；还包括一用来电连接电脑主机和鼠标按键的微控制单元；所述图像信号处理单元的数据输出口连接所述微控制单元；其特征在于：该图像信号处理单元为权利要求7～10中任一项所述的运动图像位移检测装置。

13.根据权利要求12所述的光电鼠标，其特征在于：

所述图像传感器与所述模数转换器为一体的微成像器，或，所述图像信号处理单元和所述微控制单元被集成在一颗芯片内。

说明书

运动图像位移检测方法及装置、光电鼠标

技术领域

[0001] 本发明涉及以运动图像为分析对象的电数字数据处理技术，尤其涉及用于光电鼠标领域的运动位移检测的数据处理方法及装置。

背景技术

[0002] 作为当前鼠标界的主流，光电鼠标所采用的发光二极管定位方法也成了目前的主流定位方法。

[0003] 图1示意了光电鼠标的内部结构，包括发光二极管1，来自该发光二极管1的光线被一组光学反射镜2引导并照射往与光电鼠标底部相接触的表面；被该表面反射回的光线
一部分经一组光学透镜2′传输到光感应器件3(例如但不限于可输出数字图像信号的微
成像器)进行成像。这样，当光电鼠标移动时，其移动轨迹便会被高速“连拍”所记录下来
的一组图像所揭示。利用光电鼠标所包括的图像分析器4(可以是基于数字信号处理器DSP
的专用芯片)来分析处理该组图像，即可得出所述移动轨迹。在实际应用中，所述光感应器
件3和图像分析器4往往被集成在一颗芯片内。

[0004] 图2示意了光电鼠标的电工作原理，虚线框内示意的是光电鼠标的电结构，具有一连接按键的接口及一连接电脑主机的接口。该电结构包括图像传感器(sensor)，用来采
集并将光图像信号转换为电图像信号；该电图像信号被送往模数转换器以转换成数字图像
信号，再被送往图像信号处理单元来计算生成鼠标位移矢量；微控制单元通过电连接来控
制包括图像传感器、模数转换器或图像信号处理单元在内的各电路模块，及接收来自各电
路模块的状态信号；来自图像信号处理单元的位移矢量数据和来自鼠标按键的按键信息通
过该微控制单元一起打包发送给电脑主机。所述微成像器至少包括了图像传感器和模数转
换器。图像信号处理单元可以采用专用的一颗芯片，或者与微控制单元一起集成在一颗芯
片内。

[0005] 图3示意了所述鼠标位移矢量。假设a、b为对应先后时间的两帧图像，三角形代表图像上的同一特征点，则图像信号处理单元通过提取所述特征点和分析其位置变化来判
断鼠标的移动方向和移动距离。图c示意了特征点位置变化所计算得出的ΔX，ΔY，唯一地
对应于鼠标位移矢量，从而完成光标定位。现有定位方法大多采用基于相关匹配的插值算
法来获取鼠标的运动矢量，如图4所示，可以通过在下一帧(如图b)中寻找与当前帧(如
图a)特征点最佳匹配的位置来获得当前的位移矢量(如图c)，其中图d示意了一个3*3像
素的模板，可以以该模板为单元在图像区域中寻找最佳匹配。该方法具有性能稳定的优点，
但由于插值算法的局限性，无法有效获得亚像素大小的精度。

[0006] 为了获得较高的运动精度，现有技术进一步将计算区域光流的方法用于鼠标定位，以获得高达1／4像素以上的精度。该方法先对图像上的像素建立超定二元光流方程，
通过该方程来求解获得单个像素的运动矢量，并用最小二乘法来拟合出多个像素的运动矢
量均值，即鼠标的位移向量。为了简化对该方法的描述，图5把来自光感应器件的图像信号
简化成一维信号为例进行示意。设曲线A为t时刻信号，曲线B为t+Δt时刻信号；假定在
t时刻，x位置的信号幅度值为f(x，t)；在t+Δt时刻，x+Δx位置的信号幅度值为f(x+Δx，
t+Δt)。如果信号在Δt时间内移动了Δt距离，那么在不考虑其它干扰的情况下，可以知
道：

[0007] f(x+Δx，t+Δt)=f(x，t) (1)

[0008] 对上式左边作泰勒展开得：

[0009]

[0010] 联立(1)式，并忽略o(Δx，Δt)得：

[0011]

[0012] 即：

[0013] Ixux+It=0 (3)

[0014] 式中， 为信号在x位置的斜率， 为信号在x位置随时间的变化率。为信号在x方向上的运动速度。式(3)即为一维运动信号的光流方程。

[0015] 同理，二维信号的光流方程为：

[0016] Ixux+Iyuy+It=0 (4)

[0017] 此时一个方程不足以求解两个未知数ux，uy。因此要寻找多个关于ux，uy的方程来求解：

[0018]

[0019] 于是

[0020]

[0021] 以公式6为指导依据，在所述图像信号处理单元内，现有光流法计算位移的信号处理电路具有如图6所示的处理流程。数字图像信号被送往该信号处理电路后，先经过一
个除噪、求导处理模块来生成空间导数Ix，Iy(像素梯度值的两个分量)和时间导数It，及由
此进一步计算获得导数的积 特征区域查找模块及其后续的参数计算模
块根据所述数字图像信号来选取图像上的特定区域，以该区域的m*m=n个像素为模板来查
找特征区域，并基于该特征区域利用来自除噪、求导处理模块的对应数据来计算方程6中
的参数a、b、c、e和f，即 和 各参数的累加和；位
移矢量计算模块再根据这些参数来计算并输出位移矢量(ux，uy)。上述处理中，一般选取梯
度值较大的区域作为特征区域。

[0022] 上述现有技术的缺点在于：计算所述位移矢量时容易被本底干扰所影响，从而影响鼠标的定位精度。由于光学透镜(例如带杂质或反射率不均匀)及光传感器后期封装等
方面的影响，来自图1所示结构中光感应器件3的图像将带有不可避免的本底噪声，此外鼠
标电路本身也存在固定的噪声干扰。如图7所示，图7a为干扰信号可忽略不计时以两条曲
线1和2分别代表前后两帧图像信号；7b表示本底干扰不能忽略，即相对于本底干扰(以
弯曲的粗线3来表示)有效信号较微弱的情况，此时采用光流法进行参数计算将带来很大
计算误差。

发明内容

[0023] 本发明要解决的技术问题是针对上述现有技术的不足之处，而提出一种用于运动图像位移检测的方法及装置，来有效降低运动采集图像中的本底干扰的影响。

[0024] 为解决上述技术问题，本发明的基本构思为：考虑到本底噪声具有变化缓慢的特点，对于高速连拍所获得的前后帧图像而言，可以假设其本底噪声近似一致，因此若用帧间
差分图像信号来代替图像信号进行二维光流计算处理，且在运算过程中采用全局矩阵运算
方法，无疑将大为排除本底噪声干扰的影响，并简化运算过程。

[0025] 作为实现本发明构思的技术方案是，提供一种运动图像位移检测方法，用于分析具有时间关系的图像序列以确定采集该图像序列时光感应器件相对于物体的运动轨迹，包
括步骤：

[0026] A.图像信号处理单元按时间顺序接收所述图像序列；

[0027] 尤其是，所述图像序列包括三帧或三帧以上的图像；还包括步骤

[0028] B.基于所述图像序列，依次对各当前图像进行数据处理，依据与该当前图像相对应的差分图像上的各像素进行计算，按下列公式计算并输出与当前图像对应的位移矢量
(ux，uy)

[0029] 其中Dx，Dy为差分像素的空间导数，代表着差分像素梯度值的两个分量；Dt为差分图像的时间导数；n为该差分图像内的
像素数。

[0030] 具体地说，上述方案中，所述步骤B具体为包括步骤：

[0031] ①根据所述图像序列来产生差分图像序列，即把该图像序列中当前帧图像数据的一后帧图像数据减去当前帧图像数据后作为当前帧的差分图像数据，再设定该后帧图像数
据为当前帧图像数据，......依此类推直到获得两帧或两帧以上的差分图像来构成所述差
分图像序列；

[0032] ②利用当前差分图像及其一后帧差分图像来计算当前差分图像中每一像素的所述空间导数Dx，Dy和时间导数Dt；

[0033] ③通过两两相乘来运算得到所述公式中的各中间系数

[0034] ④在当前差分图像范围内计算所述公式中的各中间系数的累加和；并进而计算得到所述位移矢量(ux，uy)。

[0035] 作为实现本发明构思的技术方案还是，提供一种运动图像位移检测装置，用于光电鼠标；包括一个用来接收数字图像信号的数据接口以及一个数据输出口；尤其是，还
包括串连连接的差分处理模块及求导处理模块，来自所述数据接口的数字图像信号经差
分处理模块以帧为单位进行帧间数据的差分运算及求导处理模块的求导运算后，输出与
当前帧图像相对应的差分图像的每一像素的空间导数Dx，Dy和时间导数Dt送往全局运算
模块，分别计算该差分图像预定范围内所有像素的各个中间系数
的累加和；该全局运算模块输出这些累加和送往位移矢量计算单元，以按公式
来计算位移矢量(ux，uy)，其中n为所述
差分图像预定范围内的像素的数量；该位移矢量计算单元输出位移矢量(ux，uy)往所述数
据输出口。

[0036] 作为实现本发明构思的技术方案还是，提供一种光电鼠标，包括提供照射光的发光二极管，用来感应被物面反射的照射光并将光信号转换成模拟图像信号的图像传感器，
将所述模拟图像信号转换成数字图像信号的模数转换器，以及一个接收所述数字图像信号
的图像信号处理单元；还包括一用来电连接电脑主机和鼠标按键的微控制单元；所述图像
信号处理单元的数据输出口连接所述微控制单元；尤其是，该图像信号处理单元为所述一
种运动图像位移检测装置。

[0037] 采用上述各技术方案的光电鼠标，受本底干扰的影响大大降低，从而有效提高了鼠标导航定位的精确度的同时，增加了检测的稳定性；有利于提高产品成品率。

附图说明

[0038] 图1是现有鼠标工作的光原理及内部结构示意图；

[0039] 图2是现有鼠标工作的电原理及电路结构示意图；

[0040] 图3示意了现有鼠标位移矢量的计算原理；

[0041] 图4是现有基于图3的相关匹配定位特征区域的算法示意图；

[0042] 图5是以一维信号为例基于图3的光流方程的生成示意图；

[0043] 图6示意了现有图像信号处理单元内的信号处理流程框图；

[0044] 图7示意了本底干扰对信号处理的影响，其中7a示意了本底干扰忽略不计时光传感器所拍摄的图像信号，7b示意了存在本底干扰时的所述图像信号，7c示意了本发明方法
消除本底干扰后差分图像信号；

[0045] 图8示意了本发明方法流程；

[0046] 图9为采用图8方法的本发明图像信号处理单元内部信号处理电路框图；

[0047] 图10示意了图8中的图像采集输入与差分求导过程；

[0048] 图11为图10中图像差分与求导处理的实例过程图；

[0049] 图12为图10或图11中用来选择图像像素以求导的模板实例图；

[0050] 图13为实现图8方法的实施例之一；

[0051] 图14为实现图8方法的实施例之二。

具体实施方式

[0052] 下面，结合附图所示之最佳实施例进一步阐述本发明。

[0053] 本发明运动图像位移检测方法，用于分析具有时间关系的图像序列以确定采集该图像序列过程中光感应器件相对于物体的运动轨迹。获得所述图像序列的途径包括但不
限于：以图像传感器为例，将处于相对运动中的该图像传感器所拍摄到的反映输入光强度
变化信息的模拟电信号经过模数转换器，生成数字信号送入DSP(数字信号处理器)。在该
DSP中，所述数字信号先被转换成一帧帧的图像数据，即所述的图像序列。本发明方法包括
步骤：

[0054] A.图像信号处理单元按时间顺序接收所述图像序列；所述图像序列包括三帧或三帧以上的图像；

[0055] B.基于所述图像序列，依次对各当前图像进行数据处理，依据与该当前图像相对应的差分图像上的各像素进行计算。例如对连续相邻的三帧图像或连续相隔k(k为自然
数)帧的三帧图像的数据进行帧间两两差分，即三帧图像的灰度值按顺序两两相减来得到
差分后的两帧图像数据，再基于该两帧差分图像数据用光流法建立模型来计算位移矢量，
这样可以消除原始图像信号中所存在的本底噪声干扰。

[0056] 因为光流法必须以两帧图像为基础，只有采用三帧原始图像才可以得到一个位移矢量；对于包括k′(k′＞3)帧以上有效图像的图像序列，我们依次设定每一帧有效图像
为当前图像，则可以最多获得k′-2个位移矢量，因此本发明方法还可以包括步骤：

[0057] C.根据步骤B中的各位移矢量及其对应图像间的时间间隔来拟合出所述运动轨迹。

[0058] 上述描述中，所述帧间两两差分指的是图像各像素均进行对应的帧间数据差分(当所述图像数据以视频流信号的方式进行传输时，指的是相邻或相隔k帧所对应的时差
的视频流信号间的数据差分，其中k为自然数；为叙述简便，本处不再对视频流信号方式作
区别描述)：即D(x，y，t)=P(x，y，t)-P(x，y，t-k)，其中P(x，y，t)代表t时刻帧图像数据
中x，y位置处的像素的灰度值，D(x，y，t)代表t时刻帧差分图像数据中x，y位置处的像
素的灰度值。其中k值取决于成像的帧频以及成像过程中相对运动的运动速度。帧频大而
运动速度慢的情况下，k可以适当取大；反之，帧频小而运动速度快的情况下，k越小越好。

[0059] 在上述步骤B中使用光流法的详细过程如下：

[0060] 仍以一维信号为例。设t时刻的图像信号如图7(a)中曲线1所示，t+Δt时刻图像信号如曲线2所示；如图7(b)所示，受本底噪声影响，图像传感器获取的信号沿曲线3的
轨迹波动。若只考虑本底噪声干扰而不考虑其它噪声干扰，实际检测到的图像信号一般可
以表示为：

[0061] P(x，t)=I(x，t)A(x)+B(x) (7)

[0062] 其中，I(x，t)代表真实信号，A(x)代表本底的乘性干扰系数，B(x)代表本底的加性干扰系数，设A(x)和B(x)两者不随时间t变化。

[0063] 将公式(3)中的Ix换成Px且两边对时间t求导，并且设在信号匀速移动条件下(反映在二维图像信号即是鼠标匀速移动)，公式(3)中的ux不随时间变化或近似不变，可
得差分光流方程：

[0064] Pxtux+Ptt=0 (8)

[0065] 将(8)式作归一化处理，且Ixt=P(x，t)xt，Itt=P(x，t)tt，联立式(7)得：

[0066] {[Ii+1(x)-Ii(x)]xA(x)+[Ii+1(x)-Ii(x)]A(x)x}ux+[Ii+1(x)-Ii(x)]tA(x)=0

[0067] 通常，本底噪声在空间的变化率很小，[Ii+1(x)-Ii(x)]xA(x)□[Ii+1(x)-Ii(x)]A(x)x，故上式可化简为：

[0068] [Ii+1(x)-Ii(x)]xux+[Ii+1(x)-Ii(x)]t=0

[0069] 又令Di(x)=Ii+1(x)-Ii(x)，代入上式得：

[0070] Dxux+Dt=0 (9)

[0071] 则式(9)为归一化后的以差分信号Di(x)为信号源的差分光流方程。该式表明，D就是信号I前后两帧的差信号。如图7(c)所示，经过差分后的信号，基本上消除了本底干
扰。

[0072] 对于二维差分光流方程：

[0073] Dxux+Dyuy+Dt=0 (10)

[0074] 因为要求取两个变量ux，uy，故对多个像素建立超定差分光流方程组：

[0075]

[0076] 这里假设每个像素的位移矢量(ux，uy)近似相等(皆等于鼠标移动位移矢量)，整理后得差分光流方程如下：

[0077]

[0078] 在该方程中用Dx，Dy，Dt取代了传统光流方程中的Ix，Iy，It，即在对图像求导(求斜率)时，使用差分图像来取代原始图像。因此，本发明步骤B中可以按公式(12)来计算
并输出与当前图像对应的位移矢量(ux，uy)，其中Dx，Dy为差分像素的空间导数，代表着差分
像素梯度值的两个分量；Dt为时间导数；n为该图像内的像素数。

[0079] 图8示意了使用本发明方法的详细流程：

[0080] 先是获取图像序列：具体可以如图10所示，图像传感器以行扫描方式来采集反映了真实图像的光强度信号进而转换成一维的模拟电压信号，该模拟电压信号经过模数转换
器转换成数字图像信号后送入DSP；假设单帧图像像素为m×m个，例如取自然数m为16，则
在DSP中所述数字图像信号被按(T=)每256个时钟周期分割开来，转换成一帧帧的图像数
据。如图示的原始图像F2，F3，F4......中每帧图像包含了256个像素，每个像素具有一
灰度值。我们可以用Pk，i，j(i=1，2......m、j=1，2......m)来表示第k帧图像在坐标(i，j)
位置的像素所对应的灰度值(其物理含义为该像素对应的采样信号强度，下同)。

[0081] 如图8所示，接着进行差分处理，根据所述图像序列来产生差分图像序列，即把该图像序列中的一帧后帧图像数据减去当前帧图像数据后作为当前帧的差分图像数据，再设
定该后帧图像数据为当前帧图像数据，......依此类推直到获得两帧或两帧以上的差分图
像来构成所述差分图像序列。所述后帧图像或者为所述图像序列中当前图像的下一帧图
像，或者为所述图像序列中当前图像的下若干(≥2)帧图像。也就是说，设以Fk表示第k
帧的图像，该帧图像对应的差分图像是Fk+i-Fk的结果，该帧差分图像的下一帧差分图像则
是Fk+i+m-Fk+i的结果，其中k、i、m为自然数。当所述i=m=1，则代表先后两帧差分图像是由
图像序列中依次相邻的三帧图像进行帧间两两差分获得的；当i=m≠1，则代表先后两帧差
分图像是由图像序列中依次相隔等帧距的三帧图像进行帧间两两差分获得的；当i≠m，则
代表先后两帧差分图像是由图像序列中依次以不等帧距相邻或相隔的三帧图像进行帧间
两两差分获得的。

[0082] 图10以三帧图像采用相邻帧进行帧间两两差分为例，即原始图像F3-原始图像F2=差分图像DF5、原始图像F4-原始图像F3=差分图像DF6。图11示意了图10中的一个
差分实施例：设Pk-1，i，j，Pk，i，j，Pk+1，i，j(i=1，2......16；j=1，2......16)分别表示第k-1，k，k+1帧图像在(i，j)位置的像素的灰度值，则差分图像第k帧数据在(i、j)位置处的像素的
灰度值为Dk，i，j=Pk，i，j-Pk-1,i,j；差分图像第k+1帧数据在i、j位置处的像素的灰度值为Dk+1，i，j=Pk+1，i，j-Pk，i，j。依此类推可求得该实施例中其它各像素的灰度值Dk,i+1，j，Dk，i-1，j，Dk+1，i+1，j，Dk+1，i-1,j，Dk，i+1,j，Dk+1，i+1,j,Dk,i-1,j，Dk+1,i-1,j，Dk+1，i,j,Dk+1,i,j。这样用三帧图像产生了两帧差分图像Dk，i，j，Dk+1,i,j。实际应用中，还可以在多于三帧的图像序列中设定图像调用条件，将满
足预定条件的依次相邻或相隔的图像选定为欲进行差分运算的三帧图像，并依此类推直到
该图像序列被访问遍。因此，所述图像序列中可能会有一些图像因未能满足该预定条件而
被排除在所述有效图像之外。

[0083] 接着图8中对差分图像序列进行求导处理，利用当前差分图像及其一后帧差分图像来计算当前差分图像中每一像素的所述空间导数Dx，Dy和时间导数Dt。图10以差分
图像DF5，DF6为例。在此基础上，通过两两相乘可以运算得到公式(12)中的各中间系数
以进行图8中的全局运算，即在当前差分图像范围内计算所述公式
中的各中间系数的累加和
所述两两相乘可以用乘法器来实现，例如 其余不再在此赘述。

[0084] 以上，可以仅对各帧图像的中心区域进行处理，相应地，所述n为该中心区域内的像素数，即设一帧图像的像素为M*M个，其中M为自然数，则n小于M*M。如上述实施例中
M=16，此处计算累加和时n可以但不限于取为10×10=100。一般地，处理区域最大为图像区
域的可求导数的最大相关区域，例如对同样M=16的实施例，该最大相关区域包括的像素数
n为14×14个。

[0085] 最后如图8基于公式(12)计算及输出位移矢量(ux，uy)。

[0086] 上述描述中关于求导的具体实施过程可以采用现有技术，只是求导的对象换作为差分图像数据。下面以一实施例来说明：因为所要获取的Dx，Dy，Dt分别为Dk，i，j在x，y方
向上的偏导数，归一化到像素上的计算即为相邻像素灰度值的差；时间t的导数归一化到
像素上的计算即同一个像素在相邻两帧的灰度值的差，具体计算如下：

[0087] Dx=[Dk，i，j+1+Dk+1,j,j+1]-[Dk,i,j-1+Dk+1,i,j-1]

[0088] Dy=[Dk,i+1,j+Dk+1，i+1，j]-[Dk,i-1,j+Dk+1,i-1,j]

[0089] Dt=4×[Dk+1,i,j-Dk，i，j]

[0090] 其中系数可以用图12所示的模板来表示：其中1表示系数为1，-1表示系数为-1，两个方块代表相邻两帧。依据该模板随Dk，i，j移动来选择两帧图像上相应的各像素的数据
以求得该Dk，i，j对应的空间导数。

[0091] 计算Dx，Dy，Dt除了采用上述先差分处理后求导处理的步骤(如图13)以外，还可以采用第二种方式，包括步骤：

[0092] ①根据所述图像序列利用当前图像及其一后帧图像来计算获得当前图像中每一像素的空间导数Ix，Iy和时间导数It；

[0093] ②把一后帧图像中各像素的空间导数Ix，Iy和时间导数It减去当前帧图像中相应像素的空间导数和时间导数，来产生与当前图像相对应的差分图像的每一像素的所述空间
导数Dx，Dy和时间导数Dt。

[0094] 即先求导处理后差分处理，具体以如图14所示的取三帧图像为例：先在原始图像上做求导计算得到两对导数值Ix1，Iy1，It1和Ix2，Iy2，It2，再对这两对导数值做差分得到Dx，
Dy，Dt。

[0095] 现有光流技术不得不在图像中寻找及确定梯度较大的特征区域，主要考虑到检测视频区域中存在多个运动物体，且特征区域的大小将受限于所估计的运动目标的大小。本
发明方法则基于鼠标运动时，因图像传感器拍摄到的图像上每个像素的位移矢量基本一
致，即运动目标只有一个，且图像信噪比不高，若采用特征区域较小则易由于噪声而被误判
为最佳计算区域，进而给出完全错误的结果。故本发明方法采用全局运算，放弃进行特征
区域的寻找过程而将运算区域扩张为全局。一般对16×16像素的整个图像区域，本发明
方法最大可选取的计算区域为14×14。因可保证对图像上大多数点进行光流计算，用小于
14×14的区域(例如但不限于图像中心区域10×10像素)来计算参数A、B、C、E和F也是
可行的。经matlab仿真实验验证，本发明方法既有利于提高算法稳定性，也有利于提高鼠
标定位的准确度，尤其精简掉了寻找特征区域的步骤将使得实现本方法的电路更简单。

[0096] 根据本发明方法，本发明还提出一种实施本发明方法的运动图像位移检测装置，用于光电鼠标；包括一个用来接收数字图像信号的数据接口以及一个数据输出口；尤其
是，如图9所示，该装置包括串连连接的差分处理模块及求导处理模块，来自所述数据接
口的数字图像信号经差分处理模块以帧为单位进行帧间数据的差分运算，及求导处理模
块的求导运算后，输出与当前帧图像相对应的差分图像的每一像素的空间导数Dx，Dy和
时间导数Dt送往全局运算模块，分别计算该图像预定范围内所有像素的各个中间系数
的累加和；该全局运算模块输出这些累加和往位移矢量计算单元，
以按公式

[0097] 来计算位移矢量(ux，uy)，其中n为所述图像预定范围内的像素的数量；该位移矢量计算单元输出位移矢量
(ux，uy)往所述数据输出口。所述公式进一步展开，实际为

[0098]

[0099] 考虑到本发明装置的最佳使用领域包括光电鼠标，本发明装置可以被封装为一颗芯片，在该芯片内还可以集成入现有微控制单元，该微控制单元具有用来接收按键信号的
按键接口；该微控制单元接收来自所述按键接口的数据和来自所述位移矢量计算单元的位
移矢量数据，并将这些数据打包输出往所述数据输出口。所述数据输出口可用来电连接电
脑主机。

[0100] 当所述数字图像信号是以通过串口的视频数据流形式来提供时，本发明装置还必须包括至少两个相串连的帧延迟器，连接所述数据接口，将所述数字图像信号以帧为单位
进行分离；令远离所述数据接口的第二帧延迟器输出当前帧图像数据，则第一帧延迟器输
出的是该当前帧的一后帧图像的数据，所述数据接口同时输出的是该后帧图像的一后帧图
像的数据，这三帧图像数据同时输出往差分处理模块和求导处理模块的串连支路。

[0101] 具体连接参考图13和图14。图13示意了实施例之一：所述差分处理模块串连在所述数据接口和求导处理模块之间，所述第二帧延迟器和第一帧延迟器分别提供一路输出
送往所述差分处理模块进行帧间差分，从而该差分处理模块同时产生两帧差分图像数据送
往所述求导处理模块。具体来说，差分处理模块将来自数据接口的图像数据减去来自第一
帧延迟器的图像数据得到差分图像D1的图像数据，将来自第一帧延迟器的图像数据减去
来自第二帧延迟器的图像数据得到差分图像D2的图像数据；求导处理模块对来自差分处
理模块的差分图像D1、D2分别求空间导数(Dx1，Dy1)和(Dx2，Dy2)，对Dx1，Dx2求和得到
Dx，对Dy1，Dy2求和得到Dy，以及对差分图像D1、D2做差得到时间导数Dt。

[0102] 图14示意了实施例之二：所述求导处理模块串连在所述数据接口和差分处理模块之间，所述第二帧延迟器和第一帧延迟器分别提供一路输出送往所述求导处理模块，从
而该求导处理模块同时产生两帧空间导数Ix，Iy和时间导数It送往所述差分处理模块进行
帧间差分以获得差分后的空间导数Dx，Dy和时间导数Dt。具体来说，求导处理模块对来自
数据接口的图像数据、来自第一帧延迟器的图像数据、来自第二帧延迟器的图像数据两两
相减求两个时间导数It1，It2，及对来自数据接口的图像数据、来自第一帧延迟器的图像数
据、来自第二帧延迟器的图像数据分别求空间导数(Ix1，Iy1)，(Ix2，Iy2)，(Ix3，Iy3)；差
分处理模块对来自求导处理模块的时间导数It1，It2相减得到Dt，对空间导数(Ix1，Iy1)，
(Ix2，Iy2)，(Ix3，Iy3)两两相减得到(Dx1，Dy1)，(Dx2，Dy2)，再对Dx1，Dx2求和得到Dx，
对Dy1，Dy2求和得到Dy。

[0103] 图13和图14中的两个帧延迟器还可以用帧缓存存储器来等同替代。

[0104] 本发明装置的求导处理模块和差分处理模块、全局运算模块、位移矢量计算模块均可以以大量的加法器或乘法器为基础来实现各种运算处理，如何使用及连接这些加法器
或乘法器，在其限定的运算处理下均为现有技术。因此本发明装置的帧延迟器、差分处理模
块、求导处理模块、全局运算模块或位移矢量计算模块均可以基于现有技术，用FPGA(Field
Programmable Gate-Array现场可编程门阵列)或ASIC(Application Specific Integrate
Circuit专用集成电路)或DSP(Digital Signal Processor数字信号处理器)根据其所包
括的处理算法来实现，并根据需要使用片内存储器或外挂存储器。因这些均为现有技术，亦
非本发明的重点，故不在此赘述。但凡借助这些现有技术的功能模块来构成本发明装置时，
无疑将落入本发明的保护范围。

[0105] 现有光电鼠标，包括提供照射光的发光二极管，用来感应被物面反射的照射光并将光信号转换成模拟图像信号的图像传感器，将所述模拟图像信号转换成数字图像信号的
模数转换器，以及一个接收所述数字图像信号的图像信号处理单元；还包括一用来电连接
电脑主机和鼠标按键的微控制单元，该微控制单元通过电连接来控制所述图像传感器、模
数转换器或图像信号处理单元，及接收来自所述图像传感器、模数转换器或图像信号处理
单元的状态信号；所述图像信号处理单元的数据输出口连接所述微控制单元。若所述图像
信号处理单元采用本发明运动图像位移检测装置，无疑此类光电鼠标也在本发明的保护范
围之内。此类光电鼠标大大提高了鼠标导航的精确度，提高了产品成品率。基于现有芯片
技术和封装技术的集成度越来越高，所述图像传感器与所述模数转换器可以是一体的微成
像器，所述图像信号处理单元和所述微控制单元可以被集成在一颗芯片内。