一种光流测速模块与测速方法

摘要

一种光流测速模块包含：摄影机数组、运算单元以及统计单元。摄影机数组包含有N×M个摄影机，用以拍摄N×M个周围环境影像；运算单元根据N×M个周围环境影像运算出N×M个摄影机速度与N×M个标准差；统计单元根据N×M个摄影机速度与N×M个标准差运算出一统计运动速度，其中N与M皆为大于1的自然数。相较于现有技术，本发明利用多个摄影机所组成的摄影机数组拍摄多个影像，以减少因为地面反光或是环境光源造成影像纹理不易辨识的不利因素，可提升利用光流测速模块测量速度的可靠性。

权利要求

1.一种光流测速模块，装设于机动设备上用以测量所述机动设备的运动速度，其特征在于，所述光流测速模块包含：摄影机数组，所述摄影机数组包含有N×M个摄影机，用以拍摄而取得所述机动设备的多组N×M个周围环境影像；

运算单元，与所述摄影机数组电性连接，并根据所述多组N×M个周围环境影像运算出N×M个摄影机速度与N×M个标准差；以及统计单元，与所述运算单元电性连接，用于根据所述N×M个摄影机速度与所述N×M个标准差运算出所述机动设备的所述运动速度；

其中N与M皆为大于1的自然数。

2.如权利要求1所述的光流测速模块，其特征在于，所述统计单元以下列公式运算出所述机动设备的所述运动速度：其中，K＝N×M、Vs为每一所述N×M个摄影机速度、σs为每一所述N×M个标准差、Vout为所述机动设备的所述运动速度。

3.如权利要求1所述的光流测速模块，其特征在于，所述运算单元包含图像处理单元，用以将所述多组N×M个周围环境影像的像素与亮度数值化，并对应产生N×M个周围环境影像的数值化结果，与像素数目-亮度分析直方图。

4.如权利要求3所述的光流测速模块，其特征在于，所述运算单元包含速度运算装置，所述速度运算装置根据所述N×M个周围环境影像的数值化结果，利用一光流运算法以运算出所述N×M个摄影机速度。

5.如权利要求3所述的光流测速模块，其特征在于，所述运算单元包含一标准差运算装置，用于根据每一所述多组N×M个周围环境影像的所述N×M个像素数目-亮度分析直方图所呈现的数据，进行每一所述N×M个标准差的运算。

6.一种光流测速模块的测速方法，用以测量机动设备的运动速度，所述机动设备上装设有光流测速模块，所述光流测速模块包含有摄影机数组、运算单元以及统计单元，其中所述摄影机数组包含有N×M个摄影机，而N与M皆为大于1的自然数，其特征在于，所述光流测速模块的测速方法包含以下步骤：使用所述摄影机数组的所述N×M个摄影机进行拍摄，取得所述机动设备的多组N×M个周围环境影像；

使用所述运算单元根据所述多组N×M个周围环境影像，运算出N×M个摄影机速度；

使用所述运算单元根据任一组所述N×M个周围环境影像，运算出所述任一组的所述N×M个周围环境影像所对应的N×M个标准差；以及使用所述统计单元根据所述N×M个摄影机速度，与所述N×M个标准差，运算出所述机动设备的所述运动速度。

7.如权利要求6所述的光流测速模块的测速方法，其特征在于，所述统计单元以下列公式运算出所述机动设备的所述运动速度：其中，K＝N×M、Vs为每一所述N×M个摄影机速度、σs为每一所述N×M个标准差、Vout为所述机动设备的所述运动速度。

8.如权利要求6所述的光流测速模块的测速方法，其特征在于，所述运算单元包含图像处理单元，所述光流测速模块测速方法进一步包含步骤：使用所述图像处理单元将所述多组N×M个周围环境影像的像素与亮度数值化，并对应产生N×M个周围环境影像的数值化结果，以及像素数目-亮度分析直方图。

9.如权利要求8所述的光流测速模块的测速方法，其特征在于，所述运算单元包含速度运算装置，用于根据所述多组N×M个周围环境影像的数值化结果通过一光流运算法以运算出所述N×M个摄影机速度。

10.如权利要求8所述的光流测速模块的测速方法，其特征在于，所述运算单元包含标准差运算装置，用于根据每一所述像素数目-亮度分析直方图所呈现的数据，进行每一所述N×M个标准差的运算。

说明书

一种光流测速模块与测速方法

技术领域

[0001] 本发明关于一种光流测速模块与测速方法，更明确地说，是关于一种利用摄影机数组拍摄多个影像来测速的光流测速模块与测速方法。

背景技术

[0002] 光流测速模块是一套用来运算自身速度的模块。在现有技术中，它常装设于UAV上，通过一个对地拍摄的相机，取得地面的影像，并运算影像像素的位移来得到速度的信息。然而，实务上，在运算光线的流动时，却常常容易受到环境光源或地面材质造成光线反射而影响到运算。

[0003] 这是因为光流测速模块是通过连续拍摄地面，比对影像纹理的移动，来运算相对速度。若是影像的纹理清晰可辨识，则易于通过光流运算法来推算光流测速模块的速度。但现有的光流测速模块通常只搭载一个摄影机，若是拍摄时地面反光相当严重或环境光源过亮时，都会对光流运算产生影响。

发明内容

[0004] 对应前述问题，本发明的一范畴在于提供一种光流测速模块，通过具有多个摄影机的摄影机数组，拍摄多组的多个影像，再进行影像分析以运算出每个影像所呈现的速度与标准差后，再进行统计运算以求取出统计后的光流测速模块速度。

[0005] 本发明提供的光流测速模块，装设于机动设备上用以测量所述机动设备的运动速度，包含：摄影机数组、运算单元以及统计单元。摄影机数组包含有N×M个摄影机，用以拍摄而取得机动设备的多组N×M个周围环境影像；运算单元与摄影机数组电性连接，并根据多组N×M个周围环境影像运算出N×M个摄影机速度与N×M个标准差；统计单元与运算单元电性连接，用于根据N×M个摄影机速度与N×M个周围环境影像标准差运算出机动设备的运动速度，其中N与M皆为大于1的自然数。

[0006] 于本发明的一实施例中，其中所述统计单元以下列公式运算出所述机动设备的所述运动速度：

[0007]

[0008] 其中，K＝N×M、Vs为每一所述N×M个摄影机速度、σs为每一所述N×M个标准差、Vout为所述机动设备的所述运动速度。

[0009] 于本发明的一实施例中，其中运算单元包含图像处理单元，用以将多组N×M个周围环境影像的像素与亮度数值化，并对应产生N×M个周围环境影像的数值化结果与像素数目-亮度分析直方图。

[0010] 于本发明的一实施例中，其中运算单元包含速度运算装置，速度运算装置根据N×M个周围环境影像的数值化结果，利用光流运算法以运算出N×M个摄影机速度。

[0011] 于本发明的一实施例中，其中运算单元包含标准差运算装置，用于根据每一N×M个像素数目-亮度分析直方图所呈现的数据，进行每一N×M个标准差的运算。

[0012] 本发明的另一范畴在于提供一种光流测速模块的测速方法，用以测量机动设备的运动速度，机动设备上装设有光流测速模块，光流测速模块包含有摄影机数组、运算单元以及统计单元，其中摄影机数组包含有N×M个摄影机，而N与M皆为大于1的自然数，光流测速模块的测速方法包含以下步骤：S1：使用摄影机数组的N×M个摄影机进行拍摄，取得机动设备的多组N×M个周围环境影像；S2：使用运算单元根据多组N×M个周围环境影像，运算出N×M个摄影机速度；S3：使用所述运算单元根据多组N×M个周围环境影像，运算出N×M个标准差；以及S4：使用统计单元根据N×M个摄影机速度，与N×M个标准差运算出机动设备的运动速度。

[0013] 于本发明的另一实施例中，其中所述统计单元以下列公式运算出所述机动设备的所述运动速度：

[0014]

[0015] 其中，K＝N×M、Vs为每一所述N×M个摄影机速度、σs为每一所述N×M个标准差、Vout为所述机动设备的所述运动速度。

[0016] 于本发明的另一实施例中，其中运算单元包含图像处理单元，光流测速模块测速方法进一步包含步骤：使用图像处理单元将多组N×M个周围环境影像的像素与亮度数值化，并对应产生N×M个周围环境影像的数值化结果，以及像素数目-亮度分析直方图。

[0017] 于本发明的另一实施例中，其中运算单元包含速度运算装置，用于根据N×M个周围环境影像的数值化结果通过光流运算法以运算出N×M个摄影机速度。

[0018] 于本发明的另一实施例中，其中运算单元包含标准差运算装置，用于根据每一像素数目-亮度分析直方图所呈现的数据，进行每一N×M个标准差的运算。

[0019] 相较于现有技术，本发明利用多个摄影机所组成的摄影机数组拍摄多个影像，以减少因为地面反光或是环境光源造成影像纹理不易辨识的不利因素，可提升利用光流测速模块测量速度的可靠性。

附图说明

[0020] 图1绘示了本发明一具体实施例的功能方块示意图。

[0021] 图2绘示了本发明的摄影机数组的俯视图。

[0022] 图3绘示了本发明的摄影机数组的侧视图。

[0023] 图4A至4B绘示了本发明一具体实施例的一周围环境影像及与其相应的像素数目-亮度分析直方图。

[0024] 图5A至5B绘示了本发明一具体实施例的又一周围环境影像及与其相应的像素数目-亮度分析直方图。

[0025] 图6A至6B绘示了本发明一具体实施例的另一周围环境影像及与其相应的像素数目-亮度分析直方图。

[0026] 图7绘示了本发明一具体实施例的周围环境影像、相应的像素数目-亮度分析直方图以及所述周围环境影像代表的权重的示意图。

[0027] 图8绘示了本发明另一范畴的功能方块示意图。

[0028] 【符号说明】

[0029] 1：光流测速模块

[0030] 10：摄影机数组

[0031] 102：基座             104：摄影机

[0032] 12：运算单元

[0033] 122：图像处理装置     124：速度运算装置

[0034] 126：标准差运算装置

[0035] 14：统计单元

[0036] 2：光流测速模块的测速方法

[0037] Vs：摄影机速度        Vout：机动设备的运动速度

[0038] σs：标准差

具体实施方式

[0039] 请先参阅图1至图3，图1绘示了本发明一具体实施例的功能方块示意图。图2绘示了本发明的摄影机数组的俯视图。图3绘示了本发明的摄影机数组的侧视图。

[0040] 本发明提供一种光流测速模块1，用于装设在机动设备上并运算所述机动设备的运动速度，包含：摄影机数组10、运算单元12以及统计单元14。

[0041] 摄影机数组10包含有基座102与N×M个摄影机104，用以拍摄而取得机动设备的多组N×M个周围环境影像；运算单元12与摄影机数组10电性连接，并根据N×M个周围环境影像运算出N×M个摄影机速度与N×M个标准差；N×M个标准差表示，针对N×M个摄影机104所拍摄的N×M个周围环境影像，进行计算，一组N×M个周围环境影像中的每一个周围环境影像，都对应有一个标准差，这些标准差有N×M个，统称为N×M个标准差。统计单元14与运算单元12电性连接，用于根据N×M个摄影机速度与N×M个标准差运算出机动设备的运动速度，其中N与M皆为大于1的自然数。

[0042] 其中关于影像一词，被解释为静态影像或动态影像，只是于本实施例中是以静态影像作解。然「多组」一词是针对静态影像所述，本领域技术人员也可知晓此处是以N×M个摄影机拍摄到N×M个动态影像，再将N×M个动态影像逐格分解成多个的N×M个静态影像。

[0043] 于本实施例中，如图2所示的摄影机数组10为一4×4方阵，亦即N＝M＝4的摄影机数组，然此实施例仅为方便说明，本发明并不加以限制摄影机数组10必须以方阵形成摄影机数组，而且，本发明的摄影机数组10里的每个摄影机104不以全往同一方向拍摄为限制，摄影机104往不同的方向拍摄，以进一步减少影响速度测量的环境因素。

[0044] 本发明提供的光流测速模块1所装设的机动设备可为无人飞行机、自行车、机动车辆等机动设备，当装设有本发明光流测速模块1的机动设备在运动时，摄影机数组10的N×M个摄影机104将拍摄机动设备周围的多组N×M个周围环境影像，以供测速使用。这N×M个周围环境影像再经由运算单元12来分别算出N×M个摄影机速度与N×M个标准差。

[0045] 运算单元12包含有图像处理装置122、速度运算装置124以及标准差运算装置126。图像处理装置122将每一个摄影机104所拍摄的周围环境影像进行像素与亮度的分析，来对应产生N×M个周围环境影像的数值化结果，再根据这些数值化结果产生N×M个周围环境影像的像素数目-亮度分析直方图。

[0046] 请参阅图4A至图4B、图5A至图5B以及图6A至图6B等三组图组。图4A至图4B、图5A至图5B以及图6A至图6B分别绘示了本发明一具体实施例的周围环境影像与其相应的像素数目-亮度分析直方图。

[0047] 其中图4A是经由摄影机数组10的摄影机104所拍摄的在一般环境亮度下的周围环境实验影像，图5A是在高环境亮度下由摄影机104拍摄的周围环境实验影像，图6A是在低环境亮度下由摄影机104拍摄的周围环境实验影像。而图4B、图5B以及图6B则分别是将图4A、图5A以及图6A经由图像处理装置122以计算机视觉处理后的数值化结果，再将统计像素数目-亮度之间关系而产生的周围环境实验影像的像素数目-亮度分析直方图。

[0048] 请先参阅图4A至图4B，在一般环境亮度的背景下，可以明显看出图4A中图像的纹理，而其相对应的图4B中能看出图4A有相当部分的像素以高亮度呈现，但也有一定数量的像素分布在中、低亮度的部分。呈现出影像亮度分布平均而标准差较高的倾向。

[0049] 接着请参阅图5A至图5B，在较高环境亮度的背景下，图5A中大约只剩一半的图像纹理部分依然可见，而其相对应的图5B中能看出图5A极大部分的像素都以高亮度呈现，而鲜少有像素分布至中、低亮度的部分。呈现出影像亮度集中区域偏高亮度而标准差较低，平均亮度值高的倾向。

[0050] 最后请参阅图6A至图6B，在较低环境亮度的背景下，图6A中大部分的图像纹理部分几乎不易可见，而其相对应的图6B中能看出图6A极大部分的像素都以低亮度呈现，而鲜少有像素分布至中、高亮度的部分。呈现出影像亮度集中区域偏低亮度而标准差较低，平均亮度值低的倾向。

[0051] 接着，N×M个周围环境影像的数值化结果被输出至速度运算装置124，速度运算装置124根据N×M个周围环境影像的数值化结果，通过光流运算法来算出每一个摄影机104所拍摄到的N×M个周围环境影像所包含的运动速度，而N×M个周围环境影像的像素数目-亮度分析直方图则被传送到标准差运算装置126，以根据像素数目-亮度分析直方图所呈现的数据运算出每一个周围环境影像的标准差。

[0052] 请参阅图7，图7绘示了本发明一具体实施例的周围环境影像、相应的像素数目-亮度分析直方图以及所述周围环境影像代表的权重的示意图。需了解的是，若是有一周围环境影像的像素数目-亮度分析直方图表现出亮度分布都集中在高亮度区间，且其标准差值和/或权重值偏低时，如图7(C)所示，则代表所述周围环境影像受到光折射的影响过大，导致过曝光，无法提供足够的影像纹理来判断速度。相反的，若是有周围环境影像的像素数目-亮度分析直方图表现出亮度分布都集中在低亮度区间，且其标准差值和/或权重值偏低时，如图7(A)所示，则代表所述周围环境影像曝光不足，过暗，同样无法提供足够的影像纹理来判断速度。而若周围环境影像的像素数目-亮度分析直方图表现出各个亮度区间都有像素分布，且其标准差值和/或权重值不至偏低时，如图7(B)所示，则代表所述周围环境影像几乎未受到光折射的影响，没有过曝光的问题，应可提供足够的影像纹理来判断速度。

[0053] 而前述关于影像的数值化处理、利用光流运算法求取影像速度以及标准差计算的方法应属现有技术，所属技术领域具通常知识者在阅读本说明书时应可自然知晓相关技术内容。

[0054] 算得每一摄影机104的运动速度Vs与每一周围环境影像的标准差之后，统计单元14则根据运动速度与每一周围环境影像的标准差，以下列式一进行安装有摄影机数组10的机动设备的运动速度的计算。

[0055] 式一：

[0056]

[0057] 其中，K＝N×M、Vs为每一所述N×M个摄影机速度、σs为每一所述N×M个标准差、Vout为所述机动设备的所述运动速度。而在式一中，标准差σs代表权重，标准差σs值较高者，代表与所述标准差值对应的周围环境影像能提供较足够的影像纹理，而拍摄下所述周围环境影像的摄影机速度具有较高的参考价值；相反的，标准差σs值较低者，代表与所述标准差值对应的周围环境影像不能提供较足够的影像纹理，而拍摄下所述周围环境影像的摄影机速度具有较低的参考价值。标准差σs有N×M个，统称为N×M个标准差，分别对应N×M个摄影机所拍摄的一组N×M个周围环境影像中的每一个周围环境影像。

[0058] 经过统计单元14的运算，即可获得除去地面反光或环境光源过亮或是环境光源不足等不利因素的，可靠的机动设备速度测量值。

[0059] 接着请参阅图8，图8绘示了本发明另一范畴的功能方块示意图。本发明的另一范畴在于提供一种光流测速模块的测速方法，用以测量机动设备的运动速度，机动设备上装设有光流测速模块，光流测速模块包含有摄影机数组10、运算单元12以及统计单元14，其中摄影机数组10包含有基座102与N×M个摄影机104，而N与M皆为大于1的自然数，光流测速模块的测速方法包含以下步骤：S1：使用摄影机数组的N×M个摄影机进行拍摄，取得机动设备的多组N×M个周围环境影像；S2：使用运算单元根据多组N×M个周围环境影像，运算出N×M个摄影机速度；S3：使用所述运算单元根据多组N×M个周围环境影像，运算出N×M个标准差；以及S4：利用统计单元根据N×M个摄影机速度，与N×M个标准差运算出机动设备的运动速度。

[0060] 于步骤S1中，使用装设于机动设备，例如无人飞行机上的具有N×M个摄影机的摄影机数组拍摄机动设备周围的多组N×M个周围环境影像。其中，本发明的摄影机数组10里的每个摄影机104不以全往同一方向拍摄为限制，摄影机104往不同的方向拍摄，以进一步减少影响速度测量的环境因素。

[0061] 接着在步骤S2中，运算单元12将根据多组N×M个周围环境影像运算出每一个摄影机104的速度。首先，运算单元12包含有图像处理装置122、速度运算装置124以及标准差运算装置126。图像处理装置122先将每一个摄影机104所拍摄的周围环境影像进行像素与亮度的分析，藉以对应产生N×M个周围环境影像的数值化结果，并再根据那些数值化结果产生N×M个周围环境影像的像素数目-亮度分析直方图。故在步骤S1与S2之间，进一步包含步骤S15：使用图像处理单元将N×M个周围环境影像的像素与亮度数值化，并对应产生N×M个周围环境影像的数值化结果，以及像素数目-亮度分析直方图。

[0062] 而在N×M个周围环境影像的数值化结果产生之后，速度运算装置124执行步骤S2，通过光流运算法来算出每一个摄影机104所拍摄到的周围环境影像所包含的运动速度。

[0063] 接着，N×M个周围环境影像的像素数目-亮度分析直方图则被传送到标准差运算装置126，而标准差运算装置126将执行步骤S3以根据像素数目-亮度分析直方图呈现的数据运算出每一个周围环境影像的标准差。

[0064] 最后在步骤S4中，统计单元14根据经由步骤S2算得的每一个摄影机的运动速度，以及经由步骤S3算得的每一个周围环境影像的标准差，以下列公式进行安装有摄影机数组10的机动设备的运动速度的计算。

[0065] 式一：

[0066]

[0067] 其中，K＝N×M、Vs为每一所述N×M个摄影机速度、σs为每一所述N×M个标准差、Vout为所述机动设备的所述运动速度。而于式一中，标准差σs代表权重，标准差σs值较高者，代表与所述标准差值对应的周围环境影像能提供较足够的影像纹理，而拍摄下所述周围环境影像的摄影机速度具有较高的参考价值；相对的，标准差σs值较低者，代表与所述标准差值对应的周围环境影像不能提供较足够的影像纹理，而拍摄下所述周围环境影像的摄影机速度具有较低的参考价值。

[0068] 通过上述步骤使用本发明的光流测速模块1，即可获得除去地面反光或环境光源过亮或是环境光源不足等不利因素的，可靠的机动设备速度测量值。

[0069] 综上所述，本发明提供一种光流测速模块与其测速方法，光流测速模块包含摄影机数组、运算单元与统计单元。摄影机数组包含N×M个摄影机，用以拍摄一机动设备的多组N×M个周围环境影像，运算单元根据多组N×M个周围环境影像分别算出N×M个周围环境影像所代表的摄影机速度与其标准差，统计单元再根据N×M个摄影机速度与N×M个标准差运算出机动设备的运动速度。

[0070] 相较于现有技术，本发明利用多个摄影机所组成的摄影机数组拍摄多个影像，以减少因为地面反光或是环境光源造成影像纹理不易辨识的不利因素，可提升利用光流测速模块测量速度的可靠性。

[0071] 通过以上较佳具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。因此，本发明所申请的专利范围的范畴应所述根据上述的说明作最宽广的解释，以致使其涵盖所有可能的改变以及具相等性的安排。