一种辅助双目视觉的非接触鱼体测量装置与方法

摘要

本发明涉及一种辅助双目视觉的非接触鱼体测量装置与方法，包括水下结构体，包括相连接的结构面板和结构壳体，结构面板上设有双目光学镜片和深度光学镜片；光学单元，位于水下结构体内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板连接。结构壳体的侧壁上设有电气接口，导线通过电气接口接入水下结构体的内部通过灌胶接头实现密封。在密封的水下结构体中设置双目图像传感器和深度图像传感器，获取水下场景中鱼体的图像信息后，通过图像处理实现两者像素级的融合，以此来获得更高精度的水下场景深度图，从高精度图像中快速、高效的获得鱼体尺寸数据，减少了传统手工测量对鱼体自身的伤害。

权利要求

1.一种辅助双目视觉的非接触鱼体测量装置，其特征在于：包括：

水下结构体，包括相连接的结构面板和结构壳体，结构面板上设有两个双目光学镜片和两个深度光学镜片；结构面板的内顶面和结构壳体的外顶面之间设有两级防水结构，第一级防水结构位于第二级防水结构外侧；

光学单元，位于水下结构体内部，包括深度图像传感器和两个同型号的双目图像传感器，均通过滑动单元与结构面板连接；所述滑动单元包括连接在结构面板内侧的底座，底座连接两组并列布置且伸入到结构壳体内部的的纵向移动面板，两组纵向移动面板之间设有与其滑动连接的水平滑动导轨；

所述两个同型号的双目图像传感器通过第一驱动单元连接在水平滑动导轨上，在第一驱动单元的带动下沿水平滑动导轨的方向滑动；水平滑动导轨通过第二驱动单元带动使其沿纵向移动面板的方向运动；所述两个同型号的双目图像传感器分别通过对应的双目光学镜片获取水下结构体外部的图像；

两组纵向移动面板之间还设有沿垂直方向布置的激光移动单元，激光移动单元连接深度图像传感器；所述激光移动单元包括垂直布置的导轨和通过第三驱动单元连接的移动架，深度图像传感器连接在移动架上；所述深度图像传感器通过所述深度光学镜片获取水下结构体外部的图像。

2.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述结构壳体的侧壁上设有电气接口，导线通过电气接口接入水下结构体的内部并通过灌胶接头实现密封。

3.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述第一级防水结构包括，结构面板的第一内底面上的第一密封槽，和与其抵接的结构壳体的第一外顶面，第一密封槽中设有密封圈。

4.如权利要求1所述的一种辅助双目视觉的非接触鱼体测量装置，其特征在于：所述第二级防水结构包括，结构面板的第二内底面上的第二密封槽，和与其抵接的结构壳体的第二外顶面，以及安装在第二密封槽中设有密封圈。

5.基于权利要求1‑4任一项所述装置实现鱼体的测量方法，其特征在于：包括以下步骤：

获取被测场景的深度图像和两个视角下的双目图像，根据双目图像传感器的标定数据对双目图像立体匹配，得到双目场景下的视差图；深度图像数据以其中一个双目图像传感器为参考进行转换，根据视差值和深度值之间的转换关系，得到深度图像数据的视差图；

根据深度图像数据中光强图上任一像素点调制的光强图深度可信权重，和深度值惩罚项形成的能量代价函数，优化初始的双目匹配代价函数，利用优化后的匹配代价函数寻找最佳匹配点，得到优化后的双目图像立体匹配视差图；

根据双目图像和深度图像的置信度函数以及权重，将双目图像的视差结果和深度图像的视差结果融合，根据融合图像中像素的数量得到鱼体的尺寸信息。

6.如权利要求5所述的测量方法，其特征在于：在能量代价函数带入深度图像数据之前，将颜色相近、距离相近的像素点放到同一窗口内，像素点之间的相似程度用特征距离来衡量，从而在目标图像上找到与参考图像匹配的像素点；利用匹配代价聚合对所有纳入窗口的像素点搜索，寻找最佳匹配点。

7.一种辅助双目视觉的非接触鱼体测量系统，包括测量装置与其连接的上位机，上位机被配置为如权利要求5‑6所述测量方法中的步骤。

说明书

一种辅助双目视觉的非接触鱼体测量装置与方法

技术领域

[0001] 本发明涉及鱼体质量检测技术领域，具体为一种辅助双目视觉的非接触鱼体测量装置与方法。

背景技术

[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

[0003] 渔业养殖过程中，鱼的尺寸等生长态势信息对于养殖管理有着重要作用。鱼的尺寸及其变化信息不仅反映了其自身的生长状况，还反映了在水产养殖过程中鱼苗的品质，光照、水温以及饵料的配比。

[0004] 传统的鱼体尺寸测量方法是将鱼捞出后用尺子等工具进行手工测量，或是将鱼体放置在较窄的鱼缸内，在鱼缸壁上粘贴刻度尺，通过拍照的方式获得鱼体尺寸，此类方法不仅费时费力，还会对深海养殖过程中对光照、温度较为敏感的鱼体本身产生一定的伤害。

发明内容

[0005] 为了解决上述背景技术中存在的技术问题，本发明提供一种辅助双目视觉的非接触鱼体测量装置与方法，在密封的水下结构体中设置两台双目图像传感器和一台深度图像传感器，获取水下场景中鱼体的图像信息后，经电缆传输至水体外部的上位机中，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率，利用TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图，从高精度图像中快速、高效的获得鱼体尺寸数据，减少了传统手工测量对鱼体自身的伤害。

[0006] 为了实现上述目的，本发明采用如下技术方案：

[0007] 本发明的第一个方面提供一种辅助双目视觉的非接触鱼体测量装置，包括：

[0008] 水下结构体，包括相连接的结构面板和结构壳体，结构面板上设有双目光学镜片和深度光学镜片；

[0009] 光学单元，位于水下结构体内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板连接。

[0010] 结构壳体的侧壁上设有电气接口，导线通过电气接口接入水下结构体的内部通过灌胶接头实现密封。

[0011] 滑动单元包括连接在结构面板内侧的底座，底座连接两组并列布置且伸入到结构壳体内部的的纵向移动面板，两组纵向移动面板之间设有与其滑动连接的水平滑动导轨；双目图像传感器通过第一驱动单元连接在水平滑动导轨上，在第一驱动单元的带动下沿水平滑动导轨的方向滑动；水平滑动导轨通过第二驱动单元带动使其沿纵向移动面板的方向运动；两组纵向移动面板之间还设有沿垂直方向布置的激光移动单元，激光移动单元连接深度图像传感器。

[0012] 激光移动单元包括垂直布置的导轨和通过第三驱动单元连接的移动架，深度图像传感器连接在移动架上。

[0013] 结构面板的内顶面和结构壳体的外顶面之间设有两级防水结构，第一级防水结构位于第二级防水结构外侧。

[0014] 第一级防水结构包括，结构面板的第一内底面上的第一密封槽，和与其抵接的结构壳体的第一外顶面，第一密封槽中设有密封圈。

[0015] 第二级防水结构包括，结构面板的第二内底面上的第二密封槽，和与其抵接的结构壳体的第二外顶面，以及安装在第二密封槽中设有密封圈。

[0016] 本发明的第二个方面提供利用上述装置实现鱼体测量的方法，包括以下步骤：

[0017] 获取被测场景的深度图像和两个视角下的双目图像，根据双目图像传感器的标定数据对双目图像立体匹配，得到双目场景下的视差图；深度图像数据以其中一个双目图像传感器为参考进行转换，根据视差值和深度值之间的转换关系，得到深度图像数据的视差图；

[0018] 根据深度图像数据中光强图上任一像素点调制的光强图深度可信权重，和深度值惩罚项形成的能量代价函数，优化初始的双目匹配代价函数，利用优化后的匹配代价函数寻找最佳匹配点，得到优化后的双目图像立体匹配视差图；

[0019] 根据双目图像和深度图像的置信度函数以及权重，将双目图像的视差结果和深度图像的视差结果融合，根据融合图像中像素的数量得到鱼体的尺寸信息。

[0020] 在能量代价函数带入深度图像数据之前，将颜色相近、距离相近的像素点放到同一窗口内，像素点之间的相似程度用特征距离来衡量，从而在目标图像上找到与参考图像匹配的像素点；利用匹配代价聚合对所有纳入窗口的像素点搜索，寻找最佳匹配点，以增加匹配正确率。

[0021] 本发明的第三个方面提供一种辅助双目视觉的非接触鱼体测量系统，包括上述测量装置与其连接的上位机，上位机被配置为上述测量方法中的步骤。

[0022] 与现有技术相比，以上一个或多个技术方案存在以下有益效果：

[0023] 1、装置置于水体中，双目图像传感器和深度图像传感器获取的图像通过电缆传递出水体外，经过图像处理后以非接触的方式得到鱼体尺寸信息，不再需要传统方式中将鱼体从水中捞出人工测量的方式。

[0024] 2、装置通过两级防水结构实现密封，确保双目图像传感器和深度图像传感器工作可靠。

[0025] 3、以图像处理的方式实现非接触式测量，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率。而在图片的其他区域，分别设计了TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图，进而利用高精度的水下场景深度图获取鱼体的尺寸信息。

附图说明

[0026] 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0027] 图1是本发明一个或多个实施例提供的测量装置整体结构示意图；

[0028] 图2是本发明一个或多个实施例提供的测量装置内部结构示意图；

[0029] 图3是本发明一个或多个实施例提供的测量装置内部结构的仰视视角示意图；

[0030] 图4是本发明一个或多个实施例提供的测量装置俯视结构示意图；

[0031] 图5是本发明一个或多个实施例提供的测量装置去除面板保留壳体的结构示意图；

[0032] 图6是本发明一个或多个实施例提供的测量装置去除壳体保留面板的结构示意图；

[0033] 图7是本发明一个或多个实施例提供的测量装置中深度光学镜片的结构示意图；

[0034] 图8是本发明一个或多个实施例提供的测量装置中双目光学镜片的结构示意图；

[0035] 图9是本发明一个或多个实施例提供的测量装置电气接口的结构示意图；

[0036] 图10是本发明一个或多个实施例提供的测量装置内部底座与纵向移动面板的结构示意图；

[0037] 图11是本发明一个或多个实施例提供的利用测量装置实现鱼体长度非接触测量的流程示意图；

[0038] 图12(a)‑(c)分别是本发明一个或多个实施例提供的鱼体长度测量过程中的原图、深度图和合成图；

[0039] 图中：1、水下结构体，2、光学单元，3、结构面板，4、结构壳体，5、双目光学镜片，6、深度光学镜片，7、电气接口，8、进线口，9、灌胶口，10、第一内底面，11、第一密封槽，12、第一外顶面，13、第二内底面，14、第二密封槽，15、第二外顶面，16、底座，17、水平滑动导轨，18、纵向移动面板，19、激光移动单元。

具体实施方式

[0040] 下面结合附图与实施例对本发明作进一步说明。

[0041] 应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

[0042] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

[0043] 正如背景技术中所描述的，传统的鱼体尺寸测量方法是将鱼捞出后用尺子等工具进行手工测量，这种方法不仅费时费力，还会对部分敏感性的鱼体本身产生一定的伤害。

[0044] 因此，以下实施例给出了一种辅助双目视觉的非接触鱼体测量装置与方法，在密封的水下结构体中设置两台双目图像传感器和一台深度图像传感器，获取水下场景中鱼体的图像信息后，经电缆传输至水体外部的上位机中，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率，利用TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图。基于视觉化的方法对水下动态鱼体的尺寸测量，操作简单，能够快速、高效的获得鱼体尺寸数据，减少了传统手工测量对鱼体本身的伤害。

[0045] 实施例一：

[0046] 如图1‑10所示，一种辅助双目视觉的非接触鱼体测量装置，包括：

[0047] 水下结构体1，包括相连接的结构面板3和结构壳体4，结构面板3上设有双目光学镜片5和深度光学镜片6；

[0048] 光学单元2，位于水下结构体1内部，包括双目图像传感器和深度图像传感器，均通过滑动单元与结构面板3连接。

[0049] 本实施例中，测量装置包括水下结构体1和位于水下结构体内部的光学单元2，水下结构体包括结构面板3和结构壳体4，其中结构面板3上固定安装有两个双目方形光学镜片5和两个圆形深度光学镜片6。

[0050] 结构壳体4的侧壁上设有电气接口7，导线通过电气接口7接入水下结构体1的内部，并采用灌胶接头的方式进行密封。

[0051] 本实施例中，光学单元2上的滑动单元能够带动相机的上下左右移动。

[0052] 如图2、3和10所示，滑动单元包括连接在结构面板3内侧的底座16，底座16连接两组并列布置且伸入到结构壳体1内部的的纵向移动面板18，两组纵向移动面板18之间设有与其滑动连接的水平滑动导轨17，双目图像传感器通过第一驱动单元连接在水平滑动导轨17上，在第一驱动单元的带动下沿水平滑动导轨17的方向滑动，水平滑动导轨17通过第二驱动单元带动使其沿纵向移动面板18的方向运动，两组纵向移动面板18之间还设有沿垂直方向布置的激光移动单元19，激光移动单元19连接深度图像传感器(TOF深度传感器)。

[0053] 激光移动单元19包括垂直布置的导轨和通过第三驱动单元连接的移动架，深度图像传感器(TOF深度传感器)连接在移动架上。

[0054] 本实施例中，第一驱动单元带动双目图像传感器沿水平滑动导轨17的方向滑动，即实现水平方向(左右方向)的运动；第二驱动单元带动水平滑动导轨17沿纵向移动面板18的方向运动，即实现垂直方向(上下方向)的运动；深度图像传感器(TOF深度传感器)的上下移动采用导轨滑动的方式，利用单独的上下滑动导轨，实现深度图像传感器(TOF深度传感器)的随时移动，不受双目图像传感器移动限制。

[0055] 本实施例中，水平滑动导轨17上连接两组同型号的双目图像传感器，分别通过对应的双目光学镜片5获取水下结构体1外部的图像，深度图像传感器(TOF深度传感器)通过深度光学镜片6获取水下结构体1外部的图像。

[0056] 滑动单元能够使两个双目图像传感器和深度图像传感器之间的“镜头间距”等系统参数可调：对于两个双目图像传感器而言，镜头间距和进行立体匹配所需的参数有关；对于图像传感器和深度图像传感器之间的“镜头间距”而，则与视场调节相关，用于将三台图像传感器可拍摄的视场调整到相似或接近的状态，便于后续图像融合处理。

[0057] 三组驱动单元为现有结构且不做限制，能够实现带动对应部件沿着所需的方向运动即可。

[0058] 结构面板3的内顶面和结构壳体4的外顶面之间设有两级防水结构，第一级防水结构位于第二级防水结构外侧。

[0059] 本实施例中，如图5‑6所示，结构面板3和结构壳体4之间采用内外、上下存在高差的两级防水结构，具体为：

[0060] 第一级防水：结构面板3的第一内底面10上的密封槽11，和与其抵接的结构壳体4的第一外顶面12，以及安装在第一密封槽11中的密封圈。

[0061] 第二级防水：结构面板3的第二内底面13上的第二密封槽14，和与其抵接的结构壳体4的第二外顶面15，以及安装在第二密封槽14中的密封圈。

[0062] 本实施例中，结构面板3和结构壳体4链接处设有固定螺丝，固定螺丝的数量设置为12组。

[0063] 如图7‑8所示，光学镜片5、6采用的是中间凸起，四周凹陷的方式，通过螺丝将光学镜片贴紧面板，其中螺丝位于光学镜片的凹陷处，为了进一步达到防水的效果，将凹陷处灌满防水胶，避免螺丝与水的直接接触。

[0064] 本实施例中，结构面板3和结构壳体4材料为高韧性树脂材料，具有一定的韧性，能够承受水下较强的压力，且该材料耐疲劳度好，即使在受到强压变形后，也能够很快恢复原型。

[0065] 本实施例中，电气接口7放置在结构壳体4的侧壁，如图9所示，由两部分组成：

[0066] 进线口8：进线口为空心圆锥的设计，进线口的直径可通过切割进行调整，以满足不同直径电缆的需求。

[0067] 灌胶口9：电缆放置后，从灌胶口9灌胶，使胶水充满电气接口，确保电缆外壁与进线口8内壁之间的密封。

[0068] 上述装置置于水体中，双目图像传感器和深度图像传感器获取的图像通过导线传递出水体外，经过图像处理后得到鱼体尺寸信息，装置通过两级防水结构实现密封，确保双目图像传感器和深度图像传感器工作可靠。

[0069] 实施例二：

[0070] 如图11‑12所示，本实施例提供了利用上述实施例中的装置实现鱼体测量的方法，包括以下步骤：

[0071] 通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率。而在图片的其他区域，分别设计了TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图。流程图见图11，包括以下步骤：

[0072] 1深度图像传感器(TOF深度传感器)通过发射、反射激光信号的飞行时间差来获得被测物体的深度信息；左右双目图像传感器同时拍摄得到被测场景两个视角下的左、右图像，如图12(a)所示。

[0073] 2对双目图像传感器进行水下标定，得到相机内外参数、畸变系数矩阵，得到左右相机在在世界坐标系的对应关系。

[0074] 3由获得的标定数据对双目图像进行立体匹配，得到双目场景下的视差图，并转换为深度图，如图12(b)所示。

[0075] 4TOF深度数据转换到以左相机为参考相机下。视差值和深度值之间的转换关系为：

[0076]

[0077] 5设计能量代价函数来优化初始的双目匹配代价函数，使用优化后的匹配代价函数来寻找最佳匹配点。能量代价函数主要由两部分构成：一部分是根据光强图设计可信权重：为TOF调制光强图设置了光强阈值范围，若像素点的光强值小于阈值，调制光信号接受不足，则认为该点的深度值不可信；若像素点的光强制大于阈值，调制光信号接受过量，同样认为深度值不可信。设TOF相机调制光强图为A，A(x0，y0)为光强图中任一像素点，定义(x0，y0)点调制光强图的深度可信权重为：

[0078]

[0079] 另一部分由深度值惩罚项构成，每个视差搜索范围内的像素点(x0,y0)的深度值惩罚项CP为：

[0080]

[0081] 因此，双目立体匹配的能量代价函数为：

[0082] CD＝(x,y0)＝WA(x0,y0)*CP(x,y0)

[0083] 6基于自适应窗口的代价聚合：在将能量代价函数带入TOF深度信息之前引入代价聚合特征函数，通过某种规则建立合适的窗口，建立像素点的距离、颜色等特征函数，将符合特征的像素点纳入到建立好的窗口中，这样便于在目标图像上找到与参考图像对应的像素点，增加匹配正确率，即基于自适应窗口的局部立体匹配算法进行代价聚合。将颜色相近、距离相近的像素点点放到同一窗口内，像素点之间的相似程度用特征距离来衡量，特征距离的表达式如式所示：

[0084] Dn(x,y)＝[A(x0,y0)‑A(x,y)]

[0085] 然后用基于十字支撑法的匹配代价聚合对所有纳入窗口的像素点进行搜索，寻找最佳匹配点，设右图搜索得到的匹配点为(xmin,y0)，匹配代价函数为C(xmin,y0)，此时左图的像素点(x0,y0)的深度值：

[0086]

[0087] 7设计了基于权重的像素级融合。将TOF深度图和立体匹配两者的优势结合，提高鱼的遮挡重叠区域的立体匹配质量，构建了基于置信度的立体匹配与TOF深度信息的融合算法。步骤如下：

[0088] 步骤一：设计TOF深度图的置信度函数。深度图像传感器(TOF深度传感器)在工作时，容易受到被测物体反射光、环境光、噪声、被测距离等因素的干扰，使得所获深度图的成像质量差，这就使得对TOF深度图任一像素置信度的测量非常困难。但是融合的算法需要用到每个像素的置信度值，因此需要根据TOF深度图像传感器的辐射特性来求出任一像素的置信度。

[0089]

[0090] 步骤二：设计优化后双目视差图的置信度函数。如果优化后的双目深度图的最小代价函数和次小代价函数相差很小，也可以近似认为此处有很多个相似的最小代价函数，这时在搜索最佳匹配点时容易出现误匹配的现象。定义优化后的双目深度图可信度函数如式所示：

[0091]

[0092] 双目系统的视差权重分配WS如下:

[0093]

[0094] TOF系统的权重为：

[0095] WT＝1‑WS

[0096] 当TOF视差图可信时，采取TOF深度图和双目优化后结果，当TOF视差图不可信时，采用优化后双目匹配结果。

[0097] 在得到了双目系统的权重和TOF权重后，按照融合策略将两个视差结果进行融合，设最终视差为d，融合策略：

[0098] d＝WTdT+WSdS

[0099] 融合后得到的结果如图12(c)所示，根据融合图像中的像素数量得到鱼体的尺寸信息，如下：

[0100] 全长：从口的前端到尾鳍末端的长度。

[0101] 标准体长：从下颚的前端到尾鳍的根部的长度。

[0102] 吻长：从吻端到眼圈前缘的长度。

[0103] 尾长：从尾柄末端到尾鳍末端。

[0104] 眼径：眼圈的直径，包括瞳孔周围发亮的地方。

[0105] 头长：从吻到鳃盖后缘。

[0106] 尾柄高：尾鳍的鳍背根上部至下部的高度。

[0107] 体高：测定背鳍前端至腹部前基部的垂直高度。

[0108] 尾柄长：臀鳍末端到尾鳍根的长度。

[0109] 双目图像传感器和深度图像传感器获取的图像数据分别具有不同的特性，对于双目图像而言，对待测物体的纹理信息要求较高；而深度图像则易受到环境光的影响产生噪声，测量距离较远时产生延迟，但在纹理不丰富区域却可以获得精度较高的深度图。而水下环境中的鱼体图像是低纹理不丰富、环境光复杂且距离较远的场景，两类图像经融合后获得高质量的深度图。

[0110] 上述方法以图像处理的方式实现非接触式测量，通过设计TOF深度能量函数指导双目立体匹配过程，提高了双目匹配在低纹理区域和重复纹理区域的匹配正确率。而在图片的其他区域，分别设计了TOF和双目立体匹配置信度权重函数，实现两者像素级的融合，以此来获得更高精度的水下场景深度图，进而利用高精度的水下场景深度图获取鱼体的尺寸信息。

[0111] 实施例三：

[0112] 一种辅助双目视觉的非接触鱼体测量系统，包括实施例一中的测量装置和与该装置连接的上位机，上位机接收测量装置获取的图像信息经过实施例二中的步骤执行图像处理，最终得到融合后的高精度图像，利用融合后图像中的像素数量实现鱼体尺寸测量。

[0113] 本发明是参照根据本发明实施例的方法和设备(系统)的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0114] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0115] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0116] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

[0117] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。