一种视差估计方法、装置、存储介质及终端

摘要

本发明公开了一种视差估计方法、装置、存储介质及终端，所述方法包括：在视差信号集合中获取合法视差信号生成视差值掩码图；将视差信号引导模块插入预设双目视差估计模型中生成插入后的双目视差估计模型；将扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；基于高维高斯函数模型和预设权重计算公式生成合法视差值对应的加权后的函数值；基于加权后的函数值生成加权后的视差匹配损失值；将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。因此，采用本发明实施例，由于提出稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决双目视差估计方法的场景适应性。

权利要求

1.一种视差估计方法，其特征在于，所述方法包括：

获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

2.根据权利要求1所述的方法，其特征在于，所述预设高维高斯函数，包括：获取预设视差估计值集合中各视差估计值对应的向量；

将所述预设视差估计值集合中各视差估计值对应的向量进行扩展生成扩展后的视差估计值集合；

将所述扩展后的视差估计值集合作为所述高维高斯函数模型的参数值，得到预设高维高斯函数模型。

3.根据权利要求1所述的方法，其特征在于，所述预设权重计算公式为w1＝1-M+M*w，其中，M为所述扩展后的合法视差值掩码图，w为所述合法视差值对应的函数值，w1为加权后的函数值。

4.根据权利要求1所述的方法，其特征在于，所述获取预设视差信号集合之前，还包括：利用双目摄像头采集第一灰度图像和第二灰度图像，其中左摄像头获取的图像对应所述第一灰度图像，右摄像头获取的图像对应所述第二灰度图像；

将所述第一灰度图像和第二灰度图像进行筛选后生成第三灰度图像和第四灰度图像；

基于预设标定程序和所述第三灰度图像以及第四灰度图像对所述双目摄像头进行标定，生成标定参数。

5.根据权利要求4所述的方法，其特征在于，所述生成标定参数之后，还包括：当所述标定参数达到预设标定参数值时，基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像之后，还包括：将所述第五灰度图像和第六灰度图像输入至预设半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图；

将所述第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图进行一致性校验，获取所述第五灰度图像对应的视差估计图中每个像素点视差值的置信度生成置信度图；

将所述第五灰度图像对应的视差估计图输入预设亚像素估计方法模型中生成亚像素精度的视差值；

基于所述置信度图，将所述亚像素精度的视差值中置信度低于预设阈值的视差值设为零生成视差信号集合，所述视差信号集合作为预设视差信号集合。

7.根据权利要求1所述的方法，其特征在于，所述双目视差估计模型的网络结构为PSMNet模型或iResNet模型。

8.一种视差估计装置，其特征在于，所述装置包括：

视差值掩码图生成模块，用于获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

模型生成模块，用于获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

合法视差值生成模块，用于将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

函数值生成模块，用于将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

损失值生成模块，基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

视差估计图生成模块，用于将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。

10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。

说明书

一种视差估计方法、装置、存储介质及终端

技术领域

[0001] 本发明涉及计算机技术领域，特别涉及一种视差估计方法、装置、存储介质及终端。

背景技术

[0002] 准确的视差估计是场景深度估计的技术基础，场景深度估计在机器人导航、工业精密测量、场景重建、虚拟现实、增强现实、物体识别等领域都有重要的应用。视差估计可以通过双目、结构光、飞时等原理获得。相比于结构光和飞时方案，双目视差估计具有适应室内外场景、抗光性、视差估计范围大等优良特性，同时双目方案结构简单、成本低。本发明集中阐述针对双目方案的一种基于稀疏视差信号引导的双目稠密视差估计方法。

[0003] 早期的双目视差估计方法利用摄像头获取图像中的局部区域颜色、结构等信息，匹配左右两个摄像头中一致的区域，进而估计视差。由于直接使用图像的颜色、局部结构信息抗光、抗噪声能力弱，视差估计质量差。后来，通过使用具有一定抗光能力的局部颜色编码特征，使得视差估计对光照变化、一定的噪声更加鲁棒。同时，通过使用全局、半全局等不同大小图像区域的图像信息，进一步改善视差估计质量。

[0004] 近年来，基于卷积神经网络的双目视差估计方法取得了突破性进展，在视差估计准确和速度上都较上述传统方法有了较高提升。但是现有基于卷积神经网络的双目视差估计方法在迁移到不同数据集、场景时，会出现严重的视差估计准确度损失，甚至失效，从而导致严重制约了基于卷积神经网络的双目视差估计方法在实际场景中的应用。

发明内容

[0005] 本发明实施例提供了一种视差估计方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

[0006] 第一方面，本发明实施例提供了一种视差估计方法，所述方法包括：

[0007] 获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

[0008] 获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

[0009] 将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

[0010] 将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

[0011] 基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

[0012] 将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

[0013] 可选的，述预设高维高斯函数，包括：

[0014] 获取预设视差估计值集合中各视差估计值对应的向量；

[0015] 将所述预设视差估计值集合中各视差估计值对应的向量进行扩展生成扩展后的视差估计值集合；

[0016] 将所述扩展后的视差估计值集合作为所述高维高斯函数模型的参数值，得到预设高维高斯函数模型；

[0017] 可选的，所述预设权重计算公式为w1＝1-M+M*w，其中，M为所述扩展后的合法视差值掩码图，w为所述合法视差值对应的函数值，w1为加权后的函数值。

[0018] 可选的，所述获取预设视差信号集合之前，还包括：

[0019] 利用双目摄像头采集第一灰度图像和第二灰度图像，其中左摄像头获取的图像对应所述第一灰度图像，右摄像头获取的图像对应所述第二灰度图像；

[0020] 将所述第一灰度图像和第二灰度图像进行筛选后生成第三灰度图像和第四灰度图像；

[0021] 基于预设标定程序和所述第三灰度图像以及第四灰度图像对所述双目摄像头进行标定，生成标定参数。

[0022] 可选的，所述获得标定参数之后，还包括：

[0023] 当所述标定参数达到预设标定参数值时，基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像。

[0024] 可选的，所述基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像之后，还包括：

[0025] 将所述第五灰度图像和第六灰度图像输入至预设半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图；

[0026] 将所述第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图进行一致性校验，获取所述第五灰度图像对应的视差估计图中每个像素点视差值的置信度生成置信度图；

[0027] 将所述第五灰度图像对应的视差估计图输入预设亚像素估计方法模型中生成亚像素精度的视差值；

[0028] 基于所述置信度图，将所述亚像素精度的视差值中置信度低于预设阈值的视差值设为零生成视差信号集合，所述视差信号集合作为预设视差信号集合。

[0029] 第二方面，本发明实施例提供了一种视差估计装置，所述装置包括：

[0030] 视差值掩码图生成模块，用于获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

[0031] 模型生成模块，用于获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

[0032] 合法视差值生成模块，用于将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

[0033] 函数值生成模块，用于将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

[0034] 损失值生成模块，基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

[0035] 视差估计图生成模块，用于将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

[0036] 可选的，所述装置还包括：

[0037] 图像采集模块，用于利用双目摄像头采集第一灰度图像和第二灰度图像，其中左摄像头获取的图像对应所述第一灰度图像，右摄像头获取的图像对应所述第二灰度图像；

[0038] 图像生成模块，用于将所述第一灰度图像和第二灰度图像进行筛选后生成第三灰度图像和第四灰度图像；

[0039] 参数生成模块，基于预设标定程序和所述第三灰度图像以及第四灰度图像对所述双目摄像头进行标定，生成标定参数。

[0040] 可选的，所述装置还包括：

[0041] 图像矫正模块，用于当所述标定参数达到预设标定参数值时，基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像。

[0042] 可选的，所述装置还包括：

[0043] 视差估计图生成模块，用于将所述第五灰度图像和第六灰度图像输入至预设半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图；

[0044] 置信度图生成模块，用于将所述第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图进行一致性校验，获取所述第五灰度图像对应的视差估计图中每个像素点视差值的置信度生成置信度图；

[0045] 视差值生成模块，用于将所述第五灰度图像对应的视差估计图输入预设亚像素估计方法模型中生成亚像素精度的视差值；

[0046] 集合生成模块，用于基于所述置信度图，将所述亚像素精度的视差值中置信度低于预设阈值的视差值设为零生成视差信号集合，所述视差信号集合作为预设视差信号集合。

[0047] 第三方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

[0048] 第四方面，本发明实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

[0049] 本发明实施例提供的技术方案可以包括以下有益效果：

[0050] 在本发明实施例中，视差估计装置通过获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图，然后获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型，通过将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值，再将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值，然后基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值，最后将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。因此，采用本发明实施例，由于本发明提出的稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决基于卷积神经网络的双目视差估计方法的场景适应性。

[0051] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

[0052] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

[0053] 图1是本发明实施例提供的视差估计方法的流程示意图；

[0054] 图2是本发明实施例提供的一种获取视差信号集合方法的流程示意图；

[0055] 图3是本发明实施例提供的一种视差估计装置的结构示意图；

[0056] 图4是本发明实施例提供的另一种视差估计装置的结构示意图；

[0057] 图5是本发明实施例提供的一种获取视差估计图的流程图；

[0058] 图6是本发明实施例提供的一种终端的结构示意图。

具体实施方式

[0059] 以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

[0060] 应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0061] 下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

[0062] 在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

[0063] 到目前为止，基于卷积神经网络的双目视差估计方法取得了突破性进展，在视差估计准确和速度上都较上述传统方法有了较高提升。但是现有基于卷积神经网络的双目视差估计方法在迁移到不同数据集、场景时，会出现严重的视差估计准确度损失，甚至失效，从而导致严重制约了基于卷积神经网络的双目视差估计方法在实际场景中的应用。以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本发明提出的稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决基于卷积神经网络的双目视差估计方法的场景适应性，下面采用示例性的实施例进行详细说明。

[0064] 下面将结合附图1-附图2及附图5，对本发明实施例提供的视差估计方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的视差估计装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本发明实施例中的视差估计装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。

[0065] 请参见图1，为本发明实施例提供了一种视差估计方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤：

[0066] S101，获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

[0067] 其中，所述预设视差信号集合是根据图2中的方法步骤得到的稀疏、高可信视差信号集合，需要说明的是，预设视差信号集合除了图2中的方法步骤外，其他任意能够获得稀疏、高可信视差信号的方法均可用，同时，任何可以直接输出稀疏、高可信视差信号的传感数据也可用。所述合法视差值掩码图是指在所述预设视差信号集合中获取合法视差信号，将合法视差信号经过处理生成的合法视差值掩码图。

[0068] 在一种可能的实施方式中，首先打印标准的棋盘，此处的棋盘可以是五子棋的棋盘，也可以是象棋的棋盘，具体的棋盘可按照实际情况而定，此处不做限定。当标准的棋盘打印后，将所述标准棋盘固定在一个大平板上，然后采用双目摄像头连接到电脑，所述双目摄像头是具有两个摄像头，也可以指左右两个摄像头。在所述双目摄像头连接到电脑成功后，将提前打印的棋盘放到不同的位置，利用所述双目摄像头进行棋盘灰度图像的采集，其中左边摄像头采集的图像可看成第一灰度图像，右边摄像头采集的图像可看成第二灰度图像。然后利用终端的内部程度对获取的第一灰度图像和第二灰度图像进行筛选，将棋盘灰度图像黑白格点上模糊不清的点、棋盘灰度图像不完整的部分和棋盘灰度图像中棋盘角度重复的图像剔除。然后利用标定程序和筛选后的标定图像对双目摄像头进行标定，标定结束后生成标定参数，然后终端对标定参数再进行标定结果的校验，当校验结果符合要求时，完成双目摄像头的标定。

[0069] 在摄像头标定结束后，终端获取标定的参数对双目摄像头获取的灰度图像进行校正，校正双目摄像头的灰度图像后，使得真实场景的同一物理点投影到左右摄像头采集的灰度图像的同一水平线上。

[0070] 校正结束后，对校正后的双目摄像头采集的灰度图像执行半全局块匹配视差估计方法，分别计算以左摄像头采集的灰度图像为基准的视差估计图和以右摄像头采集的灰度图像为基准的视差估计图。然后对计算得到的两个视差估计图进行一致性校验，校验结束后获取左摄像头采集的灰度图像为基准的视差估计图中每个像素点视差值得置信度图。然后利用亚像素估计方法获取左摄像头采集的灰度图像为基准的视差估计图中亚像素精度的视差值。最后基于置信度图，将获取的左摄像头采集的灰度图像为基准的视差估计图中亚像素精度的视差值小于预设阈值的视差值设置为零，然后可得到高可信、稀疏的视差信号，作为引导信号。最后将得到的高可信、稀疏的视差信号作为预设视差信号集合。

[0071] S102，获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

[0072] 其中，所述双目视差估计模型是进行视差估计的数学模型，该模型是基于卷积神经网络创建生成的，所述卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)。所述视差匹配损失计算模块是所述双目视差估计模型的核心模块，该模块的主要功能是对双目视差匹配后损失值进行计算。所述视差信号引导模块是引导步骤S101中的高可信、稀疏视差信号的模块。

[0073] 在一种可能的实现方式中，用户终端利用内部程序首先获取保存在服务器上的引导高可信、稀疏视差信号的视差信号引导模块，然后再获取预先生成的双目视差估计模型，然后再获取双目视差估计模型中的核心模块视差匹配损失计算模块，然后通过内部程序将视差匹配损失计算模块输出的地方进行分割后分成两个部分，然后在分割处插入视差信号引导模块生成插入后的双目视差估计模型。最后将插入的视差信号引导模块的空间分辨率降到和视差匹配损失计算模块输出的地方的空间分辨率一样大小，再通过扩展维度和元素复制，将空间分辨率降扩展成和视差匹配损失计算模块输出的地方具有相同维度的形式。

[0074] S103，将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

[0075] 其中，所述合法视差值掩码图的生成可参考步骤S101，此处不再赘述。所述双目视差估计模型具体可参考步骤S102，此处不再赘述。

[0076] 通常，基于步骤S101生成的视差值掩码图此时的空间分辨率和维度与视差匹配损失计算模块输出的地方不相同，需要将视差值掩码的空间分辨率和维度进行处理，处理成和视差匹配损失计算模块输出地方的分辨率和维度都相同，当处理后的空间分辨率和维度与视差匹配损失计算模块输出地方的分辨率和维度都相同时，才能将扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值。

[0077] 在本申请实施例中，用户终端首先获取提前生成的视差值掩码图，然后利用内部预设程序对视差值掩码图进行分析处理后获取视差值掩码图的空间分辨率和维度，然后获取视差匹配损失计算模块输出地方的分辨率和维度，最后将视差值掩码图的空间分辨率和维度进行处理后，使得空间分辨率和维度和获取视差匹配损失计算模块输出地方的分辨率和维度相同。在视差值掩码图的空间分辨率和维度与视差匹配损失计算模块输出地方的分辨率和维度相同时，用户终端将扩展后的视差值掩码图输入到插入视差信号引导模块的双目视差估计模型中生成合法的视差值。

[0078] S104，将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

[0079] 其中，高斯函数应用于统计学领域，在图像处理领域，高斯函数常用于高斯模糊。所述合法视差值对应的函数值是将合法视差值输入预设高维高斯函数模型中生成的，其中高纬高斯函数的函数参数值是基于预设视差估计的值对应的向量进行处理得到的，将得到的参数作为高维高斯函数的中心。

[0080] 通常，用户终端首先获取预设视差估计值集合，在预设的视差估计值集合中将各视差值进行向量化表示，如表1所示：

[0081] 表1

[0082] 预设视差值 1 2 maxD对应向量 0 1 maxD-1

[0083] 表1中预设视差值1对应向量为0，预设值2对应的向量为1，预设值maxD对应的向量为maxD-1。然后将向量化后的视差值进行空间分辨率和维度的扩展，使得预设向量化后的视差值对应的空间分辨率和维度保持与视差匹配损失计算模块输出地方的分辨率和维度相同，然后将扩展后的预设向量作为高维高斯函数的中心。

[0084] 在本发明实施例中，首先将生成的合法视差值输入到所述高维高斯函数模型中，生成合法视差值对应的函数值，记为权重W，然后将权重W输入到预设公式w1＝1-M+M*w，得到新的加权权重，即生成加权后的函数值；M为所述扩展后的合法视差值掩码图，w1为加权后的函数值。

[0085] S105，基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

[0086] 在一种可能的实现方式中，用户终端首先获取到基于步骤S104得到的加权后的函数值，然后再获取插入视差信号引导模块的双目视差估计模型中核心模块视差损失计算模块的值，最后将所述加权后的函数值添加到所述核心模块视差损失计算模块的值中，生成加权后的视差匹配损失值。

[0087] S106，将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

[0088] 本发明实施例中，首先根据步骤S105得到加权后的视差匹配损失值，最后将加权后的视差匹配损失值输入双目视差估计模型中生成视差信号引导的视差估计图。

[0089] 例如图5所示，首先将棋盘在不同的位置摆放，然后采集左右摄像头对应的灰度图像，再使用采集的灰度图像数据样本和标定左右摄像头的程序对摄像头进行标定，并计算出标定参数，用户终端最后判断标定参数的质量，当标定参数的质量到达设定的质量阈值时，对左右摄像头的灰度图像进行一致性校正，校正使得左右摄像头图像的同一物理点在同一条水平线上，然后基于预设方式获取到稀疏、高可信视差信号集合。最后根据获取的稀疏、高可信视差信号集合引导双目视差估计。

[0090] 在双目视差估计中，首先合法视差信号处理，再使用合法视差信号引导的权重，然后对视差估计模型中的视差匹配损失加权处理，再根据加权后的视差匹配损失值估计视差，最后得到稀疏、高可信视差信号引导的视差估计图。

[0091] 在本发明实施例中，视差估计装置通过获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图，然后获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型，通过将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值，再将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值，然后基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值，最后将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。因此，采用本发明实施例，由于本发明提出的稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决基于卷积神经网络的双目视差估计方法的场景适应性。

[0092] 请参考图2，在步骤S101之前，用户终端需要采集图像并根据图像来获取视差信号集合。可选的，视差信号集合的获取过程包括但不限于以下几个步骤：

[0093] S201，利用双目摄像头采集第一灰度图像和第二灰度图像，其中左摄像头获取的图像对应所述第一灰度图像，右摄像头获取的图像对应所述第二灰度图像；

[0094] 其中，所述双目摄像头可以理解成两个摄像头的设备，其中一个摄像头是左边，另外一个在右边。所述第一灰度图像和第二灰度图像都是指利用摄像头进行采集的预设棋盘的灰度图像。

[0095] 在一种可行的实现方式中，首先打印标准的棋盘，此处的棋盘可以是五子棋的棋盘，也可以是象棋的棋盘，具体的棋盘可按照实际情况而定，此处不做限定。当标准的棋盘打印后，将所述标准棋盘固定在一个大平板上，然后采用双目摄像头连接到电脑，所述双目摄像头是具有两个摄像头，也可以指左右两个摄像头。在所述双目摄像头连接到电脑成功后，将提前打印的棋盘放到不同的位置，利用所述双目摄像头进行棋盘灰度图像的采集，其中左边摄像头采集的图像可看成第一灰度图像，右边摄像头采集的图像可看成第二灰度图像。

[0096] S202，将所述第一灰度图像和第二灰度图像进行筛选后生成第三灰度图像和第四灰度图像；

[0097] 其中，所述第三灰度图像对应着将所述第一灰度图像进行筛选后生成的灰度图像，所述第四灰度图像对应着将所述第二灰度图像进行筛选后生成的灰度图像。所述筛选是指将所述第一灰度图像和第二灰度图像中模糊不清和残缺损坏的部分进行去除。

[0098] 在一种可行的实现方式中，终端通过内部程序对获取的第一灰度图像和第二灰度图像进行筛选，将棋盘灰度图像黑白格点上模糊不清的点、棋盘灰度图像不完整的部分和棋盘灰度图像中棋盘角度重复的图像剔除。

[0099] S203，基于预设标定程序和所述第三灰度图像以及第四灰度图像对所述双目摄像头进行标定，生成标定参数；

[0100] 在本申请实施例中，用户终端利用标定程序和筛选后的标定图像对双目摄像头进行标定，标定结束后生成标定参数，然后终端对标定参数再进行标定结果的校验，当校验结果符合要求时，完成双目摄像头的标定。

[0101] S204，当所述标定参数达到预设标定参数值时，基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像；

[0102] 其中，预设标定参数值为衡量步骤S203生成的标定参数是否达到预期标准的衡量参数。

[0103] 在本申请实施例中，当步骤S203生成的标定参数值大于等于所述预设的标定参数值时，用户终端利用步骤S203生成的标定参数对第三灰度图像和第四灰度图像进行校正，生成第五灰度图像和第六灰度图像；

[0104] S205，将所述第五灰度图像和第六灰度图像输入至预设半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图；

[0105] 其中，所述半全局块匹配视差估计方法模型具有视差效果好和速度快的特点，因此被用于双目视差估计中。

[0106] 在本发明实施例中，用户终端首先基于步骤S204生成第五灰度图像和第六灰度图像，然后获取保存在服务器的半全局块匹配视差估计方法模型，最后将所述第五灰度图像和第六灰度图像输入半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图。

[0107] S206，将所述第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图进行一致性校验，获取所述第五灰度图像对应的视差估计图中每个像素点视差值的置信度生成置信度图；

[0108] 在本申请实施例中，首先对计算得到的两个视差估计图进行一致性校验，校验结束后获取左摄像头采集的灰度图像为基准的视差估计图中每个像素点视差值得置信度图。然后利用亚像素估计方法获取左摄像头采集的灰度图像为基准的视差估计图中亚像素精度的视差值。

[0109] S207，将所述第五灰度图像对应的视差估计图输入预设亚像素估计方法模型中生成亚像素精度的视差值；

[0110] 具体可参见步骤S206，此处不再赘述。

[0111] S208，基于所述置信度图，将所述亚像素精度的视差值中置信度低于预设阈值的视差值设为零生成视差信号集合，所述视差信号集合作为预设视差信号集合。

[0112] 在本申请实施例中，基于置信度图，首先将获取的左摄像头采集的灰度图像为基准的视差估计图中亚像素精度的视差值小于预设阈值的视差值设置为零，然后可得到高可信、稀疏的视差信号，作为引导信号。最后将得到的高可信、稀疏的视差信号作为预设视差信号集合。

[0113] 需要说明的是，所述视差信号集合除了例如图2步骤为例的方法外，其他任意能够获得所述视差信号集合的方法均可用。同时，任何可以直接输出所述信视差信号集合的传感器数据也可用，如LIDAR传感器。根据上述方法得到所述信视差信号集合之后，可执行图1中S101～S106的方法步骤。

[0114] 在本发明实施例中，视差估计装置通过获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图，然后获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型，通过将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值，再将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值，然后基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值，最后将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。因此，采用本发明实施例，由于本发明提出的稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决基于卷积神经网络的双目视差估计方法的场景适应性。

[0115] 下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

[0116] 请参见图3，其示出了本发明一个示例性实施例提供的视差估计装置的结构示意图。该视差估计方法装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括视差值掩码图生成模块10、模型生成模块20、合法视差值生成模块30、函数值生成模块40、损失值生成模块50、视差估计图生成模块60。

[0117] 视差值掩码图生成模块10，用于获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

[0118] 模型生成模块20，用于获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

[0119] 合法视差值生成模块30，用于将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

[0120] 函数值生成模块40，用于将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

[0121] 损失值生成模块50，基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

[0122] 视差估计图生成模块60，用于将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

[0123] 可选的，如图4所示，所述装置1还包括：

[0124] 图像采集模块70，用于利用双目摄像头采集第一灰度图像和第二灰度图像，其中左摄像头获取的图像对应所述第一灰度图像，右摄像头获取的图像对应所述第二灰度图像；

[0125] 图像生成模块80，用于将所述第一灰度图像和第二灰度图像进行筛选后生成第三灰度图像和第四灰度图像；

[0126] 参数生成模块90，基于预设标定程序和所述第三灰度图像以及第四灰度图像对所述双目摄像头进行标定，生成标定参数。

[0127] 可选的，如图4所示，所述装置1还包括：

[0128] 图像矫正模块100，用于当所述标定参数达到预设标定参数值时，基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像。

[0129] 可选的，如图4所示，所述装置1还包括：

[0130] 视差估计图生成模块110，用于将所述第五灰度图像和第六灰度图像输入至预设半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图；

[0131] 置信度图生成模块120，用于将所述第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图进行一致性校验，获取所述第五灰度图像对应的视差估计图中每个像素点视差值的置信度生成置信度图；

[0132] 视差值生成模块130，用于将所述第五灰度图像对应的视差估计图输入预设亚像素估计方法模型中生成亚像素精度的视差值；

[0133] 集合生成模块140，用于基于所述置信度图，将所述亚像素精度的视差值中置信度低于预设阈值的视差值设为零生成视差信号集合，所述视差信号集合作为预设视差信号集合。

[0134] 需要说明的是，上述实施例提供的视差估计装置在执行视差估计方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视差估计装置与视差估计方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

[0135] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

[0136] 在本发明实施例中，视差估计装置通过获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图，然后获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型，通过将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值，再将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值，然后基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值，最后将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。因此，采用本发明实施例，由于本发明提出的稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决基于卷积神经网络的双目视差估计方法的场景适应性。

[0137] 本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的视差估计方法。

[0138] 本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的视差估计方法。

[0139] 请参见图6，为本发明实施例提供了一种终端的结构示意图。如图6所示，所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

[0140] 其中，通信总线1002用于实现这些组件之间的连接通信。

[0141] 其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

[0142] 其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

[0143] 其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

[0144] 其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视差估计应用程序。

[0145] 在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的视差估计应用程序，并具体执行以下操作：

[0146] 获取目标行人图像；

[0147] 将所述目标行人图像输入至预先训练的行人属性识别模型中，所述行人属性识别模型是基于第一数据样本和第二数据样本训练生成，所述第二数据样本是将所述第一数据样本输入到预先训练的风格迁移模型中所生成；

[0148] 输出所述目标行人图像对应的各属性值。

[0149] 在一个实施例中，所述处理器1001在执行所述获取目标行人图像之前，还执行以下操作：

[0150] 获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图；

[0151] 获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型；

[0152] 将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值；

[0153] 将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值；

[0154] 基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值；

[0155] 将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。

[0156] 在一个实施例中，所述处理器1001在执行所述获取预设视差信号集合之前，还执行以下操作：

[0157] 利用双目摄像头采集第一灰度图像和第二灰度图像，其中左摄像头获取的图像对应所述第一灰度图像，右摄像头获取的图像对应所述第二灰度图像；

[0158] 将所述第一灰度图像和第二灰度图像进行筛选后生成第三灰度图像和第四灰度图像；

[0159] 基于预设标定程序和所述第三灰度图像以及第四灰度图像对所述双目摄像头进行标定，生成标定参数。

[0160] 在一个实施例中，所述处理器1001在执行所述获得标定参数之后，还执行以下操作：

[0161] 当所述标定参数达到预设标定参数值时，基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像。

[0162] 在一个实施例中，所述处理器1001在执行所述基于所述标定参数对所述第三灰度图像和第四灰度图像进行校正生成第五灰度图像和第六灰度图像之后，还执行以下操作：

[0163] 将所述第五灰度图像和第六灰度图像输入至预设半全局块匹配视差估计方法模型中生成第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图；

[0164] 将所述第五灰度图像对应的视差估计图和第六灰度图像对应的视差估计图进行一致性校验，获取所述第五灰度图像对应的视差估计图中每个像素点视差值的置信度生成置信度图；

[0165] 将所述第五灰度图像对应的视差估计图输入预设亚像素估计方法模型中生成亚像素精度的视差值；

[0166] 基于所述置信度图，将所述亚像素精度的视差值中置信度低于预设阈值的视差值设为零生成视差信号集合，所述视差信号集合作为预设视差信号集合。

[0167] 在本发明实施例中，视差估计装置通过获取预设视差信号集合，在所述预设视差信号集合中获取合法视差信号后生成合法视差值掩码图，然后获取视差信号引导模块，将所述视差信号引导模块插入预设双目视差估计模型的视差匹配损失计算模块中生成插入后的双目视差估计模型，通过将所述合法视差值掩码图进行扩展生成扩展后的合法视差值掩码图，将所述扩展后的合法视差值掩码图输入所述插入后的双目视差估计模型中生成合法视差值，再将所述合法视差值输入预设高维高斯函数模型中生成所述合法视差值对应的函数值，将所述合法视差值对应的函数值输入预设权重计算公式中生成加权后的函数值，然后基于加权后的函数值对所述插入后的双目视差估计模型中视差匹配损失计算模块的值进行加权生成加权后的视差匹配损失值，最后将所述加权后的视差匹配损失值输入所述插入后的双目视差估计模型中生成视差信号引导的视差估计图。因此，采用本发明实施例，由于本发明提出的稀疏、高可信视差信号引导的双目视差估计方案，所以能够有效解决基于卷积神经网络的双目视差估计方法的场景适应性。

[0168] 本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0169] 本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0170] 应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。