基于脉冲神经网络的机械手触觉数据分类方法

摘要

本发明涉及一种基于脉冲神经网络的机械手触觉数据分类方法，包括，步骤S1，数据输入；步骤S2，图卷积层；步骤S3，发送脉冲；步骤S4，特征映射；步骤S5，发送脉冲；步骤S6，特征映射；步骤S7，发送脉冲；步骤S8，输出结构。本发明通过构建脉冲神经网络模型，包括，输入层、图卷积层、3个LIF层、2个具有不同输出的全连接层以及输出层；优化隐藏层的模型结构，并通过引入正态分布密度函数近似传播函数来加快模型收敛速度，提高物体分类准确性；通过修改隐藏层的结构，使模型与触觉感知场景更加贴合，更能够模拟实际场景，提高了感知能力，以及模型的鲁棒性。

权利要求

1.一种基于脉冲神经网络的机械手触觉数据分类方法，其特征在于，所述基于脉冲神经网络的机械手触觉数据分类方法是基于脉冲神经网络结构模型，该模型有8层结构，包括，输入层、图卷积层、3个LIF层、2个具有不同输出的全连接层、输出层，步骤S1：输入由触觉传感器采集的数据；

步骤S2：用TAG卷积自适应输入图的拓扑结构，并输出特征矩阵tf；

步骤S3：通过LIF激活脉冲神经元，发送脉冲；

(1) (1) (1)

步骤S4：将特征矩阵tf通过全连接层将特征映射到y ，y ＝W1tf+b1,其中，y 为由tf线性变化得到的特征空间，W1为权值参数，b1为偏置参数；

步骤S5：通过LIF激活脉冲神经元，发送脉冲；

(1) (2) (2) (1) (2) (1)

步骤S6：输入y ，通过全连接层将特征映射y ，y ＝W2y +b2,其中，y 为由y 线性变化得到的特征空间，W2为权值参数，b2为偏置参数；

步骤S7：通过LIF激活脉冲神经元，发送脉冲；

步骤S8：通过具有与物体种类数相同数量的神经元输出在单位时间内获得平均最大票数的预测结果；

在所述步骤S3、S5、S7中均使用的反向传播函数，采用正态分布密度函数近似传播函数，模拟反向传播,正态分布密度函数为 其中u表示输入，a2为函数的宽度系数，π为数学常数，e为自然常数；

所述步骤S2中输出的特征矩阵tf，其公式为 其中，tf为第f个输出特征图，C为每个节点的输入特征个数，Gc,f为第f个图形滤波器，lc为所有节点的第c个输入特征， af为可学习的偏差向量，*表示卷积运算；

所述步骤S3中LIF的激活函数为fLIF(u)＝fire a spike&u(t)←ur,if u(t)≥Vth，其中，u(t)表示t时间神经元的膜电位，Vth表示神经元膜电位的阈值，ur表示神经元的静息电位，fire a spike表示发射一个脉冲信号。

2.根据权利要求1所述的基于脉冲神经网络的机械手触觉数据分类方法，其特征在于，所述步骤S2中TAG卷积为3x3x64。

3.根据权利要求1所述的基于脉冲神经网络的机械手触觉数据分类方法，其特征在于,所述步骤S8中共有36个神经元，对应36种不同物体。

说明书

基于脉冲神经网络的机械手触觉数据分类方法

技术领域

[0001] 本发明涉及机械手物体识别技术领域，尤其涉及一种基于脉冲神经网络的机械手触觉数据分类方法。

背景技术

[0002] 触觉是人类在探索周边环境时不可替代的信息来源之一，其通过向中枢神经传输各种感受信息(例如光滑度、压力值、温度以及振动感等)帮助人类感知周围的环境。

[0003] 脉冲神经网络具有事件驱动的特性，能够充分利用基于时空事件的信息，该特点与人类触觉由事件激活相适应，且能够节省资源的消耗。现有技术中，脉冲神经网络的传播函数通常是不可微的，从而影响了网络的反向传播，使其不可用。研究者通过使用近似传播函数，模拟反向传播来初步解决不可微的问题，该方法虽然在触觉数据集实现了物体的分类，但是准确率低于90％，只有88.8％的识别率，同时模型的收敛速度较慢，需花费大量的时间进行训练，才能获得最后较高的识别率。改进的模型通过优化隐藏层的模型结构，采用正态分布密度函数近似传播函数，从而提高模型性能，获得更高的分类识别率。

发明内容

[0004] 为此，本发明提供一种基于脉冲神经网络的机械手触觉数据分类方法，用以克服现有技术中触觉分类准确性低与收敛速度慢的问题。

[0005] 为实现上述目的，本发明提供一种基于脉冲神经网络的机械手触觉数据分类方法，所述基于脉冲神经网络的机械手触觉数据分类方法是基于脉冲神经网络结构模型，该模型有8层结构，包括，输入层、图卷积层、3个LIF层、2个具有不同输出的全连接层、输出层，[0006] 步骤S1：输入由触觉传感器采集的数据；

[0007] 步骤S2：用TAG卷积自适应输入图的拓扑结构，并输出特征矩阵tf；

[0008] 步骤S3：通过LIF激活脉冲神经元，发送脉冲；

[0009] 步骤S4：将特征矩阵tf通过全连接层将特征映射到y(1)，y(1)＝W1tf+b1,其中，y(1)为由tf线性变化得到的特征空间，W1为权值参数，b1为偏置参数；

[0010] 步骤S5：通过LIF激活脉冲神经元，发送脉冲；

[0011] 步骤S6：输入y(1)，通过全连接层将特征映射y(2)，y(2)＝W2y(1)+b2,其中，y(2)为由y(1)线性变化得到的特征空间，W2为权值参数，b2为偏置参数；

[0012] 步骤S7：通过LIF激活脉冲神经元，发送脉冲；

[0013] 步骤S8：通过具有与物体种类数相同数量的神经元输出在单位时间内获得平均最大票数的预测结果。

[0014] 进一步地，所述步骤S2中输出的特征矩阵tf，其公式为 其中，tf为第f个输出特征图，C为每个节点的输入特征个数，Gc,f为第f个图形滤波器，lc为所有节点的第c个输入特征，C为每个节点的输入特征数，af为可学习的偏差向量，*表示卷积运算。

[0015] 进一步地，所述步骤S3中LIF的激活函数为，

[0016] fLIF(u)＝fire a spike&u(t)←ur,if u(t)≥Vth

[0017] 其中，u(t)表示t时间神经元的膜电位，Vth表示神经元膜电位的阈值，ur表示神经元的静息电位，fire a spike表示发射一个脉冲信号。

[0018] 进一步地，所述步骤S2中TAG卷积为3x3x64。

[0019] 进一步地，在所述步骤S3、S5、S7中均使用的反向传播函数，采用正态分布密度函数近似传播函数，模拟反向传播,正态分布密度函数为 其中u表示输入，a2为函数的宽度系数，π为数学常数，e为自然常数。

[0020] 进一步地，所述步骤S8中共有36个神经元，对应36种不同物体。

[0021] 与现有技术相比，本发明的有益效果在于，所述脉冲神经网络模型共设置为8层，包括，输入层、图卷积层、3个LIF层、2个具有不同输出的全连接层、输出层，优化隐藏层的模型结构，采用正态分布密度函数近似传播函数。

[0022] 进一步地，通过引入正态分布密度函数来加快模型收敛速度，提高物体分类准确性。

[0023] 进一步地，通过修改隐藏层的结构，使模型与触觉感知场景更加贴合，更能够模拟实际场景，提高了感知能力，以及模型的鲁棒性。

附图说明

[0024] 图1为本发明所述基于脉冲神经网络的机械手触觉数据分类方法的流程图；

[0025] 图2为本发明所述脉冲神经网络结构模型；

[0026] 图3为本发明所述LIF模型动态变化图；

[0027] 图4为实施例中的近似反向传播函数；

[0028] 图5为实施例中不同反向传播函数下的训练、损失对比图。

具体实施方式

[0029] 为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

[0030] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

[0031] 需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

[0032] 此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

[0033] 请参阅图1、图2所示，其中，图1为本发明所述基于脉冲神经网络的机械手触觉数据分类方法的流程图，图2为本发明所述脉冲神经网络结构模型，本发明公布一种基于脉冲神经网络的机械手触觉数据分类方法，基于所设计的脉冲神经网络结构、LIF模型、正态分布密度函数形成一种基于脉冲神经网络的基于脉冲神经网络的机械手触觉数据分类方法，主要流程包括，

[0034] 步骤S1：输入由触觉传感器采集的数据；

[0035] 步骤S2：用TAG卷积自适应输入图的拓扑结构，并输出特征矩阵tf；

[0036] 步骤S3：通过LIF激活脉冲神经元，发送脉冲；

[0037] 步骤S4：将特征矩阵tf通过全连接层将特征映射到y(1)＝W1tf+b1,其具有256个特征空间；

[0038] 步骤S5：通过LIF激活脉冲神经元，发送脉冲；

[0039] 步骤S6：输入y(1)，通过全连接层将特征映射y(2)＝W2y(1)+b2,其具有128个特征空间；

[0040] 步骤S7：通过LIF激活脉冲神经元，发送脉冲；

[0041] 步骤S8：通过具有与物体种类数相同数量的神经元输出在单位时间内获得平均最大票数的预测结果。

[0042] 1、脉冲神经网络结构

[0043] 请继续参阅图2所示，所述脉冲神经网络结构，包括，输入层、图卷积层、3个LIF层、2个具有不同输出的全连接层、输出层。

[0044] 在TAG层中，根据公式(1)进行特征的提取，自适应输入图的拓扑结构，

[0045]

[0046] 在全连接层中，采用线性函数进行特征的映射，步骤4中使用公式(3)，映射到256个特征空间：

[0047] y(1)＝W1yf+b1   (3)

[0048] 步骤S6中使用公式(4)，映射到128个特征空间：

[0049] y(2)＝W2y(1)+b2   (4)

[0050] 步骤S8中，将输出层中的每个标签与不同的神经元相关联，在单位时间内获得平均票数最多的神经元产生输出，也即是输出该神经元对应的标签为预测的分类结果。

[0051] 2、LIF层

[0052] LIF神经元状态仅根据事件的输入时间进行更新，LIF神经元可用式(6)表示：

[0053]

[0054] 其中τ为膜时间常数，I(t)为神经元输入的加权之和；

[0055] 当神经元的膜电位u(t)达到或者超过给定的阈值Vth时，神经元会被激活，输出一个脉冲并将其膜电位值重置为ur，因此，LIF模型的激活函数fLIF为式(2)：

[0056] fLIF(u)＝fireaspike&

[0057] u(t)←ur,ifu(t)≥Vth   (2)

[0058] 请继续参阅图3所示，其为本发明所述LIF模型动态变化图。

[0059] 神经元的输入与输出皆为二进制的脉冲信号，在t1时刻，神经元获得输入信号，其膜电位开始发生变化，但由于输入的信号不足以使神经元的膜电位到达阈值，故没有激活神经元发出脉冲；直到t2时刻叠加输入的脉冲信号之后，使神经元得到激活，输出脉冲信号并将神经元膜电位快速重置为ur；经过一段时间之后，神经元在t4、t5时刻收到输入信号，但由于两次信号之间的间隔时间较长，不足以叠加使膜电位达到阈值，故没有产生脉冲。叠加t6时刻输入的脉冲信号后，神经元膜电位超过阈值tth，神经元输出脉冲信号并重置膜电位为ur。

[0060] 3、正态分布密度函数近似反向传播函数

[0061] 请继续参阅图4所示，其为实施例中的近似反向传播函数

[0062] 其它非脉冲神经网络主要基于误差反向传播原理进行有监督训练，但对于脉冲神经网络而言，信息是通过脉冲序列的方式传播，这就导致了神经元状态变量和误差函数不满足连续可微的性质，本发明专利从式(5)、(7)选取性能优异的函数作为脉冲神经网络的反向传播函数：

[0063]

[0064]

[0065]

[0066] 式(5)(7)中的ai(i＝1,2)为函数的宽度系数，式(8)中的β为阻尼因子，令ai(i＝1,2)＝1，Vth＝1；

[0067] 图4绘制了上述2种函数在区间[‑3,5]上的图象；在u＝1处，图象“光滑”且连续，故满足可微的性质，可用作反向传播函数。

[0068] 4、实验环境设置及模型定义

[0069] 为评估所设计算法的性能，实验均运行于Intel Core i7‑10700，NVIDIARTX 3080，64GB RAM和1TB SSD的Windows10系统，使用的Pytorch版本为1.4.0，Cuda版本为
10.2。

[0070] 实验涉及的模型名和定义如表1所示，

[0071] 表1模型名及其定义

[0072]

[0073] 5、数据集介绍和评价指标

[0074] 本发明专利使用基于事件的EvTouch‑Object触觉数据集。该数据集由Robotiq 2F‑140机械手采集，其中包含36种家用物品，26种来自于YCB数据集其余10种由可变型物品组成；通过机械手将物品抓取到距离桌面20厘米再放回(持续总时间为5秒)来获取数据；其中每个物品采集20次，共720组，而单个数据又可切分为250个时间片段；本文实验将数据集分为两部分，其中80％的数据作为训练集，20％的数据作为测试集。

[0075] 采用的模型评价指标是准确率(Accuracy，Acc)。

[0076] 6、实验结果分析

[0077] 为了研究不同的反向传播函数以及模型结构对于实验结果的影响，本发明专利通过不同的传播函数和模型来验证。

[0078] 请继续参阅图5所示，其为实施例中不同反向传播函数下的训练、损失对比图

[0079] 2个模型在3种反向传播函数情况下的训练和测试的损失曲线，可以看出，随着迭代次数的增加，所有训练损失和测试损失都在开始时迅速降低，然后下降速度逐渐减慢，直至收敛。

[0080] 请继续参阅图5中的(a)与(b)部分，本发明专利模型的训练损失和测试损失比TactileSGNet模型收敛的值更低，并且开始收敛的代数更小。

[0081] 请继续参阅图5中的(c)部分，将TactileSGNet模型的反向传播函数替换为式(7)后，训练损失较原模型变化不大，但将模型更换为本发明专利的模型后，训练损失更快收敛。

[0082] 请继续参阅图5中的(d)部分，测试损失也是本发明专利的模型优于其他两类，总的来说，使用本发明专利改进后的模型的训练损失和测试损失下降的速度更快，收敛的Loss值更低。

[0083] 同时从表2中展示了各模型经过100次迭代训练后的最高准确率，可以看出其中值最大的为Our‑(4)，准确率为90.28％，比使用TactileSGNet模型以及TactileSGNet‑(4)模型的准确率提高了1.389％；同时，使用本发明专利模型的方法都比使用TactileSGNet模型准确率高，相差最少的为0.694％，最多为1.389％；这表明了本发明专利的模型在相同情况下，分类准确率优于原模型。

[0084] 表3各方法的测试准确率

[0085] 方法 精度(Acc)TactileSGNet 88.889％
Our‑(3) 89.583％
TactileSGNet‑(4) 88.889％
Our‑(4) 90.278％
TactileSGNet‑(5) 86.806％
Our‑(5) 88.194％

[0086] 综上所述，本文提出的模型准确率更高，收敛速度快，收敛值低，具有更好的鲁棒性。

[0087] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

[0088] 以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。