一种基于事件相机的脉冲神经网络目标跟踪方法和系统转让专利

申请号 : CN202210357273.6

文献号 : CN114429491B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵文一唐华锦洪朝飞王笑袁孟雯陆宇婧张梦骁黄恒潘纲

申请人 : 之江实验室浙江大学

摘要 :

本发明属于目标跟踪领域,具体涉及一种基于事件相机的脉冲神经网络目标跟踪方法和系统,该方法包括通过事件相机获取目标高动态场景中的异步事件数据流;将异步事件数据流划分为毫秒级时间分辨率的事件帧图像;以目标图像为模板图像,以完整图像作为搜索图像,训练基于脉冲神经网络的孪生网络,该网络包括特征提取器以及计互相关计算器,图像经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果;使用训练好的网络,将特征映射的结果进行插值上采样,获得目标在原图中的位置,实现目标跟踪。本发明降低了图像数据的传输延迟与目标跟踪算法的计算延迟,提高了目标跟踪在高动态场景下的精度。

权利要求 :

1.一种基于事件相机的脉冲神经网络目标跟踪方法,其特征在于,包括以下步骤:

步骤S10,通过事件相机获取目标高动态场景中的异步事件数据流;所述异步事件数据流具体为[t,p,x,y]格式,其中t为时间戳,p为事件极性,x,y代表事件在像素坐标系下的坐标;

步骤S20,通过异步事件累积将异步事件数据流划分为毫秒级时间分辨率的N张事件帧图像,N为整数,具体为:首先根据设置好的时间步大小及数量对异步事件数据流进行划分,然后将每个时间步内的事件进行累积,同一时间步内坐标产生的事件数大于0,则该坐标处像素设置为1,否则像素设置为0,以此生成按时间步划分的事件帧图像,事件帧图像为二值图像;

步骤S30,框选出第1张事件帧图像中的目标,以该目标的图像为模板图像a,以2到N张的事件帧图像作为搜索图像b,输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络,所述孪生网络包括特征提取器以及互相关计算器,经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果;

所述特征提取器提取特征映射,具体为:将所述特征提取器表示为 ,模板图像a和搜索图像b经过特征提取器运算后的输出分别为特征映射 和特征映射 ;其中,特征提取器采用脉冲卷积神经网络,其网络结构为96C5‑2S‑256C3‑2S‑384C3‑384C3‑256C3,其中

96C5表示kernel_size为5输出通道为96的脉冲卷积层,2S表示下采样2倍的池化层,256C3表示kernel_size为3输出通道为256的脉冲卷积层,384C3表示kernel_size为3输出通道为

384的脉冲卷积层,第一层卷积步长为2,其余卷积步长均为1,且所有卷积层后均带有脉冲神经元,所述脉冲神经元是LIF神经元模型,表达式为:其中, 表示膜时间常数, 表示静息电位, 、分别表示细胞膜的阻抗与输入电流, 表示膜电位对时间的微分,表示膜电位;

所述互相关计算器为卷积层,其计算出特征映射的结果具体采用以下方式:卷积层以特征映射 作为卷积核,以特征映射 作为待卷积的特征图,对二者进行卷积操作,互相关计算器的运算公式为 ,其中c为偏置项,经过该卷积层计算后产生的结果为一个代表目标中心点位置预测概率的互相关热力图,其中互相关热力图的最大脉冲发放率的位置即为预测目标中心的位置;

所述孪生网络采用类脑计算开发框架,采用批次训练方法,首先将模板图像a进行边缘填充0操作,使其尺寸与搜索图像b相等,然后将搜索图像b与填充后的模板图像a顺序放入同一个批次中,使批次大小batchsize变为原来的2倍,新的批次中第奇数个样本为填充后的模板图像a,第偶数个样本为搜索图像b,使得输入层神经元数量一致,共用同一个网络连接,最后经过特征提取器 后,对第奇数个样本提取特征后的输出进行裁剪,删除边缘填充的操作,得到特征映射 ,对第偶数个样本提取特征后得到特征映射 ;

步骤S40,使用步骤S30训练好的网络,通过缩小搜索区域方式后,将特征映射的结果进行双三次插值上采样,获得目标在原图中的位置,实现目标跟踪。

2.如权利要求1所述的一种基于事件相机的脉冲神经网络目标跟踪方法,其特征在于,所述互相关计算器的损失函数,具体包括:将互相关热力图上每个像素点的损失函数设置为 ,其中,

w为真实标签,即原图中有目标的位置为1,无目标的位置为‑1,v为互相关计算器输出的热力图,其值为实数值,设互相关热力图为D,则整体的损失函数为 ,即热力图D上所有点损失函数的平均值。

3.如权利要求1所述的一种基于事件相机的脉冲神经网络目标跟踪方法,其特征在于,所述步骤S40具体为:

保持模板图像a不变,采用的搜索图像b为从上一事件帧图像中目标位置为中心裁剪出的相当于模板图像倍数大小的图像,使用步骤S30训练好的网络,采用双三次插值将互相关热力图的尺寸上采样还原,确定预测的目标位置,再采用多尺度进行搜索将图像进行缩放,从输出中选择脉冲发放率最高即相似度最高的作为最终结果。

4.一种基于事件相机的脉冲神经网络目标跟踪系统,包括,数据流获取模块、高时间分辨率事件帧生成模块、网络训练模块、网络输出模块;其特征在于,所述数据流获取模块,配置为通过事件相机获取目标高动态场景中的异步事件数据流;

所述高时间分辨率事件帧生成模块,配置为通过异步事件累积将异步事件流划分为毫秒级时间分辨率的N张事件帧图像,该事件帧图像为与脉冲相似的二值图像,具体为:首先根据设置好的时间步大小及数量对异步事件数据流进行划分,然后将每个时间步内的事件进行累积,同一时间步内坐标产生的事件数大于0,则该坐标处像素设置为1,否则像素设置为0,以此生成按时间步划分的事件帧图像,事件帧图像为二值图像;

所述网络训练模块,配置为框选出第1张事件帧图像中的目标,以该目标的图像为模板图像a,以2到N张的事件帧图像作为搜索图像b,输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络,其中所述孪生网络包括权重共享的特征提取器以及计算目标位置的互相关计算器,经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果;所述特征提取器提取特征映射,具体为:将所述特征提取器表示为 ,模板图像a和搜索图像b经过特征提取器运算后的输出分别为特征映射 和特征映射 ;其中,特征提取器采用脉冲卷积神经网络,其网络结构为96C5‑2S‑256C3‑2S‑384C3‑384C3‑256C3,其中

96C5表示kernel_size为5输出通道为96的脉冲卷积层,2S表示下采样2倍的池化层,256C3表示kernel_size为3输出通道为256的脉冲卷积层,384C3表示kernel_size为3输出通道为

384的脉冲卷积层,第一层卷积步长为2,其余卷积步长均为1,且所有卷积层后均带有脉冲神经元,所述脉冲神经元是LIF神经元模型,表达式为:其中, 表示膜时间常数, 表示静息电位, 、分别表示细胞膜的阻抗与输入电流, 表示膜电位对时间的微分,表示膜电位;

所述互相关计算器为卷积层,其计算出特征映射的结果具体采用以下方式:卷积层以特征映射 作为卷积核,以特征映射 作为待卷积的特征图,对二者进行卷积操作,互相关计算器的运算公式为 ,其中c为偏置项,经过该卷积层计算后产生的结果为一个代表目标中心点位置预测概率的互相关热力图,其中互相关热力图的最大脉冲发放率的位置即为预测目标中心的位置;

所述孪生网络采用类脑计算开发框架,采用批次训练方法,首先将模板图像a进行边缘填充0操作,使其尺寸与搜索图像b相等,然后将搜索图像b与填充后的模板图像a顺序放入同一个批次中,使批次大小batchsize变为原来的2倍,新的批次中第奇数个样本为填充后的模板图像a,第偶数个样本为搜索图像b,使得输入层神经元数量一致,共用同一个网络连接,最后经过特征提取器 后,对第奇数个样本提取特征后的输出进行裁剪,删除边缘填充的操作,得到特征映射 ,对第偶数个样本提取特征后得到特征映射 ;

所述网络输出模块,配置为使用模块训练好的网络,将特征映射的结果进行插值上采样,获得目标在原图中的位置,实现目标跟踪。

说明书 :

一种基于事件相机的脉冲神经网络目标跟踪方法和系统

技术领域

[0001] 本发明涉及目标跟踪领域,具体涉及一种基于事件相机的脉冲神经网络目标跟踪方法和系统。

背景技术

[0002] 运动目标的识别和跟踪是计算机视觉领域的热点问题,在人机交互、视频跟踪、视觉导航、机器人以及军事制导等方面有广泛的应用。目前,目标跟踪有基于相关滤波的以及基于深度学习的两种主流技术路线。
[0003] 基于相关滤波的方法速度快,但特征提取能力有限,面对尺度变换与目标丢失问题时效果较差。而基于深度学习的方法具有良好的特征表达能力,跟踪精度更高,但随之而来的是计算量的增加,在跟踪实时性方面受到一定的限制,且受光照影响大,不适用于高动态场景。

发明内容

[0004] 为了解决现有技术中存在的上述技术问题,本发明提出了一种基于事件相机的脉冲神经网络目标跟踪方法和系统,其具体技术方案如下:
[0005] 一种基于事件相机的脉冲神经网络目标跟踪方法,包括以下步骤:
[0006] 步骤S10,通过事件相机获取目标高动态场景中的异步事件数据流;
[0007] 步骤S20,通过异步事件累积将异步事件数据流划分为毫秒级时间分辨率的N张事件帧图像,N为整数;
[0008] 步骤S30,框选出第1张事件帧图像中的目标,以该目标的图像为模板图像a,以2到N张的事件帧图像作为搜索图像b,输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络,所述孪生网络包括特征提取器以及互相关计算器,经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果;
[0009] 步骤S40,使用步骤S30训练好的网络,通过缩小搜索区域方式后,将特征映射的结果进行双三次插值上采样,获得目标在原图中的位置,实现目标跟踪。
[0010] 进一步的,所述异步事件数据流具体为[t,p,x,y]格式,其中t为时间戳,p为事件极性,x,y代表事件在像素坐标系下的坐标。
[0011] 进一步的,所述步骤S20,具体为:
[0012] 首先根据设置好的时间步大小及数量对异步事件数据流进行划分,然后将每个时间步内的事件进行累积,同一时间步内坐标产生的事件数大于0,则该坐标处像素设置为1,否则像素设置为0,以此生成按时间步划分的事件帧图像,事件帧图像为二值图像。
[0013] 进一步的,所述特征提取器提取特征映射,具体为:将所述特征提取器表示为 ,模板图像a和搜索图像b经过特征提取器运算后的输出分别为特征映射 和特征映射;其中,特征提取器采用脉冲卷积神经网络,其网络结构为96C5‑2S‑256C3‑2S‑384C3‑384C3‑256C3,其中95C5表示kernel_size为5输出通道为95的脉冲卷积层,2S表示下采样2倍的池化层,256C3表示kernel_size为3输出通道为256的脉冲卷积层,384C3表示kernel_size为3输出通道为384的脉冲卷积层,第一层卷积步长为2,其余卷积步长均为1,且所有卷积层后均带有脉冲神经元,所述脉冲神经元是LIF(Leaky integrate and fire)神经元模型,表达式为:
[0014]
[0015] 其中, 表示膜时间常数, 表示静息电位, 、分别表示细胞膜的阻抗与输入电流, 表示膜电位对时间的微分(导数),表示膜电位。
[0016] 进一步的,所述互相关计算器为卷积层,其计算出特征映射的结果具体采用以下方式:卷积层以特征映射 作为卷积核,以特征映射 作为待卷积的特征图,对二者进行卷积操作,互相关计算器的运算公式为 ,其中c为偏置项,经过该卷积层计算后产生的结果为一个代表目标中心点位置预测概率的互相关热力图,其中互相关热力图的最大脉冲发放率的位置即为预测目标中心的位置。
[0017] 进一步的,所述孪生网络采用类脑计算开发框架,采用批次训练方法,首先将模板图像a进行边缘填充0操作,使其尺寸与搜索图像b相等,然后将搜索图像b与填充后的模板图像a顺序放入同一个批次中,使批次大小batchsize变为原来的2倍,新的批次中第奇数个样本为填充后的模板图像a,第偶数个样本为搜索图像b,使得输入层神经元数量一致,共用同一个网络连接,最后经过特征提取器 后,对第奇数个样本提取特征后的输出进行裁剪,删除边缘填充的操作,得到特征映射 ,对第偶数个样本提取特征后得到特征映射 。
[0018] 进一步的,所述互相关计算器的损失函数,具体包括:
[0019] 将互相关热力图上每个像素点的损失函数设置为 ,其中,w为真实标签,即原图中有目标的位置为1,无目标的位置为‑1,v为互相关计算器输出的 热力图 ,其值为实数值,设互相关热力图为D,则整体的损失函数为
,即热力图D上所有点损失函数的平均值。
[0020] 进一步的,所述步骤S40具体为:
[0021] 保持模板图像a不变,采用的搜索图像b为从上一事件帧图像中目标位置为中心裁剪出的相当于模板图像倍数大小的图像,使用步骤S30训练好的网络,采用双三次插值将互相关热力图的尺寸上采样还原,确定预测的目标位置,再采用多尺度进行搜索将图像进行缩放,从输出中选择脉冲发放率最高即相似度最高的作为最终结果。
[0022] 一种基于事件相机的脉冲神经网络目标跟踪系统,包括,数据流获取模块、高时间分辨率事件帧生成模块、网络训练模块、网络输出模块;
[0023] 所述数据流获取模块,配置为通过事件相机获取目标高动态场景中的异步事件数据流;
[0024] 所述高时间分辨率事件帧生成模块,配置为通过异步事件累积将异步事件流划分为毫秒级时间分辨率的N张事件帧图像,该事件帧图像为与脉冲相似的二值图像;
[0025] 所述网络训练模块,配置为框选出第1张事件帧图像中的目标,以该目标的图像为模板图像a,以2到N张的事件帧图像作为搜索图像b,输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络,其中所述孪生网络包括权重共享的特征提取器以及计算目标位置的互相关计算器,经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果;
[0026] 所述网络输出模块,配置为使用模块训练好的网络,将特征映射的结果进行插值上采样,获得目标在原图中的位置,实现目标跟踪。
[0027] 有益效果:解决现有的基于传统帧率相机与深度学习的目标跟踪方法存在的高延迟以及低动态范围问题,具体的:
[0028] (1)本发明通过事件相机获取异步事件流,减少了数据传输量,降低了通信延迟;
[0029] (2)本发明通过根据时间步划分同步事件帧的方式,实时输入脉冲神经网络,免去了传统图像帧输入脉冲神经网络时需要进行脉冲编码的要求;
[0030] (3)本发明所述脉冲神经网络模型相比于深度神经网络,由于采用脉冲计算,其计算量降低,算法计算延迟降低;
[0031] (4)本发明采用脉冲卷积神经网络对事件相机数据进行特征提取,能够提高算法在高动态范围场景下的跟踪精度。

附图说明

[0032] 图1是本发明的一种基于事件相机的脉冲神经网络目标跟踪方法的流程示意图;
[0033] 图2是本发明实施例的一种基于事件相机的脉冲神经网络目标跟踪系统的框架示意图;
[0034] 图3是本发明实施例的一种基于事件相机的脉冲神经网络目标跟踪方法的具体流程示意图。

具体实施方式

[0035] 为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0036] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
[0037] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0038] 目前,事件相机(event‑based camera)或称动态视觉传感器(Dynamic vision sensor ,DVS)与传统的帧率相机相比具有不同的工作方式,其输出不是强度图像,而是在微秒分辨率下的异步事件流,其每个像素的产生是独立的;事件相机相比于帧率相机,具有延迟低、功耗低、动态范围高等优点,更适合在过亮、过暗或明暗对比强烈等光照条件恶劣的场景下实现快速目标跟踪。
[0039] 同时,脉冲神经网络相比人工神经网络,由于采用脉冲发放机制,能够融合时空信息,且模拟生物膜电位的方式具有更高的生物真实性。
[0040] 事件相机输出的异步事件流与脉冲神经网络的脉冲发放机制存在仿生的关联性,因此本发明结合事件相机与脉冲神经网络提出了一种高速高动态范围的目标跟踪方法和系统。
[0041] 本发明的一种基于事件相机的脉冲神经网络目标跟踪方法,如图1和图3所示,包括以下步骤:
[0042] 步骤S10,通过事件相机获取目标高动态场景中的异步事件数据流;
[0043] 在本实施例中,通过事件相机获取目标高动态场景中的异步事件数据流,该数据流具体为[t,p,x,y]格式,其中t为时间戳,p为事件极性,x,y代表事件在像素坐标系下的坐标。
[0044] 步骤S20,通过异步事件累积将异步事件数据流划分为毫秒级时间分辨率的的N张事件帧图像N为整数;
[0045] 在本实施例中,根据设置好的时间步大小及数量对异步事件数据流进行划分,设置时间步为0.1ms,以50个时间步为例,采用事件相机可实现相当于传统帧率相机200FPS的拍摄速率,极大提高数据实时性。将每个时间步内的事件进行累积,只要同一时间步内某个坐标产生的事件数大于0,则该坐标处像素设置为1,否则像素设置为0,最终生成按时间步划分的事件帧图像,所述事件帧图像为与脉冲相似的二值图像。本实施例中只对极性为正即p=1的事件进行处理。
[0046] 步骤S30,框选出第1张事件帧图像中的目标,以该目标的图像为模板图像a,以2到N张的事件帧图像作为搜索图像b,输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络,其中所述孪生网络包括权重共享的特征提取器以及计算目标位置的互相关计算器,经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果,具体的:
[0047] 设计特征提取器结构。在本实施例中,所述特征提取器为脉冲卷积神经网络,其网络结构为96C5‑2S‑256C3‑2S‑384C3‑384C3‑256C3,其中95C5表示kernel_size为5输出通道为95的脉冲卷积层,2S表示下采样2倍的池化层,256C3表示kernel_size为3输出通道为256的脉冲卷积层,384C3表示kernel_size为3输出通道为384的脉冲卷积层,第一层卷积步长为2,其余卷积步长均为1,该特征提取器的所有脉冲卷积层后均带有脉冲神经元。
[0048] 所述脉冲神经元是LIF(Leaky integrate and fire)神经元模型,表达式为:
[0049]
[0050] 其中, 表示膜时间常数, 表示静息电位, 、分别表示细胞膜的阻抗与输入电流, 表示膜电位对时间的微分(导数),表示膜电位。
[0051] 将所述特征提取器表示为 ,模板图像a尺寸为255*255*3,搜索图像b尺寸为127*127*3,则经过特征提取器运算后的输出分别为 ,大小为6*6*256,  ,大小为22*
22*256;
[0052] 设计互相关计算器结构:本实施例中所述互相关计算器为卷积层,该层以模板图像a提取特征后的特征映射 作为卷积核,以搜索图像b提取特征后的特征映射 作为待卷积的特征图,对二者进行卷积操作,则互相关计算器的运算公式为,其中c为偏置项,经过该层计算后产生的结果为一个代表目标中
心点位置预测概率的互相关热力图,大小为17*17*1,最大脉冲发放率的位置即为预测目标中心的位置。
[0053] 网络前向传播实现。本实施例中,所述孪生网络根据所采用的类脑计算开发框架不同,通常可有两种实现形式:第一种为使用Pytorch、TensorFlow等深度学习开发框架,该类框架可直接实现孪生网络的权重共享,同一网络根据不同输入产生不同输出,即对一个网络 ,可以先计算一次 ,再计算一次 ;第二种为用于脉冲神经网络开发的类脑计算框架,该类框架为模拟生物神经结构,使用该类框架定义的网络连接中须明确指出每层神经元的数量。在本实施例中,孪生网络的两条分支输入的模板图像z和搜索图像x的尺寸不同,对应到网络连接中,导致输入层神经元的数量不一样。因此如果按照常规写法,两条分支会变成不同的网络,不能共享权重。
[0054] 因此,为解决类脑计算框架存在的上述问题,本发明采用批次训练方法,具体为:将模板图像a进行边缘填充0操作,使其尺寸与搜索图像b相等;将填充后的模板图像a与搜索图像b顺序放入同一个批次中,使批次大小batchsize变为原来的2倍,新的批次中第奇数个样本为a,第偶数个样本为b,使得输入层神经元数量一致,共用同一个网络连接;经过特征提取器 后,再对第奇数个样本的输出进行裁剪,删除边缘填充的操作,得到应有的尺寸为6*6*256的特征映射 。如此,同一个批次中每连续两个样本为一组,以第奇数个样本的特征映射 作为卷积核,以第偶数个样本的特征映射 作为待卷积的特征图,执行互相关计算,即可实现与深度学习开发框架相同的效果。
[0055] 损失函数设计。在本实 施例中,每个像素点的损失函数设 置为,其中,w为真实标签,即原图中有目标的位置为1,无目标的位
置为‑1,v为互相关计算器输出的热力图,其值为实数值。设互相关热力图为D,则整体的损失函数为 ,即热力图D上所有点损失函数的平均值。
[0056] 学习算法选择。本实施例中所述孪生脉冲神经网络训练方法为梯度替代法,采用STBP(Spatio‑Temporal Backpropagation),STCA(Spatio‑Temporal Credit Assignment)等算法,将不可导的脉冲输出替换为近似的连续可导函数,使用SGD或Adam等梯度下降方法实现网络参数的优化。
[0057] 步骤S40,使用步骤S30训练好的网络,通过缩小搜索区域方式后,将特征映射的结果进行双三次插值上采样,获得目标在原图中的位置,实现目标跟踪。
[0058] 在本实施例中,目标即模板图像采用不更新的方式,初始目标的特征提取器只需要计算一次,得到特征映射 。
[0059] 由于事件相机的低延迟特性,本实施例中采用的搜索图像b为从上一事件帧中目标位置为中心裁剪出的相当于模板图像4倍大小的图像,通过缩小搜索区域进一步提升实时性。
[0060] 采用双三次插值将互相关热力图的尺寸从17*17上采样还原到272*272,确定预测的目标位置。
[0061] 在本实施例中,采用3种尺度进行搜索,即将图像分别缩放为 ,从输出中选择脉冲发放率最高即相似度最高的作为最终结果。
[0062] 本发明的一种基于事件相机的脉冲神经网络目标跟踪系统,如图2所示,包括:数据流获取模块100、高时间分辨率事件帧生成模块200、网络训练模块300、网络输出模块400;
[0063] 所述数据流获取模块100,配置为通过事件相机获取目标高动态场景中的异步事件数据流;
[0064] 所述高时间分辨率事件帧生成模块200,配置为通过异步事件累积将异步事件流划分为毫秒级时间分辨率的N张事件帧图像,该事件帧图像为与脉冲相似的二值图像;
[0065] 所述网络训练模块300,配置为框选出第1张事件帧图像中的目标,以该目标的图像为模板图像a,以2到N张的事件帧图像作为搜索图像b,使用梯度替代算法训练基于脉冲神经网络的孪生网络,该网络包括权重共享的特征提取器以及计算目标位置的相似度计算器,经过特征提取器提取特征映射后,再利用互相关计算器计算出特征映射的结果;
[0066] 所述网络输出模块400,配置为使用模块300训练好的网络,将特征映射的结果进行插值上采样,获得目标在原图中的位置,实现目标跟踪。
[0067] 所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统的具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0068] 要说明的是,上述实施例提供的基于事件相机的脉冲神经网络目标跟踪系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
[0069] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。