在芯片中实现异步卷积的方法、类脑芯片及电子设备转让专利

申请号 : CN202111185514.5

文献号 : CN113627603B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 乔宁邢雁南西克·萨迪克·尤艾尔阿明白鑫周凯

申请人 : 成都时识科技有限公司上海时识科技有限公司

摘要 :

本发明公开了一种在芯片中实现异步卷积的方法、类脑芯片及电子设备。为解决如何在芯片中实现异步卷积问题,方法包括:检测到所述第一神经元电路满足激活条件时,执行所述第一神经元电路的脉冲或脉冲事件发放操作;确定与所述第一神经元电路对应的且位于第一卷积核中的第一权重值,以及确定与所述第一神经元电路和所述第一权重值对应的且位于第一目标特征图中的第一目标神经元电路,经所述第一权重值加权,将所述第一神经元电路发放的所述脉冲或脉冲事件投射至所述第一目标神经元电路。该技术方案将复杂的异步卷积操作转换成神经元电路之间的投射操作,运用这种异步卷积方法的芯片可以实现高效率、低延迟、低功耗地执行推理功能。

权利要求 :

1.一种在芯片中实现异步卷积的方法,其特征在于,该芯片中包括若干被配置为执行异步卷积的神经元电路,第一神经元电路属于所述若干被配置为执行异步卷积的神经元电路中的一个;针对所述第一神经元电路的异步卷积操作,包括如下步骤:步骤S501:检测到所述第一神经元电路满足激活条件时,执行所述第一神经元电路的脉冲或脉冲事件发放操作;以及,

池化操作:该池化操作将判断是否丢弃所述第一神经元电路发放的所述脉冲或脉冲事件;

步骤S503:确定与所述第一神经元电路对应的且位于第一卷积核中的第一权重值,以及确定与所述第一神经元电路和所述第一权重值对应的且位于第一目标特征图中的第一目标神经元电路,经所述第一权重值加权,将所述第一神经元电路发放的所述脉冲或脉冲事件投射至所述第一目标神经元电路;并且,至少一个卷积核被关联至针对所述第一神经元电路的异步卷积操作;分别经过所述至少一个卷积核中的每一个权重值的加权,将所述第一神经元电路发放的所述脉冲或脉冲事件投射至与该权重值和所述第一神经元电路对应的目标神经元电路;

步骤S505:基于所述第一目标神经元电路更新后的神经元电路状态,判断所述第一目标神经元电路是否满足激活条件;

步骤S507:若所述第一目标神经元电路满足激活条件,执行针对所述第一目标神经元电路的脉冲或脉冲事件发放操作,并执行针对所述第一目标神经元电路的异步卷积操作。

2.根据权利要求1所述的在芯片中实现异步卷积的方法,其特征在于:经所述第一权重值加权,将所述第一神经元电路发放的所述脉冲或脉冲事件投射至所述第一目标神经元电路,具体为:

读取所述第一权重值,然后在所述第一目标神经元的当前神经元电路状态中加上或减去所述第一权重值。

3.根据权利要求1‑2任意一项所述的在芯片中实现异步卷积的方法,其特征在于:所述若干被配置为执行异步卷积的神经元电路中的任意一个神经元电路被激活而发放脉冲或脉冲事件时,分别经过预定的卷积核集合中的每一个权重值加权,将该神经元所发放的脉冲或脉冲事件分别投射至该神经元和权重值所对应的目标神经元集合中的每一个对应的目标神经元。

4.根据权利要求1‑2任意一项所述的在芯片中实现异步卷积的方法,其特征在于:所述激活条件具体为神经元电路的膜电压达到阈值。

5.一种类脑芯片,其特征在于:该类脑芯片中包括若干被配置为执行异步卷积的神经元电路,且该类脑芯片被配置为执行如权利要求1‑4任意一项所述的在芯片中实现异步卷积的方法。

6.一种电子产品,其包括第一接口模块和第二接口模块和处理模块,以及响应模块,其特征在于:该电子产品还包括如权利要求5所述的类脑芯片;该类脑芯片通过所述第一接口模块与所述处理模块相耦接,所述处理模块通过所述第二接口模块与所述响应模块相耦接;所述的类脑芯片对输入的环境信号进行识别,并将识别结果通过所述第一接口模块传输至所述处理模块,所述处理模块根据所述识别结果生成控制指令,并通过所述第二接口模块传输所述控制指令至所述响应模块。

说明书 :

在芯片中实现异步卷积的方法、类脑芯片及电子设备

技术领域

[0001] 本申请涉及一种在芯片中实现异步卷积的方法、芯片及电子设备,具体涉及一种在部署有脉冲神经网络的类脑芯片中实现异步卷积的方法、芯片及电子设备。

背景技术

[0002] 神经网络是人工智能重要的基石。传统人工神经网络(Artificial Neural Network,ANN)中的神经元,仅仅是对若干输入数据进行加权计算求和等操作,然后通过激
活函数得到激活结果,这种神经元并不具有记忆功能。然而,在第三代的脉冲神经网络
(Spiking Neural Network,SNN)中,神经元具有记忆功能,它的膜电压会记忆以往输入信
号(实际为脉冲序列)对该神经元的刺激作用,甚至该膜电压还可以随时间衰减,以及可能
还被设计具有不应期。这种芯片常被称为类脑芯片、神经拟态芯片,基于这种芯片而执行特
定的推理运算,被称为类脑计算、神经拟态计算(Neuromorphic Computing)。
[0003] 类脑芯片中通常被设计有若干模拟生物神经元的神经元电路(本发明中也简称其为神经元),由前所述可知,相比于传统人工神经网络中的神经元所起的纯粹计算单元作
用,类脑芯片中部署的脉冲神经网络中的神经元更加地仿生,仅当神经元的膜电压超过阈
值后,才会发放脉冲(spike,也称尖峰)。如此以来,不同于传统人工智能中任何一次神经元
状态更新过程中,即便输入为零,但所有的神经元都需要完成矩阵运算、非线性运算等十分
耗能的运算,而脉冲神经网络中的神经元可以做到仅仅在被激活后才会发放脉冲,刺激下
一级神经元。因此,更加仿生的脉冲神经网络具有极低的功耗优势。
[0004] 参考图1,脉冲神经网络中的神经元电路可以包括多路输入,其中每一路提供一路脉冲序列,并输入该神经元电路。作为举例,列出了第一至第三路脉冲序列共计3路输入脉
冲序列。神经元基于该些输入脉冲序列,更新其膜电压状态,如果膜电压达到预定的阈值
后,将会激发该神经元发放脉冲,然后膜电压恢复静息电位。不同于以往通过存储数值的方
式,在脉冲神经网络中通常是基于神经元发放脉冲的时间、频率或其多个神经元发放的脉
冲组合等方式,实现信息的传递。
[0005] 通过组织、管理类脑芯片中的大量神经元,使其有序地运作,可以得到具有学习、推理能力的脉冲神经网络。比如芯片在检测到某些事件(比如车辆相撞、翻越围栏、检测到
关键词等)发生后,芯片推理出该类事件发生,并通知后级系统响应(比如抓拍、录像、系统
唤醒等),这一切均可以在端上完成,无须网络传输和云端基于高性能服务器的实时检测,
兼得隐私性、实时性和节能性。
[0006] 卷积神经网络是神经网络中非常重要的一种。由于传统人工神经网络中的卷积运算,可以十分方便地基于冯诺伊曼架构的传统标准计算平台完成。在实现类脑计算的硬件
中,可以分为同步电路和异步电路两种不同的实现路径。同步电路通常包含时钟信号,电路
运行依赖时钟驱动,而异步电路则不包含时钟,仅仅当事件发生时,才会激活相应的电路完
成工作,因而异步电路通常更具有低功耗优势,但相比于成熟的同步电路设计,异步电路设
计面临更大挑战。
[0007] 由于不能像传统人工神经网络那样,可以通过存储器来存储特征图中的各项数据,在使用时读取对应的数据然后送入处理器中进行计算。在类脑芯片中,神经元电路独立
发放脉冲,若考虑因卷积操作而相关联的神经元是否、何时发放脉冲,芯片设计将变得异常
复杂,且不能满足实时处理信号的需求。因此如何组织、管理其包括的大量的神经元电路及
其信息处理方法,实现异步卷积,是类脑计算及类脑芯片领域一个十分重要且基础的技术
问题。但目前为止,发明人未曾见有完整、详细的异步卷积实现方案披露。

发明内容

[0008] 为了在芯片中高效率、低延迟地实现异步卷积(asynchronous convolution),本发明是通过如下方式来实现的:
[0009] 一种在芯片中实现异步卷积的方法,该芯片中包括若干被配置为执行异步卷积的神经元电路,第一神经元电路20属于所述若干被配置为执行异步卷积的神经元电路中的一
个;针对所述第一神经元电路20的异步卷积操作,包括如下步骤:步骤S501:检测到所述第
一神经元电路20满足激活条件时,执行所述第一神经元电路20的脉冲或脉冲事件发放操
作;步骤S503:确定与所述第一神经元电路20对应的且位于第一卷积核200中的第一权重值
2010,以及确定与所述第一神经元电路20和所述第一权重值2010对应的且位于第一目标特
征图205中的第一目标神经元电路2011,经所述第一权重值2010加权,将所述第一神经元电
路20发放的所述脉冲或脉冲事件投射至所述第一目标神经元电路2011。
[0010] 在某类实施例中,该异步卷积的方法还包括步骤S505:基于所述第一目标神经元电路2011更新后的神经元电路状态,判断所述第一目标神经元电路2011是否满足激活条
件。
[0011] 在某类实施例中,该异步卷积的方法还包括步骤S507:若所述第一目标神经元电路2011满足激活条件,执行针对所述第一目标神经元电路2011的脉冲或脉冲事件发放操
作,并执行针对所述第一目标神经元电路2011的异步卷积操作。
[0012] 在某类实施例中,至少一个卷积核被关联至针对所述第一神经元电路20的异步卷积操作;分别经过所述至少一个卷积核中的每一个权重值的加权,将所述第一神经元电路
20发放的所述脉冲或脉冲事件投射至与该权重值和所述第一神经元电路20对应的目标神
经元电路。
[0013] 在某类实施例中,在步骤S501之后,还包括:池化操作;该池化操作将判断是否丢弃所述第一神经元电路20发放的所述脉冲或脉冲事件。
[0014] 在某类实施例中,经所述第一权重值2010加权,将所述第一神经元电路20发放的所述脉冲或脉冲事件投射至所述第一目标神经元电路2011,具体为:读取所述第一权重值
2010,然后在所述第一目标神经元2011的当前神经元电路状态中加上或减去所述第一权重
值2010。
[0015] 在某类实施例中,所述若干被配置为执行异步卷积的神经元电路中的任意一个神经元电路被激活而发放脉冲或脉冲事件时,分别经过预定的卷积核集合中的每一个权重值
加权,将该神经元所发放的脉冲或脉冲事件分别投射至该神经元和权重值所对应的目标神
经元集合中的每一个对应的目标神经元。
[0016] 在某类实施例中,所述激活条件具体为神经元电路的膜电压达到阈值。
[0017] 在某类实施例中,所述神经元电路状态是神经元电路的膜电压。
[0018] 一种类脑芯片,该类脑芯片中包括若干被配置为执行异步卷积的神经元电路,且该类脑芯片被配置为执行如前所述的在芯片中实现异步卷积的方法。
[0019] 一种电子设备,其包括第一接口模块和第二接口模块和处理模块,以及响应模块,该电子设备还包括如前所述的类脑芯片;该类脑芯片通过所述第一接口模块与所述处理模
块相耦接,所述处理模块通过所述第二接口模块与所述响应模块相耦接;所述的类脑芯片
对输入的环境信号进行识别,并将识别结果通过所述第一接口模块传输至所述处理模块,
所述处理模块根据所述识别结果生成控制指令,并通过所述第二接口模块传输所述控制指
令至所述响应模块。
[0020] 本发明具有如下有益效果:
[0021] 1)首次完整披露异步卷积实施方案;
[0022] 2)本发明将异步卷积操作转换成简单的神经元投射操作,且不涉及复杂的耗能操作,具有低功耗优势;换言之,通过组织、管理芯片内部资源实现低功耗、高效率、低延迟地
执行推理功能的效果;
[0023] 3)本发明简化了芯片设计逻辑,提升异步电路设计效率,易于工程实现,降低了芯片设计复杂度。
[0024] 以上披露的技术方案、技术特征、技术手段,与后续的具体实施方式部分中所描述的技术方案、技术特征、技术手段之间可能不完全相同、一致。但是该部分披露的这些新的
技术方案同样属于本发明文件所公开的众多技术方案的一部分,该部分披露的这些新的技
术特征、技术手段与后续具体实施方式部分公开的技术特征、技术手段是以相互合理组合
的方式,披露更多的技术方案,是具体实施方式部分的有益补充。与此相同,说明书附图中
的部分细节内容可能在说明书中未被明确描述,但是如果本领域技术人员基于本发明其它
相关文字或附图的描述、本领域的普通技术知识、其它现有技术(如会议、期刊论文等),可
以推知其技术含义,那么该部分未明确被文字记载的技术方案、技术特征、技术手段,同样
属于本发明所披露的技术内容,且如上描述的一样可以被用于组合,以获得相应的新的技
术方案。本发明任意位置所披露的所有技术特征所组合出的技术方案,用于支撑对技术方
案的概括、专利文件的修改、技术方案的披露。

附图说明

[0025] 图1是脉冲神经网络中神经元功能示意图;
[0026] 图2是传统人工神经网络中实现卷积方法的示意图;
[0027] 图3是在芯片中实现异步卷积的示意图;
[0028] 图4是本发明某优先实施例中异步卷积的实施流程图;
[0029] 图5是本发明异步卷积的简化示意图。

具体实施方式

[0030] 本发明中任意位置出现所述的“脉冲”,均指的是拟神态领域中的spike,其也被称为“尖峰”。训练算法,可以以计算机代码的形式编写成计算机程序,存储在存储介质中,并
被计算机(如具有高性能图形处理器GPU设备、现场可编程门阵列FPGA、专用集成电路ASIC
等)处理器读取,在训练数据(各种各样的数据集)、训练算法的训练下,获得用于可部署至
模拟神经形态设备(如类脑芯片)中的神经网络配置参数。配置有该参数的拟神态器件将获
得推理能力,根据传感器(如感知光线明暗变化的动态视觉相机DVS、专用的声音信号采集
设备等)的输入信号,拟神态器件对其进行推理,并输出(比如导线、无线通信模块等)推理
结果至其它外部处理模块(如单片机等),实现联动效果。对于下文未详细披露的其它的技
术方案和细节,一般均属于本领域的常规技术手段/公知常识,由于篇幅限制,本发明不对
其详细介绍。
[0031] 除非是除法的含义,本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”、“第三”等序号仅仅用于描述上的区分标记,并不暗示时间或空间上的绝
对顺序,也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。本
发明所述的各种模块、神经元、突触可以通过软件、硬件(如电路)或软件和硬件相结合的方
式来实施,具体的实施方式不做限定。本发明中任意位置处描述存在或包括某步骤、部件
时,并不暗示这种存在是排他性地唯一存在,本领域技术人员完全可以根据本发明所披露
的技术方案而辅以其它技术手段而获得其它技术方案,这种方案未脱离本发明的构思而在
本发明保护范围之内。
[0032] 脉冲神经网络中的神经元是对生物神经元的一种模拟,相比于传统神经网络,脉冲神经网络及其神经元对生物神经元的运作机理模拟更为精确。受益于神经元活动的稀疏
性,基于脉冲神经网络的芯片会具有更低的功耗。由于是受生物神经元的启发,因此涉及生
物神经元的一些概念,如突触、膜电压、突触后电流、突触后电位等概念,根据本领域约定俗
成的表达方式,在脉冲神经网络中涉及到神经元相关的概念时,也使用相同的术语。除非有
特别明确的指示,本发明中提到的诸如类似上述生物层面的概念,均是指脉冲神经网络中
的对应的概念而非实际的生物细胞层面的概念。
[0033] 术语解释:
[0034] 源特征图:在ANN中,其本质是卷积神经网络中的一个数据矩阵,存储于一个存储空间中,是卷积操作所依赖的对象。在SNN中,其可以视为神经元电路集合或/和该神经元电
路集合所发放的脉冲或脉冲事件。
[0035] 目标特征图:在ANN中,本质也是卷积神经网络中的一个数据矩阵,存储于另一存储空间中,是卷积操作所生成的对象。在SNN中,其可以视为接收源特征图中所发放的脉冲
或脉冲事件的神经元集合。源特征图和目标特征图,是根据其在神经网络的结构顺序而被
定义。
[0036] 卷积核:本质是一个权重矩阵,存储有若干权重数据。用于对源特征图中的数据进行加权求和,然后将结果写入目标特征图中的对应存储空间中。在SNN中则是将加权求和后
的结果投射至目标特征图中的特定神经元电路。
[0037] 感受野:是源特征图中的一个区域,通常是参与某次卷积操作的基本单元,其中的所有数据与卷积核进行加权运算。一个源特征图中可以包括多个不同的感受野。
[0038] 异步卷积:是不同于ANN中源特征图中所有数据均已确定的情况(存储在某存储空间中),而实现卷积操作的一种新的基于脉冲事件触发的卷积操作。
[0039] 类脑芯片:模仿生物脑的工作原理,设计大量神经元电路、突触电路等,通过组织、管理这些神经元电路、突触电路,可以构成特定的脉冲神经网络。接收输入信号后,该脉冲
神经网络可以完成对输入信号的推理。
[0040] 参考图2,其是传统人工神经网络中实现卷积方法的示意图。在整个卷积神经网络中,ANN源特征图1001包括一个m×n维的矩阵,其中m和n均为正整数,作为举例m=8,n=8。在
通用计算平台中,其对应m×n个存储单元,每个存储单元分别存储一个对应的元素值。作为
举例,卷积核100为一个3×3的权重矩阵,其对应一个3×3的存储空间。卷积核可以不止一
个,这里仅仅以卷积核100作为示例。如果不使用本领域所公知的padding补零技术,并且步
长设置为1,那么ANN目标特征图1002应为一个6×6的矩阵。
[0041] 作为一个举例,从位于ANN源特征图1001中的第一感受野101开始,完成第一次卷积操作,其中第一感受野101所覆盖的数据尺寸与卷积核100的数据尺寸相同,均为3×3。由
于尺寸(或称维度)相同,因此二者包含的元素可以一一对应,一一对应的元素相乘后,获得
的结果存入ANN目标特征图1002的第一存储单元1012。然后以预定的步长(示例为1)移动第
一感受野101,完成下一次卷积操作,并将结果存入ANN目标特征图1002中对应的存储单元。
对于ANN源特征图1001中的第二感受野102,将在对应存储空间中的对应数据与权重矩阵
100中对应的权重数据相乘,获得的结果被存储至第二存储单元1021。作为另外一种情况,
当步长不等于1时,第一感受野101和第二感受野102中将会出现间隔,也即空洞,这种情况
下的感受野并非连续的一片区域。
[0042] 如此,经过若干次的卷积操作,获得了完整ANN目标特征图1002,该些卷积操作的整体可以是整个人工神经网络运作的一部分,并且属于非常常见的一部分。
[0043] 参考图3,其是在芯片中实现异步卷积的示意图。该芯片(未示出)尤其是部署有脉冲神经网络的类脑芯片,该类脑芯片中的若干神经元电路(在本发明中也被简称为神经元)
被组织为实施该脉冲神经网络。该脉冲神经网络中可以包含层层传递的卷积操作,即当前
异步卷积的目标特征图,也可以作为下一次异步卷积操作的源特征图;此外,异步卷积操作
之后还可以存在“基于事件的最大池化”(或其它池化)操作。
[0044] 本发明关注异步卷积方法的实现,不以具体的网络是否还存在其它操作为限。
[0045] 同时参考图4,一种在芯片中实现异步卷积的方法,该芯片中包括若干被配置为执行异步卷积的神经元电路,第一神经元电路(20)属于所述若干被配置为执行异步卷积的神
经元电路中的一个。针对所述第一神经元电路(20)的异步卷积操作,包括如下步骤:
[0046] 步骤S501:检测到所述第一神经元电路20满足激活条件时,执行所述第一神经元电路20的脉冲或脉冲事件发放操作。
[0047] SNN的源特征图10(本发明简称源特征图10)可以视为一组特定的神经元电路集合或/和其发放的脉冲或脉冲事件。比如该神经元电路集合包括第一神经元电路20,第二神经
元电路21以及第三神经元电路22(后文简称为第一神经元、第二神经元、第三神经元),以及
其它神经元,这些神经元被组织在一起,视为与源特征图10相关联的神经元们。作为举例,
在某个时间段内,源特征图10中的第一神经元20,第二神经元21以及第三神经元22,因为检
测到其满足了激活条件,举例而言,更新其神经元(电路)状态后,检测到膜电压超过阈值,
因此发放脉冲。而具体的发放脉冲操作,可以是发送一个脉冲或脉冲事件。
[0048] 对于源特征图10中的每一个神经元,其与特定的其它神经元组成若干神经元电路子集合,这些子集合们可以视为对应的若干个感受野相关联的神经元们。比如,第一神经元
20与不同的神经元分别组合成了第三感受野201和第四感受野209。
[0049] 在ANN中,若执行某次卷积操作可以直接读取某个感受野下所涉及的所有数据,但是在SNN中无法实现该操作,因为不能等待该感受野下所有的神经元都发放了脉冲,比如前
述时间段内,第三感受野201中仅仅只有第一神经元20发放了脉冲。
[0050] 虽然可以类比于ANN继续保留感受野的概念,但在实现异步卷积的过程中,完全可以不必考虑该概念,因为在本发明中处理某神经元发放脉冲后的异步卷积时,不必考虑其
任一感受野中是否还存在其它神经元是否也发放了脉冲。但为了清晰说明对应关系,本发
明继续沿用该术语。
[0051] 当然在步骤S501之后,还可以包括基于事件的池化操作,该池化操作最终的目标是判断是否丢弃第一神经元电路20所发放的脉冲或脉冲事件。如果该脉冲事件被丢弃,那
么就不必执行后续的异步卷积步骤,降低了芯片整体功耗。本发明对是否经历池化,以及具
体池化方式不做限定。
[0052] 步骤S503:确定与所述第一神经元电路20对应的且位于第一卷积核200中的第一权重值2010,以及确定与所述第一神经元电路20和所述第一权重值2010对应的且位于第一
目标特征图205中的第一目标神经元电路2011,经所述第一权重值2010加权,将所述第一神
经元电路20发放的所述脉冲或脉冲事件投射至所述第一目标神经元电路2011。
[0053] 优选地,所述的经所述第一权重值加权2010,将第一神经元电路20发放的所述脉冲投射至所述第一目标神经元电路(后文简称目标神经元)2011,具体可以为:读取所述的
第一权重值2010,然后在第一目标神经元2011的当前神经元电路状态中加上或减去所述第
一权重值2010。所述第一目标神经元2011的当前神经元状态,可以是第一目标神经元2011
的当前膜电压。该优选实施例的好处是,仅仅通过一次加法或减法这种基本预算,即可实现
加权投射,而不必执行乘法等复杂运算,降低了芯片功耗。
[0054] 因为卷积操作本质是将某个感受野下的信息,经过加权后,投射至某个特定输出,因此在确定卷积核的前提下,每个感受野都可以被关联至特定的输出中去。不同的卷积核,
相同的感受野也会被关联至不同的特定输出。比如,在第二卷积核300中对应的第三权重值
3010的加权下,同样是第一神经元20发放脉冲,同样是第三感受野201,但是其该加权输出
被投射至第三目标神经元3011,而非第一目标神经元2011。本申请对如何确定与第一神经
元20对应的所有权重值以及对应的目标神经元的方式不做限定。
[0055] 对于确定的第一卷积核200,其中可以包含多个需要执行加权投射的权重值,比如还有第二权重值2090,以及对应该第二权重值2090和第一神经元20的位于第一目标特征图
205中的第二目标神经元2091。执行与上述类似或相同的加权投射步骤,即完成了另一次加
权投射。执行完基于第一卷积核200中预设的全部权重值的加权投射操作,即完成了第一神
经元20针对第一卷积核200的全部投射步骤。
[0056] 此外,该异步卷积可能还涉及第二卷积核300,以及更多的卷积核。对于第二卷积核300,基于第三权重值3010的加权,将第一神经元20的所述脉冲投射至第三目标神经元
3011;基于第四权重值3090的加权,将第一神经元20的所述脉冲投射至第四目标神经元
3091。执行完基于第二卷积核300中预设的全部权重值的加权投射操作,即完成了第一神经
元20针对第二卷积核300的全部投射步骤。执行完针对全部卷积核的投射步骤,即完成了针
对第一神经元20发放该次脉冲的全部异步卷积操作步骤。
[0057] 优选地,该异步卷积的方法还包括步骤S505:基于所述第一目标神经元电路2011更新后的神经元电路状态,判断所述第一目标神经元电路2011是否满足激活条件。
[0058] 基于前述加权投射,以及所述的第一目标神经元2011、第二目标神经元2091、第三目标神经元3011、第四目标神经元3091各自的当前神经元(电路)状态,比如膜电压,即可判
断其各自是否满足激活条件。在满足激活条件时,比如膜电压达到阈值,其各自也会发放脉
冲。
[0059] 所述第一目标神经元2011更新后的神经元状态,是在将所述第一神经元电路20发放的所述脉冲投射至所述第一目标神经元2011前,所述第一目标神经元2011的当前神经元
状态与加权投射来的值相加或相减后,所得到的神经元状态。这里加权投射来的值,可以等
于或就是第一权重值2010。
[0060] 优选地,该异步卷积的方法还包括步骤S507:若所述第一目标神经元电路2011满足激活条件,执行针对所述第一目标神经元电路2011的脉冲或脉冲事件发放操作,并执行
针对所述第一目标神经元电路2011的异步卷积操作。
[0061] 这里的异步卷积操作,是与前述第一神经元20的异步卷积相同或类似的操作,这类似链式反应,逐层传递异步卷积操作。
[0062] 在某类优选的实施例中,针对所述第一目标神经元2011执行相应的脉冲发放步骤后,执行池化操作,判断是否丢弃第一目标神经元2011所发放的脉冲或脉冲事件,若丢弃则
不必再执行异步卷积操作,否则就针对所述第一目标神经元2011执行对应的异步卷积操
作。
[0063] 虽然在源特征图10中所述的时间段内,第二神经元21、第三神经元22也发放了脉冲或脉冲事件,但是在本发明中,分别针对某个具体的神经元完成其全部的异步卷积操作,
即一旦某个神经元发放了脉冲,那么就执行针对该神经元的异步卷积操作,而不必考虑其
它神经元是否也发放了脉冲,也就不必还须考虑是否参与卷积操作,这种方式简化了类脑
芯片中的异步卷积逻辑,简化芯片设计逻辑,提升异步电路设计效率。
[0064] 参考图5是异步卷积的简化示意图。通过研究如上所述的过程即可发现,对于异步卷积,宏观上本申请将其简化成了一个发放脉冲的神经元(如第一神经元20),分别通过预
定的卷积核集合(本质是具有权重值的突触连接)中的每一个权重值加权,分别投射至该神
经元和权重值对应的目标神经元集合中的目标神经元。通过本申请所披露的技术方案,将
复杂的异步卷积操作,转化成了简单的神经元投射操作,即一对多的投射操作。这将十分有
利于简化类脑芯片的设计逻辑,提升芯片设计效率。而目标神经元同样可以基于相同的逻
辑,完成下一层(如有必要)的异步卷积操作。
[0065] 此外,本发明还公开一种芯片,尤其是类脑芯片,该芯片中包括若干配置为执行异步卷积的神经元电路,且被配置为执行如上的步骤S501 S507以及所述的其它全部步骤。
~
[0066] 本发明还公开一种电子设备,其包括第一接口模块和第二接口模块和处理模块,以及响应模块,该电子设备还包括如前所述的类脑芯片;该类脑芯片通过所述第一接口模
块与所述处理模块相耦接,所述处理模块通过所述第二接口模块与所述响应模块相耦接;
所述的类脑芯片对输入的环境信号(比如声音、光线、心跳等信号)进行识别,并将识别结果
通过所述第一接口模块传输至所述处理模块,所述处理模块根据所述识别结果生成控制指
令,并通过所述第二接口模块传输所述控制指令至所述响应模块。所述的响应模块可以是
执行抓拍、录像、系统唤醒等功能。
[0067] 尽管已经参考本发明的具体特征和实施例描述了本发明,但是在不脱离本发明的情况下可以对其进行各种修改和组合。因此,说明书和附图应简单地视为由所附权利要求
限定的本发明的一些实施例的说明,并且预期涵盖落入本发明范围内的任何和所有修改、
变化、组合或等同物。因此,尽管已经详细描述了本发明及其优点,但是在不脱离由所附权
利要求限定的本发明的情况下,可以进行各种改变、替换和变更。此外,本申请的范围不旨
在限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。
[0068] 本领域普通技术人员从本发明的公开内容将容易理解,可以根据本发明应用执行与本文描述的相应实施例实质上相同功能或达到实质上相同的结果的当前存在或稍后开
发的过程、机器、制造、物质组成、装置、方法或步骤。因此,所附权利要求目的在于在其范围
内包括这样的过程、机器、制造、物质组成、装置、方法或步骤。
[0069] 为了实现更好的技术效果或出于某些应用的需求,本领域技术人员可能在本发明的基础之上,对技术方案作出进一步的改进。然而,即便该部分改进/设计具有创造性或/和
进步性,只要利用了本发明权利要求所覆盖的技术特征,依据“全面覆盖原则”,该技术方案
同样应落入本发明的保护范围之内。
[0070] 所附的权利要求中所提及的若干技术特征可能存在替代的技术特征,或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后,容易想到该
些替换手段,或者改变技术流程的顺序、物质组织顺序,然后采用了基本相同的手段,解决
基本相同的技术问题,达到了基本相同的技术效果,因此即便权利要求中明确限定了上述
手段或/和顺序,然而该些修饰、改变、替换,均应依据“等同原则”而落入权利要求的保护范
围。
[0071] 对于权利要求中有明确的数值限定的,通常情况下,本领域技术人员能够理解,该数值附近的其它合理数值同样能够应用于某具体的实施方式中。这些未脱离本发明构思的
通过细节规避的设计方案,同样落入该权利要求的保护范围。
[0072] 结合本文中所公开的实施例中描述的各方法步骤和单元,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已
经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来
执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定
的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明所要求保
护的范围。
[0073] 附图标记:
[0074] 100:卷积核              10:源特征图              200:第一卷积核
[0075] 1001:ANN源特征图        20:第一神经元            2010:第一权重值
[0076] 1002:ANN目标特征图      21:第二神经元            2090:第二权重值
[0077] 101:第一感受野          22:第三神经元            300:第二卷积核
[0078] 1012:第一存储单元       201:第三感受野           3010:第三权重值
[0079] 102:第二感受野          209:第四感受野           3090:第四权重值
[0080] 1021:第二存储单元       205:第一目标特征图       2011:第一目标神经元
[0081] 2091:第二目标神经元     305:第二目标特征图       3011:第三目标神经元
[0082] 3091:第四目标神经元