人工神经网络专利检索-人工神经网络人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

人工神经网络

阅读：1044发布：2020-05-11

IPRDB可以提供人工神经网络专利检索，专利查询，专利分析的服务。并且根据本发明的示例方面，提供了一种装置，该装置包括：存储器，被配置为存储卷积人工神经网络信息，该卷积人工神经网络信息包括至少一个过滤定义；以及至少一个处理核心，被配置为根据至少一个过滤定义从前面的层生成人工神经网络的后面的层的卷积结果，并且通过使用激活函数从卷积结果生成后面的层的激活结果，激活函数采取三个参量，三个参量是从所述卷积结果被得出的。，下面是人工神经网络专利的具体信息内容。

权利要求

1.一种装置，包括：

-存储器，被配置为存储卷积人工神经网络信息，所述卷积人工神经网络信息包括至少一个滤波器定义，以及-至少一个处理核心，被配置为：

ο根据所述至少一个滤波器定义，从前面的层生成所述人工神经网络的后面的层的卷积结果，以及ο通过使用激活函数从所述卷积结果生成所述后面的层的激活结果，所述激活函数采取三个参量，所述三个参量是从所述卷积结果被得出的。

2.根据权利要求1所述的装置，其中所述激活函数参量中的一个激活函数参量是第一卷积结果值，并且所述至少一个处理核心被配置为从所述第一卷积结果值的邻域得出所述激活函数参量中的其他两个激活函数参量。

3.根据权利要求2所述的装置，其中所述第一卷积结果值的所述邻域包括八个其他卷积结果值。

4.根据权利要求2或3所述的装置，其中所述激活函数参量中的所述其他两个激活函数参量包括：指示水平变化的值和指示垂直变化的值。

5.根据权利要求1至4中任一项所述的装置，其中所述激活函数从所述三个参量产生两个输出。

6.根据权利要求5所述的装置，其中所述两个输出包括与水平变化相关的输出。

7.根据权利要求5或6所述的装置，其中所述两个输出包括与垂直变化相关的输出。

8.根据权利要求1至7中任一项所述的装置，其中所述人工神经网络的最后的层包括结果层。

9.根据权利要求1至8中任一项所述的装置，其中所述人工神经网络被配置为检测行人。

10.根据权利要求1至9中任一项所述的装置，其中所述人工神经网络被配置为使用输入数据项，所述输入数据项包括图像。

11.一种方法，包括：

-存储卷积人工神经网络信息，所述卷积人工神经网络信息包括至少一个滤波器定义，-根据所述至少一个滤波器定义，从前面的层生成所述人工神经网络的后面的层的卷积结果，以及-通过使用激活函数从所述卷积结果生成所述后面的层的激活结果，所述激活函数采取三个参量，所述三个参量是从所述卷积结果被得出的。

12.根据权利要求11所述的方法，其中所述激活函数参量中的一个激活函数参量是第一卷积结果值，并且所述激活函数参量中的其他两个激活函数参量是从所述第一卷积结果值的邻域被得出的。

13.根据权利要求12所述的方法，其中所述第一卷积结果值的所述邻域包括八个其他卷积结果值。

14.根据权利要求12或13所述的方法，其中所述激活函数参量中的所述其他两个激活函数参量包括：指示水平变化的值和指示垂直变化的值。

15.根据权利要求11至14中任一项所述的方法，其中所述激活函数从所述三个参量产生两个输出。

16.根据权利要求15所述的方法，其中所述两个输出包括与水平变化相关的输出。

17.根据权利要求15或16所述的方法，其中所述两个输出包括与垂直变化相关的输出。

18.根据权利要求11至17中任一项所述的方法，其中所述人工神经网络的最后的层包括结果层。

19.根据权利要求11至18中任一项所述的方法，其中所述人工神经网络被配置为检测行人。

20.根据权利要求11至19中任一项所述的方法，其中所述人工神经网络被配置为使用输入数据项，所述输入数据项包括图像。

21.一种装置，包括：

-用于存储卷积人工神经网络信息的部件，所述卷积人工神经网络信息包括至少一个滤波器定义，-用于根据所述至少一个滤波器定义从前面的层生成所述人工神经网络的后面的层的卷积结果的部件，以及-用于通过使用激活函数从所述卷积结果生成所述后面的层的激活结果的部件，所述激活函数采取三个参量，所述三个参量是从所述卷积结果被得出的。

22.一种非瞬态计算机可读介质，其上存储有计算机可读指令集，所述计算机可读指令集在由至少一个处理器执行时使装置至少：-存储卷积人工神经网络信息，所述卷积人工神经网络信息包括至少一个滤波器定义；

-根据所述至少一个滤波器定义，从前面的层生成所述人工神经网络的后面的层的卷积结果，以及-通过使用激活函数从所述卷积结果生成所述后面的层的激活结果，所述激活函数采取三个参量，所述三个参量是从所述卷积结果被得出的。

23.一种计算机程序，被配置为使根据权利要求11至20中的至少一项所述的方法被执行。

说明书全文

人工神经网络

技术领域

[0001] 本发明涉及人工神经网络，诸如，例如，卷积人工神经网络。

背景技术

[0002] 机器学习和机器识别找到多个应用，诸如，例如，机场的自动护照管制，其中可以将人脸的数字图像与被存储在护照中以人脸为特征的生物统计信息进行比较。

[0003] 例如，机器识别的另一示例在手写或印刷档案文本识别中被用以绘制可搜索书籍的内容。又一个示例是行人识别，其中，最后，自主驾驶汽车因此被视为能够意识到前方有行人并且汽车可以避免从行人身上碾过。

[0004] 除了视觉识别之外，口语可以是机器识别的主题。当口语被识别到时，随后可以将其输入解析器以向个人数字助理提供命令，或可以将其提供给机器翻译程序，从而获得意义与口语相对应的另一语言的文本。

[0005] 机器识别技术采用针对此目的设计的算法。例如，人工神经网络可以被用于实现机器视觉应用。人工神经网络在本文中可以被简称为神经网络。机器识别算法可以包括处理功能，在图像识别中，这些处理功能可以包括例如，滤波(诸如，形态滤波)、阈值处理(thresholding)、边缘检测、模式识别和对象维度测量。

[0006] 神经网络可以包括例如完全连接层和卷积层。完全连接层可以包括其中所有神经元都具有到相邻的层上的所有神经元的连接的层，诸如，例如，前面的层。例如，卷积层可以包括这样一个层，在该层中，神经元接收来自前面的层的一部分的输入，这个部分被称为感受域(receptive field)。

[0007] 可以利用前面的层的感受域和滤波器来从线性运算获得卷积结果，以用于利用值填充后面的层的神经元。

发明内容

[0008] 本发明由独立权利要求的特征定义。一些特定实施例在独立权利要求中被定义。

[0009] 根据本发明的第一方面，提供了一种装置，该装置包括：存储器，该存储器配置为存储卷积人工神经网络信息，该卷积人工神经网络信息包括至少一个过滤定义；以及至少一个处理核心，该处理核心配置为根据至少一个过滤定义从前面的层生成人工神经网络的后面的层的卷积结果，并且通过使用激活函数从卷积结果生成后面的层的激活结果，激活函数采取三个参量(argument)，三个参量是从卷积结果被得出的。

[0010] 第一方面的各个实施例可以包括来自下面的项目符号列表的至少一个特征：

[0011] ·激活函数参量中的一个激活函数参量是第一卷积结果值，并且至少一个处理核心配置为从第一卷积结果值的邻域得出激活函数参量中的其他两个激活函数参量[0012] ·第一卷积结果值的邻域包括八个其他卷积结果值

[0013] ·激活函数参量中的其他两个激活函数参量包括：指示水平变化的值和指示垂直变化的值

[0014] ·激活函数从三个参量产生两个输出

[0015] ·两个输出包括与水平变化相关的输出

[0016] ·两个输出包括与垂直变化相关的输出

[0017] ·人工神经网络的最后一层包括结果层

[0018] ·人工神经网络被配置为检测行人

[0019] ·人工神经网络配置为使用输入数据项，该输入数据项包括图像。

[0020] 根据本发明的第二方面，提供了一种方法，该方法包括：存储卷积人工神经网络信息，该卷积人工神经网络信息包括至少一个过滤定义；根据至少一个过滤定义，从前面的层生成人工神经网络的后面的层的卷积结果；以及通过使用激活函数从卷积结果生成后面的层的激活结果，激活函数采取三个参量，三个参量是从卷积结果被得出的。

[0021] 第二方面的各个实施例可以包括来自下面的项目符号列表的至少一个特征：

[0022] ·激活函数参量中的一个激活函数参量是第一卷积结果值，并且激活函数参量中的其他两个激活函数参量是从第一卷积结果值的邻域被得出的·第一卷积结果值的邻域包括八个其他卷积结果值

[0023] ·激活函数参量中的其他两个激活函数参量包括：指示水平变化的值和指示垂直变化的值

[0024] ·激活函数从三个参量产生两个输出

[0025] ·两个输出包括与水平变化相关的输出

[0026] ·两个输出包括与垂直变化相关的输出

[0027] ·人工神经网络的最后一层包括结果层

[0028] ·人工神经网络被配置为检测行人

[0029] ·人工神经网络被配置为使用输入数据项，该输入数据项包括图像

[0030] 根据本发明的第三方面，提供了一种装置，该装置包括：用于存储卷积人工神经网络信息的部件，该卷积人工神经网络信息包括至少一个过滤定义；用于根据至少一个过滤定义从前面的层生成人工神经网络的后面的层的卷积结果的部件；以及用于通过使用激活函数从卷积结果生成后面的层的激活结果的部件，激活函数采取三个参量，三个参量是从卷积结果被得出的。

[0031] 根据本发明的第四方面，提供了一种非瞬态计算机可读介质，其上存储有计算机可读指令集，该计算机可读指令集在由至少一个处理器执行时使装置至少：存储卷积人工神经网络信息，该卷积人工神经网络信息包括至少一个过滤定义；根据至少一个过滤定义从前面的层生成人工神经网络的后面的层的卷积结果；以及通过使用激活函数从卷积结果生成后面的层的激活结果，激活函数采取三个参量，三个参量是从卷积结果被得出的。

[0032] 根据本发明的第五方面，提供了一种计算机程序，该计算机程序配置为使根据第二方面的方法被执行。

附图说明

[0033] 图1图示了能够支持本发明的至少一些实施例的示例系统；

[0034] 图2图示了与激活函数相关的方面；

[0035] 图3图示了能够支持本发明的至少一些实施例的示例装置；

[0036] 图4是根据本发明的至少一些实施例的方法的流程图，以及

[0037] 图5是根据本发明的至少一些实施例的方法的流程图。

具体实施方式

[0038] 激活函数可以用于填充人工神经网络的层，使得激活函数采取来自前面的层的卷积结果的输入，该输入是使用滤波系数而获得的，并且产生激活结果作为输出，然后将激活结果输入或填充到层的神经元中。本文描述了三维激活函数，使得激活结果反映卷积结果的特征的更细微的绘制。例如，三维激活函数可以采取来自卷积结果的基本元素作为输入，以及采取表征在基本元素的邻域中的两个方向上的梯度的值。这可以支持针对例如垂直定向的对象(诸如，行人)更高的选择性。

[0039] 图1图示了能够支持本发明的至少一些实施例的示例系统。图1具有行人120在其上正在行走的道路101的视图110。虽然在本文中在检测行人方面结合图1进行了描述，但是本发明并不限于此，而本领域的技术人员将理解，本发明也更普遍地适用于视觉、听觉或其他种类的数据方面的机器识别，或更确切地适用于操作人工神经网络。例如，根据所讨论的实施例，骑自行车者识别、手写识别、面部识别、交通标志识别、语音识别、语言识别、手语识别和/或垃圾邮件识别可能得益于本发明。

[0040] 在图1中，道路101由相机成像。相机可以被配置为捕获至少部分地覆盖道路的视图110。相机可以被配置为预处理从被包括在相机中的图像捕获设备(诸如，电荷耦合器件CCD)获得的图像数据。预处理的示例包括：进行黑白还原、对比度调整和/或亮度平衡，以增加所捕获的图像中呈现的动态范围。例如，在一些实施例中，也将图像数据缩放到适用于馈送到图像识别算法(诸如，AdaBoost)中的位深度。预处理可以包括：选择感兴趣的区域(诸如，区域125)，例如，以用于馈入图像识别算法。根据实施例，预处理在本质上可能是不存在或有限的。例如，相机可以被安装在被配置为自主驾驶的汽车中或采集训练数据。备选地，相机可以被安装在汽车中，该汽车被设计为由人类驾驶员驾驶，但是如果汽车看起来要撞到行人或动物，则提供警告和/或自动制动。

[0041] 从相机馈送的图像可以被用于生成用于在训练神经网络中使用的测试数据集。这种数据集可以包括训练样本。例如，训练样本可以包括静态图像(诸如，视频图像帧)或视频短片。在将被识别的输入数据不是可视数据的情况下，输入数据可以包括例如从模数转换器获得的数字样本的向量。例如，模数转换器可以获得从麦克风提供的模拟反馈，并且从模拟反馈生成样本。总之，如上所述，非视觉形式的数据也可以是机器识别的对象。例如，加速度计或旋转传感器数据可以被用于检测人是否正在行走、跑或跌倒。由于可以对神经网络进行训练以识别视图110中的对象，训练阶段可以在神经网络的使用阶段或测试阶段之前发生。

[0042] 神经网络在图1中被示意性地示出为第一层130、第二层140和第三层150。实际网络可以包括多于三个层。当填充第三层150的神经元时，例如，卷积滤波器可以被应用于第二层140中的数据。例如，卷积滤波器可以具有16个系数，它们与4×4网格相对应。将卷积滤波器应用于前面的层，即，第二层140，产生卷积结果。在卷积结果中，每个要素与滤波器系数与第二层140中的感受域之间的线性运算的结果对应。一般而言，第三层150在第二层140之后，而第二层140在第三层150之前。

[0043] 卷积结果可能具有与第三层150或更一般地说是后面的层的维度相匹配的维度。在维度不匹配的情况下，可以使它们匹配，例如，通过裁剪。在一些实施例中，对前面的层的零填充也可以被用于促进卷积线性运算。原则上，卷积结果可以直接被存储在后面的层中。
然而，使用激活函数可以提供运算中的改进结果。简单的激活函数是线性修正f，其从卷积结果x中的要素产生激活结果f(x)，作为f(x)＝max(0,x)。这只是将要填充到后面的层中的值限制为零及以上，使得卷积结果中的任何负值被映射为零。

[0044] 在本发明的至少一些实施例中，所使用的激活函数采取三个参量。参量可以从卷积结果被得出，例如，使得参量中的至少一个参量是被包括在卷积结果中的元素。这种要素可以包括卷积结果的结果值。进一步地，参量中的至少一个参量可以使用数学过程从卷积结果的元素被得出。

[0045] 通过采取三个参量，在本文中这意味着，在激活函数的域是三维空间的意义上，激活函数是三维的。等同地，这可以被表示为作为真正的多变量函数的激活函数。激活函数在每次调用时都可以采取三个参量。激活函数可以采取类型r(x,y,z)＝a，其中，a表示激活结果。例如，激活结果可以是一维或二维的。二维激活结果的示例是r(x,y,z)＝[gh(x,y),gv(x,z)]，其中下标h表示水平方向并且下标v表示垂直方向。在激活结果是二维的情况下，激活函数具有是二维空间的范围。

[0046] 例如，在专用于检测行人的应用中，在激活函数中启用对卷积结果的垂直方面的敏感度可以增强对行人的检测，因为行人具有垂直特性，这种垂直特性是由于人类直立行走的方式造成的，如图1所示。在这方面对垂直方面的敏感度的示例是，激活函数的参量中的一个参量是卷积结果值中的局部垂直定向梯度。同样，水平敏感度可以通过确定卷积结果中的局部水平定向梯度来获得。因此，将被提供给激活函数的三个参量的一个示例是被包括在卷积结果中的元素以及卷积结果中的局部垂直梯度和局部水平梯度。

[0047] 采取三个参量的激活函数的另一个示例是这样一种情况，其中三个参量中的第一参量是被包括在卷积结果中的元素，并且其他两个参量表征在作为参量中的第一参量的元素的邻域中的卷积结果的频率方面。例如，这种本地化频率方面可以使用小波而被获得。例如，这种本地化频率方面可以包括关于某些频率存在或不存在的指示。例如，这种本地化频率方面可以分别被定向在水平和垂直方向上。

[0048] 一般而言，在激活函数采取三个参量的情况下，参量中的一个参量可以是被包括在卷积结果中的元素，参量中的第二参量可以表征在第一参量的邻域中的卷积结果的水平属性，并且参量中的第三参量可以表征在第一参量的邻域中的卷积结果的垂直属性。梯度和频率特性是第二和第三参量可以表征的属性的示例。

[0049] 图2图示了与激活函数相关的方面。在图的部分a)中，图示了简单的单参量激活函数，其是类型f(x)＝max(0,x)的修正，如上所述。激活函数的另一个示例是sigmoid函数：

[0050]

[0051] 在图2的部分b)中，图示了元素x的邻域中的卷积结果的部分。因此，这里每个要素与滤波器和前面的层中的相应感受域之间的线性运算的结果对应。图2的部分c)图示了部分b)的卷积结果邻域的水平梯度场。图的部分c)的梯度场的每个要素被计算作为部分b)中的要素与其水平邻域之间的差异。例如，部分c)的左上角的元素是部分b)的要素x1与x2之间的差异。

[0052] 在x的邻域中的水平变化可以被表示为：

[0053] y＝(x1-x2)2+(x2-x3)2+(x4-x)2+(x-x5)2+(x6-x7)2+(x7-x8)2

[0054] 换言之，变化可以被表示为水平对齐的差异的平方和。同样，垂直变化可以被表示为：

[0055] z(x1-x4)2+(x2-x)2+(x3-x5)2+(x4-x6)2+(x-x7)2+(x5-x8)2

[0056] 在采取三个参量的激活函数中使用这些可以采用这种形式

[0057] r(x，y，z）＝[gh(x，y)，gv(x，z)]＝[f(x+y)，f(x+z)]，

[0058] 其中f可以是图2a)中所示的类型的修正，或者f可以备选地是上述sigmoid函数，或确切地说是另一种修正。换句话说，得出用于激活函数的参量可以包括：首先确定卷积结果中的元素x的邻域，得出梯度以及获得作为梯度的平方和的变化。在另一个实施例中，可以用绝对值而不是平方来获得梯度的变化。得出参量中的一个参量可以仅包括采取来自卷积结果的元素，诸如，图2b)中的x。

[0059] 所提出的三维激活函数r(x，y，z)可以被用于各种深度学习算法架构。例如，传统的激活函数可以被提出的采取三个参量的激活函数代替，并且然后，例如，可以用标准的反向传播算法来训练网络。

[0060] 采取ADAS或先进的驾驶员辅助系统/自动驾驶车辆作为示例来图示描述的方法可以如何被用于真实的应用。视觉系统可以在ADAS系统中或在自动驾驶车辆中被配备有所描述的方法。所描述的方法可以被集成到这种系统的视觉系统中。在视觉系统中，可以通过相机捕获图像并且可以通过经训练的深度卷积神经网络CNN来从图像检测重要的对象，诸如，行人和自行车，其中，采用了提出的协作激活函数。在ADAS中，如果检测到重要的对象(诸如，行人)，则可以生成一些指示，诸如，警告声音，使得车辆的驾驶员的注意力被引导对象上，并且他可以采取措施来避免交通事故。在自动驾驶车辆中，可以使用检测到的对象作为控制模块的输入，控制模块被配置为采取正确的行动作为对对象的响应。这两种系统都可以基于检测图像中的对象。

[0061] 为了完成对象检测，所描述的方法可以包括训练阶段和测试阶段。训练阶段的目的是为了设计深度CNN的架构和学习深度CNN的参数。利用设计的结构和学习的参数，测试阶段可以被用于将一批未知图像分类为对象图像或背景图像，这些未知图像也称为测试图像。

[0062] 首先，描述了训练阶段。在数据准备步骤中，准备训练图像集以及其标签。标签指示图像是对象图像或背景图像。

[0063] 在架构设计步骤中，建立针对CNN的设计。例如，让深度CNN由S个卷积层组成。层i中的特征图(feature map)的数目是Ni并且层i-l中的特征图的数目是Ni-l。

[0064] 在卷积步骤中，使用大小为wi×hi×Ni的卷积滤波器Wi来获得层i的卷积结果，此处，w表示特征图的宽度并且h表示特征图的高度。

[0065] 在激活步骤中，确定卷积层i的卷积结果x的邻域。然后，例如，获得邻域的水平梯度并且通过对经平方的水平梯度进行求和来计算x的邻域的水平变化。获得邻域的垂直梯度并且通过对平方垂直梯度进行求和来计算x的邻域的垂直变化，如上所述。最后，基于三维激活函数来计算激活结果

[0066] r(x，y，z）＝[gh(x，y)，gv(x，z)]＝[f(x+y)，f(x+z)]。

[0067] 在可选的池化步骤中，可以将池化运算应用于一个或多个卷积层。

[0068] 在优化步骤中，例如，通过最小化训练集的均方差来获得卷积滤波器的参数。标准的反向传播算法可以被用于解决最小化问题。在反向传播算法中，计算并且反向传播关于滤波器的参数的均方差的梯度。反向传播可以在几个时期(epoch)内进行，直到收敛为止。一般而言，技术人员都知道，存在很多优化滤波器参数的方式，并且所描述的方法并不限于任何具体方式。优化可以是迭代过程。

[0069] 现在，描述测试阶段。利用架构和在训练阶段获得的滤波器参数，CNN可以在对图像或其部分进行分类中被使用。首先，从第一层到最后一层，计算卷积结果并且通过使用所描述的三维激活函数来获得激活结果。如果需要将池化运算应用于卷积层，则可以将池化运算(诸如，最大池化)应用于层。然后，采用最后一层的结果作为检测结果。

[0070] 因为三维激活函数可以同时考虑所讨论的卷积结果x、垂直方向上的变化和水平方向上的变化，所以所描述的方法在深度学习中的特征检测方面更强大。因此，采用提出的三维激活函数的深度学习会产生较好的识别率。

[0071] 为了证明所描述的方法的有效性，报告关于CIFAR10数据集和ImageNet数据集的实验结果。比较是用经典的NIN[1]方法、VGG方法[2]及它们的具有不同激活函数的版本来完成的。为了与传统的MIN进行比较，采用两个方案。在第一个方案中，所描述的方法采用与NIN相同的架构并且参数的数目与MIN相同。因为所描述的激活函数输出两个值，所以在第二个方案中，参数的数目比MIN的参数的数目大两倍。类似地，采用两个方案来与VGG进行比较。在MIN方法和VGG方法中，采用经典的修正线性单元ReLU激活函数或现有的二维激活函数[3]。在所描述的方法中，ReLU激活函数被上述三维激活函数代替。表1给出了不同的方法在不同的数据集上的识别错误率。从表1可以看出，当参数的数量等于或大于传统方法的参数的数量时，采用所描述的三维激活函数会产生最低的识别错误率。

[0072]

[0073]

[0074] 图3图示了能够支持本发明的至少一些实施例的示例装置。图示了设备300，该设备300可以包括例如计算设备，诸如，服务器、节点或云计算设备。设备300可以被配置为运行神经网络，诸如本文所描述的。被包括在设备300中的是处理器310，该处理器310可以包括例如单核或多核处理器，其中，单核处理器包括一个处理核心，而多核处理器包括一个以上的处理核心。处理器310可以包括一个以上的处理器。处理核心可以包括例如ARM公司制造的Cortex-A8处理核心或先进微设备公司制造的Steamroller处理核心。例如，处理器310可以包括至少一个高通骁龙和/或英特尔酷睿处理器。处理器310可以包括至少一个专用集成电路ASIC。处理器310可以包括至少一个现场可编程门阵列FPGA。处理器310可以是用于在设备300中执行方法步骤的部件。处理器310可以至少部分地被计算机指令配置为执行动作。

[0075] 设备300可以包括存储器320。存储器320可以包括随机存取存储器和/或永久存储器。存储器320可以包括至少一个RAM芯片。例如，存储器320可以包括固态、磁性、光学和/或全息存储器。存储器320可以至少部分地由处理器310访问。存储器320可以至少部分地被包括在处理器310中。存储器320可以是用于存储信息的部件。存储器320可以包括计算机指令，处理器310被配置为执行这些计算机指令。当配置为使处理器310执行某些动作的计算机指令存储在存储器320中，并且设备300总体上配置为使用来自存储器320的计算机指令在处理器310的方向上运行时，可以认为处理器310和/或其至少一个处理核心配置为执行所述某些动作。存储器320可以至少部分地包括在处理器310中。存储器320可以至少部分在设备300外部，但是可由设备300可访问。存储器320中的计算机指令可以包括多个应用或者进程。例如，机器学习算法，诸如，具有分类器的AdaBoost算法，可以在一个应用或进程中运行，相机功能性可以在另一个应用或进程中运行，并且机器学习过程的输出可以被提供给另外的应用或进程，这种另外的应用或进程可以包括汽车驾驶进程，例如，用于使制动动作响应于识别到相机视图中的行人而触发。

[0076] 设备300可以包括发射器330。设备300可以包括接收器340。发射器330和接收器340可以被配置为分别根据至少一个通信标准发送和接收信息。发射器330可以包括一个以上的发射器。接收器340可以包括多于一个的接收器。例如，发射器330和/或接收器340可以被配置为根据无线局域网WLAN、以太网、通用串行总线USB和/或微波存取全球互通WiMAX标准来操作。备选或附加地，可以利用专用通信架构。

[0077] 设备300可以包括用户界面UI 360。UI 360可以包括以下中的至少一项：显示器、键盘、触摸屏、设置为通过使设备300振动以向用户发送信号的振动器、扬声器和麦克风。用户或许能够经由UI 360操作设备300，例如，以对机器学习参数进行配置和/或打开和/或关闭设备300。

[0078] 处理器310可以被安装有发射器，该发射器被布置为经由设备300内部的电线将来自处理器310的信息输出到被包括在设备300中的其他设备。这种发射器可以包括串行总线发射器，该串行总线发射器被布置为例如经由至少一条电线将信息输出到存储器320以存储在其中。除了串行总线，发射器还可以包括并行总线发射器。同样，处理器310可以包括接收器，该接收器被布置为经由设备300内部的电线从包括在设备300中的其他设备接收处理器310中的信息。这种接收器可以包括串行总线接收器，该串行总线接收器设置为例如经由至少一条电线从接收器340接收信息，以在处理器310中进行处理。除了串行总线，接收器还可以包括并行总线接收器。

[0079] 设备300可以包括在图3中未被示出的进一步的设备。例如，在设备300包括智能电话的情况下，它可以包括至少一个数码相机。一些设备300可以包括后置相机和前置相机，其中，后置相机可以被用于数字摄影并且前置相机可以被用于视频电话。设备300可以包括指纹传感器，该指纹传感器被布置为至少部分地认证设备300的用户。在一些实施例中，设备300缺少上面描述的至少一种设备。

[0080] 处理器310、存储器320、发射器330、接收器340和/或UI 360可以多种不同的方式通过设备300内部的电线而互相连接。例如，上述设备中的每一个设备都可以独立地被连接到设备300内部的总线，以允许设备交换信息。然而，如技术人员理解的，这仅仅是一个示例，并且根据实施例，可以选择将上述设备中的至少两个设备互相连接的各种方式，而不脱离本发明的范围。

[0081] 图4是根据本发明的至少一些实施例的方法的流程图。如上所述，训练阶段由阶段410、420、430、440、450和460组成。测试阶段包括阶段470和480。

[0082] 首先，为了实现培训，准备数据，输入到神经网络。这被图示为410。在阶段420中，设置要训练的卷积神经网络的架构。例如，架构可以包括多层和每层多个特征图。特征图的数量在每一层上都不必相同。

[0083] 使用训练数据，如上所述和按照神经网络的所选架构执行卷积(阶段430)和激活(阶段440)。池化阶段450是可选的。继续优化(阶段460)，直到训练数据已经穿过网络为止，使用合适的优化算法来定义测试阶段中要使用的卷积滤波器系数。阶段460的优化可以包括迭代过程，在该迭代过程中，阶段430、440和450重复地运行，直到已经优化了神经网络的滤波器系数为止。

[0084] 在测试阶段中，例如使用相机或摄像机捕获的数据可以作为输入而被提供，通过使用在训练阶段(在图4中被图示为计算阶段470)获得的卷积滤波系数而通过神经网络，到达检测阶段480。

[0085] 图5是根据本发明的至少一些实施例的方法的流程图。所示的方法的阶段可以在设备中被执行，该设备被布置为例如通过这种设备的控制设备来运行神经网络。

[0086] 阶段510包括存储卷积人工神经网络信息，该卷积人工神经网络信息包括至少一个过滤定义，阶段520包括根据至少一个过滤定义从前面的层生成人工神经网络的后面的层的卷积结果。最后，阶段530包括通过使用激活函数从卷积结果生成后面的层的激活结果，激活函数采取三个参量，三个参量是从卷积结果被得出的。进一步地，可以用激活结果或用从激活结果得出的数据填充后面的层。

[0087] 要理解，所公开的本发明的实施例并不限于本文所公开的特定结构、过程步骤或材料，而是延伸到其等同物，如相关领域的普通技术人员所认识到的。还应当理解，本文所采用的术语仅仅被用来描述特定实施例，而并非限制性的。

[0088] 贯穿本说明书，对一个实施例或实施例的引用指的是，结合该实施例描述的特定特征、结构或者特点包括在本发明的至少一个实施例中。因此，措辞“在一个实施例中”或者“在实施例中”出现在贯穿本说明的各处不一定全部都指的是同一实施例。在使用诸如例如大约或大体上等术语来引用数值的情况下，也公开了准确的数值。

[0089] 如本文所使用的，为了方便起见，可以将多个项、结构元件、组成要素和/或材料呈现在共用的列表中。然而，这些列表应被理解为列表中的每个成员都被独立地标识为单独且唯一的成员。因此，在没有相反指示的情况下，这类列表中的个体成员都不应当仅仅基于其出现在共同群组中而被视为同一列表中的任何其他成员的实际等同物。另外，本发明的各个实施例和示例在本文可以随着其各种组件的替代物一起被提及。应当理解，这样的实施例、示例和替代物不应被解释为彼此在事实上的等同物，而应被认为是对本公开的独立且自主的表示。

[0090] 此外，所描述的特征、操作或特点可以按照任何合适的方式组合在一个或多个实施例中。在前面的描述中，提供许多具体细节，诸如，长度、宽度、形状等的示例，从而给出对本发明的实施例的充分理解。然而，相关领域的技术人员将意识到，可以在没有特定细节中的一个或多个的情况下或采用其他方法、组件、材料等来实践本发明。在其他情况下，并没有详细示出或描述公知结构、材料或操作以避免模糊本发明的各方面。

[0091] 虽然前述示例在一个或多个特定应用中说明了本发明的原理，但是对本领域的普通技术人员而言显而易见的是，在不脱离本发明的原理和构思的情况下，可以对实施方式的形式、用法和细节做出许多修改，而无需创造性劳动。因此，除了由下面阐述的权利要求限制外，不意在对本发明进行限制。

[0092] 动词“包含”和“包括”在本文中用作开放性限制，它既不排除也不要求存在未列举的特征。从属权利要求中列举的特征可以相互自由地组合，除非另有明确说明。此外，应当理解，贯穿本文，“一”或“一个”(即，单数形式)的使用并未排除多个。

[0093] 工业适用性

[0094] 本发明的至少一些实施例在优化机器识别方面找到了工业应用，以例如减少无人驾驶车辆的交通事故。

[0095] 引文

[0096] [1][NIN]M.Lin，Q.Chen和S.Yan，“Network in network，”CoRR，abs/1312.4400，2013。

[0097] [2][VGG]K.Simonyan和A.Zisserman，“Very deep convolutional networks for large-scale image recognition，”CoRR，abs/1409.1556，2014

[0098] [3]Li，H.于2016年12月30日提交的标题为“APPARATUS，METHOD AND COMPUTER PROGRAM PRODUCT FOR DEEP LEARNING”的申请号PCT/CN2016/113651

[0099] 缩写

[0100] ADAS 先进的驾驶员辅助系统

[0101] CNN 卷积神经网络

[0102] ReLU 修正线性单元

[0103] 参考符号列表

[0104]

[0105]

标题	发布/更新时间	阅读量
人工神经网络运算电路-专利编号CN107862380A	2020-05-13	1118
人工神经网络-专利编号CN1846218A	2020-05-13	916
人工神经网络-专利编号CN103927583A	2020-05-12	140
人工神经网络-专利编号CN110892423A	2020-05-11	1041
人工神经网络运算电路-专利编号CN107748914A	2020-05-14	880
一种人工神经网络算法-专利编号CN106372724A	2020-05-13	943
人工神经网络-专利编号CN109564633A	2020-05-12	250
人工神经网络-专利编号CN109416760A	2020-05-12	433
人工神经网络-专利编号CN110121723A	2020-05-11	510
人工神经网络-专利编号CN110309905A	2020-05-11	526

人工神经网络

人工神经网络

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式