基于反向优化超结构卷积核的片上光子神经网络

摘要

本发明公开了基于反向优化超结构卷积核的片上光子神经网络，包括N个隐藏层和一个全连接层，所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层，所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器，其中，超结构波分复用器用于将光信号被分为m路不同波长范围输出，超结构光散射单元将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，实现卷积运算中不同权重的分配。本发明的片上光子神经网络，具备高带宽、低损耗等优势，且超结构的光子器件经反向设计具有良好性能，可便捷改变器件的目标性能，减少芯片制作时的内部器件需求。

权利要求

1.基于反向优化超结构卷积核的片上光子神经网络，其特征在于，包括N个隐藏层和一个全连接层，所述N个隐藏层依次连接，第N个隐藏层的输出端连接全连接层的输入端；

所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层；

所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器；

电信号从电光调制器输入，电光调制器在经激光器阵列的调制后，输入的电信号转换为光信号，输入到超结构波分复用器，超结构波分复用器的输出端口有m个，光信号经过超结构波分复用器后被分为m路不同波长范围的光信号，输入到超结构光散射单元，超结构光散射单元的输入端口数量与超结构波分复用器的输出端口数量相同，超结构光散射单元用于将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，超结构光散射单元的输出端口有m个，超结构光散射单元的每个输出端口分别连接移相器，超结构光散射单元的输出端共连接有m个移相器，m个移相器的输出端分别与下一级的超结构光散射单元连接，经过第M级的超结构光散射单元和移相器后，第M级的移相器输出端连接光电探测器输入端，光电探测器将光信号转换为电信号输出到池化层，池化层输出端连接下一个隐藏层的输入端，经过第N个隐藏层后，第N个隐藏层的池化层输出端连接全连接层，输出最终运算结果。

2.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，超结构光散射单元的结构通过反向优化得到，不同超结构光散射单元的结构用于实现不同的矩阵乘法。

3.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，超结构波分复用器结构通过反向优化得到。

4.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，移相器用于提供训练偏置参数b。

5.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，每个隐藏层的输出为y＝f(∑w·x+b)；

其中，y为隐藏层的输出信号，x为隐藏层输入信号，f为非线性函数，在池化层电域内完成，w表示超结构光散射单元经过反向优化后实现的核矩阵，b为偏置。

6.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，波分复用器的输出端口的数量m与超结构光散射单元实现的权重矩阵维数相同。

说明书

基于反向优化超结构卷积核的片上光子神经网络

技术领域

[0001] 本发明涉及了一种基于反向优化的超结构光子卷积核代替电域神经网络卷积核，从而实现电光混合的片上神经网络。

背景技术

[0002] 类脑计算是指在硬件、软件层面上来模拟生物大脑而实现的一种与以往不同的新的计算方式，为解决电子计算机瓶颈问题提供了新的解决办法。其中神经网络作为人工智能与类脑计算最重要的模型之一，通过模仿神经系统结构，建立神经网络中各层神经元之间的连接。目前人工神经网络几乎全部依赖于传统的电子集成芯片，包括中央处理器(CPU)、图形处理器(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)。微电子芯片因为其结构上无法规避的缺点，在处理大量的矩阵运算时会受到电子瓶颈的制约。光子技术，是采用光子作为信息传输和处理基本载体的技术，相比于传统的电子技术，具有带宽大、损耗低、速度快以及高传输信息量等优势，在硅基光电子集成平台上，通过引入光学器件的优势，设计构造软硬件深度融合的光电计算体系，在特定的计算应用场景下，突破传统电子芯片的局限，实现更高的能效比，解决微电子处理器不能解决的复杂算法问题，为大规模神经拟态芯片的实现提供了广阔的发展前景。卷积神经网络作为前馈神经网络中的一个典型结构，目前已经有使用MZI阵列来实现全连接的卷积神经网络的方案；而反向设计作为光子器件设计的一种全新的方式，可以通过对器件内部的拓扑结构进行反向设计，获得一些复杂结构的器件，获得良好的器件性能。

发明内容

[0003] 本发明要解决的技术问题是基于反向优化超结构波分复用器和光散射单元设计光子神经网络，实现光子神经网络高带宽、低功耗的优势，本发明提出了一种基于反向优化超结构卷积核的片上光子神经网络。

[0004] 本发明的基于反向优化超结构卷积核的片上光子神经网络，包括N个隐藏层和一个全连接层，所述N个隐藏层依次连接，第N个隐藏层的输出端连接全连接层的输入端；

[0005] 所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层；

[0006] 所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器。

[0007] 电信号从电光调制器输入，电光调制器在经激光器阵列的调制后，输入的电信号转换为光信号，输入到超结构波分复用器，超结构波分复用器的输出端口有m个，光信号经过超结构波分复用器后被分为m路不同波长范围的光信号，输入到超结构光散射单元，超结构光散射单元的输入端口数量与超结构波分复用器的输出端口数量相同，超结构光散射单元用于将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，超结构光散射单元的输出端口有m个，超结构光散射单元的每个输出端口分别连接移相器，超结构光散射单元的输出端共连接有m个移相器，m个移相器的输出端分别与下一级的超结构光散射单元连接，经过第M级的超结构光散射单元和移相器后，第M级的移相器输出端连接光电探测器输入端，光电探测器将光信号转换为电信号输出到池化层，池化层输出端连接下一个隐藏层的输入端，经过第N个隐藏层后，第N个隐藏层的池化层输出端连接全连接层，输出最终运算结果。

[0008] 采用上述技术方案带来的有益效果：

[0009] (1)本发明提出的卷积核使用光子器件进行搭建，实现了光电混合的神经网络架构，具备高带宽、低损耗等优势；

[0010] (2)本发明提出的反向设计的超结构的光子器件具有良好的性能，且可以根据设计者的需求便捷改变器件的目标性能；

[0011] (3)该卷积核不需要大量的MZI器件构成阵列，可以减少芯片制作时的内部器件需求。

附图说明

[0012] 图1是本发明片上神经网络的示意图；

[0013] 图2是本发明的神经网络进行手写体数字识别的流程示意图；

[0014] 图3是本发明超结构卷积核中超结构波分复用器和超结构光散射单元结构示意图；

[0015] 图4是超结构波分复用器GDS版图；

[0016] 图5是超结构光散射单元GDS版图；

具体实施方式

[0017] 如图1所示，本发明的基于反向优化超结构卷积核的片上光子神经网络包括N个隐藏层和一个全连接层；所述N个隐藏层依次连接，第N个隐藏层的输出端连接全连接层的输入端；其中隐藏层的N的数量大于等于1。

[0018] 所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层；

[0019] 所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器；其中M大于等于1。

[0020] 电信号作为本发明片上神经网络的输入信号，输入到隐藏层，具体为，电信号从电光调制器输入，电光调制器在激光器阵列的调制后输入的电信号转换为单束波长的光信号，输入到超结构波分复用器，超结构波分复用器的输出端口有m个，波分复用器的输出端口的数量m与超结构光散射单元实现的权重矩阵维数相同，光信号经过超结构波分复用器后被分为m路不同波长范围的光信号，m路不同波长范围光信号的中心波长分别为λ1、λ2…λm，超结构光散射单元的输入端口数量与超结构波分复用器的输出端口数量相同，超结构光散射单元用于将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，从而实现卷积运算中不同权重的分配，提取输入信号特征；超结构光散射单元的输出端有m个，超结构光散射单元的每个输出端分别连接一个移相器，在超结构光散射单元的输出端共连接有m个移相器，移相器用于为本发明片上神经网络提供训练偏置参数b；m个移相器的输出端与下一级的超结构光散射单元，经过第M级的超结构光散射单元和移相器后，第M级的移相器输出端连接光电探测器输入端相连，超结构卷积核输出光信号，经光电探测器将所述提取的输入数据特征转换为电信号。光电探测器输出端与池化层输入端相连，池化层用于简化超结构卷积核提取的数据特征，池化层输出端连接下一个隐藏层的输入端，经过第N个隐藏层后，第N个隐藏层的池化层输出端连接全连接层，输出最终运算结果。

[0021] 具体的，超结构波分复用器和超结构光散射单元的连接关系如图3所示，本实施例中超结构波分复用器输出端口的数量m取4，与其相连接的超结构光散射单元也有4个输入端口和4个输出端口。

[0022] 其中超结构波分复用器的结构通过反向优化得到，超结构波分复用器的结构不同则光信号被分成的波长范围也不同；如图4所示，是超结构波分复用器的GDS版图，反向优化后的超结构波分复用器导入版图软件，得到相应的超结构图，可供后续芯片制造使用。

[0023] 其中超结构光散射单元的结构通过反向优化得到，不同超结构光散射单元的结构用于实现不同的权重矩阵乘法，从而代替传统卷积核实现卷积运算中不同权重的分配，提取输入数据的特征，如图5所示，是超结构光散射单元的GDS版图，反向优化后的超结构光散射单元导入版图软件，得到相应的超结构图，可供后续芯片制造使用。

[0024] 用乘法矩阵来描述反向优化后的超结构光散射单元的输入和输出光信号之间的关系，可表示为：

[0025] Iout＝w·Iin

[0026] 其中Iout表示超结构光散射单元本级输出光信号，w表示超结构光散射单元经过反向优化后实现的核矩阵，即超结构光散射单元需要完成的权重矩阵，Iin表示光散射单元本级的输入光信号。

[0027] 以马尔可夫矩阵为乘法矩阵举例，马尔可夫矩阵用P表示。先对超结构光散射单元进行反向优化，得到实现马尔可夫矩阵乘法的超结构，马尔可夫矩阵的表达形式如下：

[0028]

[0029] 其中，Pi,j表示第i行第j列的元素；且

[0030]

[0031] 上式表示由于从状态i到下一状态的概率总和必须是1。

[0032] 超结构光散射单元代替传统核矩阵，有效的与输入光信号进行矩阵乘法运算，相当于卷积运算，实现了在光域中进行卷积运算；

[0033] 基于反向优化超结构卷积核的片上光子神经网络神经网络，其每个隐藏层的输出为

[0034] y＝f(∑w·x+b)

[0035] 上式中，y为隐藏层的输出信号，x为隐藏层输入信号，f为非线性函数，由池化层电域内完成，w表示超结构光散射单元经过反向优化后实现的核矩阵，即超结构光散射单元需要完成的权重矩阵，由超结构光散射单元在光域内实现，b为偏置，由相移器实现。

[0036] 如图2所示，给出了采用本发明方法对数字识别的过程，该识别过程中超结构光散射单元和移相器的级数M取2，隐藏层的N的数量取2。数字图片做为电信号输入本发明的第一个隐藏层对图片进行卷积运算和池化运算后，再输入到第二个隐藏层对图片进行卷积运算和池化运算，再经过全连接层，最后输出本片上光子神经网络对输入数字图片的特征数据提取结果，完成数字识别任务。