采用金字塔架构衍射层补光的衍射神经网络及实现方法

摘要

本发明公开一种采用金字塔架构衍射层补光的衍射神经网络及实现方法，其中衍射神经网络，将网络中的衍射层划分为两组，分别为补光区衍射层与衍射区衍射层；通过改变补光区衍射层的大小，令其呈现金字塔架构，使一部分输入光线能绕过数个补光区衍射层；衍射区则在补光区与探测层之间，衍射区衍射层均为标准大小。本发明方法首先设计衍射神经网络的基本方案，确认其网络性能与层数的关系，然后根据任务需求与网络特性设计补光方案。本发明通过提高亮度搭建更多层数网络，提升网络性能的构想，增加衍射层材料与探测器的选择空间，增强网络在实际应用中的环境适应性与调节空间；没有额外光源与器件的引入，体积小，耗能小，便于安装和应用。

权利要求

1.一种采用金字塔架构衍射层补光的衍射神经网络装置，其特征在于：将网络中的衍射层划分为两组，分别为补光区衍射层与衍射区衍射层；整个补光区还包括输入层，通过改变补光区衍射层的大小，令其呈现每层的宽度遵循等差数列排布的金字塔架构，使一部分输入光线能够绕过数个补光区衍射层；衍射区则在补光区与探测层之间，衍射区衍射层均为标准大小，令添加的光线加入网络。

2.根据权利要求1所述一种采用金字塔架构衍射层补光的衍射神经网络装置，其特征在于：所述的金字塔架构，其中补光区衍射层层间距离相同，每层的宽度遵循等差数列排布，拥有同样大小的补光区宽度w。

3.根据权利要求1所述一种采用金字塔架构衍射层补光的衍射神经网络装置，其特征在于：所述的神经网络进一步包括，在呈现金字塔架构的每个补光区衍射层的周围，增加补光强度控制区，选取幅度调制材料控制补充光线的强度；补光强度控制区的幅度调制系数为不参与网络训练的固定常数。

4.根据权利要求3所述一种采用金字塔架构衍射层补光的衍射神经网络装置，其特征在于：所述的金字塔架构，其中补光区衍射层层间距离相同，每层的宽度遵循等差数列排布，拥有同样大小的补光区宽度w。

5.根据权利要求1所述一种采用金字塔架构衍射层补光的衍射神经网络装置，其特征在于：所述的神经网络，若仅以提升亮度为目标，所述的金字塔架构替换为阶梯架构，即只要满足前一层补光区衍射层的宽度小于等于后一层补光区衍射层的宽度，令补光区衍射层呈现阶梯架构，能够实现衍射层间的绕射即可。

6.一种采用金字塔架构衍射层补光的衍射神经网络装置的实现方法，其特征在于：该方法具体步骤如下：

步骤一：依据任务目标设计光学衍射神经网络，选定衍射层材料，光源，探测器；

步骤二：根据所选材料与探测器，计算最多可搭建的衍射神经网络层数Nb，并进行仿真确认；同时仿真测试网络层数大于Nb的神经网络方案，确认其网络性能与层数的关系；

步骤三：在步骤二中经过仿真的结果中，选取层数提高能够提高网络性能的神经网络方案，将其衍射层划分为补光区衍射层与衍射区衍射层，改变补光区衍射层的大小，令其呈现每层的宽度遵循等差数列排布的金字塔架构。

7.根据权利要求6所述的一种采用金字塔架构衍射层补光的衍射神经网络装置的实现方法，其特征在于：在所述的步骤三之后，还进一步包括步骤：在金字塔架构补光区衍射层的周围，增加补光强度控制区，选取幅度调制材料控制补充光线的强度；补光区宽度w与补光强度控制区的幅度调制系数依照任务目标与网络特点进行适当选择。

说明书

采用金字塔架构衍射层补光的衍射神经网络及实现方法

技术领域

[0001] 本发明涉及一种采用金字塔架构衍射层补光的衍射神经网络及实现方法，通过调整光学衍射层结构提高探测层接收亮度，从而提高网络深度，属于深度学习与物理光学结合的领域，主要涉及光的衍射和神经网络的物理实现。在各类基于光学衍射器件的神经网络应用系统与方案中有广阔的应用前景。

背景技术

[0002] 传统计算机基于冯诺伊曼方案设计，由晶体管组成的逻辑单元搭建而成。集成电路在过去的几十年中遵循摩尔定律的发展速度，正逐步面临着技术上的瓶颈。光子不产生热量，也不会受电磁感应和电容效应的影响而导致信号退化，在光信号传输等任务中具有时间带宽面积大，高互联能力和固有并行处理特性，能极大提升神经网络的性能，光学神经网络也应运而生。当今有关光学神经网络的研究，由侧重点与实现方法不同，可分为三大类，光电器件搭建，尤其是以光电调制器为核心的网络、可编程光学芯片为载体的网络、与面向任务定制器件的网络。将多层BP网络同光学衍射现象结合起来构造神经网络的方法(参见文献：林星等，使用衍射神经网络的全光学机器学习，科学,2018:eaat8084‑.(Xing L,Yair R,Yardimci N T,et al.All‑optical machine learning using diffractive deep neural networks[J].Science, 2018:eaat8084‑.))，以相干光为输入光线；将待处理的任务目标放置在输入层，光线经过输入层衍射后传入训练好的衍射层组，衍射层上的每一点都代表一个神经元，神经元参数由幅度调制系数与相位调制系数构成，最后由探测层上的探测器获得网络结果；选择随机梯度下降法进行训练，以MSE作为损失函数。其过程可总结为一个三步框架：完全在计算机上训练；依据训练好的参数制造衍射层元件；搭建元件进行应用。通过添加非线性层与双透镜组成的4‑f系统，衍射神经网络性能可得到进一步提升(参考文献：陶燕等，傅里叶空间衍射神经网络，物理评论快报，2019,123(2).(Yan Tao,Wu Jiamin,Zhou Tiankuang,Xie Hao,Xu Feng,Fan Jingtao,Fang Lu,Lin Xing,Dai Qionghai.Fourier‑space Diffractive Deep Neural Network.[J]. Physical review letters,2019,123(2).))。4‑f系统能够将输入信号转换至频域，从而实现显著性检测等基本网络无法解决的问题。

[0003] 衍射层对光信号能量的损耗不可避免，如3D打印材料对0.4THz微波的损耗率可达0.51。这导致在实物模型搭建时多使用两种思路：1.选取微波作为输入信号。此种方法存在环境适应性问题。不论何种光学神经网络，当以图像处理为目的时，最终的期望一定是直接处理镜头输入的可见光信息，而无需经历将电脑中的图像转化为信号再输入神经网络这一步骤，因而，选择可见光作为输入信号是大势所趋。2.在选取可见光作为输入的同时减小网络的层数，仅通过一层神经网络进行一定程度的预处理，最后再与传统计算机合作搭建光电联合神经网络实现问题。以光学损耗为接入点，本发明提出一种针对衍射神经网络的补光方案。

[0004] 衍射层造成的能量损耗是衍射神经网络的一个重要问题，限制光学衍射神经网络的可实现层数。在很多问题的处理中，神经网络层数的增加都能提升神经网络的性能。

发明内容

[0005] 为了改善受光学损耗与探测器精度限制导致的网络深度受限问题，本发明提出一种采用金字塔架构衍射层补光的衍射神经网络及实现方法，通过环绕光信号提高衍射结果亮度的方法，从改变衍射层结构出发，在不引入额外光源与光学器件的情况下提升探测层获得信号的强度。

[0006] 本发明为一种采用金字塔架构衍射层补光的衍射神经网络，将网络中的衍射层划分为两组，分别为补光区衍射层与衍射区衍射层。整个补光区还包括输入层，通过改变补光区衍射层的大小，令其呈现金字塔架构，从而使一部分输入光线能够绕过数个补光区衍射层，从而达到减小损耗的目的。衍射区则在补光区与探测层之间，衍射区衍射层均为标准大小，达到令添加的光线加入网络的目的。

[0007] 更进一步，本发明在呈现金字塔架构的每个补光区衍射层的周围，增加补光强度控制区，选取幅度调制材料控制补充光线的强度。补光强度控制区的幅度调制系数为不参与网络训练的固定常数。

[0008] 其中，所述的金字塔架构补光区衍射层层间距离相同，每层的宽度遵循等差数列排布，拥有同样大小的补光区宽度w。

[0009] 作为优选的，若仅以提升亮度为目标，只要满足前一层补光区衍射层的宽度小于等于后一层补光区衍射层的宽度，令补光区衍射层呈现阶梯架构，能够实现衍射层间的绕射即可。

[0010] 进一步的，本发明还提供一种采用金字塔架构衍射层补光的衍射神经网络的实现方法，首先，设计衍射神经网络的基本方案，确认其网络性能与层数的关系，然后根据任务需求与网络特性设计补光方案，加以应用。该方法具体步骤如下：

[0011] 步骤一：依据任务目标设计光学衍射神经网络，选定衍射层材料，光源，探测器等元件。

[0012] 步骤二：根据所选材料与探测器，计算最多可搭建的衍射神经网络层数Nb，并进行仿真确认；同时仿真测试网络层数大于Nb的神经网络方案，确认其网络性能与层数的关系。

[0013] 步骤三：在步骤二中经过仿真的结果中，选取层数提高能够提高网络性能的神经网络方案，将其衍射层划分为补光区衍射层与衍射区衍射层，改变补光区衍射层的大小，令其呈现金字塔架构(见图2)。

[0014] 作为优选的，该方法进一步包括步骤四：在金字塔架构补光区衍射层的周围，增加补光强度控制区(见图3)，选取幅度调制材料控制补充光线的强度。补光区宽度w(见图3、4) 与补光强度控制区的幅度调制系数依照任务目标与网络特点进行适当选择。

[0015] 本发明一种采用金字塔架构衍射层补光的衍射神经网络及实现方法，优点及功效在于：本发明以光学损耗为接入点，将衍射层划为两组，在靠近输入的“补光区”，改变衍射层大小，令其呈现金字塔架构，能够使四周的一部分的输入光“绕过”数个衍射层，从而达到减小损耗的目的。并在补光区后的“调制区”放置数层等大的衍射层，达到令添加的光线加入网络的目的。进一步，在金字塔架构的补光方案补光区衍射层的周围，增加补光强度控制区。选取幅度调制材料控制补充光线的强度，增加补光方案的可行性与调节空间。实现了通过提高亮度搭建更多层数网络，从而提升网络性能这一构想，增加衍射层材料与探测器的选择空间，增强网络在实际应用中的环境适应性与调节空间。同时，本发明没有额外光源与器件的引入，对多种二维光学神经网络均具有适配性，兼具体积小，耗能小，便于安装与易于应用特点，具有广阔市场前景与应用价值。

附图说明

[0016] 图1为本发明中衍射神经网络的基本结构。

[0017] 图2为本发明补光方案的网络结构图。

[0018] 图3为本发明中补光区衍射层可训练部分的具体结构示意。

[0019] 图4为本发明中每个补光区衍射层的具体结构图。

[0020] 图5是本发明在材料幅度调制系数不同的情况下的探测层亮度。

[0021] 图6a、b、c是本发明在流行物品分类问题中四层网络补光方案同两层无补光方案的对比。其中，图6a、图6b是探测层亮度仿真结果，图6c是测试集准确率对比。

[0022] 图7a、b、c是本发明在流行物品分类问题中四层网络补光方案同三层无补光方案的对比。其中，图7a、图7b是探测层亮度仿真结果，图7c是测试集准确率对比。

具体实施方式

[0023] 为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

[0024] 一种采用金字塔架构衍射层补光的衍射神经网络，如图2所示，将网络中的衍射层划分为两组，分别为补光区衍射层与衍射区衍射层。整个补光区还包括输入层，通过改变补光区衍射层的大小，令其呈现金字塔架构，从而使一部分输入光线能够绕过数个补光区衍射层，从而达到减小损耗的目的。衍射区则在补光区与探测层之间，衍射区衍射层均为标准大小，达到令添加的光线加入网络的目的。

[0025] 需要注意的是，为了实现全连接网络，必须保证每个神经元的输出光线可以到达下一衍射层的每个神经元处，需对其最大衍射半锥角进行计算，其公式如下：

[0026]

[0027] fmax＝1/2df

[0028] 其中，fmax指最大空间频率，df代表层特征尺寸。有些时候，将衍射层放置的十分紧密，仅实现部分链接的网络结构也能较好的解决一些问题，甚至有更好的效果。在本发明中，为了更好的融合补充光线与输入信息，选取能够实现全连接计算的层间距离。

[0029] 衍射层神经元大小与输入光线波长相配合，衍射层大小依照任务要求设计，在缺少非线性计算时，单层衍射层神经元不宜过多，避免过拟合。补光区衍射层补光宽度以衍射层宽度的1/8～1/20为宜，过小的补光宽度无法达到增加网络层数所需的亮度目标，过大的补光宽度会导致补充光线与输入光线信息融合失衡，降低网络性能。

[0030] 更进一步，本发明在呈现金字塔架构的每个补光区衍射层的周围，增加补光强度控制区，选取幅度调制材料控制补充光线的强度；具体选择和采用光线相匹配的幅度调制材料。补光强度控制区的幅度调制系数为不参与网络训练的固定常数，所述的增加补光强度控制区可对补充光线进行一定程度的削弱，从而更为灵活的调控补充光线与原本光线间的能量平衡，增加补光方案的可行性与选择空间。实现了通过提高亮度搭建更多层数网络，从而提升网络性能这一构想，同时增加衍射层材料与探测器的选择空间，增强网络在实际应用中的环境适应性与调节空间。

[0031] 一种采用金字塔架构衍射层补光的衍射神经网络的实现方法，本实施例是针对基于光学衍射现象搭建的二维平面神经网络方案，原理框图如图1所示，具体实施步骤如下：

[0032] 步骤一：依据任务目标设计光学衍射神经网络，选定衍射层材料，光源，探测器等元件。光源选择相干光源。衍射层材料可分为幅度调制，相位调制，幅度相位调制三种材料的选择，分别针对不同的网络训练参数选择方案：

[0033] 在衍射神经网络中，衍射层上每一个神经元可由以下公式表示

[0034]

[0035] 其中，t代表衍射层神经元的影响，称为透射系数，也就是所谓的权重，φ代表相位上的变化，a代表幅度上的变化，(x,y,z)为点的空间坐标。仅考虑相位训练时，选用透明材料作为衍射层，可将幅值系数视为常数。仅考虑幅度训练时，将其视为衰减屏，仅对光的强度产生影响，可将相位系数视为常数，液晶屏便是最为常见的衰减屏之一。考虑到神经网络的优化的便宜性与光的独特性质，选取神经元的相位调制系数作为训练参数的方案最为普遍。其材料多为透明材料，可选取3D打印材料，又或者是损失率更低的聚乙烯，聚四氟乙烯等。在其他研究中，含杂质的玻璃，相位掩模(DOE)等元件也可用于对网络中传播光线的相位进行调整。

[0036] 选择相位作为调制系数，首先明确前向传播的具体步骤。以3D打印材料(VeroBlackPlus RGD875)为例，给予衍射层一定的初始厚度，在此基础上，每个神经元对相位的影响取决于增加的厚度差，满足以下公式。

[0037] Δz＝λφ/2πΔn

[0038] n为折射指数，z为衍射层厚度，针对不同的处理目标，在探测层采用不同的探测器接收设计方案。如用于处理较少类别的图像分类问题时，可将与类别数等数目的探测器放置在探测层(见图1)，分别赋予一个类别编号，以接收信号最亮的探测器编号为网络结果。以可见光为输入信号的方案也可使用相机等器件作为输出信号的接收元件。

[0039] 步骤二：根据所选材料与探测器，初步确认最多可搭建的衍射神经网络层数。并进行仿真确认。并同时仿真测试更多网络层数的神经网络方案，确认其网络性能与层数的关系。

[0040] 衍射神经网络利用光的衍射模拟全连接计算，原理框图如图1所示。以相干光为输入光线。将待处理的任务目标放置在输入层，光线经过输入层衍射后传入训练好的衍射层组，衍射层上的每一点都代表一个神经元，神经元参数由幅度调制系数与相位调制系数构成。最后由探测层上的探测器获得网络结果。选择随机梯度下降法进行训练，以MSE作为损失函数。

[0041] 设 为第l层第i个神经元在坐标为(x,y,z)位置的输出，本输出受输入、透射系数与传递参数影响。前一层输入,就是l‑1层提供的输入，将l‑1层每个神经元在第l层第i 个神经元所在位置的输入加和，成为此神经元的输入 而传递参数，则与两层神经网络间两个神经元距离关系的量化有关，表示为 根据Rayleigh‑Sommerfeid衍射方程，将每个神经元视为一个波的二次源，公式如下：

[0042]

[0043]

[0044]

[0045] 总结起来，l层的第i个神经元与l+1层的第p个神经元有以下公式的数学关系：

[0046]

[0047] 对于输入层，同样有类似的物理关系：

[0048]

[0049] 在输出层则记录探测器区域的光强：

[0050]

[0051] 选取的训练方案为随机梯度下降的优化方法，计算MSE作为损失函数。以相位系数作为训练参数为例，其公式如下：

[0052]

[0053]

[0054] 明确在所选择的方案与器件下最多可搭建的衍射神经网络层数Nb。在对不同层数的网络进行仿真后，如增加层数可进一步提高性能，则进行补光方案设计。

[0055] 步骤三：在层数提高能够一定程度提高网络性能的情况下，将衍射层划分为补光区衍射层与衍射区衍射层，改变补光区衍射层的大小，令其呈现金字塔架构(见图2)。

[0056] 步骤四：在上述金字塔架构补光方案补光区衍射层的周围，增加补光强度控制区(见图 4)，选取幅度调制材料控制补充光线的强度。补光区宽度与补光强度控制区的幅度调制系数依照任务目标与网络特点进行适当选择。

[0057] 事实上，此类补光方案具有较大的灵活性，而不仅局限于标准金字塔架构。金字塔架构中，补光区衍射层层间距离相同，每层的宽度遵循等差数列排布，拥有同样大小的补光区宽度w。若仅以提升亮度为目标，只要满足前一层补光区衍射层的宽度小于等于后一层补光区衍射层的宽度，令补光区衍射层呈现阶梯架构，能够实现衍射层间的绕射即可。但在实验中发现，金字塔架构所能提高更多的准确率，因而成为选择的方案。

[0058] 由于光的复值特性与衍射的存在，无法通过公式进行准确的补光强度推导，只能进行一定的估计。假设每层衍射层的光的强度总量不受衍射与衍射层相位调制的影响，固定为Q， Q仅受衍射层材料成比例削弱。设每层补光宽度为w，补光层数为NA，标准衍射层宽度为 WB，则输入衍射层的宽度W0为WB‑2*w，设单位面积补光层能够为下一衍射层提供的能量为ek。

[0059] 那么，一个无补光的l层网络，初始能量为Q0，其能量损失率，即幅度调制系数为α，补光强度控制区幅度调制系数为1，探测器层所能接收的的能量Ed表示如下：

[0060] Ed＝Q0·αl

[0061] 同样的网络，当存在补光层数NA时，探测器所能接收到的能量为：

[0062]

[0063] fs(i)＝(4w2+4w(WI+2w·i))·ek·αl‑i

[0064] WI＝WB‑2·w·NA

[0065] WI指代输入层的宽度，fs函数用于计算每个补光区域所能提供的能量增加，为了能够简化处理，在此，考虑一个仅有两层衍射层，补光层数为一层的光学衍射神经网络，则公式表达如下：

[0066] Ed＝Q0·α2

[0067] EdA＝Q0·α2+(4w2+4w·WI)·ek·α2

[0068] 若期望补光后的两层神经网络探测层强度近似于单层神经网络，需满足公式：

[0069] EdA2＝Ed1

[0070] 最终推得：

[0071]

[0072] QA＝(4w2+4w·WI)·ek

[0073] QA为单层补光所提供的能量，可以清楚看到，所需的补光能量随着损失率增加而增多，如果想通过单层补光实现更多层数的添加，则需满足上一个公式，M为近似目标的网络层数。

[0074]

[0075] 推广到多层情况时，同样可以进行类似的简化，忽略前几层补光的效果，仅考虑最后一层补光，显而易见的，这是一个与单层补光类似的问题，仅需满足以下一个公式：

[0076]

[0077] 是而，此补光方案的补光效果得到了理论验证与设计指导。通过公式近似估计的能量占比，可以对神经网络的补光方案进行初步设计，辅以实验验证与调整，确定最终的补光方案，实现网络优化。

[0078] 补光区第l层衍射层第j个补光强度控制区域的幅度调制系数为 w与NA的增加均能增加光强，但同时，不平衡的补光与输入信息占比会反而损害网络性能，应随实际应用进行参数调配。在网络性能随网络层数增加较为显著的任务中选取较大的 w与NA 以求增加更多层数，往往能获得更好的结果。而在网络性能随网络层数增加不多的任务中选取较小的 w与NA。图5展示了取不同幅度调制系数材料作为衍射层的情况下，补光后网络同无补光网络的探测层亮度对比。可以看到，幅度调制系数较大的材料作为衍射层的衍射神经网络方案更易于通过补冲光线延展网络的深度。

[0079] 以流行物品分类问题为例，图6a、b、c展示的是在衍射层幅度调制系数为0.5时，将四层网络探测层亮度增加到三层网络的能级，补光宽度为标准宽度的十分之一，补光层数为四层。图6a、图6b是探测层亮度仿真结果，图6c是测试集准确率对比。

[0080] 图7a、b、c展示的是衍射层幅度调制系数为0.8时，将四层网络探测层亮度增加到两层网络的能级，补光宽度为标准宽度的十分之一，补光层数为四层。图7a、图7b是探测层亮度仿真结果，图7c是测试集准确率对比。由于衍射层的幅度调制系数理论上并不会影响无补光衍射神经网络的准确率，与图6a、b、c数据对比，我们可以观察到补光后网络的准确率高于二层网络，但略低于一层网络。因而，针对此类网络性能随网络层数增加不多的任务中，应选取较小的 w与NA。

[0081] 使用幅度调制系数较大的材料(大于等于0.7)作为衍射层的衍射神经网络方案，与网络性能随网络层数增加较为显著的任务，更适合本发明所阐述的补光方法。