光学神经网络(ONN)分类和代表模型

关于光学神经网络的概念、分类、应用和代表模型。ONN 是什么意思？ONN 代表 光学神经网络。光神经网络则是利用光技术,如光连接技术和光器件技术而形成的一种新型网络。它具有超并行处理和传输信息的能力,高密度引线能力和可对图像直接进行处理的独特优点。它的基本组成单元是光神经元器件和光突触器件,其中光神经芯片又是至关重要的。

ONN（Optical Neural Network, 光学神经网络）

• 概念和特点
  • 高带宽、高互联性、内在的并行处理等特点
  • 能够加速软件、电子硬件两者的部分运算，速度可达到“光速”
  • 可有效解决人工神经网络中密集矩阵惩罚，从而减轻能源与时间的消耗
• 分类
  • 光电混合神经网络（Hybrid optical-electronic neural network）
    • 可实现卷积神经网络的功能
    • 光学部分
      • 卷积
    • 光电转换得到电信号
      • 在电子神经网络中传播
  • 全光神经网络（All-optical neural network）
    • 无法实现卷积功能
    • 只能实现全连接功能
    • 无需光电转换
• 使用器件分类
  • 光子芯片
  • 被动衍射光学器件
  • 散射材料
• 结构分类
  • 前馈神经网络（Feedforward NN）
    • 神经网络各层之间的信息是由输入层至输出层单向传递
    • 包含全连接与卷积两类结构
  • 循环神经网络（Recurrent NN）
    • 除单向传递外，存在节点间连接与后向反馈连接
  • 脉冲神经网络（Spiking NN）
    • 模拟神经元更加接近实际，考虑时间信息
    • SNN中的神经元并非在每一次迭代传播中都被激活，只当其膜电位达到特定值才被激活
• 应用
  • 通过有效结合光子神经网络与基于电子的人工神经网络，发挥其各自优势，在进行语音识别、图像识别等复杂任务时可以更便宜、更快速和更节能。
  • 将全光衍射神经网络D2NN应用在全光学图像分析、特征检测和对象分类中，可用于医疗技术、机器人、安全等领域
  • 使用光子神经网络进行人脸识别，把D2NN作为传感器设计的一部分，将不再需要超百万像素的成像器
• 全光衍射深度神经网络
  • D2NN（Diffractive deep neural network）
    • 由多层衍射表面（diffractive surfaces）构成物理层，通过协同这些衍射表面可以做到以光子形式进行神经网络的运算功能
    • 在计算机上完成网络训练
    • 在光子神经网络中进行推理和预测
  • 衍射深度神经网络
    • D2NN中神经元以复数形式输入，层与层之间的物理距离看作权重（weights），还与自由空间的衍射系数有关，其中的乘法偏置（multiplicative bias）可以通过每个神经元的透射/反射系数得到
    • 输入波的相位及振幅通过每个神经元进行调制，输出称为二次波。目前还未能实现跟其他普通神经网络一样的激活函数如：sigmoid、ReLU。（但在D2NN中增加光学非线性器件也可以实现非线性函数）
    • 上一层网络中各神经元的输出之间会产生波的传播、相干（或部分相干）干涉耦合，这是一种光子神经网络中独特的互联性。这种互联作用受到多个因素的影响，例如：探测SNR、网络层间距、入射光束光强、照明光源的相干长度和半径等等与传播过程想关。波的强度会随传播距离发生衰，同时，神经元产生的二次波也会向各角度产生衍射。由于这个原因，那么下一层网络每个神经元只能接收有限半径内的波。与电子神经网络类似，我们称之为D2NN的接收域（receptive field）。
• 基于衍射光学器件的光电混合神经网络
  • 4f系统
    • 在傅里叶平面中放置一个相位掩膜来实现光学卷积（opt-conv）
  • 光学卷积层
    • 内核和输出被平铺在2D数组中，而不是在深度维度上堆叠
  • 单个卷积层分类系统
    • 图像通过可优化的PSF投影到opt-conv块中，卷积层的输出图像被划分为与N个类别相对应的N个子图像的数组，然后通过获取每个子图像中的最大强度像素来计算每个类别的得分。输入图像的预测类别是得分最高的类别。
• 基于角度敏感传感器的光电混合神经网络
  • 使用一种仿生的角度敏感传感器（ASP）取代CNN的第一层卷积层
  • 硬件与算法相结合：ASP-Vision
  • ASP:衍射型传感器，通过光学卷积的方式对图像进行边缘滤波，且显著节省系统功耗，降低数据带宽，减少浮点运算量