具有动态正则化的卷积神经网络

具有动态正则化的卷积神经网络：chap1 问题背景：提出动态正则化是为了应对正则化方法的两个主要缺点：1）正则化强度（或振幅）对于不同的网络架构是不灵活的 2）正则化强度在整个训练过程中是不变的。

（外 Q1 2021） 具有动态正则化的卷积神经网络

• chap1 问题背景
  • 提出动态正则化是为了应对正则化方法的两个主要缺点：
    • 1）正则化强度（或振幅）对于不同的网络架构是不灵活的 2）正则化强度在整个训练过程中是不变的
• chap2 PROPOSED METHOD
  • 1）在Res结构中引入动态正则化
    • 具有动态正则化的2分支Res块,表示训练损失的向后差
      • ① 动态正则化单元 嵌入到Res块的Res分支中：
        • ，
        • A是恒定振幅，si是第i次迭代时的动态因子，r是均匀随机噪声
      • ② 正则化幅度与 有关， r∈ [ −R、 R]，
        • , 是Res块的总数
      • ③ 在前向传递中，第（l+1）个Res块的输出可以表示为：
        • 在向后传递中， 与噪声 相关
  • 2）正则化强度的更新
    • 所提出的动态正则化强度的更新解决方案是通过训练损失的动态实现的。特别地，训练损失的动态特性可以建模为连续迭代中训练损失之间的向后差:
      • 表示第i次迭代时的训练损失
      • 为了消除连续小批量输入时的波动，应用高斯滤波器对其平滑：
• chap3 实验结果
  • 2分支结构与稠密结构
    • 在稠密链接结构上的实验结果表明：我们的动态正则化是稳定的，并将Top-1误差减少了1.67%
    • 3分支结构
      • 表I和表II的结果表明，在2分支和3分支结构上与当时最新的正则化方法 Shake-Shake，Shake-Drop， DropBlok 的比较，提出的动态正则化可以适应各种网络架构。与基线相比，本文提出的方法可以平均减少2%以上的误差
• chap4 消融研究和讨论
  • 1）动态正则化的有效性
  • 2）正则化强度一览表
  • 3）随机噪声
  • 4）高斯滤波器