神经网络后门攻击

深度学习模型具备天生的安全隐患，近些年的研究表明对输入深度学习模型的数据样本进行特殊处理后，可以导致模型产生错误的输出。因此这样的对抗样本实现了攻击深度学习模型的效果。如果我们在神经网络模型的训练过程中，采取数据投毒的方式对模型植入后门，也可实现攻击模型的目的。

神经网络后门学习

• 研究深度学习模型的安全问题
• 后门攻击
  • 可视作数据投毒攻击的子类
  • 概念
    • 在模型的训练过程中通过某种方式在模型中埋藏后门，该后门通过攻击者预先设定的触发器（trigger）触发。
    • 后门未被激发时，被攻击的模型具有和正常模型类似的表现
    • 后门被攻击者激活时，模型的输出变为攻击者预先指定的标签以达到恶意攻击的目的。
  • 方法
    • 基于投毒的后门攻击【poisoning-based backdoor attacks】
      • 通过触发器（如local patch）修改一些训练样本，并替换其目标标签，生成被投毒样本（poisoned samples）。被投毒样本与正常样本同时用于训练，得到带后门的模型
      • 增加后门攻击的隐蔽性
        • 触发器不一定可见
        • 被投毒样本的真实标签比一定与目标标签不同
      • 
    • 其他
  • 潜在后门攻击
• 后门防御
  • 即使用相应的钥是开门
  • 三种设计范式
    • 触发器-后门不匹配
    • 后门移除
    • 触发器移除
    • 
• 概念区分
  • 后门攻击与数据投毒
    • 数据投毒目的是为了降低模型的泛化性能
      • 即希望训练好的模型在测试集上不能有良好的表现
    • 后门攻击在正常设定下具有和正常模型类似的表现
  • 后门攻击与对抗攻击
    • 后门攻击关注模型训练过程的安全性
    • 对抗攻击关注模型预测过程的安全性
• 数据投毒攻击
  • 针对分类器的攻击
  • 给分类器的对抗样本中加入对抗数据
  • 分类
    • 模型倾斜（model skewing）
      • 攻击者试图污染数据，让模型对好坏输入的分类发生偏移，降低模型的准确率
    • 反馈武器化（feedback weaponization）