导图社区 对抗攻击与对抗防御
深度学习模型存在着易受对抗样本攻击的安全隐患,攻击者可以通过向良性数据中心添加特定的抗动,生成对抗样本。附加轻微扰动的对抗样本不会影响人类的判断,却会使深度学习模型产生错误结果。
关于光学神经网络的概念、分类、应用和代表模型。ONN 是什么意思?ONN 代表 光学神经网络。光神经网络则是利用光技术,如光连接技术和光器件技术而形成的一种新型网络。它具有超并行处理和传输信息的能力,高密度引线能力和可对图像直接进行处理的独特优点。它的基本组成单元是光神经元器件和光突触器件,其中光神经芯片又是至关重要的。
深度学习模型具备天生的安全隐患,近些年的研究表明对输入深度学习模型的数据样本进行特殊处理后,可以导致模型产生错误的输出。因此这样的对抗样本实现了攻击深度学习模型的效果。如果我们在神经网络模型的训练过程中,采取数据投毒的方式对模型植入后门,也可实现攻击模型的目的。
社区模板帮助中心,点此进入>>
安全教育的重要性
个人日常活动安排思维导图
西游记主要人物性格分析
17种头脑风暴法
如何令自己更快乐
头脑风暴法四个原则
思维导图
第二职业规划书
记一篇有颜又有料的笔记-by babe
伯赞学习技巧
对抗攻击和对抗防御
背景
深度学习模型存在着易受对抗样本攻击的安全隐患攻击者可以通过向良性数据中添加特定的扰动,生成对抗样本。附加轻微扰动的对抗样本不会影响人类的判断,却会使深度学习模型产生错误结果。
深度学习的对抗攻击技术
分类
攻击环境
白盒攻击
攻击者可获得目标全部攻击
灰盒攻击
攻击者获取模型的结构信息,但无法获得模型参数,有模型查询权限
黑盒攻击
攻击者仅拥有查询权限
攻击目的
无目标攻击
分类错误即可
有目标攻击
攻击者使目标模型对样本分类错误并指定错分到哪一类
更难
扰动强度
x表示扰动大小
无穷范数攻击
p→∞
最大的扰动
二范数攻击
p=2
0范数攻击(单像素攻击)
限制改变的像素个数
攻击实现方式
基于梯度的攻击
基于让Loss增大的思想完成
FGSM、PGD、MIM
基于优化的攻击
CW
基于决策面的攻击
DEEPFOOL
算法
一次攻击(One-shot Attacks)
FGSM
Goodfellow 无目标攻击算法Fast Gradient Sign Method【FGSM】
攻击样本
y是输入x的标签
加了扰动样本使得模型的loss增大
最大化损失函数以生成对抗样本
T-FGSM
有目标
梯度下降的方向是朝着期望标签前进
x∗=x−ϵ⋅sign(▽xJ(x,ytarget))
ytarget是目标对象的标签
迭代攻击(Iterative Attacks)
I-FGSM
x∗0=x,xt+1=x∗t+α⋅sign(▽xJ(x∗t,y))
攻击者以一个小的脚步 α 多次应用快速迭代法
白盒攻击上,I-FGSM效果好;黑盒攻击上,one-shot效果好。【迭代容易过拟合】
基于决策面(超平面分类)的攻击
deepfool
用于白盒攻击
深度学习的对抗防御技术
算法分类
启发式防御
实践中做到对特定攻击算法具有良好的防御性能,但没有理论保障
可证明性防御
通过理论证明,可计算出特定对抗算法攻击下模型的最低准确度
方式
对抗训练
Goodfellow
良性样本&通过FGSM算法生成的对抗样本 训练神经网络
增强神经网络的鲁棒性
FGSM与随机启动结合,高效生成对抗样本,提高模型鲁棒性
集成对抗训练
训练多个不同的模型
针对不同模型生成对抗样本
增加了对抗样本的多样性,增强模型鲁棒性
使用生成对抗网络进行对抗训练
防御性蒸馏
利用复杂模型到简单模型的迁移学习,避免攻击者直接接触到模型
效果
使得通过梯度生成的对抗样本的攻击性大大降低,并且对原始任务的准确性没有很大的影响
蒸馏温度越高,网络的平均梯度越小,生成具有足够攻击性的对抗样本越困难,间接地提升了模型的鲁棒性
本质上没有解决模型对于对抗样本鲁棒性差的问题。因此,其只能有效的抵抗白盒攻击,对黑盒攻击则无能为力
仅适用于基于概率分布的DNN模型,不适用于建立通用的强鲁棒性的DNN模型
随机化防御
由于迭代攻击容易过拟合,可以通过图像变换(如调整大小、填充、压缩)等方式随机变换,破坏迭代攻击生成的对抗扰动的特定结构,使得攻击者无法确认变换方式,甚至可抵御白盒攻击
去噪防御
输入去噪
特征去噪
Defense against adversarial attacks using high-level representation guided denoiser[