导图社区 Applying Differential Privacy Mechanism in Artificial Intelligence
- 17
- 0
- 0
- 举报
Applying Differential Privacy Mechanism in Artificial Intelligence
机器学习公平性研究--Applying Differential Privacy Mechanism in Artificial Intelligence
编辑于2023-08-01 16:43:39 广东
- 相似推荐
- 大纲
Applying Differential Privacy Mechanism in Artificial Intelligence 差分隐私机制在人工智能中的应用
Abstract 摘要
研究背景
AI
吸引了大量的关注
新问题出现
侵犯隐私
安全问题
有效性
差分隐私的特性对AI有价值
隐私保护
安全性
随机化
组合
稳定性
论文
基于差分隐私的特性
提出了
多智能体系统
差分隐私机制
强化学习
知识转移
证明了
AI可以受益于差分隐私机制
讨论了
对差异隐私机制的使用
在私有机器学习中
在分布式机器学习中
在模型中的公平性中
提供了
几种可能的途径
在AI中使用差异隐私机制
目的
提出
初步想法
如何结合
人工智能
不同的隐私机制
探索
更多可能性
提高人工智能性能
Introduction 介绍
背景介绍
人工智能
是目前最流行的领域之一
引起了
广泛关注
多代理系统
可以应用于
分布式控制系统
谷歌对于移动用户
采用了
分布式机器学习
新问题出现
侵犯隐私
安全问题
模型有效性
例子
机器学习一大挑战
训练数据的隐私泄露
恶意代理
可能向系统提供虚假信息
Dwork等
对测试数据
应用差异隐私机制
可以防止
机器学习算法的过拟合
差分隐私机制
开辟了新的方向
为解决AI中出现的问题
是一种普遍的隐私保护模式
图1分析

显示了
差分隐私机制基本设置
假设
两个数据集是几乎相同的存在
但只有一个记录
满意的差分隐私机制
可以在相邻的数据集和查询
获得同样的输出
差分隐私
通过
查询函数f
访问数据集
保证了
即使对手知道所有其他记录
除某个未知之外
对手仍然无法推断出该未知记录的信息
将不同隐私机制应用于AI的例子
第一个例子
多智能体系统
是由多个交互智能体组成的计算机系统
图2分析

网格表示环境
位于网格中的面是代理
所有的代理
分享他们的知识来做决定
系统存在三个问题
知识很难以传统的方式直接分享
代理之间的通信应该受到限制
恶意代理可能向其他代理提供虚假信息
差分隐私的解决方法
差分隐私中的随机化机制
差异隐私的构成特性
减少恶意代理的影响来帮助提高通信的安全级别
第二个例子
关于私人机器学习
图3分析

机器学习存在
模型不公平
侵犯隐私
过拟合
不同的隐私机制
有可能解决这些问题
解决方法
对训练数据进行随机化
利用差分隐私采样机制
以保持模型的公平性
将噪声添加到学习模型中
差分隐私机制产生的噪声
以保持隐私
提高稳定性
为了
避免过拟合
利用
标定后的噪声生成新的测试数据
避免
学习算法过拟合
学习问题
可以利用不同的隐私属性
随机性
隐私保护能力
算法稳定性
具有不同隐私属性的AI
Preserving privacy(保护隐私)
差分隐私的最初目的
差分隐私
通过
将个人隐藏在聚合信息中
可以实现
这一目标
Stability(稳定)
不同的隐私机制
确保了
通过修改数据中的任何单个记录
学习算法产生的任何结果的概率不变
建立了
学习算法和泛化能力之间的联系
Security(安全)
不同的隐私机制
在大多数AI任务中
可以减少恶意代理的影响
Randomization(随机化)
差分隐私机制基本思想
增加输出的不确定性
Composition(组成)
差分隐私
保证
任何满足差异隐私的步骤
可以用来构造新算法
在人工智能中
可以使用组成
控制步数
控制通信负载
Preliminary And Properties Of Differential Privacy 差异隐私的初步和属性
差异性隐私
参数
有限数据域X
变量r
一个从域X采样了d个属性的记录
数据集d
一个从域X的n个记录的无序集合
相邻数据集
数据集d和d'仅在一条记录中不同
查询函数f
将数据集D映射到抽象范围R的函数
差分隐私的目标
掩盖
相邻数据集之间查询f的差异
以保护隐私
灵敏度Δf
查询f结果的最大差异
定义1(ε差分隐私)

ε越小代表越强的隐私性
随机化：拉普拉斯机制
灵敏度

定义3(拉普拉斯机制)

随机化:指数机制
q(D，φ)
评估输出φ的质量
Δq
表示φ的灵敏度
定义4(指数机制)

组成
组合定理
顺序组合
并行组合
并行组合
对应情况
每个Mi都应用于数据集的不相关子集
最终隐私保障
只依赖于
分配给Mi的最大的隐私预算
顺序组合
对一个差分私有计算序列进行隐私保障
最终隐私保障
由总隐私预算的总和决定的
两个组合定理
在组合不同私有机制时
限制了
隐私的退化
分析
隐私保护算法的隐私预算消耗
Applying Differential Private Mechanisms In A Multi-Agent System 在多代理系统中应用不同的私有机制
背景知识
分布式
设备数量继续增加
在全球范围内
控制方案是可取
为了管理和利用这些设备和数据
多智能体系统
提供了一种很好的解决方案
为分布式控制
一组相互作用的松散耦合的智能体
以解决分布式问题
传感器网络
电力系统
云计算
一个代理
通过
与环境的反复试验
学习行为
代理
在采取对环境不利的行动后获得奖励时
可能会改变策略
根据奖励
试图最大化长期奖励
通过采取连续的行动
代理通知
显著提高
多代理系统的有效性
受影响
恶意代理
通信开销
恶意代理
可能会提供错误的建议
以阻碍系统的性能
大量的通信开销
一个代理
被允许广播给它所有邻近的代理
以获得建议
差分隐私机制
可以提供安全保证
恶意代理对其
几乎没有影响
选择邻居寻求建议的概率
将基于
邻居提供的奖励历史
应用指数或拉普拉斯机制
以减少恶意代理对安全的影响
将差分专用机制应用于多主体系统
提出了
一个区别私有框架
处理
恶意代理
通信开销
每个代理拥有知识
每个位置的可用动作
移至北部，南部，东部和西部
每个可用动作的奖励
如果靠近拐角，奖励将更高
如果撞到墙壁，奖励将为负
奖励向量，记录通过使用其他代理的建议获得的奖励
邻近代理商的存在
通信预算ε以控制通信开销
图4分析

代理2
在某个时间步上
如果
决定寻求建议
将向其邻居
发出建议请求
消息
代理2
当前状态
可用操作
代理1
收到请求
决定
是否向代理2
提供建议
建议
根据代理1的知识
最佳操作
恶意代理
收到请求
提供错误建议
代理2
接收到来自两个邻居的建议之后
执行差分私人顾问选择算法
算法
可以应用指数机制
调整所选的概率
奖励较高的建议
被选择的可能性较高
奖励较低的建议
被选择的可能性很低
假设
每个代理都有t个移动步骤
则
隐私预算ε将除以t
座席之间的每次通信
将消耗
ε/ t的隐私预算
隐私预算用完后
系统将停止通信
不同私有多主体系统的概述
提出了
一种新的差分隐私技术
提高智能体学习的性能
而不是
考虑隐私保护特性
该方法
与基准广播方法相比
当
恶意代理存在时
通信开销较小时
取得了
更好的性能
隐私保护
值得进一步探索
Applying Differential Private Mechanisms In Reinforcement Learning And Transfer Learning 不同的私人机制在强化学习和迁移学习中的应用
背景知识
在强化学习中引入知识转移
为了提高智能体的学习速度
迁移学习
是人类学习的产物
人们
可以利用以前学到的知识
解决新的问题
并取得更好的结果
互相分享知识
以提高认知能力
迁移学习
可以利用
其他智能体的知识
以提高
智能体的强化学习性能
知识转移存在问题
每个机器人
知识都是不同的
知识很难被直接使用
只能部分地观察环境
具有挑战性的问题
如何使一种观察所包含的知识
在不同的观察中发挥作用
强化学习
强化学习
通常用于解决顺序决策问题
顺序决策过程
建模为马尔可夫决策过程（MDP）
描述为元组（S，A，R）
S
状态集
A
一组操作
R
奖励函数
代理
在每个步骤中
都会观察环境的状态s∈S
并选择一个动作α∈A
根据其策略π
执行动作后
会收到实值奖励r
环境会更改为新状态s'∈S
然后
更新其策略π
根据
奖励r
新状态s'
通过这种方式
逐渐积累知识
并改进其策略
以最大化其长期预期总回报
图5分析

机器人清扫协作
微笑的面孔
扫地机器人
钻石
垃圾
需要清洗
每个机器人都维护（S，A，R）的元组
机器人移至其相邻网格
向北，向南，向西和向东
状态S
代理商所在的位置
奖励R
具有高，低或负的排列
策略π
可以表示为Q函数Q（s，α）
估计代理获得的奖励
在状态s下
通过执行动作α
假设
有t个连续的时间步长
则Q函数

α
学习率
γ
折扣因子
st
当前状态
st + 1
下一个状态
at
在状态st采取的行动
rt
代理立即获得的报酬
状态st
在采取行动之后
maxaQ(st + 1，a)
函数
在状态st + 1下
输出最大Q值
Q功能最大的动作
由代理选择
知识转移中的强化学习
单一代理
由一个7元组（S，A，T，R，O，B，γ）表示
O
一组观测值
B
观测函数
γ
折扣因子
玩家
采取行动α∈A
将环境转变为新状态s'
以概率T(s'|s,a)
游戏者
仅具有部分可观察性
可能不知道
处于哪个状态
接收环境的观察o∈O
以概率B(o|s',a)
玩家
获得奖励r
基于R(s,a)
重复该过程
目的
学习策略π
以使其预期的折现未来奖励E [∑0≤t <∞γt* rt]最大化
策略
玩家可用动作的概率分布
假设
连续时间步长为t
则Q函数
Q(ot,at)←(1-α)·Q(ot,at)+α[rt +γ·maxaQ(ot+1,a)]
α
学习率
γ
折现因子
ot
当前观测值
ot+1
新观测值
at
在观察ot采取的行动
maxaQ(ot+1,a)
观测值ot+1下输出最大Q值
运用差别私有机制转移学习
在知识转移期间
代理须解决问题
是否要求知识
请求哪个玩家
是否提供知识
如何传递知识
差异隐私随机属性
可用于强化学习
以确保
观察中包含的知识可以在不同观察下转移
可采用差异隐私机制
在"如何转移知识"中
以使玩家共享不同的知识
图6分析

显示了知识转移步骤
机器人1的观测值为o1
在某个时间步上
代理1
如果其知识池中没有合适的知识
将从其他人请求知识
如机器人2
机器人1
向代理2发送请求消息
消息包括
对代理1的当前观察
代理1的可用动作
代理2
收到请求消息
将向代理1发送
具有随机知识的代理
该知识包括
代理2的可用动作的概率分布
在代理2的观察o2下
概率π选择这些动作
知识转移
知识转移的形式
由算法1给出
一种指数机制
被应用于概率分布π
得分函数
每个动作生成的奖励函数
当机器人1接收到机器人2的知识(o2,π(o2),Q(o2))时
传递机器人2的知识
由于观测值o2可能与观测值o1不同
使用差分私有指数机制
机器人1的得分函数
机器人2的Q值
因为整个系统将有t步
灵敏度
基于Q值
隐私预算
除以t
使用指数机制进行此调整
以确保基于Q值的相似知识仍然可用
函数Normalize（）
用于归一化所有概率
观察中涉及的知识
通过使用差异隐私机制
在不同环境下仍然可以使用
算法1分析

差异性私人转移学习以加强学习的摘要
强化学习
一种适用于多主体系统的学习方法
强化学习
除了通信开销和恶意代理问题外
还面临知识转移的挑战
随机化
解决邻居问题的一种极好的方法
可以调整邻居座席的环境
使知识在不同座席之间传递
Applying Differential Private Mechanisms To Machine Learning 将不同的私有机制应用于机器学习
基本介绍
私有机器学习
旨在保护训练数据中的个人隐私
差分隐私的基本任务
将现有的非私有机器学习算法
扩展到差分私有算法
差分隐私的基本任务是将现有的非私有机器学习算法扩展到差分私有算法
扩展实现
直接在非私有学习算法中
加入拉普拉斯或指数机制
在目标函数中
加入拉普拉斯噪声
本节重点介绍机器学习的稳定性
基于稳定学习的差分隐私机制
稳定的学习算法
当训练数据稍作修改时
预测结果不会发生很大变化的算法
Bousquet等人
证明了
稳定性与学习算法的泛化误差界有关
结果表明
高稳定性的算法可以得到较小的过拟合结果
然而
提高算法的稳定性是一个挑战
在测试数据量有限的情况下
一般来说
测试数据集是不可重用的
如果
重复使用验证的结果
来选择额外的数据统计
则
这种重复使用测试数据
将导致不正确的统计推断
分析人员
为了保持统计学习的有效性
应该为一个新的测试集收集新的数据
学习稳定性
确保观察到任何结果的概率本质上不变
通过修改任何单个记录
从分析中
Dwork等人
表明
差分隐私机制
可用于开发具有可证明的过拟合边界的自适应数据分析算法
差分隐私的定义
可以自然地与学习稳定性的要求联系在一起
差分隐私
比以前的稳定性概念更强
特别是具有很强的自适应组合保证
将差异私人机制应用于稳定学习方法
本小节
显示差异隐私机制
如何实现高度稳定的学习方法
分析人员
对于数据集D
通过
对数据集进行一系列分析
了解数据
进行哪种分析
取决于早期分析的结果
具体而言
分析人员
选择一个统计量f0来查询D
观察到结果y1=f0(D)
在第k次分析中
根据结果y1，...，yk-1
选择函数fk
在每次分析迭代中
为了
提高自适应方案的泛化能力
添加噪声
yk = Lap(Δf/ε)+ fk-1(D)
机器学习稳定性的总结
想法已经被广泛接受
在数据分析中加入随机化
以减少过拟合
MacCoun等人支持盲数据分析
当决定报告哪个结果时
分析师与一个数据集进行交互
该数据集
通过
向观察添加噪声
删除一些数据点
切换数据标签
被混淆
数据集
原始的、未损坏的
仅用于计算最终报告的值
差分隐私机制
可以遵循上述规则
显著改善过拟合界
Distributed Machine Learning 分布式机器学习
联邦学习
最流行的分布式机器学习
由谷歌在2017年首次提出
作为标准的集中式机器学习方法的补充方法
区别
集中式机器学习
要求
训练数据集中在服务器或数据中心
联邦学习
允许
允许移动电话从其本地数据中学习
只有参数更新被发送到聚合中心进行聚合
联邦学习概括
云中心维护大师模型
每个移动设备
从中心下载当前模型
并从其自身的本地数据中学习
以改进模型
将结果汇总为小参数更新
参数更新作为加密数据发送到云
中心将所有来自移动设备的更新
进行合并
完善共享模式
重复此过程
图7分析

培训中心
将通用学习模型
该模型
基于通用数据
用于一般用途
如自然语言处理
分发给网络中的所有智能设备
各设备
对个人数据进行处理
提取聚合信息p
本中心
利用个性化聚合信息
对通用模型进行改进
并将改进后的参数
反馈给各设备上的通用模型
进行个性化处理
个人资料
不会
直接发送到培训中心
意味着
隐私得到了保护
联邦学习模型
主要优点
任何培训数据
都不会转移到云中心
可以满足
移动设备用户的基本隐私问题
独特挑战
与各种漏洞的攻击有关的问题
以及防御这些攻击的对策
与学习算法有关的问题
与联合学习模型的系统结构有关的问题
将差异私有机制应用于联邦学习
尽管
没有培训数据
在联合学习中
从移动设备传输到云中心
但是
仅将数据保留在本地
使用传统的学习方法时
并不能提供
足够强的隐私保证
提出了
使用差异隐私进行学习的算法
为了
防止来自对手的差异攻击
以确保
学习的模型不会揭示数据使用情况
创建了
使用差分隐私机制和安全多方计算框架的方法
为了
确保模型保持精度
提供
正式的数据隐私保证
联邦学习的未来发展
需要克服挑战
与攻击、系统结构和学习算法相关的挑战
以便在各种应用中有效地使用联邦学习
联邦学习
在各种现有和新的应用程序中的应用
特别是
移动设备
联邦学习的工具的自动化
提供此类服务的公司
以满足
业务和个人客户的各种需求
Fairness In Models 公平的模型
两种不同的公平
群体公平
受保护群体比例相同
接受积极分类的成员所占比例
整个群体中所占比例
个体公平
相似的个体应该被同等对待
将不同的私人机制应用于公平
部分实现公平性的方式
公平性调节器调整标准学习方法
重新标记训练数据
差异隐私机制
通过
定义从个体到中间表示的概率映射
实现
群体和个体的公平性
允许
初始映射生成个体的表示
可在分类器中使用
最大化目标函数
同时保持公平性
关键思想
衡量个体之间的相似性
以确保
相似的人得到相似的对待
缺点
没有
定义评估个人的标准
使得目标
不切实际且难以实现
Zemel等人
通过
定义个人之间的度量
扩展了
最初的工作
学习了
距离函数的一种受限形式
将公平性表述
一个优化问题
寻找对数据进行最佳编码的中间表示
zemel工作
尽可能多地保留了
关于个人属性的信息
同时删除了
关于其他受保护子组成员的信息
目的
中间表示应该尽可能地保留数据的原始特征
编码的表示是随机的
以隐藏个人是否来自受保护的群体
想法都利用了
随机化的优势
举例
框架
通过
一个精心设计的得分函数
抽取
新鲜数据
从宇宙中
表示
原始数据
以相同的统计繁荣度
在这个框架中
设计分数函数是最具挑战性的部分
原因
公平的差异隐私假设个体之间具有相似性
个体之间的相似性评价
是模型公平性的关键障碍
因此
模型公平中的差异隐私
需要进一步探索
公平的组成
概念
如果
算法每个部分
都满足公平
那么
整个算法
也将满足公平
组成特性
非常重要
对于机器学习
尤其对于在线学习
Dwork等人
进行了
这个方向的探索
发现了
现有方法很难实现组成目标
原因
即使是一个公平的分类器
也不能独立地做出分类决策
满足组公平属性的分类器
可能与其他公平分类器很差地组合
结果表明
组合下组公平定义所提供的信号
并不总是可靠
需进一步研究的问题
如何充分利用差别性隐私构成优势
公平模型中的差异隐私概述
有待解决的问题
在公平性模型中
相似度的
度量
组成
公平模型中的差分隐私
集中在分类问题上
如何利用不同的隐私机制
促进
网络设置的公平性
Conclusions 结论
人工智能
已经成为我们日常生活中不可缺少的技术之一
带来的新问题也不容忽视
安全
隐私
数据有效性
差分隐私
为了隐私而被提出
也可解决人工智能中的新问题
论文
总结了
不同隐私的一些性质
隐私性
安全性
稳定性
随机性
组成性
提出了
可能的解决方案
安全和通信开销问题
多智能体系统中
强化学习中
进行了
不同隐私下公平性发展趋势的调查
私有机器学习
分布式机器学习
学习模型
证明了
差别隐私机制在人工智能中的有效性
未来的工作
集中于
更多的人工智能问题上应用
更巧妙的差异隐私机制