Applying Differential Privacy Mechanism in Artificial Intelligence

机器学习公平性研究--Applying Differential Privacy Mechanism in Artificial Intelligence

Applying Differential Privacy Mechanism in Artificial Intelligence 差分隐私机制在人工智能中的应用

• Abstract 摘要
  • 研究背景
    • AI
      • 吸引了大量的关注
    • 新问题出现
      • 侵犯隐私
      • 安全问题
      • 有效性
  • 差分隐私的特性对AI有价值
    • 隐私保护
    • 安全性
    • 随机化
    • 组合
    • 稳定性
  • 论文
    • 基于差分隐私的特性
      • 提出了
        • 多智能体系统
          • 差分隐私机制
          • 强化学习
          • 知识转移
      • 证明了
        • AI可以受益于差分隐私机制
    • 讨论了
      • 对差异隐私机制的使用
        • 在私有机器学习中
        • 在分布式机器学习中
        • 在模型中的公平性中
    • 提供了
      • 几种可能的途径
        • 在AI中使用差异隐私机制
    • 目的
      • 提出
        • 初步想法
          • 如何结合
            • 人工智能
            • 不同的隐私机制
      • 探索
        • 更多可能性
          • 提高人工智能性能
• Introduction 介绍
  • 背景介绍
    • 人工智能
      • 是目前最流行的领域之一
      • 引起了
        • 广泛关注
    • 多代理系统
      • 可以应用于
        • 分布式控制系统
      • 谷歌对于移动用户
        • 采用了
          • 分布式机器学习
    • 新问题出现
      • 侵犯隐私
      • 安全问题
      • 模型有效性
    • 例子
      • 机器学习一大挑战
        • 训练数据的隐私泄露
      • 恶意代理
        • 可能向系统提供虚假信息
    • Dwork等
      • 对测试数据
        • 应用差异隐私机制
      • 可以防止
        • 机器学习算法的过拟合
    • 差分隐私机制
      • 开辟了新的方向
        • 为解决AI中出现的问题
      • 是一种普遍的隐私保护模式
    • 图1分析
      • 
      • 显示了
        • 差分隐私机制基本设置
      • 假设
        • 两个数据集是几乎相同的存在
        • 但只有一个记录
      • 满意的差分隐私机制
        • 可以在相邻的数据集和查询
          • 获得同样的输出
      • 差分隐私
        • 通过
          • 查询函数f
        • 访问数据集
        • 保证了
          • 即使对手知道所有其他记录
            • 除某个未知之外
          • 对手仍然无法推断出该未知记录的信息
  • 将不同隐私机制应用于AI的例子
    • 第一个例子
      • 多智能体系统
        • 是由多个交互智能体组成的计算机系统
      • 图2分析
        • 
        • 网格表示环境
        • 位于网格中的面是代理
        • 所有的代理
          • 分享他们的知识来做决定
        • 系统存在三个问题
          • 知识很难以传统的方式直接分享
          • 代理之间的通信应该受到限制
          • 恶意代理可能向其他代理提供虚假信息
        • 差分隐私的解决方法
          • 差分隐私中的随机化机制
          • 差异隐私的构成特性
          • 减少恶意代理的影响来帮助提高通信的安全级别
    • 第二个例子
      • 关于私人机器学习
      • 图3分析
        • 
        • 机器学习存在
          • 模型不公平
          • 侵犯隐私
          • 过拟合
        • 不同的隐私机制
          • 有可能解决这些问题
        • 解决方法
          • 对训练数据进行随机化
            • 利用差分隐私采样机制
            • 以保持模型的公平性
          • 将噪声添加到学习模型中
            • 差分隐私机制产生的噪声
            • 以保持隐私
          • 提高稳定性
            • 为了
              • 避免过拟合
            • 利用
              • 标定后的噪声生成新的测试数据
            • 避免
              • 学习算法过拟合
    • 学习问题
      • 可以利用不同的隐私属性
        • 随机性
        • 隐私保护能力
        • 算法稳定性
  • 具有不同隐私属性的AI
    • Preserving privacy(保护隐私)
      • 差分隐私的最初目的
      • 差分隐私
        • 通过
          • 将个人隐藏在聚合信息中
        • 可以实现
          • 这一目标
    • Stability(稳定)
      • 不同的隐私机制
        • 确保了
          • 通过修改数据中的任何单个记录
          • 学习算法产生的任何结果的概率不变
        • 建立了
          • 学习算法和泛化能力之间的联系
    • Security(安全)
      • 不同的隐私机制
        • 在大多数AI任务中
        • 可以减少恶意代理的影响
    • Randomization(随机化)
      • 差分隐私机制基本思想
        • 增加输出的不确定性
    • Composition(组成)
      • 差分隐私
        • 保证
          • 任何满足差异隐私的步骤
            • 可以用来构造新算法
        • 在人工智能中
          • 可以使用组成
            • 控制步数
            • 控制通信负载
• Preliminary And Properties Of Differential Privacy 差异隐私的初步和属性
  • 差异性隐私
    • 参数
      • 有限数据域X
      • 变量r
        • 一个从域X采样了d个属性的记录
      • 数据集d
        • 一个从域X的n个记录的无序集合
      • 相邻数据集
        • 数据集d和d'仅在一条记录中不同
      • 查询函数f
        • 将数据集D映射到抽象范围R的函数
    • 差分隐私的目标
      • 掩盖
        • 相邻数据集之间查询f的差异
      • 以保护隐私
    • 灵敏度Δf
      • 查询f结果的最大差异
    • 定义1(ε差分隐私)
      • 
      • ε越小代表越强的隐私性
  • 随机化：拉普拉斯机制
    • 灵敏度
      • 
    • 定义3(拉普拉斯机制)
      • 
  • 随机化:指数机制
    • q(D，φ)
      • 评估输出φ的质量
    • Δq
      • 表示φ的灵敏度
    • 定义4(指数机制)
      • 
  • 组成
    • 组合定理
      • 顺序组合
      • 并行组合
    • 并行组合
      • 对应情况
        • 每个Mi都应用于数据集的不相关子集
      • 最终隐私保障
        • 只依赖于
          • 分配给Mi的最大的隐私预算
    • 顺序组合
      • 对一个差分私有计算序列进行隐私保障
      • 最终隐私保障
        • 由总隐私预算的总和决定的
    • 两个组合定理
      • 在组合不同私有机制时
      • 限制了
        • 隐私的退化
      • 分析
        • 隐私保护算法的隐私预算消耗
• Applying Differential Private Mechanisms In A Multi-Agent System 在多代理系统中应用不同的私有机制
  • 背景知识
    • 分布式
      • 设备数量继续增加
        • 在全球范围内
      • 控制方案是可取
        • 为了管理和利用这些设备和数据
    • 多智能体系统
      • 提供了一种很好的解决方案
        • 为分布式控制
      • 一组相互作用的松散耦合的智能体
        • 以解决分布式问题
          • 传感器网络
          • 电力系统
          • 云计算
    • 一个代理
      • 通过
        • 与环境的反复试验
      • 学习行为
    • 代理
      • 在采取对环境不利的行动后获得奖励时
      • 可能会改变策略
        • 根据奖励
      • 试图最大化长期奖励
        • 通过采取连续的行动
    • 代理通知
      • 显著提高
        • 多代理系统的有效性
      • 受影响
        • 恶意代理
        • 通信开销
    • 恶意代理
      • 可能会提供错误的建议
      • 以阻碍系统的性能
    • 大量的通信开销
      • 一个代理
        • 被允许广播给它所有邻近的代理
        • 以获得建议
    • 差分隐私机制
      • 可以提供安全保证
      • 恶意代理对其
        • 几乎没有影响
    • 选择邻居寻求建议的概率
      • 将基于
        • 邻居提供的奖励历史
      • 应用指数或拉普拉斯机制
        • 以减少恶意代理对安全的影响
  • 将差分专用机制应用于多主体系统
    • 提出了
      • 一个区别私有框架
        • 处理
          • 恶意代理
          • 通信开销
    • 每个代理拥有知识
      • 每个位置的可用动作
        • 移至北部，南部，东部和西部
      • 每个可用动作的奖励
        • 如果靠近拐角，奖励将更高
        • 如果撞到墙壁，奖励将为负
      • 奖励向量，记录通过使用其他代理的建议获得的奖励
      • 邻近代理商的存在
      • 通信预算ε以控制通信开销
    • 图4分析
      • 
      • 代理2
        • 在某个时间步上
        • 如果
          • 决定寻求建议
        • 将向其邻居
          • 发出建议请求
      • 消息
        • 代理2
          • 当前状态
          • 可用操作
      • 代理1
        • 收到请求
        • 决定
          • 是否向代理2
            • 提供建议
          • 建议
            • 根据代理1的知识
            • 最佳操作
      • 恶意代理
        • 收到请求
        • 提供错误建议
      • 代理2
        • 接收到来自两个邻居的建议之后
        • 执行差分私人顾问选择算法
      • 算法
        • 可以应用指数机制
          • 调整所选的概率
        • 奖励较高的建议
          • 被选择的可能性较高
        • 奖励较低的建议
          • 被选择的可能性很低
      • 假设
        • 每个代理都有t个移动步骤
        • 则
          • 隐私预算ε将除以t
      • 座席之间的每次通信
        • 将消耗
          • ε/ t的隐私预算
        • 隐私预算用完后
          • 系统将停止通信
  • 不同私有多主体系统的概述
    • 提出了
      • 一种新的差分隐私技术
        • 提高智能体学习的性能
        • 而不是
          • 考虑隐私保护特性
    • 该方法
      • 与基准广播方法相比
      • 当
        • 恶意代理存在时
        • 通信开销较小时
      • 取得了
        • 更好的性能
    • 隐私保护
      • 值得进一步探索
• Applying Differential Private Mechanisms In Reinforcement Learning And Transfer Learning 不同的私人机制在强化学习和迁移学习中的应用
  • 背景知识
    • 在强化学习中引入知识转移
      • 为了提高智能体的学习速度
    • 迁移学习
      • 是人类学习的产物
    • 人们
      • 可以利用以前学到的知识
      • 解决新的问题
      • 并取得更好的结果
      • 互相分享知识
        • 以提高认知能力
    • 迁移学习
      • 可以利用
        • 其他智能体的知识
      • 以提高
        • 智能体的强化学习性能
    • 知识转移存在问题
      • 每个机器人
        • 知识都是不同的
        • 知识很难被直接使用
        • 只能部分地观察环境
    • 具有挑战性的问题
      • 如何使一种观察所包含的知识
        • 在不同的观察中发挥作用
  • 强化学习
    • 强化学习
      • 通常用于解决顺序决策问题
    • 顺序决策过程
      • 建模为马尔可夫决策过程（MDP）
      • 描述为元组（S，A，R）
      • S
        • 状态集
      • A
        • 一组操作
      • R
        • 奖励函数
    • 代理
      • 在每个步骤中
        • 都会观察环境的状态s∈S
        • 并选择一个动作α∈A
          • 根据其策略π
      • 执行动作后
        • 会收到实值奖励r
          • 环境会更改为新状态s'∈S
      • 然后
        • 更新其策略π
          • 根据
            • 奖励r
            • 新状态s'
      • 通过这种方式
        • 逐渐积累知识
        • 并改进其策略
        • 以最大化其长期预期总回报
    • 图5分析
      • 
      • 机器人清扫协作
        • 微笑的面孔
          • 扫地机器人
        • 钻石
          • 垃圾
            • 需要清洗
      • 每个机器人都维护（S，A，R）的元组
      • 机器人移至其相邻网格
        • 向北，向南，向西和向东
      • 状态S
        • 代理商所在的位置
      • 奖励R
        • 具有高，低或负的排列
      • 策略π
        • 可以表示为Q函数Q（s，α）
        • 估计代理获得的奖励
          • 在状态s下
          • 通过执行动作α
    • 假设
      • 有t个连续的时间步长
      • 则Q函数
        • 
        • α
          • 学习率
        • γ
          • 折扣因子
        • st
          • 当前状态
        • st + 1
          • 下一个状态
        • at
          • 在状态st采取的行动
        • rt
          • 代理立即获得的报酬
            • 状态st
            • 在采取行动之后
        • maxaQ(st + 1，a)
          • 函数
            • 在状态st + 1下
            • 输出最大Q值
        • Q功能最大的动作
          • 由代理选择
  • 知识转移中的强化学习
    • 单一代理
      • 由一个7元组（S，A，T，R，O，B，γ）表示
    • O
      • 一组观测值
    • B
      • 观测函数
    • γ
      • 折扣因子
    • 玩家
      • 采取行动α∈A
      • 将环境转变为新状态s'
        • 以概率T(s'|s,a)
    • 游戏者
      • 仅具有部分可观察性
      • 可能不知道
        • 处于哪个状态
      • 接收环境的观察o∈O
        • 以概率B(o|s',a)
    • 玩家
      • 获得奖励r
        • 基于R(s,a)
      • 重复该过程
      • 目的
        • 学习策略π
        • 以使其预期的折现未来奖励E [∑0≤t <∞γt* rt]最大化
        • 策略
          • 玩家可用动作的概率分布
    • 假设
      • 连续时间步长为t
      • 则Q函数
        • Q(ot,at)←(1-α)·Q(ot,at)+α[rt +γ·maxaQ(ot+1,a)]
        • α
          • 学习率
        • γ
          • 折现因子
        • ot
          • 当前观测值
        • ot+1
          • 新观测值
        • at
          • 在观察ot采取的行动
        • maxaQ(ot+1,a)
          • 观测值ot+1下输出最大Q值
  • 运用差别私有机制转移学习
    • 在知识转移期间
      • 代理须解决问题
        • 是否要求知识
        • 请求哪个玩家
        • 是否提供知识
        • 如何传递知识
    • 差异隐私随机属性
      • 可用于强化学习
      • 以确保
        • 观察中包含的知识可以在不同观察下转移
    • 可采用差异隐私机制
      • 在"如何转移知识"中
      • 以使玩家共享不同的知识
    • 图6分析
      • 
      • 显示了知识转移步骤
      • 机器人1的观测值为o1
        • 在某个时间步上
      • 代理1
        • 如果其知识池中没有合适的知识
        • 将从其他人请求知识
          • 如机器人2
      • 机器人1
        • 向代理2发送请求消息
        • 消息包括
          • 对代理1的当前观察
          • 代理1的可用动作
      • 代理2
        • 收到请求消息
        • 将向代理1发送
          • 具有随机知识的代理
        • 该知识包括
          • 代理2的可用动作的概率分布
            • 在代理2的观察o2下
          • 概率π选择这些动作
  • 知识转移
    • 知识转移的形式
      • 由算法1给出
    • 一种指数机制
      • 被应用于概率分布π
    • 得分函数
      • 每个动作生成的奖励函数
    • 当机器人1接收到机器人2的知识(o2,π(o2),Q(o2))时
      • 传递机器人2的知识
        • 由于观测值o2可能与观测值o1不同
        • 使用差分私有指数机制
    • 机器人1的得分函数
      • 机器人2的Q值
    • 因为整个系统将有t步
      • 灵敏度
        • 基于Q值
      • 隐私预算
        • 除以t
    • 使用指数机制进行此调整
      • 以确保基于Q值的相似知识仍然可用
    • 函数Normalize（）
      • 用于归一化所有概率
    • 观察中涉及的知识
      • 通过使用差异隐私机制
      • 在不同环境下仍然可以使用
    • 算法1分析
      • 
  • 差异性私人转移学习以加强学习的摘要
    • 强化学习
      • 一种适用于多主体系统的学习方法
    • 强化学习
      • 除了通信开销和恶意代理问题外
      • 还面临知识转移的挑战
    • 随机化
      • 解决邻居问题的一种极好的方法
      • 可以调整邻居座席的环境
      • 使知识在不同座席之间传递
• Applying Differential Private Mechanisms To Machine Learning 将不同的私有机制应用于机器学习
  • 基本介绍
    • 私有机器学习
      • 旨在保护训练数据中的个人隐私
    • 差分隐私的基本任务
      • 将现有的非私有机器学习算法
      • 扩展到差分私有算法
    • 差分隐私的基本任务是将现有的非私有机器学习算法扩展到差分私有算法
    • 扩展实现
      • 直接在非私有学习算法中
        • 加入拉普拉斯或指数机制
      • 在目标函数中
        • 加入拉普拉斯噪声
    • 本节重点介绍机器学习的稳定性
  • 基于稳定学习的差分隐私机制
    • 稳定的学习算法
      • 当训练数据稍作修改时
      • 预测结果不会发生很大变化的算法
    • Bousquet等人
      • 证明了
        • 稳定性与学习算法的泛化误差界有关
      • 结果表明
        • 高稳定性的算法可以得到较小的过拟合结果
      • 然而
        • 提高算法的稳定性是一个挑战
        • 在测试数据量有限的情况下
    • 一般来说
      • 测试数据集是不可重用的
      • 如果
        • 重复使用验证的结果
          • 来选择额外的数据统计
      • 则
        • 这种重复使用测试数据
          • 将导致不正确的统计推断
    • 分析人员
      • 为了保持统计学习的有效性
      • 应该为一个新的测试集收集新的数据
    • 学习稳定性
      • 确保观察到任何结果的概率本质上不变
        • 通过修改任何单个记录
        • 从分析中
    • Dwork等人
      • 表明
        • 差分隐私机制
          • 可用于开发具有可证明的过拟合边界的自适应数据分析算法
    • 差分隐私的定义
      • 可以自然地与学习稳定性的要求联系在一起
    • 差分隐私
      • 比以前的稳定性概念更强
      • 特别是具有很强的自适应组合保证
  • 将差异私人机制应用于稳定学习方法
    • 本小节
      • 显示差异隐私机制
        • 如何实现高度稳定的学习方法
    • 分析人员
      • 对于数据集D
      • 通过
        • 对数据集进行一系列分析
      • 了解数据
      • 进行哪种分析
        • 取决于早期分析的结果
    • 具体而言
      • 分析人员
        • 选择一个统计量f0来查询D
        • 观察到结果y1=f0(D)
        • 在第k次分析中
          • 根据结果y1，...，yk-1
          • 选择函数fk
        • 在每次分析迭代中
          • 为了
            • 提高自适应方案的泛化能力
          • 添加噪声
            • yk = Lap(Δf/ε)+ fk-1(D)
  • 机器学习稳定性的总结
    • 想法已经被广泛接受
      • 在数据分析中加入随机化
      • 以减少过拟合
    • MacCoun等人支持盲数据分析
      • 当决定报告哪个结果时
      • 分析师与一个数据集进行交互
      • 该数据集
        • 通过
          • 向观察添加噪声
          • 删除一些数据点
          • 切换数据标签
        • 被混淆
    • 数据集
      • 原始的、未损坏的
      • 仅用于计算最终报告的值
    • 差分隐私机制
      • 可以遵循上述规则
      • 显著改善过拟合界
• Distributed Machine Learning 分布式机器学习
  • 联邦学习
    • 最流行的分布式机器学习
    • 由谷歌在2017年首次提出
    • 作为标准的集中式机器学习方法的补充方法
  • 区别
    • 集中式机器学习
      • 要求
        • 训练数据集中在服务器或数据中心
    • 联邦学习
      • 允许
        • 允许移动电话从其本地数据中学习
        • 只有参数更新被发送到聚合中心进行聚合
  • 联邦学习概括
    • 云中心维护大师模型
    • 每个移动设备
      • 从中心下载当前模型
        • 并从其自身的本地数据中学习
        • 以改进模型
      • 将结果汇总为小参数更新
      • 参数更新作为加密数据发送到云
    • 中心将所有来自移动设备的更新
      • 进行合并
      • 完善共享模式
      • 重复此过程
  • 图7分析
    • 
    • 培训中心
      • 将通用学习模型
        • 该模型
          • 基于通用数据
          • 用于一般用途
            • 如自然语言处理
        • 分发给网络中的所有智能设备
    • 各设备
      • 对个人数据进行处理
      • 提取聚合信息p
    • 本中心
      • 利用个性化聚合信息
        • 对通用模型进行改进
      • 并将改进后的参数
        • 反馈给各设备上的通用模型
      • 进行个性化处理
    • 个人资料
      • 不会
        • 直接发送到培训中心
      • 意味着
        • 隐私得到了保护
  • 联邦学习模型
    • 主要优点
      • 任何培训数据
        • 都不会转移到云中心
      • 可以满足
        • 移动设备用户的基本隐私问题
    • 独特挑战
      • 与各种漏洞的攻击有关的问题
        • 以及防御这些攻击的对策
      • 与学习算法有关的问题
      • 与联合学习模型的系统结构有关的问题
  • 将差异私有机制应用于联邦学习
    • 尽管
      • 没有培训数据
        • 在联合学习中
        • 从移动设备传输到云中心
    • 但是
      • 仅将数据保留在本地
        • 使用传统的学习方法时
        • 并不能提供
          • 足够强的隐私保证
    • 提出了
      • 使用差异隐私进行学习的算法
        • 为了
          • 防止来自对手的差异攻击
        • 以确保
          • 学习的模型不会揭示数据使用情况
    • 创建了
      • 使用差分隐私机制和安全多方计算框架的方法
        • 为了
          • 确保模型保持精度
        • 提供
          • 正式的数据隐私保证
  • 联邦学习的未来发展
    • 需要克服挑战
      • 与攻击、系统结构和学习算法相关的挑战
      • 以便在各种应用中有效地使用联邦学习
    • 联邦学习
      • 在各种现有和新的应用程序中的应用
      • 特别是
        • 移动设备
    • 联邦学习的工具的自动化
      • 提供此类服务的公司
      • 以满足
        • 业务和个人客户的各种需求
• Fairness In Models 公平的模型
  • 两种不同的公平
    • 群体公平
      • 受保护群体比例相同
        • 接受积极分类的成员所占比例
        • 整个群体中所占比例
    • 个体公平
      • 相似的个体应该被同等对待
  • 将不同的私人机制应用于公平
    • 部分实现公平性的方式
      • 公平性调节器调整标准学习方法
      • 重新标记训练数据
    • 差异隐私机制
      • 通过
        • 定义从个体到中间表示的概率映射
      • 实现
        • 群体和个体的公平性
      • 允许
        • 初始映射生成个体的表示
      • 可在分类器中使用
        • 最大化目标函数
        • 同时保持公平性
      • 关键思想
        • 衡量个体之间的相似性
        • 以确保
          • 相似的人得到相似的对待
      • 缺点
        • 没有
          • 定义评估个人的标准
        • 使得目标
          • 不切实际且难以实现
    • Zemel等人
      • 通过
        • 定义个人之间的度量
      • 扩展了
        • 最初的工作
      • 学习了
        • 距离函数的一种受限形式
      • 将公平性表述
        • 一个优化问题
          • 寻找对数据进行最佳编码的中间表示
    • zemel工作
      • 尽可能多地保留了
        • 关于个人属性的信息
      • 同时删除了
        • 关于其他受保护子组成员的信息
      • 目的
        • 中间表示应该尽可能地保留数据的原始特征
        • 编码的表示是随机的
          • 以隐藏个人是否来自受保护的群体
      • 想法都利用了
        • 随机化的优势
    • 举例
      • 框架
        • 通过
          • 一个精心设计的得分函数
        • 抽取
          • 新鲜数据
            • 从宇宙中
        • 表示
          • 原始数据
            • 以相同的统计繁荣度
      • 在这个框架中
        • 设计分数函数是最具挑战性的部分
      • 原因
        • 公平的差异隐私假设个体之间具有相似性
        • 个体之间的相似性评价
          • 是模型公平性的关键障碍
      • 因此
        • 模型公平中的差异隐私
          • 需要进一步探索
  • 公平的组成
    • 概念
      • 如果
        • 算法每个部分
          • 都满足公平
      • 那么
        • 整个算法
          • 也将满足公平
    • 组成特性
      • 非常重要
        • 对于机器学习
        • 尤其对于在线学习
    • Dwork等人
      • 进行了
        • 这个方向的探索
      • 发现了
        • 现有方法很难实现组成目标
    • 原因
      • 即使是一个公平的分类器
        • 也不能独立地做出分类决策
      • 满足组公平属性的分类器
        • 可能与其他公平分类器很差地组合
    • 结果表明
      • 组合下组公平定义所提供的信号
        • 并不总是可靠
    • 需进一步研究的问题
      • 如何充分利用差别性隐私构成优势
  • 公平模型中的差异隐私概述
    • 有待解决的问题
      • 在公平性模型中
        • 相似度的
          • 度量
          • 组成
      • 公平模型中的差分隐私
        • 集中在分类问题上
      • 如何利用不同的隐私机制
        • 促进
          • 网络设置的公平性
• Conclusions 结论
  • 人工智能
    • 已经成为我们日常生活中不可缺少的技术之一
    • 带来的新问题也不容忽视
      • 安全
      • 隐私
      • 数据有效性
  • 差分隐私
    • 为了隐私而被提出
    • 也可解决人工智能中的新问题
  • 论文
    • 总结了
      • 不同隐私的一些性质
        • 隐私性
        • 安全性
        • 稳定性
        • 随机性
        • 组成性
    • 提出了
      • 可能的解决方案
        • 安全和通信开销问题
          • 多智能体系统中
          • 强化学习中
    • 进行了
      • 不同隐私下公平性发展趋势的调查
        • 私有机器学习
        • 分布式机器学习
        • 学习模型
    • 证明了
      • 差别隐私机制在人工智能中的有效性
  • 未来的工作
    • 集中于
      • 更多的人工智能问题上应用
        • 更巧妙的差异隐私机制