Anti-discrimination Analysis Using Privacy Attack Strategies

机器学习公平性研究--Anti-discrimination Analysis Using Privacy Attack Strategies

Anti-discrimination Analysis Using Privacy Attack Strategies

• Abstract 摘要
  • 研究背景
    • 发现社会歧视
      • 从数据中
      • 是一项重要任务
  • 设计准则
    • 识别针对受法律保护的群体（例如少数民族）
      • 非法歧视
      • 不道德歧视
  • 本文贡献
    • 提出了
      • 歧视发现工具
        • 隐私攻击策略
      • 困难假设
        • 间接歧视发现
        • 感知隐私的歧视发现
        • 歧视数据恢复
    • 发现了
      • 三种苦难假设情况下
      • 作用相似
        • 反歧视机构的作用
        • 私有数据发布攻击者的作用
    • 算法来源
      • Frechet边界攻击
      • 属性推断攻击
      • 最小化攻击
    • 算法作用
      • 揭示
        • 隐藏的歧视性做法
  • 实验结果
    • 可以成为反歧视机构的有效工具
• Introduction 介绍
  • 背景介绍
    • 歧视
      • 基于成员身份
        • 某个组或类别中
      • 感知成员身份
      • 不合理区分
        • 对个人进行
    • 人权法禁止基于歧视
      • 性别、年龄、婚姻状况、性取向
      • 种族、宗教或信仰、少数民族
      • 残疾或疾病
    • 反歧视机构
      • 主要目的
        • 发现
          • 歧视
        • 揭示
          • 歧视性做法
        • 整理
          • 历史决策记录的数据
      • 执行
        • 进行监督
        • 提供建议
        • 调查和查询报告
      • 组成
        • 平等执法机构
        • 监管委员会
        • 消费者咨询委员会
    • 发现歧视
      • 了解歧视
        • 过去
        • 当前趋势
  • 设计假设
    • 被研究的数据集
      • 明确包含社会群体的属性
        • 表示受调查的
        • 受法律保护的
    • 该数据集尚未进行处理
      • 在发现歧视之前
  • 复杂性来源
    • 不存在直接歧视
      • 但存在间接歧视
    • 歧视数据被修改
      • 无法访问原始数据
  • 设计思路
    • 遵循
      • 反歧视机构的角色
        • 在歧视数据分析中
      • 攻击者的角色
        • 在隐私保护数据发布中
    • 文献中
      • 已经提出
        • 几种攻击策略
      • 可以模拟
        • 攻击者
          • 推理
          • 背景知识
    • 反歧视机构的角色
      • 类似于攻击者
    • 主管部门
      • 在间接歧视发现的情况下
      • 必须推断个人数据
        • 调查数据集中个人
    • 反歧视机构
      • 对于发现隐私的歧视
      • 必须作为攻击者进行推理
      • 以找出
        • 尽可能多的有关受保护群体个人身份的信息
    • 本文
      • 通过展示
        • 基于Frechet边界推断的组合攻击
          • 用于此目的
        • 来证实
          • 这一观点
      • 将研究
        • 目的
          • 用于从桶状数据集中发现歧视
        • 一种属性推理攻击的形式
      • 目标
        • 在歧视数据恢复的情况下
        • 从受干扰的数据集中重建原始决策
      • 设计一种方法
        • 通过利用与最优攻击的类比
        • 来重建已通过中的方法进行过消毒的数据集
  • 新研究方向
    • 将大量的隐私保护方法和算法应用于歧视数据分析
• Problem Scenarios 问题方案
  • 方案假设
    • 两个参与者
      • 数据所有者
      • 反歧视机构
    • 数据所有者
      • 发送形式
        • 微数据
        • 聚合数据
      • 发布某些数据
        • 向反歧视机构
    • 反歧视机构
      • 可以获取
        • 背景知识
        • 其他信息
      • 用来揭示
        • 从发布的数据中
        • 可能受到歧视的情况
    • 直接区分
      • 用来标识受保护组的属性
        • 已发布数据的一部分
      • 数据未经修改
  • 方案I：间接歧视发现
    • 释放的数据
      • 不包括
        • 明确标识受法律保护的组属性
    • 反歧视机构任务
      • 通过
        • 利用背景知识
      • 将
        • 未知属性与数据中存在的属性
          • 相关联
      • 以揭露
        • 已发布数据的歧视背景
  • 方案II：感知隐私的歧视发现
    • 释放的数据
      • 包括
        • 明确标识受法律保护的组的属性
      • 但是
        • 数据所有者
          • 通过
            • 应用隐私保护的推理控制方法
          • 扰动此类属性
        • 对数据
          • 进行了预处理
    • 反歧视机构的任务
      • 通过
        • 利用背景知识
        • 推理控制算法
          • 用于预处理数据
      • 揭露歧视的背景
  • 方案三：歧视性数据恢复
    • 数据所有者
      • 通过
        • 应用防止歧视推理控制方法
      • 对发布的数据
        • 进行预处理
      • 会干扰数据
        • 以隐藏歧视性决策
    • 反歧视机构的任务
      • 通过
        • 利用背景知识
        • 推理控制算法
          • 用于预处理数据
      • 重建原始数据
    • 揭示判别上下文
      • 从重建的数据集开始
      • 采用标准的直接判别发现技术
  • 图1分析
    • 定义了
      • 在4倍应急表上
      • 几种歧视措施
    • 受保护的群体
      • 是被怀疑受到歧视的社会群体
    • 决定
      • 记录是否向某人授予了福利
        • 值“+”
        • 值“-”
      • 是一个二进制属性
    • 总人口
      • 表示可能受到歧视的背景的个人
        • 特定城市
        • 工作部门
        • 收入
        • 或其组合
• Measures of Group Discrimination 群体歧视的措施
  • 歧视分析的关键问题
    • 要量化
      • 所遭受的歧视程度
        • 给定群体
        • 在给定背景下
        • 相对于某人
  • 定义1（α-保护）
    • 如果RD <=α
      • 判别表具有α保护性
    • 否则
      • 判别表区分α
  • 直接歧视
    • 发现
      • 子集中
        • 从过去的决策记录
      • 找到歧视表
  • 原始方法
    • 在封闭项目集的判别表空间中
    • 执行搜索
  • 修复关系表
    • 该表属性包括
      • group
        • 具有受保护和不受保护的值
      • dec
        • 具有值+和-
  • 项目集是形式为A = v
    • A是一个属性
    • v∈dom（A）
      • 是A的域
  • 步骤
    • 将A1 = v1; ...; Ak = vk
      • 代替{A1 = v1; ...; Ak = vk}
    • 令B为一个项目集
      • 没有超过group和dec的项目
    • 与B相关的区分表
      • 将B封面中的元组视为总人口
    • a是项目集“B，group = protected，dec =-”的支持
• Scenario I: Indirect Discrimination Discovery 方案一:间接歧视发现
  • 项目简介
    • 通过
      • 统计数据库发布某些汇总数据
    • 可能会导致
      • 推断未发布的汇总
    • 尤其在4倍列联表中
      • 现已被推广到多维列联表
    • 对应急表单元格条目
      • 采用
        • 基于项目集的表示法
    • 用 nX 表示
      • 分析中的数据集R中项集X的支持
      • nX = | {t∈R | X⊆t} |
    • 项目集X
      • 形式为A1 = v1，A2 = v2
      • 形式为A2 = v2，A3 = v3
    • 项目集X Y
      • A1 = v1，A2 = v2，A3 = v3
    • 项目集X∩Y
      • A2 = v2
    • 定理
      • 支持X Y的Frechet界线
      • 
  • 图2分析
    • 利用Frechet边界
    • 通过背景知识
      • 与受保护组成员身份相关的属性
    • 对间接歧视发现进行建模
  • 问题建模
    • 目的
      • 给定
        • 意外事件表
          • 已知/已发布的
        • 一些其他信息
          • 背景知识意外事件表中包含的
      • 得出
        • 判别度量范围
          • 未知意外事件表的
    • 已知的权变表
      • 通过背景知识权变表
      • 显示属性数据
        • 与受保护组的成员资格相关的
    • 相关性越高
      • 二者越接近
        • 针对此属性的歧视措施
          • 已知
        • 受保护组的歧视措施
          • 未知
    • 未知值a
      • 可分解为
        • 个体数a1
          • 组g1的
        • 个体数a2
          • 组g2的
    • 参数
      • a1 = nX Y
        • 其中X是rel
      • group = g1
        • dec =-
      • Y为group = protected
    • a1的Frechet界
      • 
    • a2的结果
    • a = a1 + a2的边界
      • 
  • 边界分析
    • 这些界限具有直观的阅读效果
    • 考虑下限
      • 在受保护组中
        • e属于组g1
        • f属于组g2
    • 考虑上限
      • 数量a至少为
      • 受保护组中
        • e属于g1组
        • 最多具有a个否定决定
    • 值e、f和c
      • 
    • RD的下界
      • 因为
        • n1和n2在背景知识中
        • m1在已知的列联表中
        • 比例p1= a/n1
        • 比例p2= c/n2
        • 比例p = m1/n
      • 易得
        • 
  • 算法1
    • 对两个或更多相关属性
      • 重复该方法
    • 可以在每一步中
      • 保持最佳界限
    • 具体算法细节于文档中展现
  • 图3分析
    • 已知和背景知识表
    • Frechet对a和c的界限为
      • a
        • (做出负面决策的受保护个体的数量)
      • c
        • (做出负面决策的未受保护个体的数量)
      • 
    • 分析
      • p1= 1/1
      • p2= 7/25 = 0.28
      • RD = p1 - p2= 0.72
  • 图4分析
    • 图4(右)中发布的列联表
      • 该列表涉及由邮政编码指定的社区给予和拒绝的福利
      • 邮政编码充当了人口种族的代表
        • 在这种情况下
    • 图4(左)显示了
      • 居住在特定社区的可能受到歧视的黑人群体的列联表
    • nX Y= a
    • Frechet界
      • 
• Scenario II: Privacy-aware Discrimination Discovery 方案二:感知隐私的歧视发现
  • 项目简介
    • 发布的数据集
      • 在这个方案中
      • 包含
        • 显式标识受保护组的属性
    • 数据所有者
      • 由于
        • 这样的属性被认为是敏感的
      • 对数据进行预处理
        • 使用隐私保护推理控制方法
      • 以减少
        • 相关性
          • 该属性
          • 其他非敏感属性
    • 数据消毒
      • 可能有不同的目的
        • 保护个人的敏感信息
        • 掩盖歧视性做法
          • 以数据隐私为借口
    • 反歧视机构
      • 都必须从经过消毒的数据中
      • 揭露歧视
  • 隐私保护推理控制
    • 目前有大量的隐私保护推理控制方法
    • 本文研究了
      • 最流行的buckealization方法
    • bucke化
      • 使敏感属性与非敏感属性
        • 分离
    • buckeization的输出组成
      • 不敏感表
        • 图5左边
      • 敏感表
        • 图5中间
    • 非敏感表
      • 包含
        • 完整的非敏感属性信息
        • 组id
          • GID
          • 为每个组分配一个惟一的GID
            • 将元组划分为组时
    • 敏感表
      • 包含
        • 出现在特定组中的敏感值
    • buckeization
      • 是一种有损连接分解
        • 使用组id
  • 隐私感知歧视发现
    • 可以形式化为
      • 给定buckealized dataset R0
      • 为未知的列联表
        • 推导
          • 歧视度量上的界限
    • 考虑r0中n个元组的子集
      • 必须为其派生一个列联表
    • 已知
      • 值m1
      • m2= n−m1
      • 因为
        • 由具有负决策的元组数目组成
      • 受保护群体个体的元组的n1个数
        • n2= n−n1
      • 列联表单元值的边界
        • 从这些聚合值开始
        • 可以通过Frechet边界获得
    • 细化界限
      • 通过
        • 每一桶中有且只有一个受保护群体的个体
    • 这在a上产生边界
      • 
  • 图5分析
    • Frechet界将产生严格较大的区间
      • min{4,3} = 3≥a≥1 = max{4 + 3−6,0}
    • 得到2≥c≥1
      • 因为a + c = 4
    • 解得
      • p1 =a / n1∈(2/3,3/3)
      • p2 = c / n2∈(1/3、2/3)
      • RD = p1−p2∈(0,2/3)
    • 图5中的元组集(左)
      • 使education = bachelors
      • 有6个这样的元组
        • 4个具有否定决策(r1，r7，r11，r12)
        • 2个具有肯定决策(r2，r4)
      • 假设
        • 通过背景知识
        • 知道6个元组中的n1 = 3个是穆斯林
    • 图5（右）中的未知列联表
      • n1 = 1，n 2 = 1，n3 = 2
      • n1 + = 2，n2 + = 0和n3 + =0
  • 算法2
    • 具体算法细节于文档中展现
• Scenario III: Discriminatory Data Recovery 方案三:歧视性数据恢复
  • 方案介绍
    • 数据所有者
      • 为了隐藏歧视行为
      • 对数据集
        • 可以在发布前
        • 应用
          • 歧视预防方法
    • 例子
      • 抑制歧视
        • 在发布的数据中
        • 以最小的决策属性失真
      • 使发布的数据集
        • 通过
          • 重新标记一些元组
        • 不偏倚
          • 为受保护组
    • 这种防止歧视的策略
      • 类似于
        • 数据发布的匿名化机制
      • 数据匿名化
        • 构造为
          • 约束优化问题
            • 生成具有最小失真的表
            • 同时满足给定的一组隐私需求
    • 最小化信息损失的尝试
      • 为攻击者
      • 提供了漏洞
    • 最小攻击
      • 给定发布数据集中
        • 个人的非敏感信息
        • 隐私策略
        • 用于匿名化的算法
      • 是恢复私有数据的策略之一
        • 从最优匿名化数据中
    • 反歧视权威机构的目标
      • 从公开的数据中重构出原始数据
      • 对重构数据
        • 应用直接的歧视发现技术
        • 揭示歧视
    • 最小攻击
      • 可以很容易地
        • 重新提出
        • 作为支持鉴别发现
  • 方案细节
    • 论文假设
      • 发布的数据集r0对原始数据集R的更改最小
      • 以抑制
        • 历史歧视性做法
    • 例子
      • 传递方法
        • 通过
          • 提升决策值
            • (从−到+)
          • 降低决策值
            • (从+到−)
        • 更改最小数量的元组
          • “最小”是指执行了许多更改
          • 使得发布数据集的RD度量为0
    • 歧视强度(DiscInt)
      • 假设反歧视当局
        • 作为背景知识
        • 知道
          • RD的原始值
    • 价值可以估计
      • 根据声称受到歧视的个人所作的声明
    • 论文利用了
      • 已提出的观察结果
      • 鉴别
        • 会影响
          • 分类器靠近决策边界的元组
    • 论文
      • 元组排序
        • 为了
          • 确定决策边界
        • 分别进行排序
          • 受保护组
          • 未受保护组
      • 正决策概率
        • 根据从R0训练的分类器
        • 进行排序
      • 恢复标签
        • 通过
          • 改变决策边界中的元组的决策值
            • 受保护组
            • 不受保护组
        • 恢复r的原始决策标签
  • 图6分析
    • 作为一个反歧视机构
      • 怀疑在公布的数据中隐藏的歧视模式
    • 该局对原始数据的改动很小
      • 以压制该公司的历史歧视性做法
    • 论文
      • 要恢复歧视性数据
      • 分别进行排序
        • 采用概率分类器
          • 如朴素贝叶斯
        • 对男性元组和女性元组的概率
    • 假设DiscInt = 40%
      • 意味着两个元组被重新标记为抑制性别歧视
    • 过程DataRecovery
      • 选择接近决策边界的元组
      • 作为校正的候选对象
    • Prob在50%左右
      • 决策值将会改变
  • 算法3
    • 具体算法细节于文档中展现
  • 算法4
    • 具体算法细节于文档中展现
• Experiments 实验
  • 情景一:间接歧视发现
    • 论文
      • 在德国信用和成人数据集上
      • 试验了
        • 算法1的Frechet边界方法
    • 个人状态属性
      • 对于前一个数据集中
        • 表示非单身女性受保护群体
        • 被删除
          • 在应用算法前
      • 对于后一个数据集中
        • 对受保护的非白人组
        • 采用相同的方法
    • 封闭式项目集计算方法
      • 最低支持阈值设置为20
        • 即德国信贷的2%
      • 将最低支持阈值设置为48
        • 即成年人的0.1%
    • 论文
      • 通过
        • 从原始数据集
        • 计算背景知识列联表
          • 算法1中的ctbg
      • 模拟可用性
    • 论文
      • 实际只查找集合I中随机数ni
        • 为了评估可用背景知识大小的影响
        • 算法1的第4行
      • 用ni = 1进行实验
        • 反歧视机构只知道一项相关的知识
      • 当ni = 5时
        • 乐观的ni = 30
  • 图7分析
    • 图7(顶部)
      • 显示了算法1计算的
        • RD测度的界限联列表
          • German credit
          • 成人数据集
      • 显示了列联表的分布
        • 其下界大于或等于给定的阈值α
      • 显示了此类列联表的总数(标签总数)
      • 显示了下界与上界重合的列联表的数目(标签精确)
    • 得出两个事实
      • 首先
        • 如果推断的下界大于0.3
        • 那么它是高概率的精确的(95%或更高)
      • 其次
        • ni值越高
        • 推断出的下限越高
    • 图7(中间)
      • 显示了回忆的方法
    • 图7(底部)
      • 显示了各种实验的耗时
      • 包括提取封闭项集所需的时间(用FIM表示)
    • 算法1所需要的时间
      • 主要取决于封闭项集的数量
    • 背景知识的大小(ni参数)
      • 有剩余影响
  • 场景二:隐私意识歧视发现
    • 论文
      • 试验了
        • 200元组的子集(resp)
    • 数据集
      • 成人德国信贷数据集
      • 个人种族属性
    • 个人状态均衡分布
      • 需要应用l-多样性数据处理
      • l = 4
        • 为个人地位值的个数
      • 包括
        • 受保护的非单身女性群体
    • 元组
      • 被划分成l元素组
      • 具有不同的个人状态
  • 图8分析
    • 图8给出了
      • 算法2处理的前10K列联表的RD下界分布
    • 下界磅(a)
      • 在第7行是随机生成的间隔从0到的实际值
    • 观察到的数量和范围的精确推断为
      • 对比图与图7中
      • 图8中的情节是对数刻度的轴
      • RD远低于在场景中I
    • 在情景I中
      • 假设与决策值精确已知的组之间存在关联
    • 方案一和方案二并不是相互排斥的
      • 可以采用混合方法来改进推断范围
  • 场景III:歧视性数据恢复
    • 论文
      • 数据集
        • 成人数据集
          • 受保护群体女性
        • 犯罪和社区数据集
          • 受保护群体黑人
      • 进行了实验
    • 假设歧视强度
      • 犯罪和社区
        • DiscInt=43%
      • 成人数据集
        • DiscInt=19.45%
      • 这些数据
        • 从原始数据集
        • 可以计算出来
    • 论文
      • 释放数据集之前
      • 通过按摩方法
      • 抑制
        • 这些差异
    • 论文
      • 采用
        • 算法3的逆向工程方法
      • 重构
        • 原始数据
      • 衡量
        • 通过
          • 查全率
          • 查准率
        • 算法3的性能
    • 原始数据集R
      • 可以作为性能比较的基础数据
    • Recall
      • 计算
        • 修正后的元组的数量
    • Precision
      • 度量
        • 实际修正后的元组的数量
  • 图9分析
    • 图9所示
      • 连续的性能度量
    • 提出的方法
      • 重建成人、犯罪和社区数据集
        • 具有较高的精度和召回率
      • 抑制19.45%和43% DisctInt resp
      • 取得了很好的效果
    • 结果表明
      • 该方法恢复社区和犯罪数据集的准确率达到59%
      • 可以帮助相关部门识别被抑制的歧视模式
    • 恢复过程
      • 在成人数据集上相对不准确
      • 因为
        • 保护组和未保护组之间存在较高的不平衡
    • 图9还显示了
      • 逐步恢复数据和精细概率评分计算的优势
• Conclusions 结论
  • 相关工作
    • 歧视分析
      • 是一个多学科的问题
        • 社会学原因
        • 法律论据
        • 经济模型
          • 统计技术
    • 考虑了
      • 从数据挖掘的角度
      • 反歧视问题
    • 建议
      • 针对使用数据挖掘
      • 衡量和发现歧视
    • 其他建议
      • 涉及防止数据挖掘本身
      • 成为歧视的根源
    • 收集了
      • 对歧视有意识的数据挖掘
        • 贡献摘要
    • 隐私保护数据挖掘（PPDM）
      • 是2000年提出的
        • 详细说明可以找到
      • 尽管
        • 相关工作始于1970年代
    • 在发布和分析之前
      • 先对数据进行消毒
        • 根据某些隐私准则
    • 攻击者
      • 在某些情况下
        • 可以使用不同数量的
          • 技能
          • 背景知识
      • 重新识别敏感信息
        • 从经过清理的数据中
    • 相关人员
      • 收集了
        • 分类法的摘要
          • 不同隐私攻击策略的贡献
      • 解决了
        • 在数据发布和挖掘中
        • 实现问题
          • 同时防止歧视和隐私保护
    • 第一项工作
      • 利用了
        • 从隐私文献中获取工具的目的
      • 目的
        • 在严峻的条件下
          • 例如三种情况下
        • 发现歧视性做法
  • 论文结论
    • 发现歧视性情况和做法
      • 隐藏在历史决策记录数据集中
      • 是一项极为困难的任务
    • 困难原因
      • 首先，有很多可能的情况
        • 可能会或可能不会
          • 成为歧视的舞台
      • 其次，可能成为歧视对象的特征
        • 没有直接记录在数据中（方案I）
      • 第三，原始数据先前已经过预处理
        • 由于
          • 隐私限制（方案II）
          • 隐藏歧视（方案III）
    • 论文
      • 针对上述三种情况
      • 提出了
        • 新的歧视发现方法
          • 受隐私攻击策略启发
    • 论文结果
      • 从
        • 已探究的隐私保护数据挖掘领域
      • 到
        • 新兴的具有挑战性的歧视发现领域
      • 可视为
        • 朝着技术的系统应用
          • 迈出的重要一步