导图社区 A Survey on Bias and Fairness
A Survey on Bias and Fairness in Machine Learning 机器学习中公平性和偏见的研究综述
网络空间安全中Web安全方向的实例，主要为服务器的安全，如防范IP、域名、SQL数据记录、XXS等信息的泄露或攻击
现代密码学的相关知识，内容有流密码、分组密码体制、公钥密码、密钥分配与密钥管理、网络加密与认证、可证明安全、密码协议、数字签名和认证协议、消息认证和哈希函数。
社区模板帮助中心，点此进入>>
互联网9大思维
安全教育的重要性
组织架构-单商户商城webAPP 思维导图。
个人日常活动安排思维导图
域控上线
西游记主要人物性格分析
17种头脑风暴法
python思维导图
css
CSS
A Survey on Bias and Fairness in Machine Learning
Abstract摘要
研究背景
系统用于许多敏感的环境
现有系统和程序可能存在的偏见
设计准则
设计人工智能系统和应用时
考虑到公平问题
确保这些程序
没有歧视行为
本文贡献
调查了
不同应用程序
以不同方式显示偏差
列出了
不同偏见来源
可能影响人工智能应用程序
创建了
一个分类
为机器学习研究者定义的公平性定义
以避免AI系统中存在的偏见
研究了
AI中的不同领域和子领域
展示了
观察到的关于不公平结果的情况
研究人员在最先进的方法中
如何试图解决这些问题
不足之处
仍然有许多未来的方向和解决方案
可以减轻AI系统的偏见
Introduction介绍
算法应用
推荐电影
购买产品建议
贷款申请
约会
雇用
算法好处
不会感到疲劳或厌烦
考虑更多因素
不公平算法
它的决策偏向于某一特定群体
例子
惩教罪犯管理分析替代制裁(COMPAS)
衡量一个人重新犯另一种罪行的风险
对非裔美国人偏见
选美冠军进行评判的人工智能系统
对肤色较深的选手存在偏见
数码相机中的面部识别软件
对亚洲人眨眼的预测过高
研究流程
确定了
机器学习不公平的两个潜在来源
产生于数据偏差
产生于算法
回顾了
一些研究
调查数据的偏差是如何影响机器学习算法的学习结果
算法本身工作方式上的细微差别
差别阻碍了它们做出公正的决定
现实世界案例
不公平的机器学习算法导致了次优和歧视的结果
描述了
数据中出现的多种类型的偏差
介绍了
不同方式
公平概念在文献中
讨论了
这两个概念耦合的方式
将关注
不同系列的机器学习方法
公平性如何在每一种方法中不同地体现
目前处理它们的最先进水平
每个领域未来工作的潜在领域
Real-World Examples of Algorithmic Unfairness 算法不公平的现实例子
AI应用领域
判案决策
医疗领域
儿童福利系统
自动驾驶汽车
算法存在偏见
人工智能聊天机器人
就业匹配
航班路由
自动移民法律援助
搜索和广告放置
机器系统存在偏见
人脸识别应用
语音识别
搜索引擎
COMPAS存在问题
使用特性
使用了137个特性
只有7个特性被展示
决策时
并不比简单的逻辑回归模型好多少
调查来源
存在不公平和偏见
研究人员引入
可以评估工具或系统的公平性的工具
Aequitas
是一个工具集
让用户测试关于不同人口子群体的几种偏见和公平指标的模型
制作报告
根据获得的数据
帮助数据科学家、机器学习研究者和决策者
做出有意识的决定
避免对某些种群
伤害和损害
AIF360
IBM开发的另一个工具包
帮助将公平研究算法
转移到工业环境中
为公平算法
创建一个基准以进行评估
为公平研究人员
提供一个环境来分享他们的想法
歧视行为在算法中很明显
招聘广告
与男性相比，女性很少看到广告
面部识别系统
推荐系统
Bias in Data数据偏差
Types of Bias 偏差的类型
历史的偏见
世界上已经存在的偏差和社会技术问题
表示的偏见
产生于我们对总体的定义和采样方式
测量偏差
发生在我们选择、利用和测量特定特征的方式上
评价偏见
发生在模型评估过程中
聚合的偏见
当通过观察其他不同的子群体得出错误结论时
或当对一个群体的错误假设影响模型的结果和定义时
人口的偏见
特征与原始目标群体不同时
辛普森悖论
子群体被聚集时观察到的关联或特征有很大的不同
纵向数据谬误
把横断面数据当作纵向数据来处理
抽样偏差
由于子组的非随机抽样而产生抽样偏差
行为偏差
源于跨平台、上下文或不同数据集的不同用户行为
内容生产偏差
内容在结构、词汇、语义和句法上的差异
连接的偏见
网络属性不同并歪曲了用户的真实行为
世俗的偏见
源于不同时期人群和行为的差异
流行的偏见
越受欢迎的物品越容易被曝光
算法的偏见
输入数据中不存在的偏差
用户交互偏差
演讲的偏见
信息如何呈现的结果
排名的偏见
排名靠前的搜索结果是最相关、最重要的
社会偏见
当他人的行为或内容影响了我们的判断时
紧急偏见
由于人口、文化价值观或社会知识的变化而产生的
自我选择偏差
抽样偏差(sampling bias)的一个子类型
忽略变量偏差
模型中遗漏了一个或多个重要的变量
因果的偏见
相关性意味着因果关系
观察者偏见
将他们的期望投射到研究上
资助的偏见
为了支持或满足该研究的资助机构或资助人而报告
Data Bias Examples 数据偏差示例
使用不平衡的数据会对代表性不足的群体产生偏见
IJB-A和Adience这样的数据集是不平衡的
浅肤色的受试者
在IJB-A中有79.6%
在Adience中有86.2%
不考虑子群体时产生偏差
只考虑男性和女性群体是不够的
还要细分为
浅肤色女性
浅肤色男性
深肤色男性
深肤色女性
数据向特定人群倾斜
可能对代表性不足的社区造成危险的后果
临床研究中对非裔美国人的排斥
导致对他们的错误分类
基因型数据集
2098人(87%)是欧洲人
58人(2%)是亚洲人
50人(2%)是非洲人
Algorithmic Fairness算法公平
背景叙述
反对偏见和歧视有着悠久的历史
在哲学和心理学中
公平的普遍定义并不存在
人们对看待公平的不同方式的偏好
不同文化中的不同偏好和观点
很难给出
一个人人都能接受的单一定义
大部分新算法公平约束
来自西方
Types of Discrimination 歧视类型
直接歧视
当个人受保护的属性明确地导致对他们不利的结果
间接歧视
保护隐性属性，仍然会受到不公正的对待
系统性的歧视
组织文化或结构可能会对子群体永久存在歧视
统计歧视
使用平均群体统计数据来判断属于该群体的个人的现象
可辩解的歧视
差异可以通过某些属性得到解释
不可解释的歧视
不可解释
Definitions of Fairness 公平的定义
政治哲学中
在教育和机器学习领域
解释了算法分类问题中用于公平性的一些定义
普通公众对计算机科学文献中某些公平定义的看法
重申并提供一些最广泛使用的定义
Methods for Fair Machine Learning公平机器学习的方法
Bias Mitigation 减轻偏见
Fair Machine Learning 公平机器学习
Fair Representation Learning 公平代表学习
Fair NLP 公平的自然语言处理
Challenges and Opportunities for Fairness Research公平研究的挑战与机遇
Challenges 挑战
综合公平的定义
关于公平的几个定义已经在文献中提出
对公平性的看法有些不同
不知道公平解决方案在另一种公平定义下运作
将这些定义合二为一是有待研究的问题
从平等走向公平
定义大多关注于平等
确保每个个体或群体得到相同数量的资源、关注或结果
很少注意到公平
给予每个个人或团体成功所需的资源
实施、研究或反驳公平定义
是一个令人兴奋的未来方向
寻找不公平
给定了公平的定义
可以在特定数据集中识别这种不公平的实例
通过检测辛普森悖论的实例在任意数据集
可能需要更多地考虑不公平
由于定义的多样性以及在检测每个定义时的细微差别
Opportunities 机遇
对算法偏差和公平性的研究现状
进行了分类和总结
特别关注机器学习
即使仅在这一领域，研究也很广泛
各个领域都在努力使他们的方法更加公平
自然语言处理
表示学习
社区检测
不是每个领域都得到了
研究界同样多的关注
按照公平定义类型和领域进行分类
在不同领域中为解决公平问题所做的工作
一些领域在文献中没有得到重视
如
亚群水平的社区检测
可能是未来的丰富研究领域
Conclusion结论
问题
在偏见方面对人工智能产生不利影响
主要从两个方面来看待
数据
算法
说明了
为什么考虑公平是一个重要的问题
提供了
不公平对社会造成的危害
司法系统中的应用
人脸识别
推广算法
公平和偏见的定义
研究人员提出
在不同领域完成的工作
一般机器学习
深度学习
为了
进一步激发读者的兴趣
以解决
可能影响人工智能系统的偏见
人工智能的不同方法和领域
分析处理
将字段
进一步细分为对每个子域的更细粒度分析
处理
每个子域中的公平约束所做的工作
目的
扩大读者的视野
以便
在研究系统或方法时能进行深入思考
以确保
它不太可能对某特定群体造成伤害
进行了
对到目前在不同领域中针对公平问题的所做工作
分类
创建其他方向
我们在前几节中讨论的AI中存在的问题和偏见
