深度网络的可解释性

深度网络的可解释性、总体来说, 随着深度神经网络在众多领域取得巨大成功, 可解释性也越来越受到关注、更多的关注安全性, 可解释性和透明性, 不单纯以SOTA(state of the art) 论英雄。

深度网络的可解释性

• 深度网络的可解释性
  • 为什么需要可解释性
    • 高可靠性的要求
    • 透明性
    • 伦理/法规的要求
  • 神经网络可解释性维度
    • Dimension 1-Passive vs Active
      • Passive:在训练后解释
      • Activate:主动地改变网络结果或者训练过程以提供更好的可解释性。
    • Dimension 2-Global vs Local
      • Global:整体网络/样本/语义/属性上提供解释性
      • Local:部分网络/样本/语义/属性上提供解释性
    • Dimension 3-Type of Explanations
      • Rules:按照逻辑规则解释
        • 逻辑严谨, 实现简单, 但不适合复杂网络
      • Hidden Semantics:按照语义解释
        • 容易理解, 实现简单, 适用范围小
      • Attribution:按照属性解释
        • 可用于复杂网络, 实现比较复杂
      • Examples:按照样例解释
        • 容易理解, 实现简单, 适用范围小
  • 神经网络解释类型
    • Rules:按照逻辑规则解释
      • 分解法
        • KT
      • 教育法
        • DecText
    • Hidden Semantics:按照语义解释
      • 找出或生成图片
      • 找出图片的某一部分
      • 使得神经元/层/整个网络的激活值最大
    • Attribution:按照属性解释
      • 用抽样方法进行局部探索
      • 用简单的可解释模型在局部上接近复杂模型的效果
      • 代表方法: LIME
    • Examples:按照样例解释
      • 寻找和待解释的样本最“相似”的一个训练样本
  • 总结
    • 总体来说, 随着深度神经网络在众多领域取得巨大成功, 可解释性也越来越受到关注
    • 更多的关注安全性, 可解释性和透明性, 不单纯以SOTA(state of the art) 论英雄
    • 当前神经网络可解释性研究主要是事后解释型居多, 主动干预型比较少, 属性解释型居多, 示例解释型较少, 这些空白都是可以继续研究的方向
• Author: Muu