生成模型

生成网络GAN模型的较为详细介绍，分享了无监督学习、生成模型、模型分类、经典网络的知识，希望这份脑图会对你有所帮助。

生成模型

• 无监督学习
  • 数据
    • 无标签
    • 获取成本低
  • 目标
    • 找出隐含在数据里的模式或者结构
  • 例子
    • 聚类
      • k-means
    • 降维
      • 主成分分析
    • 特征学习
      • 自编码
    • 密度估计
• 生成模型
  • 给定训练集，产生与训练集同分布的新样本
  • 无监督学习里的核心问题
    • 密度估计
  • 典型思路
    • 显示密度估计
      • 定义并求解Px
    • 隐式密度估计
      • 学习模型P，无需显式定义
• 模型分类
  • PixelRNN/CNN
    • 利用链式准则将图像x的生成概率转变为每个像素生成概率的乘积
    • 很复杂，所以需要神经网络来建模
    • ·
    • 特点
      • 优点
        • 似然函数可以精确计算
        • 利用似然函数的值可以有效评估模型性能
      • 缺点
        • 序列产生很慢
  • Variational Autoencoder（VAE）
    • 自编码利用重构来训练低维的特征来表示
    • 变分编码器VAE
      • 假定
        • 输入z是一个向量，服从正态分布
        • z的每一维表示一个属性
      • 特点
        • 优点
          • 生成模型的一种主要方法
          • 可以计算q（z|x)，这个特征表示可以用在其他许多任务中
        • 缺点
          • 最大似然化函数的下边界能够有效工作，但模型本身没有PixelCNN好评估
          • 与GAN相比产生的样本较为模糊，质量较低
  • GAN生成对抗模型
    • 问题
      • 希望从训练样本分布中采样新数据，但是这个分布不仅维度高而且很复杂，难以直接实现
    • 解决
      • 对一个简单的分布采样，如均匀分布；然后学习一种映射将其变换到训练样本分布
    • 组成
      • 生成网络
        • 期望产生尽量真实的图片，进而骗过判别器
      • 判别网络
        • 期望能够准确区分真假图片
    • 采用minimax方式联合训练
      • 交替完成
        • 判别器
        • 生成器
      • 可视化
        • 让生成的伪样本尽可能逼近真实样本的分布，让判别器处于真假不分的状态
• 经典网络
  • 卷积生成对抗网络DCGAN
    • 在训练过程中状态稳定，有效实现高质量图片的生成
    • 规则（经验性）
      • 使用卷积替代池化层
      • 去除全连接层
      • 使用批归一化
      • 使用恰当的激活函数
        • 生成网络使用ReLU、输出层使用Tanh
        • 判别器使用LeaklyReLU
  • GAN优化问题LSGAN、WGAN
    • 问题
      • 当生成样本和真实样本不重叠时，JS散度始终为log2
    • LSGAN目标函数
      • 将sigmod函数改变为线性回归函数
    • WGAN
      • 距离衡量
        • 推土机距离
        • 使得网络向想要的方向进行训练
  • 条件GAN
    • 问题
      • 存在标签一对多的问题，传统神经网络的输出结果和每个训练结果都尽量相近，导致生成的图像非常模糊，甚至无法分辨
      • 期望输出内容是多样的，是可以被控制的
    • 目标函数
    • 实现方案
      • cGAN
      • SGAN
      • ACGAN（常用）
        • 目标函数
          • • Lc为分类损失，Ls为判别真假损失
      • infoGAN
        • 控制隐变量，使其有明确的物理定义
  • 文本到图像
    • StackGAN
  • 图像到图像
    • iGAN
    • Pix2Pix
    • cycleGAN
    • StarGAN
      • 一个网络生成五种风格