controlnet1.1模型介绍

Stable Diffusion中的controlnet1.1模型介绍，本思维导图整理了基础的使用方式和应用，希望这份脑图会对你有所帮助。

controlnet1.1模型介绍

• 线稿类
  • Canny（硬边缘）
    • 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓，常用于生成线稿
    • 预处理器默认512，越高越精细，根据素材调整
    • 长和高阈值：越高线条越简单，越低线条越复杂
  • MLSD(直线)
    • 线条检测用于生成房间、直线条的建筑场景效果比较好。
  • Lineart（线稿）
    • 识别图像中的线稿，相比较于canny，有更出色的表现
      • Lineart coarse，粗略线稿提取
      • Lineart realistic，比较适合动漫
      • Lineart standard，invert ，反色
  • SoftEdge（软边缘）
    • 整体边缘线条检测HED，保留大的轮廓，比Canny要更有发挥空间，通过提取原始图片中的深度信息，生成具有原图同样深度结构的深度图，越白的越靠前，越黑的越靠后。参数也是分辨率越高越精细，但也越吃显存。
• Normal（法线贴图）
  • 根据原始素材生成一张记录凹凸信息的法线贴图，便于AI给图片内容进行更好的光影处理，它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多，常用于贴在低模上模拟高模的复杂光影效果。数值越高越详细，但是时间会增加很多
  • normal bae
    • 整体识别图像的亮暗部
  • normal midas
    • 能控制背景识别的阈值
• Depth（深度）
  • 通过提取原始图片中的深度信息，生成具有原图同样深度结构的深度图，越白的越靠前，越黑的越靠后。
  • 预处理器：depth leres++最精细（推荐）要求不高可选用其他
• OpenPose（姿态）
  • 可生成图像中角色动作姿态的骨架图，这个骨架图可用于控制生成角色的姿态动作。
• Scribble（涂鸦）
• Seg（语义分割）
  • 用颜色把不同类型的对象分割开，让AI能正确识别对象类型和需求生成的区界。语义分割可多通道应用。
    • seg ofade20k
      • 推荐
    • seg ofcoco
    • seg ufade20k
  • 可以前期通过ps绘制色块来进行做图，上传后，取消勾选预处理器既可
• shuffle(随机洗牌)
  • 将上传的图片进行重新组合
    • 绘制同种风格图片
    • 风格迁移
      • 迁移效果很强
    • 制作纹理
• Tile（分块）
  • （英译：瓷砖）原理：将图像拆分成一个个小方块， 分块处理之后再重组处理，可以提高图像清晰度，原理类似Tiled Diffusion以及Tiled VAE的方式，
    • 常用预处理器：Tile resample
      • Down Sampling Rate（下采样率）数值越大，分割的块倍数就越小，你可以理解为：512*512的图，数值为2，则采样方块为256*256
      • 在图生图中：重绘幅度和CFG数值越高，细节越多
      • 用于图生图放大，或者草图细化
        • 优点：姿势不受影响、可以生成更多细节
  • 特性：忽略图像中的细节生成新的细节，局部内容与全局提示词不符合，则忽略提示词，根据周围的块内容推断局部内容
• 局部重绘（inpaint）
  • 图像修复重绘，支持修复边框
• IP2P
  • 无需预处理器，直接输入指令提示,例如输入提示词“变成冬天（into winter）”，"变成黑夜（make it night）"，画面就会直接变成提示词的画面，正面提示词位置输入的是指令"变成"，而不是纯粹的描述。
    • 需要调低CFG小于5
  • 效果不是很理想，一般不使用
• Reference（参考）
  • 风格迁移，参考例图特征进行改变
    • Reference adain
      • 关键词影响大，迁移能力中等
    • Reference adain+attn
      • 关键词影响大，迁移比only弱
    • Reference only
      • 参考图影响大，迁移强
        • 迁移风格、人型元素、光影结构等
• T2IA（自适应）
  • Color Grid
    • 色彩像素处理
  • Sketch Pidi
    • 手绘风格处理
  • Style Clipvision
    • 风格迁移处理
• 使用方式
  • 文生图
  • 图生图
• 起源
  • ControlNet 作者：张吕敏，他是2021年本科毕业，目前正在斯坦福读博的中国人