《AI绘画教程 Stable Diffusion技巧与应用》精粹

这是一个关于《AI绘画教程 Stable Diffusion技巧与应用》精粹的思维导图,是一本内容丰富、实战性强的AI绘画教程书籍，对于想要学习AI绘画的读者来说具有很高的参考价值。

《AI绘画教程 Stable Diffusion技巧与应用》精粹

• 第2章 绘画网站 NovelAI
  • 2.1 NovelAI介绍
    • 浏览器搜索NovelAI官网进入
    • Login 登入。登录或注册
    • Manage Account 管理账户
    • Genertate 1 Image 产生形象。开始绘画
    • Prompt 提示。文本生成框。英文单词集合，上限255个
    • Undesired Content 不想要的内容。反向提示词
    • Add a Base Img（Optional） 增加形象基地 可以选择。图片上传
    • NAI Diffusion Anime（Curated） 扩散动画 策划
    • NAI Diffusion Anime（Full） 扩散动画 满了
    • NAI Diffusion Furry（Beta V1.3） 扩散毛 贝塔
    • Normal Portrait 普通人像
    • Steps 采样步数，控制精选程度
    • Prompt Guidance 即时指引。提示词倾向程度
  • 2.2 利用文字描述生成图片
    • 提示词模板：前缀+人物形象+背景+辅助效果
    • Seed随机种，代表每一张图片独特的数字编码
  • 2.3 利用图片生成图片
    • 用DesignDoll简单摆出角色姿势，对人物进行截图。在NovelAI中上传图片
    • 强度（strength）默认0.7，噪声（Noise）默认0.2
    • 强度增加和噪声降低，细节部分表现越显著
  • 2.4 NovelAI的其他使用技巧
    • 使用“()”来修饰提示词，该提示词权重会乘以1.1
    • 使用“[]”来修饰提示词，该提示词权重会除以1.1
    • 使用多层括号会继续增加权重
• 第3章 绘画工具Stable Diffusion
  • 3.1 Stable Diffusion安装配置介绍
    • 在线版本需收取费用，离线版本开源且拓展性极强
  • 3.3 Stable Diffusion基础页面介绍
    • txt2img 依据文本生成图像
    • img2img 依据图像生成图像
    • Train 训练
    • Settings 设定
      • Saving images/grids 保存图像/网格，Always save all generated imges 是否始终保存所有生成的图片
      • Paths fpr saving 生成图片的存储路径，txt2img-images、img2img-imges文件夹，在outputs文件夹中找到
      • VAE缓存在内存中的占用等级。默认为0，提高占用等级可加快AI绘画速度
    • Extensions 接发。检查更新并勾选新的插件版本。Apply and restart UI应用并重启
  • 3.4 尝试用Stable Diffusion绘画
    • Generate 产生。生成进度条
    • Batch count 批次计数。生成图片数量
    • Sampling steps 采样步数
    • Sampling method 采样方式
  • 3.5采样方式和采样步数的选择
    • txt2img页面底部单击Script（脚本）下拉列表，选择X/Y/Z plot
    • X type选择Sampler（取样器）
    • Y type选择Steps（迭代步数）如“20,30,40,50”
    • Z type保存默认的Nothing
• 第5章 Stable Diffusion进阶技巧
  • 5.1 多元效果的表现
    • AI往往会将距离较近的提示词加强联想
    • 利用权重溢出：加“()”表示乘以1.1，加“[]”表示除以1.1，加“{}”表示乘以1.05
  • 5.2 结构化提示词和插件的使用
    • 提示词
      • 主优景次
      • 质量+主体+主体状态+背景+背景位置
    • ControlNet插件的使用
      • 打开Stable Diffusion，在Extensions（接发）中找到Available（有空），看到Load from，单击进去后就可以看到插件
      • 插件列表加载完毕后，在Extension这一栏中找到sd-webui-controlnet manipulations，install安装
      • 单击Check for updates自动寻找更新。单击Apply and restart UI重启
    • 5个常用模型
      • Canny（边缘检测模型）
        • Weight权重
          • Guidance Start引导介入时间，默认为0
          • Guidance End引导结束时间，默认为1
        • Annotator resolution预处理分辨率
          • Canny low threshold该模型低面
          • Canny high threshold该模型高面
        • Preview annotator result生成预处理图像（黑色线稿）
      • Depth（深度模型）
        • 同时使用两个模型：在Control Model-0中预处理器和模型都选择Canny，在Control Model-1中预处理器和模型都选择Depth
      • Hed模型
        • 对于边缘的粗糙程度把控得很好，很适合处理线条较为杂乱的草图
      • Scribble模型：识别简单的涂鸦
      • OpenPose模型
  • 5.3 案例：火焰天使制作详解
    • 长方形图像的背景效果在一定程度上优于正方形图像的背景效果，更宽的画幅能表现出更丰富的背景元素和人物服饰细节
  • 5.4 制作AI动态视频
    • 在GitHub上搜索sd-webui-mov2mov插件进行安装
    • 将导出的MP4文件拖入mov2mov插件的主界面中
  • 5.5 关于AI绘画工作流程的现实参考
    • 游戏策划原本流程为：明确需求→绘制原画→验收原画
    • AI绘画介入后流程为：使用AI跑图验证需求方向→选择合适的AI进行精修→验收经过精修的图像
• 第6章 使用Colab云部署AI绘画工具
  • 6.1 云部署Stable Diffusion
    • 本地部署或运行时可能会遇到配置或代码方面的难题，云部署无须占用本地的计算机资源
    • 打开GitHub页面搜索stable-diffusion-webui-colab（详见笔记主体）
  • 6.2 云部署Disco Diffusion
    • Google中搜索Disco Diffusion，找到Disco Diffusion Colab进入主页（详见笔记主体）
    • Diffusion and CLIP model settings 扩散和CLIP模型设置
    • use_secondary_model 使用次要模型
    • diffusion_sampling_mode 扩散采样方式。选择采样方式，有Plms和ddim
    • Custom model 定制模型。填写使用模型的路径
    • batch_name 输出图像的名称
    • Animation Settings 动画设置。设置是否输出动画和以哪种模式输出动画，有2D、3D、Video Input（视频输入）
    • Extra Settings 额外设置。设置过程图的生成数量
    • intermediate_save 中间保存
    • display_rate 展示速率。设置渲染图的刷新频率，默认为20，代表迭代20次后刷新一下渲染图
    • n_batches 批次。设置生成图片的数量，默认为50张
• 第7章 用AI绘画辅助制作虚拟偶像
  • 7.1 通过AI绘制立绘样图
    • 在CIVITAI中搜索charturner，可以看到两个版本，LORA版本和TEXTUAL INVERSION版本（详见笔记主体）
  • 7.2 EasyVtuber下载、安装及使用
    • 在GitHub上搜索并找到EasyVtuber（详见笔记主体）
    • Character 人物形象
    • Face Data Source 面部数据来源。脸部动作通过何种方式输入
    • iFacialMocap通过苹果手机的摄像机进行面部表情捕捉
    • OpenSeeFace 睁开眼睛。对Unity上的VRM模型进行面部捕捉
    • Webcam（opencv）基于opencv的网络摄像头
    • Mouse Input 鼠标输入。常见的通过捕捉鼠标位置来计算人物脸部朝向
    • Initial Debug Input 初始调试输入
    • Extra Options 额外的选择。选择是否启用一些额外的设置
    • 包括Eyebrow（iFMOnly）眉毛捕捉（仅限iFM）、Extend Movement扩展动作、Anime4K、Alpha Split透明度分离、Bongocat Mode（Bongocat模式）
    • Output输出方式，可以选择Unity Capture（Unity内部捕获）或OBS Virtual Camrera（OBS虚拟摄像头）
    • Facial Input Simplify 面部捕捉表情简化
    • Model Simplify 模型简化
    • Cache Size（RAM+VRAM）内存和虚拟内存的占用
    • 角色图像处理：在Photoshop中打开EasyVtuber的例图进行裁剪，使用合适工具将人物从背景中抠取出来，矩形选框工具框住图层，Ctrl+J复制一层
  • 7.3 视频输出
    • 安装OBS：进入OBS官网，Download，Previous Releases（上一版本），下载OBS
    • 安装StramFX：在GitHub中搜索obs-StreamFX，找到StreamFX 0.11.1单击
    • 安装stratcontent：在GitHub中搜索stratcontent（分层内容），进入后单击Code（密码），Download ZIP
    • 安装shader：在GitHub中搜索找到shader（着色器）项目页面，下载对应压缩包
    • 视频输出演示
      • 打开OBS，“+”新建场景并重命名
      • 属性-视频采集设备2，OBS Virtual Camera
      • 打开EasyVtuber选择Face Date Source中的Mouse Input和Output中的OBS Virtual Camera
      • Stop停止运行，Extra Options中Alpha Split再次启动
      • 鼠标右键视频采集设备2，选择滤镜，“+”选择着色器
      • 单击滤镜效果中的着色器1，单击文件后浏览，找到shhader-master路径，选择merge alpha2.hlsl