导图社区 Stable diffusion整理
- 397
- 23
- 4
- 举报
Stable diffusion整理
Stable diffusion整理，包含基础的用法和使用规则，和常用的提示词和基础使用方式，希望这份脑图会对你有所帮助。
编辑于2023-09-04 17:20:12 四川省- Stable Diffusion
- ai绘画
- Stable diffusion教程
- 相似推荐
- 大纲
Stable diffusion整理
前期准备
云端部署
针对硬件不行的伙伴，安装过程复杂，打开较慢
本地部署
https://www.bilibili.com/video/BV17d4y1C73R/?spm_id_from=333.788.video.desc.
秋叶大大的安装包，干净，稳定
SD绘画流程
打开SD
选择合适大模型
选择功能类型
输入提示词
调整参数
选择合适的插件
生成图片，是否满意
保存导出图片
完成画图
图生图
其他
模型网站推荐
C站
可下载模型。模型效果图信息显示在图片右下感叹号处，点击即可查看作者给出的参数信息，将参数值填入SD的参数配置区中，可还原生成与作者相同的图片效果，如果发现不一致，那可能是硬件上的不同，导致随机种子的值的偏差
liblibai
国内复刻版C站，基本够用
抱脸：huggingface.co
最大最全
模型
大模型（主要模型）
定义:，该模型数据集最大且影响也最大，所以称为大模型，基本上C站上所有的模型都是基于官方的不同版本进行再训练后打包的。
尾缀ckpt、safetensors，大小2G-7G左右
存放路径：D:\AI\sd-webui-aki\sd-webui-aki-v4.1\models\Stable-diffusion
常用大模型及使用方式： chilloutmix_NiPrunedFp16Fix 真人模型，高质量 CounterfeitV30_v30 动漫模型，高质量，搭配easy negative使用更佳 meinamix_meinaV10 动漫模型，出色的创作 revAnimated_v11 盲盒模型，搭配lora：blindbox_V1Mix Ghostmix 动漫模型，色彩鲜艳 Ether blu mix 动漫模型，色彩鲜艳，细节丰富
后面加入的大模型： gameIconInstitute_v30 游戏图标3D设计 sdvn53dcutewave_v10 卡通插画3D模型，类似lora儿童插画ouka_horror 恐怖中国元素风格
VAE（美化模型）
定义：给图片上一层滤镜，改变图片原有的颜色风格，有些大模型中有自带的VAE，所以根据情况选择，一般勾选整合包内：vae-ft-mse-840000-ema-pruned模型
名称中带有：VAE，大小500MB左右
存放路径：D:\AI\sd-webui-aki\sd-webui-aki-v4.1\models\VAE
Lora模型（辅助）
定义: 截取大模型某一特定部分生成的小模型，因为训练的方向明确，所以在生成特定的内容下，会有意想不到的效果
常见模式:尾缀ckpt、safetensors、pt。大小100MB左右
存放路径：D:\AI\sd-webui-aki\sd-webui-aki-v4.1\models\Lora
Embeddings（辅助）
定义：通过角色训练产出，让主模型识别某一特定角色，通过文件名来触发
名称：pt结尾，大小100KB左右
存放路径：D:\AI\sd-webui-aki\sd-webui-aki-v4.1\embeddings
Hypenrnetworks（辅助）
定义：通过画风训练产出，能够指定某一特定画风
尾缀pt，大小100KB左右，默认没安装
路径：D:\AI\sd-webui-aki\sd-webui-aki-v4.1\models\hypernetworks
常用功能类型
文生图
SD主要功能，根据文字描述进行绘图
迭代步数（Steps）：一般选择20-30，太高画面会掉san值
定义：指 sd 用多少步把你的描述画出来。迭代步数每增加一步迭代，都会给 AI 更多的机会去比对提示和当前结果，并进行调整。更高的迭代步数需要更多的计算时间。但并不意味着步数越高，质量越好。
采样方式（Sampler）：一般选择：Euler a、DPM++SDE Karras、DPM++2M SDE Karras中选择，效果更佳
高分辨率修复放大算法选择： R-ESRGAN 4X+（真人），R-ESRGAN 4X+Anime6B（动漫）选择这2个效果更佳
高分迭代步数：一般 10~20 即可。过高会导致画面扭曲，默认0
重绘幅度：一般是 0.5~0.8 之间。幅度过小，效果不好，幅度过大时，和原图差异太大。一般取0.7
放大倍数
宽度高度：根据显存进行调整，8G显存一般不超过768，过高会导致爆显存。总批次数：SD依次生成多少张图片，一般1-8就行了，越多越耗时 单批次数：SD同时生成多少张图片，切记不要调动数值！默认为1请勿调动！
提示词引导系数（CFG Scale）：笼统的来说，给所有的正面和反面提示词都加上一个系数，所以一般CFG越低，画面越素，细节相对较少，CFG越高，画面越腻，细节相对较多
二次元风格CFG： 可以调的高一些以获得更丰富的色彩和质感表达，一般在7~12，也可以尝试12~20 写实风格CFG： 大都很低，一般在4~7，写实模型对CFG很敏感，稍微调多一点可能就会古神降临，可以以0.5为步进来细微调节
随机种子数（Seed）： 随机数种子就是一个特定的数值或代码，可以影响最终生成的图像的过程，就像在做一道菜时加入特定的调料，它可以影响这道菜的味道。随机数种子不变的情况下，即使模型发生了改变，最终生成图的大概结构和配色也会有一定相似性，默认-1（指随机值）
图生图
图生图
缩放模式：选择默认就好
重绘幅度：越低越相似
重绘尺寸：点击后方小三角即可将图片尺寸数据复制到尺寸中
涂鸦
无蒙版功能，笔刷决定出图颜色，可用多种色彩
根据涂鸦的区域，修改关键词和重绘幅度以完成涂鸦内容的修改
图片右上角多了一个涂鸦工具，笔刷的颜色会影响出图的颜色子主题
推荐插件：canvas-zoom，图片左上角会有一个感叹号，可以辅助涂鸦，放大缩小图片等
S：全屏模式
H：油漆桶
简笔画生成图片时，需要将内容描绘出来，然后将重绘幅度增加，一般大于0.65左右效果较好
F：长按可以拖动图片
局部重绘
有蒙版功能，笔刷只决定蒙版
蒙版边缘模糊度：相当于高斯模糊，越高，边界越模糊
蒙版区域内容处理
填充（Fill）：不考虑原图的任何元素
原图（Original）：根据原图的元素生成图片
潜在噪声：不考虑原图的任何元素，更有想象力和细节
空白潜空间：不考虑原图的任何元素，类似填充，细节更多，用的少
重绘区域
整张图片：像素集中在整张图片中，蒙版区域像素精度会少一些
仅蒙版区域：像素集中在蒙版区域，细节会更多，做局部修改的时候建议选择该模式
仅蒙版区域下边缘预留像素：让蒙版参考周围环境像素的值
涂鸦重绘
可上颜色可做蒙版，涂鸦和局部重绘的结合
上传重绘蒙版
模特换装，换脸用的比较多
结合PS，将图片需要的部位扣下来，改为黑白的蒙版然后导入其中，白色是改变的区域，黑色是不改变的区域
批量处理
输入目录：路径必须为英文
后期处理
对生成的图片进行放大处理
超好用的放大模型：4xUItraSharp。下载地址：https://mega.nz/folder/qZRBmaIY#nIG8KyWFcGNTuMX_XNbJ_g 下载完成后放入根目录-Models-ESRGAN文件夹内，效果比4X+好用
GFPGAN可见程度（面部修复程度）：修复人像，老照片修复选择，只能修复面部
CodeFormer（面部重建程度）：修复老照片，但会对面板做改变
PNG图片信息
将你制作的图片信息显示出来
模型融合
将多个模型进行不同权重的合并，从而获得一个新的模型
训练
Openpose编辑器
3D Openpose
3D人物模型编辑，尺寸需要保持为你图片尺寸
编辑完成后发送到文生图ControlNet，选择All，模型选择openpose，根据图片调整权重即可
Additional Networks
无边图像浏览
模型转换
WD1.4标签器（Tagger）
图片Tagger反推器
设置
扩展
扩展
Tiled diffusion
负责扩散生成图像
潜空间：区块图像的宽度、高低、分块重叠数，维持宽高相等，64-160之间的正方形即可。 MultiDiffusion潜空间分块重叠选择32-48，另一个选择16-32最佳
使用方式：Tiled diffusion和Tiled VAE一般同时启用，当你生成一张图片后，点击图生图，维持所有参数和种子的不变，将重绘幅度降低，一般为0.3（基本变化），放大算法选择4X-Ultrasharp或常用的4X+，
勾选保持输入大小，直接调整放大倍数，不保持输入大小，则直接调整图片宽高比为倍数变化
Tiled VAE
负责编码与解码，将图像打入or捞出潜空间
设置为默认就好1536/96，当爆显存，则适当降低默认数值即可；当生成图片色彩不对，则勾选颜色修复
图像的TILE，进行区块化处理：提高分辨率，降低绘制显存，相对于高清修复，效果几乎一样，且更节约时间
Additional Networks
对生成的同一图片中的人物进行不同控制，默认未安装，训练Lora用的插件
ControlNet v1.1.224
5大控制类型
Canny（线稿）
数值调整：low threshold（低阈值，识别暗部）当画面需要识别的线条识别度不够的时候可以调整高低阈值，使其达到想要的效果
Depth（深度）
预处理器：depth leres++最精细（推荐）要求不高可选用其他
Openpose（动作姿势）
softEdge（柔和边缘）
整体边缘线条检测HED，保留大的轮廓，比Canny要更有发挥空间
scribble（涂鸦）
预处理器
预处理细节部分
模型
选项和预处理相同的模型类型
控制权重
默认为1，数值越高权重越高
Segment Anything（分离图片元素）
ADeatailer
修复面部，手部工具
开启多单元要按照修复顺序：身体-面部-手部的顺序来执行
案例实操
二维码
流程： 准备二维码-步数30-宽高768-ControlNet设置-提示词设置-生成
ControlNet设置： 第1个设置：重绘（全局融合算法）-亮度，控制权重：0.35-5（5一般可以用，如不行继续加大） 第2个设置：重绘（全局融合算法）-tile（分块），控制权重：0.35，引导：0.33，终止0.7左右
丰富色彩
需要准备1张颜色丰富的背景图片 流程：图生图中上传需要丰富颜色的图片-减少关键词-调整重绘幅度到0.4-0.5之间-ControlNet中上传背景图片，选择shuffle并启用
隐藏二维码（效果更好）
下载：qrcode Toolkit和after detailer（扩展中直接下载） Controlnet模型下载：controlnet-qrcode-monster和亮度brightness模型（liblibAI中下载）
流程： 准备二维码（或者在草料二维码中解码获得地址信息）-上传至SD中的QR Toolkit-调整参数后保存在至ControlNet的0和1-ControlNet设置-开启ADetailer-提示词设置-生成
ControlNet设置：均无预处理 第1个设置：亮度，控制权重：0.15-5（先大后小进行优化）引入0.3，退出0.7或者引入0.6，退出1（40%的干预即可时间） 第2个设置：monster，控制权重：1.2-1.5（先大后小进行优化），引导：0，终止1
提示词格式
格式与表达
多数情况下的提示词格式是 质量词，媒介词，主体，主体描述，背景，背景描述，艺术风格和作者 master piece, best quality, sketch, 1girl, stand, black jacket, wall backgoround, full of poster, by token, 杰作，最好的质量，素描，一个女孩，站，黑色夹克，墙壁背景，充满海报，象征性，一张token画的高质量速写，
指令的三段式表达: 第一段:画面质量:高清的、最好的质量、照片式、画面风格:如油画、写实、卡通;著名艺术家:如毕加索、达芬奇 第二段:画面主体，主体细节概括。主体可以是人、事、物、景，是画面核心内容，描述物体主要特征，主要动作，主要材质如布料、玻璃，主要景色或景色框架等 第三段:场景设定，光影、摄影机、构图与景别:如对称、特写、全景 注:表达尽可能清晰、详细，加上修饰语会有惊喜的效果
权重调节
最直接的权重调节就是调整词语顺序，越靠前权重越大，越靠后权重越低
可以通过下面的语法来对关键词设置权重，一般权重设置在0.5~2之间，可以通过选中词汇，按ctrl+↑↓来快速调节权重，每次步进为0.1 以下方式也是网上常见的权重调节方式，但是调试起来不太方便所以并不推荐 (best quality) = (best quality:1.1) ((best quality)) = (best quality:1.21) ，即(1.1 * 1.1) [best quality] = (best quality:0.91)
常用Tagger
正向：:masterpiece（杰作），best quality（最好的质量）
反向：(bad hands ), (worst quality, low quality:1.2), (missing fingers, missing hands, missing legs:1.4) (extra limbs, extra fingers, extra hands, extra legs:1.4), (mutate fingers, mutated hands, mutated legs:1.4), (malformed hands, malformed fingers, malformed legs:1.4), (poorly drawn hands, poorly drawn face), (text, signature, watermark, username),nsfw,EasyNegative
基础认知
模型命名规范 control_v11p_sd15_canny.pth 项目名+版本号+标识+基础模型版本+功能名+文件后缀名 control：官方总是以control为项目名，还有类似coadapter等 v11：表示1.1版 p：正式产品，e：测试版，u：未完成版；f：修复版 sd15：将stable diffusion1.5版作为基础模型进行训练 canny：模型类型（边缘检测） pth：文件名后缀，一般还有safetensors等
子主题
子主题