导图社区 StableDiffusion AI绘图 入门
SD绘图入门级自学笔记,玩转AI绘图,分享了提示词、咒语、Promt、插件/模型/脚本、Veb Uli前置程序、出图技巧、设置 参数的知识。
编辑于2023-06-27 13:40:01 辽宁SD AI 绘图入门
提示词、咒语、Promt
作用
正向提示词
描述需要生成的画面主要信息
反向提示词
描述需要屏蔽的画面信息
通用标准化提示词
画面描述
内容
人物主体特征
服饰,发型,五官,面部,肢体等
white dress,blonde hair,long hair,small eyes,similing,s't're'tching arms
场景特征
室内\室外
indoor\outdoor
大场景
forest,city,street
环境细节
tree,bush,fish,yellow flower
环境光线
白天黑夜,指定时段,光环境,天空天气
视角
距离,人物比例,观察角度,镜头类型
标准
画质特征
通用高画质
最高质量,4K,超级细节,杰作,高分辨率等
best quality,ultra-detailed,masterpiece,hires,4K
特定高分辨率类型
extremely detailed CG unity 8K wallpaper 超精细8K Unity游戏CG
unear engine rendered虚幻引擎渲染
画风
插画风,二次元,国风,水墨,写实
illustration,painting,paintbrush,anime,comic,game CG,photograph
语法
权重
基础
加数字参数
1.0以上增强突出,以下为减弱
(flower:1.5)&(flower:0.5)
加括号
()一层X1.1,{}一层X1.05,[ ]一层X0.9
进阶
混合
混合多个描述同一物体的提示词
符号 |
white|yellow flower
生成黄白相间的花
迁移
连续生成多个不同特征的对象,不停循环,迁移
符号 [a|b|c]
[white|yellow|red] flower
生成百花、黄花、红花(循环)
迭代
与采样进程关联,一定阶段后生成特定对象
符号 (a:b:0.X)
(white flower:bush:0.8)
进程达到80%之前生成百花,之后生成灌木
咒语窍门、黑科技
翻译软件
汉译英
CHATGPT
AI翻译成SD语言
书写提示词工具
网站
http://www.atoolbox.net/Tool.php?Id=1101
https://ai.dawnmark.cn/
抄作业
学习大佬的风格描写,提示词书写方式,筛选适合自己风格的提示词收藏
抄标准化的提示词
网站
https://openart.ai/
https://arthub.ai/
图生图-反推提示词
分析图片中已有的提示词成分,便于参考
推荐使用Deepbooru
效率高
插件/模型/脚本
资源站
启动器中对应栏目下载
Hugging Face(抱脸):https://huggingface.co/models
深度学习和人工智能的专业网站,大佬多,但找起来不是很直观
Civitai(C站):https://civitai.com/
全世界最受欢迎的AI绘画模型分享网站,除了模型还有很多优秀作品展示
不需要注册即可下载
需要魔法上网
筛选方式
画风标签
模型类型
trained
第一手模型
Merged
混合型模型
模型
某个特定画风的AI计算模板、存档 使用后生成的图片更加贴近想表达风格效果,来确定画面画风的大方向 绝大部分由个人(炼丹)调校上传发布而来
后缀
.CKPT
大模型后缀
.SAFETENSORS
普通模型常用后缀
模型
Chackpoint
整体画风大模型
确定画面整体基调风格,比如水墨,国风,迪士尼,赛博朋克等
普遍为G量级
放置于WEBUI/models/stable-diffusion
调用方式
WEBUI左上角--SD模型下拉菜单--选择--刷新
启动器显示Weights loaded in xxxs
加载成功
训练
显存要求至少12G
对象为某一类型画面整体风格
Lora
低秩适应模型 从大语言模型衍生而来,类似Hypernetwork的单独网络层参数训练,模型大小适中,可以多个LORA模型+权重叠加使用,本地训练需要一定的显存支持
人物风格特征说明
教会AI关于某一事物特征如何进行绘画
普遍为MB量级
放置于WEBUI/models/Lora
调用方式
Promt中使用<lora:xxxx>格式调用对应Lora
见下载页说明
附带参考作者建议的权重值
“生成”按键下模型预览选项
Additional Networks插件
可混合多个LORA
LORA文件存放于SD/extensions/ADDNetwork/models/LORA 文件夹内
与SD的LORA默认存放位置不一样,可在设置中修改成与SD默认在同一个文件夹下,方便调用
训练
显存建议7G以上
对象为人物形象,画风,结构,服饰,物件
Embeddings
词嵌入、嵌入式向量
优化画面细节
例如:多指多肢错乱EMB,在反向提示词中进行调用,用于避免画面错误
普遍很小KB量级
放置于WEBUI/models/Embeddings
调用方式
使用特定Promt口令直接调用
见下载页说明
Hypernetwork
超网络
画风细节特征说明
教会AI关于某一特定的艺术风格进行绘画加工
与Lora作用相似,可以被Lora取代
放置于WEBUI/models/Hypernetwork
调用方式
SD设置--Hyper调用--选择相应的超网络模型进行调用
VAE
变分自解码器
调色滤镜
直接影响画面色彩质感
搭配模型使用
建议备注
存储位置(仓库)
WEBUI/models/VAE
插件
实现一些SD中所不包含的十分方便的功能
位置:WEBUI主页面标签栏最右侧“扩展”栏
安装方式
已安装
显示已安装完毕的插件列表
可一键更新
搜索
输入资源站,搜索其中可用插件
可通过关键词查找筛选,一键安装
在线安装
输入插件的CODE,在线提取安装包进行安装
离线安装
下载打包好的插件包,解压到WEBUI根目录下的extensions文件夹内
重新启动WEBUI,启动插件应用
推荐
Controlnet
控制网络
可在一定程度上控制AI的出图效果,降低随机性,大大增加效率
预处理器
提取图片中的预制信息
系列
openpose动作捕捉
采集人物动作
depth景深
采集图片前后远近遮挡透视关系信息
canny边缘检测(线稿)
铅笔线稿直接上色出图
翻转:默认黑底白线,转成白底黑线进行识别
lineart
softedge柔和边缘
同CANNY作用,但较canny边缘更模糊,AI发挥空间更大
scribble涂鸦
同CANNY作用,但线条更为粗犷,作为轮廓用于AI绘制
模型
需要与预处理器配套
控制模式
调整与Promt提示词之间的权重平衡
平衡模式
偏重Promt或Controlnet
低显存模式
降低显存占用,延长出图时间
PixelPerfact
自动计算合适的出图分辨率,避免糊图
参数默认即可
允许预览
出图同时,自动生成一张该图的动作信息预处理图(骨络图)
点击“爆炸”按钮也可生成一份骨络图
保存后方便以后调用,调用时会自动加载模型和预处理器
混合模式
设置中调整模型加载数量,默认为1
组合形式
动作捕捉+景深透视
Roop
换脸神器
Promt all-in-one
提示词翻译管理神器
建议搭配提示词补全插件tagger使用
资源链接 https://github.com/Physton/sd-webui-promit-all-in-one
插件设置
选择本地语言
选择翻译软件
可选免费/付费翻译器
选择收藏、历史记录
可收藏之前画好图的关键词,直接调用使用
翻译
把已经输入的提示词,或插件读取到的提示词,同时翻译成本地语言提示词
复制、删除关键词
权重调整
点击插件中显示的提示词,可直接调整权重值,并以对应的语法体现在提示词栏中
Web UI前置程序
python
下载链接https://www.python.org/downloads/
安装过程需要勾选path
查看版本
WIN+R
Python -V
CUDA
下载链接https://developer.nvidia.com/cuda-toolkit-archive
查看版本
WIN+R
nvidia-smi
Git
下载链接https://git-scm.com/download
WebUI整合包
下载链接https://pan.baidu.com/s/1_ibEk2OpKHxmEg4AnFOpSA
提取码b145
出图技巧
图生图
给AI喂图让AI了解你想要的画面结构,画风,细节等,以此基础加工生成新图片
用法
导入图片
添加提示词(同文生图)
参数设置
重绘幅度
绘图结果与原图的相似程度
值越小与原图越相近
范围0-1
画面比例
原图尺寸过大需要调整至适合范围
爆显存
拉伸,裁剪,填充
直接放大
爆显存
局部重绘
保持画面不变的情况下进行局部微调绘画
用法
选择蒙版
使用重绘画笔选择修改区域
涂抹区域即为蒙版区域
填写提示词
蒙版模式
蒙版区域内重绘,区域外保持不变
非蒙版区域重绘,蒙版区域内保持不变
蒙版内容
填充
AI自由发挥
原图
保持不变
潜变量噪音、潜变量数值零
蒙版模糊
使拼接处更平滑
根据画面选择值大小调整
建议值10以下
于蒙版区域大小成正比
重绘区域/方式
全图重绘
全图进行重新绘制,但是结果只保留蒙版区域
仅蒙版
蒙版区域作为画布,重新根据提示词重绘后拼接
速度快,但是容易错乱
边缘预留像素
同SD放大模式中的区块重叠像素
进阶
inPaint Sketch 手绘蒙版
使用手绘画笔选择蒙版区域时可使用不同的颜色画笔编辑图样
用法
蒙版画笔
拾色器
画出蒙版区域
更换颜色绘出图案
文生图
画面描写通用模板
描述人物,场景,环境(时间,光照,天气),画幅视角,其他要素
画风,其他特殊要求
需要屏蔽的元素
微调
权重
进阶语法
通用标准化画质模板
正向模板
(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush, (杰作:1,2), 最佳质量, 杰作, 高分辨率, 原创, 极其详细的壁纸, 完美的灯光,(非常细腻的CG:1.2), 绘画, 画笔,
反向模板
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))), NSFW,(最差质量:2),(低质量:2),(正常质量:2),低分辨率,正常质量,((单色)),((灰度)),皮肤斑点,痤疮,皮肤瑕疵,老年斑,(丑陋:1.331),(重复:1.331),(病态:1.21),(残缺:1.21),(变形:1.331),变异手,(画得不好的手:1.5),模糊,(解剖不良:1.21),(比例不良:1.331),多肢,(毁容:1.331),(缺臂:1.331),(多腿:1.331),(融合手指:1.61051),(手指过多:1.61051),(眼睛不清:1.331),低,手不好,少了手指,多了手指,手不好,少了手指,((多了胳膊和腿))
图片放大
SD放大脚本
Upscale放大脚本 通过把画面切割重绘后再重组的方式放大图片
图块重叠像素设置
建议分辨率先进行微扩来避免产生拼接缝问题
优点
最高4倍放大
细节增加丰富
缺点
较难把控,容易画蛇添足
Tiled Diffusion+VAE放大插件
与upscale放大原理相同,但显存占用和效率更优秀
推荐方案
区块设置在64-160之间的正方形
正方形更有利于出图效率,作者建议96或128以下更快
重叠区域multidiffusion为32或48,mixture diffusion为16或32
MIXTURE处理方式更优秀,可以适当降低覆盖区域的值,另外重叠区域值应随机应变,与区块数量成反比
附加功能放大
使用算法进行放大,相当于重绘幅度为0的图生图
可选1-2种算法
优点
画面完全不变
出图快,显卡压力很小
调用方便
缺点
仅放大,画质并无变化
高清修复选项
文生图可选,图生图中没有此选项 变向的图生图
重绘幅度
太低导致边缘模糊
太高会变形,多头多肢
建议范围0.3-0.5
采样次数
通过固定随机种子来使图片风格不变
0代表与采样迭代步数一致
优点
细节可控
设置、参数
参数
采样迭代步数steps
画面扩撒重组次数,步数越多画面精细度越高
一般为10-20/40以内
10以前粗糙,20以后效果微弱
采样方式sampler
Euler系列 适合插画风格,较朴素 DPM 2M、2M Karras 速度较快 SDE Karras 细节较为丰富
采样计算方式
推荐带+号的
宽度、高度(分辨率)
生成的画面尺寸
越高越清晰,质感越好
显存限制
3070级别上限1500*1500
过大爆显存
过大容易造成一图多人、拼接图现场
根据显卡算力测试适合自己的出图尺寸和效率
合适尺寸生成后使用“高清修复”hire fix放大画幅
提示词相关性
类似权重
建议7-12
随机种子
控制连续画面的一致性
生成批次、数量
每次生成几幅图,生成几次
让显卡自己自动工作出图直至达到满意
“炼丹”
每次会生成预览图
每批数量受显存限制
爆显存
随机种子
每张图都有一个随机算法,生成一个随机的识别码,锁定识别码既使用同一套随机算法,生成的画面会保持风格的一致性
保留表达好的种子
按钮
筛子
生成新的随机种子
循环
锁定上一个种子