comfyui介绍

这是一篇关于comfyui的思维导图，ComfyUI 的详细介绍，梳理为四个模块：安装方法、绘图方法、工作流类型和模型种类。

comfyui

• git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt python main.py
• 以下是关于 ComfyUI 的详细介绍，梳理为四个模块：安装方法、绘图方法、工作流类型和模型种类。
• 1. 安装方法
  • ComfyUI 是一个基于节点式工作流的 Stable Diffusion 图形界面工具，支持本地和云端部署。
  • 本地安装
    • 系统要求：
      • 操作系统：Windows（推荐）、Linux 或 macOS（需 M1/M2 芯片）。
      • 显卡：NVIDIA GPU（支持 CUDA）性能最佳，AMD GPU 可能需额外配置。
      • Python 3.10+ 和 Git。
    • 步骤：
      • 克隆仓库：
      • 安装依赖：
      • 下载模型：
        • 将 Stable Diffusion 模型（如 sd_xl_base_1.0.safetensors）放入 ComfyUI/models/checkpoints。
        • 其他模型（VAE、LoRA、ControlNet 等）需放入对应文件夹。
    • 访问 http://127.0.0.1:8188 使用。
  • 云端部署
    • 支持 Google Colab、RunPod 等平台，提供预配置模板。
    • 示例 Colab 脚本：
      • !git clone https://github.com/comfyanonymous/ComfyUI.git !cd ComfyUI && pip install -r requirements.txt !python main.py --listen
• 2. 绘图方法
  • ComfyUI 通过节点连接实现图像生成，核心流程如下：
  • 基础绘图步骤
    • 加载模型：拖入 CheckpointLoader 节点选择基础模型（如 SD1.5、SDXL）。
    • 输入提示词：
      • 使用 CLIPTextEncode 节点输入正向（Prompt）和反向提示词（Negative Prompt）。
    • 设置参数：
      • 通过 KSampler 调整采样器（如 Euler a）、步数（Steps）、CFG 值等。
    • 生成图像：
      • 连接 VAEDecode 和 SaveImage 节点输出结果。
  • 进阶功能
    • ControlNet：添加姿势、边缘控制。
    • LoRA：叠加风格微调模型。
    • 图像修复：使用 VAEEncode 和 ImageUpscale 节点。
• 3. 工作流类型
  • ComfyUI 支持灵活的工作流设计，常见类型包括：
  • 文本生成图像（Text-to-Image）
    • 标准流程：文本输入 → 模型加载 → 采样 → 输出。
    • 适用场景：常规文生图、风格化创作。
  • 图像生成图像（Image-to-Image）
    • 使用 VAEEncode 节点将输入图像编码为潜空间，再通过采样器修改。
  • 图像修复/扩展（Inpainting/Outpainting）
    • 结合遮罩（Mask）节点局部修改或扩展画布。
  • 视频生成（AnimateDiff）
    • 集成 AnimateDiff 节点生成动态效果，需加载运动模型。
  • 多模型混合
    • 通过 CheckpointLoader 切换不同模型，或使用 ModelMerge 节点混合模型。
• 4. 模型种类
  • ComfyUI 兼容多种 Stable Diffusion 相关模型：
  • 基础模型（Checkpoints）
    • SD1.5：通用模型（如 v1-5-pruned.ckpt）。
    • SDXL：高分辨率模型（如 sd_xl_base_1.0.safetensors）。
    • 定制模型：CivitAI 下载的社区模型（如 DreamShaper）。
  • 微调模型
    • LoRA：轻量风格适配器（文件小，需配合基础模型使用）。
    • Textual Inversion：嵌入特定概念（如 embedding.pt）。
  • 控制模型
    • ControlNet：控制构图（如 control_v11p_sd15_openpose.pth）。
    • T2I-Adapter：简化控制条件。
  • 辅助模型
    • VAE：改善色彩（如 vae-ft-mse-840000-ema-pruned.ckpt）。
    • 超分模型：如 ESRGAN 用于图像增强。
• 总结
  • ComfyUI 的优势在于高度自定义的节点式工作流，适合进阶用户实现复杂流程。安装简单但需手动管理模型文件，支持从文生图到视频生成的多样化创作，兼容几乎所有 Stable Diffusion 生态模型。