ComfyUI 模型文件格式及适用节点

ComfyUI 是一个模块化的 AI 工作流工具，支持多种模型格式。每种格式通常与特定的节点和任务相关联。对常见的模型文件格式及其适用的节点和任务进行了整理。

ComfyUI 模型文件格式及适用节点

• PyTorch 模型文件（.pt 或 .pth）
  • 格式说明：
    • PyTorch 模型文件通常以 .pt 或 .pth 为扩展名，是 PyTorch 框架保存模型权重和架构的标准格式。
  • 适用节点：
    • Stable Diffusion 模型加载节点：用于加载 Stable Diffusion 的模型权重（如 model.ckpt 或model.safetensors 转换后的 .pt 文件）。
    • 自定义模型节点：一些自定义节点（如 comfyui-reactor-node）可能会使用 .pt 文件加载特定任务的模型（如人脸解析模型）。
  • 常见用途：
    • 加载深度学习模型的权重。
    • 适用于图像生成、图像修复、人脸解析等任务。
• Safetensors 文件（.safetensors）
  • 格式说明：
    • Safetensors 是一种安全的模型文件格式，专为 PyTorch 设计，避免了传统 .pt 文件的安全风险（如恶意代码注入）。
  • 适用节点：
    • Stable Diffusion 模型加载节点：ComfyUI 支持直接加载 .safetensors 格式的 Stable Diffusion模型。
    • LoRA 模型加载节点：LoRA（低秩适应）模型通常以 .safetensors 格式保存。
  • 常见用途：
    • 加载 Stable Diffusion 模型。
    • 加载 LoRA 模型以进行风格微调或特定任务适配。
• Checkpoint 文件（.ckpt）
  • 格式说明：
    • Checkpoint 文件是 Stable Diffusion 模型的传统格式，包含完整的模型权重和架构。
  • 适用节点：
    • Stable Diffusion 模型加载节点：ComfyUI 支持直接加载 .ckpt 文件。
  • 常见用途：
    • 加载 Stable Diffusion 1.x 或 2.x 的模型。用于图像生成、图像修复等任务。
• LoRA 模型文件（.safetensors 或 .pt）
  • 格式说明：
    • LoRA 模型文件通常以 .safetensors 或 .pt 格式保存，用于对 Stable Diffusion 模型进行微调。
  • 适用节点：
    • LoRA 加载节点：ComfyUI 提供了专门的节点用于加载 LoRA 模型。
  • 常见用途：
    • 对 Stable Diffusion 模型进行风格微调或特定任务适配。
    • 例如，加载动漫风格、写实风格或其他特定风格的 LoRA 模型。
• VAE 模型文件（.pt 或 .ckpt）
  • 格式说明：
    • VAE（变分自编码器）模型文件通常以 .pt 或 .ckpt 格式保存，用于 Stable Diffusion 的图像解码。
  • 适用节点：
    • VAE 加载节点：ComfyUI 提供了专门的节点用于加载 VAE 模型。
  • 常见用途：
    • 加载 VAE 模型以改善图像生成的质量。
    • 例如，使用 vae-ft-mse-840000-ema-pruned.ckpt 来优化图像细节。
• ControlNet 模型文件（.pt 或 .pth）
  • 格式说明：
    • ControlNet 模型文件通常以 .pt 或 .pth 格式保存，用于控制图像生成的过程（如姿势、边缘、深度等）。
  • 适用节点：
    • ControlNet 加载节点：ComfyUI 支持加载 ControlNet 模型。
  • 常见用途：
    • 加载 ControlNet 模型以实现对图像生成过程的精确控制。
    • 例如，使用 control_sd15_openpose.pth 来控制生成图像的姿势。
• ONNX 模型文件（.onnx）
  • 格式说明：
    • ONNX（Open Neural Network Exchange）是一种跨平台的模型格式，支持多种深度学习框架。
  • 适用节点：
    • ONNX 加载节点：ComfyUI 支持加载 ONNX 模型（需要安装 ONNX 运行时）。
  • 常见用途：
    • 加载跨平台的深度学习模型。 适用于需要高性能推理的任务。
• TensorFlow 模型文件（.pb 或 .h5）
  • 格式说明：
    • TensorFlow 模型文件通常以 .pb（Protocol Buffer）或 .h5（HDF5）格式保存。
  • 适用节点：
    • TensorFlow 加载节点：ComfyUI 支持加载 TensorFlow 模型（需要安装 TensorFlow 运行时）。
  • 常见用途：
    • 加载 TensorFlow 模型以进行图像生成、分类等任务。
• 其他自定义格式
  • 格式说明：
    • 一些自定义节点可能使用特定的模型格式（如 .bin、.json 等）。
  • 适用节点：
    • 根据具体节点的文档说明加载模型。
  • 常见用途：
    • 适用于特定的任务或自定义模型。
• 总结
  • ComfyUI 支持的模型文件格式主要包括：
    • PyTorch 格式（.pt、.pth）：适用于大多数深度学习模型。
    • Safetensors 格式（.safetensors）：安全且高效的模型格式，适用于 Stable Diffusion 和 LoRA 模型。
    • Checkpoint 格式（.ckpt）：传统的 Stable Diffusion 模型格式。
    • LoRA 格式（.safetensors 或 .pt）：用于模型微调。
    • VAE 格式（.pt 或 .ckpt）：用于图像解码。
    • ControlNet 格式（.pt 或 .pth）：用于控制图像生成过程。
    • ONNX 格式（.onnx）：跨平台模型格式。
    • TensorFlow 格式（.pb 或 .h5）：适用于 TensorFlow 模型。
  • 根据任务需求选择合适的模型格式，并确保模型文件完整且未损坏。如果遇到加载问题，可以参考模型的文档或联系开发者获取支持。
• ComfyUI 是一个模块化的 AI 工作流工具，支持多种模型格式。每种格式通常与特定的节点和任务相关联。以下是常见的模型文件格式及其适用的节点和任务：
• ComfyUI 是一个模块化的 AI 工作流工具，支持多种模型格式。每种格式通常与特定的节点和任务相关联。以下是常见的模型文件格式及其适用的节点和任务：