ComfyUI 中 Nunchaku FLUX.1-dev 模型文生图使用手册

想用最新的 FLUX.1-dev 模型生成惊艳的图片,但被复杂的安装和配置劝退?别担心,这篇手册就是为你准备的。我们将手把手带你,在 ComfyUI 这个强大的图形化工具里,轻松部署并玩转 Nunchaku FLUX.1-dev 模型。从环境准备到生成第一张高清大图,每一步都清晰明了,让你快速上手,把创意变成现实。

1. 环境准备:搭建你的创作舞台

在开始之前,我们需要确保你的电脑“舞台”已经搭好,能够流畅运行 FLUX.1-dev 这个“重量级演员”。

硬件要求:你需要一块支持 CUDA 的 NVIDIA 显卡。为了获得最佳体验,建议显存在 24GB 或以上。如果你的显卡显存稍小(比如 12GB 或 16GB),也不用担心,我们后面会介绍占用显存更少的“轻量版”模型。

软件要求

  1. Python 3.10+:这是运行 ComfyUI 和模型的基础语言环境。
  2. Git:用于从网上下载代码和插件。
  3. PyTorch:深度学习框架,需要安装与你的系统和显卡驱动匹配的版本(如 torch 2.7, 2.8, 2.9 等)。

工具准备:首先,我们需要一个下载模型的工具。打开你的命令行终端(如 Windows 的 CMD 或 PowerShell,Mac/Linux 的 Terminal),输入以下命令来安装 huggingface_hub

pip install --upgrade huggingface_hub

这个工具能帮助我们快速、稳定地从模型仓库下载所需的文件。

2. 安装部署:把核心组件请进门

环境就绪后,我们来安装 ComfyUI 和 Nunchaku 插件。这里提供两种方法,你可以选择最顺手的一种。

2.1 方法一:使用 Comfy-CLI(最快捷)

如果你喜欢命令行,追求一步到位,这个方法最适合你。

# 1. 安装ComfyUI的命令行管理工具
pip install comfy-cli

# 2. 安装ComfyUI本体(如果已经安装过,可以跳过)
comfy install

# 3. 安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku

# 4. 将插件移动到ComfyUI的正确目录
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes

2.2 方法二:手动安装(更灵活可控)

如果你想更清楚地知道每一步在做什么,或者有自定义需求,可以选择手动安装。

# 1. 下载ComfyUI的源代码
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 2. 安装ComfyUI运行所需的所有Python库
pip install -r requirements.txt

# 3. 进入自定义节点目录,下载Nunchaku插件
cd custom_nodes
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

2.3 安装 Nunchaku 后端

从 Nunchaku 插件 v0.3.2 版本开始,安装变得非常简单。完成上述插件安装后,你只需要在 ComfyUI 的网页界面里,找到并加载一个名为 install_wheel.json 的工作流文件,运行它,就能一键完成后端核心组件的安装或更新。

3. 模型准备:下载你的创意引擎

插件装好了,现在需要把“大脑”——也就是模型文件——请进来。FLUX.1-dev 模型由几个部分协同工作,我们需要分别下载。

3.1 配置示例工作流

为了让操作更直观,Nunchaku 插件提供了一些预设的工作流模板。我们先把它们复制到 ComfyUI 能识别的位置。

# 假设你现在在ComfyUI的根目录
cd ComfyUI

# 创建存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows

# 复制Nunchaku插件自带的工作流示例
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

3.2 下载基础模型文件(必装)

FLUX.1-dev 需要两个基础模型来理解文字和处理图像。

  1. 文本编码器:负责理解你输入的文字描述。我们需要下载两个文件。
  2. VAE 模型:负责在最后阶段将模型内部的数学表示解码成我们能看到的图片。

使用之前安装的 hf 工具,可以轻松下载:

# 下载文本编码器模型,会自动放到 models/text_encoders 目录
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

# 下载VAE模型,会自动放到 models/vae 目录
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

3.3 下载核心:Nunchaku FLUX.1-dev 模型

这是生成图片的主力模型。根据你的显卡型号和显存大小,需要选择不同的版本:

  • Blackwell 架构显卡(如 RTX 50 系列):请使用 FP4 量化版本。
  • 其他 NVIDIA 显卡:优先使用 INT4 量化版本,在效果和速度间取得良好平衡。
  • 显存不足时:可以选择 FP8 量化版本,它能大幅降低显存占用。

这里以最常用的 INT4 版本为例进行下载:

# 下载INT4量化的FLUX.1-dev主模型,存放至 models/unet/ 目录
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

3.4 (可选)下载 LoRA 模型

LoRA 是一种小型的附加模型,可以微调生成风格。比如,你可以加载一个“动漫风格”的 LoRA,让生成的图片都带有动漫感。它们需要放在 models/loras/ 目录下。常见的 LoRA 有:

  • FLUX.1-Turbo-Alpha:可以加速生成过程。
  • Ghibsky Illustration:赋予图片吉卜力动画般的风格。

你可以根据喜好从 Hugging Face 或 ModelScope 等平台搜索并下载对应的 LoRA 模型文件。

4. 启动与创作:让想象力飞起来

所有组件都已就位,现在启动 ComfyUI,开始你的创作之旅。

4.1 启动 ComfyUI

打开命令行,进入你的 ComfyUI 根目录,运行启动命令:

python main.py

稍等片刻,命令行会显示一个本地网络地址(通常是 http://127.0.0.1:8188)。在浏览器中打开这个地址,你就进入了 ComfyUI 的图形化操作界面。

4.2 加载专属工作流

在 ComfyUI 网页界面,点击右上角的 “Load” 按钮。在弹出的对话框中,你应该能看到之前在 user/default/example_workflows/ 目录下放置的文件。

请选择 nunchaku-flux.1-dev.json 这个工作流文件。 这是为 FLUX.1-dev 量身定制的,支持加载多个 LoRA,能发挥出模型的最佳文生图效果。

加载成功后,界面会呈现一个包含各种节点的流程图。不要被它吓到,我们只需要关注几个关键部分。

4.3 输入提示词并生成

  1. 找到输入框:在工作流图中,找到一个标有 “CLIP Text Encode (Prompt)” 的节点,它旁边会有一个大的文本框。
  2. 输入你的创意:在这个文本框里,用英文描述你想要生成的画面。FLUX 模型对英文提示词的理解更好。例如:A majestic dragon soaring above ancient Chinese palaces, detailed scales, cinematic lighting, 8k resolution(一条威严的龙翱翔在古老的中国宫殿上空,鳞片细节丰富,电影级光影,8K分辨率)。
  3. 调整参数(可选):你可以调整“采样步数”(一般 20-50 步,步数越多细节可能越好,但耗时越长)、“图片分辨率”等。如果显存紧张,可以降低分辨率。
  4. 点击生成:点击界面上的 “Queue Prompt” 按钮。ComfyUI 就会开始工作,右侧的预览区域将逐步显示生成的图片。

第一次生成可能会稍慢,因为模型需要加载到显存中。完成后,你就能看到由 AI 根据你的描述绘制的图像了!

5. 关键要点与排错指南

为了确保过程顺利,这里有几个重要的注意事项和常见问题解决方法:

  • 模型存放位置不能错:这是最常见的问题。请务必检查:
    • 主模型(如 svdq-int4_r32-flux.1-dev.safetensors)在 models/unet/ 目录。
    • LoRA 模型在 models/loras/ 目录。
    • 文本编码器(clip_l.safetensors, t5xxl_fp16.safetensors)在 models/text_encoders/ 目录。
    • VAE 模型(ae.safetensors)在 models/vae/ 目录。
  • 显存与模型版本选择
    • FP16 原版模型需要约 33GB 显存。
    • FP8 量化版需要约 17GB 显存。
    • INT4/FP4 量化版显存需求更低,是大多数用户的优先选择。
  • 关于推理步数:如果你在 nunchaku-flux.1-dev.json 工作流中禁用了 FLUX.1-Turbo-Alpha 这个 LoRA,请务必将采样步数调整到 20 步以上,否则生成图片的质量会显著下降。
  • 节点缺失报错:如果加载工作流时提示缺少某个节点,通常是因为缺少对应的自定义插件。你可以通过 ComfyUI 内置的 ComfyUI-Manager(一个插件管理工具)来搜索并安装缺失的节点。

获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐