ComfyUI 中 Nunchaku FLUX.1-dev 模型文生图使用手册

1. 开篇:为什么选择 Nunchaku FLUX.1-dev?

如果你正在寻找一款能生成高质量、高分辨率图片的AI模型,Nunchaku FLUX.1-dev 绝对值得你花时间了解一下。它基于强大的 FLUX.1 架构,通过 Nunchaku 团队的优化,在 ComfyUI 这个可视化工作流工具里,变得更容易上手和使用。

简单来说,它就像一个功能强大的“图片生成引擎”,你只需要用文字描述你想要的画面,它就能帮你画出来。无论是写实的风景、奇幻的角色,还是抽象的艺术概念,它都能处理得相当不错。今天这篇文章,我就带你从零开始,在 ComfyUI 里把这个“引擎”装好、启动,并生成你的第一张作品。

2. 准备工作:搭建你的创作环境

在开始安装之前,我们需要确保你的电脑环境已经准备就绪。这就像盖房子前要打好地基一样重要。

2.1 硬件与软件要求

首先,你得有一块性能不错的 NVIDIA 显卡。这是运行这类大型 AI 模型的关键。显存越大越好,官方推荐 24GB 以上。如果你的显卡显存没那么大(比如 12GB 或 16GB),也不用担心,后面我们会介绍占用显存更少的“轻量版”模型。

软件方面,你需要准备好:

  • Python 3.10 或更高版本:这是运行所有代码的基础环境。
  • Git:用来从网上下载代码和插件。
  • PyTorch:一个主流的 AI 框架,需要安装和你电脑系统、显卡型号匹配的版本。

2.2 安装必备工具

在正式开始前,我们还需要一个下载模型的小工具。打开你的命令行终端(比如 Windows 的 CMD 或 PowerShell,Mac/Linux 的 Terminal),输入下面这行命令并回车:

pip install --upgrade huggingface_hub

这个命令会安装一个叫 huggingface_hub 的 Python 库。你可以把它理解为一个“模型下载器”,后面我们用它来下载 FLUX.1-dev 模型文件会非常方便。

3. 核心安装:把 Nunchaku 插件装进 ComfyUI

ComfyUI 本身是一个空壳,它的强大功能来自于各种“插件”。Nunchaku FLUX.1-dev 就是以插件的形式运行的。安装过程分为两步:装插件本身,再装插件需要的“后端引擎”。

3.1 安装 ComfyUI-nunchaku 插件

这里提供两种方法,你可以选择你觉得更顺手的一种。

方法一:用 Comfy-CLI 一键安装(推荐给新手) 这个方法最简单,几乎是一键完成。在命令行里依次执行以下命令:

# 1. 安装ComfyUI的官方命令行工具
pip install comfy-cli

# 2. 安装ComfyUI主程序(如果你已经装过,这步可以跳过)
comfy install

# 3. 安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku

# 4. 把插件移动到ComfyUI的正确目录
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes

方法二:手动安装(适合喜欢自己掌控一切的朋友) 如果你已经有一个 ComfyUI 的文件夹了,或者想指定安装位置,可以用这个方法:

# 1. 下载ComfyUI的代码(如果还没下载的话)
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 2. 安装ComfyUI运行所需的各种Python库
pip install -r requirements.txt

# 3. 进入插件目录,下载Nunchaku插件
cd custom_nodes
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

3.2 安装 Nunchaku 后端

插件装好后,它还需要一个“动力核心”才能工作,这就是 Nunchaku 后端。从 v0.3.2 版本开始,安装变得非常简单。你只需要在 ComfyUI 启动后,在它的网页界面里找到并加载一个叫 install_wheel.json 的工作流文件,运行它就能自动完成后端安装或更新。

4. 模型准备:下载“绘画大脑”和“调色盘”

插件和环境都准备好了,现在我们需要最核心的东西——模型文件。你可以把模型文件想象成这个 AI 的“大脑”和“知识库”,没有它们,它什么也画不出来。我们需要下载两类模型:基础 FLUX 模型和 Nunchaku 专属模型。

4.1 配置示例工作流

为了让 ComfyUI 网页端能识别并使用 Nunchaku 的功能,我们先把插件自带的示例工作流复制过去:

# 进入你的ComfyUI文件夹
cd ComfyUI

# 创建一个存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows

# 把Nunchaku插件里的示例工作流复制过去
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

4.2 下载基础 FLUX 模型(必装)

这部分模型是所有 FLUX 系列模型共用的“基础能力”,比如理解文字、处理图像色彩等。我们需要下载两个:

  1. 文本编码器:负责理解你输入的文字描述。
  2. VAE 模型:负责把 AI 生成的数字信息转换成你看得见的图片。

使用我们之前安装的 huggingface_hub 工具来下载,命令会自动把文件放到正确的文件夹里:

# 下载文本编码器模型,会放到 models/text_encoders 文件夹
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

# 下载VAE模型,会放到 models/vae 文件夹
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

小提示:如果你之前已经通过其他方式下载过这些模型,也可以手动创建“软链接”指向它们,避免重复下载占用空间。例如,在 models/text_encoders/ 目录下,你可以创建一个链接指向你本地缓存里的文件。

4.3 下载 Nunchaku FLUX.1-dev 主模型(核心)

这才是我们今天的主角,Nunchaku 优化过的 FLUX.1-dev 模型。它有不同的“版本”,主要区别在于对显存的占用和生成速度,你需要根据你的显卡来选择:

  • INT4 模型:适用于大多数 NVIDIA 显卡(RTX 30/40系列等),在保证质量的同时显著降低显存占用。
  • FP4 模型:专为新一代 Blackwell 架构的显卡(如 RTX 50 系列)设计。
  • FP8 模型:如果你的显存比较紧张(比如只有 12GB),可以选择这个版本,它占用的显存更少。

这里以最常用的 INT4 版本为例,下载命令如下:

# 下载主模型,会放到 models/unet/ 文件夹
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

4.4 可选:下载 LoRA 模型(风格调色盘)

LoRA 是一种小型的附加模型,可以微调生成图片的风格。比如,你可以加载一个“动漫风格”的 LoRA,让生成的图片都带有动漫感。Nunchaku 工作流支持同时使用多个 LoRA。你可以从 Hugging Face 或 ModelScope 等平台寻找喜欢的 LoRA 模型,下载后放入 models/loras/ 文件夹即可。

一个常用的 LoRA 是 FLUX.1-Turbo-Alpha,它可以加速生成过程。但请注意,如果你关闭了这个 LoRA,需要将后面的“推理步数”参数调到至少 20 步,否则图片质量会下降。

5. 开始创作:启动 ComfyUI 并生成第一张图

所有材料备齐,终于可以开机作画了!

5.1 启动 ComfyUI 服务

打开命令行,进入你的 ComfyUI 文件夹,运行一个简单的命令:

python main.py

稍等片刻,你会看到命令行输出一个本地网址,通常是 http://127.0.0.1:8188。用你的浏览器(Chrome、Edge 等)打开这个网址,就能看到 ComfyUI 的网页操作界面了。

5.2 加载 Nunchaku 工作流

ComfyUI 通过“工作流”来组织生成图片的步骤。我们需要加载 Nunchaku 插件提供的工作流。

  1. 在网页界面右侧,找到并点击 “Load” 按钮。
  2. 在弹出的文件选择窗口中,找到我们之前复制过来的示例工作流。对于文生图,我们选择 nunchaku-flux.1-dev.json 这个文件。

加载成功后,你会看到一个由各种节点和连线组成的可视化流程图。别被它吓到,我们只需要关注其中几个关键部分。

5.3 设置参数并生成图片

现在到了最激动人心的环节:输入你的创意。

  1. 输入提示词:在工作流中找到标有“Prompt”的文本框。用英文描述你想要画面(FLUX 模型对英文支持更好)。例如:A serene sunset over a mountain lake, photorealistic, detailed reflections, 8k resolution(宁静的湖山日落,照片级真实感,细致的倒影,8K分辨率)。

  2. 调整基本参数(可选)

    • 推理步数:步数越多,AI“思考”得越久,细节可能更丰富,但时间也更长。一般 20-50 步之间效果都不错。
    • 图片尺寸:分辨率越高,图片越清晰,但需要的显存也越大。如果生成失败,可以尝试先降低分辨率(如 1024x1024)。
    • LoRA 权重:如果你加载了 LoRA,可以在这里调整它的影响强度,通常设置在 0.5 到 1.0 之间。
  3. 点击生成:检查所有设置无误后,点击界面上的 “Queue Prompt” 按钮。ComfyUI 就会开始工作,你会看到进度条在走动。

  4. 查看结果:生成完成后,图片会出现在右侧的预览区域。你可以保存它,或者调整提示词和参数再试一次,直到得到满意的作品。

6. 总结与关键提醒

恭喜你!走到这一步,你已经成功在 ComfyUI 中部署并运行了 Nunchaku FLUX.1-dev 模型,开启了你的 AI 绘画之旅。回顾一下整个流程:准备环境 → 安装插件 → 下载模型 → 启动运行。这个过程虽然步骤不少,但每一步都是在为最终的精彩产出搭建舞台。

最后,再强调几个容易出错的点,帮你避开坑:

  • 模型别放错地方:主模型放 models/unet/,LoRA 放 models/loras/,文本编码器放 models/text_encoders/,VAE 放 models/vae/。放错了 ComfyUI 会找不到。
  • 量力而行选模型:显存不够就选 INT4 或 FP8 的量化版模型,生成速度慢点但能跑起来才是王道。
  • 工作流节点别丢失:如果加载工作流时提示缺少某个节点,可以去 ComfyUI 的插件管理界面搜索安装。
  • 关闭加速 LoRA 后要加步数:如果没使用 FLUX.1-Turbo-Alpha 这个 LoRA,记得把推理步数调到 20 步以上,否则图片质量会大打折扣。

现在,尽情去探索和创造吧。多尝试不同的提示词,组合不同的 LoRA,你会发现这个工具的潜力远超你的想象。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐