openclaw+Nunchaku FLUX.1-dev:开源文生图模型微调入门指南

想试试最新的开源文生图模型,但被复杂的安装和配置劝退?别担心,今天带你用最简单的方式,在ComfyUI里玩转Nunchaku FLUX.1-dev这个强大的开源模型。

FLUX.1-dev是Black Forest Labs开源的下一代文生图模型,而Nunchaku团队基于它做了优化和量化,让我们能在消费级显卡上运行。这篇文章就是你的保姆级教程,从零开始,手把手教你部署、配置和生成第一张图片。

1. 开始之前:你需要准备什么

在动手之前,先看看你的电脑环境是否满足要求。这就像做饭前要准备好食材和厨具一样,准备工作做得好,后面才能顺利进行。

硬件要求

  • 显卡:需要NVIDIA显卡,并且支持CUDA。这是最重要的,因为模型运行需要显卡加速。
  • 显存:建议24GB以上。如果显存不够,后面我们会介绍量化版模型,16GB甚至8GB显存也能跑起来。
  • 内存:至少16GB,32GB会更流畅。
  • 硬盘空间:准备50GB以上的空闲空间,用来存放模型文件。

软件环境

  • 操作系统:Windows 10/11、Linux或者macOS(M系列芯片需要特殊配置)。
  • Python:需要Python 3.10或更高版本。
  • Git:用来下载代码和插件。
  • 基础工具:提前安装好huggingface_hub,这是下载模型必备的工具。

安装huggingface_hub很简单,打开命令行输入:

pip install --upgrade huggingface_hub

如果你对这些工具不熟悉,没关系,跟着步骤做就行。整个过程就像搭积木,我们一块一块来。

2. 搭建你的AI画室:安装ComfyUI和Nunchaku插件

ComfyUI是一个可视化的AI工作流工具,你可以把它想象成一个数字画室,而Nunchaku插件就是画室里专门为FLUX模型定制的画笔和颜料。

2.1 安装ComfyUI(如果你还没有)

如果你已经安装过ComfyUI,可以跳过这一步。如果没有,这里有两种安装方法,选一个你觉得方便的就行。

方法一:用Comfy-CLI一键安装(推荐给新手)

这个方法最简单,就像在应用商店安装软件一样:

# 安装ComfyUI的命令行工具
pip install comfy-cli

# 安装ComfyUI主程序
comfy install

# 安装完成后,进入ComfyUI目录
cd ComfyUI

方法二:手动安装(适合喜欢自己掌控的用户)

如果你习惯手动操作,或者想安装在特定位置:

# 下载ComfyUI的代码
git clone https://github.com/comfyanonymous/ComfyUI.git

# 进入目录
cd ComfyUI

# 安装依赖包
pip install -r requirements.txt

两种方法都能成功安装,区别在于第一种更自动化,第二种更透明。我建议新手用第一种,省心省力。

2.2 安装Nunchaku插件

插件就是给ComfyUI增加新功能的扩展。Nunchaku插件让我们能在ComfyUI里使用FLUX.1-dev模型。

安装插件本体

同样有两种方法:

用Comfy-CLI安装(最简单)

# 安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku

# 移动插件到正确位置
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes

手动安装

# 进入ComfyUI的自定义节点目录
cd ComfyUI/custom_nodes

# 下载Nunchaku插件
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

安装Nunchaku后端

从v0.3.2版本开始,安装变得特别简单。插件安装完成后,ComfyUI会自动识别并提示你安装后端。如果没自动提示,你也可以:

  1. 启动ComfyUI
  2. 在网页界面找到"Manager"菜单
  3. 选择"Install Missing Custom Nodes"
  4. 系统会自动安装所需的后端组件

后端是什么?你可以把它理解成插件的"发动机",没有它插件就无法工作。

3. 准备绘画工具:下载模型文件

现在画室搭好了,我们需要准备绘画工具——也就是模型文件。FLUX.1-dev模型由几个部分组成,就像画画的颜料需要不同颜色一样。

3.1 创建正确的工作流目录

首先,让我们把Nunchaku自带的工作流示例复制到正确位置:

# 确保你在ComfyUI的根目录
cd ComfyUI

# 创建工作流目录(如果不存在)
mkdir -p user/default/example_workflows

# 复制示例工作流
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

工作流是什么?你可以把它想象成预设好的绘画流程模板。有了这些模板,你就不用从头开始搭建,直接加载就能用。

3.2 下载基础FLUX模型(必装)

FLUX模型需要几个基础组件才能工作,这些是必须下载的。

文本编码器模型

# 下载CLIP文本编码器
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders

# 下载T5文本编码器
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

VAE模型(视觉自编码器)

# 下载VAE模型
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

如果你已经通过其他方式下载了这些模型,也可以创建软链接。比如你的模型放在/root/ai-models/目录下:

# 进入模型目录
cd ComfyUI/models

# 创建文本编码器的软链接
ln -s /root/ai-models/text_encoders/clip_l.safetensors text_encoders/
ln -s /root/ai-models/text_encoders/t5xxl_fp16.safetensors text_encoders/

# 创建VAE的软链接
ln -s /root/ai-models/vae/ae.safetensors vae/

3.3 下载Nunchaku FLUX.1-dev主模型(核心)

这是最重要的部分,也是我们生成图片的核心模型。根据你的显卡类型,需要选择不同的版本:

显卡类型 推荐模型版本 显存占用 适合人群
Blackwell架构(RTX 50系列) FP4量化版 约8-10GB 最新显卡用户
其他NVIDIA显卡 INT4量化版 约10-12GB 大多数用户
显存较小(16GB以下) FP8量化版 约17GB 显存有限的用户
显存充足(24GB以上) FP16原版 约33GB 追求最高质量的用户

下载INT4量化版(适合大多数用户)

hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

或者使用本地已有的模型文件创建软链接:

cd ComfyUI/models/unet/
ln -s /root/ai-models/unet/svdq-int4_r32-flux.1-dev.safetensors ./

3.4 下载可选LoRA模型(让效果更好)

LoRA是什么?你可以把它理解成"风格滤镜"。基础模型就像素描写生,而LoRA可以给画面加上不同的艺术风格。

常用的LoRA模型

  • FLUX.1-Turbo-Alpha:加速生成,减少推理步数
  • Ghibsky Illustration:宫崎骏动画风格
  • 其他风格LoRA:根据你的喜好选择

下载LoRA模型:

# 进入LoRA目录
cd ComfyUI/models/loras/

# 创建软链接到你的LoRA文件
ln -s /root/ai-models/lora/flux_turbo_alpha.safetensors ./
ln -s /root/ai-models/lora/ghibli_style.safetensors ./

4. 开始创作:运行你的第一张AI图片

所有准备工作都完成了,现在让我们启动ComfyUI,开始生成第一张图片。

4.1 启动ComfyUI

在ComfyUI根目录下运行:

python main.py

启动成功后,你会看到类似这样的输出:

Starting server
To see the GUI go to: http://127.0.0.1:8188

在浏览器中打开这个地址(通常是http://127.0.0.1:8188),就能看到ComfyUI的界面了。

4.2 加载Nunchaku FLUX.1-dev工作流

ComfyUI的界面可能一开始看起来有点复杂,但别担心,我们一步步来。

  1. 找到工作流加载按钮:在界面右上角,点击"Load"按钮
  2. 选择工作流文件:找到user/default/example_workflows/nunchaku-flux.1-dev.json
  3. 加载工作流:点击打开,界面会自动加载所有节点

Nunchaku FLUX.1-dev工作流界面

这个工作流已经为我们配置好了所有必要的节点,包括:

  • 文本编码器(把文字描述转换成模型能理解的形式)
  • FLUX.1-dev主模型
  • 可选的LoRA模型
  • 采样器(控制生成过程)
  • 图像保存和显示

4.3 设置参数并生成图片

现在到了最有趣的部分——输入你的创意描述,让AI帮你画出来。

第一步:输入提示词

在工作流中找到"Prompt"输入框,这里输入你想要生成的图片描述。FLUX模型对英文提示词支持更好,所以建议用英文描述。

试试这个例子:

A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K, sunset, golden hour, photorealistic

翻译成中文就是:"美丽的山水风景,有山有湖,超高清,写实风格,8K分辨率,日落时分,黄金时刻,照片级真实感"

第二步:调整参数(可选)

如果你对生成效果有特定要求,可以调整这些参数:

参数 作用 推荐值
Steps(推理步数) 生成过程的精细程度 20-50(开启Turbo LoRA可减少)
CFG Scale 提示词跟随程度 3.5-7.5
Sampler(采样器) 影响生成风格 Euler Ancestral或DPM++ 2M
Resolution(分辨率) 输出图片大小 1024x1024或更高

第三步:点击生成

找到界面上的"Queue Prompt"按钮,点击它开始生成。根据你的显卡性能和图片复杂度,生成时间从几十秒到几分钟不等。

生成完成后,你会在右侧看到结果。如果对效果不满意,可以:

  1. 修改提示词(更具体或换种描述方式)
  2. 调整参数(比如增加推理步数)
  3. 尝试不同的LoRA模型

生成结果示例

5. 进阶技巧和问题解决

掌握了基础用法后,来看看如何让生成效果更好,以及遇到问题怎么解决。

5.1 提升图片质量的技巧

提示词工程 好的提示词是生成好图片的关键。试试这些技巧:

  • 具体描述:不要只说"一个女孩",要说"一个穿着红色连衣裙的长发女孩,在樱花树下微笑"
  • 添加质量词:像"masterpiece, best quality, ultra detailed, 8K"这样的词能提升质量
  • 使用负面提示:告诉模型不要什么,比如"blurry, low quality, deformed"
  • 权重控制:用(word:1.2)给重要词加权重,用[word]降低权重

参数调优

  • 推理步数:20-30步通常够用,追求细节可以到50步
  • CFG Scale:太高会让图片过饱和,太低会不遵循提示词,5-7是比较好的范围
  • 种子固定:找到喜欢的图片后,固定种子值可以生成类似风格的图片

5.2 常见问题解决

问题1:显存不足

RuntimeError: CUDA out of memory

解决方法

  1. 降低分辨率(从1024x1024降到768x768)
  2. 使用量化版模型(INT4或FP8)
  3. 关闭其他占用显存的程序
  4. 减少批处理大小

问题2:工作流节点缺失 加载工作流时提示某些节点找不到。

解决方法

  1. 通过ComfyUI Manager安装缺失的节点
  2. 或者手动安装对应的自定义节点

问题3:生成速度慢 解决方法

  1. 开启FLUX.1-Turbo-Alpha LoRA
  2. 减少推理步数
  3. 使用更快的采样器(如Euler a)
  4. 确保使用GPU加速,而不是CPU

问题4:图片质量不理想 解决方法

  1. 检查提示词是否足够具体
  2. 增加推理步数
  3. 尝试不同的采样器
  4. 调整CFG Scale值

5.3 模型文件存放位置总结

为了避免混淆,这里总结一下各个模型文件应该放在哪里:

文件类型 存放目录 示例文件
FLUX.1-dev主模型 models/unet/ svdq-int4_r32-flux.1-dev.safetensors
LoRA模型 models/loras/ flux_turbo_alpha.safetensors
文本编码器 models/text_encoders/ clip_l.safetensors, t5xxl_fp16.safetensors
VAE模型 models/vae/ ae.safetensors

6. 总结

通过这篇教程,你应该已经成功在ComfyUI中部署并运行了Nunchaku FLUX.1-dev模型。让我们回顾一下关键步骤:

安装部署流程

  1. 准备Python环境和必要工具
  2. 安装ComfyUI和Nunchaku插件
  3. 下载所有必需的模型文件
  4. 配置正确的工作流和目录结构

使用技巧

  • 选择合适的模型版本(根据显卡和显存)
  • 编写具体、详细的英文提示词
  • 合理调整生成参数
  • 利用LoRA模型获得不同风格

注意事项

  • 模型文件要放在正确的目录
  • 显存不足时选择量化版模型
  • 关闭Turbo LoRA后要增加推理步数
  • 及时更新插件和模型版本

FLUX.1-dev作为开源文生图模型的新星,在图像质量和细节表现上都有不错的表现。通过ComfyUI的可视化界面,你可以更直观地控制生成过程,尝试不同的参数组合,找到最适合你需求的设置。

现在,打开ComfyUI,输入你的创意描述,开始生成属于你的AI艺术作品吧!记住,AI绘画是一个探索的过程,多尝试、多调整,你会逐渐掌握让AI准确理解你创意的技巧。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐