openclaw+Nunchaku FLUX.1-dev:开源文生图模型微调入门指南
本文介绍了如何在星图GPU平台上自动化部署Nunchaku FLUX.1-dev文生图镜像,快速搭建AI绘画环境。该镜像基于开源FLUX.1-dev模型优化,用户可通过ComfyUI可视化界面,输入文本描述轻松生成高质量图片,适用于创意设计、内容创作等场景。
openclaw+Nunchaku FLUX.1-dev:开源文生图模型微调入门指南
想试试最新的开源文生图模型,但被复杂的安装和配置劝退?别担心,今天带你用最简单的方式,在ComfyUI里玩转Nunchaku FLUX.1-dev这个强大的开源模型。
FLUX.1-dev是Black Forest Labs开源的下一代文生图模型,而Nunchaku团队基于它做了优化和量化,让我们能在消费级显卡上运行。这篇文章就是你的保姆级教程,从零开始,手把手教你部署、配置和生成第一张图片。
1. 开始之前:你需要准备什么
在动手之前,先看看你的电脑环境是否满足要求。这就像做饭前要准备好食材和厨具一样,准备工作做得好,后面才能顺利进行。
硬件要求
- 显卡:需要NVIDIA显卡,并且支持CUDA。这是最重要的,因为模型运行需要显卡加速。
- 显存:建议24GB以上。如果显存不够,后面我们会介绍量化版模型,16GB甚至8GB显存也能跑起来。
- 内存:至少16GB,32GB会更流畅。
- 硬盘空间:准备50GB以上的空闲空间,用来存放模型文件。
软件环境
- 操作系统:Windows 10/11、Linux或者macOS(M系列芯片需要特殊配置)。
- Python:需要Python 3.10或更高版本。
- Git:用来下载代码和插件。
- 基础工具:提前安装好
huggingface_hub,这是下载模型必备的工具。
安装huggingface_hub很简单,打开命令行输入:
pip install --upgrade huggingface_hub
如果你对这些工具不熟悉,没关系,跟着步骤做就行。整个过程就像搭积木,我们一块一块来。
2. 搭建你的AI画室:安装ComfyUI和Nunchaku插件
ComfyUI是一个可视化的AI工作流工具,你可以把它想象成一个数字画室,而Nunchaku插件就是画室里专门为FLUX模型定制的画笔和颜料。
2.1 安装ComfyUI(如果你还没有)
如果你已经安装过ComfyUI,可以跳过这一步。如果没有,这里有两种安装方法,选一个你觉得方便的就行。
方法一:用Comfy-CLI一键安装(推荐给新手)
这个方法最简单,就像在应用商店安装软件一样:
# 安装ComfyUI的命令行工具
pip install comfy-cli
# 安装ComfyUI主程序
comfy install
# 安装完成后,进入ComfyUI目录
cd ComfyUI
方法二:手动安装(适合喜欢自己掌控的用户)
如果你习惯手动操作,或者想安装在特定位置:
# 下载ComfyUI的代码
git clone https://github.com/comfyanonymous/ComfyUI.git
# 进入目录
cd ComfyUI
# 安装依赖包
pip install -r requirements.txt
两种方法都能成功安装,区别在于第一种更自动化,第二种更透明。我建议新手用第一种,省心省力。
2.2 安装Nunchaku插件
插件就是给ComfyUI增加新功能的扩展。Nunchaku插件让我们能在ComfyUI里使用FLUX.1-dev模型。
安装插件本体
同样有两种方法:
用Comfy-CLI安装(最简单)
# 安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku
# 移动插件到正确位置
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes
手动安装
# 进入ComfyUI的自定义节点目录
cd ComfyUI/custom_nodes
# 下载Nunchaku插件
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
安装Nunchaku后端
从v0.3.2版本开始,安装变得特别简单。插件安装完成后,ComfyUI会自动识别并提示你安装后端。如果没自动提示,你也可以:
- 启动ComfyUI
- 在网页界面找到"Manager"菜单
- 选择"Install Missing Custom Nodes"
- 系统会自动安装所需的后端组件
后端是什么?你可以把它理解成插件的"发动机",没有它插件就无法工作。
3. 准备绘画工具:下载模型文件
现在画室搭好了,我们需要准备绘画工具——也就是模型文件。FLUX.1-dev模型由几个部分组成,就像画画的颜料需要不同颜色一样。
3.1 创建正确的工作流目录
首先,让我们把Nunchaku自带的工作流示例复制到正确位置:
# 确保你在ComfyUI的根目录
cd ComfyUI
# 创建工作流目录(如果不存在)
mkdir -p user/default/example_workflows
# 复制示例工作流
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/
工作流是什么?你可以把它想象成预设好的绘画流程模板。有了这些模板,你就不用从头开始搭建,直接加载就能用。
3.2 下载基础FLUX模型(必装)
FLUX模型需要几个基础组件才能工作,这些是必须下载的。
文本编码器模型
# 下载CLIP文本编码器
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
# 下载T5文本编码器
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders
VAE模型(视觉自编码器)
# 下载VAE模型
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae
如果你已经通过其他方式下载了这些模型,也可以创建软链接。比如你的模型放在/root/ai-models/目录下:
# 进入模型目录
cd ComfyUI/models
# 创建文本编码器的软链接
ln -s /root/ai-models/text_encoders/clip_l.safetensors text_encoders/
ln -s /root/ai-models/text_encoders/t5xxl_fp16.safetensors text_encoders/
# 创建VAE的软链接
ln -s /root/ai-models/vae/ae.safetensors vae/
3.3 下载Nunchaku FLUX.1-dev主模型(核心)
这是最重要的部分,也是我们生成图片的核心模型。根据你的显卡类型,需要选择不同的版本:
| 显卡类型 | 推荐模型版本 | 显存占用 | 适合人群 |
|---|---|---|---|
| Blackwell架构(RTX 50系列) | FP4量化版 | 约8-10GB | 最新显卡用户 |
| 其他NVIDIA显卡 | INT4量化版 | 约10-12GB | 大多数用户 |
| 显存较小(16GB以下) | FP8量化版 | 约17GB | 显存有限的用户 |
| 显存充足(24GB以上) | FP16原版 | 约33GB | 追求最高质量的用户 |
下载INT4量化版(适合大多数用户)
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/
或者使用本地已有的模型文件创建软链接:
cd ComfyUI/models/unet/
ln -s /root/ai-models/unet/svdq-int4_r32-flux.1-dev.safetensors ./
3.4 下载可选LoRA模型(让效果更好)
LoRA是什么?你可以把它理解成"风格滤镜"。基础模型就像素描写生,而LoRA可以给画面加上不同的艺术风格。
常用的LoRA模型
- FLUX.1-Turbo-Alpha:加速生成,减少推理步数
- Ghibsky Illustration:宫崎骏动画风格
- 其他风格LoRA:根据你的喜好选择
下载LoRA模型:
# 进入LoRA目录
cd ComfyUI/models/loras/
# 创建软链接到你的LoRA文件
ln -s /root/ai-models/lora/flux_turbo_alpha.safetensors ./
ln -s /root/ai-models/lora/ghibli_style.safetensors ./
4. 开始创作:运行你的第一张AI图片
所有准备工作都完成了,现在让我们启动ComfyUI,开始生成第一张图片。
4.1 启动ComfyUI
在ComfyUI根目录下运行:
python main.py
启动成功后,你会看到类似这样的输出:
Starting server
To see the GUI go to: http://127.0.0.1:8188
在浏览器中打开这个地址(通常是http://127.0.0.1:8188),就能看到ComfyUI的界面了。
4.2 加载Nunchaku FLUX.1-dev工作流
ComfyUI的界面可能一开始看起来有点复杂,但别担心,我们一步步来。
- 找到工作流加载按钮:在界面右上角,点击"Load"按钮
- 选择工作流文件:找到
user/default/example_workflows/nunchaku-flux.1-dev.json - 加载工作流:点击打开,界面会自动加载所有节点
这个工作流已经为我们配置好了所有必要的节点,包括:
- 文本编码器(把文字描述转换成模型能理解的形式)
- FLUX.1-dev主模型
- 可选的LoRA模型
- 采样器(控制生成过程)
- 图像保存和显示
4.3 设置参数并生成图片
现在到了最有趣的部分——输入你的创意描述,让AI帮你画出来。
第一步:输入提示词
在工作流中找到"Prompt"输入框,这里输入你想要生成的图片描述。FLUX模型对英文提示词支持更好,所以建议用英文描述。
试试这个例子:
A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K, sunset, golden hour, photorealistic
翻译成中文就是:"美丽的山水风景,有山有湖,超高清,写实风格,8K分辨率,日落时分,黄金时刻,照片级真实感"
第二步:调整参数(可选)
如果你对生成效果有特定要求,可以调整这些参数:
| 参数 | 作用 | 推荐值 |
|---|---|---|
| Steps(推理步数) | 生成过程的精细程度 | 20-50(开启Turbo LoRA可减少) |
| CFG Scale | 提示词跟随程度 | 3.5-7.5 |
| Sampler(采样器) | 影响生成风格 | Euler Ancestral或DPM++ 2M |
| Resolution(分辨率) | 输出图片大小 | 1024x1024或更高 |
第三步:点击生成
找到界面上的"Queue Prompt"按钮,点击它开始生成。根据你的显卡性能和图片复杂度,生成时间从几十秒到几分钟不等。
生成完成后,你会在右侧看到结果。如果对效果不满意,可以:
- 修改提示词(更具体或换种描述方式)
- 调整参数(比如增加推理步数)
- 尝试不同的LoRA模型
5. 进阶技巧和问题解决
掌握了基础用法后,来看看如何让生成效果更好,以及遇到问题怎么解决。
5.1 提升图片质量的技巧
提示词工程 好的提示词是生成好图片的关键。试试这些技巧:
- 具体描述:不要只说"一个女孩",要说"一个穿着红色连衣裙的长发女孩,在樱花树下微笑"
- 添加质量词:像"masterpiece, best quality, ultra detailed, 8K"这样的词能提升质量
- 使用负面提示:告诉模型不要什么,比如"blurry, low quality, deformed"
- 权重控制:用
(word:1.2)给重要词加权重,用[word]降低权重
参数调优
- 推理步数:20-30步通常够用,追求细节可以到50步
- CFG Scale:太高会让图片过饱和,太低会不遵循提示词,5-7是比较好的范围
- 种子固定:找到喜欢的图片后,固定种子值可以生成类似风格的图片
5.2 常见问题解决
问题1:显存不足
RuntimeError: CUDA out of memory
解决方法:
- 降低分辨率(从1024x1024降到768x768)
- 使用量化版模型(INT4或FP8)
- 关闭其他占用显存的程序
- 减少批处理大小
问题2:工作流节点缺失 加载工作流时提示某些节点找不到。
解决方法:
- 通过ComfyUI Manager安装缺失的节点
- 或者手动安装对应的自定义节点
问题3:生成速度慢 解决方法:
- 开启FLUX.1-Turbo-Alpha LoRA
- 减少推理步数
- 使用更快的采样器(如Euler a)
- 确保使用GPU加速,而不是CPU
问题4:图片质量不理想 解决方法:
- 检查提示词是否足够具体
- 增加推理步数
- 尝试不同的采样器
- 调整CFG Scale值
5.3 模型文件存放位置总结
为了避免混淆,这里总结一下各个模型文件应该放在哪里:
| 文件类型 | 存放目录 | 示例文件 |
|---|---|---|
| FLUX.1-dev主模型 | models/unet/ |
svdq-int4_r32-flux.1-dev.safetensors |
| LoRA模型 | models/loras/ |
flux_turbo_alpha.safetensors |
| 文本编码器 | models/text_encoders/ |
clip_l.safetensors, t5xxl_fp16.safetensors |
| VAE模型 | models/vae/ |
ae.safetensors |
6. 总结
通过这篇教程,你应该已经成功在ComfyUI中部署并运行了Nunchaku FLUX.1-dev模型。让我们回顾一下关键步骤:
安装部署流程
- 准备Python环境和必要工具
- 安装ComfyUI和Nunchaku插件
- 下载所有必需的模型文件
- 配置正确的工作流和目录结构
使用技巧
- 选择合适的模型版本(根据显卡和显存)
- 编写具体、详细的英文提示词
- 合理调整生成参数
- 利用LoRA模型获得不同风格
注意事项
- 模型文件要放在正确的目录
- 显存不足时选择量化版模型
- 关闭Turbo LoRA后要增加推理步数
- 及时更新插件和模型版本
FLUX.1-dev作为开源文生图模型的新星,在图像质量和细节表现上都有不错的表现。通过ComfyUI的可视化界面,你可以更直观地控制生成过程,尝试不同的参数组合,找到最适合你需求的设置。
现在,打开ComfyUI,输入你的创意描述,开始生成属于你的AI艺术作品吧!记住,AI绘画是一个探索的过程,多尝试、多调整,你会逐渐掌握让AI准确理解你创意的技巧。
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐



所有评论(0)