openclaw+Nunchaku FLUX.1-dev:开源可部署文生图全栈技术指南

想在自己的电脑上部署一个媲美Midjourney的文生图模型吗?今天,我们就来手把手教你如何用开源方案,搭建一个功能强大的AI绘画工具。这套方案的核心是Nunchaku FLUX.1-dev模型,它基于大名鼎鼎的FLUX架构,能生成细节丰富、画质惊艳的图片。我们将通过ComfyUI这个可视化工具来运行它,整个过程清晰明了,即使你是AI绘画的新手,也能跟着一步步搞定。

简单来说,你会学到:怎么准备环境、怎么安装插件、怎么下载模型,最后怎么在ComfyUI里点点鼠标就生成你想要的图片。准备好了吗?我们开始吧。

1. 环境准备:打好地基

在开始安装之前,我们需要确保你的电脑环境满足基本要求,这就像盖房子前要打好地基一样。主要看三点:显卡、软件和工具。

  • 硬件(显卡):你需要一块支持CUDA的NVIDIA显卡。这是运行AI模型的核心。为了获得流畅的体验,建议显存在24GB以上。如果你的显卡显存没那么大(比如8GB或12GB),也不用担心,后面我们会介绍占用显存更少的“量化版”模型,一样可以玩起来。
  • 软件(Python和PyTorch):这是运行AI模型的软件环境。
    • Python:需要安装Python 3.10或更高版本
    • PyTorch:这是深度学习框架。你需要安装与你的操作系统和显卡驱动匹配的版本(如torch 2.7, 2.8, 2.9等)。通常可以在PyTorch官网通过选择你的配置来获取安装命令。
  • 工具(模型下载器):我们需要一个工具来从网上下载模型文件。在命令行里运行以下命令来安装它:
    pip install --upgrade huggingface_hub
    

环境检查完毕,我们就可以进入下一步,安装核心的图形界面工具了。

2. Nunchaku ComfyUI 插件安装部署

我们将使用ComfyUI来运行模型,它是一个通过拖拽节点来构建AI工作流的工具,非常直观。为了让ComfyUI能使用Nunchaku FLUX.1-dev模型,我们需要安装一个专门的插件。

2.1 安装 ComfyUI-nunchaku 插件

这里提供两种安装方法,你可以选择一种你觉得方便的。

方法一:使用Comfy-CLI工具(推荐,最简单)

这个方法通过一个命令行工具来管理ComfyUI及其插件,非常省心。

  1. 首先,安装ComfyUI的命令行工具:
    pip install comfy-cli
    
  2. 然后,使用这个工具来安装ComfyUI本体(如果你已经安装过,这一步会跳过):
    comfy install
    
  3. 最后,安装Nunchaku插件,并把它移动到正确的目录:
    comfy noderegistry-install ComfyUI-nunchaku
    mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes
    
方法二:手动安装(更灵活,适合喜欢自己掌控的用户)

如果你更喜欢传统的安装方式,或者网络环境特殊,可以手动操作。

  1. 首先,从GitHub上克隆ComfyUI的代码库:
    git clone https://github.com/comfyanonymous/ComfyUI.git
    cd ComfyUI
    pip install -r requirements.txt
    
  2. 接着,进入ComfyUI的插件目录,克隆Nunchaku插件的代码:
    cd custom_nodes
    git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
    

2.2 安装 Nunchaku 后端

插件安装好后,还需要安装一个“后端”程序,它负责模型的实际计算。从v0.3.2版本开始,这个过程变得非常简单。安装完插件依赖后,ComfyUI通常会自动识别并提示你安装后端,或者你可以通过插件自带的install_wheel.json文件一键安装/更新。

至此,插件部分就安装完成了。接下来,我们需要把模型“请”到电脑里。

3. Nunchaku FLUX.1-dev 模型使用准备

模型是AI绘画的灵魂。我们需要下载两个部分:基础的FLUX模型组件,以及核心的Nunchaku FLUX.1-dev模型。

3.1 配置 Nunchaku 工作流

为了方便使用,Nunchaku插件自带了一些预设好的工作流文件。我们只需要把它们复制到ComfyUI能识别的位置。

打开命令行,进入你的ComfyUI根目录,然后执行:

# 创建存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows
# 将插件自带的工作流复制过去
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

这样,启动ComfyUI后,你就能在网页界面里直接加载这些预设好的工作流了,省去了自己搭建节点的麻烦。

3.2 下载模型文件

这是最关键的一步。你需要根据你的显卡情况,下载对应的模型文件。

首先,下载基础FLUX模型组件(必须安装): 这些是文本理解和图像解码的基础模型,所有FLUX系列的模型都需要它们。

# 下载文本编码器模型,放到 models/text_encoders 目录
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

# 下载VAE(变分自编码器)模型,放到 models/vae 目录
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

如果这些模型已经通过其他方式下载到本地了,你也可以在ComfyUI的models目录下创建软链接指向它们。

然后,下载核心的 Nunchaku FLUX.1-dev 模型: 这是生成图片的主力模型。为了适应不同显卡,它有几个不同的“版本”(量化版本),你可以根据下表选择:

你的显卡类型 推荐模型版本 特点
Blackwell架构 (如RTX 50系列) FP4 模型 专为新架构优化
其他NVIDIA显卡 (如RTX 30/40系列) INT4 模型 平衡性能与质量,通用推荐
显存不足的用户 (如8GB显存) FP8 模型 显存占用更低,约17GB

这里以最通用的INT4版本为例,下载命令如下:

# 下载INT4版本的FLUX.1-dev主模型,放到 models/unet/ 目录
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

最后,可选下载LoRA模型(效果增强包): LoRA是一种小模型,可以微调大模型的生成风格。比如FLUX.1-Turbo-Alpha可以加速生成,Ghibsky Illustration可以让画风更偏向吉卜力动画。你可以按需下载,并放入models/loras目录。

模型全部就位,万事俱备,只欠启动了!

4. 启动 ComfyUI 并运行 FLUX.1-dev 文生图

4.1 启动 ComfyUI 服务

打开命令行,进入你的ComfyUI根目录,运行启动命令:

python main.py

稍等片刻,你会看到类似 “Running on local URL: http://127.0.0.1:8188” 的输出。这时,用浏览器打开这个地址(通常是 http://127.0.0.1:8188),就能看到ComfyUI的网页操作界面了。

4.2 加载 Nunchaku FLUX.1-dev 工作流

在ComfyUI网页界面,点击右上角的 “Load” 按钮,在弹出的文件选择器中,找到并加载我们之前复制过来的工作流文件:nunchaku-flux.1-dev.json

这个工作流是专门为文生图优化过的,并且支持同时使用多个LoRA模型来调整效果。加载成功后,你会看到一个由各种节点和连线组成的可视化流程图。

小提示:还有一个工作流叫 nunchaku-flux.1-dev-qencoder.json,它使用了4-bit量化的文本编码器,能进一步降低显存占用,如果你的显存非常紧张可以尝试它。

4.3 设置参数并生成你的第一张AI画作

现在到了最激动人心的环节:输入你的创意,让AI把它画出来!

  1. 输入提示词:在工作流图中,找到一个标有 “Positive Prompt” 的节点框。在这里用英文描述你想要生成的画面。FLUX模型对英文提示词的理解更好。例如:A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K(一个美丽的山水风景,超高清,写实风格,8K画质)。

  2. 调整参数(可选):你可以根据需要调整其他参数,比如:

    • 推理步数 (Steps):步数越多,细节可能越丰富,但生成时间也越长。一般20-50步即可。
    • 分辨率:生成图片的尺寸。尺寸越大,细节越多,但对显存要求也越高。如果显存不足,可以先从1024x1024尝试。
    • LoRA权重:如果你加载了LoRA模型,可以在这里调整它的影响强度。
  3. 点击生成:确认所有设置无误后,点击界面上的 “Queue Prompt” 按钮。ComfyUI就会开始工作,你会看到进度条在走动。生成完成后,图片会显示在右侧的预览区域。

恭喜你!你已经成功部署并运行了强大的Nunchaku FLUX.1-dev文生图模型。现在,尽情发挥你的想象力,去创造各种精彩的AI画作吧。

5. 总结与关键注意事项

回顾一下,我们完成了从环境准备、插件安装、模型下载到最终生成图片的全流程。为了让你的体验更顺畅,这里再强调几个关键点:

  1. 模型别放错地方:这是最容易出错的一步。请务必记住:

    • 主模型 (svdq-*.safetensors) → models/unet/
    • LoRA模型 → models/loras/
    • 文本编码器 (clip_l.safetensors, t5xxl_fp16.safetensors) → models/text_encoders/
    • VAE模型 (ae.safetensors) → models/vae/
  2. 显存量力而行:FP16原版模型需要约33GB显存,对大多数用户不友好。INT4/FP4量化版是首选,它们在保证画质的前提下大幅降低了显存需求。如果还不行,再考虑FP8版。

  3. 显卡型号要对号入座:Blackwell新显卡(如RTX 5090)请使用FP4模型;其他N卡(RTX 30/40系列等)使用INT4模型。

  4. 工作流节点缺失:如果加载工作流时提示缺少某个节点,不用慌。通常可以通过ComfyUI内置的 “ComfyUI Manager” 来搜索并安装缺失的自定义节点。

  5. 推理步数有讲究:如果你使用了FLUX.1-Turbo-Alpha这个LoRA,可以用较少的步数(如4步)快速出图。但如果关闭了这个LoRA,请务必将推理步数调到至少20步,否则生成效果会大打折扣。

遵循以上指南,你就能稳定、高效地使用这套开源文生图方案了。技术的魅力在于动手实践,现在就去创造属于你的视觉世界吧!


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐