openclaw开源大模型:Nunchaku FLUX.1-dev ComfyUI移动端远程控制
本文介绍了如何在星图GPU平台上自动化部署Nunchaku FLUX.1-dev文生图镜像,并搭建基于ComfyUI的AI绘画工作流。该平台简化了环境配置与模型部署流程,用户可快速启动服务,并通过移动端远程控制,轻松实现创意图片的生成与探索。
openclaw开源大模型:Nunchaku FLUX.1-dev ComfyUI移动端远程控制
想用手机随时随地控制你的AI绘画工作站,生成惊艳的图片吗?今天,我们就来手把手教你如何将强大的Nunchaku FLUX.1-dev模型部署到ComfyUI,并实现移动端远程控制。整个过程就像搭积木一样简单,跟着步骤走,你也能轻松拥有一个随时待命的AI画师。
1. 环境准备:搭建你的AI画室
在开始之前,我们需要确保你的电脑具备运行Nunchaku FLUX.1-dev模型的基础条件。别担心,大部分现代游戏电脑都能胜任。
1.1 硬件要求:你的“画板”够大吗?
首先,你需要一块NVIDIA显卡。这个模型对显存有一定要求,但别被数字吓到,我们有多种选择:
- 理想配置:拥有24GB或以上显存的NVIDIA显卡(如RTX 4090)。这能让你流畅运行最高精度的模型。
- 经济配置:如果你的显卡显存较小(如8GB或12GB),可以选择量化版本(如INT4或FP8模型),它们占用的显存更少,但效果依然出色。
- 最低要求:至少需要6GB显存才能运行基础版本。
简单来说,显存就像画板的大小。画板越大,你就能画越复杂、越精细的画。如果你的画板小一点,我们也有办法画出好作品。
1.2 软件准备:安装必要的工具
接下来,我们需要安装一些软件工具。这些就像画师需要的画笔和颜料:
- Python 3.10或更高版本:这是运行所有AI程序的基础环境。
- Git:用于从网上下载代码和模型。
- PyTorch:一个专门为AI计算设计的框架,需要根据你的系统和显卡型号选择对应版本。
安装这些工具通常很简单,网上有很多详细的教程。如果你在安装过程中遇到问题,可以搜索“如何安装Python 3.10”或“PyTorch安装指南”,按照步骤操作即可。
1.3 关键一步:安装模型下载工具
在开始下载模型之前,我们需要先安装一个专门用来下载AI模型的工具。打开你的命令行工具(Windows上是CMD或PowerShell,Mac或Linux上是终端),输入以下命令:
pip install --upgrade huggingface_hub
这个命令会安装或更新huggingface_hub工具,它就像是一个专门从AI模型仓库下载文件的快递员。
2. Nunchaku ComfyUI插件安装部署
现在,我们来安装核心的Nunchaku插件。这就像给你的ComfyUI绘画软件安装一个新的画笔套装。
2.1 安装ComfyUI-nunchaku插件
有两种方法可以安装这个插件,你可以选择你觉得更方便的一种。
方法一:使用Comfy-CLI(推荐给新手)
这个方法最简单,就像用应用商店安装软件一样:
# 第一步:安装ComfyUI命令行工具
pip install comfy-cli
# 第二步:安装ComfyUI(如果你已经安装过,可以跳过这一步)
comfy install
# 第三步:安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku
# 第四步:移动插件到正确的位置
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes
方法二:手动安装(适合喜欢自己动手的用户)
如果你更喜欢一步步自己控制安装过程,可以用这个方法:
# 第一步:下载ComfyUI软件
git clone https://github.com/comfyanonymous/ComfyUI.git
# 第二步:进入ComfyUI文件夹
cd ComfyUI
# 第三步:安装ComfyUI需要的所有组件
pip install -r requirements.txt
# 第四步:进入自定义插件文件夹
cd custom_nodes
# 第五步:下载Nunchaku插件
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
无论选择哪种方法,安装完成后,你都会在ComfyUI/custom_nodes/文件夹下看到一个名为nunchaku_nodes的文件夹,里面就是Nunchaku插件的所有文件。
2.2 安装Nunchaku后端
插件安装好后,还需要安装它的“引擎”部分。从v0.3.2版本开始,这个过程变得非常简单:
- 启动ComfyUI(我们稍后会详细讲如何启动)。
- 在ComfyUI的网页界面中,找到并加载
install_wheel.json工作流文件。 - 点击运行,系统就会自动安装或更新所需的后端组件。
这就像给新买的画笔安装笔芯一样,是让它能正常工作的关键一步。
3. Nunchaku FLUX.1-dev模型使用准备
插件安装好了,现在我们需要准备模型文件。这就像准备画师需要的各种颜料和画布。
3.1 配置Nunchaku工作流
工作流是ComfyUI中定义图片生成步骤的流程图。Nunchaku插件自带了一些示例工作流,我们需要把它们放到正确的位置:
# 进入ComfyUI的主文件夹
cd ComfyUI
# 创建工作流存放的文件夹(如果不存在的话)
mkdir -p user/default/example_workflows
# 复制Nunchaku的示例工作流
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/
完成这一步后,当你打开ComfyUI时,就能在“加载工作流”的选项中看到Nunchaku的相关工作流了。
3.2 下载模型文件
这是最关键的一步——下载AI模型本身。我们需要下载两种类型的模型文件。
3.2.1 下载基础FLUX模型(必须下载)
这些是FLUX模型家族共用的基础组件,包括文本理解器和图像解码器:
# 下载文本理解器模型(放在models/text_encoders文件夹)
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders
# 下载图像解码器模型(放在models/vae文件夹)
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae
如果你已经通过其他方式下载了这些模型,也可以创建软链接指向它们的位置:
# 文本理解器模型位置示例
~/ComfyUI/models/text_encoders/
├── clip_l.safetensors -> /你的模型缓存路径/FLUX.1-dev/text_encoders/clip_l.safetensors
└── t5xxl_fp16.safetensors -> /你的模型缓存路径/FLUX.1-dev/text_encoders/t5xxl_fp16.safetensors
# 图像解码器模型位置示例
~/ComfyUI/models/vae/
└── ae.safetensors -> /你的模型缓存路径/FLUX.1-dev/vae/ae.safetensors
3.2.2 下载Nunchaku FLUX.1-dev主模型(核心模型)
这是真正的“大脑”,负责根据你的描述生成图片。根据你的显卡类型,需要选择不同的版本:
- Blackwell架构显卡(如RTX 50系列):使用FP4版本
- 其他NVIDIA显卡:使用INT4版本
- 显存较小的显卡:可以选择FP8版本以节省显存
下载INT4版本的命令如下:
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/
下载完成后,这个文件应该放在ComfyUI/models/unet/文件夹下。
3.2.3 可选:下载LoRA模型(让效果更出色)
LoRA模型就像滤镜或特效,可以让生成的图片有特定的风格或效果。常用的有:
- FLUX.1-Turbo-Alpha:加速生成过程
- Ghibsky Illustration:让图片有吉卜力动画风格
这些模型应该放在ComfyUI/models/loras/文件夹下。
4. 启动ComfyUI并运行FLUX.1-dev文生图
一切准备就绪,现在让我们启动软件,开始生成第一张AI图片!
4.1 启动ComfyUI
在ComfyUI的主文件夹中,运行以下命令:
python main.py
启动成功后,你会看到类似这样的信息:
* Running on http://127.0.0.1:8188
在浏览器中打开这个地址(通常是http://127.0.0.1:8188),就能看到ComfyUI的网页界面了。
4.2 加载Nunchaku FLUX.1-dev工作流
在ComfyUI网页界面中:
- 点击右上角的“加载”按钮
- 选择
nunchaku-flux.1-dev.json工作流文件 - 工作流加载后,你会看到一个包含多个节点的流程图
这个工作流已经为我们配置好了所有必要的组件,包括:
- 文本输入框:用于输入图片描述
- 模型加载器:加载FLUX.1-dev模型
- 图片生成器:根据描述生成图片
- 输出预览:显示生成的图片
4.3 设置参数并生成图片
现在到了最有趣的部分——让AI根据你的描述画画!
-
输入提示词:在工作流中找到标有“正向提示词”的输入框,用英文描述你想要的图片。例如:
A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K(美丽的山水风景,超高清,写实风格,8K分辨率)A cute cartoon cat wearing a hat, studio ghibli style(戴着帽子的可爱卡通猫,吉卜力风格)
-
调整参数(可选):
- 推理步数:控制AI“思考”的深度,一般20-30步效果较好
- 分辨率:图片大小,如1024x1024
- LoRA权重:如果使用了LoRA模型,可以调整它的影响强度
- 采样器:选择不同的图片生成算法
-
生成图片:点击界面上的“运行”按钮,等待AI创作。生成时间取决于你的显卡性能和设置的参数,通常需要几十秒到几分钟。
-
查看结果:生成完成后,图片会显示在右侧的预览区域。
5. 移动端远程控制设置
现在,让我们实现最初的目标——用手机控制这个AI绘画工作站。
5.1 配置ComfyUI支持远程访问
默认情况下,ComfyUI只允许本地访问。我们需要修改设置,让它接受来自其他设备的连接:
- 停止正在运行的ComfyUI(如果正在运行)
- 编辑ComfyUI的启动命令,添加远程访问参数:
python main.py --listen 0.0.0.0 --port 8188
--listen 0.0.0.0:允许所有网络连接--port 8188:指定使用的端口号(可以改成其他端口)
- 重新启动ComfyUI
5.2 查找电脑的IP地址
要让手机能连接到电脑,你需要知道电脑在网络中的地址:
- Windows:在命令提示符中输入
ipconfig,查找“IPv4地址” - Mac/Linux:在终端中输入
ifconfig或ip addr,查找类似192.168.x.x的地址
假设你的电脑IP地址是192.168.1.100。
5.3 从手机访问ComfyUI
确保手机和电脑连接在同一个Wi-Fi网络下,然后在手机的浏览器中输入:
http://192.168.1.100:8188
如果一切正常,你应该能在手机上看到和电脑上一样的ComfyUI界面。现在,你就可以躺在床上用手机输入提示词,让电脑生成图片了!
5.4 高级技巧:使用Tailscale实现随时随地访问
如果你想在外出时也能控制家里的AI绘画工作站,可以使用Tailscale这样的工具:
- 在电脑和手机上都安装Tailscale
- 用同一个账号登录
- 它们会自动建立一个安全的连接
- 在手机上通过Tailscale分配的地址访问ComfyUI
这样,无论你在哪里,只要有网络,就能随时使用你的AI画师。
6. 使用技巧与优化建议
掌握了基本操作后,下面是一些提升使用体验的技巧。
6.1 写出更好的提示词
AI画师的理解能力很强,但需要清晰的指令。以下是一些写提示词的技巧:
- 具体描述:不要说“一只狗”,而要说“一只金色的拉布拉多犬在草地上奔跑,阳光明媚”
- 添加风格:在描述后加上风格关键词,如
digital art, concept art, studio ghibli style - 控制质量:使用
8K, ultra detailed, photorealistic, best quality等词提升质量 - 避免负面:使用
no blurry, no deformed, no bad anatomy等排除不想要的效果
6.2 管理你的模型文件
随着使用时间增长,你可能会下载很多模型。好的文件管理能让一切井井有条:
ComfyUI/models/
├── unet/ # 主模型存放处
│ └── svdq-int4_r32-flux.1-dev.safetensors
├── loras/ # LoRA模型
│ ├── FLUX.1-Turbo-Alpha.safetensors
│ └── Ghibsky_Illustration.safetensors
├── text_encoders/ # 文本理解器
│ ├── clip_l.safetensors
│ └── t5xxl_fp16.safetensors
└── vae/ # 图像解码器
└── ae.safetensors
6.3 解决常见问题
在使用过程中,你可能会遇到一些问题。以下是常见问题的解决方法:
- 显存不足:降低分辨率、使用量化模型、减少批处理大小
- 生成速度慢:减少推理步数、使用Turbo LoRA、关闭其他占用显存的程序
- 图片质量差:增加推理步数、优化提示词、尝试不同的采样器
- 工作流加载失败:通过ComfyUI-Manager安装缺失的节点
7. 关键注意事项与总结
在结束之前,让我们回顾一些重要的注意事项,确保你能顺利使用这个强大的工具。
7.1 模型存放位置必须正确
这是最容易出错的地方,请务必检查:
- FLUX.1-dev主模型 →
models/unet/文件夹 - LoRA模型 →
models/loras/文件夹 - 文本编码器 →
models/text_encoders/文件夹 - VAE模型 →
models/vae/文件夹
放错位置会导致ComfyUI找不到模型,无法正常工作。
7.2 根据显卡选择合适模型版本
不同的显卡适合不同的模型版本:
| 显卡类型 | 推荐模型版本 | 显存占用 | 生成质量 |
|---|---|---|---|
| 高端显卡(24GB+) | FP16 | 约33GB | 最佳 |
| 中端显卡(12-24GB) | INT4 | 约12-16GB | 优秀 |
| 入门显卡(8-12GB) | FP8 | 约17GB | 良好 |
| Blackwell架构显卡 | FP4 | 最低 | 良好 |
7.3 推理步数设置要合理
推理步数控制着AI“思考”的深度:
- 使用FLUX.1-Turbo-Alpha LoRA时:10-15步即可获得不错效果
- 不使用Turbo LoRA时:至少需要20步,推荐25-30步
- 追求最高质量时:可以尝试40-50步,但生成时间会显著增加
7.4 保持软件和模型更新
AI技术发展很快,定期更新可以获得更好的效果和性能:
- 关注Nunchaku和ComfyUI的GitHub页面,了解新版本
- 使用
git pull命令更新插件 - 通过ComfyUI-Manager更新自定义节点
7.5 总结
通过本教程,你已经学会了:
- 环境准备:检查硬件和安装必要软件
- 插件安装:两种方法安装Nunchaku ComfyUI插件
- 模型部署:下载和配置FLUX.1-dev模型及相关组件
- 基本使用:启动ComfyUI、加载工作流、生成图片
- 远程控制:配置手机远程访问,随时随地使用AI画师
- 优化技巧:写出更好的提示词、管理模型文件、解决常见问题
现在,你已经拥有了一个强大的AI绘画工作站,可以通过手机随时控制它生成各种惊艳的图片。无论是创作艺术作品、设计概念图,还是只是探索AI的创造力,Nunchaku FLUX.1-dev都能为你提供强大的支持。
记住,AI绘画是一个探索的过程。多尝试不同的提示词、参数和模型组合,你会发现更多有趣的可能性。祝你创作愉快!
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐

所有评论(0)