丹摩征文活动 | 带你玩转开源模型,一起来部署SD3+ComfyUI文生图模型
1 背景 1.1 SD3背景介绍 Stable Diffusion 3是Stability AI推出的一款先进的文本到图像的开源模型,SD3以其图像质量、文本内容生成、复杂提示理解和资源效率方面的显著提升而备受期待。 SD3 Medium版本包含20亿参数,体积小,适合在消费级PC和笔记本电脑上运行,使得普通用户也能轻松部署在自己的电脑上使用。 SD3在图像生成方面表现出色,能够生成细节逼真
1 背景
1.1 SD3背景介绍
Stable Diffusion 3是Stability AI推出的一款先进的文本到图像的开源模型,SD3以其图像质量、文本内容生成、复杂提示理解和资源效率方面的显著提升而备受期待。
SD3 Medium版本包含20亿参数,体积小,适合在消费级PC和笔记本电脑上运行,使得普通用户也能轻松部署在自己的电脑上使用。
SD3在图像生成方面表现出色,能够生成细节逼真、色彩鲜艳、光照自然的图像,并能灵活适应多种风格,如动漫、厚涂等,无需微调,仅通过提示词即可生成。
此外,SD3能够理解复杂的自然语言提示,包括空间推理、构图元素、姿势动作、风格描述等,展现出比Midjourney更准确的文本效果。
1.2 ComfyUI背景介绍
ComfyUI是一款基于节点工作流的Stable Diffusion Web UI,支持SD3模型的运行。
用户可以从GitHub下载并安装ComfyUI。ComfyUI提供了一个用户友好的界面,使得操作SD3模型变得更加简单直观,并且支持图像的批量生成和编辑,让用户能够轻松实现高效的批处理操作。
1.3 体验感
作为开发者,使用SD3和ComfyUI的体验是极具吸引力的。
SD3的更精确的图像控制和增强的元素融合能力,使得开发者可以通过提示词精确控制画面的细节和风格。
ComfyUI的操作步骤简单明了,从启动ComfyUI、加载模型、输入提示词、调整参数到生成图像,整个过程流畅且高效,开发者还可以利用ComfyUI进行批处理操作,大大提高了工作效率。
在实际部署过程中,开发者可以感受到SD3和ComfyUI带来的便利,下载并安装ComfyUI后,可以直接从Hugging Face下载SD3模型,并将其放置在ComfyUI的models文件夹下,然后通过ComfyUI启动器加载模型并开始生成图像,并且还可以根据需要调整采样器、步数、CFG等参数,以优化生成图像的质量和风格。
2 部署流程
-
进入控制台-GPU云实例,点击创建实例:
-
进入创建页面后,首先在实例配置中选择付费类型,一般短期需求可以选择按量付费或者包日,长期需求可以选择包月套餐;
其次选择GPU数量和需求的GPU型号,首次创建实例推荐选择:
-
按量付费
-
GPU数量1
-
NVIDIA-GeForc-RTX-4090:该配置为60GB内存,24GB的显存(本次测试的LLaMA3.1 8B 版本至少需要GPU显存16G)
接下来配置数据硬盘的大小,每个实例默认附带了50GB的数据硬盘,FLUX.1模型较大,建议扩容至150GB。
-
-
继续选择安装的镜像,平台提供了一些基础镜像供快速启动,镜像中安装了对应的基础环境和框架,可通过勾选来筛选框架,这里筛选PyTorch,选择PyTorch 2.4.0。
-
为保证安全登录,创建密钥对,输入自定义的名称,然后选择自动创建并将创建好的私钥保存的自己电脑中,以便后续本地连接使用。
-
创建好密钥对后,选择刚刚创建好的密钥对,并点击立即创建,等待一段时间后即可启动成功!
3 登录实例
(1)等待实例创建成功,在 GPU云实例 中查看实例信息。
(2)平台提供了在线访问实例的 JupyterLab 入口,可以直接登录实例:
(3)登录后一般会在 /root/workspace 目录下,服务器各个路径具体意义如下:
-
/
:系统盘,替换镜像,重置系统时系统盘数据都会重置。 -
/root/workspace
:数据盘,支持扩容,保存镜像时此处数据不会重置。 -
/root/shared-storage
:共享文件存储,可跨实例存储。 -
SSH登录:
SSH只是登录方式,工具可以是系统自带终端、Xshell、MobaXterm等。
SSH登录一般需要以下 4 个信息:
-
用户名:root
-
远程主机域名或IP(这里使用host域名):实例页面获取
-
端口号:实例页面获取
-
登录密码或密钥(这里使用密钥):前面创建实例时保存到本地的密钥
在实例页面获取主机host和端口号:
-
复制结果类似如下:
ssh -p 31729 root@gpu-s277r6fyqd.ssh.damodel.com
其中,gpu-s277r6fyqd.ssh.damodel.com
即主机host,31729
为端口号。
终端登录方式详见SSH登录与密钥对。
4 部署ComfyUI
-
在终端中执行以下命令克隆ComfyUI代码:
# github官方代码仓库 git clone https://github.com/comfyanonymous/ComfyUI.git # gitCode-github加速计划代码仓库 git clone https://gitcode.com/gh_mirrors/co/ComfyUI.git
-
克隆完成后可看到如下目录:
-
终端进入
/root/workspace/ComfyUI
目录,执行以下命令,安装ComfyUI需要的依赖:
cd ComfyUI/ pip install -r requirements.txt --ignore-installed
-
执行以下命令,启动ComfyUI:
python main.py --listen
-
看到服务成功启动,说明ComfyUI部署成功!
5 部署SD3
(1)从HF-mirror下载SD3模型:
pip install -U huggingface_hub #设置环境变量 export HF_ENDPOINT=https://hf-mirror.com #下载模型 huggingface-cli download --token hf_BbwgWIQLalWXUdHgvDGPDZpnLxo --resume-download stabilityai/stable-diffusion-3-medium --local-dir .
6 生成图像
更多推荐
所有评论(0)