目前GPU云容器提供了3种镜像,区别如下

镜像名 已安装的python包 自动启动命令
基础镜像

torch
tensorflow
transformers
jupyterlab
xformers
bitsandbytes
diffusers

小羊驼

基础镜像所有python包 + 以下包:

fschat

python3.10 -m fastchat.serve.controller
python3.10 -m fastchat.serve.model_worker --model-path ~/.cache/huggingface/hub/vicuna-7b-all-v1.1
python3.10 -m fastchat.serve.gradio_web_server
python3.10 -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000
stable-diffusion

基础镜像所有python包 + 以下包:

stable-diffusion

cd /release/stable-diffusion-webui
/bin/sh /release/stable-diffusion-webui/start-webui-user.sh

 

如何想通过命令行切换镜像,可以按如下说明操作:

  1. 基础镜像
    1. 切换为小羊驼镜像 执行 pip3 install fschat
    2. 切换为stable-diffusion镜像 执行 pip3 install stable-diffusion
  2. 小羊驼镜像
    1. 切换为stable-diffusion镜像 执行 pip3 uninstall fschat; pip3 install stable-diffusion
    2. 切换为基础镜像 执行 pip3 uninstall fschat;
  3. stable-diffusion镜像
    1. 切换为小羊驼镜像  执行 pip3 uninstall stable-diffusion; pip3 install fschat
    2. 切换为基础镜像 执行 pip3 uninstall stable-diffusion

注意:

如果切换到小羊驼或stable-diffusion,需要手动执行表格里面的启动命令

如果从小羊驼或stable-diffusion切换为其他镜像,需要先kill掉已经启动的进程,以免显存不足

小羊驼或stable-diffusion启动都稍慢,请耐心等待模型加载

 

Logo

让你的灵感快速落地!InsCode 是一个无需安装的编程、协作和分享社区。

更多推荐