• 环境

    • linux:ubuntu 22.04
    • cuda:11.8
  • 创建环境

    conda create -n vllm python=3.10
    conda activate vllm
    
  • 安装ninjia

    sudo apt update
    sudo apt install ninja-build
    
  • 安装vllm

    pip install vllm
    
  • 启动openai-server

    VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]
    
    • <model_tag>:模型id,具体的查看modelscope、huggingface的repo
    • 查看vllm serve有哪些参数可选:vllm serve -h

不要从源码安装,很多的问题!!

Logo

更多推荐