本文介绍了使用vLLM框架部署大语言模型的方法。主要内容包括：1）环境配置，建议安装vLLM和flash-attn；2）模型部署，提供原始模型和LoRA微调模型两种部署方式，详细说明启动参数及调用方法；3）示例代码展示如何使用Python API和curl命令调用服务。文章还包含参数说明表格，并推荐了更详细的参数解读资料。部署过程支持多GPU并行，可加载本地模型或HuggingFace模型库中的模

基于Nvidia GPU深度学习服务器如何完成驱动和CUDA环境配置，这里通过自身实践，总结了这份文档供大家参考同时也供自己备忘。