本文主要分享如何使用 vLLM 实现大模型推理服务。1. 概述大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLMTriton + TensorRT-LLM...其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客 vLLM: Easy...