vLLM启动项目并输出到日志

CUDA_VISIBLE_DEVICES=1 nohup vllm serve /llm_models/Qwen3-32B \
        --served-model-name Qwen3-32B \
        --gpu_memory_utilization 0.95 \
        --tensor-parallel-size 1 \
        --max-model-len 32768 \
        --port 7562 \
        --enable-reasoning --reasoning-parser deepseek_r1 \
        --device cuda \
        &> /llm_models/Qwen3-32B/Qwen3-32B.log &
# vLLM
Logo
加入AMD AI开发者计划！

免费领 100 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

PyTorch深度学习实战（54）——使用TorchScript和ONNX导出通用PyTorch模型

avatar AMD开发者中国社区

基于vLLM部署Gemma-4-E2B多模态大模型和调用API 服务

基于vLLM的推理引擎大幅提升模型响应速度，FastAPI接口可直接集成到业务系统中，适用于智能问答、图片分析、多模态交互等实际应用场景。多模态大模型，实现图片+文本的多模态问答功能，并通过FastAPI封装为可视化API服务，最终完成本地接口测试。服务启动后，自动加载Processor和Gemma模型到GPU，加载完成后可接收外部请求。成功部署Google Gemma-4-E2B-it多模态大模

avatar AMD开发者中国社区

ESXi 支持哪些 GPU 直通？NVIDIA/AMD 全系列兼容与配置指南

GPU 直通（PCIe Passthrough）是 VMware ESXi 提供的硬件虚拟化技术，通过直接将物理 GPU 设备分配给单台虚拟机独占使用，绕过 ESXi 虚拟化层的资源调度，让虚拟机获得完整的 GPU 算力与功能支持，性能损耗低于 5%，可实现与物理机几乎一致的运行体验。ESXi 对 GPU 直通的支持非常完善，核心兼容型号为 NVIDIA V100/A100/RTX 全系列和 AM

avatar AMD开发者中国社区