1. 模型下载

Hugging Face， ModelScope（魔搭社区）等平台进行高速下载。

2. 启动模型推理服务

vllm serve /path/to/models/Qwen2.5-0.5B-Instruct \

    --served-model-name qwen-0.5b \

    --port 8000 \

    --tensor-parallel-size 1 \

    --max-model-len 8192 \

    --gpu-memory-utilization 0.9 \

    --trust-remote-code

核心参数详解

| 参数 | 说明 | 典型值/建议 |

| `--model` | 模型名称或本地绝对路径 | `/models/Qwen2.5-7B` |

| `--served-model-name` | API 调用的模型别名 | `gpt-3.5-turbo` 或 `qwen` |

| `--port` | 服务端口号 | `8000` |

| `--tensor-parallel-size` (`-tp`) | 张量并行度（GPU 数量） | `1`, `2`, `4` |

| `--max-model-len` | 最大上下文长度 | 根据显存调整，如 `8192` |

| `--gpu-memory-utilization` | 显存占用比例 | `0.9` (默认) |

| `--trust-remote-code` | 信任远程代码 | 新模型通常需要开启 |

3. 调用方式，和ollama差不多，有个http服务，这是的端口是8000，可以先用curl,postman等测试下通不通