1、企业内部部署大模型，ollama不如llama，llama编译趟坑无数，所以总结出最简单的方法

2、先在linux安装rocm，网上教程很多不用多说了

3、搞清楚自己显卡型号，根据自己的显卡型号找到前面的代号

4、​​​​​​Releases · lemonade-sdk/llamacpp-rocm · GitHub

     访问上面的柠檬 的llamacpp-rocm的编译包，根据上面你的显卡代号去下载压缩包。

5、去modelscope下载需要的模型比如qwen3.6-27b，上传到服务器上。

6、执行命令跑就行了，最新的llama-server已经支持MTP了，可以开启获得更高的输出token速度。

千问3.3 27B 开启think--开启MTP
/home/lemonade/llama-server \
  -m /home/models/Qwen3.6-27B-MTP-GGUF-Q4-K-M.gguf \
  --n-gpu-layers 999 \
  --no-mmap --no-mmproj \
  --flash-attn on \
  --device ROCm0 \
  --fit-target 1024 \
  --cache-type-k q4_0 --cache-type-v q4_0 \
  --cache-ram 12288 --swa-checkpoints 24 \
  --batch-size 512 --ubatch-size 512 \
  --temperature 0.6 --top-k 20 --min-p 0.0 \
  --spec-type draft-mtp,ngram-mod --spec-draft-n-max 2 -ctkd q4_0 -ctvd q4_0 \
  --spec-ngram-mod-n-min 12 --spec-ngram-mod-n-max 48 \
  --chat-template-kwargs "{\"preserve_thinking\": true}" --reasoning on \
  --host 0.0.0.0 --port 8080 --metrics --alias "Qwen3.6-27B" \
  --parallel 1 --slot-prompt-similarity 0.3