新手体验AMD显卡：ModelScope+vllm+ Gemma 4
#AMDev #Datawhale

step1: AMD 注册&进入开发者云& notebook启动&查看示例代码

1.1 注册
AMD平台链接：https://developer.amd.com.cn/login?source=ifF119ybS
1.2 先进入AMD开发者云
1.3 然后进入notebook

step2: 新开终端，查看AMD显卡硬件

amd-smi

step3: 下载Gemma4 和ModelScope

3.1 切换国内源
pip config set global.index-url https://mirrors.cloud.tencent.com/pypi/simple/

3.2 下载modelscope
pip install modelscope

3.3 把 Gemma4 模型下载到当前目录
modelscope download --model google/gemma-4-E4B-it --cache_dir “./models”

step4 : 下载并启动 vLLM 服务

4.1 下载vllm等
uv pip uninstall torchvision # 经测试，在该云环境中，需卸载重新安装这个库才能正常使用
uv pip install vllm torchvision
–no-cache
–index-url https://mirrors.aliyun.com/pypi/simple/
–extra-index-url https://wheels.vllm.ai/rocm/
-U

4.2 启动vllm服务
vllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-it

step5: 新开终端，验证

5.1 新开终端启动服务
vllm chat --url http://localhost:8000/v1 --model gemma-4-E4B-it
5.2 输入 文本进行测试