第一步：进入云环境平台

1. 点击“AMD 开发者云”，建议选择魔搭账号登录。

2. 点击AMD开发者云，进入AMD开发者云页面，一般会自动登录，没有自动登录就选择login with ModelScope

3. 回到上一个界面AMD AI开发计划，完善个人信息，得积分

4. 点击我的权益——积分免费兑换云额度点击领取——下滑点击立即兑换（兑换后30天会自动过期）

5. 兑换完毕复制链接——点击AMD开发者云平台跳转网页——右上角头像点击profile——点击Redeem credicts——把刚刚链接复制尽量兑换即可

目前完成准备工作，下面开始正式运行GPU服务器

第二步：正式使用云服务器

点击launch——点击open notebook——进入界面(剩下的步骤就和大家在其他云服务器厂商一样了)

1.点击➕号添加新的引导页面——点击Terminal——输入

amd-smi

出现服务器配置

核心硬件规格

• GPU型号：AMD Radeon Graphics (集成显卡)

• • 关键识别点：设备名称显示为 "AMD Radeon Graphics"，且显存仅为 49136 MB (约48GB)。这通常不是独立的专业计算卡（如MI300X或MI250），而是一颗高性能的APU或者嵌入式/服务器级集成显卡芯片。

• 显存容量：~48 GB (49136 MB)

• • 这是一个非常关键的指标。对于运行Gemma 4来说，48GB显存非常充裕，完全可以容纳模型权重、KV Cache以及微调时的梯度数据。

• 驱动与软件栈：

• • Driver Version: 6.14.14
  • ROCm Version: 7.2.1 (这是一个非常新的版本，说明环境很新，对最新模型的支持应该不错)。
  • VBios Version: 00162356

当前运行状态

• 温度：32 °C
• 功耗：14 / 241 W (当前仅消耗14W，TDP上限为241W，处于空闲状态)。
• 风扇转速：20.0% (低转速，安静模式)。
• 进程占用：

• • 列表中有两个PID（47133, 118563），但显存占用均为 0.0 B。这说明虽然有进程在跑（可能是监控进程或后台服务），但目前并没有进行实际的AI计算任务。

确认 PyTorch 能识别 AMD GPU

python -c "import torch; print('PyTorch:', torch.__version__); print('ROCm available:', torch.cuda.is_available()); print('Device:', torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'N/A')"

pip 源切换到腾讯云镜像

pip config set global.index-url https://mirrors.cloud.tencent.com/pypi/simple/

2.安装魔搭

pip install modelscope

简单讲讲魔搭是什么？简单来说就是国内的huggingface

魔搭社区（ModelScope）是由阿里巴巴达摩院联合中国计算机学会开源发展委员会于2022年11月推出的AI大模型开源社区，定位为聚焦多模态AI模型的开放平台，覆盖文本、图像、语音、视频等多个领域，提供从模型训练、调优到部署的一站式服务。

截至2026年3月，该社区已汇聚超过17万个开源模型，服务全球超2500万名开发者，吸纳包括DeepSeek、智谱AI、腾讯、字节跳动等在内的千余家顶尖机构入驻，已成为中国规模最大、开发者最活跃的AI开源社区。其核心功能包括：

• 模型库：支持下载、体验、微调各类大模型；
• 创空间：沉淀超1万个创新AI应用，支持在线运行与分享；
• MCP广场：提供超9200种模型调用服务，支持一键部署与开箱即用；
• Skills中心：封装标准化能力模块，降低开发门槛；
• AIGC专区：面向创作者提供图片、视频生成及训练工具。

可以看到页面有模型 数据集等等

复制命令，粘贴命令运行，下载 Gemma4 模型到当前目录

modelscope download --model google/gemma-4-E4B-it --cache_dir "./models"

看到 Successfully Downloaded from model google/gemma-4-E4B-it.等待一会按回车（ENTER)就🆗了

先来魔搭社区里面看看这个模型

关键点在于：适用于从移动和边缘设备（E2B、E4B）到消费级 GPU 和工作站（26B A4B、31B）的多种部署场景。它们非常适合推理、智能体工作流、代码编写和多模态理解。

这里这些E2B 26B A4B是什么意思呢？

26B A4B 这个命名中，A 代表 Activated，即"激活的参数量"。

• 26B A4B = 总参数 260 亿，每次推理激活（Activated）约 40 亿参数

同理

• E2B = Effective 2 Billion，推理时有效激活约 20 亿参数
• E4B = Effective 4 Billion，推理时有效激活约 40 亿参数

术语	全称	含义	典型代表
B	Billion	十亿（参数量单位）	2B、4B、26B、31B
E	Effective	有效参数（PLE 技术压缩后运行时实际使用的量）	E2B、E4B
A	Activated	激活参数（MoE 架构每次推理动态调用的量）	26B A4B
MoE	Mixture of Experts	混合专家架构（稀疏激活，只调用部分参数）	26B A4B MoE
Dense	稠密模型	传统架构，所有参数全部参与推理	31B Dense

大致了解后，我们执行命令安装就🆗了

确认 Gemma4 模型模型文件完整下载成功

ls -lh ./models/google/gemma-4-E4B-it/

与仓库里面一致即可

3.启动 vLLM 服务

vLLM（Virtualized Large Language Model）是一个由加州大学伯克利分校开发的高性能大语言模型推理和服务框架。简单来说，它的作用就是让你训练好的大模型（如 LLaMA、Qwen、DeepSeek 等）能够更快、更省资源地对外提供服务。

uv pip uninstall torchvision # 经测试，在该云环境中，需卸载重新安装这个库才能正常使用
uv pip install vllm torchvision \
  --no-cache \
  --index-url https://mirrors.aliyun.com/pypi/simple/ \
  --extra-index-url https://wheels.vllm.ai/rocm/ \
  -U

在当前终端运行下面命令 运行 Gemma4 模型

vllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-it

点击➕号打开新的终端 输入命令（如果遇到报错，可以等一会，在输入下面命令，可能是因为模型没有运行起来）

vllm chat --url http://localhost:8000/v1 --model gemma-4-E4B-it