Radeon vii/ 1080ti

前面的表示Radeon VII的数据，后面的是1080ti的数据。说明一下：仅从resnet50来看，Radeon VII 性能相当于2080ti水平。

Radeon 的优势是显存大，真是存大一级压死人，能跑更多的模型结构。它的缺点就是warm up太慢太慢（pytorch 1.5开始已经不慢了，nice）

 

Radoen vii/ 1080ti

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model mobilenet    --batch_size 64 
525/42 (这次1080ti启用不了GPU, 用的是cpu)
python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model alexnet    --batch_size 64 
 1907/2043

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model lenet    --batch_size 64   

28348 / 7827

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model vgg16    --batch_size 64   
164/136
python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model resnet50    --batch_size 64   
 216/217

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model resnet101    --batch_size 64   
 166/132

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model resnet152    --batch_size 64  
116/NA (跑不了）

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model googlenet    --batch_size 64 
707/527

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model inception3    --batch_size 64
181/140


------------------------------------------------------------------------------------------
python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model mobilenet    --batch_size 128 
 742/45 (这次1080ti启用不了GPU, 用的是cpu)

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model alexnet    --batch_size 128
 2209 /2372

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model resnet101    --batch_size 128
169/NA(跑不了）

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model lenet    --batch_size 128
36853/11388

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model resnet50    --batch_size 128
297/216

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model googlenet    --batch_size 128
  752/559

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model resnet152    --batch_size 128
  NA/NA(跑不了）

python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model vgg16    --batch_size 128
164/132


python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model vgg16    --batch_size 128 --use_fp16
 236/161


python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  --model inception3    --batch_size 128
189/NA

 

Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区

Higress v2.2.3 发布：AI Gateway 能力增强，Gateway API 及其推理扩展持续打磨

Higress v2.2.3 版本发布，带来多项核心更新：新增 AI Gateway 的 vLLM 协议透传和上下文限制插件，增强 AI 安全防护与负载均衡；优化 Gateway API 隔离与推理路由配置；改进 Ingress 迁移体验；加固安全认证组件与 TLS 校验；修复多项 Console 问题。社区层面，Higress 正式入驻 CNCF Sandbox。

avatar AMD开发者中国社区