在AMD开发的ROCm环境下,使用魔塔开源社区安装并部署(Deploy)Gemma4大模型,并通过vLLM框架驱动,便可自制大模型,初学者友好,克服畏难心态就是迈向成功的第一步!!!

Tips:本人亲测有些测试结果跟步骤显示的不太一样,但不影响最终结果,比如说在关闭大模型对话终端的时候需要按住crtl+c,但是对话框没有显示,于是我直接关闭第一个底层服务终端。还有安装完Gemma4大模型后的结果跟显示的不一样,可能没有显示100%,但是不影响后续步骤。

AMD AI 开发者计划(链接)

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐