
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
从零本地部署大模型(零基础友好版)
如果是进行只需要跑通模型,至少要保证显卡10G显存并且cuda版本最好高于11.x,如果是需要训练可能需要更大的显存。部署模型有三件事情要做:1.确定本地硬件是否支持需要部署的大模型。2.确定模型需要的依赖。3.下载好模型的权重和配置文件。

到底了

该用户还未填写简介
暂无可提供的服务
如果是进行只需要跑通模型,至少要保证显卡10G显存并且cuda版本最好高于11.x,如果是需要训练可能需要更大的显存。部署模型有三件事情要做:1.确定本地硬件是否支持需要部署的大模型。2.确定模型需要的依赖。3.下载好模型的权重和配置文件。
