logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零本地部署大模型(零基础友好版)

如果是进行只需要跑通模型,至少要保证显卡10G显存并且cuda版本最好高于11.x,如果是需要训练可能需要更大的显存。部署模型有三件事情要做:1.确定本地硬件是否支持需要部署的大模型。2.确定模型需要的依赖。3.下载好模型的权重和配置文件。

文章图片
#语言模型#人工智能#自然语言处理 +1
到底了