logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用SGLang实现DeepSeek离线大模型并行推理

SGLang只能运行在Linux系统下,本人使用Winows11作为开发环境的操作系统,所以必须安装WSL2,WSL2的安装方法可百度一下,WSL2中安装Ubuntu-22.04.5,该版本的Ubuntu系统自带Python3.10。最后就是安装SGLang包(需要翻墙,安装过程很慢),在安装SGLang包的过程中有几个包特别大,通过命令安装一直不成功,所以我提前手动下载了那几个特别大的包,手动安

#sglang
到底了