logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

tensorboard中把多次实验的结果绘制在一起

利用tensorboard将多次实验结果绘制在一起的方法

#人工智能#python#深度学习
DeepSeek-R1/V3满血版本地部署(超详细)

1.目前看起来SGLang在满血版的deepseek-v3和r1上优化没有想象中的大、2.多节点部署(tp并行)显存占用略微下降(非线性下降),单卡93GB—>单卡83GB3.官方推荐的性能优化选项貌似没有明显的性能提升4.对多节点真的支持tp和dp同时并行存疑。

文章图片
#python
DeepSeek本地部署/SGLang/单节点/多节点

我们采用SGLang框架进行DeepSeek模型的本地部署,基于物理设备限制,这里我们以DeepSeek-R1-Distill-Qwen-7B为例,更多配置可以参考,满血版本也可参考下述流程,最小设备支持为8*H20。

文章图片
#python
到底了