写文章
- @weixin_38718148
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
pytorch debug版本编译
有方案解决依赖分析算子dispatch流程，因此需要编译debug版本，方便跟踪dispatch流程。
pytorch FSDP特性
FSDP全称（Fully Sharded Data Parallel），是pytorch官方提出大模型切分的解决方案。类似于ZeRo3级别的并行优化，同时混合cpu offload。
pybind11的GIL锁引入的bug
pybind
到底了