logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

动态图qwen3.5 megatron与mindspore transformers精度对齐实践(dense+moe)

本文实现Qwen3.5系列模型在Ascend NPU(MindSpore pynative)与NVIDIA GPU(Megatron-LM + TransformerEngine)间的bf16精度对齐,覆盖dense与MoE架构。通过定制补丁支持GatedDeltaNet线性注意力与MTP模块,完成权重转换、数据集与种子同步,并在1000步训练中实现主损失与MTP损失误差低于0.07%(均值),验

#人工智能
2024 年(25 届)四非计算机保研经验贴(浙软,北邮,重大,成电,西电杭,深大)

本文分享了2024年计算机专业保研经验,作者来自西南地区四非院校,最终成功保研浙江大学软件学院。作者详细介绍了夏令营和预推免的入营情况,以及浙软、西电杭、重大等学校的面试经历。文章还分析了今年保研形势的变化,强调了选择的重要性,并给出了对保研学生的建议,同时分享了对鸽链反应、海投策略等保研现象的见解。

文章图片
#考研#面试
到底了