
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
HarmonyOS SDK使能美团高效开发,打造优质创新应用体验
最近,美团与HarmonyOS SDK的深度结合,让我看到了“一次开发,多端部署”从口号变成了现实。更关键的是,SDK内置的分布式数据管理能力,让用户在不同设备间切换时,状态能无缝续接——比如你在手机上选好了外卖,走到客厅,平板上的美团App直接弹出“继续下单”的卡片。当然,它也有需要改进的地方,比如部分API文档还不全,调试工具链不够成熟,但整体方向是值得肯定的。美团把这个能力用在了“订单状态同
大模型训练显存计算与优化详解
优化方法原理显存节省代价混合精度训练FP16/BF16计算激活值减半(模型状态不省)需要FP32副本梯度检查点重计算激活值激活值从O(L)到O(√L)增加约25-30%计算时间梯度累积多次前向,一次反向减少激活值等效增大batchZeRO-1切分优化器状态优化器状态/N额外通信ZeRO-2切分优化器+梯度(优化器+梯度)/N更多通信ZeRO-3全切分全部状态/N显著增加通信模型并行切分模型计算图模
SPONGE-2.0的安装与使用
安装与使用关于新版的SPONGE,如果是Windows的机器,建议可以使用Windows操作系统的就不要再套一层WSL,会有一定的性能损失,这里直接在Windows环境下做编译构建。安装pixi首先是需要安装一个pixi,直接用powershell执行下述指令即可:安装完成后要重启powershell生效。重启后可以看一下pixi的版本:使用pixi安装开发环境先用git把项目clone到本地,从
到底了







