
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
之前想用昇腾NPU训练个大模型,光配环境就搞了三天。后来发现cann-recipes-train这个仓库,它把训练脚本、配置文件、数据预处理全都准备好了,改改就能用。这篇文章就来讲讲怎么用这个仓库从零开始训练模型。

CANN与大模型推理:高效部署百亿参数语言模型的实践指南

【昇腾CANN】ops-transformer算子库深度解析:让大模型训练快起来

【昇腾CANN】ops-transformer算子库深度解析:让大模型训练快起来

接上一篇文章聊的 metadef,这篇说一个完整的话题:自定义算子怎么从零注册到昇腾 CANN 里,让 PyTorch 或者 TensorFlow 能直接调用。这个过程涉及到几个环节:算子实现(核函数)、元数据定义(metadef)、算子注册(OpLoader)、框架适配(PyTorch 的 autograd 或者 TensorFlow 的 op 包装)。哪一步出了问题,调用都会失败。

接上一篇文章聊的 metadef,这篇说一个完整的话题:自定义算子怎么从零注册到昇腾 CANN 里,让 PyTorch 或者 TensorFlow 能直接调用。这个过程涉及到几个环节:算子实现(核函数)、元数据定义(metadef)、算子注册(OpLoader)、框架适配(PyTorch 的 autograd 或者 TensorFlow 的 op 包装)。哪一步出了问题,调用都会失败。

写自定义算子的时候,加载阶段报错是最让人崩溃的——代码逻辑明明没问题,但 ACL 就是说 `format error` 或者 `schema mismatch`。这类问题大多数出在 metadef(元数据定义)上。metadef 描述了算子的接口规范,包括输入输出的 shape、dtype、format 等信息。如果自定义算子的实现和 metadef 描述对不上,ACL 在加载阶段就会拒绝。

写自定义算子的时候,加载阶段报错是最让人崩溃的——代码逻辑明明没问题,但 ACL 就是说 `format error` 或者 `schema mismatch`。这类问题大多数出在 metadef(元数据定义)上。metadef 描述了算子的接口规范,包括输入输出的 shape、dtype、format 等信息。如果自定义算子的实现和 metadef 描述对不上,ACL 在加载阶段就会拒绝。

之前做分子动力学模拟,用CPU跑一个2000原子的体系,1天只能跑2纳秒。后来迁到昇腾NPU,用ops-math和ATB优化,1天能跑50纳秒。这篇文章就来讲讲这个实战项目。

之前做分子动力学模拟,用CPU跑一个2000原子的体系,1天只能跑2纳秒。后来迁到昇腾NPU,用ops-math和ATB优化,1天能跑50纳秒。这篇文章就来讲讲这个实战项目。








