写文章
- @Coyilla
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
【CANN训练营】Qwen3-8B 推理优化实践笔记（2~3）
本文基于CANN训练营指南，系统实践Qwen3-8B在昇腾NPU上的推理优化。通过环境配置、YAML模板定制与recipes框架启动，完成Baseline推理，获得吞吐7.11 tokens/s。结合torch_npu.profiler进行性能剖析，发现未融合的RMSNorm小算子（如Pow、ReduceMean、Mul等）为关键瓶颈。时间线图谱显示Decode阶段存在大量细碎算子调度，证实小算子
【CANN训练营】Qwen3-8B 推理优化实践笔记（2~3）
本文基于CANN训练营指南，系统实践Qwen3-8B在昇腾NPU上的推理优化。通过环境配置、YAML模板定制与recipes框架启动，完成Baseline推理，获得吞吐7.11 tokens/s。结合torch_npu.profiler进行性能剖析，发现未融合的RMSNorm小算子（如Pow、ReduceMean、Mul等）为关键瓶颈。时间线图谱显示Decode阶段存在大量细碎算子调度，证实小算子
【CANN训练营】Qwen3-8B 推理优化实践食用指南
本文基于CANN Learning Hub课程，指导用户在昇腾NPU上使用Qwen3-8B模型完成推理与性能优化。
【CANN训练营】Qwen3-8B 推理优化实践食用指南
本文基于CANN Learning Hub课程，指导用户在昇腾NPU上使用Qwen3-8B模型完成推理与性能优化。
到底了