logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CANN 模型蒸馏实战:大模型知识迁移到小模型

知识蒸馏是一种通过大模型(Teacher)指导小模型(Student)训练的技术。其核心思想是利用Teacher输出的"软标签"(包含类间关系等丰富信息)而非硬标签来训练Student。蒸馏损失函数结合KL散度(软标签)和交叉熵(硬标签),通过温度参数T控制软标签平滑度:T值越大,分布越平滑。实验表明T=3-5适用于多数场景。昇腾平台实现中,Teacher模型冻结,Student通过优化总损失(α

文章图片
#矩阵#线性代数#python
CANN 大模型推理优化实战:FlashAttention、推测解码与连续批处理的工程实现

FlashAttention通过分块计算和在线Softmax技术,将注意力计算的显存占用从O(N²)降至O(N),同时减少HBM访问次数,实现2.4倍加速。推测解码则利用小模型快速生成候选token,大模型并行验证,打破自回归推理的串行瓶颈,可提升3倍生成速度。两种技术均保持与原方法一致的输出质量,仅需替换实现即可获得显著性能提升。

文章图片
#深度学习#人工智能#python +2
Flutter + OpenHarmony 导航与状态管理架构:构建可维护、可扩展、高性能的鸿蒙应用骨架

Flutter + OpenHarmony 导航与状态管理架构:构建可维护、可扩展、高性能的鸿蒙应用骨架

文章图片
#flutter#架构#harmonyos
鸿蒙 PC + Electron 与鸿蒙(HarmonyOS)终极协同战略:从技术隔离到生态共荣的演进路径

Electron 与鸿蒙(HarmonyOS)终极协同战略:从技术隔离到生态共荣的演进路径

文章图片
#electron#harmonyos#javascript
鸿蒙 PC + 从 Electron 到鸿蒙:开发者转型全景指南——技能迁移、工具链重构与职业发展新路径

从 Electron 到鸿蒙:开发者转型全景指南——技能迁移、工具链重构与职业发展新路径

文章图片
#electron#harmonyos#重构
实战进阶:构建高并发、低延迟的 Flutter + OpenHarmony 智慧交通出行平台(支持车路协同、离线导航与国产车载芯片适配)

实战进阶:构建高并发、低延迟的 Flutter + OpenHarmony 智慧交通出行平台(支持车路协同、离线导航与国产车载芯片适配)

文章图片
#flutter#javascript#前端
实战前瞻:构建可信、高效、绿色的 Flutter + OpenHarmony 智慧政务服务平台(支持一网通办、安全身份核验与信创全栈适配)

实战前瞻:构建可信、高效、绿色的 Flutter + OpenHarmony 智慧政务服务平台(支持一网通办、安全身份核验与信创全栈适配)

文章图片
#flutter#政务#安全
Flutter + OpenHarmony 发布与分发全流程:从构建到上架 AppGallery 的实战指南

Flutter + OpenHarmony 发布与分发全流程:从构建到上架 AppGallery 的实战指南

文章图片
#flutter
Flutter + OpenHarmony 跨设备协同开发实战:打造无缝流转的超级终端体验

Flutter + OpenHarmony 跨设备协同开发实战:打造无缝流转的超级终端体验

文章图片
#flutter#wpf
实战前瞻:构建高可靠、低功耗的 Flutter + OpenHarmony 智慧医疗健康平台

实战前瞻:构建高可靠、低功耗的 Flutter + OpenHarmony 智慧医疗健康平台

文章图片
#flutter#javascript#html
    共 85 条
  • 1
  • 2
  • 3
  • 9
  • 请选择