logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DeepSeek / Qwen 大模型在昇腾上的推理优化实战

【昇腾910B大模型部署优化实战】针对DeepSeek-V3和Qwen2.5-72B在昇腾910B集群的部署,发现初始吞吐仅为GPU的60%。通过系统优化实现276%性能提升,关键发现:1)CANN与CUDA优化逻辑差异大,需重构Attention计算和显存管理;2)FlashAttention+PagedAttention+W8A16量化组合使DeepSeek-V3吞吐从580TPS提升至218

文章图片
#harmonyos
Ascend Transformer Boost 实战:大模型推理性能提升的秘密

摘要:本文深入剖析了昇腾NPU在大模型推理中的性能瓶颈及优化方案。通过AscendTransformerBoost(ATB)技术,针对Transformer推理中的算子调度开销、显存碎片和MoE动态路由三大核心问题,提出了一系列优化策略。重点分析了Attention优化、KVCache管理、算子融合、动态Shape适配和Batch调优等关键技术,展示了从320TPS提升至1680TPS(提升425

文章图片
#transformer#深度学习#人工智能
DeepSeek / Qwen 大模型在昇腾上的推理优化实战

昇腾910B大模型部署优化实践 在昇腾910B集群部署DeepSeek-V3和Qwen2.5-72B时,发现默认配置下吞吐仅为GPU的60%。通过系统优化实现276%性能提升,关键经验包括: 性能分析先行:使用CANN的msprof工具定位瓶颈,发现昇腾与GPU的瓶颈差异(计算vs访存) Attention优化:采用FlashAttention实现145-162%提升,针对不同序列长度动态选择压缩

文章图片
#算法
Ascend Transformer Boost 实战:大模型推理性能提升的秘密

摘要:本文深入剖析了昇腾NPU在大模型推理中的性能瓶颈及优化方案。通过AscendTransformerBoost(ATB)技术,针对Transformer推理中的算子调度开销、显存碎片和MoE动态路由三大核心问题,提出了一系列优化策略。重点分析了Attention优化、KVCache管理、算子融合、动态Shape适配和Batch调优等关键技术,展示了从320TPS提升至1680TPS(提升425

文章图片
#transformer#深度学习#人工智能
ops-nn MatMul 算子深度解读:从 Tiling 到 Cube/Vector 双缓冲

摘要 本文深入解析了昇腾CANN中MatMul算子的优化策略。MatMul算子看似简单,但在昇腾达芬奇架构上实现高性能需要精细调优,否则NPU利用率可能低至40%。关键优化点包括: Tiling策略:需合理切分M/N/K三个维度,考虑L0A/L0B缓存容量约束(64KB)和16×16对齐要求,推荐tile_m=tile_k=tile_n=64的配置。 内存层次利用:充分利用HBM、L1缓存和L0A

文章图片
#深度学习#算法
鸿蒙 Flutter 混合开发:原生组件嵌入与插件化实战

本文介绍了鸿蒙Flutter混合开发的核心方法,重点讲解在Flutter中嵌入鸿蒙原生组件和开发自定义插件的实践方案。通过PlatformView技术实现Flutter页面嵌入鸿蒙原生组件(如进度条),并演示了封装鸿蒙系统信息插件的完整流程。文章还提供了详细的代码示例,包括原生组件实现、Flutter调用方法及双向通信机制。同时指出了版本兼容、性能优化等注意事项,帮助开发者充分发挥Flutter跨

文章图片
#harmonyos#electron#华为
鸿蒙 Flutter 开发:从方舟卡片集成到跨设备交互实战

本文介绍了鸿蒙Flutter开发的两个核心场景:方舟卡片集成与跨设备交互。通过完整代码案例,展示了Flutter应用如何与鸿蒙方舟卡片实现数据联动,以及如何利用鸿蒙分布式能力完成跨设备图片传输。文章详细阐述了技术实现路径,包括方舟卡片配置、分布式数据管理、MethodChannel通信等关键环节,为开发者提供了鸿蒙Flutter进阶开发的实践指导。最后,文章还提出了性能优化、生态适配等进阶建议,帮

文章图片
#前端#harmonyos#electron
鸿蒙 Flutter 开发:状态管理与鸿蒙原生能力深度融合实战

本文探讨了Flutter状态管理与鸿蒙原生能力的融合开发方案。通过Provider+分布式数据管理和Bloc+系统权限申请两个典型案例,展示了如何将Flutter主流状态管理框架与鸿蒙系统能力深度整合。文章详细阐述了分层设计、异常处理等最佳实践,并提供了完整的代码实现流程。这种融合开发模式既保留了Flutter的跨平台优势,又能充分利用鸿蒙的原生特性,为构建高性能、高扩展性的鸿蒙Flutter应用

文章图片
#harmonyos#electron#华为
鸿蒙 Flutter 开发:原子化服务开发与全场景适配实战

本文介绍了鸿蒙Flutter开发中的原子化服务和全场景适配技术。原子化服务作为鸿蒙生态核心特色,支持免安装运行和跨设备流转。通过Flutter模块嵌入鸿蒙原生工程的方式,开发者可实现原子化服务的功能载体,并利用PlatformChannel实现原生能力调用。文章通过免安装待办服务案例,详细展示了从配置、Flutter集成到数据同步的完整开发流程。在全场景适配方面,重点阐述了针对手机、平板、智慧屏等

文章图片
#harmonyos#electron#华为
鸿蒙 Flutter 开发:离线数据处理与鸿蒙原生存储深度融合实战

本文探讨了鸿蒙Flutter开发中离线数据处理与鸿蒙原生存储的融合方案。通过两个实战案例:1) 使用鸿蒙KvStore实现轻量级主题配置的离线存储与跨设备同步;2) 采用鸿蒙RDB管理结构化笔记数据的离线CRUD操作。文章提出了存储分层策略(KvStore/RDB/文件存储)、离线优先原则和增量同步机制等最佳实践,既发挥鸿蒙原生存储的分布式优势,又保留Flutter的跨端特性。这种融合方案特别适用

文章图片
#harmonyos#electron#华为
    共 136 条
  • 1
  • 2
  • 3
  • 14
  • 请选择