
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
昇腾推出Transformer加速库ascend-transformer-boost,针对大模型推理三大瓶颈进行优化:1)采用PagedAttention分页管理KV Cache,显存利用率提升至90%;2)集成FlashAttention优化计算效率;3)支持投机解码技术,吞吐提升2-3倍。该库提供开箱即用的API,支持LLaMA等主流模型,实测LLaMA-7B单卡在4096长度下仍保持24 t

本文介绍了在鸿蒙(HarmonyOS)与Flutter混合开发中实现全离线语音交互(TTS/STT)的完整方案。通过整合鸿蒙原生TTS引擎和PocketSphinx开源STT引擎,结合Flutter跨平台特性,构建了支持多语言的离线语音交互系统。文章详细阐述了环境搭建、通信架构设计、核心功能实现(包括TTS语音合成和STT语音识别)、多语言适配方案以及性能优化策略,并提供了可复用的代码示例和常见问

本文针对鸿蒙(HarmonyOS)应用开发中使用Flutter框架处理万级数据列表时的性能问题,提出了一套系统化优化方案。通过分析Flutter列表渲染机制和鸿蒙系统特性,文章从基础优化、进阶适配到极限突破三个层面,详细介绍了如何实现万级数据列表的"秒开+丝滑滑动"效果。关键优化点包括:使用ListView.builder实现回收复用、结合鸿蒙后台任务进行数据分页预加载、组件级

鸿蒙分布式数据同步技术解析与ArkUI实践 本文系统阐述了鸿蒙分布式数据同步的核心技术及其在ArkUI开发中的应用。首先介绍了分布式数据同步在鸿蒙生态中的核心价值,包括多端体验一致性、设备协同和开发效率提升。随后详细解析了鸿蒙分布式数据体系的分层架构和三大数据类型(键值型、关系型、文件型)的特性与适用场景。 文章重点讲解了ArkUI适配分布式数据的核心机制,包括数据模型与同步引擎的工作流程,以及分

本文介绍了在鸿蒙(HarmonyOS)与Flutter混合开发中实现全离线语音交互(TTS/STT)的完整方案。通过整合鸿蒙原生TTS引擎和PocketSphinx开源STT引擎,结合Flutter跨平台特性,构建了支持多语言的离线语音交互系统。文章详细阐述了环境搭建、通信架构设计、核心功能实现(包括TTS语音合成和STT语音识别)、多语言适配方案以及性能优化策略,并提供了可复用的代码示例和常见问

本文全面解析AscendC中级认证核心考点与算子开发实战技巧。内容涵盖四大模块:算子开发基础(40%权重)、性能优化(35%)、复杂场景开发(15%)和异构架构理解(10%)。重点包括:1)提供Erf和LogsoftmaxV2等完整算子源码;2)详解并行调度、内存复用、向量指令三大性能优化技巧,实测性能提升4倍;3)结合智能驾驶案例展示复杂场景开发流程;4)配套性能分析工具和问题排查指南。通过系统

摘要:本文介绍了将PyTorch模型导出为ONNX并编译为昇腾NPU模型时常见的算子不兼容问题及解决方案。主要内容包括:1) 分析昇腾不支持的ONNX算子类型(稀疏算子、动态索引算子等)及替代方案;2) 提供算子替换的两种方式(导出前替换和修改ONNX图);3) 针对NMS算子的特殊处理方案;4) 动态shape模型的导出注意事项;5) 详细的排查流程。文章强调优先使用标准算子数学等价替换,并提供

摘要:本文介绍了将PyTorch模型导出为ONNX并编译为昇腾NPU模型时常见的算子不兼容问题及解决方案。主要内容包括:1) 分析昇腾不支持的ONNX算子类型(稀疏算子、动态索引算子等)及替代方案;2) 提供算子替换的两种方式(导出前替换和修改ONNX图);3) 针对NMS算子的特殊处理方案;4) 动态shape模型的导出注意事项;5) 详细的排查流程。文章强调优先使用标准算子数学等价替换,并提供

摘要:本文介绍了将PyTorch模型导出为ONNX并编译为昇腾NPU模型时常见的算子不兼容问题及解决方案。主要内容包括:1) 分析昇腾不支持的ONNX算子类型(稀疏算子、动态索引算子等)及替代方案;2) 提供算子替换的两种方式(导出前替换和修改ONNX图);3) 针对NMS算子的特殊处理方案;4) 动态shape模型的导出注意事项;5) 详细的排查流程。文章强调优先使用标准算子数学等价替换,并提供

摘要:本文介绍了将PyTorch模型导出为ONNX并编译为昇腾NPU模型时常见的算子不兼容问题及解决方案。主要内容包括:1) 分析昇腾不支持的ONNX算子类型(稀疏算子、动态索引算子等)及替代方案;2) 提供算子替换的两种方式(导出前替换和修改ONNX图);3) 针对NMS算子的特殊处理方案;4) 动态shape模型的导出注意事项;5) 详细的排查流程。文章强调优先使用标准算子数学等价替换,并提供








