logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ATB昇腾Transformer加速库:高性能大模型推理优化实战指南

随着大语言模型参数量从数十亿跃升至千亿级别,Transformer 架构已成为现代深度学习模型的事实标准。然而,庞大的计算量和内存消耗使得模型部署成为工程实践中的核心挑战。在昇腾AI处理器生态中,ATB(Ascend Transformer Boost,昇腾Transformer加速库)作为面向Transformer类模型的高性能推理优化库,提供了一套从算子融合到内存优化的全栈加速方案。ATB并非

文章图片
昇腾CANN Transformer加速库AscendTransformerBoost深度实践:大模型推理的算子级优化

在昇腾CANN软件栈中,AscendTransformerBoost是专门用于Transformer模型加速的算子库。它针对大模型推理场景优化,提供了一系列高性能的Transformer算子,可以显著提升推理性能。本文采用深度实践的工程报告风格,深入剖析AscendTransformerBoost的技术原理和性能表现。在当前的大模型时代,Transformer模型的推理性能是关键瓶颈。传统的通用算

文章图片
ascend-transformer-boost 昇腾Transformer专项优化算子深度解读:大模型融合优化的工程实践与边界划分

大语言模型的核心计算瓶颈集中在哪里?是Self-Attention的O(n²)复杂度,还是Feed-Forward Network中矩阵乘的巨大算力消耗,抑或是LayerNorm和残差连接带来的频繁内存访问?这些瓶颈在真实的Transformer部署中往往同时存在,而传统的逐算子执行模式会因为大量的中间结果写入HBM而导致带宽瓶颈。

文章图片
HCCL通信库的时间都花在哪——大模型训练中的通信性能数据拆解:从AllReduce到拓扑感知的链路利用率全链路分析

在昇腾NPU集群上跑大模型分布式训练,最让人头疼的事情之一不是算力不够,而是通信吃掉了太多时间。CANN架构体系里,HCCL作为集合通信库负责多卡之间的数据同步和规约,它本身不参与计算,但每一次AllReduce、每一次AllGather都在消耗宝贵的训练周期。这篇文章要做的事情很明确:把HCCL通信过程拆开,看看时间到底花在了哪些环节,以及不同的算法选择和拓扑配置会对通信效率造成什么影响。

文章图片
萌宠美容预约管理应用:HarmonyOS ArkTS API 24每个弹窗的根容器都设置了 position({ x: 0, y: 0 }) 和 zIndex(999),确保它正确覆盖全屏

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

文章图片
#harmonyos#华为
基于HarmonyOS API 24主组件定义多个private修饰的数据数组,在组件实例化时初始化,在整个生命周期中保持不变(除了 watchRecords 被 @State 修饰,可以动态修改)

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

文章图片
#harmonyos#华为#交互
Grid组件是ArkTS提供的网格布局容器,columnsTemplate(‘1fr 1fr‘)定义了两列等宽的网格模板——1fr表示一份可用空间,两个1fr即两列各占50%宽度

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

文章图片
#harmonyos#华为
昇腾CANN Python加速库pyasc:用Python调用昇腾NPU算力的实战入门

昇腾NPU的开发通常需要用C/C++写Ascend CL代码,门槛较高——光是初始化ACL运行时、分配Device Memory、管理Stream和Event这些样板代码就得写上百行。很多数据科学家和算法工程师更习惯用Python,希望用NumPy/Pandas的风格来调用NPU算力,不想碰C代码。pyasc是昇腾CANN生态里的Python加速库,它提供了Python接口来调用昇腾NPU的算子和

文章图片
用 JiuwenClaw 打造合同审查辅助Agent Swarm:从条款提取到风险标注的实践记录

本文介绍了使用JiuwenSwarm构建合同审查辅助Agent Swarm的实践。通过多Agent协作模式,将合同审查拆解为条款提取、法律风险审查、商务风险审查、版本比对等专业分工,形成可复用的审查流水线。文章详细阐述了JiuwenSwarm环境搭建、TeamSkill创建流程,以及如何通过Coordination Engineering设计稳定的多Agent协作系统。该方案旨在将重复性工作前置处

文章图片
#人工智能
音乐播放器应用基于HarmonyOS API 24的设计与实现,排序比较函数(a, b) => b.playCount - a.playCount表示当b的播放次数大于a时,b排在前面,即降序排列

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

文章图片
#harmonyos#华为#交互
    共 466 条
  • 1
  • 2
  • 3
  • 47
  • 请选择