
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
随着大语言模型参数量从数十亿跃升至千亿级别,Transformer 架构已成为现代深度学习模型的事实标准。然而,庞大的计算量和内存消耗使得模型部署成为工程实践中的核心挑战。在昇腾AI处理器生态中,ATB(Ascend Transformer Boost,昇腾Transformer加速库)作为面向Transformer类模型的高性能推理优化库,提供了一套从算子融合到内存优化的全栈加速方案。ATB并非

在昇腾CANN软件栈中,AscendTransformerBoost是专门用于Transformer模型加速的算子库。它针对大模型推理场景优化,提供了一系列高性能的Transformer算子,可以显著提升推理性能。本文采用深度实践的工程报告风格,深入剖析AscendTransformerBoost的技术原理和性能表现。在当前的大模型时代,Transformer模型的推理性能是关键瓶颈。传统的通用算

大语言模型的核心计算瓶颈集中在哪里?是Self-Attention的O(n²)复杂度,还是Feed-Forward Network中矩阵乘的巨大算力消耗,抑或是LayerNorm和残差连接带来的频繁内存访问?这些瓶颈在真实的Transformer部署中往往同时存在,而传统的逐算子执行模式会因为大量的中间结果写入HBM而导致带宽瓶颈。

在昇腾NPU集群上跑大模型分布式训练,最让人头疼的事情之一不是算力不够,而是通信吃掉了太多时间。CANN架构体系里,HCCL作为集合通信库负责多卡之间的数据同步和规约,它本身不参与计算,但每一次AllReduce、每一次AllGather都在消耗宝贵的训练周期。这篇文章要做的事情很明确:把HCCL通信过程拆开,看看时间到底花在了哪些环节,以及不同的算法选择和拓扑配置会对通信效率造成什么影响。

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查

昇腾NPU的开发通常需要用C/C++写Ascend CL代码,门槛较高——光是初始化ACL运行时、分配Device Memory、管理Stream和Event这些样板代码就得写上百行。很多数据科学家和算法工程师更习惯用Python,希望用NumPy/Pandas的风格来调用NPU算力,不想碰C代码。pyasc是昇腾CANN生态里的Python加速库,它提供了Python接口来调用昇腾NPU的算子和

本文介绍了使用JiuwenSwarm构建合同审查辅助Agent Swarm的实践。通过多Agent协作模式,将合同审查拆解为条款提取、法律风险审查、商务风险审查、版本比对等专业分工,形成可复用的审查流水线。文章详细阐述了JiuwenSwarm环境搭建、TeamSkill创建流程,以及如何通过Coordination Engineering设计稳定的多Agent协作系统。该方案旨在将重复性工作前置处

健身管理类应用与之前分析的外卖、招聘等应用有本质差异——它的核心数据不是"交易"或"任务",而是"时间序列的身体状态数据":每次训练有时长、卡路里、组数、重量;每次饮食有热量、蛋白质、碳水、脂肪;每周有运动时长趋势图。这些数据的共同特征是"随时间积累,用户需要横向对比和趋势分析"。这导致健身App的数据层设计必须从第一天就考虑"历史数据查询"和"多维度聚合"的需求,而非仅关注当前单条记录的增删改查








