logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

你的大模型想开 32K 上下文?FlashAttention 长上下文优化实战

想把 LLaMA 的上下文从 4K 拉到 32K,但一跑就 OOM?别急着换模型。FlashAttention 的分块机制配合 ops-transformer 的 chunked prefill,让你在昇腾NPU 上跑 32K 上下文成为可能。这篇文章手把手带你配置长上下文环境,30 分钟搞定。

#android
ops-transformer 里的 FlashAttention:让大模型在昇腾NPU上“吃得少、跑得快“

刚接触 CANN 那会,我被算子系统砸懵了——一堆仓库名、一层层架构,完全不知道从哪下手。直到朋友让我帮他看一段大模型推理的代码,发现瓶颈全在 attention 计算上,这才第一次认真看了 ops-transformer 这个仓库。

#transformer#深度学习#人工智能
用 ops-transformer 跑通第一个大模型算子:手把手从零开始

昇腾CANN 是昇腾异构计算架构,你可以把它理解成一套让昇腾NPU 能干活的完整软件栈。ops-transformer 是这套架构里专门管 Transformer 相关高级算子的仓库——FlashAttention、MoE(混合专家)、MC2 这些大模型训练推理时绕不开的算子,都在这里。打个比方:CANN 是整个厨房,ops-transformer 是厨房里那台专门做面点的机器。你不需要自己揉面、

#transformer#深度学习#人工智能
理解 ops-transformer 在昇腾NPU架构中的位置:把大模型算子放进厨房里讲

有个做后端的朋友问我:“我装了 CANN,跑了 PyTorch 模型,NPU 也认到了,但我不理解 ops-transformer 到底在哪一层——它是我的模型代码的一部分,还是 CANN 的一部分,还是昇腾硬件的一部分?这个问题太常见了。我当时是这么跟他解释的。

#transformer#架构#深度学习
ops-transformer 里的 FlashAttention:让大模型在昇腾NPU上“吃得少、跑得快“

刚接触 CANN 那会,我被算子系统砸懵了——一堆仓库名、一层层架构,完全不知道从哪下手。直到朋友让我帮他看一段大模型推理的代码,发现瓶颈全在 attention 计算上,这才第一次认真看了 ops-transformer 这个仓库。

#transformer#深度学习#人工智能
用 ops-transformer 跑通第一个大模型算子:手把手从零开始

昇腾CANN 是昇腾异构计算架构,你可以把它理解成一套让昇腾NPU 能干活的完整软件栈。ops-transformer 是这套架构里专门管 Transformer 相关高级算子的仓库——FlashAttention、MoE(混合专家)、MC2 这些大模型训练推理时绕不开的算子,都在这里。打个比方:CANN 是整个厨房,ops-transformer 是厨房里那台专门做面点的机器。你不需要自己揉面、

#transformer#深度学习#人工智能
理解 ops-transformer 在昇腾NPU架构中的位置:把大模型算子放进厨房里讲

有个做后端的朋友问我:“我装了 CANN,跑了 PyTorch 模型,NPU 也认到了,但我不理解 ops-transformer 到底在哪一层——它是我的模型代码的一部分,还是 CANN 的一部分,还是昇腾硬件的一部分?这个问题太常见了。我当时是这么跟他解释的。

#transformer#架构#深度学习
鸿蒙智能开发实战:端侧 OCR 文字识别与 AR 交互

手机摄像头早已不只是记录画面的工具。十多年前,我们用它拍风景、拍家人;今天,我们更频繁地用它去"对准"——对准一张名片、一本图书的封底、一张身份证、一张发票。对准之后呢?如果设备能瞬间读懂上面的文字,并把这些文字变成可编辑、可检索、可联动的数字信息,那摄像头的角色就从"记录者"跃迁成了"理解者"。这种跃迁,正在成为移动智能体验真正的分水岭。在 HarmonyOS NEXT 上,这条技术链路的起点是

#harmonyos#ar#华为
鸿蒙智能开发实战:端侧 OCR 文字识别与 AR 交互

手机摄像头早已不只是记录画面的工具。十多年前,我们用它拍风景、拍家人;今天,我们更频繁地用它去"对准"——对准一张名片、一本图书的封底、一张身份证、一张发票。对准之后呢?如果设备能瞬间读懂上面的文字,并把这些文字变成可编辑、可检索、可联动的数字信息,那摄像头的角色就从"记录者"跃迁成了"理解者"。这种跃迁,正在成为移动智能体验真正的分水岭。在 HarmonyOS NEXT 上,这条技术链路的起点是

#harmonyos#ar#华为
仓颉语言入门与 ArkTS 对比:HarmonyOS NEXT 的开发新范式

仓颉(Cangjie,简称 CJ)是一款面向全场景智能设备的通用编程语言,由华为自主设计并开源。它的设计目标是提供一种安全、高效、表达力强的开发体验,覆盖从轻量级设备到复杂应用的全场景需求。与 ArkTS 类似,仓颉也是一种静态类型语言,但两者并非简单的替代关系。在当前的 HarmonyOS NEXT 生态中,ArkTS 仍然是声明式 UI 开发的主力语言;仓颉则被定位为更底层的应用开发语言,未来

#harmonyos#华为
    共 300 条
  • 1
  • 2
  • 3
  • 30
  • 请选择