logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

不可不知小技巧|Triton 优化 HiLS-Attention 架构滑窗注意力前向算子技术实战

Triton 采用块级(block-level)抽象,以 Python 风格写 kernel,编译器负责完成向量化与流水线调度。相比于 PyTorch 框架原生的算子拼接(会产生海量中间张量、访存开销无法避免),Triton 能够通过“融合(Fusion)”把多个算子合成单个 kernel,将中间结果留在寄存器/共享内存中,让显存占用从随序列长度平方增长保持为线性。面对大模型序列规模持续扩张带来的

文章图片
#人工智能#开源
不可不知小技巧|Triton 优化 HiLS-Attention 架构滑窗注意力前向算子技术实战

在大模型全面迈向长上下文的今天,Transformer 架构的算力瓶颈愈发凸显。在标准的 Transformer 中,MLP 的计算量随序列长度线性增长,而 Attention 机制的计算量与显存消耗却随着序列长度的增加呈 O(L²) 平方级爆炸。 当上下文从 8K 扩展至 128K 时,计算量足足暴涨了 256 倍。长文档阅读、长对话系统以及复杂的 Agent 场景,皆被死死卡在这个“算力黑洞”

文章图片
从云到端,AI 的最后一公里

本期嘉宾:北京智源人工智能研究院 性能优化工程师 赵帅 本期看点: 看点① 端侧 AI 为什么 "突然" 能落地了? —— 模型变小、算力变强、软件成熟,三股力量把 AI 推进了设备里。这是判断 "临界点已到" 的第一手证据。 看点② 大模型怎么 "住进" 你的手机 / PC / 机器人? —— 端、边、云怎么分工,插电和不插电

文章图片
不让一块算力卡闲置:产业伙伴基于FlagOS,加速多元算力走进真实业务

  大模型竞争的重心正从参数规模竞赛回归工程落地。 过去两年,参数量、榜单、上下文长度的突破足以让行业和媒体兴奋。但现在的问题更朴素:一块卡跑新模型要改多少代码?千卡集群的利用率能不能过50%?一个VLA模型从拿到权重到在机器人胸腔里跑起来,要几个人干几天? 在近日举办的2026人工智能开放计算大会暨众智FlagOS技术大会上,众智FlagOS 2.2对业界关注的现实问题提出了一套系统级

文章图片
大模型推理救星——一个插件搞定多芯片适配

本分享围绕 sglang‑plugin‑FL 展开,这是一套基于 SGLang 的 out‑of‑tree 外部推理插件,依托 FlagOS 生态组件,实现跨芯片大模型推理能力。项目通过 ATen 算子替换、融合算子调度、统一通信抽象、PD 分离 KV Cache 传输、Empty 模式依赖拆分等机制,无需修改 SGLang 内核源码,即可对接不同硬件。目前已完成昇腾、海光、昆仑芯等十款芯片平台适

文章图片
FlagOS Day0 适配 MiniCPM-OCR & Jev:覆盖 12 平台,让文档“AI 质检员”跑上端侧

面壁智能联合 OpenBMB 开源面向文档解析与文字识别的 MiniCPM-OCR 系列,包含 MiniCPM-OCR 1.0(1.3B) 与 MiniCPM-OCR Jev(2B) 两个模型。众智 FlagOS 社区基于统一多芯片软件栈,为两个模型提供 Day0 跨芯适配,覆盖平头哥、英伟达、华为昇腾、海光、昆仑芯、沐曦、摩尔线程、清微智能、天数智芯、曦望、Mac(ARM)及此芯科技,共 12

文章图片
高校圆桌:共筑开放AI教育生态

AI 算力、优质教学资源高度集中,是当下全球 AI 发展的现实困境。很多发展中国家高校,受限于硬件条件、实验环境,难以开展大模型、AI 系统相关教学与科研。 来自全球数十个国家的高校教师,不远万里来到中国,参与 FlagOS 全球 AI 开放计算师资发展计划。他们带着本国 AI 教育的痛点而来,学习异构开放计算技术,回国后依托 FlagOS 搭建 AI 课堂、指导学生,甚至在有限老旧硬件环境下产出

文章图片
2026人工智能开放计算大会——AI Agent 分论坛

2026人工智能开放计算大会——AI Agent 分论坛   议程如下:

文章图片
2026人工智能开放计算大会——量智融合分论坛

2026人工智能开放计算大会——量智融合分论坛   具体议程如下:

文章图片
2026人工智能开放计算大会——开放计算 AI 系统论坛

2026人工智能开放计算大会——开放计算 AI 系统论坛 具体议程如下:

文章图片
    共 178 条
  • 1
  • 2
  • 3
  • 18
  • 请选择