免费报名｜技术大咖面对面授课，2026 智源大会 FlagOS 技术开发工作坊来袭！

FlagOS智算系统软件栈

197人浏览 · 2026-06-05 13:43:39

FlagOS智算系统软件栈 · 2026-06-05 13:43:39 发布

6 月 12 日-13 日，第八届北京智源大会将在北京中关村国际创新中心重磅开启。延续七载硬核学术基因，汇聚图灵奖得主、海内外顶尖学者与产业领袖，智源大会将在思辨与实证中，让智能真正落地生根，为下一代人工智能的发展建立更清晰的坐标系。

本次大会将以“线上+线下”联动的形式展开，为满足观众的多样化需求，本次大会设有 20+ 专题论坛与特色活动，覆盖技术前瞻、应用与落地、系统与架构、产业与社会四大方向。其中，大会特别开设了AI开源项目 FlagOS 技术开发工作坊，由一线技术大咖领衔带队，面向开发者，聚焦 AI 开源项目实操、大模型训推、算子开发、推理部署等硬核技术，打造 “痛点剖析+理论精讲 + 互动答疑” 的全链路技术分享，将呈现一场兼具理论指导和实操性的技术交流盛宴。

*具体议程以当天实际安排为准

Theme 1

《技术理论攻坚：FlagOS 四大开源核心库技术详解》

本专场聚焦众智 FlagOS（统一开源 AI 系统软件栈）四大核心开源库，从底层原理、架构设计、工程实现、跨芯片适配等维度深度拆解，直击大模型多芯适配全链路的性能瓶颈与生态割裂痛点。面向 AI 系统工程师、算子开发者、芯片适配与性能优化专家，提供从理论硬核技术解析。

演讲 1《Triton-TLE：不烧脑，也能写出高性能 SparseMLA》

演讲摘要：

Triton 是一种 Python DSL 形式的算子编程语言，它基于 Tile 的编程理念屏蔽了硬件细节，通过编译器优化实现高性能的算子。Triton 的这些优点吸引了大量的开发者，形成了庞大的社区和生态。

近年来用户对 Triton 提出了新的要求，希望加速新兴硬件架构的支持并开放更多硬件控制权。因此，我们提出了 TLE（Triton Language Extentions），它从三个层级扩展了 Triton，从而满足不同层次用户对 Triton 的迫切需求。

Triton-TLE 继承 Triton 简单易用的优点，在最新版本增加了 TLE Pipeline 抽象。用户无需理解 mbarrier、arrive_count 等硬件底层细节，通过高层次语义配合编译器自动优化，几行代码就可以实现 Warp Specialization。经过测试，TLE Pipeline 实现的 SparseMLA 算子逼近 DeepSeek FlashMLA 人工调优的性能，且代码可读性大大增强。

演讲大纲：

1. SparseMLA 是什么

SparseMLA 算法简介
Warp Specialization 简介
使用 Warp Specialization 优化 SparseMLA

2. TLE 是什么

Triton 的优势与面临的挑战
TLE 基本扩展
TLE Pipe

3. 使用 TLE 优化 SparseMLA：核心代码、性能测试

4. TLE Roadmap

观众收益：

1. 了解什么是 SparseMLA；

2. 了解什么是 Warp Specialization，如何用它优化算子；

3. 了解 TLE 有哪些扩展，如何使用 TLE Pipeline 实现 Warp Specialization。

演讲 2《FlagOS 在 Arm64 CPU 上的使能与性能优化：基于 Triton/TLE 的端侧 AI 实践》

演讲摘要：

AI 推理正加速从云端下沉至边缘，从智能终端、智能座舱到具身智能，应用场景不断拓展。然而，边缘设备形态多样、硬件高度碎片化，生态复用度低，已成为端侧 AI 规模化落地的关键瓶颈。作为面向多元算力的开源系统软件栈，将 FlagOS 的延伸至端侧，对于打通云边统一的开发范式、降低端侧 AI 的接入与优化成本，具有重要意义。

我们将聚焦 FlagOS 中的 Triton 语言扩展 TLE（Triton Language Extensions），它构建在 @triton.jit 并将深度硬件优化能力叠加到 Triton 原有的易用性之上。我们以 Arm64 CPU(CIX P1 开发平台) 为完整工作样例，分享 FlagOS 的使能路径与性能优化实践: 在编译器层，贡献可上游 Triton-CPU 的 Arm 指令选择与线程管理优化；在算子层，将 NEON SDOT GEMV、Fused MLP、Flash-Attention Decode 等关键算子封装为 TLE 原语，来构建端到端的模型推理加速能力。

演讲大纲：

1. FlagOS 端侧软件栈与 TLE 总体设计

TLE 核心理念：构建在 @triton.jit 之上的硬件深度优化
Arm64 CPU（CIX P1）平台信息和介绍

2. 编译器层：可上游 Triton-CPU 的 Arm 优化

Arm 指令选择：NEON/SVE2 i8mm 与 BF16
架构检测与构建链路修正
线程管理与调度优化
代码生成正确性与可编译性

3. 算子层：TLE 扩展操作构建端到端加速

关键算子的 TLE 封装：SDOT GEMV / Fused MLP / Flash-Attention Decode
算子融合
低比特量化路径：INT8 / INT4

4. 端到端性能实践（基于CIX P1 实测）

性能演进与最终结果
性能工程方法论

观众收益：

1. Triton-CPU 在 Arm64 平台的支持情况；

2. FlagGems/FlagTree 在 CPU 平台的算子支持，功能覆盖和实操。

演讲 3《打破 AI 芯片孤岛：统一编译器与公共中间表示层的构建之路》

演讲摘要：

FlagTree 是面向多种 AI 芯片的开源、统一编译器。 FlagTree 致力于打造多元 AI 芯片编译器及相关工具平台，发展和壮大 Triton 上下游生态。项目通过统一代码仓库，快速实现单仓库多后端支持。对于上游模型用户，提供多后端的统一编译能力；对于下游芯片厂商，提供 Triton 生态接入范例。

提升编程灵活性，扩展编程接口，提升 Triton 性能，是 FlagTree 编译器的中长期目标。支持多种类型芯片的编译降级，是 FlagTree 基建的建设核心。为此我们建立 FLIR 项目，补齐 DSA/NPU 芯片上 Triton Language 语言及 TLE 扩展的编译降级能力，在多个后端上复用编译组建，与芯片及 IP 厂商共建编译中间表示层生态。

演讲大纲：

1. FlagTree 编译器项目简介及在众智生态中的位置

众智 FlagOS 2.0：多元 AI 芯片统一开源系统软件栈
FlagTree 项目愿景与演进目标

2. FlagTree 编译器多后端建设现状：FlagTree 生态矩阵

3. FLIR 公共编译中间表示层

FLIR 简介
中间表示层设计
Pass 组织流程
支持 TLE 降级
FLIR演进计划

观众收益：

1. 了解多元 AI 芯片统一编译器 FlagTree 与公共编译中间表示层 FLIR 开源项目；

2. 详细了解对于 DSA/NPU 芯片，如何通过 FLIR 接入 Triton 生态；

3. 了解 FlagTree TLE 语言扩展在 DSA/NPU 上的编译路径。

演讲 4《从算子全覆盖到性能突破：FlagOS 如何打通大模型推理优化最后一公里》

内容摘要：

大模型推理正在从单一硬件优化走向多芯片协同适配，系统软件栈需要同时解决模型快速落地、算子全覆盖和性能可移植等关键问题。FlagOS 2.0 面向多种 AI 芯片构建统一、开源的系统软件栈，通过 FlagGems 多芯片算子库和 FlagTree 统一编译器，贯通模型、算子、编译器与芯片后端。项目围绕 DeepSeek V4 等前沿模型，探索国产算力 Day-0 适配与 Triton 算子全覆盖实践，并通过算法级算子重构、FlagOSTune 自动调优和 FlagTree 编译器深度优化，持续提升关键算子与端到端推理性能。FlagGems 与 FlagTree 将进一步扩大模型、算子和芯片覆盖，推动多芯片 AI 基础软件生态开放共建。

演讲大纲

1. 模型到芯片：FlagOS 打造开放系统软件生态

众智 FlagOS 2.0 ：面向多种AI芯片的统一、开源系统软件栈
FlagGems：覆盖 7 大领域的全球多芯片算子库
FlagTree：统一编译器与 Triton-TLE 新编程范式

2. 从 Day-0 到全覆盖：DeepSeek V4 多芯片适配实践

国产算力 Day-0 适配实践
DeepSeek V4 Triton 算子全覆盖

3. 从算法到编译器：大模型关键算子性能优化路径

算法级优化：面向内核计算模式的算子重构
FlagOSTune：扩展 Triton AutoTune 的搜索与优化边界
FlagTree：面向多芯片的编译器深度优化

4. 从工具到生态：FlagGems 与 FlagTree 未来路线图

FlagGems Roadmap：更广覆盖、更高性能、更强复用
FlagTree Roadmap：统一编译优化与跨芯片性能可移植
开放生态合作：共建多芯片 AI 基础软件生态

观众收益：

1. 理解 FlagOS 如何构建贯通模型、系统与芯片的开放软件生态；

2. 了解 DeepSeek V4 Day-0 多芯片适配背后的算子全覆盖与工程体系；

3. 掌握从算法、AutoTune 到编译器协同优化大模型关键算子的技术路径。

Theme 2

《硬核技能实战：FlagOS开源工具及skills赋能算子开发、模型部署》

本专场聚焦 FlagOS 开源工具（KernelGen、FlagRelease）及 Skills 技能库实操，带领开发者上手开源工具，从零完成算子开发、模型迁移与工程落地实践。

演讲 1《量智融合：FlagQuantum 如何用量子计算加速 AI 训练与推理》

演讲摘要：

面对大模型时代算力需求的指数级增长，传统经典计算架构正面临“内存墙”与“功耗墙”的严峻挑战。“量智融合”成为突破AI算力瓶颈的关键方向。FlagQuantum 作为专注于 AI 加速的量子-经典异构计算框架，旨在利用量子叠加与纠缠特性，解决训练与推理中的核心瓶颈。

在实际部署中，FlagQuantum 采用变分量子电路与经典神经网络结合的混合模式：将特征提取等复杂逻辑交由经典计算处理，而将组合优化与线性求解等适合量子加速的特定子任务卸载到量子处理器（QPU）。这一架构实现了在 NISQ（中等规模带噪声量子）时代的实用化部署，为降低AI模型的训练成本、提升资源受限环境下的推理性能，提供了切实可行的新路径。

演讲大纲：

1. 经典计算与量子计算的核心区别

2. 量子计算对 AI 的帮助

3. 核心挑战：大规模量子模拟的“三座大山”

4. 量子计算框架现状

5. FlagOS: FlagQuantum

6. FlagQuantum: 设计哲学

7. 多芯片分布式量子-经典混合AI系统框架

8. 动态 2D 切分降低分布式通信开销

9. 静态 2D 切分的缺点

10. 动态 2D 切分的优点

11. 性能实测 1：强扩展与弱扩展性能

12. 性能实测 2：多卡扩展性与通信优化效果

13. 可逆计算优化显存

14. 性能实测 3：可逆梯度与显存开销

15. 解析梯度 vs. 参数移位

16. Pytorch 原生集成

17. 两种量子电路可视化方法

18. OpenQASM 2.0/3.0 跨平台导出

19. 性能实测 4：真实量子硬件部署

20. 性能实测 5：对不同量子计算机的 AI Scaling 做评测

21. 使用教程 1：分布式量子设备初始化

22. 使用教程 2：量子门定义与执行

23. 使用教程 3：可训练量子线路层构建

24. 使用教程 4：量子-经典混合模型层

25. 使用教程 5：量子 Transformer 注意力

26. 依托 FlagOS，打造国产量子 AI 生态

观众收益：

1. 核心定位：FlagQuantum 的独特性

FlagQuantum 是目前唯一在算法可微性与系统扩展性两个高维视角下均实现全功能支持的软硬协同框架。

传统框架（Qiskit、Cirq）：缺乏高效自动微分，难以适配 VQE/QAOA 等变分算法。

混合 AI 框架（PennyLane、TorchQuantum）：虽支持可微，但底层通信基于静态 1D-MPI 或硬编码网格，缺乏多卡可扩展性。

FlagQuantum：同时解决可微模拟与大比特分布式训练问题。

2. 核心技术创新：两点突破

算法层：可逆梯度引擎（Invertible Gradient）

原理：利用酉矩阵可逆性，在反向传播时重计算中间态，避免缓存每层结果。

效果：显存开销与电路深度解耦，稳定带来 +2～+4 个可训练量子比特的收益，打破“层数墙”。

系统层：2D 动态切分架构

问题背景：跨节点（非均匀网络）通信瓶颈严重，静态切分（如 cuQuantum 2D Static）无法自适应拓扑扰动。

解决：拓扑自适应的动态 2D 切分，在跨物理节点（32 卡）时显著优于静态方法。

3. 关键实验结论（可带走的数据认知）

4. 可迁移的评判思维（避免学术误区）

误区：“只要显存能容纳单个状态向量，就能支持该规模模拟。”

正确认知：反向传播的显存开销远大于前向推理（随深度线性增长）。即使显存够大，系统缓存（优化器状态、Batch、AD 算子）会形成新的硬边界。评估大规模 PQC 训练能力时，必须同时考虑：可微性 + 深度解耦 + 多卡扩展 + 网络拓扑。

演讲 2《从“像素级调优”到“一句话生成”：KernelGen 如何重塑 AI 算子生产力》

演讲摘要：

本次 Tech Tutorial 将介绍智源 AI 算子生成系统——KernelGen 2.0，带你走进大模型背后最关键却鲜为人知的核心世界。当你使用 ChatGPT 等 AI 工具时，它在短短几秒内完成的，其实是海量复杂计算。而支撑这一切的“算子”，正是 AI 真正运转的隐形引擎。但长期以来，算子开发依赖少数专家，效率低、门槛高，成为限制 AI 发展的重要瓶颈。 KernelGen 的出现，正在彻底改变这一现状。只需一句自然语言描述，它就能自动完成算子的生成、测试与性能优化，并支持多种主流 AI 芯片，实现真正意义上的“一次开发，到处运行”。从手动编写到自动生成，从人力调优到AI自我迭代，它让复杂的底层开发变得前所未有的高效与智能。

演讲大纲：

1. 开场：AI 背后你不知道的事

AI 回答问题时在做什么
什么是“算子”
算子开发的现实困境
KernelGen 的提出

2. KernelGen 2.0 是什么

核心定义
系统角色与位置：用户用自然语言提出需求、AI助手调用 KernelGen、KernelGen 在不同芯片上执行
从 1.0 到 2.0 的升级：使用方式、工作模式、芯片支持、集成能力：手动 → 自动集成

3. KernelGen 2.0 的四大能力

自然语言生成算子
自动性能优化
跨芯片迁移
深度开发环境集成

4. 技术介绍：MCP、skills、TLE

5. 数据验证：真实对比实验

6. 更大的生态图景：FlagOS 系统

7. 总结与收尾

观众收益：

直观了解 KernelGen 的核心能力与真实效果，还能看到它与主流AI编程工具的正面对比，以及 AI 在底层性能优化上超越人类专家的关键瞬间。同时，我们也将一步步亲自通过 Kernelgen 写出并提交一个属于自己的高性能算子。如果你对AI技术、未来编程方式，或下一代软件工程充满好奇，这将是一场不容错过的分享。

演讲 3《让 AI 部署 AI：LLM Agent 实现 AI 推理系统的自动分层构建与迁移部署》

演讲摘要：

大模型推理部署面临硬件异构化与模型快速迭代的双重挑战，逐模型逐后端的人工适配复杂度为 O(模型×后端)，无法规模化。FlagOS 通过四个独立软件——算子库 FlagGems、通信库 FlagCX、编译器 FlagTree、引擎插件 vLLM-Plugin-FL——将推理栈分层解耦，但独立软件之间、软件与物理硬件之间、软件与上层模型之间仍存在大量集成摩擦。我们构建了 FlagRelease，以 LLM Agent 为编排引擎，充当系统软件的粘合剂与润滑油：自主完成环境诊断、组件装配、算子替换、精度-性能闭环调优、故障归因与容器化发布，消除各层软件在真实部署场景中的摩擦，全程零人工交互。已覆盖 9 种 GPU 后端、数十个前沿模型。

演讲大纲：

1. 问题：独立软件 ≠ 可用系统

9 种 GPU 后端 × 每月数个新模型 = O(M×N)人工适配
三方向摩擦：向下（硬件环境）、横向（组件间）、向上（模型适配）
脚本无法解决：摩擦组合爆炸，诊断需要推理，解决需要决策

2. 分层架构：四个独立软件的边界

FlagGems（算子）、FlagCX（通信）、FlagTree（编译）、vLLM-Plugin-FL（引擎）
各自独立演进、独立正确，但组合部署时摩擦无处不在
分层是 Agent 有效工作的前提：决策空间从"无限代码"收敛到"层间接口"

3. FlagRelease：粘合剂与润滑油

定位：不是第五个组件，而是让前四个在真实场景中协同工作的Agent
架构：宿主机总控 → Claude Code编排（32条约束 + 11个Skill）→ 容器执行
流水线：4 段会话、13 步全自动，零人工交互

4. 闭环调优：自动消除摩擦

精度闭环：分组排查定位问题算子，自动降级回退
性能闭环：逐个禁用劣化算子，达标即停
防造假：运行时 oplist 权威源 + 独立验证 + 封装循环防跳步
故障归因：自动定位责任组件，Issue 回流给对应团队
性能 on-site 优化：利用 FlagRelease 真实面对的推理服务场景，现场自动研究系统级性能优化方案。现场验证后将优化成果回流给各个软件主线

5. 工程成果

9 种 GPU 后端、数十个模型、批量自动化、断点恢复
产出物标准化发布，摩擦经验自动反馈生态

6. 展望

传统粘合剂是人（SRE），FlagRelease将这个角色自动化
32 条约束规则 = 32 次 Agent 犯错的经验固化
从推理迁移到训练迁移：更多层、更多摩擦、更大价值空间

观众收益：

1. 独立软件 ≠ 可用系统：四个独立正确的组件组合部署时，向下（硬件）、横向（组件间）、向上（模型）三个方向都存在集成摩擦，这些摩擦才是迁移部署的真正成本；

2. Agent 是系统软件的粘合剂与润滑油：FlagRelease的核心价值不是第五个组件，而是让前四个组件在真实场景中协同工作——自动装配、自动发现摩擦、自动消除摩擦；

3. 系统工程先于 Agent 工程：Agent 有效工作的前提是被集成系统本身具备清晰的分层边界——FlagOS 四层解耦让 Agent 的决策空间从"无限代码"收敛到"层间接口"；

4. 封装循环，暴露决策：将重复性搜索（operator_search.py）封装为工具，只让 Agent 做高层决策（何时启动、何时停止、如何归因），既省 token 又防造假；

5. 约束规则 = 摩擦经验的固化：32 条 CLAUDE.md 规则是 32 次 Agent 犯错的产物，每条规则都对应一种真实的集成摩擦模式——这是 Agent 从"能跑"到"可靠"的关键路径。

演讲 4《大模型训推迁移的“无人驾驶”时代：FlagScale Agent 系统级创新与实践》

演讲摘要：

FlagScale Agent 是面向大模型训推迁移与优化的智能助手，其核心在于三个系统级设计：1. 三层上下文管理通过动态 scoring 压缩、EMA token 估算和渐进式compaction，在有限窗口内维持长链路推理的语义连续性；2. 前置门控引擎将 40K+ tokens 的领域规则编码为hard block 与 soft warning 双级拦截，按分层验证阶梯约束 Agent行为，防止移植中引入非原生算子等违规操作；3. 跨会话记忆系统实现语义去重、TTL过期和自适应关键词扩展，使训推调试经验可在多次任务间持续积累。

演讲大纲：

1. 背景与架构总览

大模型训推迁移的核心痛点（调试周期长、错误模式重复、经验难沉淀）
系统分层架构：Provider 抽象层 → Tool Registry 层 → Agent 核心层
读入→思考→执行→观察的交互循环与 Auto 模式自动执行机制

2. 上下文管理：有限窗口下的长链路推理

三层压缩策略：Aging 分级截断 → Intra-turn 渐进压缩 → Full Compaction LLM scoring + 摘要融合
Token 估算与动态调度：EMA 修正的 inflation ratio、Context pressure 驱动的预压缩
流式调用中断恢复：上下文溢出自动 compaction 重试（50%/35%/25%）

3. 门控系统与验证体系

Hard block / Soft warning 双级拦截的设计理念
分层验证阶梯
错误分类与经验召回

4. 成本优化与经验积累

Phase-based 动态工具过滤 + 错误到 Skill 的自动映射加载
Poll 模式：重复监控命令的本地轮询旁路，避免无效 LLM 调用
并行工具执行：去重、截断、写冲突保护
跨会话记忆：语义去重、TTL 分段过期、Keyword 扩展与动态预算注入

观众收益：

1. 上下文管理决定 Agent 的能力上限：相比简单截断，三层动态 compaction + LLM scoring 排序+跨压缩摘要融合，是长链路任务保持语义连续性的关键手段；

2. 规则门控是 prompt 约束的可靠替代：在长链路上 LLM 会"遗忘"初始限制，将关键领域规则（如禁止非原生算子、强制实验记录）编码为 hard block 拦截层，比纯 prompt指令可靠得多；

3. 经验沉淀让 Agent 越用越聪明：语义去重避免知识碎片化，TTL管理自动清理过时信息，失败时的主动记忆回溯让 Agent 不再重复已修复的错误；

4. 成本控制应作为架构的一等公民：Phase-based schema 过滤、Poll模式旁路、并行工具执行，这些机制在设计阶段就应考虑，而非事后优化，它们直接决定了 Agent在真实场景中是否经济可行。

演讲 5《让模型迁移像“点按钮”一样简单:vLLM-Plugin-FL如何通过skills实现自动化部署》

演讲摘要：

大模型工程化落地过程中，环境安装、版本升级、模型适配等任务占据了开发者大量时间。这些工作看似简单，却因环境差异、依赖冲突、接口变更等问题频繁出错，且高度依赖个人经验。我们尝试将这类半结构化的工程知识封装为 AI Agent 可执行的 Skill，以 vllm-plugin-fl 项目为实践案例，分别构建了环境安装、版本更新和模型迁移适配三个 Skill。本次分享将介绍 Skill 的设计思路、从人工操作到自动化流程的抽象方法，以及在实际项目中的落地效果，探讨如何让团队的工程经验从"口口相传"变为"可复用、可执行的代码资产"。

演讲大纲：

1. 问题与动机