登录社区云，与社区用户共同成长
邀请您加入社区
所以变长数据的 KV cache 存储是一个比较大的难题。存在 KV Cache（KV 矩阵缓存）的原因是：Decode 阶段自回归生成时，历史 token 的 Key/Value 实际上是可以复用的，因此还可以省掉大量重复的计算。例如：批策略，量化类型，TP 大小，PP 大小，任务超时时间，重试时间，显存申请策略，RDMA 软硬件队列大小，是否可回退执行等。下一轮，只需要计算 “乐” 的 KV
想弄懂 Transformer 和 Self-Attention，很多教程先讲架构图和公式，读完能复述，但合上页面推不出来。这篇换个顺序：先抛一个问题，用一个最小的数字例子算一遍，再看为什么会需要下一个机制。内容来自我做的一套 34 课大模型课程的第 1 课，一共 6 个问题，从 RNN 的问题一路走到 GPT 逐字生成。
Agent = LLM 在循环中自主使用工具（Anthropic 简化定义）。LLM 输出下一步 → 执行工具 → 结果追加进上下文 → 重复，直到判定 done。step = llm.determine_next_step(context) # 工具调用 or 终止context.append(execute(step)) # 环境反馈（ground truth）Workflow= LLM 和工
2017年，Google提出Transformer架构，以自注意力机制取代传统RNN，实现完全并行计算，突破长距离依赖与串行瓶颈。通过多头注意力、位置编码、残差连接等创新，奠定大模型基石。如今，从ChatGPT到DeepSeek，所有主流AI模型均基于Transformer，堪称AI史上最具价值的10页论文之一。
《2027大模型开发岗面试题合集（160题）》系统梳理了从架构基础到推理部署、工具生态的全流程技术考点，聚焦真实工程场景，涵盖Transformer原理、多头注意力优化、KVCache显存节省、SFT/DPO数据构建、量化部署等核心问题。题目按模块分类，适合算法工程师、转型开发者及技术负责人使用。建议按岗位方向筛选重点，先自答再补漏，结合场景题训练拆解能力，提升面试实战力。
在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。四个范式经常被讲成一条“越来越先进”的升级路线，这是个危险的误解。它们解决的是三类完全不同的问题：预训练（PT）解决“模型会不会说话、知不知道世界”，SFT 解决“模型听不听话、输出格式对不对”，RLHF/DPO 解决“两个都对的回答里，
从基座模型为何不擅长聊天讲起，解释 SFT 的对话格式与损失掩码、经典 RLHF 的奖励模型和 PPO、DPO 如何直接学习偏好，以及 LoRA 的低秩更新与参数量计算。通过可运行的 NumPy 实验验证 DPO 损失变化和 LoRA 权重合并。
端侧大模型的应用场景与工程实践一、端侧大模型的独特价值二、典型应用场景三、端侧部署的工程约束四、性能优化实践五、体验设计与信任建立#大模型 #人工智能 #端侧大模型 #智能办公。
DGS-Net 从单视角点云中实现多物体杂乱场景下的灵巧抓取，提出两阶段数据生成与网络设计：先在单物体上生成丰富抓取姿态，再迁移至多物体场景验证可行性。网络联合预测手部位姿、抓取偏移量及预抓取/最终关节角，无需显式分割或重建。基于超35万条标注数据，在真实机器人上实现79.39%抓取成功率与87.94%场景清空率，显著提升复杂环境下灵巧手的自主抓取能力。
人类的记忆像是一个包罗万象的信息库，自然而然描述记忆的方式就多种多样。在智能体运行过程中，外部环境会持续向智能体提供观察，短期记忆则负责对当前任务的状态进行临时存储与推理，智能体通过检索不同类型的记忆，结合决策过程生成对应动作，并与数字世界、物理世界以及对话场景进行交互。语义记忆（Semantic Memory）是人们长期储存知识的一种方，它由各种信息组成，例如在学校学到的事实、概念的含义及其相互
回顾 Attention 机制这十余年的演进历程，我们可以清晰地看到技术焦点经历了四次深刻跃迁。从 Bahdanau 和 Luong 时代解决「信息装不下」的软对齐寻址，到 Vaswani 时代解决「训练无法并行」的全自注意力矩阵化，再到 Longformer 与 Linear Attention 探索「序列平方复杂度降维」，直至近年来围绕大模型落地展开的「KV 缓存极限压缩（MQA、GQA、ML
本文深入浅出地介绍了Transformer模型的核心工作原理，从输入层的词向量转换、位置编码到自注意力机制，再到多头注意力、残差连接和前馈网络，最后解释了Decoder如何像人一样逐词生成输出。通过阅读本文，即使是编程小白也能初步理解大语言模型如ChatGPT的工作方式，为深入学习AI领域打下坚实基础。如果你想对当下 AI LLM(大语言模型) 的工作原理有所了解，揭开 ChatGPT、DeepS
例如，针对过长推理上下文和失衡数据配比导致智能体表现下降的问题，系统探索了不同的序列长度分布、短轨迹与长轨迹的采样比例，以及按token数量调整训练批次构成，找到更有效的训练配置，提升了智能体的可靠性和训练效率。虽然都在聚焦RSI，但大家切入的方向并不相同，硅谷不少公司从Agent层切入，做一套能自动做科研的系统，而超衍智能则选择从基础模型层面构建Recursive Intelligence系统，
MindSpore-Transformers提出面向昇腾NPU的Transformer模块规范，统一Attention、MLP、DecoderLayer等核心组件的接口、命名与权重映射，解决迁移中权重对齐难、分布式并行适配失败、算子替换困难等问题。遵循该规范可实现HuggingFace模型低成本、高质量迁移至MindSpore生态，原生支持MindSpeed训练、LoRA微调、MindIE推理及全
本文从技术架构角度，解析Transformer架构如何通过Self-Attention机制解决传统模型长距离依赖弱、易遗忘等痛点，在ASR、NLU与TTS全链路提升智能语音机器人处理复杂多轮对话的能力，并探讨工程化落地的优化方案。
Physical AI 将智能延伸至物理世界，算力链路呈“云训—仿真—边端”三段式，任一环节薄弱都将导致闭环断裂。云端需高吞吐训练大模型，仿真依赖保真度与规模平衡，边端则受限于功耗与实时性。核心挑战在于云边矛盾协调、sim-to-real 迁移及全链路生态打通。2026 奇点智能技术大会将聚焦算力协同与工程落地，助力具身智能突破瓶颈。
具身智能与边缘AI的相遇：机器人如何“轻装上路”一、机器人需要“就地思考”二、轻量化为机器人“减负”三、端云协同的机器人方案四、机器人应用的前沿探索五、工程师的“新工具箱”#具身智能 #人工智能 #边缘AI #大模型。
如果 AI 是一辆车，Transformer 就是发动机。ChatGPT、Kimi、豆包、文心一言……这些你天天在用的聊天助手，底层几乎都靠同一个东西撑起来。它到底是什么？为什么偏偏是它让 AI 突然开窍？这篇文章用大白话把它讲清楚，读完你就能跟朋友解释"大模型是怎么想事情的"。
具身智能：让人工智能拥有物理世界感知能力一、具身智能的核心思想与理念起源二、具身智能系统的三大组成环节三、具身智能的典型应用方向四、具身智能发展的主要难点五、具身智能的长期演进趋势#具身智能 #人工智能 #大模型 #世界模型。
vLLM 提出的 PagedAttention 借鉴操作系统虚拟内存的分页思想，把 KV Cache 切成固定大小的 block（比如 16 个 token 一块），用 block table 做逻辑到物理的映射，按需分配、用完即还。FlashAttention 的思路值得展开一句：它把 Q、K、V 切成能塞进 SRAM 的小块，外层循环遍历 K/V 块，内层循环遍历 Q 块，每处理一个块就用 o
数字孪生走进日常生活：从城市治理到个人健康一、城市：在虚拟中预演现实二、家庭：让居住空间“善解人意”三、健康：从被动就医到主动管理四、生活场景背后的技术支撑五、让技术真正为人服务#数字孪生 #人工智能 #大数据 #具身智能。数字孪生走进日常生活：从城市治理到个人健康一、城市：在虚拟中预演现实二、家庭：让居住空间“善解人意”三、健康：从被动就医到主动管理四、生活场景背后的技术支撑五、让技术真正为人服
一条教师回答看起来事实正确，仍可能不适合进入学生模型的训练集。原因不一定是它编造了什么，也可能是它服从了网页作者写给另一个机器人的限制，漏掉了用户真正需要的信息。Redact在北京时间10月20日发布调查，称其此前检查的545个WhatsApp帮助页面中，80页包含隐藏AI文本，共102块。大部分是普通说明，争议集中在不推荐数据保护监管机构，以及用户提到律师或法律行动后不引用、解释部分隐私法律等限
Transformer 的演进史，就是一部现代 AI 的成长史。从 2017 年至今，它经历了七个阶段，每一步都在解决不同的问题。Transformer 抛弃了传统的 RNN 和 CNN，只靠自注意力机制同时观察整句话的所有词汇，快速捕捉词与词之间的关联。以 BERT 为代表的编码器，擅长双向理解文章含义；以 GPT 为代表的解码器，擅长单向生成文字。两者共同确立了的现代 AI 范式。
具身智能感知系统底层原理一、具身感知的核心内涵与通用感知的本质差异二、多模态感知信号采集的底层原理三、多模态感知信息融合底层机制四、感知不确定性建模原理五、感知系统与智能决策模块的接口原理#大模型 #具身智能 #人工智能 #数字孪生。
具身智能环境交互与学习范式原理一、具身智能交互的本质：行动带来环境状态变化 二、强化学习范式：试错学习的底层原理 三、模仿学习范式：从演示行为提取策略原理 四、虚实迁移学习：模拟器预训练到真机微调原理 五、交互学习范式的整体能力局限 #具身智能 #大模型 #世界模型 #人工智能。
本文描述了大模型优化器NAG算法的原理
本文描述了LLM训练时使用的反向传播算法的基本原理
本文研究能否完全不用反向传播训练 Transformer 语言模型，方法是将其各层重新解释为一个连续时间能量系统的定点。我们实现了EnergyLM——一个能量递归块（ERB），其隐状态弛豫到稳态Z* = f(Z*)，预测从该平衡点读出。我们对比了两种不沿深度反传的学习规则：(i)平衡传播（EP），用自由相与钳制相两个稳态下的局部 Hebb 相关差更新权重；(ii)DEQ 隐式梯度，在平衡点用 Ne
4、个性化定制，适配工业场景：Inno Setup支持通过脚本自定义安装流程，比如指定默认安装路径（避免客户误装到系统盘）、隐藏高级配置（避免非专业用户误操作）、安装完成后自动启动程序，甚至可以定制多语言安装界面，适配不同客户的需求。4、批量部署更高效：很多场景下，需要在多台工业电脑上安装上位机（比如工厂多条生产线、多个监控工位），安装包可以实现批量安装、静默安装，节省大量部署时间，而散文件需要逐
我的学习资料【【闪客】一小时从函数到 Transformer】https://www.bilibili.com/video/BV1NCgVzoEG9?【90分钟！清华博士带你一口气搞懂人工智能和神经网络】https://www.bilibili.com/video/BV1atCRYsE7x?【大白话讲解：线性回归】https://www.bilibili.com/video/BV17VZkBoE2
本文详细说明了深度学习中损失函数CTC的基本原理
输入: [CLS] 我 喜欢 猫↑特殊标记，初始无意义，专门训练用来"总结"经过12层后:[CLS]' = 整句话的压缩表示（不是我+喜欢+猫的简单相加，而是学会了"这句话是正面情感"）用途:- 情感分类: [CLS]' → 全连接层 → "正面"- 文本相似: 比较两句的[CLS]'向量距离关键: [CLS]的向量是通过注意力机制，主动学习如何总结全文，不是被动装东西。输入: [CLS] 我 喜
本文深入解析Transformer中的多头注意力机制，包括编码器自注意力、解码器自注意力和编码器-解码器注意力三种应用方式。通过将输入拆分为查询、键和值三个参数，Transformer能并行处理多个注意力头，每个头独立计算注意力分数后再合并，从而捕捉更丰富的语义关系。文章详细图解了数据在注意力机制中的处理流程，包括线性变换、头分割、分数计算和合并等关键步骤，并解释了如何通过掩码机制控制注意力范围。
每个输入向量先乘以自己的注意力权重，再加和得到上下文向量。
本文详细介绍了Transformer架构的底层实现，主要包括以下核心组件： 输入模块：词嵌入层将词汇转为向量表示，位置编码层添加位置信息 编码器：包含多头注意力层和前馈全连接层，通过残差连接和层规范化连接 解码器：包含掩码多头自注意力层、多头注意力层和前馈全连接层 输出模块：线性层将输出转为词表概率分布 文章完整实现了Transformer的各个组件，包括： 注意力机制计算函数 多头注意力组件 前
问题回答ViT 有没有 Q、K、V？有！完全保留Q、K、V 在图像中是什么意思？Q=“我想看啥”，K=“我能被谁看”，V=“我有啥内容”为什么需要 Q 和 K 算相关性？为了知道图像中哪个区域该关注哪个区域（比如眼睛关注鼻子，车轮关注车身）是不是只关注自己？不是！恰恰是要跨区域关注，这才是注意力的价值所以，不管是文字还是图像，Transformer 的核心思想不变通过 Q-K 匹配，动态决定从哪些
中的所有优化算子，其定义都遵循metadef的规范。算子接口统一中的每个算子都会通过metadef定义其名称、输入、输出、属性、形状推断和数据类型推断函数。这确保了这些专用算子能够被 CANN 生态系统中的其他工具（如模型转换器 ATC、图编译器 GE）正确识别和处理。兼容性保证：通过metadef提供的规范，中的算子能够与 CANN 平台上的其他通用算子和自定义算子保持良好的兼容性。便于扩展：当
本文介绍了Transformer模型的核心组件及其工作原理。首先阐述了词嵌入技术，将文本分词后映射为向量矩阵（[batch, token数, 词嵌入维度]）。其次讲解位置编码机制，通过不同频率的正弦/余弦函数为词向量注入位置信息。重点剖析了多头注意力机制的计算流程：生成QKV矩阵→计算注意力分数→缩放softmax→加权求和，并详细说明了维度变化过程。特别解释了Decoder中的掩码机制，通过上三
电池健康状态（State of Health, SOH）的在线估计是电动汽车与储能系统安全管理的核心问题。然而，现有深度学习方法在嵌入式电池管理系统（BMS）上的部署普遍受到算力与存储资源限制。本文基于Energy期刊最新研究，系统解析了一种轻量化Transformer架构 ——BMSFormer。该模型通过线性复杂度注意力机制与多尺度深度可分离卷积，在保证高精度SOH预测的同时，大幅降低计算开销
本篇文章作为学习记录，学习的是这个教程，根据个人理解和教程内容写下的学习记录。本人才疏学浅，帖子中可能忽悠错误内容恳请大家批评指正。帖子中使用的“矩阵”这个词不准确，一般二维叫矩阵，三维及三维以上称作tensor。
踩坑
多层transformer block指的是使用多个transformer结构，按照线性的排列方式，拿到上层的transformer输出，投入到下一个transformer中进行计算。LN2_out只经过了一层transformer block计算、并且这一层的transformer只有一个头的自注意力计算，这个结果是不够全面的，不够完整的。单头注意力不是看不见，而是“只能从一个角度看”， 同一时
举个例子来说：上一篇的美女图片通过我们的眼睛（自注意力机制）看到传入我们的大脑（前馈神经网络），在经过复杂的、多层的传递和计算时，会将一些信息越计算越模糊（比如本就没有占据太多权重的夕阳倒影），所以我们每次在神经网络中传递都在计算结果上。通过残差相加，模型在学习新特征的同时，强行保留了最初的输入信号，防止模型越学越糊涂。比如：美女图片中本就占据很大权重的美女胸部，再经过多层计算，会被放大到更大的范
克隆源码，相关的包也要克隆下来，如不能自动克隆，可以手工克隆或下载对应的目录 ./Transformer_Engine/3rdpary。安装nccl 2,安装后需要从github 下载nccl-tests，然后测试，只有1张显卡，g 为1。第4条，要求cudnn 版本不低于9.3，下载最新的cudnn 版本并更新。再次执行安装，问题依旧，还是按照第1种方式安装吧。因为有3个子项目也要克隆下来，很容
【代码】关于transformer的注意力权重可视化。
特征增强：对每个位置的向量进行深度非线性变换容量扩展：增加模型参数，提高表达能力分工明确：与自注意力机制形成互补（关系 vs 特征）维度保持：输入输出形状一致，支持残差连接通用逼近：两层网络可以逼近任何连续函数简单来说：PositionWiseFFN就像是给每个词向量单独配备的一个"微型大脑"，让每个词都能被深度理解和加工！这就是为什么它在Transformer中如此重要，没有它，模型的表现力会大
本文介绍了Transformer模型中位置编码的必要性及两种主要实现方式。首先指出Transformer缺乏序列顺序信息，因此需要位置编码来补充单词位置信息。传统绝对位置编码使用正弦余弦函数生成固定位置向量，但存在长文本位置信息不足的问题。随后重点介绍了旋转位置编码(RoPE)，它通过旋转矩阵将相对位置信息融入自注意力计算，使内积结果仅与相对位置相关。RoPE的优势在于能更好学习token间的相对
然后wq wk wv有8组，所以最后得到的4x64也有八个，我们把他们拼接到一起，得到4x512的，在经过一个线性层（为什么要经过线性层，通俗的理解就是，八个低清的照片叠加一起也得到不到高清照片，得再经过一次映射，这个映射的参数也得训练得到，把这个八个向量投影维真正需要的向量），得到最终的4x512矩阵。每个头可以学习到不同的关系，这使得模型可以从多个维度更好地理解数据。比如在下面这张图，都是“水
transformer
——transformer
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
北京朝阳AI社区
DAMO开发者矩阵
AtomGit AI 社区
人工智能6S服务平台
openEuler 社区
2048 AI社区
乐奇 Rokid 开放社区
