开启 MTP 后，再将目标缓存边界提前一个块，并强制在该位置结束一次 prefill，以保存对应的 GDN 状态快照。这样，后续请求匹配缓存时，即使 Full Attention 因 MTP 丢弃最后一个匹配块，GDN 仍能从提前保存的边界恢复。为满足这一依赖，开启 MTP 后，缓存仍按完整块匹配最长前缀，但最终复用范围需排除最后一个匹配块；测试环境为 Ascend 910B、vLLM 0.23、

/ 执行完之后acts.output存储logits的梯度// 融合的分类头：前向计算和部分反向计算// ix是真实类别标签// 只计算真实类别标签所在位置的prob，其他位置均为0// sp.Offset/sp.Scale：softmax的数值稳定参数// 计算loss：-logsumexp// dloss是​​损失函数对当前样本的梯度(样本是指每个token的损失)，表示​​整体损失对当前样本

本文主要介绍了近期流式语音大模型。

ACL。

为了执行下一次的残差量化，需要再进行上采样，并计算下一次的量化残差。在第一级，使用标准的VQ过程来量化信号，然后计算出原始信号与第一级量化后的信号之间的残差，对这个残差再进行一次或多次量化，以进一步减小量化误差，每一级都会产生一个新的残差，然后对新的残差继续量化，这样做可以逐步细化量化结果，提高最终的重建质量。对比EnCodec、SoundStream等基于GVQGAN框架的音频压缩算法，论文提出

论文因此提出 MiMo-V2-Flash：用更省 KV-cache 与更快解码的设计，在长上下文与智能体任务上尽量逼近顶尖模型表现。他们指出：一些闭源模型在某些单项（如推理或代码修复）非常强，但三项都强的开源通用模型仍稀缺，因此提出 GLM-4.5 系列，目标是统一 ARC 能力，并提供思考/不思考两种响应模式。作者基于 Qwen3-30B-A3B-Thinking 做系统化 post-train

Megatron Core 的代码里同时交织着模型结构、并行切分、通信调度、优化器状态和低精度后端。本文按训练主线梳理这些模块各自解决的问题，以及它们如何接到同一条 GPT 训练流程上。

最近我看了一次 Hermes Agent 的会话导出。用户只问了一句话：调研近期大模型知识注入相关论文。这个任务本身不复杂。有意思的是过程：Hermes 没有直接凭模型记忆写一篇综述，而是先加载 arXiv 相关 skill，再用工具多轮检索论文，最后把结果按技术路线整理出来。所以这篇笔记不重点讨论知识注入论文，而是借这次会话看一个 Agent 系统到底怎么工作：system prompt 在管什

为了执行下一次的残差量化，需要再进行上采样，并计算下一次的量化残差。在第一级，使用标准的VQ过程来量化信号，然后计算出原始信号与第一级量化后的信号之间的残差，对这个残差再进行一次或多次量化，以进一步减小量化误差，每一级都会产生一个新的残差，然后对新的残差继续量化，这样做可以逐步细化量化结果，提高最终的重建质量。对比EnCodec、SoundStream等基于GVQGAN框架的音频压缩算法，论文提出

Megatron Core 的代码里同时交织着模型结构、并行切分、通信调度、优化器状态和低精度后端。本文按训练主线梳理这些模块各自解决的问题，以及它们如何接到同一条 GPT 训练流程上。