论文通过引入 DeepSeek 稀疏注意力（DSA）机制，成功地在保持高性能的同时，显著提升了大型语言模型在长上下文场景下的训练和推理效率。提出了一种有效的稀疏注意力架构（DSA）：通过结合一个轻量级的“闪电索引器”和一个细粒度的 Top-k Token 选择机制，DSA 实现了一种灵活且高效的动态稀疏注意力模式。这种“先粗筛，后精算”的范式，在理论和实践上都被证明是可行的。

强强化学习基础：强化学习分类，强化学习表示，值函数，策略迭代/值迭代, 主要的强化学习技术(蒙特卡洛学习/时间差分学习,DQN.REINFORCE,策略梯度/PPO/AC/A2C/A3C/DDPG/PDPG/TD3)马科夫过程（MP) -＞ 马尔科夫奖励过程（MRP） -＞ 马尔科夫决策过程（MDP）基于策略的迭代和基于价值的迭代（Model-based RL&动态规划）强化学习策略更新方法on-

下图是作者的统计结果，可见基础模型中初始熵较高的 token 在 RL 后往往表现出更大的熵增，这与三中的实验结论不谋而合，表明 RL 带来推理性能提升的原因之一，很可能就是因为高熵 token 的不确定性更强了，提高了大模型推理的灵活性。这一关系清晰地表明，词元概率越低，其梯度贡献越大，反之则越小。可见在 RL 训练过程中，尽管与基础模型的重叠逐渐减少，但在收敛时（第 1360 步），基础模型的

4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦Polaris的成功的秘籍就是:训练数据及超参数设置都要围绕待训练的模型来进行设置。

的目标是，通过减少音频文件的大小来节省存储空间或减轻网络传输的负担。理想的情况下，即使音频被压缩，我们听到的声音与原版也应该没有任何区别。Opus是一个多才多艺的音频编解码器，它适用于各种应用，从视频会议（比如 Google Meet）到在线视频流（比如 YouTube）。Opus支持的压缩比率非常灵活，从每秒6千比特到每秒510千比特都可以。EVS，是由3GPP标准化组织针对移动电话>)开发的最

摘要使用的 prompt：总结以下文本。直接从总结开始。不要说其他任何话。简单摘要与 cosmopedia 的效果近似，且摘要所使用的计算资源远少于 cosmopediaHQ 表示高质量的网络数据，LQ 表示低质量的网络数据。深蓝色的线表示 BeyondWeb（50.4%），深青色的线表示 HQ Synth + HQ Web（49.2%），其中合成数据是高质量网络样本的改写版本，浅青色的线表示 L

余弦相似度::::忠实度（即生成的数据样本是否接近原始样本）TransRate::::紧凑度（即每个类的样本是否足够紧凑以进行良好区分）生成的样本与label的紧凑度Z为生成的文本embedding, Y 为label"

论文标题： GENERALIST REWARD MODELS: FOUND INSIDE LARGE LANGUAGE MODELS大语言模型（LLM）的对齐高度依赖于昂贵的人类偏好数据训练出的奖励模型。近期研究尝试用 AI 反馈规避这一成本，但缺乏严谨的理论基础。本文发现，任何基于标准“下一个 token 预测”训练的 LLM 内部，已经潜藏了一个强大的通用奖励模型。我们证明，这种内生奖励并非启

大模型部署和调用，本地&远程，

https://blog.csdn.net/weixin_43639369/article/details/111699074?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&dist_request_id=1328741.39612.16170026