RAG调研MCP协议RAG->大模型搜索search-R1=========================================================================================训练emb模型+ reranker模型的经验：cls而不是mean token,数据质量重要，难负例重要智能体agent技术介绍与产业分析

BAPO (Balanced Policy Optimization with Adaptive Clipping)，从根本上改变了游戏规则。BAPO 摒弃了 PPO 僵化的固定裁剪区间，转而采用一种以目标为导向的自适应机制：它为每一次更新动态地调整裁剪边界，其核心目标是确保正向信号在总梯度贡献中维持一个健康的比例。

在用于按物种对动物图像进行分类的模型中，最早的隐藏层可能只是辨别照片的一部分中存在动物形状;捕捉样本之间的关系或特征间的关联性，例如通过对比学习的方式传递相似性信息。这些关系和相关性可以通过多种方式进行建模，包括特征图之间的相关性、表示不同层之间相似性的矩阵、特征嵌入或特征表示的概率分布。例如，在主要用于图像分割等计算机视觉任务的卷积神经网络中，随着数据在网络中传输，每个连续的隐藏层都会逐渐捕获更

当前的主流 LLM 基本都是 Decoder Only 的 Transformer 模型，其推理阶段采用自回归采样，特点如下：模型使用前缀作为输入，将输出结果处理+归一化成概率分布后，采样生成下一个token。从生成第一个 Token之后，开始采用自回归方式一次生成一个 Token，即当前轮输出token 与历史输入 tokens 拼接，作为下一轮的输入 tokens，然后解码。重复执行2。在后续

如果你固定了计算能力，要得到TTFT和Throughput等数据，你需要知道是在Prefilling阶段和Decoding的计算量分别是多少。大模型压缩方式【GPU还是CPU】如何快速估计推理计算量。

摘要使用的 prompt：总结以下文本。直接从总结开始。不要说其他任何话。简单摘要与 cosmopedia 的效果近似，且摘要所使用的计算资源远少于 cosmopediaHQ 表示高质量的网络数据，LQ 表示低质量的网络数据。深蓝色的线表示 BeyondWeb（50.4%），深青色的线表示 HQ Synth + HQ Web（49.2%），其中合成数据是高质量网络样本的改写版本，浅青色的线表示 L

打乱顺序后，第一次就可能抽出来{“A”：“this is A1”, “B”:“this is B1”}作用是用来随机抽取所需要的数据，每行代表一条数据，做一些sample的事情。可以是json, jsonl格式：一行是一个数据。也可以是txt格式，一行是一个json格式数据。也可以是parquet格式。例如：原本按顺序抽取。

关键的技巧在于：并不为每个 token 启用所有的专家模块（experts），而是由一个「路由器（router）」为每个 token 挑选出其中一小部分进行激活。MoE 的这种设计使得模型拥有极大的参数容量，在训练阶段能吸收更多知识；但在推理时由于稀疏激活，大幅降低了计算开销。

大模型记忆相关

论文通过引入 DeepSeek 稀疏注意力（DSA）机制，成功地在保持高性能的同时，显著提升了大型语言模型在长上下文场景下的训练和推理效率。提出了一种有效的稀疏注意力架构（DSA）：通过结合一个轻量级的“闪电索引器”和一个细粒度的 Top-k Token 选择机制，DSA 实现了一种灵活且高效的动态稀疏注意力模式。这种“先粗筛，后精算”的范式，在理论和实践上都被证明是可行的。