2020年，GPT-3可谓火出了圈。不过，尽管表现惊艳，GPT-3背后到底是实实在在的参数，想要在实际应用场景中落地，难度着实不小。现在，针对这个问题，普林斯顿的师徒和MIT博士生Adam Fisch在最新论文中提出，使用较小的语言模型，并用少量样本来微调语言模型的权重。并且，实验证明，这一名为（better few-shot fine-tuning fo language models）的方法相

本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但

同时课程详细介绍了。

MCP 是一种开放协议，它标准化了应用程序向 LLM 提供上下文的方式。可以将 MCP 视为 AI 应用程序的 USB-C 端口。正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样，MCP 提供了一种将 AI 模型连接到不同数据源和工具的标准化方式。

同时课程详细介绍了。

有监督模型向半监督甚至无监督方向发展数据的规模的增长速度远远超过了数据的标注速度，这也就导致了大量无标签数据的产生。这些无标签的数据并非没有价值，相反，如果找到合适的“炼金术”，将可以从这些海量的数据中获取意想不到的价值。如何利用上这些无标签的数据来改善任务的表现变成了一个越来越无法轻视的问题。从少量数据复杂模型到大量数据简单模型深度神经网络的拟合能力非常的强大，一个简单的神经网络模型就足以拟合任

同时课程详细介绍了。

对于MoE模型，模型规模和集群规模的增长会导致专家计算、注意力计算以及各层间的负载不均衡问题相互叠加并被显著放大。当多种性能瓶颈同时出现时，通信同步等待会在系统中传播扩散，造成整体性能的严重恶化。华为团队采用系统性的分析方法，深入剖析专家并行（EP）、数据并行（DP）、流水线并行（PP）各通信域中潜在的负载均衡挑战，提出了EDP全局负载均衡优化策略。这个策略不仅通过专家负载预测和动态调节机制（如下

Transformer是既MLP、RNN、CNN之后的第四大特征提取器，也被称为第四大基础模型。Transformer 与 RNN 不同，可以较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置编码，否则 Transformer 就是一个词袋模型了。Transformer 的重点是结构，其中用到的Q, K, V矩阵通过线性变换得到。Transformer

在提示内容（指令、示例、问题）完全不变的情况下，仅改变示例块（Demos Block）在提示中的结构位置，导致LLM预测结果和准确率发生系统性变化的现象。这不是示例内容或顺序问题，而是纯粹的“空间位置”效应。不同位置（ssp/esp/sum/eum）下预测变化率（Δ_pred）对比，显示eum位置波动最大。研究核心是隔离位置效应固定内容：对同一任务（τ）、同一问题（q）、使用完全相同的示例集（D_