在过去的 40 年里，BM25 一直是搜索引擎的标准。它是一种简单但功能强大的算法，已被许多搜索引擎使用，包括 Google、Bing 和 Yahoo。虽然看起来向量搜索的出现会削弱其影响力，但效果并不明显。目前最先进的检索方法试图将 BM25 与嵌入结合到混合搜索系统中。然而，自从引入 RAG 以来，文本检索的使用情况发生了显著变化。BM25 所基于的许多假设不再有效。例如，传统网络搜索和现代

开源的模型大小为9B和27B，还有一个小的2.6B玩具。1.3T token训练（比起最近开源的模型，这个数量不算多。RLHF中RM模型，作者强调比SFT的模型更大，应该是想要寻求一定的泛化而不仅仅是安全。注意力机制上使用了滑动窗口和全局注意力结合。用了一个叫Logit soft-capping的技术，给logit输出值的范围做了一个限制，目测有利于训练的稳定性。用 RMSNorm做了Post-n

开源的模型大小为9B和27B，还有一个小的2.6B玩具。1.3T token训练（比起最近开源的模型，这个数量不算多。RLHF中RM模型，作者强调比SFT的模型更大，应该是想要寻求一定的泛化而不仅仅是安全。注意力机制上使用了滑动窗口和全局注意力结合。用了一个叫Logit soft-capping的技术，给logit输出值的范围做了一个限制，目测有利于训练的稳定性。用 RMSNorm做了Post-n

7 月 2 日，微软开源了 GraphRAG，一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。在 GitHub 上推出后，该项目快速获得了 2700 颗 star！开源地址：https://github.com/microsoft/graphrag通过 LLM 构建知识图谱结合图机器学习，GraphRAG 极大增强 LLM 在处理私有数据时的性能，同时具备连点成

2024 年 7 月 3 日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5（InternLM2.5）。相比上一代模型，InternLM2.5 有三项突出亮点：推理能力大幅提升，在部分维度上甚至超越十倍量级的 Llama3-70B；支持 1M tokens 上下文，能够处理百万字长文；具有强大的自主规划和工具调用能力，比如可以针对复杂问题，搜索上百个

7 月 2 日，微软开源了 GraphRAG，一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。在 GitHub 上推出后，该项目快速获得了 2700 颗 star！开源地址：https://github.com/microsoft/graphrag通过 LLM 构建知识图谱结合图机器学习，GraphRAG 极大增强 LLM 在处理私有数据时的性能，同时具备连点成

DSSM、YoutubeDNN-推荐系统小结

提示词总结的核心思想是在保持相似的语义信息的前提下，将原有提示词浓缩为更短的总结。这些技术还可以作为提示词的在线压缩方法。与前面提到的保留未裁剪标记的提示词裁剪技术不同，这一行方法将整个提示符转换为总结。RECOMP[34]引入了一个抽象压缩器（AbstractiveCompressor），其将输入问题和检索到的文档作为输入，生成一个简洁的摘要。具体来说，它从大规模的大模型中提取轻量级压缩器来进行

随着大模型技术的不断发展，内容解析的方式正在发生深刻变革。大模型加持下的提示工程方法为爬虫技术带来了前所未有的便利和效率提升。然而，我们也应该意识到，这种方法并非万能之药，它仍然需要结合具体任务进行定制化的优化和调整。未来，我们期待看到更多关于大模型在爬虫领域的应用和研究，以推动这一技术的进一步发展和完善。

如果保持原样，那么复杂度是二次的，序列一长，训练成本和推理成本都比较难顶。如果你想处理1000长度的文本，那么预训练阶段就拿1000长度的文本去训，那自然没有问题，但如果你只拿500长度的文本去预训练，那么得到的模型通常无法很好地处理1000长度的文本，尤其是。训练的模型，通常无法直接处理长文本，这就是长度外推问题，这个问题不只是Transformer有，RNN甚至。注意这里的长短是相对的，如果你