对Pre-training、Post-training、Continue training概念的解析。

本文目标：汇聚目前大语言模型预训练、微调、RM/RL、评测等全流程所需的常见数据集，方便大家使用，本文持续更新。文章较长，建议收藏后使用。

​在学习完大语言模型中最热门的两个概念大语言模型落地的关键技术：RAG和大语言模型上下文窗口初探后，关于RAG和长文本（long-context）的优劣比较引起了广泛的讨论，本文整理了大语言模型RAG vs. 长文本争论的5种类观点。

定义：什么是格式塔理论？格式塔（gestalt）由德文音译而来，意思是“完型”“统一的整体”，格式塔理论是是一个心理学的概念，即：在人眼看到一组物体时，会先关注到主体，然后才会关注到部分。利用这个理论，设计师可以将设计元素有机地排列为一组，使设计更有统一性，会被更好地视为一个整体。格式塔理论基本原则格式塔理论包含五项基本原则：接近原则、相似原则、闭合原则、连续原则、简单原则。...

全球Web Top50和App Top50，由a16z于2024年8月底发布，洞察AI产品趋势。

RAG 是检索增强生成（Retrieval-Augmented Generation）的简称，是当前最火热的大语言模型应用落地的关键技术，主要用于提高语言模型的效果和准确性。

一文了解苹果大模型部署方案，包括设备端LLM、云端LLM和第三方LLM（如ChatGPT）。

1、To C艰难、To B突破：当前2C的产品全部没有达到用户的预期，智能助理看似比专业领域的AI更简单，但实际上恰恰相反。打败柯洁的围棋AI好做，通用的日常任务助理如订餐、行程安排却难做。这不是商业模式的选择，而是技术上的限制：To B，特别是限定领域的产品，封闭不容易发挥跑题，而且数据比较充分，相对To C领域的产品更加可行。2、身着皇帝新衣的人工智能：不管是Sophia还是酒店银行...

大语言模型的训练过程一般包括3个阶段：预训练（Pre-training）、SFT（有监督的微调，Supervised-Finetuning）以及RLHF（基于人类反馈的强化学习，Reinforcement Learning from Human Feedback），其中SFT和RLHF不是必须的流程。

PDD“农村包围城市”的市场策略，“牛人”黄铮应该认真读了《毛选》。