2006 年——YouTube 刚成立一年，iPhone 还没发布，"AI"这个词消失了至少十年。59 岁的 Geoffrey Hinton 在多伦多大学的办公室里写着一篇改变方向的论文。15 年前（1991），Hinton 的学生 Sepp Hochreiter 在博士论文中发现了"梯度消失"——反向传播在深度网络前几层几乎学不到东西。1990 年代整个连接主义社区因此放弃了"深度"——改做 1

2017 年 6 月，Google 团队（Vaswani et al.）在 arXiv 贴了一篇论文——“Attention Is All You Need”。标题简单到缺乏吸引力。论文的核心————完全基于自注意力机制，不需要循环（RNN）或卷积（CNN）。当时的主流序列模型 RNN/LSTM 用了 30 年——Transformer 抛弃了它们的时序结构，用"一次性注意"处理整个序列。它后来成

2023 年 2 月，一份 Google 内部备忘录流出——标题：「We Have No Moat, And Neither Does OpenAI」（我们没有护城河，OpenAI 也没有）。作者的论断：LLaMA（刚刚从 Meta 泄露的模型）证明了一个事实——开源正在吃掉闭源的午餐。2023 年 6 月，LLaMA 65B 的性能接近 GPT-3 175B——而 GPT-3 从研发到发布花了

文章摘要 本文系统性地讲解了提示词（Prompt）的设计与应用，分为八个部分：从提示词的定义、作用机制到工业级应用方法。核心观点指出，提示词是人机交互的唯一接口，通过结构化指令将通用AI模型转化为特定任务执行者。文章详细拆解了提示词的六要素结构、五步设计法，并提供了JSON结构化输出、多角色协作等进阶技巧。特别强调提示词是约束AI输出的"软工具"，需与硬编码、知识库等技术配合使用。最后给出工业级案

Graph of Thoughts (GoT) 是大模型推理方法的新突破，它解决了 Tree of Thoughts (ToT) 无法合并不同思维分支优质片段的核心缺陷。GoT 将推理建模为任意有向图，引入聚合（多→1合并）和细化（自环改进）两大新算子，使模型能够跨分支拼凑优质思维片段。在128位数字排序任务中，GoT的错误率仅为ToT的38%，效率提升31%以上。与CoT（单链）和ToT（多路径

摘要：大模型在解决24点游戏时表现不佳，主要因其无法回溯和试错。Tree of Thoughts（ToT）框架通过将推理建模为树状搜索，允许模型生成多个分支、评估状态并回溯，成功率从4%提升至74%。ToT不是新模型或替代CoT，而是其升级版，包含思维分解、候选生成、状态评估和搜索算法四个模块，需要外部代码控制。关键在于剪枝和算法级回溯，而非模型自主回头。该框架适用于需试错和前瞻的任务，是推理能力

Reflexion 是什么 不调权重，用自然语言反思（错题笔记）强化 Agent内层循环 = ReAct（思考→行动→观察）外层循环 = Trial 循环：评估→反思→记笔记→带笔记重跑记忆住哪 程序内存的文本列表 M + 拼进 prompt；2 类（短期轨迹/长期反思）评估器 确定性 / 标量 / LLM裁判；需「成败信号」最大卖点 无训练、即时生效，把可校验难任务的准确率拉起来致命前提 必须有

ReAct是一种结合推理（Reasoning）和行动（Acting）的大模型交互范式，通过交替进行思考（Thought）、动作（Action）和观察（Observation）来解决问题。它解决了传统方法中仅推理（CoT）容易产生幻觉或仅行动（Act-only）缺乏规划的痛点，通过动态结合外部事实与内部推理提升准确性。ReAct不改模型权重，而是通过提示模板和外部执行外壳协作，模型生成文本，外壳解析

前面三篇我们走了一条清晰的线：CoT（链）→ ToT（树，能试错回头）→ GoT（图，能拼碎片）。你以为到图就到头了？今天聊 MCTS（蒙特卡洛树搜索）——它和 ToT，但换了一套更聪明的搜索策略。这不是模型变大了，是「」变了。AlphaGo 靠 MCTS 战胜李世石，现在它也被用来让 LLM「想得更深」。