比如一句话里有很多词，一个词的含义往往不是孤立的。“肿瘤边界不清晰”里面，“边界”需要结合“肿瘤”和“不清晰”理解。再比如做机器翻译时，模型生成中文词语时，需要回头看英文原文。生成“我”时，要参考 “I”；生成“爱”时，要参考 “love”。这两种场景都需要 attention，但信息来源不同。这就引出了 self-attention 和 cross-attention 的区别。

让大模型输出的不再是“看起来像 JSON 的文本”，而是能够被程序稳定消费、校验和落库的结构化数据。在 AI 应用里，最难处理的往往不是模型“会不会回答”，而是它能不能按照程序需要的形状回答。字段缺失、类型错误、额外解释文字、数组层级变化，任何一种情况都可能让后续代码直接报错。

Anthropic 的官方文档把这一点放在 Prompt Engineering 之前：你需要先有明确的 success criteria、能对照这些标准进行测试的方法，以及一份准备改进的初稿。否则，所谓“优化”只会变成凭感觉修改文字。例如，你要做一个客服分类器，目标不能只写“分类准确”。更可操作的标准是：在 300 条人工标注样本上，一级类别 Macro-F1 不低于 0.92；对于无法判断的输

所谓世界模型，可以先把它理解成：AI 在内部建立的一套“世界运行规律”的表示。它不只是识别眼前看到了什么，更重要的是知道当前世界处在什么状态、接下来可能怎么变化，以及某个动作会带来什么后果。Yann LeCun 在 2022 年的《A Path Towards Autonomous Machine Intelligence》中把 world model 描述得很明确：它一方面要补全感知没有直接给出

很多人第一次注意到 temperature 和 top-p，并不是在论文里，而是在产品界面里。比如在 Google AI Studio 的 Run settings 面板中，就可以直接调整 model parameters；如果你改用 Gemini API，也会在里看到topP这样的字段。也就是说，这两个参数不是学术讨论里的边角料，而是今天实际调用大模型时就摆在开发者面前的“生成控制旋钮”。问题也

这三个接口都能让模型“回一句话”，但它们的设计重心并不一样。Chat Completions 更像经典聊天入口；Responses API 更像 OpenAI 新一代统一入口；Claude Messages API 则坚持清晰的 message history 组织方式，并强调 stateless 调用。

从 OpenAI到 Claude： 一个负责把上下文接起来，一个负责在会话中途改变高优先级规则。理解这两个概念，才能真正搭好可持续运行的 AI 应用。

最开始，大模型更多像一个“会聊天、会写字、会回答问题”的系统。用户问它一个问题，它返回一段文字；用户让它解释、总结、翻译，它也主要是在对话框里完成回应。但随着使用场景越来越复杂，人们很快发现，很多需求并不只是“得到一个回答”就够了，而是希望模型把事情继续往下做。比如，不只是告诉你某份文件可能有问题，而是直接去读取文件内容；不只是帮你规划待办，而是进一步创建提醒、查询日历、调用外部服务。于是，大模型

这里的“学习”主要发生在上下文与记忆中，不等于更新 LLM 的权重。因而它比重新训练或 Fine-tuning 更轻量，也更容易观察 Agent 是如何修正策略的。Reflexion 将一次任务拆成执行、评价和反思三个职责。它们可以由不同模型承担，也可以由同一个 LLM 使用不同 Prompt 分别扮演。Reflexion 是一种面向语言智能体的学习框架。它把环境反馈转写成自然语言形式的。可以把

ReAct 将与放进同一个循环。模型不再只靠已有知识直接作答，而是先判断下一步，再调用搜索、数据库、计算器或其他工具，用真实结果继续推进任务。