二、Prompt

1、什么是 Prompt（提示词）？提示词的基本结构包括哪些部分？什么是提示词工程（Prompt Engineering）？

提示词是用户或系统提供给大语言模型（LLM）的指令或文本，用于引导模型生成特定输出。

• 系统提示词 & 用户提示词

系统提示词如同 “操作系统”，持续影响所有交互（如角色设定、行为规范、知识边界、安全过滤），用户提示词如同 “操作指令”，驱动单次任务执行（如生成报告、翻译文本）。

• 提示词基本结构

通常在设计提示词时，可以遵循 “CO-STAR” 结构化框架。

【角色】

你是一名资深美⻝专栏作家，擅长用文字 “让读者流口水”。

【背景】

• 平台：微信公众号，读者 20-35 岁，晚上 9 点，有点饿
• 对象：西安⾁夹馍（腊汁肉夹白吉馍）
• 卖点：馍酥脆、肉软烂、肥不腻、瘦不柴

【任务】

写一篇约 300 字的美食短文，要求：

1. 开头⽤⼀句话抓住注意力
2. 分别描写 “馍” 和 “肉”，各用至少 1 个比喻
3. 结尾让读者产生 “现在就想吃” 的冲动
4. 自然融入 “酥、脆、软、烂、香” 5 个关键词

【输出格式】

• 标题：不超过 15 字
• 正⽂：分 3 段（开头 / 描写 / 结尾），每段空一行

【补充约束】

• 语气：热情馋人，像朋友深夜发美食照片；⽤ “你” 制造对话感，加拟声词（咔嚓、滋啦、嗯~）
• 风格：市井烟火气，轻快爽利；句子偏短，口语化（贼⾹、一口下去、没谁了）
• 不写制作过程，不写店铺地址
• 禁用 “垂涎欲滴” “回味无穷” “唇齿留⾹” 等陈词滥调
• 每段至少一个短句（不超过 10 字）

【示例】

• 输入：xxxx
• 输出：xxxx

Prompt Engineering（提示词工程）：Prompt Engineering（提示词工程）是指通过设计和优化输入给大语言模型的提提示词（Prompt），来引导模型生成更准确、更稳定、更符合预期结果的一种工程方法。

2、有哪些设计和优化提示词（Prompt）的技巧？ 

基础提示技巧：

• 角色提示 ：通过设定身份（如 “你是⼀位资深的 Python 架构师” 或 “你是⼀位善解人意的心理咨询师”）来约束模型的语气、专业深度和思维方式。
• 结构化指令引导：通过特定分隔符（如：""" 、【】、 < > 或 XML 标签）、列表以及 Markdown 格式等来清晰地界定指令、背景信息、输入数据和输出要求，防止模型混淆。
• 少样本提示：提供 1~3 个正确示例，让模型快速学习格式与规则。

进阶推理技巧：

• 链式思考（CoT）提示让模型分步推理，先思考再输出答案，大幅提升复杂问题准确率。

提示词示例：请一步步推理以下问题，展示你的完整思考过程，最后得出结论：一件衣服原价是 200 元，先打 8 折，再减去满 100 减 20 的优惠券，最后还要加上 5% 的税费。小李用这张优惠券买这件衣服，实际支付多少钱？

• 自我一致性：传统链式思考（CoT）提示只走一条推理路径；自我一致性则探索多条路径，最终聚合为一致答案。它不再依赖 “一次思考定生死”，而是通过 “多次尝试 + 投票机制” 来提高准确率。

案例：

问题：⼩明有24颗糖，他每天吃3颗，中途休息了⼀天没吃。问他总共吃了⼏天才吃完？

传统思维链 (CoT)
推理⽂本：每天吃3颗 24÷3=8天 答案是8天
最终输出：8

⾃我⼀致性
推理 1：吃糖时间共需 24÷3=8天，加上中间休息1天，实际经过9天 → 输出：答案为9
推理 2：第1~7天吃完21颗，第8天休息，第9天吃完剩下3颗，共经历9天 → 输出：答案为9
推理 3：直接计算:8天进⻝+1天休息=9天 → 输出：答案为9
投票汇总⽂本：多数答案为9，投票决定最终输出9

提示词示例：

请从不同⻆度独⽴思考以下问题三次，每次采⽤不同的表达⽅式或拆解顺序，展⽰完整推理过程。然后⽐较三个答案，选择最合理且⼀致的结果作为最终输出。

问题：
⼩明有 60 张游戏卡牌，他每天卖出 5 张。第 3 天结束后，他休息了 2 天没卖，之后继续每天卖 5 张。问他⼀共⽤了多少天才卖完？

要求：
1. 每次推理必须独⽴，不能复制前⾯的内容
2. 最终输出格式为：
→ 第⼀次推理：...
→ 第⼆次推理：...
→ 第三次推理：...
→ 综合判断与最终答案：...

优化与迭代策略：

由浅入深（Iterative Refinement）不要指望一次写出完美的 Prompt。先从简单的指令开始，观察输出，再根据不足逐步添加约束条件和背景。

更多提示词技巧参考：提示工程指南 | Prompt Engineering Guide

三、Token（词元）

1、什么是 Token？Token 在大语言模型中的作用是什么？

Token（词元）概念：Token（词元）是大语言模型（LLM）处理文本时的最小语义单位。是将文本拆解为模型可理解的离散单元（不是字，也不是单词）

• Token（词元）通过大语言模型的分词器将文本拆分而来，不同模型的分词器不同，同一个词在不同模型中可能被拆分成不同的 Token。

Token 分类：

• Prompt Token / Input Token（输入 Token）发给模型的内容：问题、历史对话、上传的文档、系统提示词等。
• Completion Token / Output Token（输出 Token）模型生成的回答。

Token 在大语言模型中的作用：

• 计费单位几乎所有商用大模型（GPT、Claude、通义千问、文心等）都按 Token 收费：输入 Token + 输出 Token。
• 上下文长度限制模型有最大上下文窗口（如 8k、32k、128k、1M Token），超过上限模型就无法处理，会截断或报错。
• 决定模型理解能力 Token 切分越合理，模型越能理解语义；同时 Token 数量直接影响推理速度、显存占用、成本。

四、会话记忆

1、什么是会话记忆（Chat Memory）？有什么作用？

在对话系统中，会话记忆指的是模型对历史对话内容的存储与利利用机制，属于上下文理解的核心能力之一。

会话记忆包括：

• 用户之前说过的话
• 模型之前的回答
• 当前对话的上下文状态

上下文状态，本质上就是对话的整体语境与状态，主要包括：

1. 主题与话题走向
2. 指代关系
3. 用户意图与角色设定
4. 对话历史中的关键信息

举例：

用户：我在做一个 Spring AI 项⽬
用户：怎么接⼊⼤模型？

第二句话虽然没提 “Spring AI”，但模型能理解你是在延续上文问题 —— 这就是会话记忆在起作用。

会话记忆的作用：

• 上下文连贯：能理解 “它” “这个” 等指代，让对话流畅不脱节。
• 减少重复输入：无需每次重复背景信息，交互更高效。
• 个性化体验：记住用户偏好、历史偏好，提供定制回复。
• 多轮任务完成：逐步收集信息，支持复杂任务（如写代码逐步完善、信息咨询）。

2、会话记忆和上下文窗口（Context Window）是什么关系？

• 会话记忆：参考前面内容，此处不做赘述
• 上下文窗口：大语言模型一次最多能处理的输入 Token 数量
• 两者的关系： 上下文窗口 = 背包容量；当前输⼊ + 会话记忆 + 系统提示词 = 你要装进去的东西

五、多模态

1、什么是多模态？常见的模态有哪些？典型应用场景有哪些？

• 多模态：是指融合文本、图像、音频、视频等多种类型信息，让模型能理解、生成不同模态数据的技术。

单模态只能处理⼀种数据类型。

• 常见模态：文本（Text）、图像（Image）、音频（Audio）、视频（Video）。
• 典型应用场景：
  • 智能问答：上传图⽚ + 提问；场景：医疗影像分析
  • 文生图 / 图生文：文本 → 图片，图片 → 描述；场景：AI 绘画、商品描述生成
  • 语音助⼿：语音 → 文本 → LLM → 语言；场景：智能客服、车载助手
  • 视频理解：视频摘要、行为识别；场景：视频网站生成视频摘要、安防监控，内容审核

六、RAG

1、什么是 RAG（检索增强生成）？它能解决大模型的什么问题？

RAG（Retrieval Augmented Generation，检索增强生成），是一种结合外部知识库检索与大模型生成的技术。核心是让大模型在回答前先 “查资料”（外部知识库），再基于检索到的权威信息生成答案，解决模型知识过时、幻觉、专业知识不足三大核心问题。

RAG 就像给 AI 装上了 “外挂大脑”，让它在回答问题时，先从外部知识库（如文档、数据库）中检索相关片段，再将这些片段作为上下文，输入给模型。这样，AI 的回答就基于真实、最新数据，大幅减少 “幻觉”，同时支持动态知识更新。

想象你是个学生，参加开卷考试（比如历史题），你本身是记忆了一些知识的（AI 模型训练数据知识）

• 传统 LLM 就像闭卷考试 —— 你只能靠死记硬背，可能把 “秦始皇统一六国” 错记成 “秦始皇统一七国”。
• RAG 就像开卷开始 —— 给你发了一本历史书（RAG 的知识库），你先快速翻书找到 “秦朝” 章节（检索），再根据书里的内容组织答案（生成），确保答案是真实的。
• RAG 让 AI 从 “背书机器” 升级为 “会查资料的专家”，适合需要高准确性的场景（如医疗咨询、法律问答）。

RAG 解决的问题：

• 知识过时问题：大模型训练数据是 “历史的”。RAG 可以接入：最新文档、实时数据、内部知识库，实现 “动态知识”。
• 幻觉问题（Hallucination）：模型容易 “编答案”。RAG 基于真实文档回答提供依据大幅降低幻觉。
• 私有知识问题：模型默认不知道：公司内部数据、私有文档、业务规则。RAG 可以接入：企业知识库、本地文件，实现 “企业专属 AI”。
• 上下文窗口限制：模型不能一次读太多内容。RAG：检索 “相关片段” 而不是全部数据节省 Token。
• 可解释性问题：传统模型回答 “黑盒”。RAG 可以返回 “引用来源” 支持溯源。

2、RAG 的核心工作流程是怎样的？

离线准备阶段：

• 第⼀步：数据采集，数据采集来源包括：⽂档（PDF / Word / Markdown）、数据库、API、网页。
• 第二步：文档切分（Chunking），把长文档拆成小块以提高检索精度、适配上下文窗口。
• 第三步：向量化（Embedding），将每个 chunk 转换为向量。
• 第四步：将向量存储到向量数据库（除向量外一般还存储：原文、metadata），常见的向量数据库有：Milvus、Pinecone 等。

在线查询阶段：

• 第一步：数据查询检索，用户输入问题将问题转换为向量，然后在向量数据库中进行相似度搜索，寻找最相似的⽂档块（常⻅算法：余弦相似度、向量距离）。
• 第⼆步（可选）：重排序（Re-ranking）对检索结果可以进行再次排序即⽤更强模型筛选最相关内容。称为重排序，此操作为可选操作。
• 第三步：Prompt 构建（关键）& 答案生成：将检索结果和用户问题组合起来，构造成⼀个完整的 pormpt，放入上下文窗口调用大模型，模型生成答案并返回。

七、Tool Calling（工具调用）

1、什么是工具调用（Tool Calling）？

大语言模型本身：

• 知识滞后、无实时信息：大模型仅掌握训练数据截止前的知识，本身无法获取最新新闻、实时天气、股票行情、航班动态等实时内容。
• 无法精确计算：在大数运算、复杂公式推导及统计分析场景中极易出现计算错误，无法保证结果完全准确。
• 无法与现实世界交互：无法自主查询数据库、发送邮件、控制外部设备、完成下单操作、读写文件或执行代码。

Tool Calling（工具调用）是 AI 应用中的一种常见技术模式，指大语言模型（LLM）能够根据用户请求，智能地选择并调用外部工具（如函数、API、服务等）并获取执行结果，以此扩展并增强自身能力的技术流程。

Tool Calling VS Function Calling

函数调用（Function Calling）是工具调用（Tool Calling）的早期叫法与核心形式，现在行业里一般统一称为工具调用（Tool Calling ）。

• 函数调用（Function Calling）是指 LLM 请求调用⼀个开发者预定义的函数（Function），这里的 “函数” 就是你代码中的一个方法。
• Tool Calling 是一个更通用、更广泛的概念。不仅包含了 Function Calling，还涵盖了调用其他类型的工具。

八、MCP

1、什么是 MCP？与Tool Calling 的区别是什么？

MCP（Model Context Protocol，模型上下⽂协议）由 AI 公司 Anthropic 于 2024 年 11 月推出的开源标准协议。 为大语言模型（LLM）与外部系统、工具和数据源提供标准化的安全双向通信接口，解决 AI 集成的「N×M」复杂度问题，常被类比为 AI 领域的「USB-C」或「通用接口」。

以前大模型想要接入各类外部系统或工具等，每个模型和每个工具 / 系统之间都要单独开发一套专属对接逻辑，适配成本极高、复用性极差。

现在有了 MCP，就像所有设备都统一用使用 USB-C 只要遵循这个标准，就能即插即用。

• N：各种大模型（GPT、Claude、DeepSeek、通义千问、文心一言 ……）
• M：各种工具 / 系统（数据库、浏览器、代码 IDE、邮箱、ERP、飞书、企业内部接口 ……）

在 MCP 协议中核心的组成部分是 MCP Client 和 MCP Server、MCP 主机（AI 应用）。

• 其中，MCP Client 是大模型系统内的 “连接器”，负责按 MCP 协议发起连接、调用外部服务；其实现可基于 MCP 官⽅提供的 SDK，只需完成协议适配和请求封装，无需复杂开发。
• MCP Server 是外部工具的 “适配器”，会按照 MCP 协议将工具功能封装成标准接口，供 Client 调⽤，二者配合实现模型与⼯具的即插即⽤。MCP Server 支持两种获取方式，既可以基于 MCP 官方规范自行开发，适配自身个性化需求，也可以直接使⽤现成的服务。为了方便开发者快速找到适配的现成 MCP Server，无需自行从零开发，目前有多个主流渠道可获取各类 MCP Server，具体如下：

MCP Server渠道：

• 官方：Official MCP Registry（官方、权威、最规范的参照依据）
• 国内云厂商 MCP 广场：（企业级、生态强、好运维）
  • 阿⾥云百炼 MCP 广场：大模型服务平台百炼控制台
  • 腾讯云 MCP 广场：腾讯云开发者社区-腾讯云 开发者 MCP广场_开发者MCP服务_MCP 服务器- 腾讯云
• 全球聚合与社区平台（丰富、免费）
  • mcp.so（最大聚合站）：MCP.so - MCP Marketplace（“淘MCP”，社区 MCP 大集市）
  • ForAgents Dev：腾讯云开发者社区-腾讯云 开发者 MCP广场_开发者MCP服务_MCP 服务器- 腾讯云（社区 MCP 精品店）

Tool Calling 的区别：Tool Calling 是 LLM 调用外部工具的能力，MCP 是 LLM 与工具交互的标准化协议。

2、MCP 的核心工作流程是什么？

初始化连接（握手建连）：MCP 主机启动，创建 MCP Client 并按照配置与 MCP Server 建立通信连接。（⼀个主机可同时连接多个 MCP Server，每个 Server 独立承载不同的工具与能力）

能力发现（工具 / 资源列表）：Client 向 Server 发起能力查询，Server 返回结构化清单：名称、描述、参数、权限；Client 将⼯具信息同步给主机，让 LLM 明确自身可调用的外部能力边界。

执行决策 & 调用工具（LLM 驱动）：用户输入问题后，Client 会自动整合可用工具列表、用户原始问题与对话上下文，并以标准化格式封装后发送给 LLM。LLM 依据上下文及工具元信息进行智能决策：

• 判断是否需要调用外部工具、选择具体工具并匹配合规入参；
• 若无需调用工具，则直接生成自然语言回复，跳过后续执行环节。
• 若 LLM 确定调用工具，Client 会将结构化的调⽤请求精准转发至对应 MCP Server；由 Server 承担实际执行职责，完成 API 调⽤、数据库读写、脚本运行或文件系统操作等任务，执行完毕后，以统一结构化格式将结果回传给 Client。

结果回传 & 输出：Client 把工具执⾏结果回传给 LLM，模型融合⼯具执行结果、用户问题与对话上下⽂，生成符合需求的自然语言回答，再由 Client 通过主机应⽤展示给用户。

用户请求
  ↓
接入层（Channel）
  ↓
网关层（Gateway）
  ↓
Agent
  ↓
  ├── 调用模型
  ├── 调用⼯具
  ├── 读取记忆
  ↓
运行时执行
  ↓
结果返回