在构建智能体的过程中主要需要考虑的四个关键部分便是提示词，RAG技术，大模型选择，MCP协议。当四部分思考完毕后，只需要针对主要的业务流程去构建多轮对话以及相关的兜底逻辑，错误处理，便能实现一个基础的agent智能体。

提示词编写（基础需求点--较为关键，主要功能点及需求定义需明确）

在构建多模态智能体时，提示词（Prompt）的设计直接影响大模型的输出质量。需结合具体任务设计清晰、结构化指令，例如：

• 任务描述：明确说明需要生成的内容类型（如文本、图像或混合输出）。
• 格式约束：指定返回数据的格式（JSON、Markdown等）。
• 示例引导：提供少量示例（Few-shot Learning）提高准确性。

Vue前端可通过表单收集用户输入，Flask后端将提示词拼接后发送至大模型API。例如：

# Flask 示例：拼接提示词  
prompt = f"""  
任务：生成一段关于{user_input}的文本描述，并附带一张相关图片链接。  
格式要求：{{"text": "生成的文本", "image_url": "链接"}}  
示例：{{"text": "巴黎埃菲尔铁塔...", "image_url": "https://example.com/eiffel.jpg"}}  
"""  

提示词工程的关键意义

提升模型输出质量
通过精心设计的提示词，可以引导AI生成更准确、相关且符合需求的回答。合理的提示能减少模糊或无关的输出，提高结果的可用性。

优化交互效率
清晰的提示词能减少用户与模型之间的反复沟通。直接明确的指令可缩短响应时间，降低理解偏差，使交互更加高效。

扩展应用场景
提示词工程能挖掘模型的潜在能力，使其适应不同领域的任务，如编程、写作、数据分析等。通过调整提示，同一模型可满足多样化需求。

降低技术门槛
无需深入理解模型底层机制，用户通过优化提示词即可获得理想结果。这使得非技术人员也能高效利用AI工具，推动技术普及。

增强可控性与安全性
合理的提示词设计可约束模型输出，避免生成有害或不恰当内容。通过明确限制条件，能更好地控制AI的行为边界。

促进模型迭代优化
分析提示词与输出的关系，可为改进模型训练提供反馈。用户的实际应用案例能帮助开发者识别不足并优化下一代模型。

RAG优化（复用本地文档或最新知识）

检索增强生成（RAG）通过外部知识库提升回答准确性，关键步骤包括：

• 知识库构建：使用向量数据库（如FAISS）存储多模态数据（文本、图像特征）。
• 检索策略：用户输入时，先检索相似内容，再将结果作为上下文注入提示词。
• 动态权重：调整检索结果与大模型生成结果的权重（如70%检索+30%生成）。

Flask后端可集成LangChain实现RAG流程：

from langchain.retrievers import MultiModalRetriever  
retriever = MultiModalRetriever(vector_db="faiss")  
context = retriever.fetch(query=user_query)  
augmented_prompt = f"参考内容：{context}\n问题：{user_query}"  

RAG优化方法概述

RAG（Retrieval-Augmented Generation）系统的核心在于检索与生成的协同优化。提升其性能需从检索质量、语义匹配、结果重排三方面入手，以下为关键技术及实现方法。

---

关键词检索优化

BM25算法BM25（Best Matching 25）是一种经典的信息检索算法，核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。

• 实现：使用Elasticsearch或Lucene内置BM25，调整参数k1（词频饱和度）和b（文档长度归一化）。
• 优化点：
  • 对查询词进行同义词扩展（如WordNet）。
  • 结合停用词过滤和词干化（如Porter Stemmer）。

简单的实现实例（python）：

import math
from collections import defaultdict
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import re

class BM25:
    def __init__(self, documents, k1=1.5, b=0.75):
        """
        初始化 BM25 检索模型。
        :param documents: 文档列表，每个文档是一个字符串。
        :param k1: 调节参数，通常取值在 1.2 到 2.0 之间。
        :param b: 调节参数，通常取值在 0.5 到 0.8 之间。
        """
        self.documents = documents
        self.k1 = k1
        self.b = b
        self.N = len(documents)
        self.avgdl = sum(len(doc.split()) for doc in documents) / self.N
        self.inverted_index = self._build_inverted_index()
        self.doc_freq = self._build_doc_freq()

    def _build_inverted_index(self):
        """
        构建倒排索引。
        :return: 倒排索引，格式为 {词: {文档ID: 词频}}。
        """
        inverted_index = defaultdict(lambda: defaultdict(int))
        for doc_id, doc in enumerate(self.documents):
            words = self._tokenize(doc)
            for word in words:
                inverted_index[word][doc_id] += 1
        return inverted_index

    def _build_doc_freq(self):
        """
        构建文档频率表。
        :return: 文档频率表，格式为 {词: 文档频率}。
        """
        doc_freq = defaultdict(int)
        for word, postings in self.inverted_index.items():
            doc_freq[word] = len(postings)
        return doc_freq

    def _tokenize(self, text):
        """
        简单的文本分词，去除标点符号和停用词。
        :param text: 输入文本。
        :return: 分词结果。
        """
        text = re.sub(r'[^\w\s]', '', text.lower())
        words = text.split()
        return words

    def bm25_score(self, query):
        """
        计算查询的 BM25 评分。
        :param query: 查询字符串。
        :return: 文档评分列表，格式为 [(文档ID, 评分)]。
        """
        query_words = self._tokenize(query)
        scores = defaultdict(float)
        for word in query_words:
            if word not in self.inverted_index:
                continue
            df = self.doc_freq[word]
            idf = math.log((self.N - df + 0.5) / (df + 0.5) + 1)
            for doc_id, tf in self.inverted_index[word].items():
                doc_len = len(self.documents[doc_id].split())
                score = idf * (tf * (self.k1 + 1)) / (tf + self.k1 * (1 - self.b + self.b * doc_len / self.avgdl))
                scores[doc_id] += score
        return sorted(scores.items(), key=lambda x: x[1], reverse=True)

# 示例使用
documents = [
    "The quick brown fox jumps over the lazy dog",
    "The quick brown fox is very quick",
    "The lazy dog sleeps all day",
    "The quick brown fox and the lazy dog are friends"
]

bm25 = BM25(documents)
query = "quick fox"
results = bm25.bm25_score(query)

print("检索结果：")
for doc_id, score in results:
    print(f"文档 {doc_id}: {documents[doc_id]} (评分: {score:.4f})")

---

向量检索优化

稠密向量模型
采用预训练模型（如BERT、Sentence-BERT）将文本映射为高维向量，通过余弦相似度检索。

• 实现步骤：
  1. 使用faiss或annoy库构建向量索引。
  2. 量化技术（PQ、HNSW）加速最近邻搜索。
  3. 示例代码（Faiss）：

     import faiss  
     index = faiss.IndexFlatIP(768)  # 内积相似度  
     index.add(document_vectors)  
     scores, indices = index.search(query_vector, k=10)  
     

• 优化点：
  • 动态调整检索阈值（如相似度>0.8才返回）。
  • 混合稀疏向量（如SPLADE）与稠密向量提升覆盖率。

---

RAG重排技术

多阶段排序（Multi-stage Ranking）

1. 粗排阶段：使用BM25或向量检索召回Top-K文档。
2. 精排阶段：
   • 交叉编码器（Cross-Encoder）：如MiniLM，对查询-文档对进行全交互计算。

     from sentence_transformers import CrossEncoder  
     model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")  
     scores = model.predict([(query, doc) for doc in candidates])  
     

   • 学习排序（Learning to Rank）：训练LambdaMART等模型，特征包括词重叠度、语义分数、点击率等。

多样性重排

• 最大边际相关性（MMR）：平衡相关性与多样性。
  $$
  \text{MMR} = \arg\max_{D_i \in R \setminus S} \left[ \lambda \cdot \text{sim}1(D_i, Q) - (1-\lambda) \cdot \max{D_j \in S} \text{sim}_2(D_i, D_j) \right]
  $$
  其中sim1为查询相关度，sim2为文档间相似度。

---

文档集成实现

1. 预处理阶段：

   • 结构化文档分块（按段落或标题），添加元数据（如来源、更新时间）。
   • 对每块文本生成关键词（TF-IDF）和向量表示（BERT）。

2. 检索模块：

   • 并行运行关键词检索和向量检索，合并结果并去重。
   • 动态权重调整（如0.6向量分 + 0.4关键词分）。

3. 重排模块：

   • 调用交叉编码器对Top-50结果精排。
   • 按业务需求过滤低质量片段（如置信度<0.7）。

4. 生成模块：

   • 将重排后的文档片段与提示模板拼接，输入LLM（如GPT-4）。
   • 示例模板：

     "基于以下上下文：\n{doc1}\n{doc2}\n问题：{query}\n答案："  
     

---

评估指标

• 检索阶段：Recall@K、MRR（平均倒数排名）。
• 生成阶段：BLEU、ROUGE或人工评估答案相关性。

通过组合上述方法，可显著提升RAG系统的准确率与鲁棒性。实际应用中需根据数据规模与延迟要求调整各模块参数。

大模型选择（对话基本思考能力）

根据任务需求选择合适的大模型：

• 文本生成：GPT-4、Claude 3或开源模型Llama 3。
• 多模态处理：GPT-4V、Fuyu-8B（图像+文本）。
• 轻量化部署：使用量化后的模型（如GGUF格式的Llama.cpp）。

Flask通过API调用大模型时需处理异步响应，例如：

import requests  
response = requests.post(  
    "https://api.openai.com/v1/chat/completions",  
    json={"model": "gpt-4-vision-preview", "messages": [{"role": "user", "content": prompt}]}  
)  

线上调用大模型

优点：

• 快速部署：无需本地搭建环境或购买硬件，直接通过API调用即可使用，适合快速验证或短期需求。
• 成本低：按需付费，避免前期硬件和运维的巨额投入，适合预算有限的场景。
• 持续更新：云端模型由服务商维护和更新，用户始终能使用最新版本，无需手动升级。
• 高可用性：服务商通常提供高并发支持和负载均衡，适合大规模或高稳定性要求的应用。

缺点：

• 数据隐私风险：需将数据传输至第三方服务器，可能存在合规或敏感数据泄露问题。
• 定制性差：仅能使用服务商提供的预训练模型，无法针对特定领域或任务深度优化。
• 依赖网络：网络延迟或中断可能影响服务可用性，尤其在离线场景中无法使用。
• 长期成本高：频繁调用可能积累高额费用，长期使用不如本地方案经济。

---

本地训练微调后调用

优点：

• 数据隐私可控：所有训练和推理均在本地完成，适合医疗、金融等对数据敏感的场景。
• 高度定制化：可针对特定业务需求调整模型架构、参数或训练数据，提升任务性能。
• 离线可用：不依赖网络，适合边缘设备或内网环境部署。
• 长期成本优势：一次性投入硬件后，后续调用无需额外费用，适合长期稳定需求。

缺点：

• 技术门槛高：需具备机器学习开发和运维能力，包括数据清洗、训练调优等全流程。
• 硬件成本高：训练大模型需高性能GPU/TPU集群，前期投入较大。
• 维护复杂：需自行处理模型更新、安全补丁和性能监控，运维负担较重。
• 训练周期长：从数据准备到模型微调耗时可能远超线上调用，不适合紧急需求。

---

选择建议

• 优先线上调用：适合验证概念、轻量级应用或对数据隐私要求不高的场景。
• 选择本地训练：需处理敏感数据、追求极致性能或有长期稳定需求的企业级应用。

MCP （个人感觉是作为一个大模型与外界交互工具）

MCP（Model Context Protocol）作为连接AI模型与应用程序的中间层协议，可通过以下方式集成到现有文档中：

核心概念部分

• 在技术架构或协议设计章节添加MCP的定义，强调其作为标准化接口的作用
• 通过USB-C的类比说明MCP的通用连接价值
• 包含协议层示意图，展示其在数据源与AI模型间的位置

技术规范部分

• 添加MCP的通信格式示例（如JSON Schema）

{
  "context_type": "document",
  "content_format": "markdown", 
  "metadata": {
    "source": "api_v3",
    "timestamp": "ISO8601"
  }
}

• 描述支持的上下文类型（对话历史/知识库/实时数据等）
• 列出标准错误代码和状态处理流程

实施案例部分

• 增加MCP的典型应用场景说明：
  • 多模型切换时的上下文保持
  • 外部工具链的即插即用集成
  • 跨平台对话状态的持久化

博主个人感觉介绍比较详细的可以观看知乎讲解，该文章较为容易理解：MCP (Model Context Protocol)，一篇就够了。 - 知乎

同时在使用中有时会遇到MCP并不符合个人需求的，这种情况可以考虑设立自己的MCP，本质上就是通过将固定的功能函数进行文档类别的总结，使大模型能够理解函数功能及输入输出，然后再对大模型输出进行处理。