阿里云大模型ACP认证 · C2 构造问答系统 知识点总结

在这里插入图片描述

课程地址:ACP认证教程C2_构造问答系统

最近笔者也是以94分通过了阿里云大模型ACP认证,分享一下备考时自己做的一些笔记

目录

  1. 项目背景与课程体系
  2. 大模型API调用与多轮对话
  3. 大模型工作原理与生成参数
  4. RAG检索增强生成
  5. 提示词工程
  6. 自动化评测体系
  7. RAG优化策略
  8. 考试重点与权重分布

1. 项目背景与课程体系

1.1 项目场景

课程以一个教育内容开发公司为背景,新员工频繁提问导致答疑成本高。公司虽整理了文档库,但员工仍难以消化,导致工作出错。传统问答系统依赖固定规则和相似度匹配,存在以下问题:

  • 员工使用不同问法时,系统可能无法回答
  • 人工配置问答对,投入产出比低
  • 无法理解自然语言的多样性

1.2 解决方案

利用大模型构建智能问答系统,无需配置问答对,基于公司内部知识库准确回答问题。

1.3 课程结构

章节内容核心知识点
2.1用大模型构建新人答疑机器人API调用、大模型原理、生成参数
2.2扩展答疑机器人的知识范围RAG工作流程、LlamaIndex
2.3优化提示词改善回答质量提示词框架、模板、技巧
2.4自动化评测答疑机器人表现Ragas、TruLens、DeepEval
2.5优化RAG应用提升问答准确度检索优化、结构化文档、改进策略

2. 大模型API调用与多轮对话

2.1 API配置

使用百炼平台调用千问大模型:

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

API Key安全管理:

  • 禁止在代码中明文写入API Key
  • 应存储在环境变量或配置文件中
  • 分享代码时避免泄露密钥

2.2 基础对话调用

def get_qwen_response(prompt):
    response = client.chat.completions.create(
        model="qwen-max",
        messages=[
            {"role": "system", "content": "你负责教育内容开发公司的答疑,你的名字叫公司小蜜,你要回答同事们的问题。"},
            {"role": "user", "content": prompt}
        ]
    )
    return response.choices[0].message.content

messages参数说明:

  • role: system — 系统指令,设定角色和任务
  • role: user — 用户输入的问题
  • role: assistant — 模型的回复

2.3 多轮对话

核心原理: 将对话历史(包含system、user、assistant消息)全部传入messages列表,模型根据完整上下文生成回复。

实现要点:

conversation_history = [
    {"role": "system", "content": "你负责公司答疑..."}
]
# 每轮对话:追加user消息 → 调用模型 → 追加assistant消息

注意事项:

  • 对话历史占用上下文窗口空间,轮次过多需截断或摘要
  • 生产环境需将对话历史持久化存储(如数据库)

2.4 流式输出

流式输出让模型一边生成一边输出,提升用户体验。

def get_qwen_stream_response(user_prompt, system_prompt):
    response = client.chat.completions.create(
        model="qwen-max",
        messages=[...],
        stream=True  # 关键参数
    )
    for chunk in response:
        yield chunk.choices[0].delta.content

对比: 非流式输出等待全部生成后返回(约20秒),流式输出即时展示。


3. 大模型工作原理与生成参数

3.1 文本生成五阶段

输入文本 → 分词 → Token向量化 → 大模型推理 → 解码输出 → 输出文本
阶段说明
文本分词Tokenizer将文本分割为Token(子词/字符片段),每个Token对应词表中的整数ID
Token向量化通过Embedding矩阵将Token ID转换为稠密向量,包含语义信息
大模型推理Transformer模型根据输入向量,逐Token预测下一个Token的概率分布
解码与自回归从概率分布中选择Token,将新Token加入输入继续预测,循环生成
输出文本将生成的Token序列解码回人类可读的文本

3.2 Token概念

  • Token是分词器编码后的基本单元,通常是子词或字符片段
  • 不一定等于完整词语,也不一定具有独立语义
  • 英文可能拆成词根和后缀,中文按字或常见词组切分

3.3 生成参数(必考)

参数取值范围默认值作用
temperature[0, 2)0.7调整候选Token概率分布的平滑度。值越大,生成越多样;值越小,越确定
top_p(0, 1]0.8累积概率采样,控制候选Token集合范围。top_p越小,生成越确定
top_k正整数—从概率排名前k个Token中随机选择。越大越多样,越小越固定
seed整数—控制生成确定性,相同seed尽可能返回相同结果(不保证完全一致)

重要规则: 多个参数不建议同时调整,优先调整其中一种参数观察效果后再微调。

3.4 大模型的局限性

问题表现
缺乏私域知识不知道公司内部制度、人员信息等
回答不一致相同问题每次回答略有不同
幻觉可能生成看似合理但实际错误的内容

解决方案: 上下文工程(Context Engineering),通过RAG等技术为模型填充必要的上下文信息。


4. RAG检索增强生成

4.1 核心概念

RAG(Retrieval Augmented Generation) 是上下文工程中最重要、最有效的技术之一,专门解决大模型"知识不足"的问题。

类比: 开卷考试 —— 在回答问题时,先查找相关资料,再结合资料作答。

4.2 RAG工作流程

建立索引阶段
文档解析 → 文本分段 → 文本向量化 → 存储索引
步骤说明
文档解析将知识库文档加载并解析为文字形式
文本分段将文档切分为适当大小的片段,便于检索
文本向量化使用Embedding模型将文本段转换为向量
存储索引将向量存储到向量数据库,加速后续检索
检索生成阶段
用户提问 → 问题向量化 → 相似度检索 → 生成回答
步骤说明
检索将问题向量化,与向量数据库中的文本段进行语义相似度比较,找出最相关段落
生成将问题与检索到的文本段通过提示词模板组合,由大模型生成回复

典型提示词模板:

请根据以下信息回答用户的问题:{召回文本段}。
用户的问题是:{question}。

4.3 使用LlamaIndex构建RAG

from llama_index.embeddings.dashscope import DashScopeEmbedding
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.llms.openai_like import OpenAILike

# 加载文档
documents = SimpleDirectoryReader('./docs', required_exts=['.pdf', '.docx', '.md']).load_data()

# 创建索引(包含切片与向量化)
index = VectorStoreIndex.from_documents(
    documents,
    embed_model=DashScopeEmbedding(
        model_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2
    ))

# 创建查询引擎
query_engine = index.as_query_engine(
    streaming=True,
    llm=OpenAILike(
        model="qwen-plus",
        api_base="https://dashscope.aliyuncs.com/compatible-mode/v1",
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        is_chat_model=True
    ))

保存与加载索引:

# 保存索引
index.storage_context.persist("knowledge_base/test")

# 加载索引
from llama_index.core import StorageContext, load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="knowledge_base/test")
index = load_index_from_storage(storage_context, embed_model=...)

4.4 RAG多轮对话的挑战

问题: 用户第二轮提问"他的主管是谁?",检索系统不知道"他"指的是谁。

解决方案: 问题改写(Query Rewriting)—— 将完整对话历史和问题先输入大模型,改写为独立的完整问题,再用改写后的问题进行检索。

4.5 上下文工程(Context Engineering)

核心理念:为大模型的"上下文窗口"填充恰到好处的信息,以引导其完成特定任务。

  • 信息太少:模型"不知道"
  • 信息太多或无关:模型性能下降、成本增加

5. 提示词工程

5.1 提示词框架要素

要素含义示例
任务目标明确要求大模型完成什么任务“总结以下文档要点”
上下文任务背景信息公司制度、操作流程等
角色大模型扮演的身份“你是资深HR助手”
受众目标用户群体“面向新员工”
样例参考案例(Few-shot)提供问答对示例
输出格式指定输出格式和风格“请用Markdown格式输出”

5.2 提示词模板

LlamaIndex默认模板:

Context information is below.
---------------------
{context_str}
---------------------
Given the context information and not prior knowledge, answer the query.
Query: {query_str}
Answer:

自定义模板示例:

prompt_template_string = (
    "你是公司的客服小蜜,你需要简明扼要的回答用户的问题"
    "【注意事项】:\n"
    "1. 依据上下文信息来回答用户问题。\n"
    "2. 你只需要回答用户的问题,不要输出其他信息\n"
    "以下是参考信息。"
    "---------------------\n"
    "{context_str}\n"
    "---------------------\n"
    "问题:{query_str}\n。"
    "回答:"
)

5.3 提示词技巧

技巧说明
清晰表达需求明确任务目标、背景及上下文,使用分隔符(【】、<< >>、###、<tag> 等)标识关键要素
限定角色和受众不同角色(算法工程师 vs 小学老师)输出风格不同,受众决定内容深度
少样本学习(Few-shot)提供输入输出示例,模型从中抽象出模式
思维链(Chain-of-Thought)引导模型逐步推理,适合复杂问题
指定输出格式明确输出类型、格式、枚举值范围,可结合样例进一步明确

5.4 阿里云百炼提示词优化工具

百炼平台提供了提示词自动优化工具,可帮助完善提示词。


6. 自动化评测体系

6.1 评测的重要性

和常规软件开发需要测试一样,RAG应用也需要建立评测体系:

  • 快速定位问题原因
  • 每次优化后对一批问题进行测试
  • 确保优化效果是正向的

6.2 Ragas框架

Ragas(RAG Assessment)是领域内最著名的评测框架,核心思想是**“让大模型来评估RAG系统”**。

评估指标
指标评估维度说明
Answer Correctness整体回答质量评估生成答案的准确度,需与ground truth对比
Answer Relevancy生成环节评估答案是否与问题相关
Faithfulness生成环节评估答案与检索参考资料的事实一致性(有无幻觉)
Context Precision召回阶段评估参考信息中相关条目的排名和占比(信噪比)
Context Recall召回阶段评估有多少相关参考资料被检索到(遗漏情况)
使用示例
from datasets import Dataset
from ragas import evaluate
from ragas.metrics import context_recall, context_precision, answer_correctness

data_samples = {
    'question': [question],
    'answer': [answer],
    'ground_truth': [ground_truth],
    'contexts': [context],
}
dataset = Dataset.from_dict(data_samples)

score = evaluate(
    dataset=dataset,
    metrics=[answer_correctness, context_recall, context_precision],
    llm=Tongyi(model_name="qwen-plus"),
    embeddings=DashScopeEmbeddings(model="text-embedding-v3")
)

6.3 TruLens框架

专注于可观测性,可追溯RAG的完整运行过程。

指标说明
Groundedness答案是否来源于检索召回的知识
Answer Relevance答案是否与问题相关
Context Relevance召回的知识是否与问题相关

6.4 DeepEval框架

将传统软件开发的单元测试理念引入RAG应用,支持:

  • 为每个测试用例设置明确的通过/失败阈值
  • 集成到CI/CD流程中,实现自动化回归测试

6.5 自定义评测框架

核心原则: 领域专家深度参与是评测成功的关键。

可能的自定义指标:

  • 流程可操作性
  • 政策合规性
  • 情绪安抚度
  • 问题解决完备性

注意: 自动化评测是提效工具,不能完全取代人工判断。专家负责构建评测集和审定Ground Truth,自动化框架负责大规模、可重复的日常评测。


7. RAG优化策略

7.1 增加召回数量

query_engine = index.as_query_engine(
    streaming=True,
    similarity_top_k=5  # 默认2,增加到5
)

权衡: 增加召回数量可以提升找到相关信息的概率,但过多的无关信息会降低回答效率和准确性。

7.2 文档内容结构化

Markdown格式的优势:

  • 结构清晰,层次分明
  • 语法简单,易于维护
  • 特别适合RAG场景下的文档组织

做法: 将表格、列表等非结构化信息转换为结构化的Markdown格式,重新建立索引。

7.3 RAG全链路优化

文档准备阶段

意图空间 vs 知识空间:

        意图空间(用户问题)    知识空间(文档内容)
              ┌───┐                ┌───┐
              │   │  ────重叠────  │   │
              │   │    优化策略1    │   │
              └───┘                └───┘
区域策略
重叠区域优化检索策略,确保准确召回
意图空间独有补充知识库文档
知识空间独有优化提示词,让模型更好地利用知识
检索优化策略
策略说明
重排(Rerank)对初次检索结果进行二次排序,提升相关性
句子窗口检索检索句子级别片段,返回包含上下文的窗口
混合检索结合关键词检索和语义向量检索
HyDE先用问题生成假设答案,再用假设答案检索
切片优化策略
策略说明
语义切分按语义边界(段落、句子)切分,而非固定长度
重叠窗口切片之间保留重叠部分,避免信息断裂
Markdown节点解析按Markdown标题层级结构切分

7.4 RAG vs 微调

对比维度RAG微调(Fine-tuning)
知识更新只需更新知识库文档需要重新训练模型
成本低(无需训练)高(需要GPU资源)
适用场景知识密集型问答、实时更新场景改变模型行为、风格、推理能力
幻觉控制较好(有参考信息)可能仍存在幻觉
实现复杂度中等较高

8. 考试重点与权重分布

8.1 各章节考点权重

章节权重核心考点
RAG检索增强生成20%工作流程、切片策略、Embedding、Ragas指标、全链路优化
大模型微调LoRA18%微调分类、LoRA优势、适用场景、数据集规范
Agent智能体+Function Calling16%函数调用、ReAct架构、安全边界
生产环境部署16%高可用、监控指标、成本优化
提示词工程12%框架要素、模板、技巧(Few-shot、CoT)
阿里云产品体系10%百炼平台、模型服务、向量数据库
安全合规与数据隐私大题核心合规原则、数据安全、权限管控、内容安全

8.2 考试规则

项目说明
题型单选50题×1分 + 多选25题×2分
总分100分
及格线60分
时长90分钟
形式线上闭卷,双机位监考
多选评分少选得部分分,错选不得分

8.3 C2章节核心考点速记

RAG必考流程:

文档 → 解析 → 切片 → 向量化 → 存储索引 → 检索 → 生成

关键参数速记:

  • temperature=0.7(默认),越高越多样
  • top_p=0.8(默认),累积概率采样
  • similarity_top_k 默认2,可调大(如5)

Ragas指标速记:

  • Answer Correctness(准确度)
  • Faithfulness(忠实度,防幻觉)
  • Context Precision(信噪比)
  • Context Recall(召回率)

三大评测框架:

  • Ragas — 大模型当评委
  • TruLens — 可观测性
  • DeepEval — 单元测试理念

提示词六要素:

  • 任务目标、上下文、角色、受众、样例、输出格式

考试技巧: 多选不确定的不要选,拿部分分即可。RAG和微调的对比是高频考点,务必理解各自适用场景。Ragas四大指标的名词定义必须背诵,容易出选择题。

更多推荐