阿里云大模型高级工程师ACP-C2笔记
阿里云大模型ACP认证 · C2 构造问答系统 知识点总结

课程地址:ACP认证教程C2_构造问答系统
最近笔者也是以94分通过了阿里云大模型ACP认证,分享一下备考时自己做的一些笔记
目录
1. 项目背景与课程体系
1.1 项目场景
课程以一个教育内容开发公司为背景,新员工频繁提问导致答疑成本高。公司虽整理了文档库,但员工仍难以消化,导致工作出错。传统问答系统依赖固定规则和相似度匹配,存在以下问题:
- 员工使用不同问法时,系统可能无法回答
- 人工配置问答对,投入产出比低
- 无法理解自然语言的多样性
1.2 解决方案
利用大模型构建智能问答系统,无需配置问答对,基于公司内部知识库准确回答问题。
1.3 课程结构
| 章节 | 内容 | 核心知识点 |
|---|---|---|
| 2.1 | 用大模型构建新人答疑机器人 | API调用、大模型原理、生成参数 |
| 2.2 | 扩展答疑机器人的知识范围 | RAG工作流程、LlamaIndex |
| 2.3 | 优化提示词改善回答质量 | 提示词框架、模板、技巧 |
| 2.4 | 自动化评测答疑机器人表现 | Ragas、TruLens、DeepEval |
| 2.5 | 优化RAG应用提升问答准确度 | 检索优化、结构化文档、改进策略 |
2. 大模型API调用与多轮对话
2.1 API配置
使用百炼平台调用千问大模型:
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("DASHSCOPE_API_KEY"),
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
API Key安全管理:
- 禁止在代码中明文写入API Key
- 应存储在环境变量或配置文件中
- 分享代码时避免泄露密钥
2.2 基础对话调用
def get_qwen_response(prompt):
response = client.chat.completions.create(
model="qwen-max",
messages=[
{"role": "system", "content": "你负责教育内容开发公司的答疑,你的名字叫公司小蜜,你要回答同事们的问题。"},
{"role": "user", "content": prompt}
]
)
return response.choices[0].message.content
messages参数说明:
role: system— 系统指令,设定角色和任务role: user— 用户输入的问题role: assistant— 模型的回复
2.3 多轮对话
核心原理: 将对话历史(包含system、user、assistant消息)全部传入messages列表,模型根据完整上下文生成回复。
实现要点:
conversation_history = [
{"role": "system", "content": "你负责公司答疑..."}
]
# 每轮对话:追加user消息 → 调用模型 → 追加assistant消息
注意事项:
- 对话历史占用上下文窗口空间,轮次过多需截断或摘要
- 生产环境需将对话历史持久化存储(如数据库)
2.4 流式输出
流式输出让模型一边生成一边输出,提升用户体验。
def get_qwen_stream_response(user_prompt, system_prompt):
response = client.chat.completions.create(
model="qwen-max",
messages=[...],
stream=True # 关键参数
)
for chunk in response:
yield chunk.choices[0].delta.content
对比: 非流式输出等待全部生成后返回(约20秒),流式输出即时展示。
3. 大模型工作原理与生成参数
3.1 文本生成五阶段
输入文本 → 分词 → Token向量化 → 大模型推理 → 解码输出 → 输出文本
| 阶段 | 说明 |
|---|---|
| 文本分词 | Tokenizer将文本分割为Token(子词/字符片段),每个Token对应词表中的整数ID |
| Token向量化 | 通过Embedding矩阵将Token ID转换为稠密向量,包含语义信息 |
| 大模型推理 | Transformer模型根据输入向量,逐Token预测下一个Token的概率分布 |
| 解码与自回归 | 从概率分布中选择Token,将新Token加入输入继续预测,循环生成 |
| 输出文本 | 将生成的Token序列解码回人类可读的文本 |
3.2 Token概念
- Token是分词器编码后的基本单元,通常是子词或字符片段
- 不一定等于完整词语,也不一定具有独立语义
- 英文可能拆成词根和后缀,中文按字或常见词组切分
3.3 生成参数(必考)
| 参数 | 取值范围 | 默认值 | 作用 |
|---|---|---|---|
| temperature | [0, 2) | 0.7 | 调整候选Token概率分布的平滑度。值越大,生成越多样;值越小,越确定 |
| top_p | (0, 1] | 0.8 | 累积概率采样,控制候选Token集合范围。top_p越小,生成越确定 |
| top_k | 正整数 | — | 从概率排名前k个Token中随机选择。越大越多样,越小越固定 |
| seed | 整数 | — | 控制生成确定性,相同seed尽可能返回相同结果(不保证完全一致) |
重要规则: 多个参数不建议同时调整,优先调整其中一种参数观察效果后再微调。
3.4 大模型的局限性
| 问题 | 表现 |
|---|---|
| 缺乏私域知识 | 不知道公司内部制度、人员信息等 |
| 回答不一致 | 相同问题每次回答略有不同 |
| 幻觉 | 可能生成看似合理但实际错误的内容 |
解决方案: 上下文工程(Context Engineering),通过RAG等技术为模型填充必要的上下文信息。
4. RAG检索增强生成
4.1 核心概念
RAG(Retrieval Augmented Generation) 是上下文工程中最重要、最有效的技术之一,专门解决大模型"知识不足"的问题。
类比: 开卷考试 —— 在回答问题时,先查找相关资料,再结合资料作答。
4.2 RAG工作流程
建立索引阶段
文档解析 → 文本分段 → 文本向量化 → 存储索引
| 步骤 | 说明 |
|---|---|
| 文档解析 | 将知识库文档加载并解析为文字形式 |
| 文本分段 | 将文档切分为适当大小的片段,便于检索 |
| 文本向量化 | 使用Embedding模型将文本段转换为向量 |
| 存储索引 | 将向量存储到向量数据库,加速后续检索 |
检索生成阶段
用户提问 → 问题向量化 → 相似度检索 → 生成回答
| 步骤 | 说明 |
|---|---|
| 检索 | 将问题向量化,与向量数据库中的文本段进行语义相似度比较,找出最相关段落 |
| 生成 | 将问题与检索到的文本段通过提示词模板组合,由大模型生成回复 |
典型提示词模板:
请根据以下信息回答用户的问题:{召回文本段}。
用户的问题是:{question}。
4.3 使用LlamaIndex构建RAG
from llama_index.embeddings.dashscope import DashScopeEmbedding
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.llms.openai_like import OpenAILike
# 加载文档
documents = SimpleDirectoryReader('./docs', required_exts=['.pdf', '.docx', '.md']).load_data()
# 创建索引(包含切片与向量化)
index = VectorStoreIndex.from_documents(
documents,
embed_model=DashScopeEmbedding(
model_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2
))
# 创建查询引擎
query_engine = index.as_query_engine(
streaming=True,
llm=OpenAILike(
model="qwen-plus",
api_base="https://dashscope.aliyuncs.com/compatible-mode/v1",
api_key=os.getenv("DASHSCOPE_API_KEY"),
is_chat_model=True
))
保存与加载索引:
# 保存索引
index.storage_context.persist("knowledge_base/test")
# 加载索引
from llama_index.core import StorageContext, load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="knowledge_base/test")
index = load_index_from_storage(storage_context, embed_model=...)
4.4 RAG多轮对话的挑战
问题: 用户第二轮提问"他的主管是谁?",检索系统不知道"他"指的是谁。
解决方案: 问题改写(Query Rewriting)—— 将完整对话历史和问题先输入大模型,改写为独立的完整问题,再用改写后的问题进行检索。
4.5 上下文工程(Context Engineering)
核心理念:为大模型的"上下文窗口"填充恰到好处的信息,以引导其完成特定任务。
- 信息太少:模型"不知道"
- 信息太多或无关:模型性能下降、成本增加
5. 提示词工程
5.1 提示词框架要素
| 要素 | 含义 | 示例 |
|---|---|---|
| 任务目标 | 明确要求大模型完成什么任务 | “总结以下文档要点” |
| 上下文 | 任务背景信息 | 公司制度、操作流程等 |
| 角色 | 大模型扮演的身份 | “你是资深HR助手” |
| 受众 | 目标用户群体 | “面向新员工” |
| 样例 | 参考案例(Few-shot) | 提供问答对示例 |
| 输出格式 | 指定输出格式和风格 | “请用Markdown格式输出” |
5.2 提示词模板
LlamaIndex默认模板:
Context information is below.
---------------------
{context_str}
---------------------
Given the context information and not prior knowledge, answer the query.
Query: {query_str}
Answer:
自定义模板示例:
prompt_template_string = (
"你是公司的客服小蜜,你需要简明扼要的回答用户的问题"
"【注意事项】:\n"
"1. 依据上下文信息来回答用户问题。\n"
"2. 你只需要回答用户的问题,不要输出其他信息\n"
"以下是参考信息。"
"---------------------\n"
"{context_str}\n"
"---------------------\n"
"问题:{query_str}\n。"
"回答:"
)
5.3 提示词技巧
| 技巧 | 说明 |
|---|---|
| 清晰表达需求 | 明确任务目标、背景及上下文,使用分隔符(【】、<< >>、###、<tag> 等)标识关键要素 |
| 限定角色和受众 | 不同角色(算法工程师 vs 小学老师)输出风格不同,受众决定内容深度 |
| 少样本学习(Few-shot) | 提供输入输出示例,模型从中抽象出模式 |
| 思维链(Chain-of-Thought) | 引导模型逐步推理,适合复杂问题 |
| 指定输出格式 | 明确输出类型、格式、枚举值范围,可结合样例进一步明确 |
5.4 阿里云百炼提示词优化工具
百炼平台提供了提示词自动优化工具,可帮助完善提示词。
6. 自动化评测体系
6.1 评测的重要性
和常规软件开发需要测试一样,RAG应用也需要建立评测体系:
- 快速定位问题原因
- 每次优化后对一批问题进行测试
- 确保优化效果是正向的
6.2 Ragas框架
Ragas(RAG Assessment)是领域内最著名的评测框架,核心思想是**“让大模型来评估RAG系统”**。
评估指标
| 指标 | 评估维度 | 说明 |
|---|---|---|
| Answer Correctness | 整体回答质量 | 评估生成答案的准确度,需与ground truth对比 |
| Answer Relevancy | 生成环节 | 评估答案是否与问题相关 |
| Faithfulness | 生成环节 | 评估答案与检索参考资料的事实一致性(有无幻觉) |
| Context Precision | 召回阶段 | 评估参考信息中相关条目的排名和占比(信噪比) |
| Context Recall | 召回阶段 | 评估有多少相关参考资料被检索到(遗漏情况) |
使用示例
from datasets import Dataset
from ragas import evaluate
from ragas.metrics import context_recall, context_precision, answer_correctness
data_samples = {
'question': [question],
'answer': [answer],
'ground_truth': [ground_truth],
'contexts': [context],
}
dataset = Dataset.from_dict(data_samples)
score = evaluate(
dataset=dataset,
metrics=[answer_correctness, context_recall, context_precision],
llm=Tongyi(model_name="qwen-plus"),
embeddings=DashScopeEmbeddings(model="text-embedding-v3")
)
6.3 TruLens框架
专注于可观测性,可追溯RAG的完整运行过程。
| 指标 | 说明 |
|---|---|
| Groundedness | 答案是否来源于检索召回的知识 |
| Answer Relevance | 答案是否与问题相关 |
| Context Relevance | 召回的知识是否与问题相关 |
6.4 DeepEval框架
将传统软件开发的单元测试理念引入RAG应用,支持:
- 为每个测试用例设置明确的通过/失败阈值
- 集成到CI/CD流程中,实现自动化回归测试
6.5 自定义评测框架
核心原则: 领域专家深度参与是评测成功的关键。
可能的自定义指标:
- 流程可操作性
- 政策合规性
- 情绪安抚度
- 问题解决完备性
注意: 自动化评测是提效工具,不能完全取代人工判断。专家负责构建评测集和审定Ground Truth,自动化框架负责大规模、可重复的日常评测。
7. RAG优化策略
7.1 增加召回数量
query_engine = index.as_query_engine(
streaming=True,
similarity_top_k=5 # 默认2,增加到5
)
权衡: 增加召回数量可以提升找到相关信息的概率,但过多的无关信息会降低回答效率和准确性。
7.2 文档内容结构化
Markdown格式的优势:
- 结构清晰,层次分明
- 语法简单,易于维护
- 特别适合RAG场景下的文档组织
做法: 将表格、列表等非结构化信息转换为结构化的Markdown格式,重新建立索引。
7.3 RAG全链路优化
文档准备阶段
意图空间 vs 知识空间:
意图空间(用户问题) 知识空间(文档内容)
┌───┐ ┌───┐
│ │ ────重叠──── │ │
│ │ 优化策略1 │ │
└───┘ └───┘
| 区域 | 策略 |
|---|---|
| 重叠区域 | 优化检索策略,确保准确召回 |
| 意图空间独有 | 补充知识库文档 |
| 知识空间独有 | 优化提示词,让模型更好地利用知识 |
检索优化策略
| 策略 | 说明 |
|---|---|
| 重排(Rerank) | 对初次检索结果进行二次排序,提升相关性 |
| 句子窗口检索 | 检索句子级别片段,返回包含上下文的窗口 |
| 混合检索 | 结合关键词检索和语义向量检索 |
| HyDE | 先用问题生成假设答案,再用假设答案检索 |
切片优化策略
| 策略 | 说明 |
|---|---|
| 语义切分 | 按语义边界(段落、句子)切分,而非固定长度 |
| 重叠窗口 | 切片之间保留重叠部分,避免信息断裂 |
| Markdown节点解析 | 按Markdown标题层级结构切分 |
7.4 RAG vs 微调
| 对比维度 | RAG | 微调(Fine-tuning) |
|---|---|---|
| 知识更新 | 只需更新知识库文档 | 需要重新训练模型 |
| 成本 | 低(无需训练) | 高(需要GPU资源) |
| 适用场景 | 知识密集型问答、实时更新场景 | 改变模型行为、风格、推理能力 |
| 幻觉控制 | 较好(有参考信息) | 可能仍存在幻觉 |
| 实现复杂度 | 中等 | 较高 |
8. 考试重点与权重分布
8.1 各章节考点权重
| 章节 | 权重 | 核心考点 |
|---|---|---|
| RAG检索增强生成 | 20% | 工作流程、切片策略、Embedding、Ragas指标、全链路优化 |
| 大模型微调LoRA | 18% | 微调分类、LoRA优势、适用场景、数据集规范 |
| Agent智能体+Function Calling | 16% | 函数调用、ReAct架构、安全边界 |
| 生产环境部署 | 16% | 高可用、监控指标、成本优化 |
| 提示词工程 | 12% | 框架要素、模板、技巧(Few-shot、CoT) |
| 阿里云产品体系 | 10% | 百炼平台、模型服务、向量数据库 |
| 安全合规与数据隐私 | 大题核心 | 合规原则、数据安全、权限管控、内容安全 |
8.2 考试规则
| 项目 | 说明 |
|---|---|
| 题型 | 单选50题×1分 + 多选25题×2分 |
| 总分 | 100分 |
| 及格线 | 60分 |
| 时长 | 90分钟 |
| 形式 | 线上闭卷,双机位监考 |
| 多选评分 | 少选得部分分,错选不得分 |
8.3 C2章节核心考点速记
RAG必考流程:
文档 → 解析 → 切片 → 向量化 → 存储索引 → 检索 → 生成
关键参数速记:
temperature=0.7(默认),越高越多样top_p=0.8(默认),累积概率采样similarity_top_k默认2,可调大(如5)
Ragas指标速记:
- Answer Correctness(准确度)
- Faithfulness(忠实度,防幻觉)
- Context Precision(信噪比)
- Context Recall(召回率)
三大评测框架:
- Ragas — 大模型当评委
- TruLens — 可观测性
- DeepEval — 单元测试理念
提示词六要素:
- 任务目标、上下文、角色、受众、样例、输出格式
考试技巧: 多选不确定的不要选,拿部分分即可。RAG和微调的对比是高频考点,务必理解各自适用场景。Ragas四大指标的名词定义必须背诵,容易出选择题。
更多推荐


所有评论(0)