通过前面几篇文章，我们学习了大模型背后的数学理论：线性代数、概率论、微积分等基础知识，掌握了大模型及深度学习的神经网络模型表达、运算、梯度计算、反向传播自主学习与更新过程。本章开始我们借着阿里云大模型ACP考试课程内容，整理下大模型ACP认证通关过程理论与实践学习笔记和知识体系。

本篇我们从阿里云大模型ACP课程相关议题出发：

1）大模型ACP考试能学到啥内容？知识点和学习提纲是怎样的？

2）如何掌握大模型应用开发技能？

3）大模型是如何工作的？

4）大模型如何应对私域知识？上下文工程

5）检索增强RAG是如何工作的？

一、背景

阿里云大模型高级工程师ACP认证面向具备编程基础的生成式人工智能技术爱好者和应用开发者，培养针对复杂业务场景设计并实施大模型驱动的解决方案的能力。

1.1能学到啥内容？

在阿里云大模型ACP认证课程中，理论学习与课程实践贯穿整个学习过程，阿里云为您提供免费的GPU和服务器资源进行调试，整个课程围绕如何构建一个基于大模型的答疑机器人，提升模型质量，从而解决新员工入职频繁答疑的问题。课程列表

章序号	章节名称	课程序号	课程名
1	课前准备	1.0	计算环境准备
2	构造大模型问答系统	2.0	项目背景
2.1	用大模型构建新人答疑机器人
2.2	扩展答疑机器人的知识范围
2.3	优化提示词改善答疑机器人回答质量
2.4	自动化评测答疑机器人的表现
2.5	优化RAG应用提升问答准确度
2.6	用插件扩展答疑机器人的能力边界
2.7	通过微调增强模型能力
2.8	部署模型
2.9	大模型应用生产实践
3	总结与展望	3.0	总结与展望

通过学习您将掌握如下知识：

● 掌握以下知识与技能：

○ 大模型提示词技巧

○ 检索增强和微调的原理和流程

○ LangChain、Llama-Index和Dify等大模型开发组件的使用方法

○ 工程化评测的概念与方法

○ 大模型的规范和安全性

● 有能力完成以下任务：

○ 使用阿里云百炼平台构建大模型应用(开发、测评、部署、发布)

○ 使用提示词策略、检索增强、微调技术优化大模型回答质量

○ 使用Multi-agent进行文本、图像、视频等多模态内容生产

○ 能够针对复杂业务场景设计并实施大模型驱动的解决方案

● 胜任以下岗位：

○ 大模型解决方案高级工程师

○ 大模型应用开发高级工程师

1.2报名方式及学习内容

【ACP】的报名方式：通过阿里云官网提供的入口进行在线报名：

https://edu.aliyun.com/certification/acp26

【ACP】相关的学习方法、学习资料及培训课程，建议的学习方法：强烈推荐开通阿里云百炼大模型服务平台相关的产品进行实际的操作。阿里云百炼大模型服务平台

https://bailian.console.aliyun.com/#/home

主要章节	主要内容	考察知识点
大模型应用开发	通过OpenAI API调用大模型 了解大模型的工作原理	● 基本API参数如model、temperature、top_p等等 ● 批量生成与流式生成 ● 理解消息与对话历史
大模型提示词工程	构建有效的提示词	● 提示词框架如提示词要素、提示词分隔符、提示词模板 ● 理解系统角色提示词的作用
利用大模型处理各类任务	● 理解大模型的适用场景 ● 利用大模型开发应用（如批量对员工咨询做意图分类、用大模型做文档审阅、实现针对问题的自动文档修订）
大模型检索增强	通过LlamaIndex构建RAG应用的基本使用方法	● 理解RAG的核心要素，如文件解析、文本切片、段落召回、段落重排序 ● 理解对RAG做召回优化如句子窗口检索、自动合并检索等等
持续优化检索增强能力	● 理解更贴近实战的RAG优化方法如优化文本解析、标题改写优化、表格内容增强、文本分割方法对比等等
对检索增强的能力做自动化评测	● 了解RAGAS指标体系 ● 懂得RAG系统的评测方法
大模型的微调	微调的概念与要求	● 模型微调的作用、前提、基本步骤、常用算法
微调的实验与评测	● 微调数据集构建、微调参数介绍、微调模型评测
多Agent及多模态应用	基于百炼Assistant API构建智能体	● 理解智能体运行机制 ● 掌握用生成多模态内容、构建个性化语音助手等能力
构建更复杂的AI应用	● 动手实践阿里发布的AI技术解决方案系列，体验多模态交互技术。 ● 了解AI在医疗、教育、娱乐等行业的实际应用。
生产环境应用实践	内容安全合规检查手段	● 了解大模型开发中存在的内容安全问题 ● 了解内容安全合规检测类型及常用方案
大模型应用部署（云服务）安全	● 了解在云服务环境下应用系统安全的基本要素和解决方案
在云上部署微调模型的基本方案 在云服务如（ECS、FC、PAI）中部署模型 在百炼上部署模型	● 掌握如何使用vLLM进行大模型的部署操作 ● 了解如何利用云服务如函数计算（FC）实现AI助手的快速发布

1.3阿里云大模型ACP考试大纲

1）知识点

考核知识点	试题比例（旧）	试题比例（新）
大模型应用开发	17%	17%，无变更
大模型提示词工程	14%	15%
大模型检索增强	19%	20%
大模型微调	17%	16%
多Agent及多模态应用	16%	16%，无变更
生产环境应用实践	17%	16%

2）题型

题型	数量（旧）	数量（新）	分值（旧）	分值（新）
单选题	35题	50题	每题2分	每题1分
多选题	15题	25题	每题2分	每题2分，无变更

1.4阿里云大模型ACP证书

国庆前后完成了阿里云大模型ACP考试内容，虽然整体成绩>90分，但是在微调方面理论和实践经验偏弱，例如：自行微调某医疗模型实践过程遇到瓶颈，微调训练过程遇到GPU OOM问题、迟迟不能收敛，接下来这块内容还需要加强理论学习与实践。

如果你也想通过学大模型技术去帮助自己升职和加薪，可以扫描下方链接👇👇
​​

二、大模型应用开发

2.1环境准备

参考：

https://edu.aliyun.com/course/3130200/lesson/343310285

2.2用大模型构建新人答疑机器人

2.2.1通过API调用通义千问

1）APIKEY申请与存放（安全性：环境变量）

2）作为开发者，往往需要在自己的应用中集成大模型能力，你可以使用业界广泛采用的 OpenAI Python SDK 来调用通义千问、DeepSeek等大模型。

3）流式输出：只是改变了内容的展示方式，模型的思考过程和最终答案的质量都保持不变。

4）即使问题完全相同，每次的回答都略有不同。

2.2.2大模型是如何工作的？

2.2.2.1大模型的问答工作流程

第一阶段：输入文本分词化

分词（Token）是大模型处理文本的基本单元，通常是词语、词组或者符号。我们需要将“ACP is a very”这个句子分割成更小且具有独立语义的词语（Token），并且为每个Token分配一个ID。如果您对通义千问的tokenizer细节感兴趣，请参考：Tokenization。

第二阶段：Token向量化

计算机只能理解数字，无法直接理解Token的含义。因此需要将Token进行数字化转换（即转化为向量），使其可以被计算机所理解。Token向量化会将每个Token转化为固定维度的向量。

第三阶段：大模型推理

大模型通过大量已有的训练数据来学习知识，当我们输入新内容，比如“ACP is a very”时，大模型会结合所学知识进行推测。它会计算所有可能Token的概率，得到候选Token的概率集合。最后，大模型通过计算选出一个Token作为下一个输出。

这就解释了为什么当询问公司的项目管理工具时，模型无法提供内部工具的建议，这是因为其推测能力是基于已有的训练数据，对它未接触的知识无法给出准确的回答。因此，在需要答疑机器人回答私域知识时，需要针对性地解决这一问题

第四阶段：输出Token

由于大模型会根据候选Token的概率进行随机挑选，这就会导致“即使问题完全相同，每次的回答都略有不同”。为了控制生成内容的随机性，目前普遍是通过temperature和top_p来调整的。

第五阶段：输出文本

循环第三阶段和第四阶段的过程，直到输出特殊Token（如，end of sentence，即“句子结束”标记）或输出长度达到阈值，从而结束本次问答。大模型会将所有生成的内容输出。当然你可以使用大模型的流式输出能力，即预测一些Token立即进行返回

2.2.2.2 影响大模型内容生成的随机性参数

有两个重要参数会影响大模型的输出：temperature 和 top_p，它们用来控制大模型生成内容的随机性和多样性

1）temperature：调整候选Token集合的概率分布

在大模型生成下一个词（next-token）之前，它会先为候选Token计算一个初始概率分布。这个分布表示每个候选Token作为next-token的概率。temperature是一个调节器，它通过改变候选Token的概率分布，影响大模型的内容生成。通过调节这个参数，你可以灵活地控制生成文本的多样性和创造性。

✧ 明确答案（如生成代码）：调低温度。

✧ 创意多样（如广告文案）：调高温度。

✧ 无特殊需求：使用默认温度（通常为中温度范围）。

需要注意的是，当 temperature=0 时，虽然会最大限度降低随机性，但无法保证每次输出完全一致。如果想深入了解，可查阅 temperature的底层算法实现。

2）top_p：控制候选Token集合的采样范围

top_p 是一种筛选机制，用于从候选 Token 集合中选出符合特定条件的“小集合”。具体方法是：按概率从高到低排序，选取累计概率达到设定阈值的 Token 组成新的候选集合，从而缩小选择范围。

top_p值对大模型生成内容的影响可总结为：

✧ 值越大 ：候选范围越广，内容更多样化，适合创意写作、诗歌生成等场景。

✧ 值越小 ：候选范围越窄，输出更稳定，适合代码生成等需要明确答案的场景。

✧ 极小值（如 0.0001）：理论上模型只选择概率最高的 Token，输出非常稳定。但实际上，由于分布式系统、模型输出的额外调整等因素可能引入的微小随机性，仍无法保证每次输出完全一致。

问题1：是否需要同时调整temperature和top_p？

为了确保生成内容的可控性，建议不要同时调整top_p和temperature，同时调整可能导致输出结果不可预测。你可以优先调整其中一种参数，观察其对结果的影响，再逐步微调。

1）知识延展top_k：在通义千问系列模型中，参数top_k也有类似top_p的能力，可查阅通义千问API文档。它是一种采样机制，从概率排名前k的Token中随机选择一个进行输出。一般来说，top_k越大，生成内容越多样化；top_k越小，内容则更固定。当top_k设置为1时，模型仅选择概率最高的Token，输出会更加稳定，但也会导致缺乏变化和创意。

2）知识延展：seed：在通义千问系列模型中，参数seed也支持控制生成内容的确定性，可查阅通义千问API文档。在每次模型调用时传入相同的seed值，并保持其他参数不变，模型会尽最大可能返回相同结果，但无法保证每次结果完全一致。

问题2：设置temperature/top_p/top_k/seed控制大模型输出，为何仍存在随机性？

即使将 temperature 设置为 0、top_p 设置为极小值（如 0.0001），并使用相同的 seed ，同一个问题的生成结果仍可能出现不一致。这是因为一些复杂因素可能引入微小的随机性，例如大模型运行在分布式系统中，或模型输出引入了优化。

2.3让大模型能够回答私域知识问题

答疑机器人无法回答“公司内部私有资料”相关的内部问题。根本原因在于，大模型的知识来源于其训练数据，这些数据通常是公开的互联网信息，不包含任何特定公司的内部文档、政策或流程。你可以把大模型想象成一台刚出厂的超级计算机：它的 CPU（推理能力）极其强大，硬盘（模型权重）里也预装了海量的通用知识。但对于你公司的“内部资料”，它的硬盘里是空白的。面对这个问题，最直观的解决思路就是：在运行时，把公司的内部知识临时告诉它。

2.3.1 初步方案：在提示词中“喂”入知识

你可以来验证这个思路：将公司项目管理工具的说明文档，直接添加到给模型的指令（System Prompt）中，作为背景知识提供给它。

💡 公司使用的项目管理软件资料可以从docs/内容开发工程师岗位指导说明书.pdf文件中找到。然而，当你试图将更多的公司文档（例如几十页的员工手册、上百页的技术规范），海量的内部资料无法都拼接到Prompt中，怎么办？

2.3.2 核心瓶颈：有限的上下文窗口

大模型接收我们输入（包括指令、问题和背景知识）的地方，被称为上下文窗口（Context Window）。你可以把它理解为计算机的“内存（RAM）”——它的容量是有限的。 你无法将整个公司的知识库（成百上千份文档）一次性塞进这个有限的窗口里。一旦输入内容超过模型的最大限制，就会导致错误。 这引出了一个核心问题：你需要对放入上下文窗口的内容进行筛选和管理。

2.3.3 解决之道：上下文工程 Context Engineering

简单粗暴地将信息塞进上下文，除了会超出窗口限制外，还会带来一系列“隐性”问题：

1）效率低：上下文越长，大模型处理所需的时间就越长，导致用户等待时间增加。

2）成本高：大部分模型是按输入和输出文本量计费，冗长的上下文意味着更高的成本。

3）信息干扰：如果上下文中包含了大量与当前问题无关的信息，就像在开卷考试时给了考生一本错误科目的教科书，反而会干扰模型的判断，导致回答质量下降。

你一定会意识到，成功的关键不在于“喂”给模型多少知识，而在于“喂”得有多准。如何在正确的时间，将最相关、最精准的知识，动态地加载到大模型有限的上下文窗口中？——这门系统性地设计、构建和优化上下文的实践，就是上下文工程（Context Engineering）。从这个角度看，许多大模型应用的失败，并非模型本身不够智能，而是“上下文”的失败。上下文工程正是释放大模型潜力的关键所在。那么，上下文工程具体包含哪些技术呢？你可以通过下面这张概念图来快速了解它的核心版图：

💡 上下文工程 (Context Engineering) 的核心技术 它是构建可靠、高效大模型应用的一系列关键技术的总和，主要包括： ✧ RAG (检索增强生成)：从外部知识库（如公司文档）中检索信息，为模型提供精准的回答依据。 ✧ Prompt (提示词工程)：通过精心设计的指令，精确地引导模型的思考方式和输出格式。 ✧ Tool (工具使用)：赋予模型调用外部工具（如计算器、搜索引擎、API）的能力，以获取实时信息或执行特定任务。 ✧ Memory (记忆机制)：为模型建立长短期记忆，使其能够在连续对话中理解历史上下文。

2.4检索增强生成RAG

RAG（Retrieval-Augmented Generation，检索增强生成） 就是实现上下文工程的强大技术方案。它的核心思想是：

在用户提问时，不再将全部知识库硬塞给大模型，而是先自动检索出与问题最相关的私有知识片段，然后将这些精准的片段与用户问题合并后，一同传给大模型，从而生成最终的答案。这样既避免了提示词过长的问题，又能确保大模型获得相关的背景信息。

第一阶段：建立索引

建立索引是为了将私有知识文档或片段转换为可以高效检索的形式。通过将文件内容分割并转化为多维向量（使用专用 Embedding 模型），并结合向量存储保留文本的语义信息，方便进行相似度计算。向量化使得模型能够高效检索和匹配相关内容，特别是在处理大规模知识库时，显著提高了查询的准确性和响应速度。

这些向量经过 Embedding 模型处理后不仅很好地捕捉文本内容的语义信息，而且由于语义已经向量化，标准化，便于之后与检索语义向量进行相关度计算。

第二阶段：检索与生成

检索生成是根据用户的提问，从索引中检索相关的文档片段，这些片段会与提问一起输入到大模型生成最终的回答。这样大模型就能够回答私有知识问题了。

总的来说，基于 RAG 结构的应用，既避免了将整个参考文档作为背景信息输入而导致的各种问题，又通过检索提取出了与问题最相关的部分，从而提高了大模型输出的准确性与相关性。

3. 总结
   =====

   本篇我们学习了以下内容：

   1）阿里云大模型ACP课程理论与实践体系？知识点和学习提纲、课程学习内容。

   2）如何使用大模型 API？通过实际的代码示例，我们掌握了如何通过 API 调用通义千问大模型，并学习了如何通过流式输出来优化用户体验。

   3）大模型的工作原理与局限性：我们初步探索了大模型如“黑盒”般的工作流程，理解了其回答具有随机性的原因，并学习了如何通过调整 temperature、top_p、top_k等参数来控制生成内容。更重要的是，我们直面了大模型的核心局限：其知识完全依赖于训练数据，无法获知你公司的内部文档等私域知识。

   4)上下文工程（Context Engineering）与 RAG 的核心思想：为了解决大模型的知识局限性，我们首先尝试了直接在提示词中“投喂”知识的方法，但很快就遇到了“上下文窗口限制”的瓶颈。这引出了一个至关重要的概念——上下文工程（Context Engineering），即智能地为大模型筛选、组织和提供最相关背景信息的核心方法论。作为该思想的具体实现，我们学习了 RAG（检索增强生成） 技术方案。通过“先检索、后生成”的模式，RAG 能有效地将精准的外部知识与大模型结合，从而在不超出限制的前提下，让模型能够回答私域知识问题。

   在你的大模型应用中引入 RAG 方案能够扩展大模型所能处理的知识范围。下一篇，我们将动手实践，学习如何创建一个完整的 RAG 应用。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

如果你也想通过学大模型技术去帮助自己升职和加薪，可以扫描下方链接👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​