不直接解最优策略函数，而是通过间接求取其他指标(价值函数)，根据这些指标的结果来推导最优策略。：在与环境的交互过程中，直接优化最优策略函数(Policy，比较困难)Policy，根据状态做出决策，控制Agent做动作(概率密度函数)中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益(Reward，环境基于当前动作给出的奖励(正向或负向)Action，智能体根据状态做当前时刻的动作。Ret

目录大模型部署与商业模式介绍一、大模型部署介绍1. 大模型部署流程2. 大模型常用压缩方法3. 大模型常用部署工具4. 大模型推理加速技术5. 大模型应用开发6. 大模型本地部署展望二、大模型商业介绍(1) 大模型部署流程①模型转换：使用不同的框架部署模型要求的模型格式不同，如果当前权重文件格式与框架要求的格式不一致，则需要做模型转换，同时根据部署策略，分布式权重与单个权重也需要做转换②模型压缩：

(1) 大模型使能套件：全流程覆盖大模型开发、训练、微调、推理(2) MindFormers大模型套件介绍(3) MindFormers概述MindFormers套件的目标是构建一个集大模型开发、训练、微调、评估、推理、部署全流程的开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性(1) MindFormers支持任务及模型列表(1) MindFo

目录模型微调算法和工具简介一、大模型微调算法1. 大模型微调种类2. 高效微调技术二、大模型微调开源工具。

知识图谱本质上是语义网络的知识库，它以结构化的形式描述客观世界中各种概念、实体及其之间的关系，以此构成一张巨大的语义网络，节点表示实体边由其属性或实体间关系构成（1）语义网络：用图来表示知识的方式，有相互连接的节点和边组成，节点表示概念或对象，边表示关系（2）知识库：存储了很多数据（3）实体：存在于现实世界中并且可与其他物体区分开来的物体（4）属性：我们把一个具体事物的性质与关系叫做事物的属性（5

目录人工智能业务流程概述一、人工智能业务流程介绍1. 业务需求2. 数据准备3. 模型选择与设计4. 模型训练5. 模型评估6. 模型部署二、大模型业务流程介绍1. 预训练2. 有监督微调SFT3. RLHF4. 模型评估三、大模型使用与提示工程1. 如何使用大模型2. 提示工程及基础方法3. 高阶提示方法4. 提示框架目的是什么？要解决什么问题？(1) 数据集：互联网公开数据(开发者可以通过爬取

(1) 大模型与大语言模型“大模型”通常指的是参数数量在数十亿或更多数量级的深度学习模型。当前“大模型”主要是指“大型语言模型”目前，大模型是指具有大规模参数和复杂计算结构的机器学习模型，不仅仅指大语言模型，还包括计算机视觉大模型，多模态大模型等但首次出现在大众视野的是大模型是大语言模型，用于自然语言处理的模型(2) 自然语言以及自然语言处理自然语言是指人类在日常交流中使用的语言，它是通过口头或书

通过预测词的训练目标、大规模数据集以及超高参数量的模型相结合，产生了性能极强的LLM，它可以“理解”任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3的论文发现，大规模的训练数据会产生一种有趣的新兴行为，称为In Context Learning(又称。下游任务接近预训练中的LM /MLM任务，挖掘模型的潜力，体现在两方面：首先，可以通过prompt的形式使得特征更符合下游任务场景，提高

(1) 大模型与小模型优劣势大模型：①多任务处理②很好理解人类的意图③生成相关信息④隐私泄露问题⑤设备、能耗要求高⑥运行成本高昂小模型：①参数量小，能耗小，可以使用在端侧设备上，实现端到端运行②在一些领域中，小模型的处理效果比大模型效果好③训练数据相对单一，好处理④不同任务需要多次处理，相对复杂(2) AI Agent理解将LLM添加上工具插件，实现复杂的功能，有可能对软件进行革命。

机器翻译、文本挖掘、情感分析、评价分析、文本分类、知识图谱、视频字幕。(自然语言处理的技术难度高，技术成熟度较低。：研究语音发声过程、语音信号的统计特性、语音识别、机器合成以及语音感知等各种处理技术的统称。目标检测、图像分割、目标跟踪、文字识别、无人驾驶、智能家居、智能相册、图片搜索。语音识别、语音合成、语音唤醒、声纹识别、音频事件检测、电话回访。：能听会看，机器开始看懂和听懂，做出判断，采取一些