5、预训练(Pretraining)
预训练是大模型学习的基础阶段，通过自监督学习从海量无标注数据中学习通用语言表征。预训练过程是在海量的、无标注的文本数据上进行的，不针对特定任务，而是让模型掌握广泛的语言知识，形成通用理解能力。

预训练的一般流程包括：

a) 收集大量低成本获取的训练数据

b) 采用自回归或自编码预训练方法学习数据共性

c) 将学习到的共性"移植"到模型中

d) 迭代训练进一步改进模型或压缩模型

扩展定律（Scaling Laws[3]）：这是指导预训练的核心理论。由OpenAI的Jared Kaplan等人和DeepMind的Jordan Hoffmann等人提出的研究表明，模型的性能（通常用损失函数的值来衡量）与模型参数量（N）、训练数据量（D）和计算量（C） 之间存在可预测的幂律关系。DeepMind的“Chinchilla[4]”论文进一步指出，为了实现计算最优，模型大小和训练数据量应该按比例增加，即模型参数每翻一倍，训练的Token数量也应相应翻倍 。这个发现修正了早期“模型越大越好”的认知，强调了数据量和数据质量的同等重要性 。

6、微调(Fine-tuning)
微调是在预训练基础上，针对特定任务或领域的进一步优化过程。微调通过少量标注数据使模型适应特定应用场景，是大模型从通用能力转向实用价值的关键步骤。

微调技术主要分为三类：

全参数微调：更新模型所有参数，适合资源充足场景，但计算成本高。
基于适配器的微调：在预训练模型中插入小型可训练适配器模块，仅更新适配器参数，保留预训练知识。
基于低秩矩阵分解的微调：如LoRA、LoHa、AdaLoRA等，通过分解权重矩阵减少需要更新的参数量，大幅降低计算需求。

7、模型对齐(Alignment)
模型对齐是确保大模型输出符合人类价值观或特定目标的技术。对齐技术解决大模型 "能说会做"但"说错做错"的问题 ，是大模型安全可靠应用的关键保障。

基于人类反馈的强化学习（RLHF）：RLHF是当前实现对齐最主流和最有效的方法 。它通常包含三个步骤：

监督微调（Supervised Fine-Tuning, SFT）：首先用少量高质量的人类示范数据对预训练模型进行微调，使其初步具备理解和遵循指令的能力。
训练奖励模型（Reward Model, RM）：让模型对同一个提示生成多个不同的回答，然后由人类标注员对这些回答进行排序（哪个更好，哪个更差）。利用这些包含人类偏好的排序数据，训练一个奖励模型，该模型能对任意一个模型输出进行打分，分数高低代表其符合人类偏好的程度 。
强化学习优化：将奖励模型作为环境的奖励信号，使用强化学习算法（如PPO）来进一步微调SFT模型。模型的目标是生成能从奖励模型那里获得更高分数的回答，从而使其行为逐渐向人类偏好对齐 。
对齐的挑战与替代方案：RLHF过程复杂且高度依赖昂贵的人类标注数据 。因此，研究人员也在探索更高效的替代方案，如直接偏好优化（Direct Preference Optimization, DPO），它通过一种更直接的方式利用偏好数据来调整模型，过程更稳定且计算成本更低。

安全评估：为了确保对齐的有效性，需要一套全面的评估体系。这包括使用专门的基准数据集（如PKU-SafeRLHF、TruthfulQA、HarmBench）来测试模型在有害性、偏见、事实性等方面的表现 并采用红队测试（Red Teaming） 等对抗性方法主动寻找模型的漏洞和安全风险。

8、大模型幻觉
幻觉（Hallucination）是指大模型生成看似合理但实际上是错误的、捏造的或与现实世界事实不符的内容的现象。这是大模型最主要的挑战之一，严重影响其可靠性和应用前景。

产生原因：幻觉的根本原因在于模型是基于其在训练数据中学到的统计模式来生成文本的，它并不具备真正的理解、记忆或事实核查能力。原因可能包括训练数据中的噪声或错误、模型知识的过时、推理能力的缺陷等。

检测与缓解技术：

研究人员正在开发多种检测幻觉的方法。例如，通过量化模型输出的不确定性（如语义熵）来识别低置信度的内容 ，或者通过检查模型输出的自洽性（让模型用不同方式多次回答同一问题看答案是否一致） 。

缓解：

改进训练数据：在预训练阶段筛选和清洗数据，去除错误和有害信息 。
检索增强生成（RAG）：如前所述，通过将回答锚定在可靠的外部知识源上，是缓解事实性幻觉最有效的方法之一 。
改进解码策略：在生成文本时调整采样策略，避免过于“有创造力”的输出。
链式验证（Chain-of-Verification）：让模型在生成回答后，主动生成一系列验证问题，并尝试自行回答这些问题来核查原始答案的准确性 。
9、提示工程(Prompt Engineering)
提示工程是构建能被大模型理解和解释的文本结构的技术。有效的提示工程能提高大模型的准确性和效率，使输出更加可控和可预测。

提示工程的分类与设计：

任务性提示：明确指定任务类型，如"请为以下文本生成摘要"
示例性提示：提供参考案例，引导模型输出符合示例格式的内容
限定性提示：约束输出格式或内容，如"使用JSON格式输出结果"
角色扮演提示：设定模型角色，如"你是一个资深Python工程师，只输出代码，不解释"
提示词设计原则：

提示词=角色+指示+背景+属性+模型要求+输入文本+输出结构。例如，在金融分析场景中，提示词可能包括"角色：金融分析师；指示：分析公司财报；背景：考虑行业趋势；属性：使用专业术语；模型要求：输出结构化报告；输入文本：2025年第三季度财报；输出结构：JSON格式，包含关键指标"。