一、NLP任务发展的四个范式

1. 第一范式：传统机器学习模型

   • 特征：人工特征工程（如 TF-IDF）+ 传统算法（朴素贝叶斯、SVM）。
   • 局限：依赖人工经验，泛化能力有限。

2. 第二范式：深度学习模型

   • 特征：分布式词向量（Word2Vec）+ 深度网络（LSTM、CNN）。
   • 优势：减少特征工程，提升准确率。
   • 局限：仍需大量标注数据。

3. 第三范式：预训练模型 + Fine-Tuning

   • 特征：大规模预训练（BERT）+ 下游任务微调。
   • 优势：少量数据即可获得高性能。
   • 局限：预训练任务与下游任务差异大，易过拟合。

4. 第四范式：预训练模型 + Prompt + 预测

   • 特征：通过 Prompt 将下游任务转化为预训练任务形式。
   • 优势：减少标注数据需求，推动向少监督/无监督发展。

---

二、Fine-Tuning回顾

定义
将预训练模型适配到特定任务上的迁移学习方法。

流程

1. 预训练阶段：如 BERT 的 MLM（Masked Language Model）和 NSP（Next Sentence Prediction）。
2. 微调阶段：在任务数据上继续训练，添加任务相关输出层。

痛点

• 预训练任务与下游任务目标差异大。
• 需要大量标注数据。

改进方向

• Prompt-Tuning：通过模板将下游任务转化为预训练任务形式，减少标注需求。

---

三、Prompt-Tuning 技术

核心思想
将下游任务“包装”成预训练任务，让模型直接利用已有知识进行预测，减少额外参数引入。

基本流程（以情感分析为例）

1. 构建模板（Template）：
   • 例：I like the Disney films very much. It was [MASK].
2. 标签词映射（Verbalizer）：
   • 例：great → positive，terrible → negative
3. 训练：
   • 使用交叉熵损失，仅调整 MLM 分类器。

---

四、Prompt-Tuning 发展历程

1. In-Context Learning（GPT-3）：无需训练，通过示例实现少样本/零样本学习。
2. Instruction-Tuning（如 FLAN）：通过指令微调提升泛化能力。
3. Chain-of-Thought（CoT）：引导模型多步推理，提升复杂任务表现。
4. 小模型 Prompt 技术：如 PET、P-Tuning，将 Prompt 技术应用到中小规模模型。

---

五、主要 Prompt-Tuning 方法

1. PET（Pattern-Exploiting Training）

   • 核心：Pattern（模板）+ Verbalizer（标签映射）。
   • 优点：将分类任务转化为完形填空任务，提升小样本表现。
   • 缺点：依赖人工设计，效果不稳定。

2. Prompt Tuning（Google）

   • 特点：固定模型参数，仅训练 Prompt 嵌入向量。
   • 优点：参数效率高，接近全参数微调效果。
   • 缺点：小样本效果差，收敛慢。

3. P-Tuning V1/V2（清华）

   • V1：LSTM + MLP 编码 Prompt 嵌入，解决离散性与关联性问题。
   • V2：在每层引入可训练 Prompt，提升小模型表现。
   • 适用：自然语言理解（NLU）任务。

---

六、Hard Prompt vs Soft Prompt

类型	说明	特点
Hard Prompt	离散提示，固定文本模板	依赖人工设计，稳定性差
Soft Prompt	连续提示，可训练嵌入向量	自动学习，泛化能力强

主流方法多采用 Soft Prompt（如 Prompt Tuning、P-Tuning）。

---

七、总结

1. Prompt-Tuning：通过模板将下游任务转化为预训练任务形式，减少额外参数，适合小样本/零样本场景。
2. PET 核心组件：Pattern（模板）、Verbalizer（标签映射）。
3. P-Tuning V1 核心思想：固定大模型参数，使用 LSTM + MLP 编码 Prompt，提升连续性与关联性。

---

八、延伸思考

Prompt-Tuning 推动了 NLP 从“模型适应任务”向“任务适应模型”转变，为通用人工智能（AGI）的发展提供了新思路。