模型蒸馏（Model Distillation）是将一个复杂模型（教师模型）的知识迁移到一个较小、效率更高的模型（学生模型）的过程。数据准备是蒸馏过程中的关键步骤，直接影响学生模型的性能。本文将以生成SQL查询的任务为例，详细介绍从数据集准备到模型蒸馏的完整流程。我们假设教师模型是一个大型语言模型（Qwen2.5-7B），学生模型是一个小型模型（Qwen2.5-0.5B）。

【Qwen2.5+Ollama+PPO+RLHF强化学习训练】从零开始通过RLHF方式使用PPO算法，对本地部署的大模型强化学习

Prompt Engineering 通过控制整个交互流程的prompt，实现sql语句的自动执行。在实际使用中，发现本代码存在一些生成SQL语句但是不执行的问题。Agent + Chain 的方式，手动控制每一个chain，来完成指定sql的运行。

实现RAG有多种手段。本文仅介绍使用Langchain+Ollama的方式，读取本地PDF进行知识问答实现RAG的一种最简单的实例。本实例仅介绍了一种最简单的RAG实现方式，使用RAG技术的同时，大模型与直接调用的大模型会拥有不同的回答。此外，本地部署Ollama的模型请参考其他文章。