初学者怎么入门大语言模型（LLM）？

 

一、前置知识：

Python 基础、Linux 基础

学习目的：

•熟练掌握 Python 语言，熟悉常用的 Python 库和工具，如 NumPy、

Pandas, Matplotlib, Scikit-learn. TensorFlow. PyTorch

•具备 NLP 相关的基础知识，包括文本预处理、分词、词性标注、命名实体识别、词向量表示等。

•对大模型有一定了解，包括 Transformer 模型的结构和原理、基于注意力机制的自然语言处理技术等。

学习内容：

廖雪峰 python 教程

学习要求：

熟练掌握并能够编写基础的 python 函数、语法等，能够熟练使用 Linux 系统

Step1： 

NLP 相关基础知识

学习目的：

•了解文本预处理、分词、词性标注、命名实体识别、词向量表示等基础知识。

•掌握自然语言处理（NLP）相关技术，如分词、词性标注、命名实体识别、句法分析等。

•掌握机器学习中的数据预处理、特征提取、分类、回归等基础算法，并了解其在 NLP 领域的应用。

•了解大规模 NLP 任务中的常用技术和方法，如深度学习中的 Transformer

模型、BERT、GPT等。

学习内容：

李沐 动手学深度学习

大模型理论基础

学习要求：

理解并掌握机器学习、深度学习、自然语言处理的基础概念，最好能够阅读并吸收课程中提到的经典论文，能够独立实现在 colab 上训练模型（小模型）

Step2:

API 调用及 Prompt设计

学习目的：

•了解GPT API 的调用方式和基本操作，熟悉 Prompt设计技巧和要点，能够结合自己的任务调用API实现对应的任务代码。

学习内容：

API调用教程常用 Prompt

学习要求：

了解大模型以及对应 NLP 知识的基础原理，能够熟练调用GPT API，编写Prompt 完成各种任务

Step3:

 模型微调（Fine-tuning）

学习目的：

了解常见的微调模型的基本流程和原理，熟悉数据集的构造、训练、评估等过程，能够独立构建 QA对，在服务器上对模型进行微调。

学习内容：

QA 问答对微调数据构建

LLM 全流程框架

手把手微调教程

学习要求：

能够独立完成大模型的微调数据构建、训练以及部署工作。

Step4: 

RAG（外挂数据库）

学习目的：

RAG 作为目前最火的一个 LLM 落地方向，可以结合私有数据（表格、word、txt、pdf、数据库 皆可）实现本地问答，且训练成本较低，可以快速实现效果。

学习内容：

Langchain

FastGPT

RAG进阶优化

学习要求：

能够在本地实现基于大模型的外挂部署方案。

最后，这份完整版的大模型 AI学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方👇🏻👇🏻CSDN官方认证二维码免费领取✅