目录

1. 要学

2. 要学

1. 小白阶段(pytorch和深度学习入门)

1.1. 网课

2. 深度学习进阶阶段

2.1. 网课

2.2. 论文网课

3. 入门大模型

3.1. 网课

3.2. 论文网课

---

1. 要学

1.初级目标

会调用API

2.中级目标

理解模型的训练和优化，会用lara去做一些指令微调，然后去用在业务领域。

3.高级目标

需要有独立模型的优化和部署能力，会去开发一个对话系统，开发一个agent。

4.理论打底

需要回顾，深度学习的知识，语言模型的整个演进。

5.模型认知

搞懂bert gpt lama 这些模型它本身的一个结构差异， 以及设计理念。

6.训练和对齐

1. 如何采集数据

2. 如何清洗 去重数据

3. 如何构造结构化数据

训练过程中：

1. 学习率调度

2. 优化器选择

3. 混合精度训练

4. 梯度累积

微调阶段：

1. lora

2. qlora

3. prompt tuning

对齐：

rlhf，dpo，直接偏好优化

7.工程化

模型压缩：

1. 量化

2. 蒸馏

3. 剪枝

学会分布式训练：数据并行、模型并行、流水线并行、zero的技术优化方式等

推理部署：

1. kv缓存优化

2. 动态batch调整

3. 服务化封装

4. 容灾体系

工程能力决定了模型是否能够真正的达到上限标准

8.聚焦前沿的应用

1.构建rag系统：结合向量数据库，实现知识增强的一个对话系统。

2.打造agent系统

3.拓展多模态能力

---

2. 要学

1. 小白阶段(pytorch和深度学习入门)

1.1. 网课

*up：炮哥带你学*

课程名字：[手把手教学]快速带你入门深度学习与实战

简介：入门机器学习和深度学习

网址：

https://www.bilibili.com/video/BV1eP411w7Re/?spm_id_from=333.1387.homepage.video_card.click&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

*up：炮哥带你学*

课程名字：Pytorch框架与经典卷积神经网络与实战

简介：入门深度学习和pytorch

网址：

https://www.bilibili.com/video/BV1e34y1M7wR/?spm_id_from=333.1387.homepage.video_card.click&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

2. 深度学习进阶阶段

2.1. 网课

*up：跟李沐学AI*

课程名字：动手学深度学习PyTorch版

简介：系统学习深度学习基础

网址：

https://space.bilibili.com/1567748478/lists/358497?type=series

*up：LLM张老师*

课程名字：大模型《从零到一》长视频系列

简介：transformer注意力机制拆开介绍

网址：

https://space.bilibili.com/3546611527453161/lists/2386239?type=season

*up：LLM张老师*

课程名字：大模型《从零到一》短视频系列

简介：transformer注意力机制拆开介绍

网址：

https://space.bilibili.com/3546611527453161/lists/2386309?type=season

*up：蓝斯诺特*

课程名字：大模型《从零到一》短视频系列

简介：简洁代码实现，快速熟悉transformer的实现流程

网址：

https://www.bilibili.com/video/BV19Y411b7qx/?spm_id_from=333.337.search-card.all.click&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

*up：霹雳吧啦Wz*

课程名字：vision transformer swin transformer

简介：VIT入门和滑动窗口介绍

网址：

https://www.bilibili.com/video/BV1Jh411Y7WQ?spm_id_from=333.788.videopod.sections&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

https://www.bilibili.com/video/BV1AL411W7dT?spm_id_from=333.788.videopod.sections&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

https://www.bilibili.com/video/BV1pL4y1v7jC?spm_id_from=333.788.videopod.sections&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

https://www.bilibili.com/video/BV1yg411K7Yc?spm_id_from=333.788.videopod.sections&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

2.2. 论文网课

*up：跟李沐学AI*

课程名字：读论文

简介：各种领域的论文研读

网址：

https://space.bilibili.com/1567748478/lists/398820?type=series

备注：这个阶段重点需要看的有 AlexNet，ResNet，Transformer，BERT，VIT，MAE，Swin Transformer

3. 入门大模型

3.1. 网课

*up：你可是处女座啊*

课程名字：合集·手把手带你实战HuggingFace Transformers

简介：入门如何使用huggingface，即如何使用transfomers

网址：

https://space.bilibili.com/21060026/lists/1357748?type=season

备注：这个课质量很高尽量都看看，都是实操内容，但是到低精度训练篇才算大模型，前面都是nlp

*up：良睦路程序员*

课程名字：合集·transformers源码阅读——nlp工程师进阶

简介：从工程上整体去理解transformers，实操很少，主要是跟着debug看代码，不需要全都看懂，看个大概流程就可以了

网址：

https://space.bilibili.com/45156039/lists/1689324?type=season

*up：小鱼儿at青岛*

课程名字：【多模态】复现OpenAI的CLIP模型

简介：搭建了一个简化版的clip，从而理解clip的原理

网址：

https://www.bilibili.com/video/BV13K421v7Ar/?spm_id_from=333.337.search-card.all.click&vd_source=f8d1f5518d3f58b48b5c428323f8d3bf

*up：小林绿子的怀中猫*

课程名字：合集·CLIP模型代码

简介：从源代码方面讲解clip的流程

网址：

https://space.bilibili.com/24326734/lists/4648295?type=season

*up：小林绿子的怀中猫*

课程名字：合集·qwen2.5-VL多模态大模型

简介：多方面讲解qwen2.5vl

网址：

https://space.bilibili.com/24326734/lists/4705432?type=season

*up：小林绿子的怀中猫*

课程名字：合集·qwen2.5多模态大模型

简介：单纯讲讲怎么微调qwen2.5和部署

网址：

https://space.bilibili.com/24326734/lists/4767896?type=season

*up：良睦路程序员*

课程名字：合集·从0到1训练llava

简介：学习如何从零搭建一个llava，但是依然使用的是openclip和llama

网址：

https://space.bilibili.com/45156039/lists/3213902?type=season

*up：偷星九月333*

简介：各种大模型使用场景

主页网址：

https://space.bilibili.com/349950942/upload/video?spm_id_from=333.337.0.0

备注：这个要放最后看，因为课程内容没有实操，都只是给了代码。

3.2. 论文网课

*up：跟李沐学AI*

课程名字：读论文

简介：各种领域的论文研读

网址：

https://space.bilibili.com/1567748478/lists/398820?type=series

备注：这个阶段重点需要看的有 CLIP，GPT1-3，CLIP改进工作串讲，多模态论文串讲，InstructGPT，Chain of Thought，Anthropic LLM，GPT4，LlaMA3.1

*up：EZ-Encoder*

课程名字：合集·DeepSeek 论文详解

简介：看似是讲ds，实则是把大语言模型的发展和训练都串讲了一遍，质量非常高

网址：

https://space.bilibili.com/3546829121652889/lists/4769583?type=season