本篇文章作为学习记录，学习的是这个教程，根据个人理解和教程内容写下的学习记录。本人才疏学浅，帖子中可能忽悠错误内容恳请大家批评指正。帖子中使用的“矩阵”这个词不准确，一般二维叫矩阵，三维及三维以上称作tensor。

RAG是什么？RAG是一种解决大模型知识局限的方法技术，由于大模型的训练机制，在训练完成之后知识仅仅局限于训练过程中的知识，对于未知问题，模型会一本正经的胡说八道，由此诞生了RAG。RAG说到底就是（Retrieval-Augmented Generation）检索-增强-生成，本质上可以理解为一个数据库，将检索到的内容提供给大模型，大模型从而做出有理有据的回复。其实，构建一个RAG非常简单，利用

大模型发展与应用概述：文章系统梳理了语言模型的演进历程，从统计语言模型发展到当前的大语言模型(LLM)。重点介绍了大模型构建的三个关键阶段：预训练、监督微调(SFT)和基于人类反馈的强化学习(RLHF)。分析了开源与闭源大模型的商业策略差异，并探讨了大模型时代的应用开发范式，包括Prompt工程、知识库(RAG)技术和前后端开发实践。文章还提供了模型微调、数据标注等实用工具推荐，为开发者提供了全面