RAG 是一种在将提示词发送给 LLM 之前，从你的数据中找到并注入相关信息的方式。这样，LLM 希望能获得相关的信息并利用这些信息作出回应，从而减少幻觉概率。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。

如上概述了HuggingFace Transformer相关的项目组件及背景逻辑，比较基础，蛮重要的，这些相关的基础点都是通用的。在理解大模型与NLP上都是相辅相成。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型

我们要把 AI 大模型当做人的大脑，因此调用 AI 大模型，相当于调用一个人，把 AI 大模型当人看，TA 懂人话、TA 说人话、TA 会直接给出结果，但结果不一定正确。因此在 AI 大模型的推理基础上，通过 RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的 AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下来我们详细剖析下。

大模型也叫大语言模型，是一个通过分析和学习大量的文本数据来理解和生成人类语言的复杂计算机程序，是上边深度学习的媒介，通过大语言模型来实现深度学习。举一个形象的例子说明大模型在机器学习中的工作原理。你在学习做蛋糕。刚开始，你会跟着食谱的指示，一步步地学习如何混合材料、调节烤箱温度和时间。每次根据食谱做蛋糕后，你都会得到结果，可能是成功的，也可能是失败的。随着时间的积累，你尝试了成千上万个不同的食谱（

微调的解决方案一般是P-Tuning或LoRA；ChatGLM-6B是基于P-Tuning v2实现的微调，P-Tuning v2是基于连续提示(continuous prompts)的思想。微调会生成新的模型参数文件，也称为checkpoint文件。微调时可以选择全参数微调或是部分参数微调，其流程是训练+推理。训练生成新的checkpoint文件(模型参数)；推理则是加载模型参数文件。

Whisper 是一系列用于自动语音识别 (automatic speech recognition，ASR) 的预训练模型，它由来自于 OpenAI 的 Alec Radford 等人于2022 年 9 月发布。与等前作不同，以往的模型都是在未标注的音频数据上预训练的，而 Whisper 是在大量的已标注音频转录数据上预训练的。其用于训练的标注音频时长高达 68 万小时，比 Wav2Vec 2.

应该说llama3给与了开源模型更广阔的思考空间，期待开源模型更大的进步让我们拭目以待。同时希望Meta在接下来的时候能将llama3-400的发布。就在实验此文章的过程中也发现了：高通与Meta宣布合作，优化Meta新推出的Llama 3大语言模型在骁龙终端上的运行。Llama 3有两种版本，分别为80亿和700亿参数，旨在为智能手机、PC、VR/AR头显和汽车等设备提供强大的开源语言模型支持。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。