*轻量化微调 (Parameter Efficient Fine-Tuning，PEFT)😗*一种优化策略，用于减少模型的计算资源需求，同时保持或提高模型性能。由于大模型的参数太大，即使是fine-tuning通常也需要很大的算力和数据，因此提出在保持原有大模型参数不变的前提下，注入少量参数，通过只训练该部分参数的方式来实现微调目的。在机器学习和深度学习领域，训练、预训练、微调和轻量化微调是几个

大型语言模型（LLMs）是一种通过处理大量数据生成内容的人工智能程序，预计将对工作产生深远影响，但这一变化可能需要较长时间才能显现。例如，厨师、木匠和摩托车修理工可能不会受到LLMs的影响，而口译员、诗人和校对员则更有可能被LLMs取代。这项研究基于美国政府从2020年起三年内收集的1016个职业中的21000项任务的数据。研究结果发表在题为《GPTs Are GPTs：大型语言模型的劳动力市场影

Saltstack（简称Salt）是一个强大的自动化运维框架，广泛应用于配置管理、远程执行、云管理等领域。它基于Python开发，具有高效、灵活、易扩展的特点。Saltstack是一个功能强大的自动化运维工具，通过本文的介绍，相信你已经对Saltstack有了初步的了解。接下来，你可以进一步学习Saltstack的高级功能，如Pillar、Grains、Beacons等，以提升你的自动化运维能力。

一、大模型的组成部分大模型通常指规模巨大、参数数量众多的机器学习模型，尤其在深度学习领域，这种模型一般由以下几个关键部分组成：1.神经网络架构：大模型的基础是复杂且多层次的神经网络架构，如深度前馈神经网络（包括但不限于卷积神经网络CNN、循环神经网络RNN、Transformer等）。2.海量参数：参数规模是衡量模型“大小”的关键指标，大模型往往拥有数百万甚至数十亿级别的参数。这些参数包括各个神经

*1**__—以下这张图可能许多同学都见过，它展示了一个文档处理流程：首先，将PDF、PPT、Word 等格式的文档进行分割，然后转换为嵌入（Embedding）形式，并存储到向量数据库里。在问答环节，系统会检索并提取与问题相关的文档块，接着构建一个提示词（Prompt），将其输入到一个大语言模型中，最终由模型生成相应的问答内容。以上架构本质上解决两大核心问题：如何突破传统 tokens 数量的限

曾经有一批强大的 AI模型摆在我面前，我却未曾珍惜，知道发现别人能够轻松驾驭它发挥巨大价值，才后悔莫及，如果上天给我重来一次的机会，我会努力学习经验和技巧，成为第一批熟练驾驭AI 模型的人!随着 ChatGPT 的问世，各行各业深受震撼，国内外各种新的大模型也如雨后春笋般相继出现。一些对机遇反应迅速的人已经开始将 AI 运用到学习和工作中，甚至已经开始借助 AI 赚钱了。目前市场上的 AI 模型众

大家好，我发现了一个大模型学习的神库，包含大量LLM教材和资料，并绘制了学习路线图。可以帮助快速掌握大模型的应用和开发技巧。

‍‍‍Transformer是目前大模型的主流架构，由Vaswani等人于2017年提出。它使用了注意力机制替代了传统的RNN和LSTM，能够更好的捕捉长距离依赖关系。

从 BERT、GPT、T5 等通用大模型展示了令人瞩目的语言理解和 NLP 任务解决能力，到 ChatGPT 惊艳发布，再到国产大模型的百花齐放，我们目睹了大模型通过海量参数和强大的学习能力，不仅在问答、对话、摘要、翻译等任务上取得了不错的成果，更是推动了人工智能的边界不断扩展。而在百模大战之后，国内也迅速进入应用爆发的阶段，无论是创建逼真的聊天机器人、GPTs，还是垂直行业的大模型工程实践，这些

本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。大型语言模型(LLM)的训练过程通常分为两大阶段：阶段一：预训练阶段在这个阶段，大型模型会在大规模的无