大语言模型量化技术

Hugging Face 是 AI 领域的开源社区和平台，集模型库、数据集、协作工具和社区于一体，可以看作是“AI 界的 GitHub”。它通过提供标准化的工具链（如。第一运行该程序时，程序会将模型下载到本地，速度相对比较慢。下载完成后，模型会调用本地的资源进行计算。库），极大地简化了模型的下载、加载、训练和部署流程，降低了 AI 技术的使用门槛。→ 打开「系统属性」→「高级」→「环境变量」默认模

摘要 本文综述了基础模型(FMs)的参数高效微调(PEFT)技术。PEFT通过选择性微调、添加适配模块、提示学习、权重重参数化和混合策略，在降低计算成本的同时保持模型性能。FMs涵盖语言(LLM)、视觉(VFM)、视觉语言(VLM)、视觉生成(VGM)和多模态(MFM)模型。PEFT方法中，选择性PEFT仅微调部分参数(如BitFit)；附加式PEFT插入轻量适配器(如Adapter)；提示式PE