LightCompress模型支持列表：从LLaMA到Qwen2-VL全覆盖

【免费下载链接】LightCompress [EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including LLMs, VLMs, and video generative models. 项目地址: https://gitcode.com/gh_mirrors/ll/LightCompress

LightCompress是一个功能强大的大模型压缩工具包，支持LLM、VLM和视频生成模型的高效压缩。无论是热门的开源大模型还是最新的多模态模型，LightCompress都能提供全面的压缩解决方案，帮助开发者在保持性能的同时显著降低模型部署成本。

图：LightCompress模型压缩框架概览，展示了从数据校准到模型压缩再到评估的完整流程

主流LLM模型全面支持

LightCompress对当前主流的大语言模型提供了完善的支持，涵盖了从基础模型到最新发布的模型系列：

基础模型系列

• Llama系列：包括Llama、Llama2和Llama3等版本，代码实现见llmc/models/llama.py
• Qwen系列：支持Qwen、Qwen2、Qwen3以及Qwen2Moe、Qwen3Moe等混合专家模型，实现位于llmc/models/qwen.py、llmc/models/qwen2.py和llmc/models/qwen3.py
• Mistral系列：支持Mistral和Mixtral等模型，代码位于llmc/models/mistral.py和llmc/models/mixtral.py

国产大模型支持

• DeepSeek系列：支持DeepseekV2和DeepseekV3模型，实现见llmc/models/deepseekv2.py和llmc/models/deepseekv3.py
• InternLM系列：支持InternLM2模型，代码位于llmc/models/internlm2.py
• ChatGLM系列：支持ChatGLM模型，实现见llmc/models/chatglm.py

其他热门模型

还包括Gemma2、Phi、Phi3、Falcon、Bloom、OPT、StableLM、SmolLM和StarCoder等模型，满足不同场景下的压缩需求。

多模态VLM模型支持

LightCompress不仅支持纯文本LLM，还对主流的视觉语言模型(VLM)提供了全面支持：

主流VLM模型

• Qwen2-VL系列：包括Qwen2VL和Qwen2_5VL模型，实现见llmc/models/qwen2vl.py和llmc/models/qwen2_5vl.py
• LLaVA系列：支持LLaVA、LLaVA-HF和LLaVA-OneVision等模型，代码位于llmc/models/llava.py、llmc/models/llava_hf.py和llmc/models/llava_onevision.py
• InternVL系列：支持InternVL2和InternVL3_5模型，实现见llmc/models/internvl2.py和llmc/models/internvl3_5.py

其他多模态模型

还包括GLM4V、MiniCPMV、Vila、Mllama和VideoLLaVA等模型，满足图像理解、视觉问答等多模态任务的压缩需求。

图：LLMC+工具套件功能展示，包含VLM模型支持、量化方法和评估工具

视频生成模型支持

LightCompress特别针对视频生成模型提供了专门的压缩支持：

• WanT2V：文本到视频生成模型，实现见llmc/models/wan_t2v.py
• WanI2V：图像到视频生成模型，代码位于llmc/models/wan_i2v.py
• Wan2_2_T2V：新一代文本到视频模型，实现见llmc/models/wan2_2_t2v.py

这些视频生成模型的压缩配置文件可以在configs/video_gen/目录下找到，包括AWQ、RTN和SmoothQuant等多种压缩方法的配置。

模型压缩最佳实践

为了帮助用户获得最佳的模型压缩效果，LightCompress提供了丰富的最佳实践指南和可视化工具。通过分析不同量化方法在各层的表现，用户可以选择最适合自己模型和任务的压缩策略。

图：模型压缩最佳实践流程，包括校准数据准备、量化配置和参数优化

图：不同量化方法在各层的性能对比，帮助用户选择最优压缩策略

如何开始使用

要开始使用LightCompress压缩您的模型，首先需要克隆仓库：

git clone https://gitcode.com/gh_mirrors/ll/LightCompress

然后参考官方文档docs/quickstart.md进行环境配置和基本使用。针对不同类型的模型，LightCompress提供了详细的配置示例，您可以在configs/目录下找到各种模型和压缩方法的配置文件。

无论您是需要压缩LLM以提高推理速度，还是优化VLM和视频生成模型以减少显存占用，LightCompress都能提供全面的支持和灵活的配置选项，帮助您在各种硬件环境下高效部署大模型。

【免费下载链接】LightCompress [EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including LLMs, VLMs, and video generative models. 项目地址: https://gitcode.com/gh_mirrors/ll/LightCompress