Llama.cpp：高效跨平台的大模型推理引擎【免费下载链接】llama.cppPort of Facebook's LLaMA model in C/C++项目地址: https://gitcode.com/GitHub_...

**AutoGPTQ** 是一个致力于简化大规模语言模型（LLMs）量化的开源工具包，它提供了用户友好的API接口，核心算法基于高效的GPTQ（Generalized Quantization of Embedding and Weight Matrices）。这个项目采用 **Python** 作为主要编程语言，并依赖于PyTorch框架来实现其量化功能。通过重量级仅量化的方法，AutoGPTQ

AutoGPTQ：基于GPTQ算法的轻量级大模型量化工具AutoGPTQAn easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm....

Llama.cpp：高效跨平台的大模型推理引擎llama.cppPort of Facebook's LLaMA model in C/C++项目地址: https://gitcode.com/gh_mirrors/ll/l...

AutoGPTQ：基于GPTQ算法的轻量级大模型量化工具AutoGPTQAn easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm....