AWQ 实现了出色的量化性能，尤其是对于指令调整的 LM 和多模态 LM。即使对于具有大量参数的模型（例如，GPT 模型中的 1750 亿个参数），GPTQ 也可以实现高精度和高效的量化。GGUF 是一种更高效、更灵活的存储和使用 LLM 进行推理的方法。它经过量身定制，可快速加载和保存模型，并采用用户友好的方法来处理模型文件。总之，AWQ 采用激活感知方法，通过观察激活来保护显着权重，并展示了出