llama-quantize是llama.cpp项目提供的量化工具，用于将FP16/FP32的GGUF模型压缩为更小的整数精度版本，从而降低内存占用并提升推理速度。

1、编译llama.cpp

git clone https://github.com/ggerganov/llama.cpp

cd llama.cpp

# 编译（根据平台选择）

# 纯 CPU（Linux/Windows）

mkdir build && cd build

cmake .. && cmake --build . --config Release

# NVIDIA GPU

cmake .. -DLLAMA_CUBLAS=ON && cmake --build . --config Release

# Apple Silicon (Metal)

cmake .. -DLLAMA_METAL=ON && cmake --build . --config Release

编译完成后，llama-quantize 可执行文件会出现在 build/bin/目录下。

2、基本用法

llama-quantize需要三个参数：输入文件、输出文件、量化类型。

格式：./llama-quantize <输入.gguf> <输出.gguf> <量化类型>

./llama-quantize model-f16.gguf model-Q4_K_M.gguf Q4_K_M

3、量化类型详解

3.1命名规则

格式为 Q<位数>_<变体>，其中：

1. 位数：每个参数用多少 bit 存储（2/3/4/5/6/8）
2. K：K-block 量化（改进版，基于分组优化）
3. S/M/L：混合精度策略（Small/Medium/Large），影响不同层的精度分配

3.2常用量化类型对照表（以7B模型为例）

量化类型	位数	模型大小	精度损失	推荐场景
Q2_K	2	~2.8 GB	较大（5-8%）	极低内存设备
Q3_K_M	3	~3.5 GB	中等（2-4%）	资源受限场景
Q4_K_S	4	~3.6 GB	较小（~2%）	显存与性能平衡
Q4_K_M	4	~4.4 GB	小（1-2%）	⭐ 通用推荐
Q5_K_M	5	~5.2 GB	极小（0.5-1%）	高精度需求
Q6_K	6	~6.0 GB	几乎无损（~0.5%）	接近原始精度
Q8_0	8	~7.5 GB	无损（<0.1%）	研究调试

3.3混合精度策略说明

Q4_K_M并非所有层都用4-bit，而是采用混合精度：

1. 注意力层的wv和全连接层的w2 →使用更高精度（如 Q6_K）
2. 其余层→使用 Q4_K

这就是为什么Q4_K_M的精度损失远小于简单的4-bit均匀量化。

4、完整工作流示例

从ModelScope或HuggingFace模型到量化GGUF的完整流程：

4.1下载模型

git lfs install

git clone https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct

4.2转换为 FP16 GGUF

python3 convert_hf_to_gguf.py ./Llama-3.2-1B-Instruct \

--outtype f16 \

--outfile llama-3.2-1b.f16.gguf

4.3量化为Q4_K_M

./llama-quantize llama-3.2-1b.f16.gguf llama-3.2-1b.Q4_K_M.gguf Q4_K_M

4.4测试推理

./llama-cli -m llama-3.2-1b.Q4_K_M.gguf -p "Hello, how are you?" -n 128

也可以一步到位，转换时直接指定量化类型：

python3 convert_hf_to_gguf.py ./Llama-3.2-1B-Instruct \

--outtype q4_k_m \

--outfile llama-3.2-1b.Q4_K_M.gguf

5、如何选择量化类型？

你的情况	推荐量化
内存充足，追求最佳效果	Q8_0 或 Q6_K
通用场景，平衡优先	Q4_K_M（最推荐）
精度要求较高	Q5_K_M
内存紧张（如 4-8GB）	Q4_K_S 或 Q3_K_M
极端受限（如手机/嵌入式）	Q2_K

经验法则：对于大多数对话、理解和生成任务，Q4_K_M甚至 Q3_K_M带来的感知质量下降是微乎其微的，尤其在2B-7B参数量的模型上。推理速度的提升却是立竿见影的。

6、批量量化脚本

如果需要同时生成多种量化版本：

#!/bin/bash

INPUT="model-f16.gguf"

for QUANT in Q4_K_S Q4_K_M Q5_K_M Q6_K Q8_0; do

OUTPUT="model-${QUANT}.gguf"

echo "量化为 ${QUANT}..."

./llama-quantize "$INPUT" "$OUTPUT" "$QUANT"

echo "完成: $(ls -lh "$OUTPUT" | awk '{print $5}')"

done

7、注意事项

1. 输入必须是GGUF格式：llama-quantize只能处理.gguf文件，不能直接处理Safetensors。需要先用convert_hf_to_gguf.py 转换
2. 量化是不可逆的：一旦量化，无法恢复原始精度
3. 建议从FP16开始量化：不要对已经量化过的模型再次量化（如Q8→Q4），会导致精度叠加损失。
4. 量化过程需要较多内存：量化时会将整个模型加载到内存中，确保有足够的