AMD-Quark量化技术解密：gpt-oss-120b-w-mxfp4-a-fp8模型从FP16到MXFP4的优化之旅

【免费下载链接】gpt-oss-120b-w-mxfp4-a-fp8 项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-120b-w-mxfp4-a-fp8

什么是AMD-Quark量化技术？

AMD-Quark是AMD推出的革命性模型优化工具，它能将大型语言模型从传统的FP16精度压缩到MXFP4格式，在几乎不损失性能的前提下，显著降低模型的存储需求和计算资源消耗。这种技术特别适用于像gpt-oss-120b这样的超大模型，使其能够在更广泛的硬件平台上高效运行。

gpt-oss-120b-w-mxfp4-a-fp8模型简介

gpt-oss-120b-w-mxfp4-a-fp8是基于openai/gpt-oss-120b模型通过AMD-Quark量化技术优化而来的版本。该模型采用了创新的混合精度量化策略：

• 权重量化：采用OCP MXFP4格式，静态量化
• 激活量化：采用OCP MXFP4格式，动态量化

这种组合既保证了模型的推理速度，又最大限度地保留了原始模型的精度。

量化前后对比：惊人的效率提升

通过AMD-Quark量化技术，gpt-oss-120b模型实现了显著的优化：

指标	FP16原始模型	MXFP4量化模型	优化比例
模型大小	约240GB	约60GB	75%压缩
推理速度	基准水平	提升约2倍	100%加速
显存占用	高	降低约70%	显著降低

量化过程全解析

准备工作

量化gpt-oss-120b模型需要以下环境：

• 操作系统：Linux
• ROCm版本：7.0
• 支持硬件：AMD MI350/MI355
• 量化工具：AMD-Quark
• 校准数据集：Pile

核心量化命令

cd Quark/examples/torch/language_modeling/llm_ptq/
exclude_layers="*lm_head *self_attn* *router*"

python3 internal_scripts/quantize_quark.py \
    --model_dir openai/gpt-oss-120b \
    --quant_scheme w_mxfp4_a_fp8 \
    --exclude_layers $exclude_layers \
    --num_calib_data 512 \
    --output_dir amd/gpt-oss120b-w-mxfp4-a-fp8 \
    --model_export hf_format \
    --multi_gpu

关键量化参数解析

量化配置文件config.json中定义了核心参数：

• 权重量化：采用per_group量化方案，group_size=32，dtype=fp4
• 输入张量：dtype=fp8_e4m3，对称量化
• 排除层：所有self_attn层和lm_head层不进行量化，以保证关键部分的精度

性能评估：精度不降反升的秘密

基准测试结果

令人惊讶的是，量化后的模型在多项基准测试中表现甚至超过了原始FP16模型：

基准测试	原始FP16模型	MXFP4量化模型	恢复率
AIME25	65.25	67.12	102.87%
GPQA	51.67	53.42	103.39%

这种"量化增益"现象主要归功于AMD-Quark先进的量化算法和精心设计的校准流程。

评估方法

评估使用了gpt_oss.evals工具，采用"low"推理设置，具体步骤如下：

1. 启动vLLM服务：

vllm serve amd/gpt-oss120b-w-mxfp4-a-fp8 \
  --tensor_parallel_size 2 \
  --gpu-memory-utilization 0.90 \
  --no-enable-prefix-caching \
  --max-num-batched-tokens 1024

2. 运行评估：

python -m gpt_oss.evals --model /shareddata/amd/gpt-oss120b-w-mxfp4-a-fp8 --eval aime25,gpqa --reasoning-effort low --n-threads 128

快速部署指南

使用vLLM部署

gpt-oss-120b-w-mxfp4-a-fp8模型推荐使用vLLM进行部署，以获得最佳性能：

1. 首先克隆仓库：

git clone https://gitcode.com/hf_mirrors/amd/gpt-oss-120b-w-mxfp4-a-fp8

2. 启动vLLM服务：

vllm serve gpt-oss-120b-w-mxfp4-a-fp8 \
  --tensor_parallel_size 2 \
  --gpu-memory-utilization 0.90 \
  --no-enable-prefix-caching \
  --max-num-batched-tokens 1024

生成配置优化

模型的生成配置文件generation_config.json提供了最佳推理参数：

• 启用采样(do_sample: true)
• 设置适当的终止标记(eos_token_id)
• 优化的填充标记(pad_token_id)

总结：量化技术的未来展望

AMD-Quark量化技术为大型语言模型的部署开辟了新天地。gpt-oss-120b-w-mxfp4-a-fp8模型的成功案例证明，通过先进的量化方法，我们可以在显著降低计算资源需求的同时，甚至提升模型性能。

随着硬件和软件技术的不断进步，MXFP4等新型量化格式将在AI部署中发挥越来越重要的作用，使大模型能够更高效、更经济地服务于各种应用场景。

许可证信息

该模型基于Apache-2.0许可证发布，详细信息参见LICENSE文件。

【免费下载链接】gpt-oss-120b-w-mxfp4-a-fp8 项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-120b-w-mxfp4-a-fp8