在自然语言处理领域，清华大学的PACMAN实验室发布的开源混合精度推理系统MixQ便是一个典型成功案例。它支持8比特和4比特混合精度推理，能实现近无损的量化部署并提升推理的吞吐。MixQ同时量化权重和激活，利用低精度张量核心（INT8/INT4 Tensor Core）实现推理加速，提取激活中少量的离群值，使用高精度张量核心（FP16 Tensor Core）保持推理准确性，通过系统优化掩盖高精度