vLLM（Vectorized Large Language Model）量化部署是一种针对大语言模型进行优化的技术，旨在通过降低模型的计算和存储开销，提高推理效率。在传统的大模型推理过程中，由于模型参数量庞大，通常需要占用大量的计算资源和内存。量化技术通过将模型中的浮点数权重转换为低位数的整数，从而减少了模型的存储需求，并且在推理时能够大大加速计算速度。??vLLM量化部署的核心思想是利用硬件平