近日，范式智能信创模盒技术团队成功完成GLM-5模型在 天数智芯 天垓150上的全面部署与验证。本次部署以GLM-5-INT4-Pack8量化模型为核心，依托Docker容器技术，采用vLLM推理框架并启用pipeline-parallel + tensor-parallel分布式并行策略，最终对外提供标准OpenAI Chat Completions API服务。以下是本次部署的技术深度解析。

量化模型：兼顾性能与资源效率

本次部署的模型为GLM-5-INT4-Pack8，属于GLM-5的量化版本。通过INT4量化技术，模型权重从原始的FP16/BF16格式压缩为4-bit整数，大幅降低显存占用，使得大模型能够在显存资源相对有限的信创硬件上高效运行。Pack8技术将多个INT4值打包为一个32位整型进行存储与计算，提升了访存效率和计算吞吐。量化后的模型在保持任务精度损失可控的前提下，显著降低了推理延迟，为生产环境部署提供了可行性。

当前GLM-5模型已在官网上线，链接：

https://modelhub.org.cn/#/model/Chranos/GLM-5-INT4-Pack8

vLLM推理框架：双重并行策略提升吞吐

本次部署采用vLLM作为推理引擎。vLLM的核心优势在于其创新的PagedAttention显存管理技术与iteration-level（迭代级）动态调度机制。

PagedAttention借鉴操作系统内存分页思想，将KV cache划分为固定大小的页（page）进行管理，有效消除显存碎片，并允许跨请求共享显存页。这使得在同一批次中可容纳更多请求，显存利用率接近理论上限，从而成倍提升推理吞吐。

迭代级动态调度（即持续批处理，continuous batching）让调度器能够在模型生成的每一步动态调整批次：请求到达即加入计算，请求完成即移出，避免传统静态批处理等待整个序列生成完毕的空转浪费，最大化算力利用效率。

在PagedAttention与动态调度奠定单卡高效推理的基础上，vLLM进一步提供Tensor Parallel（张量并行） 与Pipeline Parallel（流水线并行），将能力扩展至多卡环境。

本次部署在天垓150服务器上同时启用两种并行策略：

张量并行将模型层内参数切分到多张加速卡，通过All-Reduce同步计算结果，降低单卡显存压力；流水线并行将不同层划分到不同设备，形成计算流水线，减少跨卡通信量。

两者结合，实现了多卡场景下的计算与通信重叠，进一步提升了大规模模型的推理性能。

信创部署的意义

本次GLM-5的成功部署，验证了国产硬件（天垓150）与大模型主流推理框架（vLLM）的深度适配性，实现了从模型量化、容器化封装到高性能推理的全链路自主可控。这不仅为后续基于信创环境的AI应用开发提供了可靠底座，也展示了范式智能在国产化替代进程中的技术积累与工程能力。

平台生态协同突破：ModelHub XC 适配模型突破 25000

在单点技术突破的同时，范式智能旗下信创模盒ModelHub XC的平台化适配效率也迎来里程碑。截至目前，ModelHub XC已完成超过25000个大模型的适配认证，持续领跑国产AI模型适配与落地进程。

平台依托自适应编译引擎与自动化测试系统，在实现规模化覆盖的同时，面向国产芯片的适配深度与广度取得关键进展：

昇腾系列累计适配模型超过13000个

摩尔线程 MTT S4000 等芯片适配模型超过6000个

天数智芯系列芯片适配模型突破3000个

海光 AI 加速卡适配模型超过1500个

模型架构层面，平台已完整适配Qwen2、GLM-4、DeepSeek-V2、Llama3、InternLM2等最新一代模型体系，同步支持多模态、长文本、强化推理等前沿能力。GLM-5的成功部署，正是这一平台化能力的又一例证——从单模型突破到平台生态繁荣，范式智能正携手芯片厂商与开发者，共同推进大模型在关键领域的规模化、安全化、产业化落地。

未来，范式智能将持续优化模型推理性能，探索更多信创硬件与AI框架的深度结合，为客户提供安全、高效、自主的智能服务。

​

ModelHub XC 信创模盒是一个众创共享的国产化算力和模型开源社区，致力于打造国产化算力开发者和生态厂商合作共赢的开放平台，成为“最新最全的国产算力模型社区”，让每一个优秀模型都能在国产化算力平台上生根发芽，推动 AI 国产化事业快速升级。

欢迎访问官网「信创模盒」ModelHub XC（modelhub.org.cn），共同探索国产算力的无限可能。

欢迎关注公众号：信创模盒 ModelHub XC

信创模盒 ModelHub XC 社区：https://git.modelhub.org.cn:9443