摘要： vLLM-Ascend是针对昇腾NPU优化的高性能推理框架，集成Ascend PyTorch Profiler性能分析工具，支持全栈性能数据采集。通过环境变量或API控制Profiling开关，开发者可采集PyTorch算子、CANN软件栈及NPU硬件层的执行数据，支持离线推理、在线服务及性能基准测试场景。框架提供灵活的配置参数，包括采集级别（Level0-Level2）、AI Core指

摘要： vLLM-Ascend是针对昇腾NPU优化的高性能推理框架，集成Ascend PyTorch Profiler性能分析工具，支持全栈性能数据采集。通过环境变量或API控制Profiling开关，开发者可采集PyTorch算子、CANN软件栈及NPU硬件层的执行数据，支持离线推理、在线服务及性能基准测试场景。框架提供灵活的配置参数，包括采集级别（Level0-Level2）、AI Core指

摘要： vLLM-Ascend是针对昇腾NPU优化的高性能推理框架，集成Ascend PyTorch Profiler性能分析工具，支持全栈性能数据采集。通过环境变量或API控制Profiling开关，开发者可采集PyTorch算子、CANN软件栈及NPU硬件层的执行数据，支持离线推理、在线服务及性能基准测试场景。框架提供灵活的配置参数，包括采集级别（Level0-Level2）、AI Core指

本文介绍了智谱GLM4.5/GLM4.6模型的推理性能优化方法，重点提供量化权重导出方案。首先需要准备硬件环境（910B 8卡）和软件环境（CANN 8.2.RC1、msmodelslim等），通过下载官方镜像并安装必要的Python库完成环境配置。针对量化工具msmodelslim的特殊适配需求，文章详细说明了如何修改相关代码文件，包括新建__init__.py和glm4moe.py文件，并实现