为什么要做量化？在实际应用中，尤其是在部署到资源有限的环境（如移动设备、边缘计算设备或特定的服务器硬件）时，模型的大小和计算速度至关重要。量化技术能够在保证模型性能基本不变的情况下，大幅度降低内存占用和计算资源的需求。W8A8量化 vs 稀疏量化：W8A8量化主要是将所有的权重和激活数据都用8位表示，是一种标准的量化方式。稀疏量化除了低位数表示外，还通过剪枝使得很多权重变为0，从而进一步压缩模型，

昇腾AI处理器本质上是一个片上系统（System on Chip，SoC），主要可以应用在和图像、视频、语音、文字处理相关的应用场景。其主要的架构组成部件包括特制的计算单元、大容量的存储单元和相应的控制单元。该芯片大致可以划为：芯片系统控制CPU（Control CPU），AI计算引擎（包括AI Core和AI CPU），多层级的片上系统缓存（Cache）或缓冲区（Buffer），数字视觉预处理模

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。主要包括模型推理引擎 MindIE和模型服务化 MindIE-Service。

本文主要向用户介绍基于Atlas 800 推理服务器（型号：3000）配置Atlas 300推理卡，如何快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，各软件说明如所示。表1-1 昇腾软件介绍软件类型软件介绍昇腾N

最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。1）华为NPU生态新增了MindIE，CANN对应对应对应对应vLLM(使用910B4卡)：并发数：40首token平均延迟：66毫秒每秒生成token数：约1200单请求每秒生成token数：约30模型：Qwen 1.5-14B-Chat硬件：4卡910B4测试条件：

CANN和CUDA之间的主要区别在于它们针对的硬件、生态系统成熟度、跨平台能力和开发者资源。随着华为对CANN的持续投入和昇腾处理器的市场渗透，CANN的影响力和市场份额有望进一步扩大。然而，CUDA由于其历史和广泛的应用，仍然在高性能计算和AI领域占据主导地位。华为CANN介绍及与英伟达 CUDA区别 - 53AI-AI生产力的卓越领导者（大模型知识库|大模型训练|智能体开发）

（特别是其稳定分支CentOS Linux 7/8），成为了许多中国用户，特别是政府、关键基础设施、金融、能源等领域用户关注的焦点。，提供成熟、经过验证的安全组件和框架（如SELinux/MAC, DAC, Capabilities, Namespaces/Cgroups, Auditing, firewalld）。对飞腾（Phytium FT系列）、鲲鹏（Kunpeng）、龙芯（LoongArc

这些芯片需要能够在有限的电源和计算资源下运行复杂的AI模型，为用户提供实时或近实时的智能服务。由于训练过程需要处理的数据量和计算量极大，训练芯片必须具备足够的计算能力来保证模型的训练精度，并尽可能缩短训练时间。因此，训练芯片设计时会更偏向于增加更多的计算资源，即便这样做会导致更高的能耗。：主要被用于云计算和大型数据中心环境中，利用几乎无限的电源和散热设施进行大规模并行计算，以在尽可能短的时间内完成

今天收到一个大模型进行国产化适配的任务，服务器是华为鲲鹏服务器（300I-pro）,由于之前没有接触过该服务器，为了进行适配，就开始了摸索之路。

Ascend 410的优势在于其紧凑的设计和出色的环境适应性，使其成为解决行业特定问题的高效方案。Ascend 310通过优化设计和高效的AI Core，能够在边缘设备上实现快速的推理处理，减少数据传输至云端的需求，从而降低系统延迟和带宽消耗。综上所述，华为昇腾系列AI芯片通过不同型号的划分，实现了从终端到边缘再到云端的全方位AI计算覆盖。每种型号都有其特定的应用场景和技术优势，共同构建了全面的A