推理AI芯片是针对人工智能模型推理阶段进行优化的专用计算芯片或加速器，主要承担模型部署后的实时计算任务，与训练阶段相比，其更加关注单位成本、单位功耗下的吞吐量、时延和稳定性。产品既包括数据中心使用的GPU、ASIC、AI加速器，也包括部署在汽车、摄像头、机器人、手机和边缘服务器中的NPU等。随着大模型从训练向大规模应用转变，推理正在成为AI基础设施的重要算力需求，芯片设计也由单纯追求峰值算力转向算

未来几年，大模型AI加速芯片将沿着更低精度、更高HBM容量、更强互连、更高能效和更大系统集成度持续升级，技术竞争将逐步由单卡性能转向机架级和数据中心级性能，训练与推理边界也将进一步模糊。