以前做边缘 AI，要么用昂贵的 GPU，功耗高发热大;要么用性能不够的 ARM 板，跑个简单的模型都卡。现在好了，Intel 和 AMD 都推出了自带 NPU 的处理器，功耗只有几十瓦，算力却能达到几十 TOPS，特别适合边缘 AI 推理。

而支持 NPU 的工控机，就是为这些边缘 AI 推理应用设计的。它内置 NPU 神经网络处理单元，专门用于 AI 推理，能效比非常高，是边缘 AI 推理的理想选择。

一、为什么边缘AI推理需要支持NPU的工控机?

我做了 17 年工控，亲眼见证了边缘 AI 的发展。说实话，以前的边缘 AI 方案都不太理想。

用GPU吧，功耗太高，发热太大，不适合嵌入式应用。而且成本也很高。

用ARM板吧，性能不够，只能跑一些非常简单的模型。稍微复杂一点的模型就跑不动了。

直到NPU的出现，才真正解决了边缘 AI 推理的问题。NPU是专门为AI推理设计的处理器，能效比比 CPU 高 10 倍以上，比 GPU 高 3-5 倍。

现在的主流处理器，比如 Intel Core Ultra 系列、AMD Ryzen AI 系列，都内置了 NPU。算力从几 TOPS 到几十 TOPS 不等，可以满足大多数边缘 AI 推理应用的需求。

二、支持 NPU 工控机的核心优势

1. 高能效比

这是 NPU 最大的优势。同样的 AI 推理任务，NPU 的功耗只有 CPU 的 1/10，GPU 的 1/5。非常适合电池供电和对功耗敏感的边缘应用。

2. 低延迟

NPU 专门用于 AI 推理，推理延迟非常低。可以满足实时性要求高的边缘 AI 应用，比如工业检测、机器人导航、自动驾驶等。

3. 高集成度

NPU 和 CPU、GPU 集成在同一块芯片上，不需要额外的扩展卡。这样可以大大减小设备的体积和重量，提高系统的集成度和可靠性。

4. 易于开发

现在的 NPU 都支持主流的 AI 框架，比如 TensorFlow、PyTorch、ONNX Runtime 等。开发人员可以很方便地把训练好的模型部署到 NPU 上。

5. 工业级可靠性

支持 NPU 的工控机采用工业级设计，宽温、抗振动、抗电磁干扰，可以在工业环境下 7×24 小时稳定运行。

三、支持 NPU 工控机 边缘 AI 推理方案：工业产品 AI 缺陷检测系统

5月份的时候我们给佛山一家陶瓷厂做了个产品缺陷检测的主板定制。这个需要检测瓷砖表面的各种缺陷，比如划痕、裂纹、色差、缺角等。检测速度要求达到每分钟 120 片。

这个项目的难点在于，需要在保证检测精度的同时，尽可能降低系统的成本和功耗。

我们给他们适配了一款支持 NPU 的工控机主板。配置是：

搭载 Intel Ultra5 125H 处理器，内置 NPU 算力达 34TOPS。

可以完全满足这个项目的算力需求。

帮客户把 YOLOv8 缺陷检测模型部署到 NPU 上，实现了实时缺陷检测。检测速度达到了每分钟 150 片，缺陷检出率达到了 99.8%，误检率低于 0.3%。

这套主板的功耗非常低，只有 30W 左右。比以前用 GPU 的方案节省了 80% 的电费。而且体积小，安装方便，可靠性高。

四、支持 NPU 工控机选型注意事项

NPU 算力：根据 AI 模型的复杂度选择合适的 NPU 算力；

模型兼容性：要选择支持你使用的 AI 框架和模型的产品；

接口丰富性：确保有足够的接口连接相机、传感器和外设；

工业级可靠性：确保产品具备工业级的可靠性，适应恶劣的工业环境；

软件支持：要选择提供完整驱动和 SDK 的厂商，方便开发和部署。

其实支持 NPU 的工控机是边缘 AI 推理的最佳选择。它把强大的 AI 算力、低功耗、高集成度和工业级可靠性完美结合起来，为边缘 AI 的普及铺平了道路。