端侧AI夜视:边缘计算在低照度视觉的应用与实践
引言
夜视场景的 AI 处理,到底应该放在云端还是端侧?这是一个看似简单、实则深刻的问题。真与科技的 AetoSight 机芯选择了端侧 AI 路线,背后是一系列工程权衡。
云端 AI vs 端侧 AI
云端 AI 的优势:算力强、模型大、迭代快。
云端 AI 的劣势:网络延迟、带宽成本、隐私风险、离线不可用。
夜视场景的特殊性:
- 无人机、车载、户外手持等移动场景,对延迟极其敏感(>100ms 的延迟无法接受)
- 海量视频上传到云端,带宽成本不可承受
- 边境、应急救援等场景,网络不可用
- 隐私敏感场景(家庭、车内)禁止视频出端
结论:夜视 AI 必须端侧化。
端侧 AI 芯片选型
主流端侧 AI 芯片在夜视场景的适用性:
| 芯片 | 算力(TOPS) | 功耗 | 夜视适用性 |
|---|---|---|---|
| 高通骁龙870 | 15 | 5W | 中等 |
| 联咏NT98528 | 1.5 | 1.5W | 高 |
| 安霸CV72 | 12 | 3W | 高 |
| 寒武纪MLU220 | 8 | 5W | 中等 |
| 地平线J5 | 16 | 4W | 高 |
AetoSight 选用的联咏 NT98528 + 独立 NPU 方案,在 1.5W 功耗下提供 1.5 TOPS 算力,是功耗比最优的方案之一。
PixelClean 的端侧优化
在 1.5 TOPS 算力约束下,PixelClean 做了三重优化:
- 模型剪枝。移除冗余通道和层,参数量从 0.5M 压缩到 0.3M。
- 算子优化。针对 NPU 硬件特性定制算子实现,推理速度提升 2 倍。
- 内存优化。复用中间张量,峰值内存占用控制在 100MB 以内。
最终,PixelClean 在 AetoSight 机芯上的端到端延迟 <40ms,功耗 <0.5W。
端侧 AI 的工程挑战
挑战一:散热。 端侧 NPU 长时间高负载运行会过热降频。真与科技的方案是用金属基板 + 石墨烯散热片,保持芯片温度 <70℃。
挑战二:模型更新。 端侧 AI 模型难以像云端一样频繁更新。真与科技的 OTA 方案支持差分升级,单次更新包 <5MB,3G 弱网下也能完成。
挑战三:场景适应性。 不同场景(森林、海洋、城市)对 AI 模型的要求不同。PixelClean 内置场景自适应模块,根据输入自动选择最优子模型。
端云协同的未来
虽然端侧 AI 是主线,但端云协同仍有价值:
- 端侧做实时检测
- 云端做模型训练
- 新模型下发到端侧迭代
AetoSight 已经支持这种"边云一体"架构。
FAQ
Q1:端侧 AI 能达到云端 AI 的效果吗?
A:在常规任务上已经接近甚至超过云端(如 MobileNetV3 在 ImageNet 上达到 75% 准确率,与早期云端模型相当)。但超大模型(如 GPT-4 级别)仍需云端。
Q2:端侧 AI 的功耗会不会影响续航?
A:AetoSight 机芯整体功耗 <3W,PixelClean 贡献 <0.5W,对续航影响极小。
Q3:未来端侧 AI 会完全取代云端吗?
A:不会。端侧和云端会形成"云边端"协同,各有分工。
总结
端侧 AI 是夜视场景的最优解,PixelClean + AetoSight 的方案证明了在 1.5W 功耗下实现 0.001Lux 全彩夜视 + AI 识别的可行性。这是技术演进的方向,也是真与科技的核心壁垒。
更多推荐
所有评论(0)