
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
物流系统的架构核心是事件溯源与CQRS的协同:事件溯源通过不可变事件流记录订单的每次状态变更,提供完整审计能力和随时reconstruct的能力;CQRS将写模型(订单聚合根apply事件)与读模型(状态统计、延迟查询)分离,各自独立扩展。存储技术选型采用多数据库分层:MySQL做点查权威源(OLTP,<1ms),TimescaleDB做轨迹时序存储(Hypertable分区,200ms范围扫描)
从操作系统和嵌入式开发转向产品以后,我问问题的习惯没怎么变:问题在哪一层,限制是什么,这个决定由谁来做。可想到一桌技术同事下班后吃饭,我又觉得,这套问法最好先收一收。有人刚说两句近况,就追问原因、分析方案,聊着聊着,筷子还没动,需求会已经开起来了。

端侧 AI 模型部署的核心挑战是模型大小与端侧算力的矛盾,以及 OTA 更新的原子性和带宽成本。INT8 量化是最实用的模型压缩手段,在大多数场景下精度损失可控。OTA 更新采用 A/B 双分区策略保证原子性,增量更新减少带宽消耗。端侧推理框架的碎片化是当前工程落地的最大痛点,跨平台方案(TFLite、ONNX Runtime)在兼容性和性能之间需要权衡。理解端侧部署的约束条件,选择合适的压缩和更

本文围绕端侧AI推理的安全沙箱,给出了从模型加载到结果签名的完整技术方案。模型完整性校验是静态防线。HMAC签名 + 版本回滚保护,确保加载的模型未被篡改。输入数据沙箱隔离是运行时防线。基于OPTEE的TA实现,输入仅存在于Secure World内。格式校验优先于推理执行,杜绝缓冲区溢出。推理结果可信验证是输出防线。Ed25519签名覆盖输入哈希、模型ID和时间戳。调用方可独立验证结果来源,无需
端侧AI模型OTA的核心约束是带宽、存储和不间断性,与云端CI/CD有本质区别。全量更新实现简单但适合低频小模型场景,增量更新适合频繁大模型更新。A/B分区是端侧安全更新的基石,原子切换确保回滚路径始终存在。版本兼容性检查必须前置于模型加载,避免运行时崩溃。OTA框架应内置完整性校验(SHA256)和推理验证推理,形成完整的验证链条。渐进式发布策略将风险控制在最小范围内,是生产环境的必选项。
硬件约束:端侧训练的内存需求是推理的3-5倍。必须使用参数高效的微调方法(LoRA/Adapter),全参数微调在端侧不具备工程可行性。数据约束:非IID是联邦学习的核心瓶颈。FedProx和个性化联邦学习可以缓解但无法消除。设备端的增量学习面临灾难性遗忘,正则化(EWC)是目前端侧最实用的缓解手段。场景约束:月级更新选全量重训,隐私敏感选联邦学习,实时个性化选设备端增量学习。混合架构(设备端在线
无人机端侧AI避障系统的闭环延迟预算为100ms(10m/s飞行速度下1米移动距离),预算分配为预处理10ms、INT8量化推理12-20ms、深度对齐3ms、NMS后处理5ms、路径规划30-40ms、飞控执行10ms。YOLOv5s从FP32量化到INT8,推理从40ms压缩到12ms(TensorRT加速),精度损失仅影响小目标检测(对避障决策无实质影响),但路径规划预算从10ms增加到40
知识蒸馏:教师(ResNet-50)→学生(MobileNet-V3),软标签传递类别间关系。学生模型参数量仅1/30,精度保持92-95%。INT8量化:模型体积缩至1/4,推理加速2-4倍。分类任务用PTQ(训练后量化),检测任务用QAT(量化感知训练,额外20-30%训练成本,精度损失极小)。推理引擎选型:Jetson→TensorRT,ARM→NCNN,跨平台→ONNX Runtime。匹
端侧AI推理与SLAM并行运行。避障决策独占NPU,SLAM使用CPU多核。优先级调度保证实时性要求。YOLOv8-nano INT8混合量化。关键层保持FP16避免特征丢失。非关键层INT8压缩模型体积和推理延迟。精度损失控制在2%以内。ROS2节点间通过topic解耦。传感器数据、检测结果、路径指令各独立topic。MultiThreadedExecutor并行运行多节点。shared_mem
端侧AI在智能家居场景中的工程价值建立在隐私、延迟和离线可用性三重基础之上,这三者共同构成了区别于云端推理的核心竞争力。多模型调度是实现这一价值的工程技术支点——通过五级优先级队列、异构NPU/CPU算力分配和四级功耗状态管理(Deep Sleep/Active/Full的梯度切换),可以在有限芯片资源上实现唤醒词检测、ASR、人脸识别、人体检测和场景分类的协同运行。







