AI 推理成本治理需要从模型层、调度层和请求层三个维度协同推进。模型层通过量化降低单次推理的显存和算力消耗；调度层通过智能路由将请求分配到最经济的模型；请求层通过语义缓存和请求去重避免冗余推理。三层策略叠加，可以将推理成本降低 50-70%。但量化精度损失、路由误判和缓存不一致是不可回避的代价，需要在成本和质量之间找到业务可接受的平衡点。落地路线建议：第一步，统计当前推理服务的成本构成，识别显性、

模型服务成本优化是一个"三者博弈"问题——成本、延迟、精度形成不可能三角。Spot实例：牺牲可用性（服务可能短暂中断），换取成本降低60-70%模型量化：牺牲精度（0.5-3%），换取GPU需求减半动态批处理：牺牲延迟（P99可能上升20-50%），换取吞吐提升50-100%第一步（立即见效）：启用动态批处理。无需改模型、无需改架构，调几个参数就能提升吞吐。成本降低15-30%。第二步（1-2周）

时序数据和元数据必须分离存储。时序数据库（TDengine）处理高频写入和时间范围聚合，MySQL处理设备关系和属性查询。混用MySQL的结果就是写入瓶颈和查询超时。TDengine在当前是物联网时序场景的最优解——8:1的压缩比、"一个设备一张表"的物理模型、毫秒级的单设备查询，这三个指标直接决定了系统的可行性和运营成本。冷热分层不是可选的优化手段，而是架构设计的必选项。

延迟约束是第一优先级。L0推理必须在50ms内完成，这是产线节拍决定的硬指标，所有架构决策都以此为锚点。达不到就加边缘算力，而不是妥协延迟。模型精度与推理速度要动态折中。INT8量化是当前性价比最高的方案，但安全关键任务不做激进量化。A/B推理对比机制保证了新模型上线不会引发生产事故。云端不做实时推理，只做模型训练和长周期分析。云边协同的本质是"边缘做执行，云端做进化"。弱网离线能力不是加分项而是

按设备能力分协议。电池供电、低带宽设备用CoAP；常规联网设备用MQTT；需要实时双向通信的用WebSocket。不要为了统一而统一——协议的取舍直接体现在设备的电池寿命和运维成本上。Broker集群的瓶颈永远在操作系统层面。连接数到百万级别后，瓶颈不是EMQX的处理能力，而是内核的TCP栈。sysctl参数调优和文件描述符上限是最容易被忽视的坑。设备影子不是可选的锦上添花，而是必需的抽象层。

消息必须分级，不同级别用不同的Kafka Topic + 不同的Producer配置 + 不同的Consumer策略。P0告警走16分区、ack=all、linger=0、consumer批量10条；P4日志走64分区、ack=1、linger=100ms、consumer批量5000条。同一套配置覆盖所有消息类型，不是架构能力不足就是在浪费资源。Kafka分区数是架构的"不可逆决策"。分区数决定

特征工程比模型选型更重要。我们在时域特征（峭度、脉冲因子、峰峰值）上投入的时间是模型调参的3倍，但这些特征对故障的区分度直接决定了最终效果。同一个LSTM-AutoEncoder，用原始信号训练的F1只有0.62，加上手工特征后跳到0.85。异常检测要分两级：高召回的粗筛+高精密的确认。Isolation Forest的召回率能达到95%，代价是精密率只有78%。加一层LSTM-AutoEncod

原则一：利润优先于 GMV。降价的 GMV 增长很容易，但定价模型的优化目标应该是利润最大化，而不是 GMV 最大化。一个常见的陷阱是模型为了追求转化率不断降价，最终 GMV 增长了但毛利下降了。我们在损失函数中加入了毛利约束项，确保推荐价格不低于毛利的基准线。原则二：规则兜底优于模型自由发挥。模型推荐的价格必须通过规则引擎的硬约束（成本底线、频次限制、幅度限制）才能生效。这不是对模型的"不信任"

生成速度快不等于开发效率高。一个500ms生成的代码补全，如果需要3分钟修改才能通过评审，其净收益可能为负。量化对比的结果指明了方向：自建微调模型的核心价值不在于"语法正确率"（Copilot已经做得足够好），而在于语义正确性和风格一致性——这两者决定了代码被实际接受的比率。从31%到48%的接受率提升，意味着工程师每看两条建议就有一条能用，而不是三条。先跑通Copilot + RAG，验证代码生

指标ChatBot阶段Agent阶段Copilot阶段日活跃用户渗透率23%18%35%任务自动化率0%42%67%用户满意度（CSAT）3.8/54.1/54.4/5支持工单减少率31%47%62%月均ROI1.2x2.8x4.5x不要跳过ChatBot直接做Agent。ChatBot阶段的问答日志是Agent工具设计的数据来源——用户问的最多的10个问题中，有7个可以转化为Agent的操作工具