在AI应用场景中，模型推理的延迟（Latency）和吞吐率（Throughput）是衡量系统性能的两大核心指标。两者往往相互制约：降低延迟可能牺牲吞吐率，而提升吞吐率又可能增加延迟。例如，量化将浮点参数转为低比特整数，可提升吞吐率，但可能引入误差，需通过校准缓解。选择适合的框架和配置，可显著改善延迟与吞吐率的平衡。智能调度算法可平衡负载。边缘计算场景中，将部分请求分流至边缘节点，既能降低中心服务器