指标定义单位说明连接建立成功率成功完成 SSE 握手的比例反映网络与协议兼容性平均首包延迟从连接建立到收到第一帧的时延ms表征冷启动与首 Token 响应持续吞吐率单位时间接收的事件帧数fps衡量长连接稳定性推理耗时 P95大模型生成指定长度响应的 95 分位耗时ms评估推理性能尾部表现错误断连率会话中非预期断开的比例检测连接保活能力。

指标定义单位说明连接建立成功率成功完成 SSE 握手的比例反映网络与协议兼容性平均首包延迟从连接建立到收到第一帧的时延ms表征冷启动与首 Token 响应持续吞吐率单位时间接收的事件帧数fps衡量长连接稳定性推理耗时 P95大模型生成指定长度响应的 95 分位耗时ms评估推理性能尾部表现错误断连率会话中非预期断开的比例检测连接保活能力。