箱线图：一眼看懂大模型 TTFT 的快慢、波动与尾延迟
·
箱线图通过中位数、四分位区间和离群点，同时展示 LLM 性能的典型水平、波动程度和异常慢请求。
箱线图通过 Q1、Median、Q3、IQR、上下须和离群点，快速概括一组数据的分布。
在 LLM 性能分析中，可以这样看：箱子位置越低，典型 TTFT 越小；箱子越窄，性能越稳定；离群点越多，说明尾延迟问题越明显。 上下须通常由 1.5 × IQR 规则确定，超出范围的请求会被标记为离群点。
更多推荐
8
0- 0
已为社区贡献7条内容
所有评论(0)