本地要跑一个小模型做检索、分类或embedding,又不想为云端 GPU 推理买单——这类场景我今年遇过好几次。网上关于大模型推理加速的说法很多,最流行的一条是「上 int8 量化,速度直接翻倍」。我半信半疑,于是拉了 onnxruntime,把阿里开源的 MiniLM 和 bge-small-zh 两个模型在手上这台 12 核 CPU 上实打实测了一遍。结果和传闻不太一样:int8 确实快,但只快了三成左右;更反直觉的是,我把推理线程从 1 拉到 8,延迟到 4 线程就封顶了,再多反而没用。这篇就把这几个加速手段的真实收益和隐藏代价拆开讲。

环境与时效声明:以下数据全部来自我本机实测,环境为 Windows + Python 3.13.12 + onnxruntime 1.x CPU 后端,模型为 Xenova/all-MiniLM-L6-v2(fp32 与 int8 各一份)与 Xenova/bge-small-zh-v1.5(int8)。不同 CPU、不同 ORT 版本数字会浮动,但量级和趋势不变。

先分清楚:你要的是延迟还是吞吐

动手调参之前,得先想明白一个问题:你优化的到底是「单条请求多久出结果」,还是「一秒钟能处理多少条」。做大模型推理加速时,这两件事用的手段完全不同,搞混了就会白忙活。

我做的是离线批量向量化,瓶颈在吞吐;如果你在做在线问答的首字延迟,那批处理几乎帮不上忙。下文每个手段我都会标清楚它利好哪一边,省得你照着调完发现没效果。

int8 量化到底快多少:实测只有三成

量化是把模型权重从 32 位浮点压成 8 位整数。直觉上省了四分之三的数据量,速度该接近翻倍。我用同一句中文(14 个 token)在 MiniLM 上各跑了 50 次取均值,结果如下。

精度meanmedianp99
fp3229.68 ms27.23 ms64.82 ms
int822.84 ms19.42 ms46.33 ms

int8 把 mean 延迟从 29.68 ms 压到 22.84 ms,加速比只有 1.30 倍,中位数 1.40 倍,p99 也才 1.40 倍。这个数字远低于「翻倍」的传说。原因很直接:这类几百万参数的小模型,瓶颈不在算力而在内存带宽——权重本来就小,省下来的那点带宽被解码和调度开销吃掉了。我后来测 bge 也是同样量级,没有质的飞跃。

所以我的判断是:int8 值得上,但别指望它解决所有慢的问题。对大模型推理加速来说,它只是第一道、也是性价比最高的一道闸。

量化的隐藏代价:精度掉了多少

速度之外,量化一定会动精度。我把 fp32 和 int8 对同五句中文各算一次向量,再算两组向量的逐句余弦相似度,看量化把语义空间扭曲了多少。

中文句fp32↔int8 余弦
数据库连接超时通常由防火墙和白名单引起0.96953
带宽被占满时先用 iftop 定位是哪个连接在跑0.95899
猫一天要睡十几个小时尤其是午后0.94204
今天股市大涨投资者都很开心0.92676
服务器传输文件优先用 scp 而不是 ftp0.96713

逐句余弦落在 0.927 到 0.970 之间,均值 0.953,最低 0.927。这意味着什么?做向量检索时,top-k 的排序几乎不会因量化改变,召回率基本保住;但如果你拿它做近重复判定、或者向量要跨模型比对,那 5% 的余弦落差就足以让边界样本翻车。我自己的用法是:检索场景放心量化,精确比对场景留着 fp32。

体积砍到四分之一,但别以为内存墙就解放了

量化的另一个卖点是体积小。实测 MiniLM fp32 是 90.4 MB,int8 只有 23.0 MB,压缩比 3.93 倍;bge int8 也才 24.0 MB。体积掉下来,下载快、常驻内存小,这点实打实。

但我想泼盆冷水:小模型本就装得进缓存,压体积对「能不能放下」几乎没意义,真正省的是每次推理要从内存搬进计算单元的那点带宽。前面延迟只降三成已经说明了——带宽墙没你想的那么好破。体积收益是真实的,只是它和速度收益不是一回事,别混着算账。

线程数不是越多越好:4 线程就封顶了

onnxruntime 里 SessionOptions().intra_op_num_threads 控制算子内并行度。我把 bge int8 在 12 逻辑核的机器上从 1 线程跑到 8 线程,单句延迟变化是这样的。

线程数mean 延迟相对 1 线程
19.77 ms1.00×
25.42 ms1.80×
44.26 ms2.29×
84.29 ms2.28×

从 1 到 4 线程是线性变快的,但 8 线程和 4 线程几乎一样(4.29 vs 4.26 ms),收益归零。我这台机器有 12 个逻辑核,理论上还能往上加,但小模型的算子本来就没多少可并行,线程多了光是调度和同步的 overhead 就把收益吃光了。我后来实测把线程设到等于物理核数一半附近是最稳的,盲目设成 cpu_count() 反而亏。

这条是很多人会踩的坑:以为「机器核多就全用上」,结果调参调出负优化。我建议你拿自己目标模型实测一条曲线,别抄经验值。

批处理加速的是吞吐,不是首字延迟

批处理(一次喂多条)是服务端大模型推理加速的主战场。我用 bge int8 把 batch 从 1 拉到 32,看吞吐和单句延迟。

batch吞吐 (seq/s)单句延迟
1184.95.41 ms
2139.17.19 ms
4292.43.42 ms
8258.73.87 ms
16298.03.36 ms
32337.52.96 ms

吞吐从 184 爬到 337 seq/s,接近翻倍,方向是对的。但注意单句延迟只从 5.41 ms 降到 2.96 ms——批处理把「一秒能处理多少条」做大了,对「每条等多久」几乎没改善。这也是为什么在线问答不能用批处理压首字延迟:你得等凑够一批才推理,用户感知的延迟反而更高。

另外我测到 batch=2 这轮吞吐反而比 batch=1 低,小 batch 在 CPU 上噪声很大,别拿单点下结论,看整体趋势就行。

什么时候不该量化、不该拉线程

反过来也重要,省得你无脑套。

  • 别量化:要做跨模型向量比对、近重复判定,或者模型本来就极小(几十 KB),量化省不了多少还掉精度。
  • 别拉满线程:模型小、算子并行度低时,线程数超过物理核一半就开始负优化;先测一条曲线再定。
  • 别迷信批处理压延迟:在线低延迟场景,批处理是拖累,应该用更轻的模型或更好的运行时。
  • GPU 场景另说:上面全是 CPU 结论,上 GPU 后量化(尤其是 INT4/FP8)和批处理的收益曲线完全不同,本篇数据不能直接搬。

想跑大模型推理,三家托管服务怎么选

真要上量、要 GPU,自己折腾不如用托管推理服务。三家做法本质一样——你传模型、它起一个常驻推理端点——差别在控制台和生态。按官方文档,阿里云是 PAI-EAS(EAS 架构及使用方法),腾讯云是 TI-ONE 的在线服务(部署 LLM 文档),华为云是 ModelArts 在线推理(快速入门)。三家都支持一键部署和弹性扩缩,选型看你已经用谁家的云、以及对应的配额和单价,没有谁绝对更好。

如果你只是想本地验证量化效果,onnxruntime 的量化工具链文档把动态量化和静态量化的区别讲得很清楚,我本地这两个 int8 模型就是照它跑出来的。

常见问题

int8 量化后精度下降多少?
我实测对中文句的向量余弦均值 0.953、最低 0.927,掉大约 5%。检索场景基本无感,精确比对场景要谨慎。

onnxruntime 怎么设置线程数?
建 SessionOptions,设 intra_op_num_threads 和 inter_op_num_threads,建议先扫一条 1→核数的延迟曲线再定。我 12 核机上 4 线程封顶。

推理加速和训练加速是一回事吗?
不是。训练吃显存和算力,靠梯度检查点、混合精度、FlashAttention;推理吃带宽和调度,靠量化、批处理、好运行时。手段和瓶颈都不同。

批处理为什么不能降低首字延迟?
批处理要等凑够一批才推理,平摊后吞吐变大,但单条等待时间不减反增,在线低延迟场景是拖累。

CPU 上跑大模型推理值得吗?
小模型(几百万到几亿参数)做离线批处理完全值得,量化后单句几毫秒到十几毫秒;大模型还是上 GPU 或托管服务。

顺序总结

把这几道闸按性价比排个序:先量化(体积和延迟双降,三成收益)、再调线程数(调到物理核一半封顶,别拉满)、最后才考虑批处理(只利好吞吐)。记住一句话——CPU 上小模型的大模型推理加速,瓶颈是内存带宽和调度开销,不是算力;凡是拿「翻倍」当卖点的说法,都该自己跑一遍再信。

以各云厂商当期文档和定价为准,本文数据仅代表我本机环境与指定版本。

Logo

更多推荐