大模型推理加速该先量化还是先拉线程?我把 int8 精度和线程数在 CPU 上跑了一遍
本地要跑一个小模型做检索、分类或embedding,又不想为云端 GPU 推理买单——这类场景我今年遇过好几次。网上关于大模型推理加速的说法很多,最流行的一条是「上 int8 量化,速度直接翻倍」。我半信半疑,于是拉了 onnxruntime,把阿里开源的 MiniLM 和 bge-small-zh 两个模型在手上这台 12 核 CPU 上实打实测了一遍。结果和传闻不太一样:int8 确实快,但只快了三成左右;更反直觉的是,我把推理线程从 1 拉到 8,延迟到 4 线程就封顶了,再多反而没用。这篇就把这几个加速手段的真实收益和隐藏代价拆开讲。
环境与时效声明:以下数据全部来自我本机实测,环境为 Windows + Python 3.13.12 + onnxruntime 1.x CPU 后端,模型为
Xenova/all-MiniLM-L6-v2(fp32 与 int8 各一份)与Xenova/bge-small-zh-v1.5(int8)。不同 CPU、不同 ORT 版本数字会浮动,但量级和趋势不变。
先分清楚:你要的是延迟还是吞吐
动手调参之前,得先想明白一个问题:你优化的到底是「单条请求多久出结果」,还是「一秒钟能处理多少条」。做大模型推理加速时,这两件事用的手段完全不同,搞混了就会白忙活。
我做的是离线批量向量化,瓶颈在吞吐;如果你在做在线问答的首字延迟,那批处理几乎帮不上忙。下文每个手段我都会标清楚它利好哪一边,省得你照着调完发现没效果。
int8 量化到底快多少:实测只有三成
量化是把模型权重从 32 位浮点压成 8 位整数。直觉上省了四分之三的数据量,速度该接近翻倍。我用同一句中文(14 个 token)在 MiniLM 上各跑了 50 次取均值,结果如下。
| 精度 | mean | median | p99 |
|---|---|---|---|
| fp32 | 29.68 ms | 27.23 ms | 64.82 ms |
| int8 | 22.84 ms | 19.42 ms | 46.33 ms |
int8 把 mean 延迟从 29.68 ms 压到 22.84 ms,加速比只有 1.30 倍,中位数 1.40 倍,p99 也才 1.40 倍。这个数字远低于「翻倍」的传说。原因很直接:这类几百万参数的小模型,瓶颈不在算力而在内存带宽——权重本来就小,省下来的那点带宽被解码和调度开销吃掉了。我后来测 bge 也是同样量级,没有质的飞跃。
所以我的判断是:int8 值得上,但别指望它解决所有慢的问题。对大模型推理加速来说,它只是第一道、也是性价比最高的一道闸。
量化的隐藏代价:精度掉了多少
速度之外,量化一定会动精度。我把 fp32 和 int8 对同五句中文各算一次向量,再算两组向量的逐句余弦相似度,看量化把语义空间扭曲了多少。
| 中文句 | fp32↔int8 余弦 |
|---|---|
| 数据库连接超时通常由防火墙和白名单引起 | 0.96953 |
| 带宽被占满时先用 iftop 定位是哪个连接在跑 | 0.95899 |
| 猫一天要睡十几个小时尤其是午后 | 0.94204 |
| 今天股市大涨投资者都很开心 | 0.92676 |
| 服务器传输文件优先用 scp 而不是 ftp | 0.96713 |
逐句余弦落在 0.927 到 0.970 之间,均值 0.953,最低 0.927。这意味着什么?做向量检索时,top-k 的排序几乎不会因量化改变,召回率基本保住;但如果你拿它做近重复判定、或者向量要跨模型比对,那 5% 的余弦落差就足以让边界样本翻车。我自己的用法是:检索场景放心量化,精确比对场景留着 fp32。
体积砍到四分之一,但别以为内存墙就解放了
量化的另一个卖点是体积小。实测 MiniLM fp32 是 90.4 MB,int8 只有 23.0 MB,压缩比 3.93 倍;bge int8 也才 24.0 MB。体积掉下来,下载快、常驻内存小,这点实打实。
但我想泼盆冷水:小模型本就装得进缓存,压体积对「能不能放下」几乎没意义,真正省的是每次推理要从内存搬进计算单元的那点带宽。前面延迟只降三成已经说明了——带宽墙没你想的那么好破。体积收益是真实的,只是它和速度收益不是一回事,别混着算账。
线程数不是越多越好:4 线程就封顶了
onnxruntime 里 SessionOptions().intra_op_num_threads 控制算子内并行度。我把 bge int8 在 12 逻辑核的机器上从 1 线程跑到 8 线程,单句延迟变化是这样的。
| 线程数 | mean 延迟 | 相对 1 线程 |
|---|---|---|
| 1 | 9.77 ms | 1.00× |
| 2 | 5.42 ms | 1.80× |
| 4 | 4.26 ms | 2.29× |
| 8 | 4.29 ms | 2.28× |
从 1 到 4 线程是线性变快的,但 8 线程和 4 线程几乎一样(4.29 vs 4.26 ms),收益归零。我这台机器有 12 个逻辑核,理论上还能往上加,但小模型的算子本来就没多少可并行,线程多了光是调度和同步的 overhead 就把收益吃光了。我后来实测把线程设到等于物理核数一半附近是最稳的,盲目设成 cpu_count() 反而亏。
这条是很多人会踩的坑:以为「机器核多就全用上」,结果调参调出负优化。我建议你拿自己目标模型实测一条曲线,别抄经验值。
批处理加速的是吞吐,不是首字延迟
批处理(一次喂多条)是服务端大模型推理加速的主战场。我用 bge int8 把 batch 从 1 拉到 32,看吞吐和单句延迟。
| batch | 吞吐 (seq/s) | 单句延迟 |
|---|---|---|
| 1 | 184.9 | 5.41 ms |
| 2 | 139.1 | 7.19 ms |
| 4 | 292.4 | 3.42 ms |
| 8 | 258.7 | 3.87 ms |
| 16 | 298.0 | 3.36 ms |
| 32 | 337.5 | 2.96 ms |
吞吐从 184 爬到 337 seq/s,接近翻倍,方向是对的。但注意单句延迟只从 5.41 ms 降到 2.96 ms——批处理把「一秒能处理多少条」做大了,对「每条等多久」几乎没改善。这也是为什么在线问答不能用批处理压首字延迟:你得等凑够一批才推理,用户感知的延迟反而更高。
另外我测到 batch=2 这轮吞吐反而比 batch=1 低,小 batch 在 CPU 上噪声很大,别拿单点下结论,看整体趋势就行。
什么时候不该量化、不该拉线程
反过来也重要,省得你无脑套。
- 别量化:要做跨模型向量比对、近重复判定,或者模型本来就极小(几十 KB),量化省不了多少还掉精度。
- 别拉满线程:模型小、算子并行度低时,线程数超过物理核一半就开始负优化;先测一条曲线再定。
- 别迷信批处理压延迟:在线低延迟场景,批处理是拖累,应该用更轻的模型或更好的运行时。
- GPU 场景另说:上面全是 CPU 结论,上 GPU 后量化(尤其是 INT4/FP8)和批处理的收益曲线完全不同,本篇数据不能直接搬。
想跑大模型推理,三家托管服务怎么选
真要上量、要 GPU,自己折腾不如用托管推理服务。三家做法本质一样——你传模型、它起一个常驻推理端点——差别在控制台和生态。按官方文档,阿里云是 PAI-EAS(EAS 架构及使用方法),腾讯云是 TI-ONE 的在线服务(部署 LLM 文档),华为云是 ModelArts 在线推理(快速入门)。三家都支持一键部署和弹性扩缩,选型看你已经用谁家的云、以及对应的配额和单价,没有谁绝对更好。
如果你只是想本地验证量化效果,onnxruntime 的量化工具链文档把动态量化和静态量化的区别讲得很清楚,我本地这两个 int8 模型就是照它跑出来的。
常见问题
int8 量化后精度下降多少?
我实测对中文句的向量余弦均值 0.953、最低 0.927,掉大约 5%。检索场景基本无感,精确比对场景要谨慎。
onnxruntime 怎么设置线程数?
建 SessionOptions,设 intra_op_num_threads 和 inter_op_num_threads,建议先扫一条 1→核数的延迟曲线再定。我 12 核机上 4 线程封顶。
推理加速和训练加速是一回事吗?
不是。训练吃显存和算力,靠梯度检查点、混合精度、FlashAttention;推理吃带宽和调度,靠量化、批处理、好运行时。手段和瓶颈都不同。
批处理为什么不能降低首字延迟?
批处理要等凑够一批才推理,平摊后吞吐变大,但单条等待时间不减反增,在线低延迟场景是拖累。
CPU 上跑大模型推理值得吗?
小模型(几百万到几亿参数)做离线批处理完全值得,量化后单句几毫秒到十几毫秒;大模型还是上 GPU 或托管服务。
顺序总结
把这几道闸按性价比排个序:先量化(体积和延迟双降,三成收益)、再调线程数(调到物理核一半封顶,别拉满)、最后才考虑批处理(只利好吞吐)。记住一句话——CPU 上小模型的大模型推理加速,瓶颈是内存带宽和调度开销,不是算力;凡是拿「翻倍」当卖点的说法,都该自己跑一遍再信。
以各云厂商当期文档和定价为准,本文数据仅代表我本机环境与指定版本。
更多推荐



所有评论(0)