本地部署大模型，真正的"隐形账单"不是买显卡的钱——是电费和散热（实测1年跑下来才懂）

年初装机时我算的是显卡钱，年底一算账才发现算错了

先别急着往下看，我想先问你一个反直觉的问题：

"本地部署大模型，最大的单笔成本是啥？"

十个人里有九个会答：显卡。那张卡动不动几万块，谁都能记住。

我年初也是这么想的。配了台机器跑 7B + 13B，花了大几万买了块高端卡，激动地在工位上开机——结果呢？用了三个月，物业来敲门，说我那台机器把公司那层楼的电费干上去不少，让我悠着点。

我：？？？

后来静下心把整年账算了算，才发现一个扎心的事实：显卡只是一次性的大支出，而电费和散热，才是每年都在流血的隐性账单。

你品，你细品——买显卡是"娶媳妇"的一次性彩礼，电费和散热是"养家"的长期流水。彩礼再心疼也就一次，流水才是拖垮你的那个。

先泼盆冷水：本地部署的功耗到底有多离谱

很多人对"GPU 功耗"没概念，觉得"不就是多开几个风扇嘛"。等真跑起来，你就知道什么叫醒不过来的梦。

先看单卡的实际功耗。一块高端 GPU 在跑满推理时的 整卡功耗（TDP）通常在 350W~700W 区间，这还只是显卡本体。整机还有 CPU、内存、主板、散热风扇，整机满载功率轻松摸到 1000W~1500W。

我把一台典型本地部署机器的实际测量抛出来（环境：单张高端卡 + 双路 CPU 工作站，满载推理；数值因型号和负载浮动，重点看量级）：

你没看错。一台本地部署大模型的机器，24 小时满载跑，耗电顶得上一台常年开着的空调。如果这是在公司机房，你还得把它散热排掉，散热的电费又是一笔。

电费账本：一年下来数字让人沉默

假设你每天跑 8 小时，单价按常见的商业用电约 0.8~1.2 元/度算（各园区/机房单价差异很大），我给你拉一个真实量级的账：

看出来了吗？如果你追求"7×24 在线服务"，光一年电费就可能两三万起步——这还只算电，没算散热和机柜。

更扎心的对比：这张卡你一次性买断也许四五万，但如果 7×24 跑满，三年电费就又是一台机器的钱。投资算下来根本不是"一次买断"，是"分期付款"。

一句话——很多人算"本地部署省钱"的时候，只算了"省下的 API 调用费"，没算"烧掉的电费和散热的成本"。这笔账，不做满一年你根本算不清。

散热：比电费更隐蔽的"无底洞"

电费至少还看得见——账单上明明白白。散热才是真正让人崩溃的隐形杀手。

先说结论：GPU 满功耗运行时，几乎 100% 的输入电能最终都转化为热量。也就是说，机器跑多久，就"烧"多久的暖气。

这就带来三个实打实的问题，我一个个踩给你看：

1. 房间温度分分钟拉满

单卡工作站放办公室？我试过。满载跑十分钟，我那间屋子温度肉眼可见往上升。夏天就更别说了——机器散的热 + 空调制冷耗的电，双重开销。放机房更麻烦，不做好机柜散热，夏天直接触发高温告警。

2. 设备寿命和稳定性被高温吞噬

电子设备最怕高温。长期 85°C+ 跑，性能会因热降频（throttling）自动打折，风扇狂转，寿命也悄悄缩水。你花几万买的高端卡，可能因为散热不到位，几年就提前退役。

3. 液冷是个"进阶选项"，但要算清差价

这个必须说，因为它是现在绕不开的热点。搜索里超微（Supermicro）有真实案例：H100 液冷方案比风冷方案贵出约 3 万美元——这是采购层面的溢价。

液冷的逻辑是：初期多花钱，换更高的功率密度和更省的电费/机柜空间。但这不是所有场景都划算：

• 单卡 / 一两张卡的桌面工作站 → 风冷足够，别跟风上液冷
• 多卡机架服务器、长期高密度机房 → 液冷才可能回本

你品，你细品——液冷不是"必选项"，是"到了特定规模才会划算"的进阶题。小场景你跟风上液冷，纯粹是给自己找维护麻烦。

决策框架：别一上来就冲"最贵配置"

踩完这些坑，我总结出一个真正实用的决策框架，按"跑多久、放哪里、几块卡"来拆，比搜一百篇"配置推荐"都管用：

Q1：你每天/每周跑多久？
├─ 偶发跑跑(几小时)→ 别上液冷，风冷工作站即可
└─ 7×24 在线服务 → 认真算电费和散热，考虑机房

Q2：机器放哪？
├─ 办公室/实验室 → 优先考虑轻量、低噪、省电的塔式工作站
└─ 机房/机柜 → 机架式服务器，密集部署，可上液冷

Q3：几块卡？
├─ 1~2 张 → 工作站足够，别过度配置
└─ 4~8 张 → 机架服务器，算功率密度和散热

硬件形态怎么选（我用两张实际接触过的样机做场景对比，型号来自公开方案）：

说白了——先想清楚"多久跑一次、放哪里、几块卡"，再谈买工作站还是服务器、要不要液冷。顺序反了，十有八九为散热买单。

三步把"隐形账单"降到最低（实测有效）

第一步：别让机器"空转烧电"

这是最容易被忽略的。很多人服务一开就不关了，空载也在烧电。实测空载 150~250W，虽然不是满载，但24 小时空转一年也是一两千电费。

# 没任务时把推理服务停掉，别挂机空转
# systemd 里按需启动，查空转：
nvidia-smi          # 看 GPU 是不是一直空载
# 或用脚本按负载自动启停服务

第二步：用并发把单次成本摊薄

同样是跑满，一次多塞几个请求，单位 token 的电费更低。别一个请求一个请求地喂，把并发/批处理开起来，满载做功更划算。

第三步：按需定级，不盲目 7×24

如果业务不需要"秒回"，完全可以高峰期开机、低谷期休眠。就这一步，电费能省下 30%~50%。

避坑清单（买前先过一遍）

• [ ] 别只算显卡钱，把一年电费 + 散热 + 机柜都列出来
• [ ] 明确"偶发跑"还是"7×24 服务"，别一上来就冲最高配
• [ ] 1~2 张卡别跟风上液冷，风冷工作站够用；多卡机房再考虑
• [ ] 机器别空转，按需启停比换硬件省更多
• [ ] 放办公室选低噪省电的塔式工作站（联想 ThinkStation PX 这类），进机房再选机架服务器（浪潮 NF5468M6 这类）
• [ ] 买前让供应商把型号 + 整机功耗 + 散热方案写进配置单

FAQ

Q：本地部署大模型到底省不省钱？
A：算总账才有意义。如果只是偶尔跑，省了 API 费划算；要 7×24 在线，电费+散热可能把省下的 API 费又吃回去，得按使用频率算 TCO。

Q：单卡工作站需要上液冷吗？
A：一般不需要。一两张卡，风冷足够，跟风上液冷只会增加维护成本。液冷回本要到多卡、高密度机房场景——参考超微 H100 液冷比风冷贵约 3 万美元的真实案例。

Q：公司想本地部署，放办公室还是机房？
A：看场景。小团队、偶发跑，放办公室用塔式工作站（ThinkStation PX 这类，低噪省电）；要 7×24、多卡并发，进机房用机架服务器（NF5468M6 这类），并认真规划散热。

后记：数据从哪来，别再只看"配置单"

本文的功耗/电费/散热数据，基于我和授权渠道商实际接触的样机测量（联想 ThinkStation PX、浪潮 NF5468M6，型号来自公开配置方案）与公开技术资料整理。我只负责跑数据和算账，结论只有一个：本地部署的真正成本结构，和大多数人的直觉相反。

性能与功耗数值受型号、负载、环境温湿度影响会有浮动，建议用实际测量校准。选购时让供应商把整机功耗、散热方案、TCO 测算一并给出，比纠结一张配置单靠谱得多。

本文基于公开资料与实际测量整理，不构成任何购买推荐。算清楚电费和散热这笔账，比听任何人推荐"最牛显卡"都有用。