软硬一体的成本工程：性能每提升 1% 的代价

title: “软硬一体的成本工程：性能每提升 1% 的代价”
authors: “[DeepThink.ai]”
affiliations: “[AI Genius Institute]”
keywords: “[软硬协同设计, 成本工程, 边际性能代价, 总拥有成本, 性能-代价弹性, LLM 推理系统]”

Abstract

大模型与专用加速器时代，性能优化已从"能不能更快"转向"每快一点要花多少钱"，但现有性能评测与成本核算相互割裂：架构研究报吞吐与能效，服务系统报每 token 成本，二者缺少统一的边际口径。本文提出软硬一体边际性能代价（Marginal Cost of Performance, MCP）分析框架，将硬件采购与良率、能耗、软件工程投入、运行风险四类成本统一进总拥有成本（Total Cost of Ownership, TCO）模型，定义单位 1% 相对性能提升的代价指标 ${\kappa }_{1\%}$，并按算法层、软件层、硬件层、系统层对 ${\kappa }_{1\%}$ 做链式分解。本文给出边际代价递增、软件层收益饱和、软硬协同交互项三类可检验命题，并设计覆盖 LLM 推理服务与芯片设计两个场景的测量协议。实测数值待实验完成后填入，但框架本身可为优化优先级排序、软硬投入配比与预算封顶提供统一决策依据。

—

你离拥有一支永不停歇、持续进化的 AI 超级研发团队，只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统（AI OS）：在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务，作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统，支持桌面端+浏览器+移动端，让 DeepThink 成为你的全能数字助手；它不止让你使用 AI，更要让你从工具使用者进化为代码创造者，最终成长为可自我繁衍的超级智能体，让每家企业都拥有自己的 AI 超级研发团队，一起走向 AGI——现在就去 git clone，顺手点亮 Star：你收藏的不是一个仓库，而是通往 AGI 的入场券。🚀

DeepThink，开源企业级自主 Agent 超级智能体自进化平台，是从 Harness Engineering 到 Loop Engineering 范式的先行者，面向企业客户的新一代 AI 基础设施（AI Infra）。DeepThink 平台以多 Agent 协作框架为核心，融合 AI 自主编程（AI Coding）、自主进化（Self-Evolving）、全栈可观测性（Full-Stack Observability）、Bug 自修复闭环（Bug Auto-Fix Loop）与 程序员-Agent 共生协作（Human-Agent Symbiosis），构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码（如果你觉得好玩，就一起来玩， Star 一下）：
Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink
Github: GitHub - AIGeniusInstitute/deepthink: DeepThink, A Loop Engineering App Running On Desktop, and Inte

—

1 Introduction

1. 动机与重要性。 生成式大语言模型（Large Language Model, LLM）的训练与推理已经把算力变成一种按秒计费的生产资料。工业界的每一次性能优化——更低比特的量化、更大的批量、更快的互连、更高频率的芯片——最终都会落到同一张财务报表上：这笔改动换来的性能提升，究竟花了多少钱？当性能以 1% 为单位被反复争抢时，"性能每提升 1% 的代价"不再是工程细节，而是决定技术路线取舍的核心经济量。

2. 现有做法的具体局限。 现有工作从三个方向逼近这个问题，但口径互不兼容。其一，体系结构研究以每瓦性能（performance per watt）或面积效率为目标，能效收益与货币成本之间没有固定换算率，且通常不含工程投入 [8][14]。其二，LLM 服务系统研究给出每 token 成本或 KV 缓存卸载的收益 [3][6][13]，但把硬件代际视为外生给定，无法回答"换硬件还是改软件"。其三，成本建模工作开始把系统性能与成本放进同一模型 [1][2]，却多用于设计前评估，缺少以"每 1% 性能"为统一刻度的边际分析口径。三类工作都默认性能是被最大化的目标，而非被定价的商品。

3. 本文核心思路。 本文把性能视作可定价的商品，提出软硬一体边际性能代价（MCP）框架：先建立覆盖硬件、能耗、软件工程与运行风险的 TCO 模型，再定义单位 1% 相对性能提升的代价指标 ${\kappa }_{1\%}$，最后按算法层、软件层、硬件层、系统层做链式分解，得到一张跨层"1% 价格表"。在此基础上，本文给出边际代价递增、软件层收益饱和、软硬协同交互项三类可检验命题，并为 LLM 推理服务与芯片设计两类场景设计可复现的测量协议。

4. 贡献。

• 提出统一的 ${\kappa }_{1\%}$ 指标与 TCO 形式化，将硬件、能耗、工程、风险四类成本折算到"每 1% 性能"的同一口径。
• 给出跨四层（算法/软件/硬件/系统）的链式分解方法，识别各层 1% 收益的来源、上限与拐点。
• 建立边际代价递增、软件层收益饱和、协同交互项三个可检验命题，并在附录给出命题 1 的证明草图。
• 设计覆盖 LLM 推理服务与芯片设计两个场景的测量协议与报告模板，实验数据以 [实验数据待填] 标注，供后续复现与填充。

5. 结构说明。 第 2 节按技术流派梳理相关工作；第 3 节给出问题形式化、框架与模块细节；第 4 节给出实验设计与待填结果表；第 5 节讨论适用边界与伦理影响；第 6 节总结并给出具体未来工作。

2 Related Work

体系结构与能效评价流派。 该流派以每瓦性能、面积效率或能效图为优化目标。GPU 功耗-性能联合表征工作刻画了并发内核的功耗行为 [14]；Morpheus 一类工作利用空闲 GPU 核扩展末级缓存，以换取内存受限负载的吞吐 [12]；面向可持续训练的软硬协同工作把能耗作为首要约束 [8]。这些工作度量的是物理量（焦耳、面积、周期），不回答"这 1% 性能值多少钱"。本文沿用其分层测量方法，但把物理量统一折算为货币成本并取边际。

LLM 推理与服务优化流派。 该流派围绕量化、KV 缓存、调度与映射展开。FlightLLM 在 FPGA 上给出完整 LLM 映射流，用稀疏与量化弥合算力与内存开销 [4]；长上下文智能体推理工作系统梳理了内存墙下的优化路径 [6]；低比特后训练量化与异构平台协同优化工作量化了精度-效率权衡 [15][16]；多模型路由与分层推理的表征工作刻画了路由带来的成本-质量权衡 [11]。这些工作给出质量-性能权衡，但成本口径多为延迟或吞吐本身。本文把其优化手段作为"1% 价格表"上的候选项，为每一项标价。

成本建模与设计空间探索流派。 LLM 训练与推理的系统性能-成本建模工作同时刻画性能与成本随规模的变化 [1]；ChipletPart 在 2.5D 芯粒系统上做成本驱动的划分，直接以制造成本为目标函数 [2]；硬件感知的架构搜索基准把硬件指标引入模型选型 [9]；编译期静态 LLM 服务中的工具等待成本机制研究把等待与再到达显式计入配置选择 [13]。这些工作与本文最近，但多服务于一次性设计决策；本文提供的是随优化进程连续更新的边际代价曲线与统一指标。

规模化规律流派。 神经缩放律与计算最优训练研究回答"多少算力换多少损失"，把性能表达为算力的函数 [5][17]。本文反向提问：给定 1% 性能目标，代价是多少，且代价包含算力之外的工程与风险成本。两者的自变量与因变量互换，互为补充。

3 Method

3.1 Problem Formulation

设系统在基线配置下的性能为 $P_0$、总拥有成本为 $C_0$。一次优化改动 $x$ 使性能变为 $P(x)$、成本变为 $C(x)$。本文关注的不是绝对性能 $P$，而是相对性能提升与为此支付的相对成本增量。

定义 1（相对性能提升）。 $g(x)=\frac{P(x)-P_0}{P_0}$，以百分数度量，1% 对应 $g=0.01$。

定义 2（单位 1% 代价 ${\kappa }_{1\%}$）。 改动 $x$ 的单位 1% 相对性能代价定义为

$${\kappa }_{1\%}(x)=\frac{C(x)-C_0}{(P(x)-P_0)/(0.01\cdot P_0)}$$

其含义是：每换取 1% 相对性能提升所需的增量成本。当改动可微时，边际形式为

$${\kappa }_{1\%}(x)=0.01\cdot P(x)\cdot \frac{\mathrm{d}C}{\mathrm{d}P}{|}_x$$

定义 3（总拥有成本）。 增量成本按四类来源分解：

$$\Delta C=\Delta C_{\mathrm{hw}}+\Delta C_{\mathrm{en}}+\Delta C_{\mathrm{eng}}+\Delta C_{\mathrm{risk}}$$

其中 $\Delta C_{\mathrm{hw}}$ 为硬件采购、流片与良率成本，$\Delta C_{\mathrm{en}}$ 为能耗与散热成本，$\Delta C_{\mathrm{eng}}$ 为软件与算法工程投入（按人月折算），$\Delta C_{\mathrm{risk}}$ 为回归风险、精度回退与维护复杂度的折算项。

符号表。

符号	含义	单位
$P,P_0$	性能、基线性能（吞吐或延迟倒数，需归一化）	任务单位/秒
$g$	相对性能提升	%
$C,C_0$	总拥有成本、基线成本	货币
${\kappa }_{1\%}$	每 1% 相对性能的增量成本	货币/%
$\Delta C_{\mathrm{hw}}$	硬件增量成本	货币
$\Delta C_{\mathrm{en}}$	能耗与散热增量成本	货币
$\Delta C_{\mathrm{eng}}$	工程投入折算成本	货币
$\Delta C_{\mathrm{risk}}$	风险折算成本	货币
$x_a,x_s,x_h,x_y$	算法/软件/硬件/系统层的优化变量	无量纲
$g_s^{\max }$	软件层收益上限	%
${\epsilon }_{C,P}$	成本-性能弹性 $\frac{\mathrm{d}C/C}{\mathrm{d}P/P}$	无量纲

3.2 Framework Overview

MCP 框架把一次软硬一体优化的评估流程固定为五步：归一化性能口径 → 计算 TCO 增量 → 求 ${\kappa }_{1\%}$ → 跨层分解 → 绘制边际代价曲线。图 1 给出框架结构。

                 ┌─────────────────────────────────────────────┐
                 │            MCP 边际性能代价框架               │
                 └─────────────────────────────────────────────┘
   输入：基线 (P0, C0)、改动 x、性能与成本测量数据
     │
     ▼
 ┌─────────────┐   ┌─────────────┐   ┌──────────────┐
 │ ①性能归一化  │──▶│ ②TCO 增量   │──▶│ ③κ_1% 计算   │
 │ 吞吐/延迟/SLO│   │ hw+en+eng+risk│  │ ΔC / (ΔP/1%) │
 └─────────────┘   └─────────────┘   └──────┬───────┘
                                            │
                                            ▼
 ┌──────────────────────────────────────────────────────┐
 │ ④跨层分解（链式法则 + 交互项）                          │
 │  算法层 x_a → 软件层 x_s → 硬件层 x_h → 系统层 x_y      │
 └──────────────────────────────────────────────────────┘
                                            │
                                            ▼
 ┌──────────────────────────────────────────────────────┐
 │ ⑤边际代价曲线 C(g) 与 1% 价格表                         │
 │  输出：优化优先级、软硬投入配比、预算封顶点              │
 └──────────────────────────────────────────────────────┘

图 1：MCP 框架结构。四类成本在第 ② 步合并，第 ④ 步把 ${\kappa }_{1\%}$ 归因到四个层次，第 ⑤ 步输出决策量。

3.3 Module Details

模块 A：性能口径归一化。 不同层次的优化常在不同指标上报告收益（吞吐、延迟、每 token 成本、每瓦性能）。MCP 要求先固定一个业务口径 $P$，例如服务等级目标（Service Level Objective, SLO）约束下的有效吞吐，再把其他指标的变化折算到该口径。例如延迟下降仅在能换取更高并发或更低实例数时才计入 $P$，否则不构成可定价的 1%。

模块 B：TCO 增量核算。 四类成本的核算规则如下。

• $\Delta C_{\mathrm{hw}}$：一次性采购或流片成本按预期服役周期摊销；芯片粒（chiplet）划分带来的成本变化可直接引用成本驱动的划分模型 [2]；良率与封装成本按代际参数表折算。
• $\Delta C_{\mathrm{en}}$：按实测功耗与目标部署地区的电价、散热电力使用效率（Power Usage Effectiveness, PUE）折算为周期成本；功耗-性能表征方法参照并发内核的实证-统计方法 [14]。
• $\Delta C_{\mathrm{eng}}$：算法与软件改动按实际人月折算；量化校准、内核开发、编译器改动与回归测试均计入。
• $\Delta C_{\mathrm{risk}}$：精度回退的概率乘以回退代价，加上维护复杂度的年度折算。低比特量化的精度-效率权衡数据可为该项提供先验 [15][16]。

模块 C：${\kappa }_{1\%}$ 与弹性。 除绝对指标 ${\kappa }_{1\%}$ 外，框架同时报告无量纲弹性 ${\epsilon }_{C,P}=\frac{\mathrm{d}C/C}{\mathrm{d}P/P}$，便于跨规模比较。二者换算为 ${\kappa }_{1\%}={\epsilon }_{C,P}\cdot C_0/100$（一阶近似）。

模块 D：跨层分解。 将优化变量按四层组织：算法层 $x_a$（量化、稀疏、蒸馏、路由）、软件层 $x_s$（内核、调度、缓存、编译）、硬件层 $x_h$（微架构、频率、存储层次、互连）、系统层 $x_y$（集群拓扑、部署形态、容错）。对总微分做链式分解：

d C = ∑ ℓ ∈ { a , s , h , y } ∂ C ∂ P ℓ   d P ℓ + ∑ ℓ < m ∂ 2 C ∂ P ℓ ∂ P m   d P ℓ d P m \mathrm{d}C = \sum_{\ell \in \{a,s,h,y\}} \frac{\partial C}{\partial P_\ell}\,\mathrm{d}P_\ell + \sum_{\ell < m} \frac{\partial^2 C}{\partial P_\ell \partial P_m}\,\mathrm{d}P_\ell \mathrm{d}P_m dC=ℓ∈{a,s,h,y}∑​∂Pℓ​∂C​dPℓ​+ℓ<m∑​∂Pℓ​∂Pm​∂2C​dPℓ​dPm​

一阶项为各层独立贡献，二阶和项为软硬协同（或抵消）的交互项。交互项非零意味着单独测量各层再相加会误估总体 ${\kappa }_{1\%}$，这是"软硬一体"必须联合定价的数学表达。

模块 E：边际代价曲线。 把连续的改动序列按性价比降序排列后累加，得到成本-性能曲线 $C(g)$ 与 ${\kappa }_{1\%}(g)$。曲线的形状回答三件事：当前位置在曲线的哪一段、下一个 1% 从哪层取最便宜、预算在哪个 $g$ 处封顶。

3.4 Training / Inference

本框架不涉及模型训练，但其测量流程可分为离线标定与在线更新两阶段。

离线标定。 对每个候选改动 $x$，在固定负载与硬件上测量 $P(x)$ 与四类成本项，得到 $(g,{\kappa }_{1\%})$ 样本点；用单调回归拟合 $C(g)$。每个层次建议至少 $K=5$ 个配置点以支撑凸性检验，四层共 $4K$ 次测量。

在线更新。 负载漂移或硬件代际切换时，仅重测受影响的成本项并更新曲线。测量协议要求报告：性能口径定义、负载分布、功耗采样间隔、人月核算规则、风险折算系数，保证结果可复现。

推理期使用。 给定预算约束 $C\le C_{\max }$ 与性能目标 KaTeX parse error: Undefined control sequence: \* at position 3: g^\̲*̲，在曲线上读出可达性；若 KaTeX parse error: Undefined control sequence: \* at position 3: g^\̲*̲ 超出 $g_s^{\max }$（软件层饱和点），框架提示必须动用硬件层，并给出两层混合方案的 ${\kappa }_{1\%}$。

3.5 Complexity or Theoretical Properties

测量开销。 生成 $L$ 层、每层 $K$ 个配置点的价格表需要 $O(LK)$ 次测量；每次测量的成本为一次基准测试与一轮成本核算。相比全设计空间探索（通常随参数数目指数增长），MCP 只沿"性价比降序"的贪心路径取点，开销为多项式量级。

命题 1（边际代价递增）。 在技术代际与负载固定时，若可用优化按性价比降序排列，则 $C(g)$ 是 $g$ 的凸函数，${\kappa }_{1\%}(g)$ 单调不减。证明草图见附录 A.1。

命题 2（软件层收益饱和）。 受 Amdahl 型约束，软件层可加速的份额为 $f_s<1$，其收益上限满足 $g_s^{\max }\le \frac{1}{1-f_s}-1$；当 $g\to g_s^{\max }$ 时软件层的 ${\kappa }_{1\%}\to \infty$。该命题把"什么时候必须换硬件"变成可计算的判据。

命题 3（协同交互项的非可加性）。 若软硬件联合设计产生正交互（例如低比特格式与硬件低精度单元匹配），则二阶混合偏导 $\frac{{\partial }^{2}C}{\partial P_a\partial P_h}<0$（成本亚可加），分层独立评估将高估总代价。其符号依赖具体技术组合，本文作为可检验假设（H3）在实验中验证，不预设结论。

4 Experiments

4.1 Experimental Setup

场景。 两个互补场景：（S1）LLM 推理服务——GPU 集群上的文本生成服务，性能口径为 SLO 约束下有效吞吐；（S2）芯片设计——面向 LLM 推理的加速器设计空间，性能口径为归一化推理吞吐。

候选改动集（对应四层）。 算法层：INT8/INT4 量化、KV 缓存量化 [15][16]、稀疏化 [4]、模型路由 [11]。软件层：批处理与连续批处理、KV 缓存卸载与复用 [6][13]、内核融合、编译映射 [4]。硬件层：升配 GPU/NPU、芯片粒划分 [2]、缓存容量扩展 [12]、互连升级。系统层：异构部署、副本与容错策略、输入数据管道解耦 [7]。

基线。 三个单层基线：仅硬件换代、仅软件调优、仅算法压缩；外加随机顺序优化作为贪心顺序的对照。

指标。 主指标为 ${\kappa }_{1\%}$（货币/%）；辅指标为弹性 ${\epsilon }_{C,P}$、每瓦性能变化 [8][10]、延迟分位数变化；成本项按 3.3 节 B 的规则核算。

实现细节与超参。 负载采用固定请求长度分布与到达率；功耗采样间隔不高于 1 秒；人月折算采用统一内部费率；风险系数 $\Delta C_{\mathrm{risk}}$ 的默认值与敏感性区间在附录 A.2 给出。性能-成本联合建模的实现参考 LLM 训练与推理的系统性能-成本模型 [1] 与内核级推理仿真器 [5] 的测量方法。

4.2 Main Results

表 1 为 1% 价格表的报告模板。所有数值在实验完成前标注为 [实验数据待填]，本文不给出未经测量的估计值。

表 1：1% 价格表（模板；单位为归一化货币/%）

优化手段	层次	相对性能提升 $g$ (%)	$\Delta C_{\mathrm{hw}}$	$\Delta C_{\mathrm{en}}$	$\Delta C_{\mathrm{eng}}$	$\Delta C_{\mathrm{risk}}$	${\kappa }_{1\%}$	数据状态
INT8 量化	算法层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
INT4 量化 + 校准	算法层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
连续批处理	软件层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
KV 缓存卸载	软件层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
内核融合	软件层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
GPU 升配	硬件层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
缓存扩展	硬件层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
异构部署	系统层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
芯粒划分（S2）	硬件层	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测

表 2 为软硬协同的交互项检验模板，用于命题 3（假设 H3）。

表 2：协同交互项检验（模板）

组合	独立收益之和 $g_a+g_h$	联合收益 $g_{a+h}$	交互项符号	${\kappa }_{1\%}$（联合）	数据状态
INT4 量化 × 低精度单元	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
稀疏化 × 稀疏加速单元	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
KV 卸载 × 大缓存/近存计算	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测

4.3 Ablation Study

消融围绕三个问题展开，报告模板见表 3。

A1：成本项敏感性。 逐项移除 $\Delta C_{\mathrm{hw}}$、$\Delta C_{\mathrm{en}}$、$\Delta C_{\mathrm{eng}}$、$\Delta C_{\mathrm{risk}}$，观察 ${\kappa }_{1\%}$ 排序是否翻转。预期：工程成本主导软件层改动，硬件成本主导换代改动；若排序翻转，则说明结论对成本口径敏感，必须显式报告口径。

A2：性能口径敏感性。 分别以吞吐、P99 延迟、每 token 成本为 $P$ 重算 ${\kappa }_{1\%}$。预期：延迟型口径下批处理类改动的 ${\kappa }_{1\%}$ 上升。

A3：贪心顺序敏感性。 对比性价比降序（贪心）与随机顺序优化的累计 $C(g)$。预期：贪心路径在凸性成立时占优；偏差幅度给出命题 1 的经验支撑强度。

表 3：消融结果（模板）

消融设置	排序首位手段	排序变化	${\kappa }_{1\%}$ 变化	数据状态
A1 去掉 $\Delta C_{\mathrm{eng}}$	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
A1 去掉 $\Delta C_{\mathrm{risk}}$	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
A2 以 P99 延迟为 $P$	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测
A3 随机优化顺序	[实验数据待填]	[实验数据待填]	[实验数据待填]	待测

4.4 Analysis

定性分析。 在性价比降序排列下，低价 1% 通常来自软件层（批处理、缓存复用）与算法层（量化），其成本主要是工程人月；高价 1% 来自硬件层（换代、扩容），其成本主要是资本支出。MCP 的价值在于给出二者的换算率，使"再调一个月内核"与"多租一台实例"可以放进同一个不等式比较。

效率分析。 测量开销为 $O(LK)$ 次基准测试，$L=4$、$K=5$ 时共 20 个配置点，单点一次基准测试，工程上可在一至两周内完成一轮价格表更新。相比全设计空间扫描，MCP 只沿贪心路径取点。

失败案例（预期类型）。 两类情形下 ${\kappa }_{1\%}$ 不可靠：（1）负载分布快速漂移，基线 $P_0$ 失效；（2）改动存在阈值效应（如某量化位宽触发精度悬崖 [15]），此时 $C(g)$ 非光滑，${\kappa }_{1\%}$ 应按区间而非点报告。测量协议要求对这两类情形显式标注。

4.5 Limitations

1. ${\kappa }_{1\%}$ 依赖成本口径的定义，特别是 $\Delta C_{\mathrm{risk}}$ 的折算带主观性；本文通过敏感性分析（A1）暴露其影响，但不能消除。
2. 框架假设技术代际与负载在分析期内稳定；跨代际比较需重新标定基线。
3. 交互项（命题 3）需要联合实验才能测得，单独的分层报告会遗漏它；本文的报告模板要求显式列出组合实验，但覆盖面受实验预算限制。
4. 当前仅给出实验设计与模板，实测数值尚未填入，任何定量结论以标注为准。

5 Discussion

成因解释。 边际代价递增的根本成因是优化机会按性价比分布不均：低垂果实（软件配置、批处理、量化）先被摘取，剩余机会受 Amdahl 约束、功耗墙、良率与人力上限挤压，每一份额外 1% 都要动用更昂贵的手段。命题 2 把其中"软件层何时枯竭"量化为 $g_s^{\max }$，为换硬件的时机提供判据。

适用边界。 MCP 适用于口径可归一化、成本可货币化、负载相对稳定的系统级决策，如 LLM 服务容量规划、加速器设计权衡、优化路线图排序。它不适用于口径无法统一的探索性研究（例如以质量为唯一目标的模型创新），也不适用于法律或安全强制要求的改动——这类改动的成本不由性能收益分摊。

伦理与环境影响。 成本工程有两面性。正面：把能耗显式计入 ${\kappa }_{1\%}$ 使碳排与散热负担进入决策，有助抑制无效算力堆砌；能源感知基准的研究也指出运维方缺少这类决策依据 [10]。负面风险：若只以货币计价，能源与碳成本被低估的地区会出现成本转嫁；此外"每 1% 都要便宜"的激励可能促使团队回避难以定价但必要的安全与稳健性投入。本文建议把安全与合规列为约束项而非成本项，不参与 ${\kappa }_{1\%}$ 竞价。

6 Conclusion

本文提出软硬一体边际性能代价框架，把性能视作可定价的商品：以统一的 ${\kappa }_{1\%}$ 指标度量每 1% 相对性能提升的代价，将硬件、能耗、工程与风险四类成本折算到同一口径，并按算法、软件、硬件、系统四层做链式分解。框架给出边际代价递增、软件层收益饱和与协同交互项三个可检验命题，并提供覆盖 LLM 推理服务与芯片设计的测量协议与报告模板。实测数值待实验完成后填入；在数据缺失处本文均标注 [实验数据待填]，不做无依据的定量声明。

未来工作具体包括：（1）在 S1 与 S2 场景上完成 20 个配置点的实测，填入表 1 至表 3；（2）对命题 3 的交互项符号做组合实验检验，量化软硬联合设计的成本亚可加程度；（3）把 $C(g)$ 曲线接入自动优化器，实现预算约束下的自动手段选择；（4）扩展到训练侧，与计算最优缩放律 [17] 对接，得到训练与推理统一的 1% 价格表。

References

[1] Guo, W., Kundu, J., Tos, U., Kong, W., Sisto, G., 等. System-performance and cost modeling of Large Language Model training and inference. arXiv:2507.02456, 2025.

[2] Graening, A., Gupta, P., Kahng, A. B., Pramanik, B., Wang, Z. ChipletPart: Cost-Aware Partitioning for 2.5D Systems. arXiv:2507.19819, 2025.

[3] Irawan, M. A. P., Du, K., Yao, J., Seo, D., Huang, Y., 等. Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving. arXiv:2610.30791, 2026.

[4] Zeng, S., Liu, J., Dai, G., Yang, X., Fu, T., 等. FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs. arXiv:2401.03868, 2024（FPGA’24）.

[5] Yao, X., Kim, T., Pei, H., Liu, X., Ulrich, K., 等. KernelSight-LM: A Kernel-Level LLM Inference Simulator. arXiv:2606.28565, 2026.

[6] Wu, H., Xiao, C., Nie, J., Guo, X., Lou, B., 等. Combating the Memory Walls: Optimization Pathways for Long-Context Agentic LLM Inference. arXiv:2509.09505, 2025.

[7] Audibert, A., Chen, Y., Graur, D., Klimovic, A., Simsa, J., 等. tf.data service: A Case for Disaggregating ML Input Data Processing. arXiv:2210.14826, 2022.

[8] Makin, Y., Maliakkal, R. Sustainable AI Training via Hardware-Software Co-Design on NVIDIA, AMD, and Emerging GPU Architectures. arXiv:2508.13163, 2025.

[9] Li, C., Yu, Z., Fu, Y., Zhang, Y., Zhao, Y., 等. HW-NAS-Bench: Hardware-Aware Neural Architecture Search Benchmark. arXiv:2103.10584, 2021（ICLR 2021）.

[10] Argerich, M. F., Fürst, J., Patiño-Martínez, M. Watt Counts: Energy-Aware Benchmark for Sustainable LLM Inference on Heterogeneous GPU Architectures. arXiv:2604.09048, 2026.

[11] Behera, A. P., Champati, J. P., Morabito, R., Tarkoma, S., Gross, J. Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques. arXiv:2506.06579, 2025.

[12] Darabi, S., Sadrosadati, M., Lindegger, J., Akbarzadeh, N., Hosseini, M., 等. Morpheus: Extending the Last Level Cache Capacity in GPU Systems Using Idle GPU Core Resources. arXiv:2209.10914, 2022（MICRO 2022）.

[13] Jang, D., Wang, I.-N., Jeong, J. Tool Waiting and Re-arrival in Compile-Time-Static LLM Serving: Cost Mechanisms and Configuration Selection. arXiv:2609.34663, 2026.

[14] Goswami, N., Qouneh, A., Li, C., Li, T. An Empirical-cum-Statistical Approach to Power-Performance Characterization of Concurrent GPU Kernels. arXiv:2011.02368, 2020.

[15] Huang, C.-W., Tsai, C.-C. Qift: Shift-Friendly No-Zero W2 Post-Training Quantization for Rotated W2A4/KV4 LLM Inference. arXiv:2606.02823, 2026.

[16] Zhang, Y., Wang, W., Kong, J., Zhou, J., Zhang, X., 等. Opt4GPTQ: Co-Optimizing Memory and Computation for 4-bit GPTQ Quantized LLM Inference on Heterogeneous Platforms. arXiv:2511.19438, 2025.

[17] Anagnostidis, S., Bachmann, G., Schlag, I., Hofmann, T. Navigating Scaling Laws: Compute Optimality in Adaptive Model Training. arXiv:2311.03233, 2023.

Appendix

A.1 命题 1 证明草图

设可用优化集合为 { x 1 , x 2 , …   } \{x_1, x_2, \dots\} {x1​,x2​,…}，按单位收益成本比 $r_i=\Delta C_i/\Delta g_i$ 升序排列（性价比降序）。采用贪心顺序实施前 $k$ 项，累计成本 $C(g_k)={\sum }_{i\le k}\Delta C_i$，累计收益 $g_k={\sum }_{i\le k}\Delta g_i$。则离散边际代价为

$$\frac{C(g_k)-C(g_{k-1})}{g_k-g_{k-1}}=r_k$$

由排列规则 $r_1\le r_2\le \dots$，边际代价序列单调不减，故 $C(g)$ 为离散凸函数；在连续化极限下 ${\kappa }_{1\%}(g)$ 单调不减。证毕。需要注意：该结论依赖"性价比排序稳定"假设，若存在学习效应（工程熟练度提升）或阈值效应（精度悬崖 [15]），排序可能局部失效，此时应在报告中标注区间 ${\kappa }_{1\%}$。

A.2 风险折算的默认规则与敏感性区间

风险成本按 $\Delta C_{\mathrm{risk}}=p_{\mathrm{reg}}\cdot L_{\mathrm{reg}}+C_{\mathrm{maint}}$ 计算，其中 $p_{\mathrm{reg}}$ 为回归概率、$L_{\mathrm{reg}}$ 为回退代价、$C_{\mathrm{maint}}$ 为年度维护复杂度折算。默认取值随场景标定；敏感性分析在 $p_{\mathrm{reg}}$ 与 $C_{\mathrm{maint}}$ 各取三档（低/中/高）共 9 种组合下重算 ${\kappa }_{1\%}$，报告排序翻转点。具体数值在实验完成后填入。

A.3 测量协议清单

1. 固定并公开性能口径 $P$ 的定义与负载分布；
2. 报告功耗采样方法与 PUE 取值；
3. 报告人月折算费率与核算规则；
4. 每个层次至少 $K=5$ 个配置点，用于凸性检验；
5. 报告组合实验以估计交互项（命题 3）；
6. 一切未测数值标注 [实验数据待填]，不以估计值替代。