需要注意的是，TPS 的计算是批量（batch）完成的，不是实时（live）动态变化的指标。（Sampling Parameters）：不同的采样策略，比如：Greedy（每次选得分最高的 Token）、Top-p（按累积概率筛选）、Top-k（按最高 k 个概率选）、Temperature（调整随机性）都会影响生成速度。这意味着，最终统计的结果是基于一部分已经完成的代表性请求子集得出的，也就是说

增量量化的兼容性差：大模型常需 “增量训练”（如在原有模型基础上新增任务微调），但量化后的模型参数（如 INT4 权重）反向传播时精度不足，需先将量化权重反量化为 FP32 再训练，导致增量训练的内存 / 计算成本与原模型训练几乎无异，失去量化意义。：多模态模型中，不同模态的特征需通过 “跨模态注意力”“模态融合层” 交互，量化会破坏模态间的特征对齐 —— 例如文本特征（4bit 量化）与图像特征

需要注意的是，TPS 的计算是批量（batch）完成的，不是实时（live）动态变化的指标。（Sampling Parameters）：不同的采样策略，比如：Greedy（每次选得分最高的 Token）、Top-p（按累积概率筛选）、Top-k（按最高 k 个概率选）、Temperature（调整随机性）都会影响生成速度。这意味着，最终统计的结果是基于一部分已经完成的代表性请求子集得出的，也就是说

想让客户买单，必须将模型推理用到的所有工具做到极致好用，比如驱动、SDK、量化工具、性能分析工具、Debug工具，对于一家中小规模公司，那简直是灾难。近两年，我一直在端侧 AI 这条路上摸爬滚打，模型格式转换、模型量化、算子开发、性能调优、推理框架支持等，积累了一小点经验，今天不讲理论，就跟你聊聊那些。模型在变小（同等能力下参数量在缩减），芯片在变强（每一代 NPU 的能力都在翻倍），工具链在变好

Anthropic开始做云服务商做的事——提供计算资源和运行环境，只不过跑在上面的是AI Agent。每次都要处理，又慢又费钱。预计Google、OpenAI、以及国内的大模型厂商，都会推出类似的托管Agent服务。就像给一个大厨一把好刀和一口好锅， 他能做出千变万化的菜——不需要108种厨具。传统做法：AI每调用一个工具，结果都要经过"大脑"处理，然后再决定下一步。企业最担心的问题——Agent

Anthropic开始做云服务商做的事——提供计算资源和运行环境，只不过跑在上面的是AI Agent。每次都要处理，又慢又费钱。预计Google、OpenAI、以及国内的大模型厂商，都会推出类似的托管Agent服务。就像给一个大厨一把好刀和一口好锅， 他能做出千变万化的菜——不需要108种厨具。传统做法：AI每调用一个工具，结果都要经过"大脑"处理，然后再决定下一步。企业最担心的问题——Agent

Model 是一匹千里马，Harness 是马鞍、缰绳和赛道。没有 Harness，千里马只能在草地上乱跑；有了 Harness，它才能赢比赛。这些基础设施工作可能。Anthropic开始做云服务商做的事——提供计算资源和运行环境，只不过跑在上面的是AI Agent。Anthropic在设计这套系统时，遵循了三个核心思路。AI自己决定哪些结果需要仔细看、哪些可以直接跳过。：很多中间结果根本不需要"

Anthropic开始做云服务商做的事——提供计算资源和运行环境，只不过跑在上面的是AI Agent。每次都要处理，又慢又费钱。预计Google、OpenAI、以及国内的大模型厂商，都会推出类似的托管Agent服务。就像给一个大厨一把好刀和一口好锅， 他能做出千变万化的菜——不需要108种厨具。传统做法：AI每调用一个工具，结果都要经过"大脑"处理，然后再决定下一步。企业最担心的问题——Agent

Model 是一匹千里马，Harness 是马鞍、缰绳和赛道。没有 Harness，千里马只能在草地上乱跑；有了 Harness，它才能赢比赛。这些基础设施工作可能。Anthropic开始做云服务商做的事——提供计算资源和运行环境，只不过跑在上面的是AI Agent。Anthropic在设计这套系统时，遵循了三个核心思路。AI自己决定哪些结果需要仔细看、哪些可以直接跳过。：很多中间结果根本不需要"

Model 是一匹千里马，Harness 是马鞍、缰绳和赛道。没有 Harness，千里马只能在草地上乱跑；有了 Harness，它才能赢比赛。这些基础设施工作可能。Anthropic开始做云服务商做的事——提供计算资源和运行环境，只不过跑在上面的是AI Agent。Anthropic在设计这套系统时，遵循了三个核心思路。AI自己决定哪些结果需要仔细看、哪些可以直接跳过。：很多中间结果根本不需要"