正如你所看到的，整个系统的吞吐量随着GPU的数量线性扩展，经过一定的操作后，添加更多的GPU并不会导致每次迭代的显著放缓。环形allgather与散列归约完全相同（有N-1次发送和接收的迭代），except相反的是，GPU们接收到的值，GPU们简单地覆盖块。在接下来的迭代中，该过程继续进行，到最后，每个GPU都会有一个块，其中包含该块在所有GPU上的所有值的和。系统中有N个GPU，每个GPU都有同

为了实现SIMD操作，硬件确实需要增加ALU（算术逻辑单元）单元的数量，这些单元可以同时处理多个数据元素。增加的ALU单元使得处理器可以在单一时钟周期内对多个数据元素进行操作，从而提高计算吞吐量。硬件结构的变化为了实现SIMD操作，处理器的硬件结构需要进行一些变化：增加ALU单元：处理器需要增加多个ALU单元，这些单元可以同时处理多个数据元素。例如，对于8位整数的SIMD操作，处理器可能需要8个A

如前所述，根据Kimi的历史统计数据，MOONCAKE在A800和H800集群上分别实现了比基于vLLM的原有系统多处理115%和107%的请求量。具体而言，我们测量每个请求的首令牌生成时间（TTFT）和尾部延迟（TBT），其中TBT通过计算最长10%的token到达间隔的平均值确定。如§2所述，TTFT阈值设为30秒，TBT阈值根据场景分别设为100 ms、200 ms和300 ms。若请求的T

如图2所示，

作为模型即服务（MaaS）提供商，Kimi [5] 的核心目标之一是解决一个包含多重复杂约束的优化问题：优化目标是最大化整体有效吞吐量（直接影响收入），而约束条件则体现为不同层级的 SLOs。该平台以 KVCache 为中心，采用分离式架构——不仅将预填充（prefill）和解码（decoding）集群解耦，还通过高效利用 GPU 集群中未被充分利用的 CPU、DRAM、SSD 和网卡（NIC）资

为此，我们提出了Llumnix ——一种针对LLM服务的系统，它通过跨多个模型实例的运行时动态重调度 来应对异构且不可预测的请求。评估表明，与现有最先进的LLM服务系统相比，Llumnix将尾延迟降低了一个数量级，高优先级请求加速达1.5倍，且在保持相似尾延迟的情况下实现高达36%的成本节约。重调度通过响应请求实际内存增长，补充了初始调度的不足。在大多数时间段内，集群总空闲内存足以容纳至少三个实例

例如，假设两个FP8数相乘后的结果需要更多的位数来表示，这时候如果立即转换为FP8来累加，可能会导致精度损失或溢出。在最终存储结果时，可能再将其转换为较低的精度（如FP16或FP8），但中间过程的累加器保持高精度可以提升整体计算的准确性。如果输入矩阵是FP8，那么乘法操作的结果会是FP8乘以FP8的结果。两个8位浮点数相乘的结果可能超过8位的表示范围，所以需要扩展精度来保存中间结果。例如，在计算C

asmvolatile::asmvolatile::asmvolatileasmvolatile学习double buffer 优化矩阵乘法， 看到了指令性的东西。

难点在于划分warp。涉及三次划分warp。全局内存到共享内存如何划分warp?利用TensorCor 即wmma 接口实现16*16 矩阵相乘时，如何划分warp？将计算结果，写回全局内存，怎样划分warp 实现并行？这三次划分warp 可以独立的划分。原因在于，三次操作间已经__syncthreads()同步过了。代码中， 后两次划分warp方式可以保持一致。笔者学习过程中，对数据搬用划分可以

L40 GPU的卸载场景中 ，Llama2-70B模型的推理延迟可降低至0.56秒/标记 ，而当前最先进的卸载系统（如DeepSpeed-Zero-Inference [2]）的延迟为5.5秒/标记，Huggingface Accelerate [16, 45] 的CPU卸载API则高达11秒/标记。在此，我们回顾基于树的推测解码方法。具体而言，我们将讨论现有方法如何选择推测树的结构（第2.1节）