DeepSeek v4 Compressor kv cache压缩模块

DeepSeek v4 Compressor kv cache压缩模块

[TRT] [E] IRuntime::deserializeCudaEngine: Error Code 1: Serialization (Serialization assertion stdVersionRead == kSERIALIZATION_VERSION failed.Version tag does not match. Note: Current Version: 237,

这里总结了深度学习模型常见的部分图优化，有一些现有的深度学习框架已经有了，有些是作者的独特发现，现有深度学习框架还没有。

Cramer-Rao Lower Bound (CRLB)下界可以用于计算无偏估计中能够获得的最佳估计精度，因此经常用于计算理论能达到的最佳估计精度，和评估参数估计方法的性能（是否接近CRLB下界）。这里选择上传了几个讲解非常清楚的PPT：http://download.csdn.net/download/u013701860/10006266总的来说，CRLB的计算为以下几个步骤：1，构

针对大语言模型权重的4bit量化，除了常规的广泛使用的group-wise均匀量化，如GPTQ, AWQ等等，苹果提出了一种称为Palettization的lookup table (LUT)查找表量化技术，高通也提出了新的一种向量量化技术，其实这两种技术原理基本上是相同的

kv cache采用BF16存储时，每个token KV cache大小：第一个2是key和value两个张量，第二个2是BF16的dtype大小。

sglang Dense LLM PD分离部署

sglang KV cache管理

DFLASH推测解码原理