这里总结了深度学习模型常见的部分图优化，有一些现有的深度学习框架已经有了，有些是作者的独特发现，现有深度学习框架还没有。

Cramer-Rao Lower Bound (CRLB)下界可以用于计算无偏估计中能够获得的最佳估计精度，因此经常用于计算理论能达到的最佳估计精度，和评估参数估计方法的性能（是否接近CRLB下界）。这里选择上传了几个讲解非常清楚的PPT：http://download.csdn.net/download/u013701860/10006266总的来说，CRLB的计算为以下几个步骤：1，构

针对大语言模型权重的4bit量化，除了常规的广泛使用的group-wise均匀量化，如GPTQ, AWQ等等，苹果提出了一种称为Palettization的lookup table (LUT)查找表量化技术，高通也提出了新的一种向量量化技术，其实这两种技术原理基本上是相同的

kv cache采用BF16存储时，每个token KV cache大小：第一个2是key和value两个张量，第二个2是BF16的dtype大小。

sglang Dense LLM PD分离部署

sglang KV cache管理

DFLASH推测解码原理

此外，需要设置环境变量SGLANG_DG_CACHE_DIR(早期版本为SGL_DG_CACHE_DIR)指定缓存目录，并且以后launch_server启动模型也要加上这个从而提升模型启动速度。python3 -m sglang.launch_server这个改成python3 -m sglang.compile_deep_gemm。按照启动模型的方式一样来启动compile_deep_gemm

SGLang HiRadix Cache KV Cache offload

SGLang PD分离流程细节