sglang Dense LLM PD分离部署

sglang KV cache管理

DFLASH推测解码原理

此外，需要设置环境变量SGLANG_DG_CACHE_DIR(早期版本为SGL_DG_CACHE_DIR)指定缓存目录，并且以后launch_server启动模型也要加上这个从而提升模型启动速度。python3 -m sglang.launch_server这个改成python3 -m sglang.compile_deep_gemm。按照启动模型的方式一样来启动compile_deep_gemm

SGLang HiRadix Cache KV Cache offload

SGLang PD分离流程细节

DeepSeek v4 Compressor kv cache压缩模块

深度学习模型量化基础

guidellm LLM大模型性能评测工具

这里总结了深度学习模型常见的部分图优化，有一些现有的深度学习框架已经有了，有些是作者的独特发现，现有深度学习框架还没有。