DeepSeek-R1论文详细解读

常见的kv cache优化算法讲解

快速计算大模型推理时所需显存

长上下文建模对于下一代语言模型至关重要，然而标准注意力机制的高计算成本带来了巨大的计算挑战。稀疏注意力为在保持模型能力的同时提高效率提供了一个有前景的方向。我们提出了原生可训练稀疏注意力机制（NSA），它将算法创新与硬件适配优化相结合，以实现高效的长上下文建模。NSA采用动态分层稀疏策略，将粗粒度token压缩与细粒度token选择相结合，既保留了全局上下文感知，又保证了局部精度。我们的方法通过两

DeepSeek系列模型算法细节剖析之混合专家(MoE)

大模型推理性能指标（计算操作字节比，计算算术强度，瓶颈分析，推理时间/内存计算）详解

详细解读大模型推理输出的全过程

Qwen3技术报告详解

利用自己构建的agent总结的算法面试八股，会从机器学习，深度学习一直到大语言模型，多模态大模型，llm发展到现在，在这个领域已经基本没有幻觉现象了，是个不错的复习手段。持续更新…

MLA详解