回顾大语言模型的发展，通用算法的发现，Transformer架构让Scaling变得真正可行，简单算法、超大数据、GPGPU算力的暴涨三者合力，成功地压缩互联网上几乎所有的文本资料，打造出一台非常智能的「Token预测器」。LLM近年的创新，比如注意力层计算的稀疏和优化，诞生了MTP、NSA、DSA，还有稠密FFN层的稀疏激活，以及超大规模MoE专家网络的路由激活，本质都是在解决计算层面的问题。如