c++ STL deque容器

BatchNorm和LayerNorm是深度学习中两种核心归一化方法。BatchNorm在batch维度上归一化，适用于计算机视觉任务和大batch场景，但依赖batch大小且训练推理不一致。LayerNorm在特征维度上归一化，适合自然语言处理、小batch和变长序列，保持特征关系且训练推理一致。关键差异在于：BatchNorm保留样本间关系但破坏特征间关系，LayerNorm则相反。实际选择需

推测解码是一种新兴的大语言模型推理加速技术，通过小模型推测候选token、大模型并行验证的协同机制，突破传统自回归生成的串行瓶颈。其核心是将小模型快速生成的多个候选token交由大模型一次性并行验证，大幅提升计算效率和内存访问性能。关键实现包括推测生成候选序列、概率接受策略和并行验证流程，通过优化算术强度和减少重复内存访问，可实现约k倍的加速比（k为推测token数）。该技术在保持生成质量的同时显

大语言模型在算术和简单推理任务中表现不佳，主要源于分词问题。分词将文本拆解为词或子词，导致数字和运算符被分割为独立token，影响模型对数学运算的整体理解。同样，在字符级任务如字符串反转中，分词阻碍了模型直接处理原始字符。此外，分词还可能导致数字与文本混合处理、语义理解偏差等问题。这些限制表明，尽管大语言模型在文本生成方面表现优异，但分词机制制约了其在精确计算和字符操作任务中的能力。