精读CTC算法论文

本文介绍了Transformer模型的架构与核心组件。该模型完全基于注意力机制，摒弃了传统的CNN和RNN结构，具有更强的并行化能力和训练效率。模型采用编解码器结构，编码器由多头自注意力层、残差连接、层归一化和前馈网络组成。重点解析了自注意力机制的计算过程，包括查询、键、值的线性变换和缩放点积注意力公式。多头注意力通过分割嵌入维度到多个子空间并行计算，最后合并结果。模型还使用残差连接缓解梯度消失，

WeNet工具包采用U2++架构统一流式与非流式语音识别，通过同一模型参数支持实时低延迟和高精度两种场景。其处理流程包括：数据下载与准备、特征计算与BPE分词、词表构建、数据格式转换及模型训练。关键点包括：使用LibriSpeech数据集，计算全局CMVN统计量，训练5000个subword的BPE模型，构建包含特殊符号的字典，生成JSON格式的训练数据列表，并支持多GPU分布式训练。该方案显著降

本文分析了WeNet语音识别工具包中U2++模型的训练流程。重点阐述了动态分块训练技术，该技术通过随机采样不同大小的分块(chunk)进行训练，使同一套模型参数既能支持非流式(全句)又能支持流式(有限延时)场景。文章详细说明了如何通过配置参数控制训练模式，并深入解析了add_optional_chunk_mask函数的实现逻辑，包括随机采样chunk大小、限制左右上下文范围等关键步骤。这种训练方法

本文以nanoGPT为例，介绍了大语言模型（LLM）训练的核心过程。LLM通过next-token prediction（预测下一个词）在大量文本上训练，最小化交叉熵损失。文章展示了nanoGPT的极简实现，包括数据预处理、模型训练和文本生成。训练过程从文本流中随机采样输入-目标对（x右移一位得y），通过交叉熵损失优化模型。文章还解释了交叉熵的信息论含义，说明其作为模型性能评估指标的作用。整个过程

本文介绍了现代大型语言模型（如LLaMA、Qwen）在Transformer架构上的关键优化组件：RMSNorm、SwiGLU和GQA，以及它们相对于传统vanilla Transformer的改进。 RMSNorm：简化了LayerNorm，去除了减均值和偏置项，仅保留按均方根缩放，计算更高效且效果相当。 SwiGLU：在FFN中引入门控机制，通过sigmoid函数实现信息筛选，相比传统ReLU

本文探讨了现代大语言模型处理超长上下文的关键技术——旋转位置编码（RoPE）。通过对比传统学习式绝对位置编码，RoPE采用"旋转"而非"相加"的方式注入位置信息，使注意力内积仅依赖相对距离而非绝对位置。这种无参数的设计赋予RoPE天然的外推能力，解决了绝对位置编码的长度限制问题。文章从注意力机制对位置感知的需求出发，详细解析了RoPE的数学原理和实现优势，包括其置换等变特性、相对位置编码机制以及零

Conformer 的论文笔记

本文分析了WeNet语音识别工具包中U2++模型的训练流程。重点阐述了动态分块训练技术，该技术通过随机采样不同大小的分块(chunk)进行训练，使同一套模型参数既能支持非流式(全句)又能支持流式(有限延时)场景。文章详细说明了如何通过配置参数控制训练模式，并深入解析了add_optional_chunk_mask函数的实现逻辑，包括随机采样chunk大小、限制左右上下文范围等关键步骤。这种训练方法

本文以nanoGPT为例，介绍了大语言模型（LLM）训练的核心过程。LLM通过next-token prediction（预测下一个词）在大量文本上训练，最小化交叉熵损失。文章展示了nanoGPT的极简实现，包括数据预处理、模型训练和文本生成。训练过程从文本流中随机采样输入-目标对（x右移一位得y），通过交叉熵损失优化模型。文章还解释了交叉熵的信息论含义，说明其作为模型性能评估指标的作用。整个过程