Batch Normalization (BN) 是一种深度神经网络训练中的优化方法，通过规范化每一层的输出，使其均值为0，方差为1，降低了模型对初始化权重的敏感度，加快了训练速度。BN通过减少内部协变量偏移，降低了梯度消失、爆炸的问题，使得模型能够使用更高的学习率，提高了模型的泛化能力。BN通过减少内部协变量偏移，有助于解决梯度消失和爆炸的问题，从而允许使用更高的学习率。BN在诸如卷积神经网络（

本周学习了三种不同的自注意力机制，Local Attention 专注于输入序列的一个局部窗口，使得模型在处理一个特定元素时，只关注其附近的其他元素。相对地，Global Attention 考虑输入序列的全部元素，为每个元素分配不同的权重。Stride Attention 则是介于两者之间，它按照一定的步长（stride）选择性地关注输入序列的元素，从而在保证模型性能的同时，降低了计算复杂性。聚

在本周主要对逻辑回归进行了学习，从中了解了交叉熵（cross entropy）的表达式以及它的优势，还对softmax函数与sigmoid函数进行了比较，懂得了在多分类问题中，多用softmax函数，而不是sigmoid函数。逻辑回归(Logistic Regression)是一种统计学学习方法,用于分类问题的预测。它利用线性回归方程,通过一个sigmoid函数将其值转换到0到1之间,可以输出分类

卷积神经网络(CNN)是一种馈前神经网络,其采用卷积、池化和全连接等结构,在图像分类、目标检测、语义分割等视觉任务上有着广泛应用。CNN主要由卷积层、池化层和全连接层组成。卷积层使用卷积核对输入进行卷积运算,可以自动学习输入的空间特征。池化层对卷积层输出进行下采样,用于降维和提取主要特征。全连接层用于分类或回归任务。CNN全称是卷积神经网络(Convolutional Neural Network

本周，我学习了一种强大的深度学习模型，名为Transformer。可以把Transformer看作是一种“翻译机”，它能够读取一种语言的文本（例如英文），然后用另一种语言（例如中文）生成相同的含义。Transformer的核心理念是“注意力机制”。像我们人类阅读文本时更关注某些词语，Transformer也会对输入数据中的重要部分给予更多关注。这使得模型能够更好地理解上下文关系，从而生成更准确的输

本周学习了关于自监督式学习的内容，自监督式学习不需要外界提供有标签的资料，他的带标签的资料源于自身。BERT的预训练过程包括两个阶段：MLM和NSP，在MLM中，模型需要预测被遮盖的词语，从而学习到词语之间的关系。在NSP中，模型需要判断两个句子是否是连续的，从而学习到句子级别的语义关系。BERT的创新之处在于采用了双向上下文建模的方法，能够更好地理解上下文中的词语含义。自监督式学习是一种机器学习

本周学习了三种不同的自注意力机制，Local Attention 专注于输入序列的一个局部窗口，使得模型在处理一个特定元素时，只关注其附近的其他元素。相对地，Global Attention 考虑输入序列的全部元素，为每个元素分配不同的权重。Stride Attention 则是介于两者之间，它按照一定的步长（stride）选择性地关注输入序列的元素，从而在保证模型性能的同时，降低了计算复杂性。聚

卷积神经网络(CNN)是一种馈前神经网络,其采用卷积、池化和全连接等结构,在图像分类、目标检测、语义分割等视觉任务上有着广泛应用。CNN主要由卷积层、池化层和全连接层组成。卷积层使用卷积核对输入进行卷积运算,可以自动学习输入的空间特征。池化层对卷积层输出进行下采样,用于降维和提取主要特征。全连接层用于分类或回归任务。CNN全称是卷积神经网络(Convolutional Neural Network

自注意力（Self-attention）是一种在深度学习领域的关键技术，其目的在于捕捉序列数据中的长距离依赖关系。自注意力通过计算序列元素间的相互关联，使模型能够关注与当前元素相关的其他元素。主要实现方式包括：将输入序列映射到查询（Query）、键（Key）和值（Value）空间；计算注意力权重；对值进行加权求和；输出序列。自注意力在自然语言处理和计算机视觉等领域有广泛应用。computing;a

本周我阅读了一篇题为《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》的文献。该文献主要介绍了ConvLSTM结构，并将其应用于降水预测，取得了令人满意的结果。随后，我手动推导了一遍RNN的前向传播过程，以便更好地理解RNN的计算过程，并弄清了其中参数维度的变化。此外，我还学习