L2正则化（L2 Regularization）：也称为Ridge正则化，它通过在目标函数中添加模型参数的L2范数的平方作为正则化项，限制参数的平方和。L1正则化（L1 Regularization）：也称为Lasso正则化，它通过在目标函数中添加模型参数的L1范数作为正则化项，限制参数的绝对值之和。MLE基于观测数据的似然函数，寻找能够使观测数据出现的概率最大化的参数值。逻辑回归的目标是根据输入

L2正则化（L2 Regularization）：也称为Ridge正则化，它通过在目标函数中添加模型参数的L2范数的平方作为正则化项，限制参数的平方和。L1正则化（L1 Regularization）：也称为Lasso正则化，它通过在目标函数中添加模型参数的L1范数作为正则化项，限制参数的绝对值之和。MLE基于观测数据的似然函数，寻找能够使观测数据出现的概率最大化的参数值。逻辑回归的目标是根据输入

和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。损失函数是各输出的损失加和；其中超参数是filter size=f和stride=s是自己设置的，这层没有要学习的参数。与LSTM相比，GRU内部少了一个”门“，参数比LSTM少，却能达到与LSTM相当的功能，我们常常觉得GRU更加”实用“！（3）filter的长度一般取3，一般会取基数，使得除法可以整除。记忆门🚪：要保留/

BERT的主要特点是双向编码（bidirectional encoding。BERT则采用了Masked Language Model（MLM）和Next Sentence Prediction（NSP）两种预训练任务，使得模型能够同时利用左侧和右侧的上下文信息进行预测；

Transformers是一种用于自然语言处理（NLP）任务的神经网络架构。它由多个编码器-解码器层组成，其中每个层都包含一个自注意力机制。自注意力机制使得模型能够在输入序列的各个位置上进行关注和权重分配，以便更好地捕捉序列中的相关性。自注意力机制通过将输入序列中的每个元素与所有其他元素进行比较和加权，为每个元素分配一个注意力权重。这个过程可以帮助模型更好地理解序列中元素之间的依赖关系。

L2正则化（L2 Regularization）：也称为Ridge正则化，它通过在目标函数中添加模型参数的L2范数的平方作为正则化项，限制参数的平方和。L1正则化（L1 Regularization）：也称为Lasso正则化，它通过在目标函数中添加模型参数的L1范数作为正则化项，限制参数的绝对值之和。MLE基于观测数据的似然函数，寻找能够使观测数据出现的概率最大化的参数值。逻辑回归的目标是根据输入