1、sigmoid函数可以将任意的输入映射到（0，1）之间，当输入的值大致在<-6或者》6时，意味着输入任何值得到的激活值都是差不多的，这样会丢失部分信息。3、隐藏层（Hidden Layers）：输入层和输出层之间都是隐藏层，在神经网络中，隐藏层是介于输入层与输出层之间的所有网络层，负责对输入特征进行逐层变换和抽象提取，是实现模型非线性拟合能力的核心部分。每个输入特征对应一个神经元。这个过程就像

sigmoid函数反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。softmax就是将网络输出的logits通过softmax函数，就映射成为（0，1）的值，而这些值的累计和为1（满足概率的性质），那么我们将他理解成概率，选取概率最大（也就是值对应最大的的）节点，作为我们的预测目标类别。1、Tanh函数将输入映射到（-1，-1）之间，图像以0为中心，在0点对称，当输入大概<-

权重参数初始化从区间均匀随机取值，默认区间为（0，1）.可以设置为在（-1/√d，1/√d）均匀分布中生成当前神经元的权重，其中d为神经元的输入数量。2、forward方法，在实例化模型的时候，底层全自动调用该函数，该函数中为初始化定义的layer传入数据，进行前向传播。：随机初始化从均值为0，标准差是1的高斯分布中取样，使用一些很小的值对参数W进行初始化。1、_init_方法中定义网站中的层结构

什么是损失函数：在深度学习中，损失函数是用来衡量模型参数的质量函数，衡量的方式是比较网络输出和真实输出的差异。3、S是softmax激活函数，将属于某一类的预测分数转换成概率。4、L用来衡量真实值y和预测值f(x)之间差异性损失结果。2、而f(x)是样本属于某一类别的预测分数。1、y是样本x属于某一个类别的真是概率。

1、由于L1 Loss具有稀疏性，为了惩罚较大的值，因此常常将其作为正则项添加到其他loss中作为约束。2、在[-1,1]区间之外，实际上就是L1损失，这样就解决了离群点梯度爆炸的问题。1、在[-1,1]之间实际上就是L2损失，这样解决了L1的不光滑的问题。2、L1 loss的最大问题是梯度在零点不平滑，导致会跳过极小值。3、L用来衡量真实值y与预测值y'之间的差异性的损失结果。Smooth L1

主要是：设置连接工厂->用StringRedisSerializer来序列化和反序列化redis的key，确保key以可读的形式进行保存->用Jackson2JsonRedisSerializer来序列化和反序列化redis的value，确保value以JSON存储。登录成功后redis中会同步用户-角色的关联关系，但是光有角色 ID 是不够的，因为每个角色对应的权限数据，还没有同步到 Redis

1、由于L1 Loss具有稀疏性，为了惩罚较大的值，因此常常将其作为正则项添加到其他loss中作为约束。2、在[-1,1]区间之外，实际上就是L1损失，这样就解决了离群点梯度爆炸的问题。1、在[-1,1]之间实际上就是L2损失，这样解决了L1的不光滑的问题。2、L1 loss的最大问题是梯度在零点不平滑，导致会跳过极小值。3、L用来衡量真实值y与预测值y'之间的差异性的损失结果。Smooth L1

在该算法中，参数（模型权重）会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度，PyTorch内置了名维torch.autograd的微分模块。PyTorch不支持向量张量对向量张量的求导，只支持标量张量对向量张量的求导，如果x是张量，y必须是标量才可以进行求导。梯度下降法公式：w=w-r*grad(r是学习率，grad是梯度值)获取x点的梯度值：x.grad()，会累加上一次的梯度值。P

权重参数初始化从区间均匀随机取值，默认区间为（0，1）.可以设置为在（-1/√d，1/√d）均匀分布中生成当前神经元的权重，其中d为神经元的输入数量。2、forward方法，在实例化模型的时候，底层全自动调用该函数，该函数中为初始化定义的layer传入数据，进行前向传播。：随机初始化从均值为0，标准差是1的高斯分布中取样，使用一些很小的值对参数W进行初始化。1、_init_方法中定义网站中的层结构

sigmoid函数反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。softmax就是将网络输出的logits通过softmax函数，就映射成为（0，1）的值，而这些值的累计和为1（满足概率的性质），那么我们将他理解成概率，选取概率最大（也就是值对应最大的的）节点，作为我们的预测目标类别。1、Tanh函数将输入映射到（-1，-1）之间，图像以0为中心，在0点对称，当输入大概<-