从随机猜测开始-->评价偏移误差 y(i)^-y(i)-->loss=（y^-y）²Mean Square Error=1/N*loss。for x_val,y_val in zip(x_data,y_data):#用zip拼成x，y的形式。监督学习：学习过程中可以看到输入和输出值，以及计算出的输出值与实际输出值的对应关系。Linear Model：y^=x*w+b作为基线。求解目标--> w和b

梯度下降法-->随机梯度下降（stochastic gradient descent）w=w-alpha*batch进行批量的随机梯度下降，每次去batch size为一组求梯度，进行更新。不一定得到全局最优，局部最优解-----需注意鞍点：gradient=0无法继续迭代。对有鞍点的cost function，在鞍点位置梯度=0，无法继续学习。随机梯度下降每一次的w是由上一次的w计算来的-->无

最终都能化简成一个线性形式，则提升模型深度不能帮助提高模型复杂度-->引入非线性激活函数矩阵梯度-->matrix cookbook。Tensor--数据存储形式：标量、向量、矩阵、高维--data权重本身值、grad损失函数对权重导数。以两层学习器为例，Y_pred=W2*(W1*X+b1)+b2=W2*W1*X+（W2*b1+b2）当网络深度增加时，无法每个权重都构建解析式。下面通过反向传播方

需要找到一个函数，将实数域映射到[0,1]-->logistic function=饱和函数-->导数如图中红线（sigmoid）

外层循环为epoch，内层循环对batch进行循环，每一次操作一个mini batch。隐藏层越多-->学习能力越强，但不代表学习能力越强越好，需要泛化能力。若使用min batch，training cycle要写作嵌套循环。同时Dataloader可以进行shuffle操作。对一个多输入单输出的回归任务，构建模型求解如下。对于mini batch： σ[]=[σ]加载数据集操作：需支持索引，即

对比交叉熵损失和NLL损失，交叉熵损失的期望输入是模型输出的原始得分，在内部完成softmax操作，而NLL损失期望输入是。计算损失--交叉熵 Loss（Y_hat，Y）=-Y *log（Y_hat）要注意最后一层不需要做非线性激活。不同结果之间应该有抑制关系，而是每个输出都满足①>0,②sum=1，最终输出是一个分布。幂运算保证>0，分母为求和项，分子为每个输出对应的概率。为何不能多弄几个输出，

需保持以下要求：每个卷积核的channel数与输入channel数相同；相当于对输入图像中一个3*3*3的张量，做卷积核为3*3*3的操作，得到channel=1输出。多通道：每一通道输入对应一个卷积核（可以不同），再将卷积输入对应位置相加。可准备多个卷积核，改变输出的channel数量，最后按顺序排列。1通道：每个位置用卷积核的对应元素与input相乘再求和。对于图像来说，会丧失空间结构信息 ，

网络结构可视化如图，numlayers代表网络深度，每一层用一个RNNcell进行训练，每一个RNNcell包括一个Wih和一个Whh，维度分别为hiddensize*inputsize和hiddensize*hiddensize。根据输入构造词典-->添加索引-->用索引替代输入-->变成独热向量（索引位置是1，其他位置均为0）输出希望知道输入的是哪个字母，因此输出是一个四维向量，接一个soft