下图为pytorch中RNN的使用方式，cell（）中的参数inputs为所有的x，hidden为h0；输出的out为h1-hN，hidden为hN。的维度是（input_size,1),ht的维度是（hidden_size,1),上图中的RNNCell是循环使用的，比较不好想象的可能就是从。多分类问题用softmax解决。

from_logits=False：神经网络末端如果使用了softmax函数，输出为概率分布而不是原始输出，from_logits就为false，否则为True。4.model.compile：在 model.compile()中配置训练方法，选择训练时使用的优化器、损失。2.train, test：指定输入网络的训练集和测试集，如指定训练集的输入 x_train 和标签。5.model.fit：

首先定义前馈线性模型forward，然后定义了损失函数loss，接着用for循环穷举参数w，最后根据所得的数据绘制图像，可以观察到当w等于2时loss最小。前面的线性模型只有一个参数w，可以在合适的区间使用穷举的方法搜索参数w，但当模型有很多参数时，这种方法就不合适了。和线性回归相比多了sigmoid函数，损失函数也变成了BCE（交叉熵损失函数）。于是便引入了一个更好的方法——梯度下降算法来找到最

笔记来源：Transformer、GPT、BERT，预训练语言模型的前世今生（目录） - B站-水论文的程序猿 - 博客园ShusenWang的个人空间-ShusenWang个人主页-哔哩哔哩视频（RNN模型与NLP应用）传统的神经网络无法获取时序信息，然而时序信息在自然语言处理任务中非常重要。​上图左边部分称作 RNN 的一个 timestep，在这个 timestep 中可以看到，在 푡 时刻

下图为pytorch中RNN的使用方式，cell（）中的参数inputs为所有的x，hidden为h0；输出的out为h1-hN，hidden为hN。的维度是（input_size,1),ht的维度是（hidden_size,1),上图中的RNNCell是循环使用的，比较不好想象的可能就是从。多分类问题用softmax解决。

首先定义前馈线性模型forward，然后定义了损失函数loss，接着用for循环穷举参数w，最后根据所得的数据绘制图像，可以观察到当w等于2时loss最小。前面的线性模型只有一个参数w，可以在合适的区间使用穷举的方法搜索参数w，但当模型有很多参数时，这种方法就不合适了。和线性回归相比多了sigmoid函数，损失函数也变成了BCE（交叉熵损失函数）。于是便引入了一个更好的方法——梯度下降算法来找到最

本周将学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。

用户提问：如 “北京天气怎么样？Agent 引导大模型思考：通过提示词告诉大模型 “有天气查询工具，需要城市参数”。大模型决策：输出调用工具的指令，参数为city="北京"。Agent 执行工具：调用get_weather("北京")，得到结果 “晴朗，25℃”。生成回答：大模型将工具结果整理为自然语言：“北京今天晴朗，气温 25℃”。

在此背景下，检索增强生成（RAG）技术应运而生。

用户提问：如 “北京天气怎么样？Agent 引导大模型思考：通过提示词告诉大模型 “有天气查询工具，需要城市参数”。大模型决策：输出调用工具的指令，参数为city="北京"。Agent 执行工具：调用get_weather("北京")，得到结果 “晴朗，25℃”。生成回答：大模型将工具结果整理为自然语言：“北京今天晴朗，气温 25℃”。