下图为pytorch中RNN的使用方式，cell（）中的参数inputs为所有的x，hidden为h0；输出的out为h1-hN，hidden为hN。的维度是（input_size,1),ht的维度是（hidden_size,1),上图中的RNNCell是循环使用的，比较不好想象的可能就是从。多分类问题用softmax解决。

首先定义前馈线性模型forward，然后定义了损失函数loss，接着用for循环穷举参数w，最后根据所得的数据绘制图像，可以观察到当w等于2时loss最小。前面的线性模型只有一个参数w，可以在合适的区间使用穷举的方法搜索参数w，但当模型有很多参数时，这种方法就不合适了。和线性回归相比多了sigmoid函数，损失函数也变成了BCE（交叉熵损失函数）。于是便引入了一个更好的方法——梯度下降算法来找到最

本周将学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。

用户提问：如 “北京天气怎么样？Agent 引导大模型思考：通过提示词告诉大模型 “有天气查询工具，需要城市参数”。大模型决策：输出调用工具的指令，参数为city="北京"。Agent 执行工具：调用get_weather("北京")，得到结果 “晴朗，25℃”。生成回答：大模型将工具结果整理为自然语言：“北京今天晴朗，气温 25℃”。

在此背景下，检索增强生成（RAG）技术应运而生。

用户提问：如 “北京天气怎么样？Agent 引导大模型思考：通过提示词告诉大模型 “有天气查询工具，需要城市参数”。大模型决策：输出调用工具的指令，参数为city="北京"。Agent 执行工具：调用get_weather("北京")，得到结果 “晴朗，25℃”。生成回答：大模型将工具结果整理为自然语言：“北京今天晴朗，气温 25℃”。

介绍：通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。

在分类问题中使用 MSE 损失函数可能不太合适，因为它对概率的微小差异不够敏感，而且在分类问题中通常需要使用激活函数（如 Sigmoid 或 Softmax）将输出映射到概率空间，使得 MSE 的数学性质不再适用。对比学习的目标是学习数据的表示，以捕捉不同数据点之间的基本结构和关系。在对比学习中，算法被训练最大化相似数据点之间的相似度，并最小化不相似数据点之间的相似度。该公式可以看作是一个基于概率

首先定义前馈线性模型forward，然后定义了损失函数loss，接着用for循环穷举参数w，最后根据所得的数据绘制图像，可以观察到当w等于2时loss最小。前面的线性模型只有一个参数w，可以在合适的区间使用穷举的方法搜索参数w，但当模型有很多参数时，这种方法就不合适了。和线性回归相比多了sigmoid函数，损失函数也变成了BCE（交叉熵损失函数）。于是便引入了一个更好的方法——梯度下降算法来找到最

主要使用的是paddleocr库（一个基于PaddlePaddle的OCR（光学字符识别）库），安装这个库之前还需要安装其依赖项lmbd(是一个C库，用于存储键值对的数据库)，而安装lmdb，又需要安装一个名为patch-ng。