本周将学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。

在此背景下，检索增强生成（RAG）技术应运而生。

用户提问：如 “北京天气怎么样？Agent 引导大模型思考：通过提示词告诉大模型 “有天气查询工具，需要城市参数”。大模型决策：输出调用工具的指令，参数为city="北京"。Agent 执行工具：调用get_weather("北京")，得到结果 “晴朗，25℃”。生成回答：大模型将工具结果整理为自然语言：“北京今天晴朗，气温 25℃”。

介绍：通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。

在分类问题中使用 MSE 损失函数可能不太合适，因为它对概率的微小差异不够敏感，而且在分类问题中通常需要使用激活函数（如 Sigmoid 或 Softmax）将输出映射到概率空间，使得 MSE 的数学性质不再适用。对比学习的目标是学习数据的表示，以捕捉不同数据点之间的基本结构和关系。在对比学习中，算法被训练最大化相似数据点之间的相似度，并最小化不相似数据点之间的相似度。该公式可以看作是一个基于概率

BERT 模型可以作为公认的里程碑式的模型，是近年来优秀预训练语言模型的集大成者：参考了 ELMO 模型的双向编码思想、借鉴了 GPT 用 Transformer 作为特征提取器的思路、采用了 word2vec 所使用的 CBOW 方法。

首先定义前馈线性模型forward，然后定义了损失函数loss，接着用for循环穷举参数w，最后根据所得的数据绘制图像，可以观察到当w等于2时loss最小。前面的线性模型只有一个参数w，可以在合适的区间使用穷举的方法搜索参数w，但当模型有很多参数时，这种方法就不合适了。和线性回归相比多了sigmoid函数，损失函数也变成了BCE（交叉熵损失函数）。于是便引入了一个更好的方法——梯度下降算法来找到最

首先定义前馈线性模型forward，然后定义了损失函数loss，接着用for循环穷举参数w，最后根据所得的数据绘制图像，可以观察到当w等于2时loss最小。前面的线性模型只有一个参数w，可以在合适的区间使用穷举的方法搜索参数w，但当模型有很多参数时，这种方法就不合适了。和线性回归相比多了sigmoid函数，损失函数也变成了BCE（交叉熵损失函数）。于是便引入了一个更好的方法——梯度下降算法来找到最

主要使用的是paddleocr库（一个基于PaddlePaddle的OCR（光学字符识别）库），安装这个库之前还需要安装其依赖项lmbd(是一个C库，用于存储键值对的数据库)，而安装lmdb，又需要安装一个名为patch-ng。

卷积实际上就是特征提取。本讲我们先了解学习卷积神经网络基础知识，再一步步地学习搭建卷积神经网络，最后会运用卷积神经网络对cifar10 数据集分类。在本讲的最后附上几个经典卷积神经网络：LeNet、AlexNet、VGGNet、InceptionNet和 ResNet。