卷积神经网络是深度学习在计算机视觉领域的突破性成果，在计算机视觉领域，往往我们输入的图像都很大，使用全连接网络的话，计算的代价较高；另外图像也很难保留原有的特征，导致图像处理的准确率不高。卷积神经网络（CNN）是含有卷积层的神经网络，卷积层的作用就是用来自动学习、提取图像的特征。CNN网络主要有三部分构成：卷积层、池化层和全连接层构成，其中卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级

通过前面的学习，我们已经掌握了PyTorch API的基本使用，今天我们使用PyTorch实现手写数字识别案例！通过前面的内容可知，调用MNIST返回的结果中图形数据是一个Image对象,需要对其进行处理，为了进行数据的处理，接下来学习的方法~是PyTorch中用于图像预处理和增强的一个重要模块，它提供了多种对的方法，如裁剪、旋转、缩放、归一化等。这些方法可以单独使用，也可以通过类组合起来，形成复

🍊。大家好！今天我们将一起踏上一场探索深度学习的奇妙之旅，而我们的起点，就是线性回归这一经典而基础的算法。我将带大家从零开始，手动实现线性回归！

神经网络的学习其实在学习数据的分布，随着网络的深度增加、网络复杂度增加，一般流经网络的数据都是一个 mini batch，每个 mini batch 之间的数据分布变化非常剧烈，这就使得网络参数频繁的进行大的调整以适应流经网络的不同分布的数据，给模型训练带来非常大的不稳定性，使得模型难以收敛。这个过程涉及到最小化一个包含L2正则化项的损失函数，以找到最佳的参数值，使得模型在训练集上的表现最优，同时

，梯度为 0，参数无法优化，碰到局部最小值。AdaGrad 通过对不同的参数分量使用不同的学习率，AdaGrad 的学习率总体会逐渐减小，这是因为 AdaGrad算法认为：在起初时，我们距离最优目标仍较远，可以使用较大的学习率，加快训练速度，随着迭代次数的增加，学习率逐渐下降。AdaGrad通过这种方式实现了对每个参数的个性化学习率调整，使得在参数空间较平缓的方向上可以取得更大的进步，而在陡峭的方

​在线性回归中，我们使用最小二乘法，能够直接计算损失函数最小值时的参数值，但是，最小二乘法有使用的限制条件，在大多数机器学习的使用场景之下，我们会选择梯度下降的方法来计算损失函数的极小值，首先梯度下降算法的目标仍然是求最小值，但和最小二乘法这种一步到位、通过解方程组直接求得最小值的方式不同，梯度下降是通过一种“迭代求解”的方式来进行最小值的求解，其整体求解过程可以粗略描述为，先随机选取一组参数初始

，梯度为 0，参数无法优化，碰到局部最小值。AdaGrad 通过对不同的参数分量使用不同的学习率，AdaGrad 的学习率总体会逐渐减小，这是因为 AdaGrad算法认为：在起初时，我们距离最优目标仍较远，可以使用较大的学习率，加快训练速度，随着迭代次数的增加，学习率逐渐下降。AdaGrad通过这种方式实现了对每个参数的个性化学习率调整，使得在参数空间较平缓的方向上可以取得更大的进步，而在陡峭的方

Flash Attention 是一种针对 Transformer 模型中注意力机制的优化实现，旨在提高计算效率和内存利用率。随着大模型的普及，Flash Attention V3 在 H100 GPU 上实现了显著的性能提升，相比于前一版本，V3 通过异步化计算、优化数据传输和引入低精度计算等技术，进一步加速了注意力计算。

例如，华佗GPT通过融合ChatGPT生成的"蒸馏数据"和真实世界医生回复的数据，训练并开源了一个新的医疗大模型，能够提供更准确的医疗问诊服务[例如，华佗GPT通过融合ChatGPT生成的"蒸馏数据"和真实世界医生回复的数据，训练并开源了一个新的医疗大模型，能够在单轮与多轮问诊场景中提供更准确的诊断和治疗建议[京医千询是京东健康旗下的医疗大模型，是国内医疗行业首个全面开源的垂类大模型。未来，国内开

例如，华佗GPT通过融合ChatGPT生成的"蒸馏数据"和真实世界医生回复的数据，训练并开源了一个新的医疗大模型，能够提供更准确的医疗问诊服务[例如，华佗GPT通过融合ChatGPT生成的"蒸馏数据"和真实世界医生回复的数据，训练并开源了一个新的医疗大模型，能够在单轮与多轮问诊场景中提供更准确的诊断和治疗建议[京医千询是京东健康旗下的医疗大模型，是国内医疗行业首个全面开源的垂类大模型。未来，国内开