在第3节中，我们学习了如何将预训练好的卷积神经网络作为特征提取器。通过加载预训练好的模型，可以提取指定层的输出作为特征向量，并将特征向量保存到磁盘。有了特征向量之后，我们就可以在特征向量上训练传统的机器学习算法(比如在第3节中我们使用的逻辑回归模型)。当然对于特征向量，我们也可以使用手工提取特征方法，比如SIFT[15],HOG[14],LBPs[16]等。一般来说，在计算机视觉任务中，深度学习.

从这节开始，我们将讨论关于迁移学习的内容，即用预先训练好的模型（往往是在大型数据上训练得到的）对新的数据进行学习.首先，从传统的机器学习场景出发，即考虑两个分类任务：第一个任务是训练一个卷积神经网络来识别图像中的狗和猫。第二个任务是训练一个卷积神经网络识别三种不同的熊，即灰熊、北极熊和大熊猫。正常情况下，当我们使用机器学习、神经网络和深度学习等进行实践时，我们会将这两个任务视为...

在上一章中，我们讨论了GoogLeNet网络结构和Inception模块，这节中，我们将讨论由一个新的微结构模块组成的网络结构，即由residual微结构组成的网络结构——ResNet。ResNet网络由residual模块串联而成，在原论文中，我们发现作者训练的ResNet网络深度达到了先前认为不可能的深度。在2014年，我们认为VGG16和VGG19网络结构已经非常深了。然而，通过ResNe.

在深度学习实践中，当训练数据量少时，可能会出现过拟合问题。根据Goodfellow等人的观点，我们对学习算法的任何修改的目的都是为了减小泛化误差，而不是训练误差。我们已经在sb[后续补充]中提到了不同类型的正则化手段来防止模型的过拟合，然而，这些都是针对参数的正则化形式，往往要求我们修改loss函数。事实上，还有其他方式防止模型过拟合，比如：1.修改网络本身架构2.增加数据Dropou...

前面几节内容中，我们都是对小数据集（相对于工业界而言）进行实验，使用CPU环境也可以完美地实现。接下来，我们将使用ImageNet数据集进行实验，该数据集比较大，需要在GPU环境下进行。在对ImageNet数据进行建模之前，我们首先来认识下ImageNet数据集以及对该数据集进行预处理。ImageNet数据集介绍ImageNet是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库。是..

在上一章中，我们讨论了GoogLeNet网络结构和Inception模块，这节中，我们将讨论由一个新的微结构模块组成的网络结构，即由residual微结构组成的网络结构——ResNet。ResNet网络由residual模块串联而成，在原论文中，我们发现作者训练的ResNet网络深度达到了先前认为不可能的深度。在2014年，我们认为VGG16和VGG19网络结构已经非常深了。然而，通过ResNe.

第7章 预训练语言模型7.1 概述微调： 让模型从海量数据中充分学习如何从数据中提取特征。然后，会根据具体的目标任务，使用相应的领域数据精调，使模型进一步“靠近”目标任务的应用场景，起到领域适配和任务适配的作用。预训练语言模型具有“三大”特点——大数据、大模型和大算力。7.2 GPTGPT提出了“生成式预训练+判别式任务精调”的自然语言处理新范式，生成式预训练：在大规模文本数据上训练一个高容量的语

在深度学习实践中，当训练数据量少时，可能会出现过拟合问题。根据Goodfellow等人的观点，我们对学习算法的任何修改的目的都是为了减小泛化误差，而不是训练误差。我们已经在sb[后续补充]中提到了不同类型的正则化手段来防止模型的过拟合，然而，这些都是针对参数的正则化形式，往往要求我们修改loss函数。事实上，还有其他方式防止模型过拟合，比如：1.修改网络本身架构2.增加数据Dropou...

本篇文章主要介绍如何使用TensorFlow构建自己的图片数据集TFRecord的方法，并使用最新的数据处理Dataset API进行操作。TFRecordTFRecord数据文件是一种对任何数据进行存储的二进制文件，能更好的利用内存，在TensorFlow中快速的复制，移动，读取，存储等，只要生成一次TFRecord，之后的数据读取和加工处理的效率都会得到提高。一般来说，我们使用Tenso...

本文介绍神经网络训练中的周期性学习率技术。Introduction学习率(learning_rate, LR)是神经网络训练过程中最重要的超参数之一，它对于快速、高效地训练神经网络至关重要。简单来说，LR决定了我们当前的权重参数朝着降低损失的方向上改变多少。new_weight = exsiting_weight - learning_rate * gradient这看上去很简单。但是...