决策树是机器学习中一种最为常见的算法。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面对决策问题时一种很自然的处理机制。决策树的生成算法可以说是信息论的一种应用，但它其实只用到了信息论中的一小部分思想。因此对信息论有个基础性的理解时很有必要的。

ShuffleNet V1 是一种轻量级的卷积神经网络架构，通过使用分组卷积和通道重排技术，在保持较高分类准确率的同时，极大地降低了模型的计算复杂度和内存占用。这种设计使其成为在资源受限设备上运行的理想选择。分组卷积是一种高效的卷积运算方式，它将输入通道分成多个组，并在每个组内独立进行卷积运算。这种做法减少了计算量和参数数量，尤其是在处理高分辨率图像时效果显著。通道混洗是一种特殊的操作，用于在分组

EfficientNet 是 Google 提出的一种高效的神经网络架构，它的核心思想是通过比例缩放网络的宽度（通道数）、高度和深度（层数）来平衡计算资源和准确性。EfficientNet 使用了一种称为“复合缩放法”（compound scaling method），这种方法基于模型规模和训练数据量动态调整网络的宽度、高度和深度，以获得最佳性能。这种缩放方法使得模型能够根据可用的计算资源和数据量

AlexNet 是深度学习历史上一个非常重要的里程碑，它代表了深度卷积神经网络（Convolutional Neural Network, CNN）的一次重大突破。AlexNet 由多伦多大学的Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton 设计，并在 2012 年的 ImageNet 大规模视觉识别挑战赛（ILSVRC）中赢得了冠军。这一胜利显著降低

我们常用的是 D 配置，即 VGG-16，如上图，VGG-16 的 “16” 来源于网络中含有的 16 个有可学习权重的层，其中包括 13 个卷积层和 3 个全连接层。所有的卷积层都使用 3x3 大小的卷积核，所有的池化层都使用 2x2 的窗口和步幅为 2，这样可以将特征图的尺寸减半。

GoogLeNet，也被称为 Inception-v1，是由 Google 的研究人员设计的一种深度卷积神经网络（CNN），并在 2014 年的 ImageNet 大规模视觉识别挑战赛（ILSVRC 2014）中获得了第一名。GoogLeNet 的主要设计目标是在不显著增加计算成本的前提下，提高网络的深度和宽度，从而提高模型的准确率。

ResNeXt（Residual Networks with Next）是一种深度学习模型，它是在经典的ResNet（残差网络）的基础上发展起来的，，旨在通过引入“cardinality”（基数）的概念来提高网络的性能和效率。ResNeXt 由 Facebook AI Research 团队提出，首次出现在 2016 年的论文《Aggregated Residual Transformations

EfficientNet V2 是 EfficientNet 系列的第二代模型，由谷歌的研究人员在 2021 年的 ICML 会议上提出。EfficientNet V2 继承了EfficientNet V1的核心理念，即复合缩放方法(Compound Scaling)，但在此基础上进行了多项改进，以实现更小的模型体积、更快的训练速度和更好的参数效率。

为了进一步减少延迟时间，MobileNetV3 优化了模型的最后阶段，通过减少不必要的操作，例如减少卷积层的数量，这在保持模型精度的同时显著降低了计算量和运行时间。

作者通过实验展示了 ReLU 激活函数在高维空间中对低维流形的影响。他们首先将一个二维矩阵（channel=1）通过矩阵T升维到更高维度，接着应用 ReLU 激活函数，然后用T的逆矩阵将其还原回二维空间。当T的维度较低（如 2 或 3）时，还原后的二维矩阵会丢失很多信息。然而，随着维度的增加，信息丢失逐渐减少。因此，为了避免 ReLU 激活函数对低维特征造成过多信息损失，倒置残差结构选择使用线性激