Network-in-Network（NiN）是一种深度学习架构，它在2013年由Lin等人提出，旨在提高传统卷积神经网络（CNNs）的性能。卷积核来降维，这样虽然加大了网络深度，但是也减少了参数量和计算量，网络结构如上图b所示。去掉两个辅助分支，只复现主要分支(详细请看网络结构)，并进行实验，对猴痘病图片进行分类。黄色是头部，主要用于数据处理的，绿色是上面介绍的Inception Module结

分组卷积最早出现在AlexNet网络中，在这里将通道数分成两组，采用两个GPU并行提取特征，网络结构如下：提取到的特征图如下：作者发现第一组提取的主要是黑白特征，第二组提取的主要是彩色特征，这样分组特征可以更好的提取不同特征数据。普通卷积 VS 分组卷积先看常规卷积c * k * k如下图左边所示分组卷积，就是对输入的feature map进行分组，然后每组分别卷积。假设输入feature map

随意线索，不随意线索不随意线索：不随着自己的意思，就像上图左边所示，注意力集中在红色杯子；不随意线索：随着自己的意思，带有目的性的，如图右边所示，注意力集中在书本。

定义(统计学习方法)：分类决策树模型是一种描述对实例进行分类的树形结构，决策树由节点、有向边组成，节点类型有两种，内部节点和叶子节点，内部节点表示一个特征或者属性，叶子节点表示一个类。决策树与if-then学过任何语言的人都知道if-else结构，决策树也是这样，如果if满足某一种条件，则归到一类，不满足条件的归到另外一类，如此循环判断，一直到所有特征、属性和类都归类到某一类，最终形成一颗树注意：

是谷歌在2015年提出，是的进阶版，对于Inception系列网络来说，他是当时第一个在100层卷积网络却依然可以取得好效果的网络(ResNet还没有提出来)，相比于更深入得网络结构，在中，包含了48层卷积网络，这可以提取出更多特征，从而获得更好成果；使用分解卷积，将较大的卷积核分解为多个较小的卷积核，在保持良好性能的情况下，依然降低了网络参数量，减少计算复杂度；使用BN层，

当然，结合案例实战，看代码是如何构建神经网络的才是最重要的，下面就是一个股价预测案例，核心是在于怎么构建LSTM网络结构，怎么进行前向传播。

这是一道“泰迪杯“杯的数据分析赛题，对于我现阶段，难度还是很大的，参考了不少资料做完的，这一次我再一次意思到了自己的实力🌵🌵🌵🌵🌵🌵；熟练使用Pandas、机器学习库是基础😢😢😢😢😢😢😢;我感觉数据分析具有很强的业务性，很适合学生去学习，从而了解业务；这一次代码量很大，观看起来应该都很麻烦，但是总体坐下来对数据分析逻辑也有了不小帮助；

摘要： BERT是一种基于Transformer编码器的预训练语言模型，通过双向上下文捕捉文本信息。其架构包括输入层（Token/Position/Segment Embedding）、Transformer编码器（自注意力机制等）和任务相关输出层。BERT采用两种预训练任务：MLM（随机遮蔽词汇预测）和NSP（句子连续性判断）。与GPT不同，BERT是双向模型，适用于多种NLP任务。输入支持单句

GPT

LLama