摘要：本文探讨了深度学习中的反向传播算法及其常见问题——梯度消失和梯度爆炸。反向传播通过链式求导法则高效计算梯度，但深层网络训练时可能出现梯度不稳定问题。梯度消失源于连乘因子小于1，导致浅层参数更新停滞；梯度爆炸则因连乘因子大于1，造成数值溢出和模型不稳定。解决方案包括：使用ReLU类激活函数、批量归一化、Xavier/He参数初始化，以及采用残差连接等网络架构优化。这些方法有效缓解了深层网络的训

【适合菜鸟】【适合小白】本文通过5个逐步复杂的能量发射场景，生动解释了卷积的物理意义：卷积描述了历史输入信号(f)在当前时刻(t)的累积效应(e)，考虑了系统特性(g)对信号的衰减作用。在场景1-5中，从单次发射到持续发射，最终推导出卷积公式e(t)=∫f(τ)g(t-τ)dτ。文章指出卷积广泛应用于信号处理（时间信号衰减）和图像处理（空间特征提取），并哲学性地引申：现状是历史与系统特性的卷积结果

本文介绍了机器学习的概念、发展背景及实现步骤。机器学习作为实现AI的重要途径，通过从数据中提取规律进行预测和决策。其发展得益于数据、算力和应用场景的成熟。传统机器学习流程包括数据预处理、特征工程（核心环节）、模型训练与调优、部署应用等步骤。重点强调了特征工程的重要性，涉及特征提取、构造、选择和归一化等关键技术，以及常用算法和评估方法。最后指出模型部署后需持续监控和更新以应对数据变化。

为避免一学就会、一用就废，这里做下笔记。

1、神经网络是一种算法框架，该算法框架用来构建类似生物神经网络结构的计算模型。2、构建好的模型通过网络中的大量参数，存储输入样本的特征，然后可以用该模型对新的样本做预测Q1：参数存在神经网络的哪里？A1：神经网络由点（神经元）和线分层连接构成，参数存在线上Q2：训练模型就是调这些线上的参数吗？A2：是，但不完整。除了用数据自动化调这些线上的参数，还需要工程师结合经验和实践，人工调整一些超参数：网络

为避免一学就会、一用就废，这里做下笔记。

本文系统介绍了线性回归的核心概念与应用方法。首先明确线性回归是通过线性函数（如f(x)=ax+b）建模变量关系的统计方法，其输出为连续值，适用于房价预测等实际问题。文章详细阐述了线性回归的三大价值：作为基础算法、解决实际问题和建立性能基准。重点讲解了模型训练的完整流程：从数据预处理、损失函数选择（MSE）、优化算法（解析解或梯度下降）到模型评估与部署。特别强调了梯度下降的迭代优化过程及数据标准化的

本文系统总结了线性回归模型的6种优化方法：增加特征（补充信息维度）、升维（处理非线性关系）、降维（减少冗余噪声）、Early Stopping（防止过拟合）、正则化（约束系数大小）和归一化（统一特征尺度）。每种方法针对不同问题，具有独特优势与局限：增加特征可解释性强但需额外数据；升维能揭示非线性关系但可能引发维度爆炸；正则化可防止过拟合但需调整超参数。实践时应根据数据特性组合使用，如升维后正则化，

逻辑回归是一种用于解决二分类问题的统计学习方法，虽然名字中带有"回归"，但它实际上是一种分类算法。其核心是通过Sigmoid函数将线性回归的输出映射到(0,1)区间，解释为样本属于正类的概率。数学本质Py1∣x11e−wTxbPy1∣x1e−wTxb1​Py1∣x0.5Py1∣x0.5则预测为1类，否则为0类wTxb0wTxb0（一个线性超平面）关键特点输出是概率值，不是硬分类。

摘要：卷积核的初始值通过随机初始化策略（如高斯分布或Xavier初始化）生成，以避免对称性问题。在训练过程中，网络通过反向传播和梯度下降算法不断调整卷积核权重，使其逐渐特化为检测特定视觉特征的探测器。低层卷积核最终会学习到类似Gabor滤波器的边缘、纹理等基础特征，而深层卷积核则能识别更抽象的语义模式。整个过程体现了深度学习数据驱动、端到端学习的核心思想，但深层网络的可解释性仍存在挑战。