1.向量化将for循环转化为矩阵/向量运算。

本文介绍了神经网络中的逻辑回归模型及其梯度下降训练方法。逻辑回归通过Sigmoid函数将线性输出映射到(0,1)区间实现二分类，定义损失函数和成本函数评估模型性能。梯度下降法用于优化权重w和偏置b：单个样本训练时计算损失并反向传播求导；多个样本训练时遍历所有样本求平均导数。文中详细描述了正向传播（计算输出）、反向传播（求导）以及参数更新的数学过程，包括符号表示、Sigmoid函数特性、损失函数设计

Relu（Rectified linear unit）: 修正线性单元。

【代码】二层神经网络 (笔记) (吴恩达深度学习)

本质还是线性函数，无法学习数据中的非线性关系（图像、语言等）y = x^2 的曲线。

摘要：本文讨论了神经网络中的反向传播和参数初始化问题。在含多个激活函数的隐藏层中，权重W不能初始化为0，否则会导致所有隐藏单元参数更新相同，失去多样性。合适的初始化方法是使用小随机数（如W1=np.random.randn((2,2))*0.01），特别是当使用tanh或sigmoid激活函数时，这样能避免梯度消失问题，提高训练效率。同时说明了偏置b可以初始化为0。

本文概述了深度学习中参数与超参数的区别，列举了常见的超参数类型，包括学习率、网络结构、优化算法等配置参数。指出深度学习是一个高度实验驱动的迭代过程，需要不断调整参数优化模型性能。由于不同领域问题特性差异以及硬件技术持续进步，最优参数配置会随时间和应用场景而变化，无法一劳永逸地确定。这种实验性特征要求开发者保持持续的调参和优化工作。

本文介绍了深层神经网络（以4层为例）的基本原理。内容包括：1）网络结构图示与符号定义，如层数L、各层单元数n[l]、权重W[l]等；2）详细阐述了正向传播和反向传播的计算过程，包括各层参数初始化方法；3）解释了深层网络的优势，指出多层隐藏层通过非线性叠加能更好拟合复杂函数，从电路理论角度分析表明深层网络比浅层网络能更高效地解决问题。文章系统性地讲解了深层神经网络的工作原理及其性能优势。

正则化是防止机器学习模型过拟合的核心技术，主要分为L2正则化和Dropout。L2正则化通过在损失函数中加入权重惩罚项（λ/2m||w||²）实现权重衰减，简化网络结构；Dropout则随机消除部分神经元，降低对特定特征的依赖。其他方法包括数据增强和提前停止技术。正则化的本质是通过限制模型复杂度（如减小权重或减少神经元）来提升泛化能力，而非追求最优参数。L2正则化使网络趋于线性，Dropout通过

本文介绍了深度学习模型训练的三个关键环节。训练过程包括确定超参数（隐藏层、学习率等）和迭代优化两个步骤。数据集部分强调了高质量数据集的创建方法，包括合理划分训练/验证/测试集，并保持验证集和测试集分布一致。偏差与方差章节定义了两者的概念，通过训练误差和验证误差的对比关系来判断模型状态，并提出了相应的改进方法：增加网络深度可减小偏差，正则化和扩充数据可降低方差。