（完）

Dropout 正则化通过随机丢弃神经元的方式防止神经网络的过拟合，尤其适合在训练深度网络时使用。在这个代码中，我们手动实现了 Dropout 的基本机制，展示了如何在前向传播中应用 Dropout，并控制训练模式和推理模式下的行为差异。

凝聚度表示与簇 1 中其他点的平均距离。分离度表示) 与最近簇（簇 2）的平均距离。轮廓系数，表示样本聚类效果较好，值接近 1，说明它更好地属于它所在的簇。

动量算法是一种改进的梯度下降方法，通过引入“动量”来减少震荡、加速收敛，并避免陷入局部最优解。通过结合当前和过去的梯度更新，动量算法能够有效改善传统梯度下降的缺陷，尤其在神经网络训练中表现优异。Nesterov 动量是动量算法的一种改进变种，能够进一步加速收敛，尤其在较为复杂的损失函数表面。%5Ctheta。