激活函数是神经网络中的关键组件，它通过引入非线性因素，增强了模型的表达能力，使其能够处理复杂的任务。激活函数的主要作用包括：突破线性模型的限制、控制输出值范围、影响梯度传播以及增加网络稀疏性。常见的激活函数有Sigmoid、Tanh、ReLU、Softmax和Swish等，每种函数都有其独特的特性和适用场景。选择合适的激活函数对模型性能至关重要，能够显著影响训练效果和计算效率。通过Python实现

Boosting 算法理论及python代码实现