激活函数是将输入信号的加权总和a转换为输出信号y的函数h（a）激活函数不能为是线性函数，因为h（h（h（x）））=c*c*c*x=a*x。由此可见如果是线性函数，多层永远可以被单层替代，无法发挥多层神经网络优势。本文比较了感知机和神经网络的异同，还介绍了三种常见的激活函数：阶跃函数，sigmoid函数，relu函数。同：结构形状相同（输入层，中间层，隐藏层）异：感知机激活函数是阶跃函数，神经网络可

感知机是一种二分类线性模型，它是神经网络和支持向量机的基础。感知机的输入为实例的特征向量，输出为实例的类别（+1或-1），通过一个线性组合与阈值比较实现分类。为了理解感知机，可以把信号想象成电流，权值是电导，阈值是门槛感知机可以通过叠加层的方式，实现单层感知机无法实现的异或门，实现单层感知机无法实现的非线性分割。例：通过一个与非门，一个或门，一个与门，一个门对应一个神经元，分别对应上图的s1，s2

决策树是一种基于树状结构的监督学习算法，用于分类和回归任务。通过递归划分数据集，决策树模拟人类决策过程，每个内部节点代表一个特征判断分支代表判断结果叶节点代表最终预测类别或数值。熵（Entropy）是信息论中的核心概念，用于衡量系统的不确定性或混乱程度。在决策树中用于评估数据集的纯度（特征选择）。熵值越高，数据的不确定性越大；熵值越低，数据的纯度越高。熵=不纯度。

本文介绍了无监督学习中的K-means聚类算法。K-means通过随机选择K个初始中心点，迭代计算数据点距离并重新分配簇中心，直至收敛。重点阐述了损失函数及其直观解释，该函数衡量簇内紧致性，算法目标是最小化该值。同时指出随机初始化可能陷入局部最优，建议采用多次初始化选择最优解。K-means是一种简单有效的聚类方法，适用于数据分组场景。

以上就是今天学习的内容，本文简单介绍了过拟合的概念与解决办法，并展开了一下正则化损失函数的学习%5Comega%5Clambda%5Calpha%5Clambda%5Clambda%5Clambda。

由此可见，决策边界的公式的正负对应两种类别，完美符合刚刚的sigmoid函数，我们将决策边界的公式代入到sigmoid公式的因变量z中，即可准确预测复杂分类问题下的样本类别。当实际值yi是0时，x越接近1越大，越接近0越小，符合损失函数定义。定义：在特征空间中，决策边界将不同类别的数据点分开，使得边界一侧的数据点属于一个类别，另一侧的数据点属于另一个类别。其中P（xi）为即为刚刚代入后的sigmo

数据加载与探索：使用pandas加载数据，查看基本信息和统计描述数据预处理：选择相关特征，划分训练集和测试集模型训练：使用训练数据拟合线性回归模型模型评估：计算MSE、RMSE和R²等评估指标结果可视化：绘制特征关系图、预测值对比图和残差分析图模型应用：使用训练好的模型进行新数据预测。