通过误差反向传播来更新各层权重，从而逐步减少预测误差。输入信号流过网络，产生输出输出与期望结果对比，计算误差将误差从输出层反向传播至隐藏层基于误差更新权重，减少误差单次样本误差函数（instantaneous error）：En12∑j∈Cdjn−yjn2En21​j∈C∑​dj​n−yj​n2平均误差（用于 batch 模式）：Eav1N∑n1NEnEav​N1​n1∑N。

山东大学软件学院人工智能导论期末复习

山东大学软件学院人工智能导论期末复习

ID3 需要评估每个属性的信息增益。基尼指数衡量数据集的不纯度GiniS1−∑j1kPj2GiniS1−j1∑k​Pj2​PjP_jPj​是类别jjj在数据集SSS中的比例。基尼增益ΔGiniGiniS−∣SL∣∣S∣GiniSL∣SR∣∣S∣GiniSRΔGiniGiniS−∣S∣∣SL​∣​GiniSL​∣S∣∣SR​∣​Gini。

事件越不可预测（概率越低），其发生时提供的信息量应越大。均匀分布时熵最大（不确定性最高），确定分布时熵最小（零）。在某些情况下，我们不仅关心分类是否正确，还关心错误的代价。为此，我们引入损失函数。如果苹果的表面通常是光滑的，而橘子的表面通常是粗糙的，则。，即在给定观测值 x 的情况下，尽可能做出正确的分类决策。，当我们观察到数据 x 时，我们希望选择最可能的类别。：在已知 B 发生的情况下，事件

山东大学软件学院人工智能导论期末复习