在监督学习中，根据输出是否为概率划分为概率监督学习和非概率监督学习。前面介绍的逻辑回归属于前者，而LDA和支持向量机属于后者，接下来介绍另一种非概率监督学习——决策树。问题给定训练集 D={(x1,y1),(x2,y2),⋯ ,(xN,yN)}D = \{(\boldsymbol{x_1},y_1),(\boldsymbol{x_2},y_2),\cdots,(\boldsymbol{x_N},y

在深度学习中，概率论的基础知识占据了重要的地位，我在这里主要介绍了常用的极大似然估计的原理和应用，将极大似然估计中的误差的高斯分布与线性回归模型中的最小二乘法的联系。