目录模型的定义损失函数梯度法正规方程解模型的定义将m个样本，n个特征的训练集表示为:对于线性回归，我们假设（为了方便起见，我们令）其中是待学习的参数，即是我们取的n个特征，其中第一项,即是表示截距。损失函数其中，，梯度法,用矩阵形式表示为其中，括号中的三项均为标量，求的导数，按的形状来求解比较容易。梯度...

传统模型的演化关系图

1-什么是决策树决策树是非参数学习算法，可以解决分类问题，天然可解决多分类问题，也可解决回归问题，具有非常好的可解释性。如何构建决策树：每个节点在哪个维度做划分，某个维度在哪个值上做划分。2-信息熵熵在信息论中代表随机变量不确定度的度量。熵越大，数据的不确定性越高；熵越小，数据的不确定性越低。其中，log是e为底的自然对数。如何构建决策树：每个节点在哪个维度...

1.GBDT+LR14年Facebook发表了广告推荐系统论文Practical Lessons from Predicting Clicks on Ads at Facebook，提出了经典的GBDT+LR模型。系统输入：用户（User）、广告（Ad）、上下文（Context）GBDT构建特征工程和LR预测CTR两步采用相同的优化目标独立训练，GBDT和LR采用不同的更新频率，GBDT部分几天更

目录模型的定义损失函数梯度法正规方程解模型的定义将m个样本，n个特征的训练集表示为:对于线性回归，我们假设（为了方便起见，我们令）其中是待学习的参数，即是我们取的n个特征，其中第一项,即是表示截距。损失函数其中，，梯度法,用矩阵形式表示为其中，括号中的三项均为标量，求的导数，按的形状来求解比较容易。梯度...

1-什么是PCAPCA是一个非监督的机器学习算法，主要用于数据将为，也可用于可视化和去噪。我们想要在降维后样本保持一个比较好的区分。例如降到一维，如何找到让样本间间距最大的轴？我们可以使用方差来代表样本间的间距（因为方差可以描述样本的疏密程度）。则问题变为找到一个轴，使得样本间的所有点映射到这个轴后，方差最大。去完均值后，每一维的均值均为0，则方差由（图一），其中均值为0，则（...