一、基础理解使用逻辑回归算法训练模型时，为模型引入多项式项，使模型生成不规则的决策边界，对非线性的数据进行分类；问题：引入多项式项后，模型变的复杂，可能产生过拟合现象；方案：对模型正则化处理，损失函数添加正则项（αL2），生成新的损失函数，并对新的损失函数进行优化；优化新的损失函数：满足了让原来的损失函数尽量的小；另一方面，对于...

一、基础理解LASSO 回归（Least Absolute Shrinkage and Selection Operator Regression）是模型正则化的一定方式；功能：与岭回归一样，解决过拟合或者模型含有的巨大的方差误差的问题；二、LASSO 回归以线性回归为例　1）对于岭回归任务：让最小化的损失函数对应的θ 值尽量的...

一、判断机器学习算法的性能机器学习经过训练得到的模型，其意义在于真实环境中的使用；将全部的原始数据当做训练集直接训练出模型，然后投入到真实环境中，这种做法是不恰当的，存在问题：如果模型效果很差，没有机会通过实际调试就直接应用到实际当中，怎么办？（# 实例：股市预测）在真实环境中，开发者难以拿到真实label（输出结果），则无从得知模型的效果？（# 实例：银行发...

一、实例　1）构造极度偏差的数据import numpy as npfrom sklearn import datasetsdigits = datasets.load_digits()X = digits.datay = digits.target.copy()# 构造极度偏斜的数据# y = digits.target：y 和 di...

一、基础理解随机森林（Random-Trees）　1）定义定义：使用决策树算法进行集成学习时所得到的集成学习的模型，称为随机森林；只要集成学习的底层算法是 决策树算法，最终得到的模型都可以称为随机森林；　2）scikit-learn 中：随机森林分类器及回归器RandomForestClassifier()：分类器Random...

老师强调：作为计算机工程师，传统的算法和数据结构是最基础的内容，要掌握。一、节点数据集的划分　1）决策树算法的思想解决分类问题时，决策树算法的任务是构造决策树模型，对未知的样本进行分类；决策树算法利用了信息熵和决策树思维：信息熵越小的数据集，样本的确定性越高，当数据集的信息熵为 0 时，该数据集中只有一种类型的样本；训练数据集中有很多类型的样本...

一、项目目录（一）数据加载基础统计特征分类基本分布(scatter)（二）数据分析正态性检验偏离度分析 (hist | scatter)峰度分析 (hist | scatter)分散度分析 (box)特征本身分散度SalePrice 的分散度方差齐次检验方差分析 (bar)scipy...

一、Hard Voting 与 Soft Voting 的对比　1）使用方式voting = 'hard'：表示最终决策方式为 Hard Voting Classifier；voting = 'soft'：表示最终决策方式为 Soft Voting Classifier；　2）思想Hard Voting Classifier：根据少数服从多数来...

一、决策树思维、决策树算法　1）决策树思维决策树思维是一种逻辑思考方式，逐层的设定条件对事物进行刷选判断，每一次刷选判断都是一次决策，最终得到达到目的；整个思考过程，其逻辑结构类似分叉的树状，因此称为决策树思维；例一：公式招聘时的决策树思维此过程形成了一个树的结构，树的叶子（录用 / 考察）节点位置是做出的决定，也可以理解为是对输出（也就是应聘者的信息）的分类：录...

一、基础理解LASSO 回归（Least Absolute Shrinkage and Selection Operator Regression）是模型正则化的一定方式；功能：与岭回归一样，解决过拟合或者模型含有的巨大的方差误差的问题；二、LASSO 回归以线性回归为例　1）对于岭回归任务：让最小化的损失函数对应的θ 值尽量的...