三种梯度下降方式区别仅在于求梯度所用到的X数据集的样本数量不同！全量梯度下降(BGD)全部的样本都用上优点：每次都会朝着正确的方向进行，最终保证收敛到极值点缺点：每次学习实践过长，并且如果训练集很大以至于需要消耗大量的内存，不能进行在线参数模型更新。随机梯度下降(SGD)每次从训练集中选择一个样本进行学习优点：每次只选择一个样本学习，那么学习的速度非常快，并且可以在线更新模型。缺点：每次更新可能不

1.支持向量机SVM本身是做二元分类的算法，对感知机算法模型的扩展。2.在高维空间找到m个样本作为支持向量，支撑起一个超平面，这个超平面就是分界。3.逻辑回归本质也是线性的分类器，但是它可以做非线性的分类。4.在集成学习前...

交叉验证：拿到训练数据，分为训练集和验证集。将数据分成5分，其中一份作为验证集，经过5次测试，每次更换不同的验证集，得到5组模型的结果，最终取平均值，又称5折交叉验证。交叉验证的目的是让结果更具可信度。网格搜索：通常情况下，很多超参数是需要我们手动指定的，但是说动过程繁杂，所以需要需要对模型预设几种超参数组合，每组超参数都采用交叉验证进行评估。最后选出最优的参数组合建立模型。通常情况加网格搜索和交

介绍线性回归是特征与标签之间建立一个关系来描绘特征和标签之间的关系。预测函数的本质就是我们构建的模型，而构造的函数核心就是找出模型的参数向量w最小二乘法（解析解）求解W通过已知的MSE损失函数，推导出来线性回归解析解求解公式先将损失函数换一个写法（表达形式），写成线性代数的表达形式。2. 对表达式进行推导梯度：某个点上切线的斜率叫做梯度（对某个驻点求一阶导就是切线的斜率）（不管是全局最优解还是局部

神经网络有监督的算法。神经网络算法既能做回归又能做分类。我们说人工智能做的就是拟人，神经网络就做的最佳的拟人。神经元神经网络是由很多神经元组成。神经元的每个输入是机器学习中的每个特征维度X，每个连接是权重W，将特征维度和权重相乘再相加汇总，经过一个非线性变换（函数变换）后的结果，就是一个神经元的输出。也是下层神经元的输入。也就是说对于一个神经元，有可能就是一个线性回归，也有可能就是一个逻辑回归，这

轮次(epoch):将我们已有的数据（X， y）学习多少轮。批次(batch):把一轮次的学习分成多少个批次。机器学习或者深度学习中的双层for循环。

matplotlib库主要做数据可视化。代码举例：from matplotlib import pyplot as plt# 准备x轴的值x = range(2, 26, 2)# 准备y轴的值y = [12, 15, 13, 33, 44, 22, 21, 21, 23, 10, 12, 13]# 设置图片大小plt.figure(figsize=(20, 8), dpi=80)plt.plot(

升维的目的：升维的目的是去解决欠拟合的问题，以提高模型的准确率为目的。多项式回归：是升维的一种，可以算是机器学习中的一种算法，不过和归一化一样一般算作数据预处理的手段，目的就是将已有维度进行相乘，包括自己和自己相乘，组成二阶甚至更高阶的维度。当数据X，y呈现一种非线性(X是二次方甚至更高阶)的关系时候，即y不是随着X线性变换的时候，我们有两种选择一：用非线性的算法（回归树，神经网络）拟合非线性的数

1.聚类就是将数据集划分为若干相似对象组成的多个组或簇的过程，使得同一个组或簇相似度最大化，不同簇间相似度最小化。（有时候聚类可以评价相似性）2.聚类的本质是分组，属于无监督机器学习。3.在聚类分析中，样本之间相似性通常采用样本之间的距离来表示，距离越大表示两个样本越不相似，差异性越大。距离越小，样本差异性越大，距离为零表示两个样本完全一样，无差异。4.连续型数值计量方法最常用的是欧氏距离（l2范

最大值最小值归一化Xjmin是Xj所在列的最小值Xjmax是Xj所在列的最大值问题：能做到归一化（0-1zhi之间），但是一旦数据中有一个离群值（特别大的值）就会出现这个离群值做完归一化后特别趋近于1，而其他值特别趋近于0标准归一化经过处理的数据符合标准正态分布即均值为0,标准差为1Xmean：X所在列的均值Standard Deviation：X所在列的标准差标准差的公式会考虑到所有样本数据，所