操作数据库sqlite（增删改查）

目录方法1：改造目标函数与限制条件方法2：一类对其他类（类数为N，需要建立N个SVM模型）情形1：多个SVM模型结果交集得出确切归类情形2：多个SVM模型结果交集没有得出确切归类方法3：一类对一类（类数为N，需要建立SVM模型为N*(N-1)/2个）

目录一、“Internal Covariate Shift”问题二、BatchNorm的本质思想两个参数r和β的意义——精髓所在三、训练阶段如何做BatchNorm四、BatchNorm的推理(Inference)过程五、BatchNorm的好处一般使用在卷积层后、激活层前Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清

本文主要讲解了BP神经网络算法，包含其本质、推导、以及如何利用BP算法来对神经网络模型中的参数进行求解，也介绍了一些常用的非线性函数（fai函数）

nms（非极大值抑制）相关概念以及Python实现

机器学习理论——支持向量机SVM实例（兵王问题，只是通过实例来捋一下思路不提供代码）

一、非线性模型的最优化问题1、非线性模型最优化模型2、两个概念1）正则项（regularization term）2）调参参数2、高维映射1）定义及作用2）高维映射后的最优化模型3）异或问题（例子）4）如何定义映射？（寻找确定映射关系——核函数的确定）核函数与高维映射的关系：常用核函数：核函数K可以拆写成高维映射的内积的条件：

目录激活函数1、作用2、常用激活函数3、衡量激活函数好坏的标准：4、不同的激活函数1）sigmoid2）tanh函数3）RULE函数和leak-relu函数4）softmax函数激活函数1、作用如果只是线性卷积的话，会导致无法形成复杂的表达空间，因此需要激活函数来进行非线性映射，这样可以得到更高语义的信息，提升整个神经网络的表达能力。2、常用激活函数sigmoid、tanh、relu、softma

目录一、什么是过拟合？（overfitting）二、过拟合的表现（判定方法）训练集、测试集、验证集区别测试集与验证集的区别三、产生过拟合的原因1、样本方面2、模型方面四、避免过拟合的方法1、样本方面1）增加样本量2）样本筛选（特征降维、特征选择）2、模型方法1）正则化①概念②L0正则化③L1正则化④L2正则化⑤为什么可以避免过拟合？2）归一化（Normalization）①最小最大值归一化（min

机器学习——SVM之python实现数据样本标准化和归一化