SVD是提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。SVD的定义SVD是对矩阵进行分解。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：????=????Σ????????其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵

基于区域点密度筛选有效数据基于有效数据向周边扩张，直到没有新点加入特点：过滤噪音数据；不需要人为选择类别数量；数据密度不同时影响结果

在学习 KNN 算法的过程中，要牢记两个关键词，一个是“少数服从多数”的投票法则（majority-voting），另一个是“距离”，它们是实现 KNN 算法的核心知识。KNN算法原理KNN算法本身简单有效，它是一种lazy-learning算法。分类器不需要使用训练集进行训练，训练时间复杂度为0。KNN分类计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么KNN的分类

什麽是决策树一种对实例进行分类的树形结构，通过多层判断区分目标所属类别本质：通过多层判断，从训练数据集中归纳出一组分类规则优点：1.计算量小，运算速度快2.易于理解，可清晰查看各属性的重要性缺点：1.忽略属性间的相关性2.样本类别分佈不均匀时，容易影响模型表现3.ID3 没有剪枝策略，容易过拟合4.信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 15.只能用于处理离

乍一看算法名字，会认为逻辑回归是用来解决“回归问题”的算法，但其实它是针对“分类问题”的算法。19 世纪统计学家皮埃尔·弗朗索瓦·韦吕勒发明了 Logistic 函数，该函数的叫法有很多，比如在神经网络算法中被称为Sigmoid函数，也有人称它为Logistic 曲线。其函数图像如下所示：...

什么是回归？“回归”一词最早由英国科学家弗朗西斯·高尔顿提出。1875 年，高尔顿利用子代豌豆与父代豌来确定豌豆尺寸的遗传规律。实验的大意是说：非常矮小的的父辈倾向于有偏高的子代，非常高大的的父辈倾向于有偏矮的子代。这表明子代的身高向着父辈身高的平均值回退，后来人们把这种研究方法称为“回归预测”。线性回归是什么？线性回归主要用来解决回归问题，也就是预测连续值的问题。利用线性模型来解决“回归问题”，

在中心点一定区域检索数据点更新中心重复流程到中心点稳定特点：自动发现类别数量，不需要人工选择；需要选择区域半径

其核心思想是，把每一个单个的观测都视为一个类，而后计算各类之间的距离，选取最相近的两个类，将它们合并为一个类。新的这些类再继续计算距离，合并到最近的两个类。如此往复，最后就只有一个类。然后用树状图记录这个过程，这个树状图就包含了我们所需要的信息。...

函数用法：split(sep,n,expand=false)sep表示用于分割的字符；n表格分割成多少列；expand表示是否展开为数据款，True输出Series，False输出Dataframe。import numpy as npimport pandas as pd# 将每个数据按照_分割返回结果默认是一个由列表组成的Seriess = pd.Series(['a_b_c', 'd_e_f

异常值又称离群点。异常值的鉴别1.描述分析pandas: data.describe() 可以得到连续型数据的均值、最大值、最小值、中位数、四分位、总数、标准差等。通过描述分析查看出数据中有无极端值，并将极端值剔除。一般可以初步筛查时使用。2.散点图通过展示两组数据的位置关系，可以清晰直观地看出哪些值是离群值。异常值会改变数据间的关系，通常在研究数据关系，如进行回归分析前，都会先做散点图观察数据中