出于逻辑回归提出背景的好奇，特地去了解了一下：逻辑回归里的“Logistic”函数是数学家维尔赫斯特在研究人口数量增长问题的过程中提出来的，人口预测问题所使用的logistic模型可以用来描述包括人类在内几乎所有物种在资源约束下的增长规律，当然很多社会、经济现象都可以借助于来解释。而至于为什么取名为“Logistic”，维尔赫斯特没有说明缘由，据后人猜测是效仿Arithmetic（算术）, Geo

一、定义及介绍1、分类决策树模型是一种描述对实例进行分类的树形结构，由结点+有向边组成。结点分为内部结点(表示一个特征/属性)和叶结点(表示一个类)。【树的总结构包括：根结点、非叶子结点、叶子结点、分支】2、if-then规则：从根结点到叶结点的每一条路径构建一条规则，路径上内部结点的特征对应规则的条件，叶结点的类对应着规则的结论。if-then规则集合的重要性质：互斥且完备。这个规则的意识也就是

学习了机器学习和模式识别之后发现两门课有一些相通的以及互补的地方，想总结一下。一、k-近邻法：（一）算法原理：在给定训练数据集中找到与待预测实例最近的k个训练实例，结合这k个训练实例的类别，采用多数投票法决定待预测实例的类别。（二）基本要素：k值选择、距离度量、决策规则1、k值选择：①选择奇数为佳。防止出现相同“票数”的情况，影响决策。②k值的大小可以类比于图像处理中的邻域大小。若k比较大，则选择

一、定义1、集成学习：集成学习的核心思想就是构建并结合多个学习器提升性能。将多个分类方法聚集在一起，以提高分类准确性，可以是不同或相同的算法（异质集成/同质集成），最后通过某种方法把学习结果集成起来。是一种机器学习范式，使用多个学习器来解决同一个问题。2、集成学习两大类：（1）个体学习器之间存在强依赖关系，必须串行生成的序列化方法，如，Boosting；（2）个体学习器之间不存在强依赖关系，可同时

一、感知机1、概念：感知机是二分类的线性分类器，目的是求出能将训练数据进行线性划分的分离超平面，得到感知机模型，然后使用该模型对新的输入实例进行分类。感知机是神经网络和支持向量机的基础。2、损失函数：误分类点到超平面的总距离。，其中是误分类点的集合。这也是感知机学习的经验风险函数。3、优化目标：使得损失函数最小，即使误分类点到超平面的距离之和最小。采取随机梯度下降法作为最优化的方法，也是求解参数的

一、特征提取与选择任务定义：得到实际对象的若干具体特征之后，再由这些原始特征产生对分类识别最有效、数目最少的特征。使在最小维数特征空间中异类模式点相距较远，同类模式点相距较近。二、特征提取与选择任务的提出背景：①获得的特征测量值不多，导致提供的信息较少②获得的测量值太多，导致维度灾难(特征数目达限后，性能反而不好)③特征存在很多无用信息，或者有的有用信息不能反映本质，要通过变换才能得到更有意义的量