在详细了解线性回归的所有知识点之前，我们先来了解一下线性回归的重要性。理论层面的重要性Linear Regression：是回归问题的基础Logistic Regression：是分类问题的基础可扩展性：使用基函数来解决非线性问题应用层面的重要性——在工业中最广泛应用的模型高效易用（简单、易训练）可解释性强（参数直接反应特征强弱）适合预估（概率形式）资源丰富（开源资料、文档、文献、论文）建立模型基

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行广义线性分类，其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。SVM可以通过核函数进行非线性分类，是常见的核学习（kernel learning）方法之一。什么是支持向量机支持向量机（support vecto

引言众所周知，考试前会刷题。但是考试大部分又不是原题，那考前刷题有什么用？我们考前做的题目的当然不是为了赌考试有一模一样的题（有可能也是。。。），我们是为了从题目中学到一般的知识，这样我们在遇到新题目的时候也可以根据知识来做出题目。其实在机器学习中，考前刷的题就是训练集，考试中的题就是我们模型之后遇到的新样本。...

LeNet神经网络介绍LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然L

人工神经网络（artificial neural network，ANN），简称神经网络（neural network，NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的

LeNet神经网络介绍LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然L

逻辑回归（Logistics Regression），逻辑回归虽然叫回归，但实际上属于分类算法，常用于二分类的任务。当然逻辑回归也可以用于多分类，这就需要加上其它的方法。至于逻辑回归是怎么解决分类问题，实质上是把样本特征和样本发生的概率联系起来。认识逻辑回归逻辑回归，通常作为分类算法，只可以解决二分类问题。最终得出的结果是一个概率值。首先给出逻辑回归的公式：如何得到 p^\widehat{p}p​

引言我们创建一组数据，并绘出散点图。x = np.random.uniform(-3, 3, size=100)print(x.shape)y = 0.5 + x**2 + x + 2 + np.random.normal(0, 1, size=100)plt.scatter(x, y)plt.show()我们直接使用线性回归看看效果。from sklearn.linear_model impor

简介AlexNet的提出使得大型卷积网络开始变得流行起来，但是人们对于CNN网络究竟为什么能表现这么好，以及怎么样能变得更好尚不清楚，因此为了解决上述两个问题，ZFNet提出了一种可视化技术，用于理解网络中间的特征层和最后的分类器层，并且找到改进神经网络的结构的方法。ZFNet是Matthew D.Zeiler 和 Rob Fergus 在2013年撰写的论文Visualizing and Und

集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。根据个体学习器的生成方式，目前集成学习的方法大致分为两类，即个体学习器之间存在强依赖关系，必须串行生成的序列化方法；另一类就是个体学习器之间不存在强依赖关系、可同时生成的并行化方法。前者的代表是Boosting，后者的代表室Bagging和随机森林。集成学习中的几个概念1、个体学习器：集成学习的一般结构都是先产生