本文侧重于模型拟合能力的探讨。过拟合及泛化能力方面下期文章会专题讨论。原理上讲，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数 f(x)，而拟合效果的好坏取决于数据及模型。那对于如何提升拟合能力呢？我们首先从著名的单层神经网络为啥拟合不了XOR函数说起。一、单层神经网络的缺陷单层神经网络如逻辑回归、感知器等模型，本质上都属于广义线性分类器（决策边界为线性）。这点

前言机器学习 作为人工智能领域的核心组成，是计算机程序学习数据经验以优化自身算法，并产生相应的“智能化的”建议与决策的过程。一个经典的机器学习的定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if it

前言机器学习 作为人工智能领域的核心组成，是计算机程序学习数据经验以优化自身算法，并产生相应的“智能化的”建议与决策的过程。一个经典的机器学习的定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if it

注：本文基于之前的文章做了些修改，重复部分可以跳过看。示例的项目为基于LR模型对癌细胞分类的任务。随着人工智能时代的到来，机器学习已成为解决问题的关键工具。我们接下来会详细介绍机器学习如何应用到实际问题，并概括机器学习应用的一般流程。1.1 明确问题明确业务问题是机器学习的先决条件，即抽象出该问题为机器学习的预测问题：需要学习什么样的数据作为输入，目标是得到什么样的模型做决策作为输出。一个简单的新

1特征选择的目的机器学习中特征选择是一个重要步骤，以筛选出显著特征、摒弃非显著特征。这样做的作用是:减少特征（避免维度灾难），提高训练速度，降低运算开销；减少干扰噪声，降低过拟合风险，提升模型效果；更少的特征，模型可解释性更好；2 特征选择方法特征选择方法一般分为三类：2.1 过滤法–特征选择通过计算特征的缺失率、发散性、相关性、信息量、稳定性等指标对各个特征进行评估选择，常用如缺失情况、单值率、

前言:应出版社约稿，计划出个机器学习及深度学习通俗序列文章，不足之处还请多提建议。4.1 机器学习简介机器学习看似高深的术语，其实就在生活中，古语有云：“一叶落而知天下秋”，意思是从一片树叶的凋落，就可以知道秋天将要到来。这其中蕴含了朴素的机器学习的思想，揭示了可以通过学习对“落叶”特征的经验，预判秋天的到来。机器学习作为人工智能领域的核心组成，是非显式的计算机程序学习数据经验以优化自身算法，以学

一、机器学习的优化机器学习的优化（目标），简单来说是：搜索模型的一组参数 w，它能显著地降低代价函数 J(w)，该代价函数通常包括整个训练集上的性能评估（经验风险）和额外的正则化（结构风险）。机器学习的优化与传统优化不同，不是简单地根据数据的求解最优解，在大多数机器学习问题中，我们关注的是测试上性能度量P的优化。然而对于模型测试集是未知，我们只能通过优化训练集的性能度量P_train，在独立同分布

一、机器学习的优化机器学习的优化（目标），简单来说是：搜索模型的一组参数 w，它能显著地降低代价函数 J(w)，该代价函数通常包括整个训练集上的性能评估（经验风险）和额外的正则化（结构风险）。机器学习的优化与传统优化不同，不是简单地根据数据的求解最优解，在大多数机器学习问题中，我们关注的是测试上性能度量P的优化。然而对于模型测试集是未知，我们只能通过优化训练集的性能度量P_train，在独立同分布

神经网络（深度学习）学习到的是什么？一个含糊的回答是，学习到的是数据的本质规律。但具体这本质规律究竟是什么呢？要回答这个问题，我们可以从神经网络的原理开始了解。一、 神经网络的原理神经网络学习就是一种特征的表示学习，把原始数据通过一些简单非线性的转换成为更高层次的、更加抽象的特征表达。深度网络层功能类似于“生成特征”，而宽度层类似于“记忆特征”，增加网络深度可以获得更抽象、高层次的特征，增加网络宽

前言:应出版社约稿，计划出个机器学习及深度学习通俗序列文章，不足之处还请多提建议。4.1 机器学习简介机器学习看似高深的术语，其实就在生活中，古语有云：“一叶落而知天下秋”，意思是从一片树叶的凋落，就可以知道秋天将要到来。这其中蕴含了朴素的机器学习的思想，揭示了可以通过学习对“落叶”特征的经验，预判秋天的到来。机器学习作为人工智能领域的核心组成，是非显式的计算机程序学习数据经验以优化自身算法，以学