在机器学习中，有一些非常有名的理论或定理，对理解机器学习的内在特性非常有帮助。本文列出机器学习中常用的理论和定理，并举出对应的举例子加以深化理解，有些理论比较抽象，我们可以先记录下来，慢慢啃，慢慢理解。

神经网络的参数主要通过梯度下降来进行优化，当确定了风险函数以及网络结构后，我们就可以手动用链式法则来计算风险函数对每个参数的梯度，并用代码进行实现。但是手动求导并转换为计算机程序的过程非常琐碎并容易出错，导致实现神经网络变得十分低效.实际上，参数的梯度可以让计算机来自动计算。

在卷积神经网络（CNN）中，用卷积层替代全连接层的核心目的是通过保留空间结构信息和减少参数量来提升模型的效率和泛化能力。

在接下来对于神经网络的学习中，我们会涉及到函数饱和性、软性门的概念，还需要用到泰勒级数，本文我们来理解这些基础知识，为后续学习神经网络的激活函数做准备。

前一博文我们认识了循环神经网络参数学习的随时间反向传播算法BPTT，本文我们来了解实时循环学习RTRL。与反向传播的 BPTT 算法不同的是，实时循环学习(Real-Time Recurrent Learning，RTRL)是通过前向传播的方式来计算梯度。

最近在学习机器学习的过程中，发现关于线性回归的表示和矩阵的运算容易费解，而且随着学习的深入容易搞混，因此特意做了一些研究，并且记录下来和大家分享。同时介绍一下矩阵的求导算法，以及最优w通过正规方程是如何推导出来的。

传统特征选择会涉及到贪心算法、前向搜索、后向搜索的知识，通过本文，更好的认识三者的概念，并结合三个具体的例子，加深对三者的理解，为后面学习传统的特征选择做准备。

本文初步介绍三种常用的神经 网络结构：前馈网络、记忆网络和图网络，大家先入为主，有一个基本的入门认识，后面我们挨个来学习每一种神经网络

机器学习中，我们需要掌握一些线性代数的基本概念，这样才能更好的入门，更好的理解机器学习的原理，这一章中，我们回顾一下常用的线性代数的概念。

最近我们陆续学习了机器学习的一些基础知识，本文来理解一下衡量机器学习模型的特性。了解机器学习模型的特性不仅有助于在理论上理解不同算法的工作原理，也能在实践中指导模型选择、参数调优、结果解释和系统部署，最终提高模型的实际应用效果。