卷积是一种数学运算，记为f,g的卷积连续的定义为离散的定义为从定义式中可发现卷积的要点：（1）卷积的入参为n；（2）2个函数遍历所有可能的入参，求乘积后求和；（3）在此过程中保证2个函数的入参之和为n。单纯看计算公式不算复杂，但让人疑惑为什么设计成这种形式？下面我们举一些例子加深理解。

本文简要介绍BP神经网络（BPNN, Back Propagation Neural Network）的思想。BP神经网络是最基础的神经网络，结果采用前向传播，误差反向（Back Propagation）传播方式进行。BP神经网络是有监督学习，不妨想象这么一个应用场景：输入数据是很多银行用户的年龄、职业、收入等，输出数据是该用户借钱后是否还贷。作为银行风控部门的负责人，你希望建立一个神经网络模型，

卷积核是3*3的形式，输入图像是4*4的形式，步长为1，则可以将卷积操作转换为矩阵操作，其中卷积核转变成了一个4*16的稀疏矩阵（稀疏是指其中很多元素是0），将输入图像展开成一列形式16*1，得到输出图像reshape成4*1的形式。卷积和反卷积里都有stride和padding参数，但是同一个参数在卷积和反卷积里的作用不一样，非常容易使人困惑，本文试图理清他们的关系，并用实际数值例子演示计算过程

RNN(Recurrent Neural Network)，即循环神经网络，是用于解决序列数据的神经网络。回顾一下最基础的BPNN以及专用于图像识别的CNN，他们的输入与时间先后无关，但是有时输入的数据是序列数据，需要考虑序列中前后顺序关系的影响，此时RNN就派上用场了。RNN是训练出固定的一套参数，接收序列当前时刻的输入以及上一时刻的输出，形成这一时刻的输出。

卷积是一种数学运算，记为f,g的卷积连续的定义为离散的定义为从定义式中可发现卷积的要点：（1）卷积的入参为n；（2）2个函数遍历所有可能的入参，求乘积后求和；（3）在此过程中保证2个函数的入参之和为n。单纯看计算公式不算复杂，但让人疑惑为什么设计成这种形式？下面我们举一些例子加深理解。

本文简要介绍BP神经网络（BPNN, Back Propagation Neural Network）的思想。BP神经网络是最基础的神经网络，结果采用前向传播，误差反向（Back Propagation）传播方式进行。BP神经网络是有监督学习，不妨想象这么一个应用场景：输入数据是很多银行用户的年龄、职业、收入等，输出数据是该用户借钱后是否还贷。作为银行风控部门的负责人，你希望建立一个神经网络模型，

请注意，计算y对x的梯度时，如果y、x都是矩阵，梯度理应是每一个y对每一个x求偏导的结果。但在Tensorflow中，gradient是返回了总和的梯度。如果想求出每个分量的梯度，应该使用Jacobian矩阵。这一点困扰了笔者很久，直到翻到文档才恍然大悟。

反卷积（deconvolution）又称转置卷积，是卷积的拟操作，常用于GAN等模型中。反卷积是上采样的一种，上采样是指将特征图维度恢复到原始图的维度，这种增大维度的过程被称为上采样。上采样可以用插值或反卷积实现。在CNN中，卷积一般会让图像尺寸变小，属于下采样。例如最大化池化（可视为特殊的卷积）是将相邻像素中最大的像素提取出来，丢弃了其他不重要的像素。卷积和反卷积是相反的过程。GAN等生成模型中

知识蒸馏（Knowledge Distillation）是深度学习领域很火的概念，是一种模型压缩、知识迁移的技术。它从一个参数多、结构复杂、维护成本高的大模型（称为教师模型）迁移到参数少、结构简单、维护成本低的小模型（称为学生模型）。迁移的原因很简单，复杂的大模型虽然能够取得很好的效果，但是参数量过大，推理成本高，计算量过大，需要的硬件资源多，很难在资源小的硬件上运行（尤其是移动设备）。知识蒸馏通

卷积是一种数学运算，记为f,g的卷积连续的定义为离散的定义为从定义式中可发现卷积的要点：（1）卷积的入参为n；（2）2个函数遍历所有可能的入参，求乘积后求和；（3）在此过程中保证2个函数的入参之和为n。单纯看计算公式不算复杂，但让人疑惑为什么设计成这种形式？下面我们举一些例子加深理解。