Integrate-And-Fire Models基础知识轴突：动作电位（电位差形成电流）=神经递质发放=脉冲产生树突或细胞体：神经递质的接受=产生内外膜电位差（电流产生）=接收脉冲脉冲编码：firing rate=1T1\over{T}, T为两个相邻脉冲的时间LIF响应公式r(j)r(j)为firing rate，jj为膜电压LIF是真实神经元的简化版，

深层神经网络，如卷积网络和深度置信网络，代表了许多机器学习和计算机视觉分类问题的最新进展。为了克服深层网络计算量大的问题，鉴于目前可用于脉冲的专用硬件，最近已经提出了脉冲网络神经网络（SNN）。...

直观的理解：Batch Size定义：一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU内存不大，该数值最好设置小一点。为什么要提出Batch Size？在没有使用Batch Size之前，这意味着网络在训练时，是一次把所有的数据（整个数据库）输入网络中，然后计算它们的梯度进行反向传播，由于在计算梯度时...

转：黑塞矩阵（Hessian Matrix）黑塞矩阵（Hessian Matrix），是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。..

im2col是用来优化卷积运算的，它的核心是将卷积核感受野部分转化成一行（列）来存储，优化运算速度，减少内存访问时间。这其实主要取决于我们使用的框架访存的方式。计算机一次性读取相近的内存是最快的，尤其是当需要把数据送到GPU去计算的时候，这样可以节省访存的时间，以达到加速的目的。不同框架的访存机制不一样，所以会有行列相反这样的区别...

要做文字识别，第一步要考虑的就是怎么将每一个字符从图片中切割下来，然后才可以送入我们设计好的模型进行字符识别。现在就以下面这张图片为例，说一说最一般的字符切割的步骤是哪些。当然，我们实际上要识别的图片很可能没上面那张图片如此整洁，很可能是倾斜的，或者是带噪声的，又或者这张图片是用手机拍下来下来的，变得歪歪扭扭，所以需要进行图片预处理，把文本位置矫正，把噪声去除，然后才可以进行进一步的字符分割和文.