BLEU参考：https://www.cnblogs.com/by-dream/p/7679284.htmlBLEU 采用一种N-gram的匹配规则+召回率+惩罚因子组合方式。N-gram当N=1时，一般用来判断文字生成的准确性，234用来判断生成文本的流畅性。原文：今天天气不错机器译文：It is a nice day today人工译文：Today is a nice day如...

常用激活函数（激励函数）理解与总结激活函数的区别与优点梯度消失与爆炸1. 激活函数是什么？在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。2. 激活函数的用途如果不用激活函数，每一层的输入都是上一层输出的线性函数，而多层线性函数与一层线性函数的功能是等价的，网络的逼近能力就相当有限，因此引入非线性函数作为激励函数，使得深层神经...

BLEU参考：https://www.cnblogs.com/by-dream/p/7679284.htmlBLEU 采用一种N-gram的匹配规则+召回率+惩罚因子组合方式。N-gram当N=1时，一般用来判断文字生成的准确性，234用来判断生成文本的流畅性。原文：今天天气不错机器译文：It is a nice day today人工译文：Today is a nice day如...

写在前面，最近两天在做ocr识别相关内容，趁有时间来记录一下。本文的代码是基于Pytorch框架mobilenetv3基础网络的CRNN+CTC网络实现文字检测与识别介绍文字识别也是图像领域一个常见问题。然而，对于自然场景图像，首先要定位图像中的文字位置，然后才能进行识别。所以一般来说，从自然场景图片中进行文字识别，需要包括2个步骤：文字检测：解决的问题是哪里有文字，文字的范围有多少文字识别：对定

四种权重初始化方法：把w初始化为0对w随机初始化Xavier initializationHe initialization把w初始化为0:缺点：因为如果把w初始化为0，那么每一层的神经元学到的东西都是一样的（输出是一样的）。在梯度回传阶段，同一层内的所有神经元都是相同的，这样的话神经网络就没有意义了，相当于每一层只有一个神经元。因为在前项传播时，同层的所有神经元都相同，w也相同，在回传计算的梯度

参考：https://www.zhihu.com/question/41037974全连接层全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的特征空间表示映射到样本标记空间的作用。在实际应用时，可以通过卷积操作实现。比如，将7x7x512...

写在前面，本文只记录了个人认为的关键点，仅供参考。更多细节请参考链接中文章参考1：机器学习之常用优化方法参考2：拉格朗日乘数法梯度下降法梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前...

写在前面，最近两天在做ocr识别相关内容，趁有时间来记录一下。本文的代码是基于Pytorch框架mobilenetv3基础网络的CRNN+CTC网络实现文字检测与识别介绍文字识别也是图像领域一个常见问题。然而，对于自然场景图像，首先要定位图像中的文字位置，然后才能进行识别。所以一般来说，从自然场景图片中进行文字识别，需要包括2个步骤：文字检测：解决的问题是哪里有文字，文字的范围有多少文字识别：对定

BLEU参考：https://www.cnblogs.com/by-dream/p/7679284.htmlBLEU 采用一种N-gram的匹配规则+召回率+惩罚因子组合方式。N-gram当N=1时，一般用来判断文字生成的准确性，234用来判断生成文本的流畅性。原文：今天天气不错机器译文：It is a nice day today人工译文：Today is a nice day如...

记录下SGD优化时几种常见的学习率调整策略，方便后续使用PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。b. 自适应调整：自适应调整学习率 Red