目录1. 什么是梯度爆炸/梯度消失；如何解决这个问题2. L1和L2正则化2.1 L1的优点是使得权重稀疏，那为什么会稀疏呢？2.2为什么讲 L1正则化相当于对模型参数W引入了拉普拉斯先验，L2正则化相当于引入高斯先验？？2.3 为什么L2能够提高模型的泛化能力？？2.4为什么L1和L2能有防止过拟合的作用？？3. BN的所有理解以及面试题3.1 解释一下BN，怎么操作的？？3.2 具体细节问：训

模型压缩是为了 可以用更少的参数来实现不错的效果。一方面是为了在延迟性、隐私性等等。网络剪枝把网路的一些冗杂的参数剪掉。有些参数并没有起到很大的效果。我们要做的事情把这些冗杂的参数找出来，并裁掉。90年代已经有人发表相关的论文，比如optimal brain damage等等优秀论文。那么网络剪枝是怎么做的呢，大概的流程是怎么样子的呢？（1）首先训练的一个大的network（2）评估每一个参数/神

K-means 算法目标：把数据（n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类。所对应的公式如下所示：具体实现方式有Lloyd’s algorithm(尤其在计算机科学领域)。这是最为经典简单的K-means迭代算法。步骤如下：随机选取K个点作为初始的中心点计算每个点与K个中心点的K个距离分配点到距离其最近的中心点的类中重新计算

题目一：LT215-无序数组的第K个元素题目：在未排序的数组中找到第 k 个最大的元素。请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素输入: [3,2,1,5,6,4] 和 k = 2输出: 5输入: [3,2,3,1,2,4,5,5,6] 和 k = 4输出: 4首先需要做的是找一个方法做排序，让arr有序。可以用快速排序来做，排完了之后的第L-k+1个数首先回

目录BERT模型架构输入表征预训练任务代码实现Encoder编码器模块BERT模型架构BERT模型架构是一种多层双向变换器（Transformer）编码器。至于什么是变换器的注释及实现，参考哈佛Vaswani等人(2017)的优秀代码指南(http://nlp.seas.harvard.edu/2018/04/03/attention.html)BERT有两种大小：（1）Base版：L=12 ；

K-means 算法目标：把数据（n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类。所对应的公式如下所示：具体实现方式有Lloyd’s algorithm(尤其在计算机科学领域)。这是最为经典简单的K-means迭代算法。步骤如下：随机选取K个点作为初始的中心点计算每个点与K个中心点的K个距离分配点到距离其最近的中心点的类中重新计算

这里将会介绍近年来最火的模型ResNet 模型-残差神经网络（2014）ResNet 是因为对神经网络深度的观察，而提出的一个模型。之前人们观察到，为什么非常深度的网络在增加更多层的时候，表现会变差？ 按直觉，越深的网络理应效果更好，或者至少不变差。假设我们已经构建了一个N层的网络，实现了一定的精度，那么在这个基础上，再建立一层，即N+1层的网络模型，按理说，应该也会有差不多的精度，但是实际上，表

文章目录OCR简单介绍OCR的应用OCR-图像预处理OCR-文字检测OCR-文字识别OCR简单介绍光学字符识别（Optical Character Recognition, OCR）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。亦即将图像中的文字进行识别，并以文本的形式返回。输入有文本信息的图像，输出的是文本信息。输入 --> 图像预处理 --> 文字检测 --&

softmax函数softmax函数，一般用于多分类的问题上，将多个神经元的输入，映射在（0，1）之间。可以当作概率的计算。这一点跟sigmoid函数相似。softmax的计算公式为：Si=ei∑j=1nejS_i = \frac{e^i}{\sum_{j=1}^n e^j}Si​=∑j=1n​ejei​【值得关注的是: ∑i=1nSi=1\sum_{i=1}^n S_i = 1∑i=1n​Si​

文章目录OCR简单介绍OCR的应用OCR-图像预处理OCR-文字检测OCR-文字识别OCR简单介绍光学字符识别（Optical Character Recognition, OCR）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。亦即将图像中的文字进行识别，并以文本的形式返回。输入有文本信息的图像，输出的是文本信息。输入 --> 图像预处理 --> 文字检测 --&