文本分类任务参考：NLP-Interview-Notes/NLPinterview/textclassifier/TextClassification at main · km1994/NLP-Interview-Notes (github.com)数据预处理1.文本分类任务数据预处理方法分词：将句子分割成独立的语义单元组成的序列过程去停用词：识别并删除对分类意义不大且出现频率较高的词词性标注：在

深度神经网络问题以及解决方法参考博客：深度学习中的highway network、ResNet参考博客：神经网络梯度与归一化问题总结一份详细讲解的代码：https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/问题一：误差信号的多层反向传播容易产生“梯度消失”、“梯度爆炸”现象问题二：随着深度神经网络层数的增加，训练误差没有降低反而升高当

深度神经网络中的优化器有各种各样的方法梯度下降梯度下降法（gradient descent）或最速下降法（steepest descent）,是求解无约束最优化问题的一种最常用的方法。梯度下降法是一种迭代算法， 每一步会求解目标函数的梯度向量。梯度的本意是一个向量， 表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向的变化最快， 变化率最大（梯度的模）对于函数来说， 其梯

RNN循环神经网络的结构， 它由一个输入层、一个隐藏层和一个输出层组成。语言模型：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么在使用RNN之前，语言模型主要采用n-gram, n是一个自然数，假设一个词出现的频率只与前面N个词相关。RNN理论上可以往前（往后看）任意多个词。参考：循环神经网络在计算时， 每一time step中使用的参数是一样的，也就是说每个步骤的参数都是共享的，这是

参考：机器学习的熵：机器学习各种熵：从入门到全面掌握 - 知乎 (zhihu.com)相对熵（KL散度）：相对熵（KL散度）信息熵、条件熵、交叉熵、相对熵互信息什么是「互信息」 - 知乎 (zhihu.com)信息增益信息增益表示得知特征的信息而使得类的信息不确定性减少的程度。信息增益是决策树ID3算法在进行特征切割时使用的划分准则，其物理意义和互信息完全相同，并且公式也是完全相同。其公式如下：其

感知机参考：什么是感知机？机器学习感知机证明感知机原始形式的收敛性（略）感知机的原始形式以及对偶形式的对比：如何理解感知机学习算法的对偶形式？SVM凸函数凹凸函数本质是描述函数斜率增加减少的。语义上的凸为正，代表斜率在增加（单调不减）。凹为负，代表斜率在减少（单调不增）。凸函数的二阶导数为正。凸优化（待学习）凸优化笔记10：凸优化问题KTTKarush-Kuhn-Tucker (KKT)条件 -

降维（Dimensionality Reduction）视频参考：【机器学习】【白板推导系列】【合集 1～33】_哔哩哔哩_bilibili笔记参考：降维 · 语雀 (yuque.com)过拟合增加数据正则化降维直接降维（特征选择）线性降维（PCA、MDS）非线性降维（流形学习（Isomap、LLE））维度灾难（数据稀疏性）：几何角度对于高维空间而言， 维度越高，球形体的体积越小样本均值 &amp

动手学深度学习（十二、自然语言处理进阶知识）在大规模语料上预训练的词向量常常可以应用于下游自然语言处理任务中。可以应用预训练的词向量求近义词和类比词。word2vec词嵌入模型，通过词向量的余弦相似度搜索近义词。实际中，在大规模语料上预训练的词向量常常可以应用到下游自然语言处理任务中。本节将演示如何用这些预训练的词向量来求近义词和类比词。我们还将在后面两节中继续应用预训练的词向量。一、使用预训练的

同义词替换回译回译调用百度API接口实现回译数据增强代码实现如下：import http.clientimport hashlibimport jsonimport urllibimport randomimport time#调用百度翻译API将中文翻译成英文def baidu_translate(content, from_, to_):appid = ''#个人申请后的id号secretKe

采样、反卷积（下采样就是抽取、上采样就是插值）通常所说的采样指的是下采样，也就是对信号的抽取。其实，上采样和下采样都是对数字信号进行重采，重采的采样率与原来获得该数字信号（比如从模拟信号采样而来）的采样率比较，大于原信号的称为上采样，小于的则称为下采样。上采样的实质也就是内插或插值。下采样的定义：对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。下采样就是抽取，是多速率信号处