一、 自回归语言模型听到自回归语言模型（Autoregressive LM）这个词，我们知道一般的语言模型都是从左到右计算某个词出现的概率，但是当我们做完型填空或者阅读理解这一类NLP任务的时候词的上下文信息都是需要考虑的，而这个时候只考虑了该词的上文信息而没有考虑到下文信息。所以，反向的语言模型出现了，就是从右到左计算某个词出现的概率，这一类语言模型称之为自回归语言模型。像坚持只用单向Trans

一、Bert预训练：其中我们常用Bert预训练之后产生的CLS Token的浓缩表示表示一个句子；其次我们会使用seq长度的token组合的表示，这样多了一个句子长度的维度。二、BiLSTM：将前向lstm和后向lstm进行结合，这样句子就包含了前向和后向的所有信息，但这一类的方法由于LSTM的本身的时序性，导致了其耗时比较长；三、Glove等词向量模型：有时候直接使用目前现成的简单的词向量模型，

自然语言处理中的数据增强  在实际的生产场景下，数据的稀缺性是一种常见的现象，因此如何进行数据增强或者是小样本学习是十分关键的技术。数据增强(DA)在机器学习领域多指采用一些方法（比如数据蒸馏，正负样本均衡等）来提高模型数据集的质量，增强数据。  最开始的数据增强在计算机视觉中得到了广泛的应用，然后被引入到自然语言处理中，并在许多任务中取得了改进。DA方法的重点之一是提高训练数据的多样性，从而帮助

一、 自回归语言模型听到自回归语言模型（Autoregressive LM）这个词，我们知道一般的语言模型都是从左到右计算某个词出现的概率，但是当我们做完型填空或者阅读理解这一类NLP任务的时候词的上下文信息都是需要考虑的，而这个时候只考虑了该词的上文信息而没有考虑到下文信息。所以，反向的语言模型出现了，就是从右到左计算某个词出现的概率，这一类语言模型称之为自回归语言模型。像坚持只用单向Trans

Golang&GORM中实现分页的方法(附详细代码及注释)var total intpage,_:= strconv.Atoi(c.DefaultPostForm("page","1"))pageSize,_:= strconv.Atoi(c.DefaultPostForm("pageSize","10"))//此处用了PostForm的请求方法db = models.db.Model(S

判断两个数组对应位置相等的个数，然后计算模型预测的正确率一、问题背景二、解决方法一、问题背景  在多分类模型预测的结果中，我想知道预测的结果与实际的答案相比，其正确率是多少，这个时候我们往往是对应比较两个数组list之间对应相等的个数。因此，我大致总结了一些方法来计算此正确率。假设我们此处的预测结果和实际结果分别为：# 假设是三分类任务，存在0，1，2三种结果list1 = [1,2,0,0,1]

一、golang中处理http响应数据解码，一般有两种方式：1：json.Unmarshal进行解码func HandleUse(w http.ResponseWriter, r *http.Request) {var u Use //此处的Use是一个结构体data, err := ioutil.ReadAll(r.Body)//此处的r是http请求得到的json格式数据-->然后转化为

一、问题背景  由于最近做nlp相关的项目，在进行数据预处理的时候，需要对文本进行分词、去停用词、词性标注、标点去除等预处理方法。  由于标点符号会影响我们分词的效果，这里我着重了解学习了标点去除的方法，总结了有以下几种，欢迎大家补充????二、解决方案以下描述了4种方法：import reimport stringsentence = "+今天=是！2021!年/8月?1,7日★.---《七夕节

一、Dropout层的作用  dropout 能够避免过拟合，我们往往会在全连接层这类参数比较多的层中使用dropout；在训练包含dropout层的神经网络中，每个批次的训练数据都是随机选择，实质是训练了多个子神经网络，因为在不同的子网络中随机忽略的权重的位置不同，最后在测试的过程中，将这些小的子网络组合起来，类似一种投票的机制来作预测，有点类似于集成学习的感觉。  关于dropout，有nn.

1.问题背景：  某些时候会接收到别人发给我们的xmind(一种思维导图)的文件，但苦于我们的电脑上没有下载Xmind软件，所以我们怎么快捷的查看该文件的内容呢？2.解决方案：Step 1：  我在网络上搜索了相关的解决方法，发现一个比较快捷的，因此推荐给大家，就是我们可以直接使用百度脑图 (https://naotu.baidu.com/)来直接打开xmind类型文件。  首先我们需要登录我们的