import torchimport torch.nn as nnclass rnn(nn.Module):super(rnn).__init__()def __init__(self,input_dim,output_dim,num_layer,num_class):self.layer1 = nn.LSTM(input_dim,output_dim,num_layer)...

Improving BERT Fine-Tuning via Self=Ensemble and Self-Distillation基本信息机构：复旦大学华为公司时间：2020下载地址: link.

transformer模型现在已经广泛应用于NLP、CV等各种场景并且取得很好的效果，在此记录一下如何使用pytorch来构建Transformer模型进行分类，具体代码如下：import torchimport numpy as npimport torch.nn as nnfrom configs.config import optclass trans_model(nn.Module):de

import fasttextdef train_model(input_path,output_path,dim=100,epoch=5,lr=0.1,loss='softmax'):model = fasttext.train_supervised(input_path,label='__label__',dim=dim,epoch=epoch,lr=lr,wordNgrams=2,loss=

在讨论项目架构时经常会提到spark、flink等大数据组件，作为小白的我对这些组件的功能总是有些模糊，趁年底工作量不大找了些资料学习一下，在此处对所理解的内容进行大概梳理，不对的地方请大家指正。1、hadoop/spark/storm/flink1）hadoop和spark是更偏向于对大量离线数据进行批量计算，提高计算速度2）storm和flink适用于实时在线数据，即针对源源不断产生的数据进行

在某些场景中需要对list中的元素进行分组，并且在多次分组过程中同一个元素需要固定分配在某一个组中，通常的想法是固定随机数种子以后使用random进行随机抽取，但是当list中的元素的数量或者位置发生改变时同一个元素的组别就会发生变化，示例如下：import randomrandom.seed(2022)test1 = [1,2,3,4,5,6,7,8,9,10]res1 = random.sam

特征选择一个样本会有多个特征，例如西瓜包括纹理、颜色、甜度等特征，特征选择的意义即在于原始特征集合中选择一个子集，使得模型效果最好，例如在西瓜的纹理、颜色、甜度、根蒂等原始特征中选择纹理和颜色两个特征子集，去除冗余信息。一句话总结：在原始特征集合中选取特征子集。特征抽取特征抽取是将原始特征空间映射到新的特征空间，例如从三维空间映射到二维空间，其目的在于使用较少的特征来表示原始特征空间中的绝大...

kmeansDBSCANLDA聚类TSNE对聚类效果进行可视化展示对代码进行记录，方便以后使用kmeans聚类代码from sklearn.cluster import KMeanskm_cluster = KMeans(n_clusters=3, max_iter=300, n_init=40,init='k-means++', n_jobs=-1)result = km_...

最近遇到mysql数据库报错：ERROR 1030 (HY000): Got error 28 from storage engine的问题，这个问题是由于Mysql临时空间目录下可以空间不足造成的，折腾了好久，现在记录一下完整过程1）查看Mysql临时空间目录命令行连接Mysql后执行以下命令：show variables like '%dir%';出现以下界面：basedir | /usr/l

小白对于BERT细节的一点理解工作以后跟着同事学习NLP相关内容，之前的一些层归一化、归一化等相关知识还不牢固，希望在周末闲暇时间多多弥补，最近看了BERT的相关内容，在此对其进行记录整理，以便于日后复习回顾，记录有不正确的地方，还请指出。初相识最初在博客看过对于BERT的讲解，阅读原始论文，发现BERT主要包括以下三点内容：1、使用Transformer的进行双向训练。2、输入向量包括...