
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
rnn参数 input_size,hidden_size,output_size,time_step,num_layers
从网上看到了这个图,就清晰多了, 绿色的圈圈就是input_size,也就是词向量的维度。(这里其实不太对 ,因为要分词,显然湖人是个名字,所以湖人应该是连在一起的)。output_size和hidden_size是没有关系的,但是和hidden有关系,在hidden里做了降维提取特征这个手段。图中有4个小图片,就是4个time_step, (!很多人会把time_step和hidden_size
在bert-bilstm-softmax中加入MultiheadAttention
先加载了一个预训练模型,这里的预训练模型输出的肯定是个tuple(之前犯了错,想看看究竟是什么东西,于是就size了一下发现出错,原来是tuple的原因),这里只需要知道预训练bert模型的输出的第一个列表也就是embed_x = self.bert(x)[0]是词向量,这里的词向量的维度是不能超过768的,因为这个模型最大就是768维的词向量,如果用更好的预训练模型比如roberta之类的会到1

LSTM的输入参数和输出参数
4.batch_first:默认为False,在制作数据集和数据集载入的时候,有个参数叫batch_size,也就是一次输入几个数据,lstm的输入默认将batch_size放在第二维,当为True的时候,则将batch_size放在第一维。1.input_size:输入的特征维度,一般来说就是字向量的维度,比如如果用bert(base)的话,那么输入的维度input_size=768。3.num

到底了







