摘要

CMU和google brain联手推出了bert的改进版xlnet。在这之前也有很多公司对bert进行了优化,包括百度、清华的知识图谱融合,微软在预训练阶段的多任务学习等等,但是这些优化并没有把bert致命缺点进行改进。xlnet作为bert的升级模型,主要在以下三个方面进行了优化

  • 采用AR模型替代AE模型,解决mask带来的负面影响
  • 双流注意力机制
  • 引入transformer-xl

今天我们使用xlnet+BiLSTM实现一个二分类模型。

数据集

数据集如下图:

image-20211102061844014

是顾客对餐厅的正负评价。正面的评论是1,负面的是0。这类的数据集很多,比如电影的正负评论,商品的正负评论。

模型

模型结构如下:

QQ拼音截图20211102091047

思路:将xlnet做为嵌入层提取特征,然后传入BiLSTM,最后使用全连接层输出分类。创建xlnet_lstm模型,代码如下:

class xlnet_lstm(nn.Module):
    def __init__(self, xlnetpath, hidden_dim, output_size, n_layers, bidirectional=True, drop_prob=0.5):
        super(xlnet_lstm, self).__init__()

        self.output_size = output_size
        self.n_layers = n_layers
        self.hidden_dim = hidden_dim
        self.bidirectional = bidirectional

        # xlnet ----------------重点,xlnet模型需要嵌入到自定义模型里面
        self.xlnet = XLNetModel.from_pretrained(xlnetpath)
        for param in self.xlnet.parameters():
            param.requires_grad = True

        # LSTM layers
        self.lstm = nn.LSTM(768, hidden_dim, n_layers, batch_first=True, bidirectional=bidirectional)

        # dropout layer
        self.dropout = nn.Dropout(drop_prob)

        # linear and sigmoid layers
        if bidirectional:
            self.fc = nn.Linear(hidden_dim * 2, output_size)
        else:
            self.fc = nn.Linear(hidden_dim, output_size)

        # self.sig = nn.Sigmoid()

    def forward(self, x, hidden):
        # 生成xlnet字向量
        x = self.xlnet(x)[0]  # xlnet 字向量

        # lstm_out
        # x = x.float()
        lstm_out, (hidden_last, cn_last) = self.lstm(x, hidden)
        # print(lstm_out.shape)   #[batchsize,64,768]
        # print(hidden_last.shape)   #[4, batchsize, 384]
        # print(cn_last.shape)    #[4,batchsize, 384]

        # 修改 双向的需要单独处理
        if self.bidirectional:
            # 正向最后一层,最后一个时刻
            hidden_last_L = hidden_last[-2]#[batchsize, 384]
            # 反向最后一层,最后一个时刻
            hidden_last_R = hidden_last[-1]#[batchsize, 384]
            # 进行拼接
            hidden_last_out = torch.cat([hidden_last_L, hidden_last_R], dim=-1) #[batchsize, 768]
        else:
            hidden_last_out = hidden_last[-1]  # [batchsize, 384]
        # dropout and fully-connected layer
        out = self.dropout(hidden_last_out) #out的shape[batchsize,768]
        out = self.fc(out)

        return out

    def init_hidden(self, batch_size):
        weight = next(self.parameters()).data

        number = 1
        if self.bidirectional:
            number = 2

        if (USE_CUDA):
            hidden = (weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float().cuda(),
                      weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float().cuda()
                      )
        else:
            hidden = (weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float(),
                      weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float()
                      )

        return hidden

xlnet_lstm需要的参数功6个,参数说明如下:

​ --xlnetpath:xlnet预训练模型的路径

​ --hidden_dim:隐藏层的数量。

​ --output_size:分类的个数。

​ --n_layers:lstm的层数

​ --bidirectional:是否是双向lstm

​ --drop_prob:dropout的参数

定义xlnet的参数,如下:

class ModelConfig:
    batch_size = 2
    output_size = 2
    hidden_dim = 384  # 768/2
    n_layers = 2
    lr = 2e-5
    bidirectional = True  # 这里为True,为双向LSTM
    # training params
    epochs = 10
    # batch_size=50
    print_every = 10
    clip = 5  # gradient clipping
    use_cuda = USE_CUDA
    xlnet_path = 'xlnet-base-chinese'  # 预训练bert路径
    save_path = 'xlnet_bilstm.pth'  # 模型保存路径

batch_size:batchsize的大小,根据显存设置。

output_size:输出的类别个数,本例是2.

hidden_dim:隐藏层的数量。

n_layers:lstm的层数。

bidirectional:是否双向

print_every:输出的间隔。

use_cuda:是否使用cuda,默认使用,不用cuda太慢了。

xlnet_path:预训练模型存放的文件夹。

save_path:模型保存的路径。

下载预训练模型

本例使用的预训练模型是xlnet-base-cased,下载地址:https://huggingface.co/hfl/chinese-xlnet-base/tree/main

image-20211102092824812

将上图画框的文件下载下来,如果下载后的名字和上面显示的名字不一样,则要修改回来。

将下载好的文件放入xlnet-base-chinese文件夹中。

配置环境

需要下载transformers和sentencepiece,执行命令:

conda install sentencepiece
conda install transformers

训练、验证和预测

训练详见train_model函数,验证详见test_model,单次预测详见predict函数。

代码和模型链接:
https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/36194843

Logo

分享最新、最前沿的AI大模型技术,吸纳国内前几批AI大模型开发者

更多推荐