Hugging Face Transformers 实战：5 行代码切换 BERT 与 GPT-2 完成下游任务

在当今快速发展的自然语言处理领域，预训练语言模型已成为解决各类文本任务的利器。Hugging Face 的 Transformers 库以其简洁高效的 API 设计，让开发者能够轻松调用最先进的模型。本文将带你快速掌握如何用极简代码切换 BERT 和 GPT-2 模型，分别完成文本分类和文本生成这两类经典任务。

1. 环境准备与模型加载

开始之前，我们需要确保环境配置正确。推荐使用 Python 3.8+ 和 PyTorch 1.8+ 环境，通过以下命令安装必要依赖：

pip install transformers torch

Transformers 库的核心设计哲学是"一致性API"，不同模型通过相同的接口调用。加载模型时，我们主要使用两个关键类：

• AutoModelForSequenceClassification ：适用于分类任务的通用接口
• AutoModelForCausalLM ：适用于生成任务的通用接口

BERT 模型加载示例 ：

from transformers import AutoTokenizer, AutoModelForSequenceClassification

bert_tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
bert_model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")

GPT-2 模型加载示例 ：

from transformers import AutoTokenizer, AutoModelForCausalLM

gpt_tokenizer = AutoTokenizer.from_pretrained("gpt2")
gpt_model = AutoModelForCausalLM.from_pretrained("gpt2")

注意：首次运行时会自动下载预训练模型，文件较大（BERT约440MB，GPT-2约500MB），请确保网络通畅。

2. 文本分类实战：BERT 应用

文本分类是 NLP 中最常见的任务之一，我们将使用 BERT 完成情感分析任务。Transformers 库的 pipeline API 让这个过程变得极其简单：

from transformers import pipeline

classifier = pipeline("text-classification", model="bert-base-uncased")
result = classifier("I really enjoy using Hugging Face transformers!")
print(result)
# 输出示例: [{'label': 'POSITIVE', 'score': 0.9998}]

对于需要自定义处理的情况，我们可以拆解完整流程：

1. 文本预处理 ：

inputs = bert_tokenizer("This movie was terrible!", return_tensors="pt")
# 输出: {'input_ids': tensor([[  101,  2023,  3185,  2001, 10629,   999,   102]]), 
#        'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1]])}

2. 模型推理 ：

outputs = bert_model(**inputs)
logits = outputs.logits
# logits形状: torch.Size([1, 2]) (假设是二分类)

3. 结果解析 ：

import torch

predicted_class = torch.argmax(logits).item()
# 0表示负面，1表示正面

下表对比了不同预训练模型在情感分析任务上的表现：

模型	准确率	训练速度	内存占用
BERT-base	92.3%	1x	1.1GB
DistilBERT	90.8%	2x	0.5GB
RoBERTa-base	93.1%	0.8x	1.3GB

3. 文本生成实战：GPT-2 应用

GPT-2 在文本生成方面表现出色，同样可以通过简洁的代码实现强大功能。基础生成示例：

from transformers import pipeline

generator = pipeline("text-generation", model="gpt2")
result = generator("The future of AI is", max_length=50, num_return_sequences=1)
print(result[0]['generated_text'])

对于更精细的控制，可以手动处理生成过程：

1. 准备输入 ：

inputs = gpt_tokenizer("In a shocking discovery, scientists found", return_tensors="pt")

2. 配置生成参数 ：

outputs = gpt_model.generate(
    inputs.input_ids,
    max_length=100,
    temperature=0.7,
    do_sample=True,
    top_k=50
)

3. 解码输出 ：

generated_text = gpt_tokenizer.decode(outputs[0], skip_special_tokens=True)

关键生成参数说明：

• temperature ：控制随机性（值越大输出越多样）
• top_k ：仅考虑概率最高的k个词
• num_beams ：束搜索的宽度（大于1时启用束搜索）

4. 模型切换与任务适配

Transformers 库的强大之处在于不同模型间的无缝切换。以下示例展示如何用相同接口处理不同模型：

分类任务通用模板 ：

def classify_text(text, model_name="bert-base-uncased"):
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForSequenceClassification.from_pretrained(model_name)
    inputs = tokenizer(text, return_tensors="pt")
    outputs = model(**inputs)
    return torch.argmax(outputs.logits).item()

生成任务通用模板 ：

def generate_text(prompt, model_name="gpt2"):
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name)
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=100)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

下表对比了 BERT 和 GPT-2 在不同任务上的适用性：

任务类型	BERT 适用性	GPT-2 适用性	推荐模型
文本分类	★★★★★	★★☆☆☆	BERT
命名实体识别	★★★★★	★☆☆☆☆	BERT
问答系统	★★★★☆	★★☆☆☆	BERT
文本摘要	★★☆☆☆	★★★★☆	GPT-2
对话生成	★☆☆☆☆	★★★★★	GPT-2
代码生成	★☆☆☆☆	★★★★☆	GPT-2

5. 高级技巧与性能优化

在实际应用中，我们还需要考虑一些优化策略：

批处理推理 ：

# 同时处理多个输入
texts = ["This is great", "I'm disappointed"]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
outputs = model(**inputs)

量化加速 ：

from transformers import AutoModelForSequenceClassification

# 加载8位量化模型
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", load_in_8bit=True)

梯度检查点 （节省显存）：

model.gradient_checkpointing_enable()

使用更高效的变体 ：

# 使用DistilBERT代替BERT
from transformers import DistilBertTokenizer, DistilBertForSequenceClassification

tokenizer = DistilBertTokenizer.from_pretrained('distilbert-base-uncased')
model = DistilBertForSequenceClassification.from_pretrained('distilbert-base-uncased')

提示：对于生产环境，建议使用 ONNX 格式导出模型以获得更优的推理性能：

from transformers import convert_graph_to_onnx
convert_graph_to_onnx.convert("bert-base-uncased", "onnx/")

6. 常见问题与解决方案

在实际使用中，开发者常会遇到以下问题：

内存不足错误 ：

• 解决方案：尝试减小 batch_size，使用梯度检查点，或者加载量化模型

生成结果不连贯 ：

• 调整 temperature 参数（0.7-1.0之间）
• 启用 top-k 或 top-p 采样：

  outputs = model.generate(
      input_ids,
      do_sample=True,
      top_k=50,
      top_p=0.95,
      temperature=0.9
  )
  

处理长文本 ：

• BERT 最大长度通常为512，对于更长文本：
  • 使用 Longformer 或 BigBird 等支持长序列的模型
  • 分段处理后聚合结果

多语言任务 ：

• 使用多语言模型如：

  # 多语言BERT
  model_name = "bert-base-multilingual-cased"
  # 多语言GPT
  model_name = "xglm-564M"
  

7. 扩展应用与进阶方向

掌握了基础用法后，可以进一步探索：

自定义模型头 ：

from transformers import BertPreTrainedModel, BertModel

class CustomBert(BertPreTrainedModel):
    def __init__(self, config):
        super().__init__(config)
        self.bert = BertModel(config)
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(config.hidden_size, 3)  # 三分类
        
    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        pooled = outputs[1]
        pooled = self.dropout(pooled)
        return self.classifier(pooled)

模型蒸馏 （创建更小更快的模型）：

from transformers import DistilBertForSequenceClassification

teacher = AutoModelForSequenceClassification.from_pretrained("bert-large-uncased")
student = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased")

# 使用蒸馏训练循环...

多模态应用 ：

# 使用Vision+Language模型
from transformers import VisionEncoderDecoderModel

model = VisionEncoderDecoderModel.from_pretrained("nlpconnect/vit-gpt2-image-captioning")