最近在做一个智能客服系统的升级，想把通用大模型“调教”成更懂自家业务的垂直专家。踩了不少坑，也总结了一些经验，今天就来聊聊从技术选型到最终部署上线的完整构建思路。

通用大模型虽然“博学”，但直接用在客服场景，就像让一个百科全书式的学者去当专科医生，总有些水土不服。我主要遇到了三个头疼的问题：

1. 领域术语理解偏差：比如我们做金融客服，用户问“这个理财产品的年化是多少？”，模型可能泛泛地解释年化收益率的概念，但无法精准关联到我们具体的“XX宝”产品，并给出准确的数值范围和风险说明。
2. 长对话上下文丢失：客服对话往往多轮往复。用户可能先问“怎么修改手机号？”，接着问“那邮箱呢？”，最后说“帮我一起改了吧”。通用模型容易在几轮之后忘记最初的修改意图，导致回答脱节。
3. 意图识别准确率低：用户的真实需求可能隐藏在口语化表达中。比如“我付不了款了，急死我了！”背后可能是支付渠道问题、余额不足、风控拦截等多种意图。通用模型对垂直场景下的细分意图捕捉不够精准。

针对这些问题，我们的核心思路是“专业化改造”，主要从模型微调、知识注入和对话管理三个层面入手。

1. 技术方案选型：轻量化微调与知识融合

直接全参数微调一个大模型成本太高，我们主要对比了两种参数高效微调（PEFT）方法：

• LoRA (Low-Rank Adaptation)：在原始模型的注意力权重旁，增加一个低秩分解的适配器。训练时冻结原模型，只更新适配器参数。优点是显存占用小，训练快，且多个任务适配器可以灵活切换。非常适合我们这种需要在同一模型基础上适配不同产品线客服的场景。
• P-Tuning v2：将可训练的连续提示（prompt）向量插入到模型的每一层输入中，通过优化这些提示向量来引导模型输出。它在序列标注和分类任务上表现很好，但对于需要大量领域知识生成的任务，有时不如LoRA灵活。

我们最终选择了LoRA，因为它与生成式任务更契合，且保存的检查点很小（通常只有几十MB）。

领域知识注入，我们尝试了两种路径：

• 路径一：增量训练。收集大量的客服对话日志、产品手册、Q&A文档，构建领域语料库。然后，在通用模型基础上，用这些领域数据继续进行有监督的预训练（SFT）。这种方法能让模型从根本上“学会”领域语言，但需要高质量、大规模的数据，且训练成本不低。
• 路径二：知识蒸馏。我们训练了一个小型的、针对领域知识优化的“教师模型”（比如用BERT在客服语料上微调），然后用它来标注或生成数据，再去指导大模型（学生模型）学习。或者，更直接地将产品知识库构建成向量，在推理时通过检索增强生成（RAG）的方式提供给大模型。我们采用了RAG作为补充，因为它能保证知识的实时性（知识库更新，模型立即生效），与LoRA微调形成互补。

2. 对话管理模块设计

为了让模型能hold住多轮对话，我们设计了一个简单的对话状态跟踪（DST）模块。核心是一个状态机，维护着当前对话的核心“议程”。

其工作流程如下：

1. 用户输入一句话。
2. 意图识别：用一个轻量级分类模型（或大模型本身）判断当前意图，如“查询余额”、“投诉工单”、“修改信息”。
3. 槽位填充：根据意图，从用户语句中抽取关键信息（实体），填充到预定义的槽位中。例如，“修改信息”意图的槽位可能包括 [修改项目]、[旧值]、[新值]。
4. 状态更新：将识别到的意图和填充的槽位更新到对话状态中。状态机判断当前是否已收集到足够信息（所有必填槽位已满）。
5. 决策与响应生成：如果信息不足，状态机指示模型进行“追问”；如果信息齐全，则结合完整的对话状态（历史+当前）和从知识库检索到的相关信息，生成最终的答复。
6. 模型生成答复，完成本轮交互。

3. 代码实现关键片段

基于HuggingFace Transformers的LoRA微调示例：

首先，数据清洗和准备Prompt模板至关重要。我们从原始对话日志中，构建 (instruction, input, output) 格式的数据。

import json
from transformers import AutoTokenizer

# 假设原始数据格式：{"history": ["用户: 你好", "客服: 您好"], "query": "怎么开户？", "response": "请提供身份证..."}
def build_instruction_item(raw_data):
    history = "\\n".join(raw_data["history"][-4:]) # 取最近4轮历史
    instruction = "你是一个专业的金融客服助手。请根据对话历史，专业、准确地回答用户问题。"
    input_text = f"对话历史：{history}\\n用户当前问题：{raw_data['query']}"
    output_text = raw_data["response"]
    return {"instruction": instruction, "input": input_text, "output": output_text}

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
tokenizer.pad_token = tokenizer.eos_token # 设置填充token

def format_for_finetuning(example):
    # 构建符合模型聊天格式的Prompt
    messages = [
        {"role": "system", "content": example["instruction"]},
        {"role": "user", "content": example["input"]},
        {"role": "assistant", "content": example["output"]}
    ]
    text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=False)
    return {"text": text}

# 使用datasets库加载和映射数据
from datasets import Dataset
dataset = Dataset.from_list([build_instruction_item(d) for d in raw_data_list])
dataset = dataset.map(format_for_finetuning, remove_columns=dataset.column_names)

然后，使用PEFT库进行LoRA微调：

from transformers import AutoModelForCausalLM, TrainingArguments, Trainer
from peft import LoraConfig, get_peft_model, TaskType
import torch

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 配置LoRA
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,  # LoRA秩
    lora_alpha=32,
    lora_dropout=0.1,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"] # 通常作用于注意力层的投影矩阵
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters() # 查看可训练参数占比，通常<1%

# 配置训练参数
training_args = TrainingArguments(
    output_dir="./qwen-customer-service-lora",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    num_train_epochs=3,
    logging_steps=10,
    save_steps=200,
    learning_rate=2e-4,
    fp16=True, # 混合精度训练节省显存
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    data_collator=lambda data: {'input_ids': torch.stack([d['input_ids'] for d in data]),
                                'attention_mask': torch.stack([d['attention_mask'] for d in data]),
                                'labels': torch.stack([d['input_ids'] for d in data])} # 因果语言建模，标签即输入
)
trainer.train()

使用vLLM进行推理优化：

微调后的模型，推理速度是关键。vLLM的PagedAttention技术能极大提高吞吐。

from vllm import LLM, SamplingParams

# 加载模型，指定我们微调后的LoRA适配器
llm = LLM(
    model="Qwen/Qwen2.5-7B-Instruct",
    tokenizer="Qwen/Qwen2.5-7B-Instruct",
    enable_lora=True, # 启用LoRA支持
    max_lora_rank=8,
    max_cpu_loras=4, # 内存中保留的LoRA适配器数量
    # 加载我们微调好的适配器权重
    lora_modules=[{
        "name": "customer_finance", # LoRA任务名
        "local_path": "./qwen-customer-service-lora/checkpoint-600"
    }],
    tensor_parallel_size=1, # 如果多GPU可设置
    gpu_memory_utilization=0.9, # GPU内存利用率
)

sampling_params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=512)

# 准备输入，注意在vLLM中指定使用哪个LoRA
prompts = [
    "对话历史：用户：我的信用卡账单日是哪天？\\n客服：您的账单日是每月5号。\\n用户当前问题：那还款日呢？"
]
# 在generate时通过`lora_request`指定使用的LoRA
outputs = llm.generate(prompts, sampling_params, lora_request="customer_finance")

for output in outputs:
    print(f"Prompt: {output.prompt}")
    print(f"Generated text: {output.outputs[0].text}")

4. 生产环境部署考量

并发请求下的GPU内存管理： vLLM本身通过PagedAttention高效管理KV缓存。我们还需要在服务层面做控制：

• 设置最大并发数和请求队列，防止瞬时洪峰压垮GPU内存。
• 使用动态批处理（vLLM已内置），将短时间内到达的多个请求合并成一个批次进行前向传播，提高GPU利用率。
• 监控GPU显存，当利用率持续高于阈值时，对新请求返回“服务繁忙”或将其路由到负载较低的实例。

敏感词过滤的实时处理方案： 大模型可能生成不受控的内容。我们在生成后、返回前加入过滤层：

• 维护一个敏感词/违规短语列表，使用AC自动机等高效算法进行匹配。
• 对于匹配到的内容，可以选择直接替换为固定提示（如“该问题涉及敏感信息，请咨询人工客服”），或触发二次生成（让模型换种说法）。
• 这个过滤服务需要独立、低延迟，最好与模型推理服务部署在同一区域网络内。

5. 实践避坑指南

避免数据泄露的微调数据脱敏： 用于微调的客服数据包含大量用户隐私（手机号、身份证、订单号）。

• 在数据预处理阶段，使用正则表达式或NER模型识别并替换所有敏感实体为占位符。例如，将“我的手机是13800138000”替换为“我的手机是[PHONE]”。
• 确保占位符在微调后的模型推理中，也能被后续的业务逻辑正确还原或处理。

对话状态跟踪的常见错误模式：

• 状态溢出：无限制地保存所有历史对话细节，导致状态过于庞大。应设计状态摘要机制，只保留关键意图和槽位。
• 槽位误填：用户可能在对话中更正信息（“不对，是修改邮箱，不是手机”）。状态机需要支持槽位覆盖和删除逻辑。
• 意图切换不灵活：用户可能在一个对话流中切换意图（从“查询”切换到“办理”）。状态机应能处理这种中断，并妥善清理或保存上一个意图的上下文。

6. 效果与思考

经过上述改造，我们的垂直客服模型在内部测试集上，意图识别准确率提升了约25%，对领域术语的理解和生成相关性显著改善。通过vLLM部署，在A10 GPU上，平均响应延迟从原始的约1.8秒降低到了1秒左右，达到了预期目标。

最后，抛出一个我们在项目中持续权衡的问题供大家讨论：在构建垂直大模型时，如何平衡模型规模（如7B、14B、70B）与响应延迟、部署成本之间的关系？ 是选择小模型+更激进的优化（量化、蒸馏），还是用大模型+更精巧的上下文控制来获得更好的效果上限？期待听到大家的实践经验。