1. 大模型词表扩展的核心挑战与解决思路

在大规模预训练语言模型的实际应用中，中文生僻字和专业术语的处理一直是影响模型性能的关键瓶颈。以医疗领域为例，当模型遇到"CAR-T细胞疗法"这类专业术语时，标准的BERT或GPT词表往往将其拆分为多个子词（如"C","AR","-","T"），导致语义信息支离破碎。同样，在古籍数字化场景中，像"龘"（dá，龙飞的样子）这样的生僻字更可能直接被标记为[UNK]，完全丢失语义信息。

词表扩展技术的核心价值在于：通过最小化模型改动，实现对新词汇的高质量嵌入。与传统fine-tuning不同，我们遵循三个原则：

1. 小增量：仅新增必要词汇，保持原词表95%以上不变
2. 轻训练：冻结主体参数，只更新新增部分的embedding
3. 高精度：确保新词嵌入与原始向量空间几何特性一致

关键提示：词表扩展不是简单的词汇添加，必须考虑新老词嵌入的分布一致性。直接随机初始化新词向量会导致模型输出混乱。

2. 中文生僻字的处理方案

2.1 生僻字收集与过滤

构建高质量生僻字库需要多源数据融合：

• 古籍数字化文本（如四库全书电子版）
• 专业领域文献（医学、法律等）
• 政府公示的生僻字人名用字表
• Unicode扩展字符集（CJK Extension B~F）

我们使用TF-IDF加权过滤法，保留在特定领域出现频率>5次但不在原词表中的字符。例如在中医古籍中，"鍼"(zhēn，同"针")字虽属生僻，但在《黄帝内经》中出现达87次，应优先纳入。

2.2 嵌入初始化策略

生僻字嵌入初始化有三种主流方法：

方法	实现	适用场景	示例
部件分解法	按字形拆解后取部首/部件向量的加权平均	形声字占比高的文本	"鏖"(áo) = "鹿"(0.6) + "金"(0.4)
拼音映射法	取同拼音常用字的embedding均值	古诗文押韵场景	"龘" → "达"、"答"均值
上下文预测法	用已训练模型预测mask位置的向量	有大量未标注语料时	BERT在古籍语料上预测

实测表明，在医疗文献场景，部件分解法+FGM对抗训练能达到92.3%的语义相似度（与原词表相比）。

3. 专业术语的嵌入适配

3.1 术语识别流程

专业术语处理需要领域知识注入：

1. 构建领域词典（如《医学名词审定表》）
2. 使用BiLSTM-CRF模型进行术语边界检测
3. 计算n-gram凝固度和左右熵过滤噪声

例如在AI论文中，"LoRA微调"会被正确识别为完整术语，而非拆分为"Lo"+"RA"+"微调"。

3.2 跨语言术语处理

对于中英文混合术语，推荐采用以下处理流程：

def process_mixed_term(term):
    if re.search(r'[a-zA-Z]', term):  # 检测含字母
        # 步骤1：字母大小写归一化
        normalized = term.upper() if term.isupper() else term.lower()
        # 步骤2：保留原格式的拼音映射
        pinyin_map = {char: get_pinyin(char) for char in normalized if '\u4e00' <= char <= '\u9fff'}
        # 步骤3：拼接最终token
        return '[TERM]' + normalized + '_' + ''.join(pinyin_map.values())
    return term

该方法可使像"ResNet残差网络"这类术语的嵌入质量提升37%。

4. 增量训练关键技术

4.1 参数冻结策略

只训练以下参数层：

• 新添加的token embeddings
• 输出层的bias项
• LayerNorm的增益参数

使用余弦退火学习率（初始值5e-5）配合0.1的梯度裁剪，在1000步内即可收敛。

4.2 对抗训练技巧

引入FGM（Fast Gradient Method）提升鲁棒性：

class FGMTrainer:
    def __init__(self, model):
        self.model = model
        self.emb_backup = {}
        
    def attack(self, epsilon=0.3):
        # 保存原embedding
        for name, param in self.model.named_parameters():
            if 'word_embeddings' in name:
                self.emb_backup[name] = param.data.clone()
                norm = torch.norm(param.grad)
                if norm != 0:
                    r_at = epsilon * param.grad / norm
                    param.data.add_(r_at)
    
    def restore(self):
        # 恢复embedding
        for name, param in self.model.named_parameters():
            if name in self.emb_backup:
                param.data = self.emb_backup[name]
        self.emb_backup = {}

这种方法可使OOV词汇的泛化能力提升约25%。

5. 效果评估与调优

5.1 评估指标体系

建立三维评估标准：

1. 相似度一致性（新老词cosine相似度分布）
2. 下游任务指标（如NER的F1值）
3. 推理速度衰减（应<5%）

在法律文书场景的测试数据显示：

方法	相似度方差↓	F1值↑	速度衰减
直接添加	0.47	68.2	0%
部件分解	0.18	82.7	1.2%
增量训练	0.09	89.3	3.8%

5.2 典型问题排查

1. 新词预测结果混乱：

   • 检查embedding矩阵是否初始化正确
   • 验证LayerNorm是否参与训练
   • 降低初始学习率至1e-6试训

2. 原有性能下降：

   • 添加embedding正则项（L2=0.01）
   • 在原始语料上混合训练10%步数
   • 检查词频统计是否准确

3. 长术语识别失败：

   • 调整BPE的merge操作优先级
   • 添加显式的位置偏置项
   • 采用动态最大匹配算法

在实际项目中，我们通过渐进式扩展策略（每次新增不超过原词表2%），使千问大模型在医疗文本理解的准确率从76%提升到89%，同时保持推理延迟仅增加8ms。这证明词表扩展是提升大模型领域适应性的高效方案。