在自然语言处理（NLP）领域，大语言模型（如 GPT、BERT 等）通过对大规模语料库的训练，取得了显著的成果，它们能够处理和生成文本、进行语义分析等任务。然而，这些模型在一些看似简单的任务上表现不尽如人意，尤其是在算术能力和简单推理方面，这往往是因为模型的工作原理中存在一个关键的因素——分词问题。

本文将探讨分词问题如何影响大语言模型的表现，并分析为何分词问题导致了模型在算术、推理等任务中的缺陷。

什么是分词？

在中文或其他语言的自然语言处理任务中，分词是将输入的文本切分成可处理的单位，如词或子词。大部分中文 NLP 模型采用基于 词汇表 或 子词（如 BPE、WordPiece）的方法进行分词，将连续的文本切分为不同的 token（词或子词）。这些分词后的单位将作为模型的输入进行进一步处理。

然而，尽管分词对于很多文本处理任务至关重要，它却在大语言模型的工作中引发了一些 潜在问题，尤其是在 算术能力 和 字符级别操作 任务中。

1. 分词导致大语言模型算术能力差

(1) 语言模型的工作原理

大语言模型（如 GPT-3 和 BERT）通过学习大量的文本数据来生成下一词或进行分类等任务。它们擅长基于上下文生成合理的文本，然而对于精确的数学运算，它们的处理能力相对较弱。这是因为：

• 语言模型的训练目标是生成文本，并没有训练其执行精确的数学计算。

• 对于算术运算，模型并没有像计算器那样的精确计算能力，它更多的是依赖上下文中的模式（如“3 + 5”通常得到“8”）。

(2) 分词如何影响算术能力？

分词是将文本切分成词或子词的过程，这对于大语言模型来说，既是一个基础的输入处理步骤，也可能成为其在处理算术运算时的一个障碍。具体原因如下：

• 数字和符号的处理：模型将数字和运算符视为单独的token。在分词过程中，模型可能会将“123”分解成多个token，如“1”，“2”，“3”，这使得模型难以将其作为一个整体数字进行处理。

• 算术符号的语境问题：算术符号（如加法、减法等）在大语言模型中通常被视为语言中的符号，而非数学运算符。因此，模型可能不会将加法、减法等符号与数值相结合，进而影响其算术运算能力。

(3) 示例：数字“3 + 5”在分词后的表现

假设我们输入文本“3 + 5”，在分词过程中：

• 模型可能将“3”和“5”拆解成单独的token，或者将它们当作自然语言中的数字来处理，而不是真正理解它们的数学意义。

• 同时，“+”符号也可能被视为语言中的连接符，而不是数学中的加法操作符。

由于模型并不是从字符层面进行计算，它的算术能力依赖于训练数据中的统计模式，而非实际的数学计算规则。

2. 分词如何影响反字符串反转任务

(1) 反字符串反转任务

反字符串反转任务是一个非常基础的字符级操作，要求模型将输入字符串反转。例如：

• 输入："abcde"

• 输出："edcba"

(2) 分词影响反转任务的执行

虽然反转字符串任务在字符层面上非常简单，但对于大语言模型而言，这个任务却可能因为分词的原因变得复杂。具体表现为：

• 字符与子词的拆解：大语言模型通常会将输入文本分解为词汇级或子词级的token，而不是直接以字符为单位处理字符串。例如，“abcde”可能会被视为一个整体token，或者在某些情况下，被拆分成多个子词（如“ab”和“cde”）。这种分词方式使得模型难以处理字符级的反转任务。

• 无法进行字符级操作：由于模型并未直接操作原始字符，而是操作经过分词后的词或子词，它难以在字符层面进行精确的反转操作。因此，模型可能无法理解任务要求的反转操作，而更多地依赖于语言生成的统计模式，导致反转结果并不完全正确。

3. 分词带来的其他问题

除了算术能力和反转问题，分词还可能导致以下问题：

(1) 数字与文本的混合

分词会将数字与文本混合处理，而不是将它们作为独立的数值单位。这种处理方式可能导致模型难以理解文本中的数值关系。

(2) 词与子词的拆解

在一些情况下，分词将一个词拆解成多个子词，导致模型无法对整个词的语义进行有效理解。例如，“自然语言处理”可能会被拆成“自然”和“语言处理”，这会影响模型对整体词汇的理解。

(3) 短语和语法结构的理解

分词对模型理解短语和语法结构的影响也不容忽视。由于分词过程中可能会丢失一些语法信息，模型在某些情况下可能无法理解复杂句子的结构或语义。

总结

分词问题在大语言模型中的影响不可忽视，尤其在处理算术能力和字符级任务时，分词所带来的粒度问题使得模型无法像传统计算器或专门的数学系统那样进行精确的数学运算和简单的字符操作。

• 算术能力差：由于数字和算术符号在分词过程中被拆解为不同的token，模型难以执行精确的算术计算。

• 反字符串反转问题：分词使得大语言模型在处理字符级操作时表现不佳，特别是在简单的字符串反转任务中，模型依赖的上下文模式无法提供准确的结果。

• 数字与文本混合：分词导致数字和文本混合处理，影响模型对数值和语法结构的理解。

尽管大语言模型在自然语言生成方面有着卓越的表现，分词问题仍然限制了它们在某些任务上的能力，尤其是当任务涉及到精确计算或字符级操作时。