检查了几遍都觉得没啥问题，困扰了我很久，而且我另外写的一个手写数字集的识别就没有这个问题。尤其是模型的输入地方，检查了很久，modl.build(input_shape=[None,256,256,3])，觉得有这句话应该不会造成输入的维度不对。而且想了下为什么手写数字集的模型没问题，应该是因为那个模型是一个线性模型，没有用的卷积，只有2个维度，所以没有造成冲突，有些情况下那样写也没出错。第二次运

摘要 本文介绍了构建大语言模型前的文本数据处理步骤，重点讲解了分词和词元转换过程。首先通过正则表达式将原始文本分割为词元列表，然后建立词元到数字ID的映射关系。随后改进分词器，加入了特殊标记处理未知词元和段落结束。最后提到实际应用中会使用更先进的字节对编码(BPE)方法，如GPT-2采用的tiktoken库。文章通过代码示例展示了从简单到复杂的分词实现过程，为后续模型训练准备文本数据。

摘要 本文介绍了构建大语言模型前的文本数据处理步骤，重点讲解了分词和词元转换过程。首先通过正则表达式将原始文本分割为词元列表，然后建立词元到数字ID的映射关系。随后改进分词器，加入了特殊标记处理未知词元和段落结束。最后提到实际应用中会使用更先进的字节对编码(BPE)方法，如GPT-2采用的tiktoken库。文章通过代码示例展示了从简单到复杂的分词实现过程，为后续模型训练准备文本数据。

摘要 本文介绍了构建大语言模型前的文本数据处理步骤，重点讲解了分词和词元转换过程。首先通过正则表达式将原始文本分割为词元列表，然后建立词元到数字ID的映射关系。随后改进分词器，加入了特殊标记处理未知词元和段落结束。最后提到实际应用中会使用更先进的字节对编码(BPE)方法，如GPT-2采用的tiktoken库。文章通过代码示例展示了从简单到复杂的分词实现过程，为后续模型训练准备文本数据。