BERT(Bidirectional Encoder Representations from Transformers)是由Google研究团队在2018年提出的一种基于Transformer架构的预训练语言模型，其全称为"来自Transformer的双向编码器表示"。这一革命性模型的问世，标志着自然语言处理(NLP)领域进入了一个全新的时代，极大地推动了语言理解技术的发展。在BERT出现之前，

注意：下面各项参数的顺序）第一个参数：input_size(输入张量x的维度)第二个参数：hidden_size(隐藏层的维度， 隐藏层的神经元个数)第三个参数：num_layer(隐藏层的数量)

(英文：Large Language Model，缩写LLM)大型语言模型是一种基于深度学习的人工智能系统，通过分析海量文本数据学习语言模式、世界知识和推理能力。这些模型通常包含数十亿甚至数千亿个参数，能够生成类似人类的文本、回答问题、翻译语言以及执行各种与语言相关的任务。

pytorch框架是Python中对张量进行处理的包，提供各种模块实现各种功能，其中数据是以张量类型存储的。