首先，这个模型是huggingface上开源的re-trained 3-layer RoBERTa-wwm-ext model，参数较少。参数文件仅有150mb。另外，由于这个项目一开始做的并不是文本分类，而是完形填空。因而这里的部分将是迁移学习。需要用的库为torch(>=1.10)、transformers、pandas。

归纳推理将从输入观察到的模式进行概括，生成一些新颖但可能不准确的预测。例如，从地理和航班信息的图表中，我们可以观察到几乎所有国家的首都都有国际机场为其服务，因此可以预测，由于圣地亚哥是首都，它可能有一个国际机场为其服务;然而，一些首都(如瓦杜兹)没有国际机场。因此，预测可能有一定程度的可信度;例如，如果我们看到195个首都中有187个拥有国际机场，那么我们可以为使用该模式做出的预测分配0.959的

该实训基于 Qwen2-0.5b-Instruct 进行，用Lora方法进行单轮对话的有监督微调（所需的库为 torch、transformers、datasets、peft。要微调一个开源大模型，那必须事先查清该模型微调的模板。如果不按照模板进行微调，那进行SFT的效果是很差的，且不论各类指标（ rouge 或者 bleu ），即便是模型生成的自然语言可能都是不流畅的。作者本来是想直接用官方提供

知识图谱涉及很多知识点，涉及的学科也很多，学起来很乱。但最基本的概念是实体属性和关系。因此从知识图谱的研究内容入手，可以分为以下部分。知识图谱表示：用什么东西来表示知识图谱。知识图谱根据使用场景和应用需求的不同，可以采用有向图、有向标记图、本体描述语言等方式在逻辑层面进行表示。属性图RDF 图模型OWL 本体语言等。而随着神经网络研究的兴起，基于向量的表示方法因为计算高效等特点也被广泛使用。知识图

本文代码所需要的库主要为：pytorch(2.0.0)，nltk，tqdm。这篇文章的内容主要是对上一篇文章所提到的内容进行代码实现和解释。