例如，模型可能会预测下一个token是“玩耍”的概率为0.4，“睡觉”的概率为0.3，等等。高概率的token更有可能被采样，而低概率的token也有可能被采样到（尤其是在多样性较高的场景中）。在案例中，Top-k采样会选出概率最高的sat（0.5）和jumped（0.3），随后从这两个token中随机采样出下一个预测的token作为模型的输出。在案例中，Top-p采样回选出sat（0.5），ju

在数学和计算机科学中，图 (Graph) 是一种抽象数据结构，用于表示对象之间的成对关系。V是顶点 (Vertices)或节点 (Nodes)的集合 (Set)。顶点代表图中的实体或对象。E是边 (Edges)或链接 (Links)的集合 (Set)。每条边连接 V 中的一对顶点，表示它们之间存在某种关系。有向图 (Directed Graph) vs. 无向图 (Undirected Graph

因为数据集是英文的，所以promt也采用英文，保证语言一致性。

生成对抗网络（GAN）的基本原理基于两个神经网络之间的博弈过程：一个生成器（Generator, G）和一个判别器（Discriminator, D）。输入-输出图像对指的是两个相关的图像，其中一个图像是另一个图像经过某种变换后的结果。与cGAN相比，CycleGAN不依赖于明确的条件向量，而是通过两个相互对立的映射函数来实现双向的图像转换，并且通过循环一致性损失来确保转换的质量和可逆性。GAN

Ollama是一个为简化大语言模型本地部署与交互的开源框架。它提供了用户友好的接口，帮助开发者和模型爱好者在没有依赖外部API的基础上高效地运行、管理和定制大语言模型。Ollama支持各种各样的开源大模型，包括但不限于：Llama系列、Mistral系列、Qwen系列、Gemma系列等，可以在官方Library浏览支持的模型：library注意：请保证至少有8GB RAM来运行7B模型，16GB来

代码预训练具有如下特点：多语言能力掌握、代码特殊格式处理。评测代码预训练结果主要考虑：追求正确性、功能、逻辑正确实现、实现用户意图。

例如，模型可能会预测下一个token是“玩耍”的概率为0.4，“睡觉”的概率为0.3，等等。高概率的token更有可能被采样，而低概率的token也有可能被采样到（尤其是在多样性较高的场景中）。在案例中，Top-k采样会选出概率最高的sat（0.5）和jumped（0.3），随后从这两个token中随机采样出下一个预测的token作为模型的输出。在案例中，Top-p采样回选出sat（0.5），ju

例如，模型可能会预测下一个token是“玩耍”的概率为0.4，“睡觉”的概率为0.3，等等。高概率的token更有可能被采样，而低概率的token也有可能被采样到（尤其是在多样性较高的场景中）。在案例中，Top-k采样会选出概率最高的sat（0.5）和jumped（0.3），随后从这两个token中随机采样出下一个预测的token作为模型的输出。在案例中，Top-p采样回选出sat（0.5），ju

GPT-2是一个由OpenAI于2019年提出的自回归语言模型。与GPT-1相比，仍基于Transformer Decoder架构，但是做出了一定改进。GPT-1有117M参数，为下游微调任务提供预训练模型。GPT-2显著增加了模型规模，提供了多种模型，如：124M、355M、774M和1.5BGPT-2训练于数据量约有45GB的WebText数据集。数据集的数据收集于Reddit中的网络文章。

GPT-1（Generative Pre-trained Transformer）是2018年由Open AI提出的一个结合预训练和微调的用于解决文本理解和文本生成任务的模型。NLP领域的迁移学习：通过最少的任务专项数据，利用预训练模型出色地完成具体的下游任务。语言建模作为预训练任务：使用无监督学习和大规模的文本语料库来训练模型为具体任务微调：采用预训练模型来适应监督任务和BERT类似，