ResNet（Residual Network）是一种深度神经网络架构，由微软研究院的Kaiming He等人在2015年提出，并且在ILSVRC 2015竞赛中取得了很好的成绩。ResNet主要解决了随着网络深度增加而出现的退化问题，即当网络变得非常深时，训练误差和验证误差可能会开始上升，这并不是因为过拟合，而是由于深层网络难以优化。ResNet的核心思想是引入了残差学习框架来简化许多层网络的训

PEFT(Parameter Efficient Fine-Tuning)是一系列让大规模预训练模型高效适应于新任务或新数据集的技术。PEFT在保持大部分模型权重冻结，只修改或添加一小部份参数。这种方法极大得减少了计算量和存储开销，但保证了大模型在多个任务上的复用性。

在数学和计算机科学中，图 (Graph) 是一种抽象数据结构，用于表示对象之间的成对关系。V是顶点 (Vertices)或节点 (Nodes)的集合 (Set)。顶点代表图中的实体或对象。E是边 (Edges)或链接 (Links)的集合 (Set)。每条边连接 V 中的一对顶点，表示它们之间存在某种关系。有向图 (Directed Graph) vs. 无向图 (Undirected Graph

生成对抗网络（GAN）的基本原理基于两个神经网络之间的博弈过程：一个生成器（Generator, G）和一个判别器（Discriminator, D）。输入-输出图像对指的是两个相关的图像，其中一个图像是另一个图像经过某种变换后的结果。与cGAN相比，CycleGAN不依赖于明确的条件向量，而是通过两个相互对立的映射函数来实现双向的图像转换，并且通过循环一致性损失来确保转换的质量和可逆性。GAN

GPT-2是一个由OpenAI于2019年提出的自回归语言模型。与GPT-1相比，仍基于Transformer Decoder架构，但是做出了一定改进。GPT-1有117M参数，为下游微调任务提供预训练模型。GPT-2显著增加了模型规模，提供了多种模型，如：124M、355M、774M和1.5BGPT-2训练于数据量约有45GB的WebText数据集。数据集的数据收集于Reddit中的网络文章。

代码预训练具有如下特点：多语言能力掌握、代码特殊格式处理。评测代码预训练结果主要考虑：追求正确性、功能、逻辑正确实现、实现用户意图。

例如，模型可能会预测下一个token是“玩耍”的概率为0.4，“睡觉”的概率为0.3，等等。高概率的token更有可能被采样，而低概率的token也有可能被采样到（尤其是在多样性较高的场景中）。在案例中，Top-k采样会选出概率最高的sat（0.5）和jumped（0.3），随后从这两个token中随机采样出下一个预测的token作为模型的输出。在案例中，Top-p采样回选出sat（0.5），ju

在数学和计算机科学中，图 (Graph) 是一种抽象数据结构，用于表示对象之间的成对关系。V是顶点 (Vertices)或节点 (Nodes)的集合 (Set)。顶点代表图中的实体或对象。E是边 (Edges)或链接 (Links)的集合 (Set)。每条边连接 V 中的一对顶点，表示它们之间存在某种关系。有向图 (Directed Graph) vs. 无向图 (Undirected Graph

因为数据集是英文的，所以promt也采用英文，保证语言一致性。

生成对抗网络（GAN）的基本原理基于两个神经网络之间的博弈过程：一个生成器（Generator, G）和一个判别器（Discriminator, D）。输入-输出图像对指的是两个相关的图像，其中一个图像是另一个图像经过某种变换后的结果。与cGAN相比，CycleGAN不依赖于明确的条件向量，而是通过两个相互对立的映射函数来实现双向的图像转换，并且通过循环一致性损失来确保转换的质量和可逆性。GAN