主要记录源码中解决文本生成中词组重复出现的问题，代码中有具体操作解析。class RepetitionPenaltyLogitsProcessor(LogitsProcessor):r""":class:`transformers.LogitsProcessor` enforcing an exponential penalty on repeated sequences.Args:repetit

#beam_search主体函数while True:model_inputs = self.prepare_inputs_for_generation(input_ids, **model_kwargs) #整理下一步decoder所需数据outputs = self(**model_inputs,return_dict=True,output_attentions=output_attenti

sample函数相较于beam_search函数要简单的多，但是需要注意的一点是，sample需要搭配logits_warper处理器列表使用，相应的处理器函数在下面。sample函数的源码解释如下，比较浅显易懂。# auto-regressive generationwhile True:# prepare model inputsmodel_inputs = self.prepare_inpu

1. h5py 文件介绍一个h5py文件是 “dataset” 和 “group” 二合一的容器。1. dataset : 类似数组组织的数据的集合，像 numpy 数组一样工作2. group : 包含了其它 dataset 和 其它 group ，像字典一样工作看下图：通过上图，我们可以知道 h5py 文件就像是文件夹一样，里面很放文件还有文件夹，主文件夹以 ‘/’ 开始，这又像Linux的树

题外话很多Python源码中，会有一句if __name__ == '__main__':，其中__name__为python的一个内置类属性，存在于每一个python程序中，不同运行方式会出现不同的结果。直接运行当前程序，文件中的__name__的值为“__main__”。其他程序导入当前python程序，原文件中__name__的值为“原文件的名字”。python的importlib模块作用动

T5（Transfer Text-to-Text Transformer）模型：一个统一框架，靠着大力出奇迹，将所有 NLP 任务都转化成 Text-to-Text （文本到文本）任务。比如英德翻译，只需将训练数据集的输入部分前加上“translate English to German（给我从英语翻译成德语）” 就行。假设需要翻译"That is good"，那么先转换成 "translate

#torch.scatter函数官方解释scatter(output, dim, index, src) → TensorWrites all values from the tensor src into self at the indices specified in the index tensor. For each value in src, its output index is sp