文章目录1.前言2.数据预处理2.1本地查看数据转换后的结果3.构建数据集4.数据集分割5.模型架构5.1模型初始化5.2前向传播过程6.模型训练6.1训练一个epoch6.2训练所有epoch6.3evaluate函数7.整体训练过程1.前言本文主要分析本次实验的代码，讲解主要流程和代码含义，而关注参数的选择和模型的选择后续可能还会更新 model 的原理如果有问题，欢迎评论或私聊讨论若分析过程

本文关注在Pytorch中如何计算困惑度ppl, 为什么能用cross-entropy loss 代表ppl。

本文分别针对中文，英文语料进行爬虫，并在两种语言上计算其对应的熵，验证齐夫定律github。

log()有两种形式log(x)：返回 x 的自然对数（底数为e）log(x, base)：返回以base为基的x的对数。base默认为e，也可以手动输入注意：log不能直接使用，需要从头文件math中导入from math import log, expprint(log(exp(1)))print(log(8, 2))>>1.0>>3.0...

Transformers库中的预训练模型加载函数.from_pretrained()

log()有两种形式log(x)：返回 x 的自然对数（底数为e）log(x, base)：返回以base为基的x的对数。base默认为e，也可以手动输入注意：log不能直接使用，需要从头文件math中导入from math import log, expprint(log(exp(1)))print(log(8, 2))>>1.0>>3.0...

【论文阅读 ICLR2022】Multitask Prompted Training Enables Zero-shot Task Generalization

该仓库持续更新。

文章目录1.查看GPU1.1.查看当前GPU是否可用1.2.查看GPU数量1.3.返回GPU名字1.4.返回当前设备索引2.指定GPU2.1.使用`CUDA_VISIBLE_DEVICES`2.1.1.在终端中指定2.1.2.代码中指定2.2.使用函数`set_device`1.查看GPU1.1.查看当前GPU是否可用#cuda是否可用torch.cuda.is_available()# 返回 T

sklearn.preprocessing.OneHotEncoderclass sklearn.preprocessing.OneHotEncoder(*, categories='auto', drop=None, sparse=True, dtype=<class 'numpy.float64'>, handle_unknown='error')handle_unknown{‘e