Hugging Face的datasets库中的Dataset对象是一个高效、灵活的数据容器，专为机器学习任务设计，尤其适用于自然语言处理。它基于Apache Arrow格式，支持内存映射和零拷贝读取，能够处理大型数据集。Dataset提供类字典接口，支持惰性操作与缓存，并能与深度学习框架无缝集成。通过load_dataset加载数据后，可以使用map方法进行预处理，并通过set_format转换

由于存在许多不同的Transformer架构，因此为您的checkpoint创建一个可用架构可能会具有挑战性。通过AutoClass可以自动推断并从给定的checkpoint加载正确的架构, 这也是🤗 Transformers易于使用、简单且灵活核心规则的重要一部分。方法允许您快速加载任何架构的预训练模型，因此您不必花费时间和精力从头开始训练模型。

如果提示没有该目录或者文件不存在，则会自动创建相应的目录及文件。或者用其他编辑器也可以比如vim或者其他文本编辑器。这样就已经将pip源设置为清华大学的镜像站点了。现在使用pip安装Python包时速度会更快。在Ubuntu上配置pip源可以通过修改~/.pip/pip.conf文件来完成。若要还原默认的官方源，只需删除 pip.conf 文件即可。

conda当前的源设置在$HOME/.condarc中，可通过文本查看器查看或者使用命令>conda config --show-sources查看。升级Anaconda需先升级conda。豆瓣(douban)

torch.full_like()是PyTorch中用于创建与输入张量形状相同但所有元素填充为指定值的函数。它继承输入张量的形状，允许通过参数控制数据类型、设备等属性。主要特点包括：形状继承性、全同填充、灵活的参数设置（如dtype、device）。与torch.full()等类似函数相比，它无需手动指定尺寸。典型应用包括初始化掩码、转换数据类型和准备梯度计算。使用时需注意数据类型兼容性和内存格式

传入本地数据集生成脚本的路径（需符合。

是一个非常方便的工具，可以轻松加载和使用各种预训练模型的 tokenizer，适用于多种 NLP 任务。

选择对应的安装程序，下载（可能需要登录账号）

点击上面的安装文件进行安装：设置一下安装路径，其他点击“确定”和“下一步”即可。

ubuntu22.04安装CUDA10.2失败！