前言本部分是Transformer库的基础部分的下半部分，主要包括训练和微调、模型共享和上传、分词器汇总、多语言模型。Huggingface Transformers库学习笔记（三）：使用Transformers（Using TransformersPart 2）前言使用Transformers（Using Transformers）训练和微调（Training and fine-tuning）在

前言Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常轻松的调取。同时，也可以通过Pytorch和TensorFlow 2.0进行编写修改等。本系列学习资料

pytorch中使用DataParallel保存模型参数时遇到的问题记录之前使用Transformers库中的Bert模型在自己的文本分类任务上使用Transformers库里的Trainer方式进行了Fine-tune。今天尝试加载保存好的checkpoint到程序中来直接进行evaluate。直接使用AutoModelForSequenceClassification从checkpoint目录

Huggingface Trainer报错RuntimeError: Expected all tensors to be on the same device

Code Llama是开源模型Llama 2在代码领域的一个专有模型，作者通过在代码数据集上进行进一步训练得到了了适用于该领域的专有模型，并在测试基准中超过了同等参数规模的其他公开模型。

Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。

最近在看LLAMA2的模型，想直接从Huggingface下载模型到本地，但是却发现服务器上没有安装git lfs命令。查询了一些资料完成了非root用户安装git lfs命令的操作，特此记录。

Gephi API学习笔记1记录使用Gephi API的学习笔记。环境配置安装好JDK环境安装NetBeans IDE将gephi-toolkit-0.9.2-all.jar下载完成下载与安装JDK的配置下载安装过程略去，详细可参考其他Java环境安装配置的教程NetBeans IDE的下载与安装下载链接：https://netbeans.org/download...

问题描述昨天跟着一篇博客BERT 的 PyTorch 实现从头写了一下BERT的代码，因为原代码是在CPU上运行的，于是就想将模型和数据放到GPU上来跑，会快一点。结果，在将输入数据和模型都放到cuda上之后，仍然提示报错："RuntimeError: Input, output and indices must be on the current device"原因与解决方法通过打印检查了很多次