参考:

如何快速下载huggingface模型——全方法总结 - padeoe的文章 - 知乎

https://zhuanlan.zhihu.com/p/663712983

和:

https://hf-mirror.com/docs/huggingface_hub/guides/download#download-from-the-cli

最近几月huggingface彻底无法访问,之前下载模型都是开梯子自己下载到本地再上传到服务器,这样实在比较麻烦,因此查资料之后得到解决方案:使用huggingface镜像站

Huggingface CLI

huggingface cli是hf官方的下载工具,使用pip安装:

pip install -U huggingface_hub

安装好之后引入环境变量:

export HF_ENDPOINT=https://hf-mirror.com

(只在当前终端生效,如果想长期生效改source文件)

然后就可以下载模型,这里下载的是facebook/bart-base,这里记住前面的facebook一定不要漏:

huggingface-cli download --resume-download facebook/bart-base --local-dir /home/mguo/models/bart-base

后面的–local-dir就是指定下载路径(默认的在.~/cache/huggingface/hub 中)

为了统一管理,我就下载到统一的路径了,这样加载模型从本地加载:

model_path = '/home/mguo/models/bart-base'
tokenizer = AutoTokenizer.from_pretrained(model_path, cache_dir=cache_dir)
Logo

鸿蒙生态一站式服务平台。

更多推荐