huggingface 下载模型文件
huggingface被墙后,下载模型和数据会受限,本文介绍了使用huggingface-cli 下载模型和数据的方法,测试可用。
·
测试时间:2023.12.06
镜像站
使用hugging face 的官方下载工具cli:
pip install -U huggingface_hub #user权限下载
export HF_ENDPOINT=https://hf-mirror.com #指定endpoint的镜像源,由于就用一次,就不用写到~/.bashrc里。
下载示例
# 1 download model filese
huggingface-cli download --resume-download 模型名称 --local-dir 指定下载到哪
# 最后一个参数我会忽略,因为我用的是tokenizer.from_pretrained 加载模型,transformers==4.35.2,不能指定加载文件夹地址,因此会下载模型到~/.cache/huggingface/hub/下
#2 download data
huggingface-cli download --resume-download --repo-type dataset 数据集的名称
我测试了VIMA工程需要的 t5 模型:
huggingface-cli download --resume-download t5-base
就可以啦
更多推荐
已为社区贡献1条内容
所有评论(0)