
快速设置HuggingFace镜像源:简单易懂教程
·
镜像设置:
进入python虚拟环境安装依赖:
pip install -U huggingface_hub
方式一:非入侵式
在相应运行脚本开头加入下列代码:
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
然后运行脚本就行,模型就能正常下载,可能有些模型需要HuggingFace的token API
,具体看下一步。
设置Token
有些模型需要使用Hugging Face账户的访问令牌才能够下载,如果不需要可以忽略这一步。
具体设置方法如下:
1. 首先需要去自己的HuggingFace账户中找到这个Token,右上角找到自己的头像,点击个人信息:
2. 点击Setting
3. 复制READ
中的Token到huggingface_hub.login()中
如果没装huggingface_hub库,可以通过一下命令安装:
pip install huggingface_hub
在Python脚本开头、刚才设置的环境变量之下输入下面的指令,并且粘贴
Token进去:
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
import huggingface_hub
huggingface_hub.login("你的Token")
方式二:hdf方法
hdf的GitHub项目详细地址:链接: Huggingface Model Downloader
该方法的好处在于下载能多线程,下载速度很快。
1.安装hfd.sh
wget https://hf-mirror.com/hfd/hfd.sh
2.给它运行权限
chmod a+x hfd.sh
3.设置环境变量
Linux系统:
export HF_ENDPOINT=https://hf-mirror.com
Windows系统
打开Windows Powershell(管理员)
$env:HF_ENDPOINT = "https://hf-mirror.com"
4.使用 aria2c 和多线程下载 网速超快且不会断连
sudo apt-get install aria2
5.cd进入要clone的文件夹
./hfd.sh 模型名称 --tool aria2c -x 4
hfd的具体用法:
hfd <model_id> [--exclude exclude_pattern] [--hf_username username] [--hf_token token] [--tool wget|aria2c] [-x threads] [--dataset]
参数:
model_id
: 用于指定想要下载的模型或数据集的Hugging Face标识符,格式通常为’repo/model_name’。例如bigscience/bloom-560m。--exclude (exclude_pattern)
: 可选参数,用于指定下载时要排除的文件模式。匹配此模式的文件将不会被下载。例如,使用–exclude safetensors会排除所有名字中包含safetensors的文件。--hf_username
: 可选参数,Hugging Face账户的用户名。如果需要验证才能下载某些模型或数据集,需要提供此参数。--hf_token
: 可选参数,Hugging Face账户的访问令牌。配合–hf_username
使用,用于验证下载。--tool
: 可选参数,指定下载工具。可以是wget(默认)或aria2c。aria2c支持多线程下载,可能更快。-x
: 可选参数,仅当使用aria2c时有效。用于指定下载时的线程数。例如-x 8表示使用8个线程下载。--dataset
: 可选参数,用来标记下载的是数据集而非模型。如果要下载的是数据集,需要添加此参数。
推荐内容
阅读全文
AI总结
更多推荐
相关推荐
查看更多
DeepSeek-V3-0324

DeepSeek最新推出DeepSeek-V3-0324版本,参数量从6710亿增加到6850亿,在数学推理、代码生成能力以及长上下文理解能力方面直线飙升。
javascript

JavaScript 编程指南。
electron

使用Electron构建跨平台桌面应用程序,支持JavaScript、HTML和CSS
热门开源项目
活动日历
查看更多
直播时间 2025-03-13 18:32:35

全栈自研企业级AI平台:Java核心技术×私有化部署实战
直播时间 2025-03-11 18:35:18

从0到1:Go IoT 开发平台的架构演进与生态蓝图
直播时间 2025-03-05 14:35:37

国产工作流引擎 终结「996」开发困局!
直播时间 2025-02-25 14:38:13

免费开源宝藏 ShopXO,电商系统搭建秘籍大公开!
直播时间 2025-02-18 14:31:04

从数据孤岛到数据智能 - 企业级数据管理利器深度解析
目录
所有评论(0)