学习笔记：如何下载模型与数据集

本笔记整理自《【基础篇】如何下载模型，数据集》教程，涵盖 ModelScope 和 HuggingFace 两大平台的模型与数据集下载方法。

---

目录

• 一、ModelScope 平台

  • 1. 环境安装

  • 2. 下载模型

  • 3. 下载数据集

• 二、HuggingFace 平台

  • 1. 环境安装与镜像配置

  • 2. 下载模型与数据集

• 三、核心命令速查表

• 四、常见问题与注意事项

---

一、ModelScope 平台

ModelScope（魔搭社区）是阿里达摩院推出的开源模型与数据集平台，国内访问速度快，是下载模型和数据集的首选平台之一。

1. 环境安装

在使用 ModelScope 下载模型或数据集之前，需要先安装 modelscope 库：

# 安装环境
pip install modelscope

2. 下载模型

操作步骤

1. 创建模型文件夹：在本地创建一个文件夹用于存放模型文件。

2. 搜索目标模型：在 ModelScope 网站上搜索你想要的模型。

3. 复制模型名称：进入模型详情页，点击复制模型 ID（即 modelscope 的模型名）。

4. 执行下载命令：用复制的模型名替换命令中的占位符，执行下载。

命令模板

# 创建模型文件夹
# mkdir 文件名
mkdir DeepSeek-R1-Distill-Qwen-7B
​
# 从 modelscope 拉取模型文件到文件夹
# modelscope download --model 【modelscope的模型名】 --local_dir ./上一步创建的文件夹名字
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir ./DeepSeek-R1-Distill-Qwen-7B

实际示例

# 示例1：下载 DeepSeek-R1-Distill-Qwen-7B 模型
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir ./DeepSeek-R1-Distill-Qwen-7B
​
# 示例2：下载 Qwen3-4B-Instruct-2507 模型
modelscope download --model Qwen/Qwen3-4B-Instruct-2507 --local_dir ./qwen3-4b-instruct

参数说明

参数	说明
--model	指定模型名称（从 ModelScope 网站复制获取）
--local_dir	指定本地保存路径（即上一步创建的文件夹名）

获取模型名的方法：在 ModelScope 网站搜索想要的模型 → 进入模型详情页 → 点击复制按钮 → 粘贴替换到代码块中的占位符位置。

3. 下载数据集

操作步骤

1. 创建数据集文件夹：在本地创建一个文件夹用于存放数据集文件。

2. 搜索目标数据集：在 ModelScope 网站点击「数据集」标签，在搜索框中搜索你想要的数据集。

3. 复制数据集 ID：进入数据集详情页，复制数据集 ID。

4. 执行下载命令：用复制的 ID 替换命令中的占位符，执行下载。

命令模板

# 数据集下载
# mkdir 【数据集名字】
mkdir dataset
​
# modelscope download --dataset 【'modelscope中数据集的id'】 --local_dir './dataset'
modelscope download --dataset 'FreedomIntelligence/medical-o1-reasoning-SFT' --local_dir './dataset'

实际示例

# 下载 FreedomIntelligence/medical-o1-reasoning-SFT 数据集
modelscope download --dataset 'FreedomIntelligence/medical-o1-reasoning-SFT' --local_dir './dataset'

参数说明

参数	说明
--dataset	指定数据集 ID（从 ModelScope 网站复制获取）
--local_dir	指定本地保存路径

获取数据集 ID 的方法：在 ModelScope 网站点击「数据集」→ 在搜索框搜索目标数据集 → 进入详情页 → 复制 ID → 替换到代码块中的占位符位置。

---

二、HuggingFace 平台

HuggingFace 是全球最大的开源模型与数据集社区。整体下载步骤与 ModelScope 类似，但由于服务器在海外，国内访问可能较慢，建议使用国内镜像加速。

1. 环境安装与镜像配置

安装依赖库

# 或者使用国内镜像加速
pip install datasets -U -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install huggingface_hub[cli] -U -i https://pypi.tuna.tsinghua.edu.cn/simple

使用清华镜像源（pypi.tuna.tsinghua.edu.cn）可以加速 pip 安装过程。

设置国内镜像端点（重要）

# 重要！！如果访问 huggingface.co 速度慢，尝试设置国内镜像端点
export HF_ENDPOINT="https://hf-mirror.com"
​
# 验证环境变量是否设置成功（可选）
echo $HF_ENDPOINT

HF_ENDPOINT 环境变量设置为 https://hf-mirror.com（hf-mirror 镜像站），可以显著提升国内下载速度。此步骤非常重要，不设置可能导致下载极慢或超时。

2. 下载模型与数据集

命令示例

# 创建本地文件夹
mkdir ruozhiba
​
# 下载模型或数据集
huggingface-cli download hfl/ruozhiba_gpt4 --repo-type dataset --local-dir ./ruozhiba

参数说明

参数	说明
huggingface-cli download	HuggingFace 官方下载命令行工具
hfl/ruozhiba_gpt4	模型/数据集 ID（替换为你想要的模型 ID）
--repo-type dataset	指定仓库类型为数据集（下载模型时可省略或设为 model）
--local-dir	指定本地保存路径（ruozhiba 替换为你的下载路径）

替换说明：

• hfl/ruozhiba_gpt4 → 替换为你想要的模型/数据集 ID

• ruozhiba → 替换为你的本地下载路径

---

三、核心命令速查表

平台	操作类型	核心命令
ModelScope	安装环境	pip install modelscope
ModelScope	下载模型	modelscope download --model <模型名> --local_dir <本地路径>
ModelScope	下载数据集	modelscope download --dataset <数据集ID> --local_dir <本地路径>
HuggingFace	安装环境	pip install datasets huggingface_hub[cli]
HuggingFace	设置镜像	export HF_ENDPOINT="https://hf-mirror.com"
HuggingFace	下载模型/数据集	huggingface-cli download <仓库ID> --repo-type dataset --local-dir <本地路径>

---

四、常见问题与注意事项

1. 模型名/数据集 ID 从哪里获取？

• ModelScope：在网站搜索目标模型/数据集 → 进入详情页 → 点击「复制」按钮获取 ID

• HuggingFace：在网站搜索目标模型/数据集 → 进入详情页 → 复制仓库路径（格式为 用户名/仓库名）

2. 国内访问 HuggingFace 慢怎么办？

务必设置镜像端点环境变量：

export HF_ENDPOINT="https://hf-mirror.com"

同时安装依赖时也建议使用清华镜像源加速：

pip install <包名> -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载前记得创建文件夹

无论是 ModelScope 还是 HuggingFace，下载前都建议先用 mkdir 创建好本地存放文件夹，保持文件组织清晰。

4. ModelScope 与 HuggingFace 的选择建议

对比项	ModelScope	HuggingFace
访问速度（国内）	快，无需额外配置	需配置镜像才能正常使用
模型数量	国内模型丰富	全球模型最全
适用场景	国内开发者优先使用	需要获取海外最新模型时使用

建议：国内开发者优先使用 ModelScope；当需要的模型在 ModelScope 上找不到时，再使用 HuggingFace（记得配置镜像）。

---

学习要点总结

1. 两大平台：ModelScope（国内，速度快）和 HuggingFace（全球，资源最全）。

2. 通用流程：安装环境 → 创建文件夹 → 搜索并复制 ID → 执行下载命令。

3. 关键区别：HuggingFace 需要额外配置镜像端点（HF_ENDPOINT）才能在国内顺畅使用。

4. 命令核心：两个平台的下载命令结构相似，都是 下载工具 + 仓库ID + 本地路径 的模式。