阿里千问大模型Qwen/Qwen2.5-1.5B-Instruct大模型+LLaMA-Factory微调
·
1.下载大模型（主要不要从微调软件去下载，网络卡顿，无法下载成功）
直接从魔搭社区下载，一般电脑1.5B参数差不多了，再大就带不动了，而且过程中还是要调整参数的，训练数据1w条差不多了。
新建download_model.py，然后在终端用python命令运行执行下载
from modelscope.hub.snapshot_download import snapshot_download
# 模型ID，就是Qwen2.5-1.5B-Instruct在魔搭社区的名字
model_dir = snapshot_download('Qwen/Qwen2.5-1.5B-Instruct', revision='master')
print(f'模型已下载到: {model_dir}')
2.python版本（感觉太高或太低了都不行）
Python 3.11.7
这个版本是自己实测能够成功的
3.llamafactory_env（为这个项目设置单独的虚拟环境，要用的一些库下载到这里，不会影响别的）
4.还要下载Gpu版本
- 建议从魔搭社区直接下载1.5B参数模型，避免通过微调软件下载；2) 推荐使用Python 3.11.7版本；3) 建议为项目创建独立虚拟环境(llamafactory_env)；4) 需下载GPU版本支持运算。文中提供了模型下载的Python脚本示例，强调1万条训练数据量足够，并提示参数调整的必要性。
更多推荐
4
0- 0
已为社区贡献1条内容
所有评论(0)