大模型学习记录(五)
·
1,下载数据集,开始下载了一个大的报内存不够,所以下载了一个mini
modelscope download --dataset gongjy/minimind_dataset --include "pretrain_t2t_mini.jsonl"
移动到项目数据集
mv /root/.cache/modelscope/hub/datasets/gongjy/minimind_dataset/pretrain_t2t_mini.jsonl /root/autodl-tmp/LLM/minimind-master/dataset/
修改数据路径default="/root/autodl-tmp/LLM/minimind-master/dataset/pretrain_t2t_mini.jsonl"
然后就可以启动训练了
2,得到的模型文件,不能直接用,需要进行一下转换
再convert_model.py将模型路径替换为真实模型路径
运行转换文件python convert_model.py,就可以用了。
接下来的微调和这个步骤差不多,最后训练完用streamlit打开就可以聊天了。
更多推荐

所有评论(0)