1,下载数据集,开始下载了一个大的报内存不够,所以下载了一个mini

modelscope download --dataset gongjy/minimind_dataset --include "pretrain_t2t_mini.jsonl"

移动到项目数据集

mv /root/.cache/modelscope/hub/datasets/gongjy/minimind_dataset/pretrain_t2t_mini.jsonl /root/autodl-tmp/LLM/minimind-master/dataset/

修改数据路径default="/root/autodl-tmp/LLM/minimind-master/dataset/pretrain_t2t_mini.jsonl"

然后就可以启动训练了

2,得到的模型文件,不能直接用,需要进行一下转换

再convert_model.py将模型路径替换为真实模型路径

运行转换文件python convert_model.py,就可以用了。

接下来的微调和这个步骤差不多,最后训练完用streamlit打开就可以聊天了。

更多推荐