logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

MiniMind模型的web交互功能初试

MiniMind提供了基于streamlit的web交互功能,能够即时切换模型和修改相关参数,经初步测试,具有比较好的体验感。本文介绍了使用MiniMind使用web交互功能的方法,并对使用中出现的问题给出了相应的解决方法。

低配置电脑预训练minimind的实践

minimind的github地址是代码几乎全部重构,使用更简洁明了的统一结构。免去数据预处理步骤。数据集更换为jsonl格式。提供模型迁移到私有数据集的训练方案(医疗模型、自我认知样例)。精简预训练数据集,并大幅提升预训练数据质量。MiniMind2具备一定的英文能力!MiniMind-LLM结构的全部代码(Dense+MoE模型)。包含Tokenizer分词器详细训练代码。包含Pretrain

到底了