123

大模型微调

大模型微调

可以看出模型已经建立了自我认知，“你是一个擅长创作富有情节和趣味性的英文学习故事的助手，故事需自然地融合指定单词，帮助记忆。但模型并不能稳定地产生正确输出（有时会在故事的5句话中会有重复的句子，并且一旦出现这种状况之后就会频繁发生），并且有时故事的逻辑性并不强，只是把每个单词的句子强行拼接。我们尝试基于ROCStory构造数据集用于在微调过程中增加LLM生成故事的逻辑性和连贯性，这需要两方面的能力

SFT有监督微调Supervised Fine-Tuning：通过提供⼈⼯标注的数据，进⼀步训练预训练模型，让模型能够更加精准地处理特定领域的 任务 除了 “ 有监督微调 ” ，还有 “ ⽆监督微调 ”“ ⾃监督微调 ” ，当⼤家提到 “ 微调 ” 时通常是指有监督微调。通常⽤于通过将⼤模型（教师模型）的知识转移到⼩模型（学⽣模型）中，使得⼩ 模型能够在尽量保持性能的同时，显著减少模型的参数量和计

由于完全没有接触过大语言模型，微调这些东西，所以上半学期做的非常难受，在网上各种调研看教学视频，最终选择了北理开发的llama-factory微调平台，以及在HuggingFace上下载的deepseek-r1-7B-distrill蒸馏版本作为模型本体。我在autoDL上租了3090服务器用来放模型本体，微调平台并利用显卡来进行微调训练。

词境星云项目开发了基于AI的交互式英语学习故事生成系统。后端采用StoryGenerationService实现故事树生成，支持递归创建3层深度的分支故事，并设计了StoryTemplate、StoryPage和UserStoryProgress三个核心数据表管理故事模板、分支页面和用户进度。系统通过AI接口生成英文/中文内容及选项，并解析为结构化数据存储。前端实现了分步打字动画、关键词高亮、中英