• 项目背景原 Demo 基于 Gemma4 做 6 分类情绪识别,本次仅改动数据集相关代码,将任务替换为电商评论 5 星级情感分类,复用整套 LoRA 训练、评估代码,验证微调框架通用性。依托 AMD ROCm 云服务器完成训练,全程无 HuggingFace / 魔搭外网依赖,采用离线自建数据集规避网络报错。

  • 环境说明AMD ROCm 云环境,预装好 PyTorch、trl、peft、modelscope 等大模型微调依赖,使用 Gemma 4 E4B-it 基座模型做 LoRA 微调。

  • 核心改造点(3 处关键修改)

  • 1)全局配置:修改任务 System Prompt、标签匹配正则、输出文件夹;

  • 2)数据集加载:移除线上数据集下载逻辑,离线自建含中性模糊评论的 5 分类电商样本,提升任务识别难度;

  • 3)数据划分逻辑保持不变,训练、验证、测试集截断复用原有函数,训练、评估代码零改动。

  • 踩坑记录

  • 1)云端无法访问 HF / 魔搭仓库,放弃线上数据集,改用离线自建样本;

  • 2)原生random.shuffle不支持 seed 参数,重构随机种子逻辑;

  • 3)简单样本区分度过高导致基线指标 100%,扩充多样化褒贬混合、中性评论提升任务难度。

  • 本次仅改动数据集与任务提示相关少量代码,即可快速将 Gemma4 适配全新文本分类任务,LoRA 微调方案具备极强通用性;AMD ROCm 云环境可稳定完成大模型轻量化训练,适合快速迭代各类文本分类业务。

Logo

免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐