
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
大模型+电力预测?
自ChatGPT问世以后,大模型非常的火,不出意外的话,电力系统方向又打算搞事情了。大模型+电力任重道远。最近听说了一些关于大模型+风光功率预测、负荷预测、电价预测的想法,初步分析下,很遗憾的是,个人得出结论是不可行。简单来说,如果强行使用大模型来做电力预测,本质上可能只是一厢情愿的希望大模型去预测一个噪声罢了。
解密prompt系列27. LLM对齐经验之如何降低通用能力损失
那能否把下游任务的Task Format先行注入到额外的参数中,之后把这部分信息喂给模型,让大模型微调直接学习Semantic Relation,这样在稳定注入新的Format的前提下,尽可能不影响其他input的推理格式。论文提出了两阶段微调,第一阶段也使用了谷歌提出的Prompt Tuning用来学习Format,第二阶段再进行全量微调。如下。

到底了