Llama factory Lora微调的时候如何设置超参数
·
最近测试发现，使用LLama factory微调Qwen 2.5大模型，7B模型的效果要好于32B。问了一下大模型，感觉需要修改一下LoRA的超参数。
具体来讲，主要要设置rank和对应的lora_alpha：
对于32B大模型，推荐从r=32开始实验；
lora_alpha通常设为r的2~4倍（如r=32时alpha取64-128）；
10万+样本数据可尝试更高rank（r≥48）；
小样本场景（<1万）建议r≤32避免过拟合。
这些是大模型给出的建议设置，我准备先从rank=16试试，这时候lora_alpha应设置为32。类似的yaml文件如下所示：
### method
stage: sft
do_train: true
finetuning_type: lora
# lora_rank: 8
lora_rank: 16
lora_alpha: 32
lora_target: all
deepspeed: examples/deepspeed/ds_z3_config.json今天就简单总结这么多。
免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)