novelai吧 关注:346,989贴子:1,585,881
  • 0回复贴,共1

求助一下lora训练不理想的问题

只看楼主收藏回复

使用lion优化器,,方案是余弦退火bz从1-4都试过,epoch一般在8-16次,70张图,每张图10次。dim64,alpha32 学习率常规0.0005和5e-5。但一开始训练loss值就特别特别低还经常跑雪花图,该如何做调整


IP属地:湖北来自Android客户端1楼2023-04-29 03:38回复