1327522.jpg

Ridley

GF  2023-06-20 22:07
(空的)

[lora模型训练] 又炼了个lora模型,希望有人来指点一下

不好意思啊翠翠,又拿你来练手了  。






早晚roll出一个华为标

是不是觉得一点也不像?不像就对了,原素材是4K,按上次的参数训练,结果面部打光被学习去了,跑出来的脸有点过拟合的质感,肢体和衣服更是自由发挥(训练素材里全身图比半身图多),或许需要进一步分层?我也不知道这时候是不是该加入正则化训练,但可以在3k多张4K素材里挑选肢体动作应该够多了吧?

没办法老样子只保留face并降低面部权重再融了个面部lora算是补妆。所以至今为止我仍旧无法做到不融别人的lora做出完美的真人模型

638857.jpg

归宅部员

B1F  2023-06-20 22:10
(某不知名的归宅部成员)
翠翠?

none.gif

fc349333

噪声?

1327522.jpg

Ridley

B3F  2023-06-21 11:24
(空的)
问题解决了,其实就是网络维度太小了学不到更多信息,调到128/128就好了    。全身模型看起来效果比接头霸王好多了,肢体比例更正常了。不过原素材只有一套衣服,想要换衣服也只能靠出图的时候分层了(nude除外)。而且为了防止原素材单调的背景被学习,训练集的背景都被抠掉了,结果导致模型出图也更趋向于生成相对单色的背景(补充:通过新的训练发现,出现这种情况首要原因自然是训练集背景单调,但可能也有部分原因是训练集背景没抠干净,模型训练时将没抠干净的背景和白色背景tag混淆,导致出现这种出图效果,此外通过负面词条加入white background可以一定程度上修正)。

不过维度一高就容易过拟合,训练1w多步后loss就掉到0.02了,但感觉仍有一些细节没学到,比如纹身。或许尝试更大的dim?或者更改优化器/学习率?(补充:loss低不是问题,修改权重就行,细节没学到大概率是训练时加入了纹身的tag但模型并没有将识别的纹身跟纹身tag完美对应,这里最好应该直接删除纹身tag让它跟人物直接绑定