问题解决了,其实就是网络维度太小了学不到更多信息,调到128/128就好了
。全身模型看起来效果比接头霸王好多了,肢体比例更正常了。不过原素材只有一套衣服,想要换衣服也只能靠出图的时候分层了(nude除外)。而且为了防止原素材单调的背景被学习,训练集的背景都被抠掉了,结果导致模型出图也更趋向于生成相对单色的背景(
补充:通过新的训练发现,出现这种情况首要原因自然是训练集背景单调,但可能也有部分原因是训练集背景没抠干净,模型训练时将没抠干净的背景和白色背景tag混淆,导致出现这种出图效果,此外通过负面词条加入white background可以一定程度上修正)。
不过维度一高就容易过拟合,训练1w多步后loss就掉到0.02了,但感觉仍有一些细节没学到,比如纹身。或许尝试更大的dim?或者更改优化器/学习率?(
补充:loss低不是问题,修改权重就行,细节没学到大概率是训练时加入了纹身的tag但模型并没有将识别的纹身跟纹身tag完美对应,这里最好应该直接删除纹身tag让它跟人物直接绑定)