无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
免空资源区
询问&求物
同人音声
网赚资源区
实用动画
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
AI交流 (beta)
【煉丹】【基礎知識】Dimension(維度)和Alpha
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
Leader Three
作者资料
发送短消息
加为好友
UID:
105826
精华:
0
发帖:
2480
HP:
0 点
SP币:
14476 G
昵称: Leader Three
在线时间: 2538(小时)
注册时间:
2012-05-22
最后登录:
2024-04-29
GF
2023-09-29 21:21
只看GF
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
【煉丹】【基礎知識】Dimension(維度)和Alpha
https://www.reddit.com/r/StableDiffusion/comments/16gxo7m/network_rank_network_alpha_please_explain_in/
https://ashejunius.com/alpha-and-dimensions-two-wild-settings-of-training-lora-in-stable-diffusion-d7ad3e3a3b0a
https://medium.com/@dreamsarereal/understanding-lora-training-part-1-learning-rate-schedulers-network-dimension-and-alpha-c88a8658beb7
【Dimension】
就按原意,字面意思:維度、次元。就是最好的。
其他的,諸如寬度、深度(也不過是維度的一種)反而是在增加理解難度和理解成本。
維度,什麽是維度?也是基本含義。
時間、空間、聲音、味道、幅度、振幅,都可以是維度,可以有維度,即一個東西一種屬性也可以有多重維度。
更簡單直白的說:複雜度。
就像這個紅迪網友概括:
Big Rank = More Parameters = More Complex Concepts = Larger File Size = Higher VRAM Requirements
大等級=更多參數=更複雜的概念=更大的文件空間占用=更高的顯存VRAM需求
當只需要練一個丹,一個概念很簡單、很單一的丹時,不需要很高。
【Alpha】
較爲抽象。
其實這也可算是一種正則概念。
回憶一下,正則是一種規則、約束。
直接看圖理解:
可以看到。
Alpha,越高,越逼近Dimension的128,人物的風格越3D。(接近訓練集)
反之,Alpha越低,約2D。(接近大模型)
背景也是,高,背景純黑,低,背景開始出現景色。
爲啥呢?
其實也應該猜到了,學習素材都是3D且黑背景的。
也就是說,實際上Alpha是一種限制,對自由度的限制。
越高,越不自由,風格按LoRA素材來。規矩嚴格。
越低,越自由,風格按照大模型的來。規矩寬鬆。
所以,也可以認爲是大模型和LoRA之間概念的比重。
如果Alpha卡的很高很死,同時學習素材單一,那麽可預見的,最終煉丹也就過擬合了。一些概念會消失,或者説被屏蔽。
總結就是,想要去風格,Dimension不變的情況下,Alpha往低了調。
另外,關於LoCon、LoHa等等。
可能會有人認爲學不到風格。
可能的原因是,作者建議Alpha為1甚至更小,而煉丹師在操作時Dimension設定大了一點比如16,再加上次方關係,那就是256:1,這比128還寬鬆。
那結果自然學不到風格。
顶端
回复
引用
分享
乱码
作者资料
发送短消息
加为好友
UID:
687202
精华:
0
发帖:
3484
HP:
0 点
SP币:
2818 G
昵称: 乱码
在线时间: 11315(小时)
注册时间:
2015-12-05
最后登录:
2024-04-30
B1F
2023-09-29 21:37
|
▼展开
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
AI交流 (beta)
[-- 查看移动版 --]