【煉丹】【基礎知識】Dimension（維度）和Alpha

https://www.reddit.com/r/StableDiffusion/comments/16gxo7m/network_rank_network_alpha_please_explain_in/

https://ashejunius.com/alpha-and-dimensions-two-wild-settings-of-training-lora-in-stable-diffusion-d7ad3e3a3b0a

https://medium.com/@dreamsarereal/understanding-lora-training-part-1-learning-rate-schedulers-network-dimension-and-alpha-c88a8658beb7

【Dimension】
就按原意，字面意思：維度、次元。就是最好的。
其他的，諸如寬度、深度（也不過是維度的一種）反而是在增加理解難度和理解成本。
維度，什麽是維度？也是基本含義。
時間、空間、聲音、味道、幅度、振幅，都可以是維度，可以有維度，即一個東西一種屬性也可以有多重維度。
更簡單直白的說：複雜度。
就像這個紅迪網友概括：
Big Rank = More Parameters = More Complex Concepts = Larger File Size = Higher VRAM Requirements
大等級=更多參數=更複雜的概念=更大的文件空間占用=更高的顯存VRAM需求

當只需要練一個丹，一個概念很簡單、很單一的丹時，不需要很高。

【Alpha】
較爲抽象。
其實這也可算是一種正則概念。
回憶一下，正則是一種規則、約束。
直接看圖理解：


可以看到。
Alpha，越高，越逼近Dimension的128，人物的風格越3D。（接近訓練集）
反之，Alpha越低，約2D。（接近大模型）
背景也是，高，背景純黑，低，背景開始出現景色。
爲啥呢？
其實也應該猜到了，學習素材都是3D且黑背景的。

也就是說，實際上Alpha是一種限制，對自由度的限制。
越高，越不自由，風格按LoRA素材來。規矩嚴格。
越低，越自由，風格按照大模型的來。規矩寬鬆。
所以，也可以認爲是大模型和LoRA之間概念的比重。
如果Alpha卡的很高很死，同時學習素材單一，那麽可預見的，最終煉丹也就過擬合了。一些概念會消失，或者説被屏蔽。


總結就是，想要去風格，Dimension不變的情況下，Alpha往低了調。

另外，關於LoCon、LoHa等等。
可能會有人認爲學不到風格。
可能的原因是，作者建議Alpha為1甚至更小，而煉丹師在操作時Dimension設定大了一點比如16，再加上次方關係，那就是256：1，這比128還寬鬆。
那結果自然學不到風格。