【原】AI繪畫入門學(xué)習(xí)（三）Stable Diffusion 模型全解析

微信專業(yè)圖書館 2025-01-21

展開全文

一、Stable Diffusion 全模型解析一覽表

在完成對 Stable Diffusion 的 WebUI 界面的系統(tǒng)學(xué)習(xí)后，不同類型模型的研究就成了第二個(gè)需要探究的重點(diǎn)內(nèi)容了。因此最近花了很多的時(shí)間和精力，查閱了大量與模型相關(guān)的學(xué)習(xí)資料，并進(jìn)行了完整和細(xì)致的梳理及總結(jié)，看看我的成果。

昨天花了一個(gè)晚上的時(shí)間，終于做完了這個(gè)表。

二、內(nèi)容總結(jié)：Stable Diffusion 模型總體分為大模型和小模型兩個(gè)大類。

1、大模型往往有數(shù)十億的參數(shù)經(jīng)過巨量的數(shù)據(jù)訓(xùn)練，代表大的圖片畫風(fēng)，通常體積較大，在2-7G之間；分為官方基礎(chǔ)模型和其他經(jīng)過調(diào)整后的大模型，比如寫實(shí)型的模型: ChilloutMix、Deliberate；動漫風(fēng)格模型：Pony DiffusionV6 XL、Anything V5等。

2、小模型則是在大模型的基礎(chǔ)上進(jìn)行進(jìn)一步精修，使之體現(xiàn)出各種細(xì)節(jié)不同的豐富多彩的風(fēng)格分支。

目前最常用的是lora模型，我們重點(diǎn)來了解一下lora模型有哪些優(yōu)點(diǎn)：

1）高效微調(diào)：傳統(tǒng)的模型微調(diào)需要更新大量參數(shù)，計(jì)算成本高且耗時(shí)。而 LoRA 只需要訓(xùn)練少量的低秩矩陣來適應(yīng)新任務(wù)，大大減少了可訓(xùn)練參數(shù)的數(shù)量，降低了計(jì)算資源的需求，提高了微調(diào)效率。

2）低存儲成本：由于只需要存儲和更新少量的低秩矩陣，而不是整個(gè)模型的參數(shù)，因此 LoRA 模型在存儲方面具有很大優(yōu)勢，尤其在處理大規(guī)模語言模型時(shí)，可以顯著減少存儲開銷。

3）可擴(kuò)展性：LoRA 可以很容易地應(yīng)用于不同規(guī)模和結(jié)構(gòu)的預(yù)訓(xùn)練模型，具有良好的可擴(kuò)展性。無論是小型模型還是像 GPT-3 這樣的大型語言模型，都可以使用 LoRA 進(jìn)行有效的微調(diào)。

4）性能保持：在很多情況下，使用 LoRA 微調(diào)后的模型能夠在新任務(wù)上取得與傳統(tǒng)微調(diào)方法相當(dāng)甚至更好的性能，同時(shí)還能保持對原任務(wù)的性能，即具有較好的任務(wù)適應(yīng)性和泛化能力。

5）與其他技術(shù)兼容性好：LoRA 可以配合其他模型優(yōu)化技術(shù)，如量化、剪枝等結(jié)合使用，進(jìn)一步提高模型的效率和性能，為模型的部署和應(yīng)用提供更多的靈活性。

因此lora模型使用極廣，數(shù)量眾多，極具特色：

動漫游戲特色的lora模型賞析：

插畫風(fēng)格的lora模型/電商設(shè)計(jì)特色的lora模型：

寫實(shí)攝影l(fā)ora模型

二次元lora模型

手繪風(fēng)lora模型

有

玩偶手辦lora模型

等等創(chuàng)意無限的各種lora模型，以上模型大家都可以直接到LibliAI -哩布哩布AI官網(wǎng) https://www. 免費(fèi)下載學(xué)習(xí)，并且可以在網(wǎng)站自己進(jìn)行l(wèi)ora模型訓(xùn)練。

可以說，LoRA 模型通過低秩分解實(shí)現(xiàn)高效微調(diào)，具有高效、低耗、可插拔等特點(diǎn)，廣泛應(yīng)用于多領(lǐng)域且發(fā)展?jié)摿Υ蟆?/span>

3、小模型里，VAE模型 Variational autoencoder變分自編碼器，也是非常重要的一個(gè)模型。負(fù)責(zé)將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像?？梢?span style="color: rgb(237, 65, 253);">簡單理解為濾鏡,,一般大模型本身里面就自帶 VAE，但是一些融合模型的VAE損壞了(畫面發(fā)灰/顏色怪異)需要額外使用VAE文件來修復(fù)。我個(gè)人在使用過程中，也發(fā)現(xiàn)使用VAE模型后，整個(gè)畫面顏色會變得鮮亮很多。

4、小模型中，還有Hypernetwork模型，、LyCORIS模型、(特殊)Embedding(Textual inversion)模型，這三種類型中LyCORIS模型和lora模型類似，其他兩種不是主流模型，不再詳述。具體了解可以查閱本文最上面的《Stable Diffusion 全模型解析一覽表》。

另外，SD在生圖的過程中還有一個(gè)非常重要的模型：ControlNet模型，

它不屬于Stable Diffusion模型，是 OpenAI 提出的一種用于控制預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，通過添加額外的控制信號來引導(dǎo)模型的生成過程，從而實(shí)現(xiàn)對生成結(jié)果的更精細(xì)控制。它可以與多種基礎(chǔ)模型結(jié)合，如在圖像生成領(lǐng)域與 Stable Diffusion 等模型結(jié)合，能夠讓模型在生成圖像時(shí)更好地遵循用戶給定的條件，如姿態(tài)、布局、邊緣等信息，使得生成的圖像更符合特定需求和預(yù)期，在圖像生成、視頻生成等多個(gè)領(lǐng)域都有重要應(yīng)用和價(jià)值。

因此，我們將秋葉整合包解壓安裝好以后，需要將安裝包里的controlet 文件直接復(fù)制到文件夾：Stable Diffusion \modles\controlnet，就可以了。

總之，SD 模型體系豐富多元，基礎(chǔ)模型奠定生圖能力，LoRA 精調(diào)風(fēng)格細(xì)節(jié)，ControlNet 把控生成結(jié)構(gòu)，它們共同構(gòu)建起創(chuàng)意無限的 AI 繪畫世界，持續(xù)推動數(shù)字藝術(shù)創(chuàng)作邁向新高度！

【小白的AI繪畫學(xué)習(xí)日常】關(guān)于Stable Diffusion模型知識的整理，就到此結(jié)束了。我感覺已經(jīng)耗盡了我的洪荒之力了。SD模型告一段落啦。8