大家好,我是風(fēng)雨無阻。
本期內(nèi)容:
- 什么是 Hypernetwork?
- Hypernetwork 與其他模型的區(qū)別?
- Hypernetwork 原理
- Hypernetwork 如何下載安裝?
- Hypernetwork 如何使用?
在上一篇文章中,我們詳細介紹了 embedding 的定義、作用以及如何安裝使用 ,相信看過的朋友都知道,embedding 是屬于一種將提示詞打包的模型微調(diào)技術(shù)。感興趣的朋友,可以前往查看:AI 繪畫Stable Diffusion 研究(十五)SD Embedding詳解。
其實今天要講到的 Hypernetwork 和 embedding 甚至和后面我們即將介紹的 Lora 模型一樣,也屬于一種模型微調(diào)技術(shù)。
Hypernetwork 其實并不是我們介紹的一個重點知識,我們只需要了解這個微調(diào)技術(shù)的原理和使用方法即可!
主要有以下原因:
-
Hypernetwork是一個比Lora更早的模型微調(diào)技術(shù),現(xiàn)在使用的人數(shù)越來越少。
我們在c站篩選Hypernetwork,只有33個Hypernetwork文件。
- Hypernetwork使用效果并不理想,甚至還不如體積只有幾k的embeddings文件,但是Hypernetwork的文件體積卻可以與lora相提并論,在幾十M甚至上百M。
- Hypernetwork可以實現(xiàn)的效果,用其他的替代方式幾乎都可以實現(xiàn),比如用embeddings或者用lora。
1、什么是 Hypernetwork?
Hypernetwork 中文名(超網(wǎng)絡(luò)),最初由stable diffusion 早期使用者 NovelAI開發(fā),它是一個附加到stable diffusion模型的小型神經(jīng)網(wǎng)絡(luò),用于修改其風(fēng)格。
2、Hypernetwork 與其他模型的區(qū)別
- Hypernetwork VS Checkpoint(大模型)
Checkpoint模型包含生成圖像的所有必要信息,我們可以通過其文件大小來識別,Checkpoint 它們的體積范圍從 2 GB 到 7 GB不等,Hypernetwork通常低于 200 MB。
? Hypernetwork無法單獨使用,它需要與checkpoint模型配合來生成圖像。
-
Hypernetwork VS LoRA模型
Hypernetwork與LoRA 模型很相似,它們的文件大小相似,通常低于 200MB,都比checkpoint模型小。
有一個事實是:LoRA 模型比Hypernetwork模型效果更好。
-
Hypernetwork VS Embeddings
Embeddings是一種稱為Textual Inversion”文本反轉(zhuǎn)”的微調(diào)方法,它只是定義新的關(guān)鍵字來實現(xiàn)某些樣式。與 HypernetworkEmbeddings一樣, 不會改變模型Embeddings和Hypernetwork適用于stable diffusion模型的不同部分。
Embeddings在文本編碼器中創(chuàng)建新的嵌入。
Hypernetwork將一個小型網(wǎng)絡(luò)插入噪聲預(yù)測器的cross-attention模塊中。
3、Hypernetwork 的下載安裝
? 這里我們以c站下載Hypernetwork 模型為例進行說明。
? 第一步,瀏覽器中打開c站,搜索 Hypernetwork
第二步,選擇喜歡的 Hypernetwork模型,下載即可
我們這里以下載這個 Hypernetwork模型演示,如下:
下載完成,得到waterElemental_10.pt 文件
第三步,將這個模型文件拷貝到 \sd-webui-aki-v4.2\models\hypernetworks 目錄
\sd-webui-aki-v4.2\models\hypernetworks
重新啟動 stable diffusion 使其生效。
4、Hypernetwork 的使用
Hypernetwork的使用方式與Embeddings 類似,區(qū)別是 Hypernetwork 用在正向提示詞中,而Embeddings 是用在反向提示詞中。
我們的按鈕使用的 Hypernetwork 模型是:
Water Elemental(水元素)
Water Elemental(水元素)是一個獨特的超網(wǎng)絡(luò),可以將任何東西變成水!
在主題之前使用短語water elementa"可以將此超網(wǎng)絡(luò)與Stable Diffusion v1.5結(jié)合使用,更改超網(wǎng)絡(luò)權(quán)重以調(diào)整水效果。
(1)、設(shè)置正向提示詞
water elemental woman walking across a busy street
(2)、選擇 Water Elemental Hypernetwork 模型
選擇 Water Elemental Hypernetwork 模型后,在正向提示詞里面會自動添加:
(3)、設(shè)置參數(shù)
- 采樣算法:DPM++2M Karras
- 迭代步數(shù):15
- CFG Scale: 7
(4)、點擊按鈕, 效果如下:
文章來源:http://www.zghlxwxcb.cn/news/detail-680665.html
好了,今天的內(nèi)容就分享到這里,后面我們將持續(xù)分享有關(guān) Stable Diffusion 的干貨,喜歡的朋友請關(guān)注我,我們下次再見。文章來源地址http://www.zghlxwxcb.cn/news/detail-680665.html
到了這里,關(guān)于AI 繪畫Stable Diffusion 研究(十六)SD Hypernetwork詳解的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!