大家好,我是風(fēng)雨無(wú)阻。
本期內(nèi)容:
- Embedding是什么?
- Embedding有什么作用?
- Embedding如何下載安裝?
- 如何使用Embedding?
大家還記得 AI 繪畫(huà)Stable Diffusion 研究(七) 一文讀懂 Stable Diffusion 工作原理 這篇文章中,曾提到過(guò)詞嵌入(Embedding)嗎?
我們來(lái)簡(jiǎn)單回顧一下:Embedding 將輸入的tokens轉(zhuǎn)換為一個(gè)連續(xù)的向量,然后stable diffusion再將 Embedding 向量 通過(guò)text transformer
轉(zhuǎn)換后,作為模型輸入,進(jìn)行訓(xùn)練。
那在上一篇中只是簡(jiǎn)單提到了Embedding, 對(duì)于我們實(shí)際使用stable diffusion過(guò)程中,可能很多朋友對(duì)Embedding的概念還不是很清楚。今天我們就來(lái)詳細(xì)介紹一下Embedding, 它到底是干嘛的?有什么作用?以及應(yīng)該怎么安裝和使用Embedding ?
一、Embedding 的介紹
1、Embedding是什么?
Embedding 又名 textual inversion 中文名:“嵌入或文本反轉(zhuǎn)”。
在計(jì)算機(jī)科學(xué)中,Embedding是將高維數(shù)據(jù)映射到低維空間的過(guò)程。
在圖像處理中,Embedding通常用于將圖像轉(zhuǎn)換為向量表示,以便進(jìn)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)。
在使用stable diffusion進(jìn)行繪畫(huà)時(shí),Embedding可以用于將輸入的圖像轉(zhuǎn)換為向量表示,以便于算法對(duì)其進(jìn)行處理和生成新的圖像。這種技術(shù)可以使算法更加高效地處理圖像數(shù)據(jù),并提高生成圖像的質(zhì)量和準(zhǔn)確性。
2、Embedding有什么作用?
通俗來(lái)講,Embedding 的作用就是對(duì)提示詞進(jìn)行打包。
如果你有做 UI 的經(jīng)驗(yàn),那么應(yīng)該知道組件的概念。
在 Stable Diffusion 中,Embedding 技術(shù)就可以被理解為一種組件,它可以將輸入數(shù)據(jù)轉(zhuǎn)換成向量表示,方便模型進(jìn)行處理和生成。
在日常使用中,Embedding 技術(shù)通常用于控制人物的動(dòng)作和特征,或者生成特定的畫(huà)風(fēng)。
我們來(lái)舉例,思考一個(gè)問(wèn)題:
如果我們直接使用原版本的stable diffusion 文生圖功能, 不使用stable diffusion 任何插件,我們應(yīng)該怎么來(lái)生成如下的圖片呢?
想必大家首先想到的是,寫(xiě)一大堆的提示詞來(lái)進(jìn)行控制生成,類似例如:
masterpiece, high-quality,1girl,clothes with Pink pattern,(brown hair), pinkearphones, green pattern on the earphones, blue tights, white gloves, ((pinkpattern on the clothes)), cat pattern on the face, detailed eyes, (pink theme), rabbitdecoration on the chest, green word pattern, sewing line on the clothes, long hair.thin girl, delicate face, beautiful face, melon face, skin full of details, pinkbackground, white gloves, thin neck, Sexy figure, (brown eyes:1.2), smile, wearingwhite shoes, green patterns, blushing,.....以下省略N個(gè)tag
但是,如果我們引入Embedding 后,只需要如下的提示詞就可以生成上面的圖:
masterpiece, high-quality,corneo dva
通過(guò)上面的問(wèn)題,相信大家已經(jīng)對(duì) Embedding 的作用有所理解了吧。
3、Embedding 的特點(diǎn)
相比于其他模型來(lái)說(shuō)(如 LORA),Embedding 文件的大小只有幾十 KB。
除了還原度對(duì)比 LORA 差一些外,在存儲(chǔ)和使用上卻更方便。
總而言之:
Embedding 技術(shù)將輸入數(shù)據(jù)轉(zhuǎn)換為向量表示,為模型的處理和生成提供了便利。
通過(guò)使用 Embedding,我們可以更加輕松地生成符合預(yù)期的樣本,而不需要手動(dòng)輸入大量的描述詞匯。
二、Embedding下載和安裝
既然Embedding 這么便利,我們一定得好好用起來(lái),那么在哪里可以下載呢?
主要還是在c站下載。
接下來(lái),就跟著我的演示步驟,實(shí)際操作一下吧。
第一步,打開(kāi)c站,搜索 Embedding
第二步,選擇喜歡的Embedding 下載
這里演示,我們選擇這個(gè)騎馬的外星人,點(diǎn)擊“Download”下載:
下載后,我們得到 16-token-negative-deliberate-neg.pt 這個(gè)文件。
第三步 Embedding安裝
將文件 16-token-negative-deliberate-neg.pt 拷貝到 sd-webui-aki-v4.2\embeddings 目錄下。
\sd-webui-aki-v4.2\embeddings
記得重啟stable diffusion 才能生效。
三、Embedding 的使用
1、功能欄區(qū)域,選擇文生圖,然后選擇右側(cè)生成按鈕下方 “顯示/隱藏?cái)U(kuò)展模型” 圖標(biāo)
如圖:
切換到嵌入式 (Enbedding)標(biāo)簽頁(yè)面 :
2、根據(jù) Enbedding 模型演示圖片 參數(shù)進(jìn)行設(shè)置
-
正向提示詞輸入
an astronaut riding a horse on the moon, 8k uhd
-
反向提示詞輸入
3d render
- 選擇下方剛剛安裝的Enbedding : 16-token-negative-deliberate-neg
反向提示詞輸入框中會(huì)自動(dòng)添加 16-token-negative-deliberate-neg 模型提示詞
如圖:
-
采樣方法設(shè)置 : Euler
-
迭代步數(shù)設(shè)置:50
-
勾選高清分辨率修復(fù)
-
隨機(jī)種子設(shè)置:43
4、點(diǎn)擊“生成”按鈕,查看效果
文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-678221.html
由此可見(jiàn) Embedding真是一個(gè)很有用東西,通過(guò)簡(jiǎn)單的一個(gè)提示詞就作出有自己特色的作品,感興趣的朋友趕快玩起來(lái)吧~文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-678221.html
到了這里,關(guān)于AI 繪畫(huà)Stable Diffusion 研究(十五)SD Embedding詳解的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!