大家好，我是風(fēng)雨無(wú)阻。


本期內(nèi)容：

• Lora的原理是什么？
• Lora如何下載安裝？
• Lora如何使用？

大家還記得 AI 繪畫Stable Diffusion 研究（三）sd模型種類介紹及安裝使用詳解 這篇文章中，曾簡(jiǎn)單介紹了Lora的安裝和使用嗎 ？

但是我們并不清楚LORA 的原理是什么？以及使用過(guò)程中有什么技巧 ？

其實(shí)LORA 與 embedding 、Hypernetwork 在本質(zhì)上類似，不過(guò)因?yàn)閿y帶著大量的訓(xùn)練數(shù)據(jù)，所以 LORA 對(duì)人物和細(xì)節(jié)特征的復(fù)刻更加細(xì)膩（效果最好）、使用頻率也是最高的。

因此我們?cè)谶@里將重點(diǎn)介紹 LORA 模型相關(guān)的知識(shí)：包含LORA模型的原理、安裝、使用、Lora模型的類型。

由于篇幅原因，這里將分為上、下兩節(jié)進(jìn)行詳細(xì)講解。

一、LORA 的原理

1、Lora是什么 ？

LORA，英文全稱Low-Rank Adaptation of LargeLanguage Models，直譯為大語(yǔ)言模型的低階適應(yīng)。這是微軟的研究人員為了解決大語(yǔ)言模型微調(diào)而開(kāi)發(fā)的一項(xiàng)技術(shù)。

LORA是一種在消耗更少內(nèi)存的情況下，加速大型模型訓(xùn)練的訓(xùn)練方法，在stable diffusion中它允許使用低階適應(yīng)技術(shù)來(lái)快速微調(diào)擴(kuò)散模型。簡(jiǎn)而言之，LoRA訓(xùn)練模型可以更輕松地針對(duì)不同概念（例如角色或特定風(fēng)格）進(jìn)行模型訓(xùn)練。這些經(jīng)過(guò)訓(xùn)練的模型可以被導(dǎo)出并供其他人使用。

LORA模型是小型的stable diffusion模型，對(duì)checkpoint模型 cross-attention layers（交叉注意力層）進(jìn)行了較小的更改，但是它的體積只有checkpoint的1/100到1/10，文件大小一般在2-500MB之間。

從上圖我們可以看到 LORA 對(duì)模型產(chǎn)生作用的環(huán)節(jié)是在 Noise predictor 。

下圖是對(duì)上圖放大以后的內(nèi)部結(jié)構(gòu)，LORA 是對(duì) crossattention 進(jìn)行更改。

在上一篇文章中，我們已經(jīng)對(duì)比了三者的區(qū)別，感興趣的朋友，請(qǐng)前往查看AI 繪畫Stable Diffusion 研究（十六）SD Hypernetwork詳解。

二、LORA 的下載安裝

1、打開(kāi)c站篩選LORA模型

點(diǎn)擊右側(cè) ->漏斗圖標(biāo) ，下拉菜單中選擇 LORA

2、選擇搜索結(jié)果中，喜歡的lora 模型進(jìn)行下載

這里以 原神lora 模型為例進(jìn)行演示：

下載完成后，會(huì)得到 Eula.safetensors 文件

3、 安裝 lora 模型

將下載后的Eula.safetensors 文件，拷貝到 Lora 目錄：

\sd-webui-aki-v4.2\models\Lora

4、 下載安裝lora 模型對(duì)應(yīng)的 chekpoint 模型

在右側(cè)可以看到 lora 模型對(duì)應(yīng)的 chekpoint 模型 是 xxmix9realistic_v40 。

直接點(diǎn)擊chekpoint 下方的“下載”按鈕進(jìn)行下載。

下載完成，會(huì)得到 xxmix9realistic_v40.safetensors 文件。

5、 安裝 chekpoint 模型

將 xxmix9realistic_v40.safetensors 文件 拷貝到Stable-diffusion 目錄：

\sd-webui-aki-v4.2\models\Stable-diffusion

安裝完成后，重啟 Stable diffusion 使其生效。

三、LORA 的使用

LORA的使用方法與Embeddings和Hypernetwork一樣，為了方便新朋友的理解，這里詳細(xì)演示一下步驟。

1、選擇剛才安裝的 chekpoint 模型

2、輸入?yún)?shù)

• 正向提示詞

  (((best quality, masterpiece, good anatomy))), eula_in_genshin, cowboy shot, 1girl, blue short hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, upper body,outdoors, castle, streets, green plants, flowers,
  

• 反向提示詞

  ng_deepnegative_v1_75t, (badhandv4:1.5), (worst quality:2),(lower eyelashes:2), (low quality:2), (normal quality:2),(holding:2),(gloves:2),(blue gloves:2),(black gloves:2),lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) ,watermark
  

• 采樣方法:DPM++ 2M Karras

• 迭代步數(shù):40

• 隨機(jī)種子:1831064945

• CFG Scale:21

  
  

3、重點(diǎn)來(lái)了，選擇剛安裝的 lora 模型

（1）、點(diǎn)擊生成按鈕下方的紅色圖標(biāo)

切換到lora模型標(biāo)簽

（2）、lora 標(biāo)簽頁(yè)面選擇 剛安裝的模型 Eula

（3）、點(diǎn)擊生成按鈕 ，查看效果

（4）、使用技巧：

• 我們可以調(diào)整權(quán)重來(lái)調(diào)高或調(diào)低效果

  將權(quán)重設(shè)置為 0 會(huì)禁用 LoRA 模型，可以在 0 和 1 之間調(diào)整樣式效果。

  需要注意的是，每個(gè) LORA 模型對(duì)輸出圖像的權(quán)重設(shè)置是非常重要的。權(quán)重設(shè)置越大，對(duì)畫面的影響因素就越淺。通常情況下，權(quán)重 應(yīng)該控制在 0.7-1 之間。如果權(quán)重過(guò)高，會(huì)大幅度影響出圖的質(zhì)量。

  
  

• 通常來(lái)說(shuō)，每個(gè) LORA 模型都有對(duì)應(yīng)的底膜和觸發(fā)詞匯。我們可以查看 LORA 作者產(chǎn)出的相關(guān)圖片，從中獲取模型信息，并從中選擇一些提示詞和排除詞來(lái)指定生成圖像的方向。

  
  

例如這個(gè)模型的介紹頁(yè)面就有觸發(fā)詞的說(shuō)明：

觸發(fā)詞為：

eula_in_genshin, cowboy shot, 1girl, blue medium hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, black thighhighs, high heels,

也就是我們正向提示詞里面的內(nèi)容：

• 與Embeddings類似，可以同時(shí)使用多個(gè)LoRA模型，還可以將它們與embeddings一起使用。

• 在 AUTOMATIC1111 中，LoRA 短語(yǔ)不是提示詞的一部分，LoRA模型應(yīng)用后將被移除，這意味著不能將提示詞語(yǔ)法使用在lora模型短語(yǔ)上。

好了，今天的內(nèi)容就介紹到這里，下一篇，我們將繼續(xù)介紹Lora 模型的類型，敬請(qǐng)關(guān)注。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-683500.html

到了這里，關(guān)于AI 繪畫Stable Diffusion 研究（十七）SD lora 詳解（上）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！