本文使用工具，作者:秋葉aaaki

免責(zé)聲明:
工具免費(fèi)提供 無(wú)任何盈利目的

大家好，我是風(fēng)雨無(wú)阻。

今天為大家?guī)?lái)的是 AI 繪畫(huà)Stable Diffusion 研究（三）sd模型種類(lèi)介紹及安裝使用詳解。

目前，AI 繪畫(huà)Stable Diffusion的各種模型層出不窮，這些模型都有什么作用？又該怎么安裝使用？對(duì)于新手朋友來(lái)說(shuō)，是非常大的困擾。

這篇文章將會(huì)為你介紹AI 繪畫(huà)Stable Diffusion的模型種類(lèi)、模型的安裝及使用方法、以及模型的選擇和下載。

不同的模型有不同的畫(huà)風(fēng)如：線條風(fēng)格、手繪風(fēng)格、立體風(fēng)格、科幻風(fēng)格、真人風(fēng)格。

還有不同的概念，例如：人物、物體、動(dòng)作等。

這些都是目前Stable Diffusion 模型眾多的原因。

那么，Stable Diffusion的模型具體有哪些種類(lèi)呢，都有什么作用呢？

一、Stable Diffusion的模型詳解

1、模型種類(lèi)

當(dāng)前，常見(jiàn)的模型可以分為兩大類(lèi)：

• 大模型：這里的大模型特指標(biāo)準(zhǔn)的 latent-diffusion 模型，擁有完整的 TextEncoder、U-Net、VAE。

• 微調(diào)大模型的小模型

  
  

由于想要煉制、微調(diào)大模型非常的困難，需要比較好的顯卡、比較高的算力， 因此更多的選擇是去煉制小型模型。

這些小型模型通過(guò)作用在大模型的不同部分，來(lái)修改大模型，從而達(dá)到目的。

常見(jiàn)的用于微調(diào)大模型的小模型又分為以下幾種：

• Textual inversion (Embedding模型)
• Hypernetwork模型
• LoRA模型

還有一種叫做 VAE （VAE, Variational autoencoder，變分自編碼器，負(fù)責(zé)將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像）的模型，通常來(lái)講 VAE 可以看做是類(lèi)似濾鏡一樣的東西，會(huì)影響出圖的畫(huà)面的色彩和某些極其微小的細(xì)節(jié)。

如圖：

其實(shí)大模型本身就自帶 VAE 的，但是一些融合模型的 VAE壞了 （例如：Anything-v3），有時(shí)畫(huà)面發(fā)灰就是因?yàn)檫@個(gè)原因。所以需要外置 VAE 的覆蓋來(lái)補(bǔ)救。

由于模型的種類(lèi)不同、作用位置也不同，所以想要使用這些模型必須分清這些模型類(lèi)別，并且正確的使用，模型才會(huì)生效。

2、模型的區(qū)分方法

如何區(qū)分這些模型對(duì)新手來(lái)說(shuō)是一件非常困難的事情，因?yàn)樗麄兌伎梢該碛幸粯拥暮缶Y名。

這里感謝 秋葉aaaki 提供的模型種類(lèi)檢測(cè)工具 ，在本地將模型文件拖入即可識(shí)別。

3、模型后綴名詳解

目前，常見(jiàn)的 AI繪畫(huà)標(biāo)準(zhǔn)模型后綴名有如下幾種：

• ckpt

• pt

• pth

  這三種是 pytorch（深度學(xué)習(xí)框架）的標(biāo)準(zhǔn)模型格式，由于使用了 Pickle，會(huì)有一定的安全風(fēng)險(xiǎn) 。

• safetensors：新型的模型格式 。正如同名字：safe，為了解決前面幾種模型的安全風(fēng)險(xiǎn)而出現(xiàn)的，safetensors 格式與 pytorch 的模型可以通過(guò)工具進(jìn)行任意轉(zhuǎn)換，只是保存數(shù)據(jù)的方式不同，內(nèi)容數(shù)據(jù)沒(méi)有任何區(qū)別。

  
  

注意：safetensors模型需要 webui 更新到2022年12月底以后的版本才能用。

4、常見(jiàn)模型安裝及使用方法

（1）、大模型安裝及使用

大模型，常見(jiàn)格式為 ckpt，顧名思義，就是大。大小在GB級(jí)別，常見(jiàn)有 2G、4G、7G模型，模型大小不代表模型質(zhì)量。

安裝方法：放在Stable-diffusion文件夾內(nèi)。

\sd-webui-aki-v4.2\models\Stable-diffusion

如圖：

使用方法：

第一步，在 webui 左上角選擇對(duì)應(yīng)的模型

第二步，手動(dòng)選擇vae并應(yīng)用保存

前面也說(shuō)到，部分合并出來(lái)的大模型VAE爛了，畫(huà)面會(huì)發(fā)灰，因此需要去設(shè)置中手動(dòng)選擇vae并應(yīng)用保存。

（2）、Embedding (Textual inversion)模型安裝及使用

embedding 模型，常見(jiàn)格式為 pt、png圖片、webp圖片，大小一般在 KB 級(jí)別。

例如：

安裝方法：

放在 embeddings 這個(gè)文件夾里面

\sd-webui-aki-v4.2\embeddings

使用方法：

生成圖片的時(shí)候需要帶上文件名作為 tag。

例如，上面這張圖里面的 shiratama_at_2-3000.pt 這個(gè)模型，使用的時(shí)候就需要帶上這個(gè)tag：shiratama_at_2-3000

(3)、Hypernetwork安裝及使用

常見(jiàn)格式為 pt，大小一般在幾十兆到幾百兆不等，由于這種模型可以自定義的參數(shù)非常多，也有的 Hypernetwork 模型可以達(dá)到 GB 級(jí)別。

例如：

安裝方法：放在hypernetworks 文件夾內(nèi)。

\sd-webui-aki-v4.2\models\hypernetworks

使用方法：

第一步，點(diǎn)擊生成下方的第三個(gè)按鈕

第二步，選擇hypernetworks 標(biāo)簽頁(yè)

如圖所示

（4）、LoRA模型安裝及使用

常見(jiàn)格式為 pt、ckpt，大小一般在8mb~144mb不等。

安裝方法：模型需要放在 Lora 文件夾。

\sd-webui-aki-v4.2\models\Lora

使用方法：

第一步，點(diǎn)擊生成下方的第三個(gè)按鈕

第二步，選擇Lora 標(biāo)簽頁(yè)

如圖：

第三步，點(diǎn)擊一個(gè)模型以后會(huì)向提示詞列表添加類(lèi)似這么一個(gè)tag， 也可以直接用這個(gè)tag調(diào)用lora模型。

<lora:模型名:權(quán)重> 

（5）、VAE 模型安裝及使用

常見(jiàn)格式為 .pt ，如圖：

安裝方法：模型需要放在 VAE 文件夾。

\sd-webui-aki-v4.2\models\VAE

模型放置完畢后，在設(shè)置頁(yè)面進(jìn)行如下設(shè)置，并重啟。

如果沒(méi)有sd_vae 選項(xiàng)，則需要補(bǔ)充上。

添加在 sd_model_checkpoint 之后，語(yǔ)法如下：

,sd_vae

好，由于篇幅原因，模型的安裝和使用就介紹到這里。

大家都知道，要用Stable Diffusion畫(huà)出漂亮的圖片，首先得選好模型。

目前，模型數(shù)量最多的兩個(gè)網(wǎng)站是civitai 和huggingface。

civitai又稱c站，有非常多精彩紛呈的模型，有了這些模型，我們分分鐘就可以變成繪畫(huà)大師，用AI畫(huà)出各種我們想要的效果。

我們這里就以 civitai 站下載模型進(jìn)行安裝為例，進(jìn)行詳細(xì)說(shuō)明。

二、模型的下載及選擇方法

1、直接搜索想要的模型

最上面是搜索框，我們可以直接通過(guò)關(guān)鍵詞來(lái)搜索想要的模型。

2、按照菜單分類(lèi)選擇模型

點(diǎn)擊左上角菜單，可以看到這里是按照 以下幾項(xiàng)來(lái)分類(lèi)的：

• 最高評(píng)價(jià)HIGHEST RATED
• 最多下載MOST DOWNLOADED
• 點(diǎn)贊最多MOST LIKED
• 討論最多MOST DISCuSSED
• 最新上傳NEWEST。

3、按照時(shí)間排序來(lái)選模型

點(diǎn)擊右上角，可以按照時(shí)間排序來(lái)選模型：最近一周、最近一月、所有時(shí)間的。

4、按照模型類(lèi)型、Stable Diffusion版本選擇模型

Stable Diffusion目前有SD 1.4、SD 1.5、SD 2.0、SD 2.0 768、SD 2.1、SD 2.1768、SD 2.1 Unclip 等版本。

注意:

• 通常來(lái)說(shuō)版本越高，效果越好。

• 目前比較流行的還是1.5版本，1.5之前的版本沒(méi)啥限制，可以自由出各種圖片。

• 2.0以上版本提供了一個(gè) 圖像無(wú)損放大模型：Upscaler Diffusion ，可以將生成圖像的分辨率提高 4 倍，適合出高清大圖。2.0加入了一些限制，不能出一些不可描述的圖片。

  
  

所以，具體使用哪個(gè)版本，還是要根據(jù)自己的需求來(lái)選擇。

挑到喜歡的模型后，怎么安裝模型呢？

三、模型的下載安裝實(shí)操

接下來(lái)我們來(lái)說(shuō)明一下安裝實(shí)操步驟。

1、下載模型文件，在c站 搜搜到喜歡的模型，并下載

2、下載成功后，我們會(huì)獲得模型文件

3、將模型文件使用模型種類(lèi)檢測(cè)工具 獲取模型的種類(lèi)

如圖：

將模型文件拖入該工具后，會(huì)獲得以下信息：

文件名
dunhuangV3.safetensors

文件大小
144.11 MB

模型種類(lèi)
LoRA 模型

模型用法
放入 models/Lora 文件夾后，在 webui 中，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項(xiàng)卡點(diǎn)擊使用。

Info
{
ss_batch_size_per_device:"6"
ss_bucket_info:{}
ss_bucket_no_upscale:"True"
ss_cache_latents:"True"
ss_caption_dropout_every_n_epochs:"0"
ss_caption_dropout_rate:"0.0"
ss_caption_tag_dropout_rate:"0.0"
ss_clip_skip:"None"
ss_color_aug:"False"
ss_dataset_dirs:{}
ss_enable_bucket:"True"
ss_epoch:"10"
ss_face_crop_aug_range:"None"
ss_flip_aug:"False"
ss_full_fp16:"False"
ss_gradient_accumulation_steps:"1"
ss_gradient_checkpointing:"False"
ss_keep_tokens:"0"
ss_learning_rate:"0.0001"
ss_lowram:"False"
ss_lr_scheduler:"cosine_with_restarts"
ss_lr_warmup_steps:"0"
ss_max_bucket_reso:"1024"
ss_max_grad_norm:"1.0"
ss_max_token_length:"None"
ss_max_train_steps:"6750"
ss_min_bucket_reso:"256"
ss_min_snr_gamma:"None"
ss_mixed_precision:"fp16"
ss_network_alpha:"64.0"
ss_network_dim:"128"
ss_network_module:"networks.lora"
ss_new_sd_model_hash:"e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7"
ss_noise_offset:"None"
ss_num_batches_per_epoch:"675"
ss_num_epochs:"10"
ss_num_reg_images:"0"
ss_num_train_images:"4050"
ss_optimizer:"bitsandbytes.optim.adamw.AdamW8bit"
ss_output_name:"dunhuang_20230625021029"
ss_prior_loss_weight:"1.0"
ss_random_crop:"False"
ss_reg_dataset_dirs:"{}"
ss_resolution:"(512, 768)"
ss_sd_model_hash:"1d5a534e"
ss_sd_model_name:"majicmix_realv6_fp16.safetensors"
ss_sd_scripts_commit_hash:"(unknown)"
ss_seed:"2361018997"
ss_session_id:"801586992"
ss_shuffle_caption:"False"
ss_tag_frequency:{}
ss_text_encoder_lr:"1e-05"
ss_total_batch_size:"6"
ss_training_comment:"None"
ss_training_finished_at:"1687645290.3126323"
ss_training_started_at:"1687630234.599286"
ss_unet_lr:"0.0001"
ss_v2:"False"
sshs_legacy_hash:"14dab82f"
sshs_model_hash:"f747a8b2ab9a85d407f26183afb59d53fc023c2fbde928fe8512721fda5a11aa"
}

根據(jù)工具輸出信息可知， dunhuangV3.safetensors 模型的模型種類(lèi)是LoRA 模型。

4 、將模型dunhuangV3.safetensors 放入 models/Lora 文件夾。

5、在 webui 中，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項(xiàng)卡點(diǎn)擊使用。

好，今天的內(nèi)容就到此結(jié)束，我們來(lái)總結(jié)一下。

今天主要給大家分享了 Stable Diffusion的模型種類(lèi)說(shuō)明，以及常見(jiàn)模型的下載、安裝、使用方法， 沒(méi)理解到的朋友，請(qǐng)收藏起來(lái)多看幾遍。

關(guān)注我，后續(xù)繼續(xù)分享sd更多干貨 ， 敬請(qǐng)期待。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-650977.html

到了這里，關(guān)于AI 繪畫(huà)Stable Diffusion 研究（三）sd模型種類(lèi)介紹及安裝使用詳解的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！