參考：
https://github.com/CompVis/stable-diffusion
理解DALL·E 2， Stable Diffusion和 Midjourney的工作原理
Latent Diffusion Models論文解讀
【生成式AI】淺談圖像生成模型 Diffusion Model 原理
【生成式AI】Stable Diffusion、DALL-E、Imagen 背後共同的套路
介紹
Stable Diffuson是潛在擴散模型（LDM)的文本轉(zhuǎn)圖像模型通過在一個潛在表示空間中迭代“去噪”數(shù)據(jù)來生成圖像，然后將表示結(jié)果解碼為完整的圖像，讓文圖生成能夠在消費級GPU上，在10秒級別時間生成圖片，大大降低了落地門檻。擴散模型（Diffusion Models, DM）是基于Transformer的生成模型，它采樣一段數(shù)據(jù)（例如圖像）并隨著時間的推移逐漸增加噪聲，直到數(shù)據(jù)無法被識別。該模型嘗試將圖像回退到原始形式，在此過程中學習如何生成圖片或其他數(shù)據(jù)。
DM存在的問題是強大的DM往往要消耗大量GPU資源，而且由于序列化評估(Sequential Evaluations)，推理的成本相當高。為了使DM在有限的計算資源上進行訓練而不影響其質(zhì)量以及靈活性，Stable Diffusion將DM應用于強大的預訓練自動編碼器（Pre-trained Autoencoders）。
在這樣的前提下訓練擴散模型，使其有可能在降低復雜性和保留數(shù)據(jù)細節(jié)之間達到一個最佳平衡點，顯著提高視覺真實程度。在模型結(jié)構(gòu)中引入交叉注意力層（cross attention layer），使擴散模型成為一個強大而靈活的生成器，實現(xiàn)基于卷積的高分辨率圖像生成。
同類：
DALL-E 2由OpenAI開發(fā)，它通過一段文本描述生成圖像。其使用超過100億個參數(shù)訓練的GPT-3轉(zhuǎn)化器模型，能夠解釋自然語言輸入并生成相應的圖像。DALL-E 2的工作是訓練兩個模型。第一個是Prior，接受文本標簽并創(chuàng)建CLIP圖像嵌入。第二個是Decoder，其接受CLIP圖像嵌入并生成圖像。使用
Midjourney也是一款由人工智能驅(qū)動的工具，其能夠根據(jù)用戶的提示生成圖像。目前已經(jīng)不能免費測試生成圖像了。https://discord.com/channels/662267976984297473
安裝
stable-diffusion-v1-5下載界面
模型地址：v1-5-pruned-emaonly.ckpt
部分包安裝失敗，是因為網(wǎng)絡(luò)問題，可以多嘗試幾次。
由于包版本不同需要更改部分源碼：
報錯1：
cannot import name 'rank_zero_only' from 'pytorch_lightning.utilities.distributed'
參考：https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/4111
解決：
from pytorch_lightning.utilities.rank_zero import rank_zero_only
報錯2：
ImportError: cannot import name 'SAFE_WEIGHTS_NAME' from 'transformers.utils'
參考：https://github.com/CompVis/stable-diffusion/issues/627
pip install diffusers==0.12.1
示例代碼：
python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms --ckpt /data1/Projects/stable-diffusion/models/ldm/stable-diffusion-v1/v1-5-pruned-emaonly.ckpt
執(zhí)行結(jié)果：
prompt方式可參考：入門）Stable Diffusion怎么寫prompt?文章來源：http://www.zghlxwxcb.cn/news/detail-447817.html
有哪些好的Stable Diffusion的prompt可以參考文章來源地址http://www.zghlxwxcb.cn/news/detail-447817.html
到了這里，關(guān)于stable-diffusion安裝和簡單測試的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
