擴(kuò)散模型 (Diffusion models) 是「生成模型」算法領(lǐng)域中的一個(gè)相對(duì)較新的算法。生成模型通過學(xué)習(xí)大量訓(xùn)練樣本（例如圖像或者音頻），創(chuàng)建一些與訓(xùn)練數(shù)據(jù)神似，但又不是完全相同的多樣化輸出。

Diffusers 庫是一個(gè)操作擴(kuò)散模型的工具箱，由 Hugging Face 團(tuán)隊(duì)發(fā)布，它可以非常方便的使用各種擴(kuò)散模型生成圖像、音頻，也可以非常方便的使用各種噪聲調(diào)度器，用于調(diào)節(jié)在模型推理中的速度和質(zhì)量，同時(shí)，這個(gè)庫也支持多種類型的模型。

上周，Diffusers 發(fā)布了 v0.9.0 版，正式支持了最新的 Stable Diffusion 2，Stable Diffusion 可以簡要理解為是一個(gè)自然語言生成圖片的模型，并于上周發(fā)布了 2.0 版本，可以生成 768x768 和 512x512 分辨率的圖片，也包括了一個(gè) Upscaler Diffusion 模型，可以將圖片分辨率升級(jí)為 2048x2048 甚至更高，更多關(guān)于 Stable Diffusion 2 的更新，請(qǐng)閱讀 機(jī)器之心的文章 了解更多。

你可以在 Hugging Face Spaces 上體驗(yàn) Stable Diffusion 2:
https://huggingface.co/spaces/stabilityai/stable-diffusion

差一點(diǎn)忘記我們的「正事兒」——介紹 Diffusers 的更新，下面開始正文部分內(nèi)容：

?? 安裝最新版 Diffusers v0.9.0 體驗(yàn) Stable Diffusion 2

pip?install?diffusers[torch]==0.9?transformers

Diffusers 支持 Stable Diffusion 2 中的多種模型，我們將在后面的章節(jié)介紹用法以及示例代碼。

基于 768x768 圖像的 Stable Diffusion 2.0-V

最新的基于 768x768 大小圖像的穩(wěn)定擴(kuò)散模型：Stable Diffusion 2.0-V，它的參數(shù)數(shù)量為 U-Net 模型的 1.5 倍，但采用了 OpenCLIP-ViT/H 作為文本編碼器從頭開始訓(xùn)練，因此 2.0-V 也被稱為：v-prediction 模型。

• OpenCLIP-ViT/H:
  https://github.com/mlfoundations/open_clip

• v-prediction 模型:
  https://arxiv.org/abs/2202.00512

import?torch
from?diffusers?import?DiffusionPipeline,?DPMSolverMultistepScheduler

repo_id?=?"stabilityai/stable-diffusion-2"
pipe?=?DiffusionPipeline.from_pretrained(repo_id,?torch_dtype=torch.float16,?revision="fp16")
pipe.scheduler?=?DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe?=?pipe.to("cuda")

prompt?=?"High?quality?photo?of?an?astronaut?riding?a?horse?in?space"
image?=?pipe(prompt,?guidance_scale=9,?num_inference_steps=25).images[0]
image.save("astronaut.png")

基于 512x512 圖像的 Stable Diffusion 2.0-base

上面的模型是基于 SD 2.0-base 進(jìn)行微調(diào)而來，SD 2.0-base 在 512x512 圖像數(shù)據(jù)集上被訓(xùn)練為標(biāo)準(zhǔn)的噪聲預(yù)測模型，當(dāng)然 base 模型在我們的平臺(tái)上也是支持的。

import?torch
from?diffusers?import?DiffusionPipeline,?DPMSolverMultistepScheduler

repo_id?=?"stabilityai/stable-diffusion-2-base"
pipe?=?DiffusionPipeline.from_pretrained(repo_id,?torch_dtype=torch.float16,?revision="fp16")
pipe.scheduler?=?DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe?=?pipe.to("cuda")

prompt?=?"High?quality?photo?of?an?astronaut?riding?a?horse?in?space"
image?=?pipe(prompt,?num_inference_steps=25).images[0]
image.save("astronaut.png")

Stable Diffusion 2.0 用于圖像修補(bǔ) (Inpanting)

該模型用于文本引導(dǎo)的圖像修補(bǔ)，它同樣基于 SD 2.0-base 進(jìn)行微調(diào)，遵循 LAMA 中提出的掩碼生成策略 (mask-generation strategy)，并結(jié)合掩碼圖像 (masked image) 的隱式 VAE 表示。

• LAMA:
  https://github.com/saic-mdal/lama

import?PIL
import?requests
import?torch
from?io?import?BytesIO
from?diffusers?import?DiffusionPipeline,?DPMSolverMultistepScheduler

def?download_image(url):
????response?=?requests.get(url)
????return?PIL.Image.open(BytesIO(response.content)).convert("RGB")

img_url?=?"https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
mask_url?=?"https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"
init_image?=?download_image(img_url).resize((512,?512))
mask_image?=?download_image(mask_url).resize((512,?512))

repo_id?=?"stabilityai/stable-diffusion-2-inpainting"
pipe?=?DiffusionPipeline.from_pretrained(repo_id,?torch_dtype=torch.float16,?revision="fp16")
pipe.scheduler?=?DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe?=?pipe.to("cuda")

prompt?=?"Face?of?a?yellow?cat,?high?resolution,?sitting?on?a?park?bench"
image?=?pipe(prompt=prompt,?image=init_image,?mask_image=mask_image,?num_inference_steps=25).images[0]
image.save("yellow_cat.png")

Stable Diffusion X4 超分辨率圖像 (Upscaler)

這款模型在 512x512 的數(shù)據(jù)集上訓(xùn)練，并且是基于文本指導(dǎo) (text-guided) 的隱式分辨率提高擴(kuò)散器模型 (latent upscaling diffusion model)。

除了文本輸入之外，它還接收一個(gè) noise_level 作為輸入?yún)?shù)，可用于根據(jù)預(yù)定義的擴(kuò)散計(jì)劃 (predefined diffusion schedule) 向輸入的低分辨率圖像添加噪聲。

• latent upscaling diffusion model:
  https://arxiv.org/abs/2112.10752

• predefined diffusion schedule:
  https://hf.co/stabilityai/stable-diffusion-x4-upscaler/blob/main/low_res_scheduler/scheduler_config.json

保存并加載多功能擴(kuò)散器 (Versatile Diffusion) 的 bug 已經(jīng)被修復(fù)

我們修復(fù)了之前在保存并加載多功能擴(kuò)散器時(shí)出現(xiàn)的 bug ，以便保證大家更高效地工作。

以上就是本次 Diffusers v0.9.0 更新的內(nèi)容，更詳細(xì)的更新內(nèi)容，歡迎點(diǎn)擊閱讀原文在 GitHub 上查閱，如果有任何發(fā)現(xiàn)的 Bug 和建議，歡迎你在 GitHub Issue 里向我們提出:
https://github.com/huggingface/diffusers/issues

---

正文部分譯者:

丁繼崢 Johnson，微信號(hào)：ZJUer_0817 拾象DAO成員，浙江大學(xué)機(jī)器人工程專業(yè)，主要關(guān)注 AI 模型與交互的前沿進(jìn)展，專用機(jī)器人的產(chǎn)業(yè)落地，通用機(jī)器人的無限可能。

文章頭圖: Lynn

我們正在招募更多翻譯志愿者幫助我們擴(kuò)充官方公眾號(hào)內(nèi)容，如果你感興趣，歡迎通過文章下方的留言功能介紹自己，并留下聯(lián)系方式。謝謝！文章來源地址http://www.zghlxwxcb.cn/news/detail-493911.html