Topic
Abstract
我們使用擴散概率模型給出了高質(zhì)量的圖像合成結(jié)果，擴散概率模型是一類受非平衡熱力學(xué)啟發(fā)的潛變量模型。我們的最佳結(jié)果是根據(jù)擴散概率模型和去噪分數(shù)匹配與朗之萬動力學(xué)之間的新聯(lián)系而設(shè)計的加權(quán)變分界上的訓(xùn)練，并且我們的模型自然地允許漸進有損解壓縮方案，可以被解釋為自回歸譯碼的推廣。在無條件的CIFAR10數(shù)據(jù)集上，我們獲得了9.46的初始得分和3.17的最新FID得分。在256x256 LSUN上，我們獲得了與ProgressiveGAN類似的樣品質(zhì)量。
Introduction
所有類型的深度生成模型最近在各種數(shù)據(jù)形式中展示了高質(zhì)量的樣本。生成性對抗網(wǎng)絡(luò)(GANS)、自回歸模型、流和變分自動編碼器(VAEs)已經(jīng)合成了引人注目的圖像和音頻樣本，并且在基于能量的建模和分數(shù)匹配方面取得了顯著的進步，產(chǎn)生了與GANS相當(dāng)?shù)膱D像。
本文介紹了擴散概率模型的進展。擴散概率模型(簡稱擴散模型)是使用變分推理訓(xùn)練的參數(shù)馬爾可夫鏈，以在有限時間后產(chǎn)生與數(shù)據(jù)匹配的樣本。這個鏈的轉(zhuǎn)變被學(xué)習(xí)來逆轉(zhuǎn)擴散過程，該擴散過程是在采樣的相反方向上逐漸向數(shù)據(jù)添加噪聲直到信號被破壞的馬爾可夫鏈。當(dāng)擴散由少量的高斯噪聲組成時，將采樣鏈轉(zhuǎn)換也設(shè)置為條件高斯就足夠了，從而允許特別簡單的神經(jīng)網(wǎng)絡(luò)參數(shù)化。
擴散模型定義簡單，訓(xùn)練效率高，但就我們所知，還沒有證據(jù)表明它們能夠產(chǎn)生高質(zhì)量的樣本。我們表明擴散模型實際上能夠產(chǎn)生高質(zhì)量的樣本，有時比在其他類型的生成模型上發(fā)表的結(jié)果更好。此外，我們還證明了擴散模型的某種參數(shù)化與訓(xùn)練過程中多個噪聲水平上的去噪分數(shù)匹配和采樣過程中的退火朗之萬動力學(xué)等價。我們使用這個參數(shù)獲得了最好的樣本質(zhì)量結(jié)果，所以我們認為這個等價性是我們的主要貢獻之一。
盡管我們的模型具有樣本質(zhì)量，但與其他基于可能性的模型相比，我們的模型并不具有競爭性的對數(shù)似然比(然而，我們的模型的對數(shù)似然比已報道的退火重要性抽樣為基于能量的模型和分數(shù)匹配產(chǎn)生的大估計更好[11，55])。我們發(fā)現(xiàn)，我們的模型的大多數(shù)無損代碼長度被用于描述不可感知的圖像細節(jié)(第4.3節(jié))。我們在有損壓縮的語言中提供了對這種現(xiàn)象的更精細的分析，并且我們表明擴散模型的采樣過程是一種類似于沿著比特排序的自回歸解碼的漸進解碼，這極大地概括了自回歸模型通?？赡艿那闆r。
Related Work
Method
擴散模型可能看起來是一類有限的潛變量模型，但它們在實施中允許大量的自由度。必須選擇正向過程的方差βt和反向過程的模型結(jié)構(gòu)和高斯分布參數(shù)。為了指導(dǎo)我們的選擇，我們在擴散模型和去噪得分匹配之間建立了一個新的顯式聯(lián)系，這導(dǎo)致了擴散模型的一個簡化的加權(quán)變分界目標。最終，我們的模型設(shè)計被簡單性和實證結(jié)果證明是正確的。我們的討論是按等式的術(shù)語來分類的。
- Forward process
- Reverse process
- Data scaling, reverse process decoder
- Simplified training objective
Experiments
文章來源：http://www.zghlxwxcb.cn/news/detail-686440.html
Conclusion and Discussion
我們已經(jīng)使用擴散模型提供了高質(zhì)量的圖像樣本，并且我們發(fā)現(xiàn)了用于訓(xùn)練馬爾可夫鏈、去噪分數(shù)匹配和退火朗之萬動力學(xué)(以及擴展的基于能量的模型)、自回歸模型和漸進有損壓縮的擴散模型和變分推理之間的聯(lián)系。由于擴散模型似乎對圖像數(shù)據(jù)具有很好的歸納偏差，我們期待著研究它們在其他數(shù)據(jù)形式中的用途，以及作為其他類型的生成模型和機器學(xué)習(xí)系統(tǒng)的組成部分。文章來源地址http://www.zghlxwxcb.cn/news/detail-686440.html
到了這里，關(guān)于【擴散模型】【AIGC】DDPM Note的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
