Unsupervised Medical Image Translation with Adversarial Diffusion Models 論文大致翻譯和主要內(nèi)容講解
摘要:
通過(guò)源-目標(biāo)通道轉(zhuǎn)換對(duì)缺失圖像進(jìn)行填充可以提高醫(yī)學(xué)成像協(xié)議的多樣性。合成目標(biāo)圖像的普遍方法包括通過(guò)生成性對(duì)抗網(wǎng)絡(luò)(GAN)的一次映射。然而,隱含地描述圖像分布的Gan模型可能會(huì)受到樣本保真度有限的影響。為了提高醫(yī)學(xué)圖像翻譯的性能,我們提出了一種基于對(duì)抗性擴(kuò)散模型的新方法SynDiff。為了捕捉圖像分布的直接相關(guān)性,SynDiff利用一個(gè)條件擴(kuò)散過(guò)程,逐步將噪聲和源圖像映射到目標(biāo)圖像上。為了在推理過(guò)程中快速和準(zhǔn)確地進(jìn)行圖像采樣,在反向擴(kuò)散方向上采用對(duì)抗性投影進(jìn)行大的擴(kuò)散步驟。為了能夠在不成對(duì)的數(shù)據(jù)集上進(jìn)行訓(xùn)練,設(shè)計(jì)了一個(gè)周期一致的體系結(jié)構(gòu),其中耦合了擴(kuò)散和非擴(kuò)散模塊,這些模塊在兩個(gè)通道之間進(jìn)行雙邊轉(zhuǎn)換。
介紹:GAN:這種隱含的表征可能會(huì)受到學(xué)習(xí)偏差的影響,包括過(guò)早收斂和模式崩潰。此外,GAN模型通常采用快速單點(diǎn)采樣過(guò)程而沒(méi)有中間步驟,這固有地限制了網(wǎng)絡(luò)執(zhí)行的映射的可靠性。
SynDiff采用了步長(zhǎng)較大的快速擴(kuò)散過(guò)程以提高效率。(1)通過(guò)一種新穎的源條件對(duì)抗投影器實(shí)現(xiàn)了在逆擴(kuò)散步驟中的精確采樣,該投影器在源圖像的引導(dǎo)下對(duì)目標(biāo)圖像樣本進(jìn)行去噪。(2)為了實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí),設(shè)計(jì)了一種循環(huán)一致性架構(gòu),在兩種模態(tài)之間具有雙向耦合的擴(kuò)散和非擴(kuò)散過(guò)程的情況。這里分別對(duì)應(yīng)圖一和圖二。
貢獻(xiàn):
我們引入了第一個(gè)對(duì)抗擴(kuò)散模型用于高保真醫(yī)學(xué)圖像合成的文獻(xiàn)。
我們介紹了第一個(gè)基于擴(kuò)散的無(wú)監(jiān)督醫(yī)學(xué)圖像翻譯的方法,使訓(xùn)練的源目標(biāo)模態(tài)的不配對(duì)數(shù)據(jù)集。
我們提出了一種新的源條件對(duì)抗投影儀,以捕獲大步長(zhǎng)的反向轉(zhuǎn)移概率,有效的圖像采樣。
相關(guān)工作:
介紹一些GAN方法,通過(guò)其模式崩潰,多樣性以及可靠性的缺乏引渡到擴(kuò)散模型。由于逐步隨機(jī)抽樣過(guò)程和顯式似然特征,擴(kuò)散模型可以提高網(wǎng)絡(luò)映射的可靠性,以提供增強(qiáng)的樣本質(zhì)量和多樣性。源域和目標(biāo)域底層有著很重要的信息,因此本文使用條件擴(kuò)散將其引導(dǎo)。SynDiff利用條件擴(kuò)散過(guò)程,其中將來(lái)自實(shí)際源圖像的高質(zhì)量結(jié)構(gòu)信息作為條件輸入提供給反向擴(kuò)散步驟。之后介紹DDGAN和UNIT-DDPM,UMM-CGSM.
方法:
首先介紹了DiffusionModel。介紹了大致推導(dǎo)和公式講解。
之后介紹SynDiff。
Regular Diffusion Model :X0是我們的目標(biāo)域。首先加噪到高斯噪聲;y是源域,在反向過(guò)程的時(shí)候,我們將源域信息添加進(jìn)去作為指導(dǎo)條件,希望逐步去噪得到的圖像里面由我們的源域信息,從而更好的生成目標(biāo)域。
Adversarial diffusion model:反向過(guò)程如圖所示。通過(guò)某一個(gè)時(shí)刻t的(Xt,y)通過(guò)生成器生成X0^(預(yù)測(cè)的目標(biāo)圖像)。然后將Xt,預(yù)測(cè)的X0通過(guò)反向擴(kuò)散得到預(yù)測(cè)的Xt-k。然后將真實(shí)的Xt,Xt-k和預(yù)測(cè)的Xt-k通過(guò)辨別器來(lái)進(jìn)行辨別。
為了生成A域的圖片,則我們還需要源域B的圖片,但是在實(shí)際中可能沒(méi)有配對(duì)的圖像,因此我們需要一個(gè)非擴(kuò)散模型的生成器來(lái)從A生成一個(gè)源域B的圖像。為了生成B域的,則我們首先需要從B生成A域的源域圖像;
最上面兩個(gè)圖表示了A域B域分別作為目標(biāo)域時(shí)候的操作。當(dāng)A為目標(biāo)域時(shí):先生成B域源域的圖像,然后又生成A域目標(biāo)域的圖像。將B域源域的圖像和label送進(jìn)辨別器。
最下面兩個(gè)圖表示了不同的域的逆向擴(kuò)散過(guò)程。 當(dāng)A為目標(biāo)域時(shí),傳入目標(biāo)域噪聲,預(yù)測(cè)的源域圖像通過(guò)生成器A預(yù)測(cè)出最終的目標(biāo)圖像,然后通過(guò)擴(kuò)散過(guò)程得到Xt-k。將Xt,預(yù)測(cè)的Xt-k和label送入鑒別器。
對(duì)抗性擴(kuò)散過(guò)程:
常規(guī)的擴(kuò)散模型需要T步,很費(fèi)時(shí)間。本文使用如下公式:
訓(xùn)練步驟(自己結(jié)合代碼所寫(xiě)):
都是操作的兩個(gè)域,舉例子就舉一個(gè)方向的即可。
首先訓(xùn)練DD(Diffusion Discriminator),固定生成器
1.真實(shí)數(shù)據(jù)
根據(jù)真實(shí)數(shù)據(jù)A生成正向采樣的XAt,XAt+1。
通過(guò)DD來(lái)鑒別這個(gè)兩個(gè)真實(shí)的(XAt,t,XAt+1)
期望這個(gè)值越大越好。所以加了負(fù)號(hào)。
2.假數(shù)據(jù)
通過(guò)NDG(NonDiffusionGenerator)來(lái)生成真實(shí)A,B對(duì)應(yīng)的另外一個(gè)域的數(shù)據(jù)
然后通過(guò)DG生成XA0 傳入(真實(shí)的XAt,預(yù)測(cè)的XB(源域),t1,潛在變量)
然后通過(guò)(預(yù)測(cè)的XA0,真實(shí)XAt+1,t1)來(lái)預(yù)測(cè)XAt.
通過(guò)DD來(lái)判斷假的(預(yù)測(cè)的XAt,t1,真實(shí)的XAt+1)
期待這個(gè)值越小越好。
現(xiàn)在就對(duì)DD參數(shù)進(jìn)行更新。
然后訓(xùn)練NND(NonDiffusionDiscriminator),固定生成器
1.真實(shí)數(shù)據(jù)
通過(guò)NND來(lái)鑒別真實(shí)的A,B數(shù)據(jù)。 disc_non_diffusive_cycle1(real_data1)
2.假數(shù)據(jù)
通過(guò)NNG來(lái)生成B對(duì)應(yīng)的A域數(shù)據(jù)。x1_0_predict = gen_non_diffusive_2to1(real_data2)
通過(guò)NND來(lái)鑒別假的A,B數(shù)據(jù)。
值越小越好。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-854616.html
接下來(lái)對(duì)生成器進(jìn)行訓(xùn)練,固定鑒別器。
通過(guò)真實(shí)的A生成真實(shí)的XAt,XAt+1。 x1_t, x1_tp1 = q_sample_pairs(coeff, real_data1, t1)
通過(guò)NDG將B預(yù)測(cè)到A,再把A預(yù)測(cè)回B。
通過(guò)DG(真實(shí)的XAt+1,預(yù)測(cè)B,t1,潛在變量z1)生成預(yù)測(cè)的XA。
通過(guò)預(yù)測(cè)的XA,真實(shí)的XAt+1采樣得到XAt.
通過(guò)DD來(lái)鑒別假的(采樣的XAt,t1, 真實(shí)的XAt+1) 但是生成器希望這個(gè)生成的數(shù)據(jù)接近真實(shí)的,所以越大越好。
通過(guò)NDG將B預(yù)測(cè)到A的圖片通過(guò)NND進(jìn)行辨別。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-854616.html
到了這里,關(guān)于【論文閱讀】SynDiff Unsupervised Medical Image Translation with Adversarial Diffusion Models的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!