国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<dfn id="shek4"></dfn>

<ruby id="shek4"></ruby>

<sup id="shek4"></sup>

【GAN】基礎(chǔ)知識（還在更新）

2年前作者：weixin_50862344分類：Toy博客閱讀(41)違法舉報

這篇具有很好參考價值的文章主要介紹了【GAN】基礎(chǔ)知識（還在更新）。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

還沒寫完，別罵了.....遇到啥新東西也會補充進來

1. 損失函數(shù)/距離度量

1.1?KL散度

用來衡量分布之間距離

1.1.1 推導(dǎo)過程

如果想要對KL散度有一個比較好的理解，我其實建議看一下，從信息熵的角度入手我認為是一個比較好的切入點?相對熵（KL散度）、JS散度和Wasserstein距離

?和都是概率分布，一般代表真實分布，一般代表擬合的近似分布

【GAN】基礎(chǔ)知識（還在更新）,生成對抗網(wǎng)絡(luò),人工智能,神經(jīng)網(wǎng)絡(luò)

利用期望的計算公式就可以得到用期望表示的KL散度

1.1.2 性質(zhì)

非負性：KL散度始終非負，即 KL(P || Q) ≥ 0。
零值：當(dāng)且僅當(dāng)P和Q相等時，KL散度為0，表示兩個分布完全相同。
不對稱性：KL散度是不對稱的，即 KL(P || Q) ≠ KL(Q || P)，表示P相對于Q的信息增益和P相對于Q的信息損失不同。

1.1.3 前向和反向KL散度

稱為前向KL散度（forward Kullback-Leibler Divergence）

稱為反向KL散度（reverse Kullback-Leibler Divergence）

【具體分析】進階詳解KL散度 - 知乎 (zhihu.com)

1.2 JS散度(Jensen–Shannon divergence)

為了解決KL散度不對稱的的問題引入了 JS散度

1.2.1 公式

【GAN】基礎(chǔ)知識（還在更新）,生成對抗網(wǎng)絡(luò),人工智能,神經(jīng)網(wǎng)絡(luò)

?1.2.2 對稱性證明

1.2.3 缺陷

當(dāng)兩個分布完全不重疊時，即便兩個分布的中心距離有多近，其JS散度都是一個常數(shù)，以至于梯度為0，無法更新。

【參考】?GAN：兩者分布不重合JS散度為log2的數(shù)學(xué)證明

1.3?Wasserstein Loss

2.?GAN訓(xùn)練三大問題

不收斂：模型參數(shù)震蕩，損失函數(shù)不能收斂到理論值；
模式崩潰：合成的樣本都趨同；
梯度消失：判別器太強，生成器的梯度消失，訓(xùn)練無法繼續(xù)。

生成對抗網(wǎng)絡(luò)（GAN）的模式崩潰問題

3.1 模式崩潰

GAN本質(zhì)上就是在對比真實分布和生成器生成的分布。

第一：生成器生成了不真實的樣本。對應(yīng)于那些不真實的樣本，Pg(X)>0但Pr(X)≈0，此時KL 散度中間的被積項將會趨于∞；

第二：生成器沒能生成真實的樣本。對應(yīng)于沒能生成的那些真實樣本，pr(x)>0 但 pg(x)≈0，此時 KL 散度中間的被積項將會趨于 0。

GAN 中優(yōu)化生成器的損失函數(shù)要求 KL 散度盡量小。第一種情形損失接近無窮，懲罰巨大，生成器就會避免生成不真實的樣本；第二種情形損失接近零，懲罰非常小，因此生成器完全有可能只生成單一的真實樣本，而不生成更多不同的真實樣本。生成單一的真實樣本已經(jīng)足夠欺騙判別器，生成器沒有必要冒著失真的風(fēng)險生成多樣化的樣本，模式崩潰問題由此產(chǎn)生。

3.模型代碼框架

【參考實現(xiàn)】facebookresearch/pytorch_GAN_zoo: A mix of GAN implementations including progressive growing

3.1 損失部分

3.1.1 鑒別器損失

【GAN】基礎(chǔ)知識（還在更新）,生成對抗網(wǎng)絡(luò),人工智能,神經(jīng)網(wǎng)絡(luò)

?3.1.2 生成器損失

【GAN】基礎(chǔ)知識（還在更新）,生成對抗網(wǎng)絡(luò),人工智能,神經(jīng)網(wǎng)絡(luò)

3.1.2 漸進式訓(xùn)練策略

在ProGAN出來之后，很多模型同樣也選擇了使用漸進式的訓(xùn)練策略。漸進式的訓(xùn)練策略以方便減少了時間，同時也會在一定程度上避免了模式奔潰

4.評估指標(biāo)

4.1 FID(Frechet Inception Distance score)

Frechet Inception 距離（FID）是評估生成圖像質(zhì)量的度量標(biāo)準(zhǔn)，專門用于評估生成對抗網(wǎng)絡(luò)的性能。

基本原理：

刪除模型原本的輸出層，將輸出層換為最后一個池化層（即全局空間池化層）的激活函數(shù)輸出值。此輸出層有 2,048 維的激活向量，因此，每個圖像被預(yù)測為 2,048 個激活特征。該向量被稱為圖像的編碼向量或特征向量。
然后使用以下公式計算 FID 分數(shù)：

【GAN】基礎(chǔ)知識（還在更新）,生成對抗網(wǎng)絡(luò),人工智能,神經(jīng)網(wǎng)絡(luò)

該分數(shù)被記為 d^2，表示它是一個有平方項的距離。
「mu_1」和「mu_2」指的是真實圖像和生成圖像的特征均值（例如，2,048 維的元素向量，其中每個元素都是在圖像中觀察到的平均特征）。
C_1 和 C_2 是真實圖像的和生成圖像的特征向量的協(xié)方差矩陣，通常被稱為 sigma。
|| mu_1-mu_2 ||^2 代表兩個平均向量差的平方和。Tr 指的是被稱為「跡」的線性代數(shù)運算（即方陣主對角線上的元素之和）。
sqrt 是方陣的平方根，由兩個協(xié)方差矩陣之間的乘積給出

【參考】學(xué)習(xí)GAN模型量化評價，先從掌握FID開始吧文章來源地址http://www.zghlxwxcb.cn/news/detail-559794.html

到了這里，關(guān)于【GAN】基礎(chǔ)知識（還在更新）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

GAN生成對抗網(wǎng)絡(luò)介紹
GAN 全稱是Generative Adversarial Networks，即生成對抗網(wǎng)絡(luò) 。 “生成”表示它是一個生成模型，而“對抗”代表它的訓(xùn)練是處于一種對抗博弈狀態(tài)中的。一個可以自己創(chuàng)造數(shù)據(jù)的網(wǎng)絡(luò)！判別模型與生成模型判別模型（Discriminative Model）主要目標(biāo)是對給定輸入數(shù)據(jù)直接進行建模，
2024年01月17日
瀏覽(24)
生成對抗網(wǎng)絡(luò)----GAN
` GAN (Generative Adversarial Network) : 通過兩個神經(jīng)網(wǎng)絡(luò)，即生成器（Generator）和判別器（Discriminator），相互競爭來學(xué)習(xí)數(shù)據(jù)分布。 { 生成器 ( G e n e r a t o r ) : 負責(zé)從隨機噪聲中學(xué)習(xí)生成與真實數(shù)據(jù)相似的數(shù)據(jù)。判別器 ( D i s c r i m i n a t o r ) : 嘗試區(qū)分生成的數(shù)據(jù)和真實數(shù)據(jù)。
2024年02月20日
瀏覽(31)
了解生成對抗網(wǎng)絡(luò) （GAN）
????????Yann LeCun將其描述為“過去10年來機器學(xué)習(xí)中最有趣的想法”。當(dāng)然，來自深度學(xué)習(xí)領(lǐng)域如此杰出的研究人員的贊美總是對我們談?wù)摰闹黝}的一個很好的廣告！事實上，生成對抗網(wǎng)絡(luò)（簡稱GAN）自2014年由Ian J. Goodfellow和共同作者在《
2024年02月12日
瀏覽(19)
生成對抗網(wǎng)絡(luò) (GAN)
生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是由Ian Goodfellow等人在2014年提出的一種深度學(xué)習(xí)模型。GAN由兩部分組成：一個生成器（Generator）和一個判別器（Discriminator），它們通過對抗過程來訓(xùn)練，從而能夠生成非常逼真的數(shù)據(jù)。生成器（Generator）生成器的任務(wù)是創(chuàng)建盡可
2024年03月10日
瀏覽(30)
GAN-對抗生成網(wǎng)絡(luò)
generator:
2024年02月09日
瀏覽(17)
生成式對抗網(wǎng)絡(luò)GAN
Generative Adversarial Nets 由伊恩·古德費洛（Ian J.Goodfellow）等人于2014年發(fā)表在Conference on Neural Information Processing Systems (NeurIPS)上。NeurIPS是機器學(xué)習(xí)和計算神經(jīng)科學(xué)領(lǐng)域的頂級國際學(xué)術(shù)會議之一。圖像生成：論文地址：styleGAN styleGAN2 圖像生成是生成模型的基本問題，GAN相對先前的
2024年01月16日
瀏覽(16)
GAN（生成對抗網(wǎng)絡(luò)）
簡介：GAN生成對抗網(wǎng)絡(luò)本質(zhì)上是一種思想，其依靠神經(jīng)網(wǎng)絡(luò)能夠擬合任意函數(shù)的能力，設(shè)計了一種架構(gòu)來實現(xiàn)數(shù)據(jù)的生成。原理：GAN的原理就是最小化生成器Generator的損失，但是在最小化損失的過程中加入了一個約束，這個約束就是使Generator生成的數(shù)據(jù)滿足我們指定數(shù)據(jù)的分
2024年02月11日
瀏覽(22)
【神經(jīng)網(wǎng)絡(luò)】生成對抗網(wǎng)絡(luò)GAN
歡迎訪問Blog總目錄！ Generative Adversarial Networks 生成對抗網(wǎng)絡(luò)（GAN） - 知乎 (zhihu.com) 深度學(xué)習(xí)----GAN（生成對抗神經(jīng)網(wǎng)絡(luò)）原理解析_gan神經(jīng)網(wǎng)絡(luò)-CSDN博客圖解生成對抗網(wǎng)絡(luò)GAN 原理超詳解_生成對抗網(wǎng)絡(luò)gan圖解-CSDN博客 GAN包含兩個模型：生成模型（Generator） :接收隨機噪聲，生
2024年04月13日
瀏覽(25)
GAN（生成式對抗網(wǎng)絡(luò)）簡介
本文利用通俗易懂的語言對生成對抗網(wǎng)絡(luò)（GAN）進行介紹，包括技術(shù)背景、原理、應(yīng)用場景、未來發(fā)展趨勢等。一、技術(shù)背景生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是一種生成模型，由Goodfellow等人在2014年提出。相比于其他生成模型，GAN具有更高的生成能力和更好的
2024年02月10日
瀏覽(20)
深度學(xué)習(xí)生成對抗網(wǎng)絡(luò)（GAN）
生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks)是一種無監(jiān)督深度學(xué)習(xí)模型，用來通過計算機生成數(shù)據(jù)，由Ian J. Goodfellow等人于2014年提出。模型通過框架中(至少)兩個模塊：生成模型(Generative Model)和判別模型(Discriminative Model)的互相博弈學(xué)習(xí)產(chǎn)生相當(dāng)好的輸出。生成對抗網(wǎng)絡(luò)被認為是當(dāng)
2024年02月07日
瀏覽(25)

<kbd id="osyjw"></kbd>

<input id="osyjw"><cite id="osyjw"></cite></input>

<li id="osyjw"></li>

<pre id="osyjw"><button id="osyjw"></button></pre>