Spectral Adversarial MixUp for Few-Shot Unsupervised Domain Adaptation
摘要
域偏移是臨床應(yīng)用中的常見問題，其中訓(xùn)練圖像（源域）和測試圖像（目標(biāo)域）處于不同的分布下。已經(jīng)提出了無監(jiān)督域適應(yīng) （UDA） 技術(shù)，以使在源域中訓(xùn)練的模型適應(yīng)目標(biāo)域。但是，這些方法需要來自目標(biāo)域的大量圖像進(jìn)行模型訓(xùn)練。
本文提出了一種新的少樣本無監(jiān)督域適應(yīng)（FSUDA）方法，其中只有有限數(shù)量的未標(biāo)記目標(biāo)域樣本可用于訓(xùn)練。
首先引入頻譜靈敏度圖來表征頻域中模型的泛化弱點(diǎn)。然后，我們開發(fā)了一種靈敏度引導(dǎo)的光譜對(duì)抗混搭（SAMix）方法來生成目標(biāo)風(fēng)格的圖像，以有效抑制模型的靈敏度，從而提高模型在目標(biāo)域中的泛化性。
代碼地址
方法
Domain-Distance-Modulated Spectral Sensitivity (DoDiSS）模塊
基于傅里葉的模型靈敏度測量獲得的光譜靈敏度圖可以有效地描述該模型的泛化性。然而，頻譜敏感度圖僅限于單域場景，無法整合目標(biāo)域信息來評(píng)估特定域偏移下的模型弱點(diǎn)
本文引入了 DoDiSS，通過結(jié)合域距離來擴(kuò)展之前的方法，以解決域適應(yīng)問題的 Spectral Adversarial MixUp。
圖 1 （a）首先計(jì)算域距離圖，用于識(shí)別每個(gè)頻率中源域和目標(biāo)域之間的幅度分布差異。隨后，該差分圖用于在計(jì)算DoDiSS圖時(shí)對(duì)幅度擾動(dòng)進(jìn)行加權(quán)。
域距離測量：首先使用各種幾何變換的隨機(jī)組合來增強(qiáng)來自目標(biāo)域的少量圖像，包括隨機(jī)裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)和 JigSaw。這些轉(zhuǎn)換使圖像強(qiáng)度保持不變，從而保留目標(biāo)域樣式信息。然后將快速傅里葉變換（FFT）應(yīng)用于所有源圖像和增強(qiáng)目標(biāo)域圖像，以獲得其振幅譜圖
通過測量的域差異，可以計(jì)算模型的 DoDiSS 映射。如圖1（a）所示，傅里葉基被定義為一個(gè)厄米特矩陣Hi。傅里葉基像可以通過歸一化逆快速傅里葉變換 （IFFT） 得到，為了分析模型相對(duì)于頻率的泛化弱點(diǎn)，通過添加傅里葉基噪聲到原始源域。
保證在實(shí)際域偏移后，圖像在所有頻率分量上受到擾動(dòng)。對(duì)于RGB圖像，獨(dú)立地添加到每個(gè)通道中。在源域上訓(xùn)練的模型 F 在頻率下的靈敏度定義為整個(gè)數(shù)據(jù)集的預(yù)測錯(cuò)誤率
Sensitivity-Guided Spectral Adversarial Mixup (SAMix)模塊
SAMix 使用 DoDiSS 映射 MS 和對(duì)抗學(xué)習(xí)的參數(shù) λ作為加權(quán)因子，將每個(gè)源圖像的振幅頻譜與目標(biāo)圖像的頻譜混合在一起。DoDiSS 表示模型對(duì)域差異敏感的光譜區(qū)域。
通過保留源圖像的相位，SAMix在生成的目標(biāo)樣式中保留了原始源圖像的語義含義。具體而言，如圖1（b）所示，給定源圖像xs和目標(biāo)圖像xt，我們計(jì)算它們的振幅和相位譜。SAMix 通過以下方式混合振幅頻譜
文章來源：http://www.zghlxwxcb.cn/news/detail-860816.html
實(shí)驗(yàn)結(jié)果
文章來源地址http://www.zghlxwxcb.cn/news/detail-860816.html
到了這里，關(guān)于Spectral Adversarial MixUp for Few-Shot Unsupervised Domain Adaptation論文速讀的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
