Deep Multiview Clustering by Contrasting Cluster Assignments
原文鏈接
對于大多數(shù)現(xiàn)有的深度MVC方法，探索多視圖的不變表示仍然是一個(gè)棘手的問題。在本文中，提出了一種跨視圖對比學(xué)習(xí)(CVCL)方法，該方法學(xué)習(xí)視圖不變表示，并通過比較多個(gè)視圖之間的聚類分配來產(chǎn)生聚類結(jié)果。
具體來說，首先在預(yù)訓(xùn)練階段使用深度自編碼器提取視圖相關(guān)特征。然后，提出了一種聚類級CVCL策略，在微調(diào)階段探索多個(gè)視圖之間一致的語義標(biāo)簽信息。因此，所提出的CVCL方法能夠通過這種學(xué)習(xí)策略產(chǎn)生更多的判別性聚類分配。
與大多數(shù)現(xiàn)有的深度MVC方法相比，引入了集群級CVCL策略來跨多個(gè)視圖捕獲一致的語義標(biāo)簽信息。通過比較多個(gè)視圖之間的聚類分配，所提出的CVCL方法學(xué)習(xí)了MVC正對之間的視圖不變表示。由正對派生的聚類分配合理地對齊了多個(gè)視圖之間的不變表示。這種對齊靈活地描述了從單個(gè)視圖獲得的一致語義標(biāo)簽，用于度量數(shù)據(jù)樣本之間的內(nèi)在關(guān)系。k維分配概率表示對應(yīng)視圖中每個(gè)樣本的聚類分配?；谶@些視圖不變表示，所提出的CVCL方法的對比損失鼓勵(lì)為正對產(chǎn)生的k維聚類分配相似，并將為負(fù)對提供的聚類分配分開。此外，本文還對軟集群分配對齊的可實(shí)現(xiàn)性提供了理論解釋。
每個(gè)視圖包含兩個(gè)模塊，包括特定于視圖的自動(dòng)編碼器模塊和CVCL模塊（跨視圖對比學(xué)習(xí)模塊）。多層感知器(MLP)由多個(gè)線性層組成。視圖自編碼器模塊包括編碼部分和解碼部分。CVCL模塊通過對比多個(gè)視圖之間的聚類分配來探索一致的語義標(biāo)簽信息
聚類層次上的CVCL
f將N個(gè)樣本映射為語義特征的函數(shù)。在語義特征上疊加兩個(gè)線性層和一個(gè)連續(xù)的softmax函數(shù)來產(chǎn)生一個(gè)聚類分配概率。
所有視圖的聚類概率矩陣{**H(v)**∈R N×K}nv v=1，這是在前一層的語義特征上產(chǎn)生的。設(shè)h (v) i為h (v)中的第i行，設(shè)h (v) ij表示實(shí)例i在視圖m中屬于聚類j的概率。實(shí)例i的語義標(biāo)簽由h (v) i中概率的最大值決定。
為了增加聚類分配之間的差異，統(tǒng)一的目標(biāo)分布{**P(v)**∈R N×K}nv v=1是{H(v)}nv v=1的較好替代，其每個(gè)元素的計(jì)算如下:
設(shè)p(v)j是p(v)的第j列。p(v)j中的每個(gè)元素p(v)ij表示屬于聚類j的樣本i的一個(gè)軟聚類分配。因此，p(v)j表示同一語義聚類的一個(gè)聚類分配。
聚類j的兩個(gè)聚類分配p (v1) j和p (v2) j之間的相似性：
其中v1和v2表示兩個(gè)不同的視圖。
在CVCL模塊中，不同視圖中實(shí)例的集群分配概率應(yīng)該是相似的，因?yàn)檫@些實(shí)例表征相同的樣本。此外，如果用多個(gè)視圖中的實(shí)例來描述不同的樣本，它們之間是不相關(guān)的。因此，當(dāng)考慮跨nv視圖的p (v) j和K個(gè)簇時(shí)，存在(nv?1)個(gè)正簇分配對和nv (K?1)個(gè)負(fù)簇分配對。**集群內(nèi)分配的相似性要最大化，集群間分配的相似性要最小化。**同時(shí)對樣本進(jìn)行聚類，同時(shí)加強(qiáng)聚類分配之間的一致性。p (v1) k和p (v2) k的橫視對比損失定義如下:
跨多個(gè)視圖引起的跨視圖對比損失：
為了防止所有實(shí)例都被分配到一個(gè)特定的集群，引入一個(gè)正則化如下:
兩階段訓(xùn)練機(jī)制
通過預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行參數(shù)初始化
設(shè)計(jì)一個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)，該網(wǎng)絡(luò)由特定視圖的編碼器模塊f (v) e(1≤v≤nv)和對應(yīng)的解碼器模塊f (v) d組成
對于多視圖，預(yù)訓(xùn)練網(wǎng)絡(luò)在輸入和輸出之間的重構(gòu)損失設(shè)計(jì)為：
MVC通過一個(gè)微調(diào)網(wǎng)絡(luò)
該方法的總體損失包括三個(gè)主要部分:預(yù)訓(xùn)練網(wǎng)絡(luò)的重建損失、交叉視圖對比損失和交叉視圖一致性損失：
預(yù)測結(jié)果表示：
文章來源：http://www.zghlxwxcb.cn/news/detail-833153.html
在本文中，提出了一種CVCL方法來學(xué)習(xí)MVC的視圖不變表示。提出了一種聚類級的CVCL策略，用于探索多個(gè)視圖之間具有一致性的語義標(biāo)簽信息。CVCL在兩個(gè)連續(xù)階段有效地實(shí)現(xiàn)了更多的判別聚類分配。對軟集群分配對齊的理論分析表明了集群級學(xué)習(xí)策略在CVCL中的重要性。作者對MVC數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)和燒蝕研究，以驗(yàn)證模型的優(yōu)越性和各組成部分在整體重建損失方面的有效性。文章來源地址http://www.zghlxwxcb.cn/news/detail-833153.html
到了這里，關(guān)于【論文閱讀】通過對比聚類分配的深度多視圖聚類的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[論文閱讀]MVF——基于 LiDAR 點(diǎn)云的 3D 目標(biāo)檢測的端到端多視圖融合](https://imgs.yssmx.com/Uploads/2024/01/817020-1.png)
