0 摘要
- 學(xué)習(xí)解纏和表示數(shù)據(jù)中的變化因素是人工智能中的一個重要問題。雖然已經(jīng)取得了許多關(guān)于學(xué)習(xí)這些表示的進(jìn)展，但如何量化解纏仍然不清楚。
- 雖然存在一些度量標(biāo)準(zhǔn)，但對它們的隱含假設(shè)、真正衡量的內(nèi)容以及限制了解甚少。
- 因此，當(dāng)比較不同的表示時，很難解釋結(jié)果
- 本篇論文調(diào)查了有監(jiān)督的解纏度量標(biāo)準(zhǔn)，并對它們進(jìn)行了深入分析。
- 提出了一個新的分類體系，將所有的度量標(biāo)準(zhǔn)分為三個類別：基于干預(yù)、基于預(yù)測器和基于信息。
- 進(jìn)行了大量實驗，研究了解纏表示的特性，以便在多個方面進(jìn)行分層比較。
- 通過實驗結(jié)果和分析，我們對解纏表示特性之間的關(guān)系提供了一些見解。
- 分享了如何衡量解纏的指南。
1 介紹
1.1 背景
- 解纏表示可以獨立地捕捉解釋數(shù)據(jù)的真實潛在因素。這種表示具有許多優(yōu)勢
- 在下游任務(wù)中使用時，可以
- 提高預(yù)測性能
- 減少樣本復(fù)雜性
- 提供解釋性
- 改善公平性
- 在下游任務(wù)中使用時，可以
- 最初，通過視覺檢查來評估解纏度，但近年來的研究努力致力于提出更嚴(yán)格評估的度量標(biāo)準(zhǔn)
- 通常，隨著新的表示學(xué)習(xí)方法的提出，會同時提出一種新的度量標(biāo)準(zhǔn)，以突出現(xiàn)有度量標(biāo)準(zhǔn)未能捕捉到的優(yōu)勢。
- 不幸的是，往往不清楚這些度量標(biāo)準(zhǔn)具體衡量的是什么，以及在什么條件下它們是適用的
- ——>在選擇模型或超參數(shù)設(shè)置之前，必須選擇一個適合的解耦程度度量標(biāo)準(zhǔn)
- 通常，隨著新的表示學(xué)習(xí)方法的提出，會同時提出一種新的度量標(biāo)準(zhǔn)，以突出現(xiàn)有度量標(biāo)準(zhǔn)未能捕捉到的優(yōu)勢。
- 本文相關(guān)代碼：GitHub - ubisoft/ubisoft-laforge-disentanglement-metrics
1.2 相關(guān)工作
| Challenging common assumptions in the unsupervised learning of disentangled representations ICML 2019 |
|
| A framework for the quantitative evaluation of disentangled representations, ICLR 2018 |
提出了一個評估解纏表示的框架 確定了解纏表示的三個理想屬性：顯性（explicitness）、緊湊（compactness）和模塊化（modularity） 提出了一個由三個部分組成的新度量標(biāo)準(zhǔn) |
2 解耦表征的特點
- 關(guān)于解纏的定義沒有統(tǒng)一的觀點，但大多數(shù)人都同意兩個主要方面
- 表示必須是分布式的。
- ——>輸入是解釋性因素的組合，并對應(yīng)于表示空間中的一個點
- 稱這個點為“code，編碼”。
- 每個解釋性因素都在編碼的不同維度中進(jìn)行編碼
- ——>輸入是解釋性因素的組合，并對應(yīng)于表示空間中的一個點
- 表示還應(yīng)該為下游任務(wù)編碼相關(guān)信息。
- 根據(jù)應(yīng)用和表示學(xué)習(xí)算法的不同，編碼和因素之間的關(guān)系可能會有很大的差異
- 表示必須是分布式的。
2.1 表征中的因素獨立性
- 因素獨立性意味著一個因素的變化不會影響其他因素，即它們之間沒有因果效應(yīng)
- 在一個解纏表示中，因素在表示空間中也是相互獨立的
- 換句話說，一個因素只影響表示空間的一個子集，而且只有這個因素影響這個子空間
- 不同的論文對這個屬性有不同的叫法（解耦性 disentanglement，模塊性 modularity）
- 論文中使用模塊性
- 一些作者認(rèn)為，各個受因素影響的表示空間子集應(yīng)盡可能小
- 不同的論文對這個屬性有不同的叫法（完整性 completeness，緊湊型 compactness）
- 但是，有的時候強(qiáng)制緊湊性可能會產(chǎn)生反效果
- 當(dāng)描述復(fù)雜因素時，一組冗余的編碼維度提供了更大的靈活性
- 在實踐中，識別出有用且可解釋的獨立因素是一項具有挑戰(zhàn)性的任務(wù)
- 因素必須在概念上獨立，但也應(yīng)在統(tǒng)計上獨立
2.2 信息內(nèi)容
- 一個解耦表示應(yīng)該完整地描述感興趣的解釋因素
- 論文稱之為明確性 explictness。
- 學(xué)習(xí)模型須將表示空間劃分為與每個類別相對應(yīng)的區(qū)域。
?3 度量標(biāo)準(zhǔn)的特點
- 度量標(biāo)準(zhǔn)應(yīng)該將最低分歸因于完全隨機(jī)或完全纏繞的表示，將最高分歸因于完美解纏的表示
- 度量標(biāo)準(zhǔn)的分?jǐn)?shù)還應(yīng)該與其所測量的解纏特性的質(zhì)量呈線性變化
- 解耦屬性越好，得分越高
- 壞的情況是度量標(biāo)準(zhǔn)作為一個階躍函數(shù)，這會導(dǎo)致分?jǐn)?shù)的可解釋性差，使得具有相同分?jǐn)?shù)的兩個模型之間的比較毫無意義
- 此外，這種行為使得度量標(biāo)準(zhǔn)非常不穩(wěn)定
- 度量標(biāo)準(zhǔn)不應(yīng)對超參數(shù)配置過于敏感。
- 低參數(shù)敏感性能夠確保在不同配置下的穩(wěn)定性。
- 對配置過度敏感的度量標(biāo)準(zhǔn)行為不可預(yù)測，可能會導(dǎo)致在比較模型時得出不準(zhǔn)確的結(jié)論
- 在現(xiàn)實世界的應(yīng)用中，數(shù)據(jù)集往往存在噪聲。
- 衡量緊湊性或模塊性的度量標(biāo)準(zhǔn)應(yīng)該對噪聲具有容忍性
- 衡量明確性的度量標(biāo)準(zhǔn)應(yīng)該反映表示中的噪聲量。
4 度量方法
?4.0?記號
- ?假設(shè)有N個observation
- 每一個observation 都假定由M個因子完全解釋，記為
- n個observation，就有n個對應(yīng)的M維的v
- 一個表示學(xué)習(xí)算法希望將映射到（就是前面說的‘’code“）中
- 其中
- n個observation，就被映射到n個d維的z中
- 解耦度量是希望計算一個比較V和Z的打分
4.1 三種解耦度量方法
| 基于干預(yù)（intervention）的度量標(biāo)準(zhǔn) | 創(chuàng)建在其中一個或多個因素保持不變的數(shù)據(jù)子集來比較編碼 |
| 基于預(yù)測器（predictor）的度量標(biāo)準(zhǔn) | 使用回歸器或分類器從編碼中預(yù)測因素 |
| 基于信息（information）的度量標(biāo)準(zhǔn) | 利用信息論原理，如互信息（MI），來量化因素和編碼之間的關(guān)系 |
4.2 基于干預(yù)的度量標(biāo)準(zhǔn)
- 固定因素（v），創(chuàng)建子集，比較自己中的因素（v）和編碼（z）
- 采樣過程需要大量不同的數(shù)據(jù)樣本才能產(chǎn)生有意義的分?jǐn)?shù)
- 主要優(yōu)點是這些度量標(biāo)準(zhǔn)不對因素-編碼關(guān)系做任何假設(shè)
- 缺點：超參數(shù)需要調(diào)整（數(shù)據(jù)子集的大小和數(shù)量、離散化粒度、分類器的超參數(shù)或距離函數(shù)的選擇）
4.2.1 Z-diff /β-VAE
- 選擇實例（x)對來創(chuàng)建batch
- 在一個batch中，隨機(jī)選擇一個因素vi
- 在vi上有相同數(shù)值的樣本v1和v2形成一個數(shù)據(jù)對
- 收集固定數(shù)量的數(shù)據(jù)對
- 用對應(yīng)編碼的絕對差表示這一對樣本
- 子集中所有對差異的平均值創(chuàng)建了訓(xùn)練集中的一個點 （個人覺得，一個點的意思是，平均差異+哪個因素vi固定）
- 該過程重復(fù)多次以構(gòu)成一個相當(dāng)大的訓(xùn)練集
- ——>最后，在數(shù)據(jù)集上訓(xùn)練一個線性分類器來預(yù)測固定的因素是哪個
- 分類器的準(zhǔn)確率就是Z-diff分?jǐn)?shù)
- intuition
- 與固定因子vi相關(guān)聯(lián)的編碼維度應(yīng)該具有相同的值
- ——>與其他編碼維度相比，這個編碼維度差異較小
- 與固定因子vi相關(guān)聯(lián)的編碼維度應(yīng)該具有相同的值
4.2.2 Z-min
4.2.3 Z-max
4.2.4 IRS（Intervention Recurrence Score）
- 對因素實現(xiàn)進(jìn)行干預(yù)之前和之后計算編碼集之間的距離
- intuition
- 干擾因素的變化不應(yīng)該影響與目標(biāo)因素相關(guān)的編碼維度
- 方法
- 首先，從實例中創(chuàng)建一個參考集，其中目標(biāo)因素的實現(xiàn)被固定
- 然后，第二個集合包含具有相同目標(biāo)因素實現(xiàn)但干擾因素實現(xiàn)不同的實例
- 計算與目標(biāo)因素相關(guān)的編碼維度的均值之間的距離
- 采樣和距離測量過程重復(fù)多次，最終的score是最大距離
4.3 基于預(yù)測的方法
- 訓(xùn)練回歸器或分類器以從編碼中預(yù)測因素（f(z)→v）
- 分析預(yù)測器以評估每個編碼維度在預(yù)測因素方面的有用性
4.3.1?Disentanglement, Completeness and Informativeness (DCI)
- 分別報告了模塊性、緊湊性和顯式性的分?jǐn)?shù)。
- 他們訓(xùn)練回歸器從編碼中預(yù)測因素。通過檢查回歸器的內(nèi)部參數(shù)來（每個因素和編碼維度對的預(yù)測重要性權(quán)重Rij）估計模塊性和緊湊性。
- 他們使用線性的Lasso回歸器或非線性因素-編碼映射的隨機(jī)森林。
- 對于Lasso回歸器，重要性權(quán)重Rij是模型學(xué)習(xí)到的權(quán)重的大小
- 對于隨機(jī)森林，則使用編碼維度的基尼重要性。
| 緊湊性 | pij 編碼第j個維度對因子第i個維度重要的概率? 整個表征的平均緊湊度：所有因子的平均緊湊性 |
| 模塊性 | pij 編碼第j個維度對因子第i個維度重要的概率? 整個表征的模塊性：編碼每個維度的模塊性Dj的加權(quán)求和 |
| 顯示性 | 回歸器的預(yù)測誤差：1-6*MSE |
4.3.2 顯性分?jǐn)?shù)
- 使用簡單的分類器（如邏輯回歸），并使用ROC曲線下面積（AUC-ROC）來報告分類性能
- 最終得分是所有因素的所有類別的平均AUC-ROC
4.3.3 SAP
4.4 基于信息的方法
- 估計因素和編碼之間的互信息（MI）來計算解纏度分?jǐn)?shù)
- 互信息的取值范圍通常是非負(fù)的。
- 互信息值為0表示兩個變量之間沒有任何相關(guān)性或依賴關(guān)系。
- 較高的互信息值表示兩個變量之間存在較強(qiáng)的相關(guān)性或依賴關(guān)系，即它們的變化趨勢相互影響較大。
- 互信息的具體解釋可能需要根據(jù)具體的應(yīng)用場景和數(shù)據(jù)特點進(jìn)行進(jìn)一步的分析和解釋。
4.4.1 MIG?
MIG計算因素和編碼之間的互信息文章來源：http://www.zghlxwxcb.cn/news/detail-551525.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-551525.html
- 計算每個因子和每個編碼的互信息
- 最大的互信息記為，次大的記為
- H（vi）是vi的熵
到了這里，關(guān)于論文筆記：MEASURING DISENTANGLEMENT: A REVIEW OF METRICS的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[論文閱讀筆記77]LoRA：Low-Rank Adaptation of Large Language Models](https://imgs.yssmx.com/Uploads/2024/02/740494-1.png)
