0 介紹

????????本文介紹了一種新模型來學(xué)習(xí)與旋轉(zhuǎn)、平移、反射和排列等變的圖神經(jīng)網(wǎng)絡(luò)，稱為 E(n)-等變圖神經(jīng)網(wǎng)絡(luò) (EGNN)。

???????? 與現(xiàn)有方法相比，EGNN不需要在中間層中計算昂貴的高階表示，同時仍能獲得有競爭力或更好的性能。 此外，雖然現(xiàn)有方法僅限于 3 維空間的等變性，但EGNN很容易擴(kuò)展到更高維空間。?

1? introduction

????????盡管深度學(xué)習(xí)在很大程度上取代了手工制作的特征，但許多進(jìn)步嚴(yán)重依賴于深度神經(jīng)網(wǎng)絡(luò)中的歸納偏差。（inductive bias）

???????? 將神經(jīng)網(wǎng)絡(luò)限制為和研究問題相關(guān)函數(shù)的一種有效方法是，利用問題的對稱性、變換等變性（equivariance），通過研究某個對稱組來簡化當(dāng)前問題的計算。【eg，CNN的卷積是等變形、池化是近似不變性；GNN的點(diǎn)的排列順序是等變性（不同點(diǎn)的排列對應(yīng)不同的鄰接矩陣，但是最終這張graph表達(dá)的信息是一樣的）】

? ? ? ??許多問題都表現(xiàn)出 3D 平移和旋轉(zhuǎn)對稱性。論文中將這些對稱操作的集合記為SE(3) ，如果包含反射，那么集合記為 E(3)。 通常希望對這些任務(wù)的預(yù)測相對于 E(3) 變換是等變的或不變的。、

????????最近，已經(jīng)提出了等變E(3) 或 SE(3) 的各種形式和方法。 其中許多工作在研究中間網(wǎng)絡(luò)層的高階表示類型方面實現(xiàn)了創(chuàng)新。 然而，這些高階表示的轉(zhuǎn)換需要計算成本高昂的系數(shù)或近似值。 此外，在實踐中，對于許多類型的數(shù)據(jù)，輸入和輸出僅限于標(biāo)量值（例如溫度或能量，在文獻(xiàn)中稱為 type-0）和 3d 矢量（例如速度或動量，在文獻(xiàn)中稱為 type-1）。

????????這篇paper提出了一種新的架構(gòu)，它是平移、旋轉(zhuǎn)和反射等變 (E(n))，以及關(guān)于輸入點(diǎn)集的置換等變。 模型比以前的方法更簡單，同時模型中的等變性不限于 3 維空間，并且可以擴(kuò)展到更大的維空間，而不會顯著增加計算量。

2 背景知識

2.1 等變性

定義：

? ? ? ??

通俗地說，先平移/旋轉(zhuǎn)/排列再映射，和先映射再平移/旋轉(zhuǎn)/排列 效果是一樣的

2.2 GNN

GNN筆記：消息傳播模型_UQI-LIUWJ的博客-CSDN博客

3 EGNN

• 考慮一張圖,其中,
• 每一個點(diǎn)的特征embedding是?(和2.2的GNN一樣）[這個nf指的是node feature,并不是n乘f]【不帶方向的物理信息，標(biāo)量】
• 但在此基礎(chǔ)上，EGNN對每個點(diǎn)加了一個n維的坐標(biāo)【帶方向的幾何信息，矢量】

GNN將保持與這些坐標(biāo) xi 旋轉(zhuǎn)和平移的等變性，并且它還將以與 GNN 相同的方式保持與節(jié)點(diǎn)集 V 上排列的等變性。

?用公式表示第l層EGNN，Equivariant Graph Convolutional Layer (EGCL)有：

和傳統(tǒng)GNN不一樣的地方用綠色框框畫出來了

• 在等式3中，EGNN增加了兩個坐標(biāo)之間的距離作為參數(shù)
• 在等式 4 中，按照論文的意思，xi的位置更新為徑向的矢量場，由所有共同決定【這里我不是很理解，為什么會是徑向的，因為不同的xi，它的方向是不一樣的，作為向量減法，不一定沿著徑向呀】
  • 等式4每一項的加權(quán)系數(shù)是通過函數(shù)?計算的
  • 這里的C=1/(M-1)
• ——>等式3&4可以保證等變性
• ——>與此同時，另外一個區(qū)別是，這邊考慮了所有(i,j)對，而不僅僅是鄰居點(diǎn)之間的pair，也就是說，embedding? mij可以包含全圖的信息

?

?文章來源地址http://www.zghlxwxcb.cn/news/detail-404501.html

?3.1 平移等變性

g是一個平移向量，x（type-1向量）是平移等變性（equivariant），h（type-0向量）是平移不變性（invariant）

?——>不難發(fā)現(xiàn)，EGCL的組合也是具有等變性的

3.2 拓展EGNN

這里對前面的EGNN進(jìn)行輕微修改，以便我們明確地跟蹤粒子的動量。

這不僅可以用于獲得粒子在每一層的速度估計值，還可以將動量引入進(jìn)來

用公式表示，就是將

?表示成

?'

如果為0，那么等式4和等式7表達(dá)的是一個意思

3.3 得到點(diǎn)的信息

在某些情況下，我們可能并不總是得到一個鄰接矩陣。 在這些情況下，我們可以假設(shè)一個全連接圖，其中所有節(jié)點(diǎn)相互交換消息。

這種全連接方法可能無法很好地擴(kuò)展到大圖，我們希望只需考慮鄰居節(jié)點(diǎn)N(i)的點(diǎn)之間的交互。

論文這里使用如下的方式

其中如果(i,j)有連邊，那么eij為1，否則為0

論文通過一個函數(shù)來近似eij :（線性層+sigmoid激活函數(shù)，輸入邊embedding，輸出邊value的soft estimation）

?

到了這里，關(guān)于論文筆記：E(n) Equivariant Graph Neural Networks的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！