2018 ICLR
1 intro
1.1. GCN的不足
- 無法完成inductive任務(wù)
- inductive任務(wù)是指:
- 訓(xùn)練階段與測試階段需要處理的graph不同。
- 通常是訓(xùn)練階段只是在子圖上進(jìn)行,測試階段需要處理未知的頂點(diǎn)。
- GGN 的參數(shù)依賴于鄰接矩陣A/拉普拉斯矩陣L,所以換了一張圖,就會(huì)有不同的A和L
- inductive任務(wù)是指:
- 處理有向圖的瓶頸,不容易實(shí)現(xiàn)分配不同的學(xué)習(xí)權(quán)重給不同的鄰居
1.2 本文思路
- 引入masked self-attentional layers 來改進(jìn)前面圖卷積的缺點(diǎn)
- 對(duì)不同的相鄰節(jié)點(diǎn)分配相應(yīng)的權(quán)重,既不需要矩陣運(yùn)算,也不需要事先知道圖結(jié)構(gòu)
- attention為每個(gè)節(jié)點(diǎn)分配不同權(quán)重,關(guān)注那些作用比較大的節(jié)點(diǎn),而忽視一些作用較小的節(jié)點(diǎn)
2 GAT
- 和一般注意力機(jī)制一樣,GAT的計(jì)算也分為兩步
- 計(jì)算注意力系數(shù)
- 加權(quán)求和
2.1 輸入 輸出
2.1.1 輸入
單個(gè) graph attentional layer的輸入是一個(gè)節(jié)點(diǎn)特征向量集合
- N是節(jié)點(diǎn)數(shù)量
- F是每個(gè)節(jié)點(diǎn)特征維度
2.1.2 輸出
新的節(jié)點(diǎn)特征集合
?
?2.2 計(jì)算注意力系數(shù)
2.2.1 全局attention的弊端
- self-attention是一種Global graph attention,會(huì)將注意力分配到圖中所有的節(jié)點(diǎn)上,但是這樣會(huì)存在以下問題
- 1,丟失結(jié)構(gòu)信息
- 基于空間相似假設(shè),一個(gè)樣本與一定范圍內(nèi)的樣本關(guān)系較密切
- 2,樣本較多的時(shí)候,計(jì)算量非常大
- 1,丟失結(jié)構(gòu)信息
2.2.2?masked self-attention
- 為了解決這一問題,作者使用了一種?masked attention?的方法
- 對(duì)于一個(gè)樣本來說只利用鄰域內(nèi)的樣本計(jì)算注意力系數(shù)和新的表示
- 即僅將注意力分配到節(jié)點(diǎn)的一階鄰居節(jié)點(diǎn)集上
- 針對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行 self-attention機(jī)制
-
- eij就是i點(diǎn)和其鄰居j點(diǎn)的注意力相關(guān)系數(shù)
-
為一個(gè)映射函數(shù)(這邊計(jì)算eij的時(shí)候漏了一個(gè)激活函數(shù),論文中使用的是LeakyReLU)
- hi,hi是點(diǎn)i和點(diǎn)j的特征向量?
-
- 計(jì)算完點(diǎn)i和所有鄰居的注意力相關(guān)系數(shù)后,引入softmax對(duì)所有相鄰節(jié)點(diǎn)進(jìn)行正則化
- || 表示拼接(concat)操作
2.2.3 加權(quán)求和
- 得到歸一化的注意力系數(shù)后,使用歸一化的值計(jì)算對(duì)應(yīng)特征的線性組合,作為每個(gè)頂點(diǎn)這一層最后的輸出特征
?文章來源地址http://www.zghlxwxcb.cn/news/detail-659808.html
2.2.4 多頭自注意力
- 使用K個(gè)獨(dú)立的 attention 機(jī)制,然后他們的特征拼接在一起
?
- 這樣每一層輸出的維度為KF‘
- 對(duì)于最后一個(gè)卷積層,不采用拼接的方式合并不同的attention機(jī)制的結(jié)果了,而是采用求平均的方式進(jìn)行處理
?
3 實(shí)驗(yàn)
3.1 數(shù)據(jù)集
?3.2 實(shí)驗(yàn)結(jié)果
3.2.1?transductive learning
訓(xùn)練和測試在一張圖上
?3.2.2?inductive learning
訓(xùn)練和測試不在一張圖上
?
文章來源:http://www.zghlxwxcb.cn/news/detail-659808.html
?
到了這里,關(guān)于論文筆記 Graph Attention Networks的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!