国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

論文筆記 Graph Attention Networks

這篇具有很好參考價(jià)值的文章主要介紹了論文筆記 Graph Attention Networks。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

2018 ICLR

1 intro

1.1. GCN的不足

  • 無法完成inductive任務(wù)
    • inductive任務(wù)是指:
      • 訓(xùn)練階段與測試階段需要處理的graph不同。
      • 通常是訓(xùn)練階段只是在子圖上進(jìn)行,測試階段需要處理未知的頂點(diǎn)。
    • GGN 的參數(shù)依賴于鄰接矩陣A/拉普拉斯矩陣L,所以換了一張圖,就會(huì)有不同的A和L
  • 處理有向圖的瓶頸,不容易實(shí)現(xiàn)分配不同的學(xué)習(xí)權(quán)重給不同的鄰居

1.2 本文思路

  • 引入masked self-attentional layers 來改進(jìn)前面圖卷積的缺點(diǎn)
    • 對(duì)不同的相鄰節(jié)點(diǎn)分配相應(yīng)的權(quán)重,既不需要矩陣運(yùn)算,也不需要事先知道圖結(jié)構(gòu)
    • attention為每個(gè)節(jié)點(diǎn)分配不同權(quán)重,關(guān)注那些作用比較大的節(jié)點(diǎn),而忽視一些作用較小的節(jié)點(diǎn)

2 GAT

  • 和一般注意力機(jī)制一樣,GAT的計(jì)算也分為兩步
    • 計(jì)算注意力系數(shù)
    • 加權(quán)求和

2.1 輸入 輸出

2.1.1 輸入

單個(gè) graph attentional layer的輸入是一個(gè)節(jié)點(diǎn)特征向量集合

論文筆記 Graph Attention Networks,論文筆記,論文閱讀

  • N是節(jié)點(diǎn)數(shù)量
  • F是每個(gè)節(jié)點(diǎn)特征維度

2.1.2 輸出

新的節(jié)點(diǎn)特征集合

論文筆記 Graph Attention Networks,論文筆記,論文閱讀?

?2.2 計(jì)算注意力系數(shù)

2.2.1 全局attention的弊端

  • self-attention是一種Global graph attention,會(huì)將注意力分配到圖中所有的節(jié)點(diǎn)上,但是這樣會(huì)存在以下問題
    • 1,丟失結(jié)構(gòu)信息
      • 基于空間相似假設(shè),一個(gè)樣本與一定范圍內(nèi)的樣本關(guān)系較密切
    • 2,樣本較多的時(shí)候,計(jì)算量非常大

2.2.2?masked self-attention

  • 為了解決這一問題,作者使用了一種?masked attention?的方法
    • 對(duì)于一個(gè)樣本來說只利用鄰域內(nèi)的樣本計(jì)算注意力系數(shù)和新的表示
    • 即僅將注意力分配到節(jié)點(diǎn)的一階鄰居節(jié)點(diǎn)集上
  • 針對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行 self-attention機(jī)制
    • 論文筆記 Graph Attention Networks,論文筆記,論文閱讀
      • eij就是i點(diǎn)和其鄰居j點(diǎn)的注意力相關(guān)系數(shù)
      • 論文筆記 Graph Attention Networks,論文筆記,論文閱讀為一個(gè)映射函數(shù)(這邊計(jì)算eij的時(shí)候漏了一個(gè)激活函數(shù),論文中使用的是LeakyReLU)
      • hi,hi是點(diǎn)i和點(diǎn)j的特征向量?
  • 計(jì)算完點(diǎn)i和所有鄰居的注意力相關(guān)系數(shù)后,引入softmax對(duì)所有相鄰節(jié)點(diǎn)進(jìn)行正則化
    • 論文筆記 Graph Attention Networks,論文筆記,論文閱讀
    • || 表示拼接(concat)操作

2.2.3 加權(quán)求和

  • 得到歸一化的注意力系數(shù)后,使用歸一化的值計(jì)算對(duì)應(yīng)特征的線性組合,作為每個(gè)頂點(diǎn)這一層最后的輸出特征
    • 論文筆記 Graph Attention Networks,論文筆記,論文閱讀

    ?文章來源地址http://www.zghlxwxcb.cn/news/detail-659808.html

2.2.4 多頭自注意力

  • 使用K個(gè)獨(dú)立的 attention 機(jī)制,然后他們的特征拼接在一起

    ?

    • 論文筆記 Graph Attention Networks,論文筆記,論文閱讀
    • 這樣每一層輸出的維度為KF‘
  • 對(duì)于最后一個(gè)卷積層,不采用拼接的方式合并不同的attention機(jī)制的結(jié)果了,而是采用求平均的方式進(jìn)行處理
    • 論文筆記 Graph Attention Networks,論文筆記,論文閱讀

    ?

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

?3.2 實(shí)驗(yàn)結(jié)果

3.2.1?transductive learning

訓(xùn)練和測試在一張圖上

論文筆記 Graph Attention Networks,論文筆記,論文閱讀

?3.2.2?inductive learning

訓(xùn)練和測試不在一張圖上

論文筆記 Graph Attention Networks,論文筆記,論文閱讀

?

論文筆記 Graph Attention Networks,論文筆記,論文閱讀

?

到了這里,關(guān)于論文筆記 Graph Attention Networks的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 論文筆記:E(n) Equivariant Graph Neural Networks

    論文筆記:E(n) Equivariant Graph Neural Networks

    ????????本文介紹了一種新模型來學(xué)習(xí)與旋轉(zhuǎn)、平移、反射和排列等變的圖神經(jīng)網(wǎng)絡(luò),稱為 E(n)-等變圖神經(jīng)網(wǎng)絡(luò) (EGNN)。 ???????? 與現(xiàn)有方法相比,EGNN不需要在中間層中計(jì)算昂貴的高階表示,同時(shí)仍能獲得有競爭力或更好的性能。 此外,雖然現(xiàn)有方法僅限于 3 維空間的

    2023年04月08日
    瀏覽(29)
  • EEG-GNN論文閱讀和分析:《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》

    EEG-GNN論文閱讀和分析:《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》

    下面所有博客是個(gè)人對(duì)EEG腦電的探索,項(xiàng)目代碼是早期版本不完整,需要完整項(xiàng)目代碼和資料請(qǐng)私聊。 數(shù)據(jù)集 1、腦電項(xiàng)目探索和實(shí)現(xiàn)(EEG) (上):研究數(shù)據(jù)集選取和介紹SEED 相關(guān)論文閱讀分析: 1、EEG-SEED數(shù)據(jù)集作者的—基線論文閱讀和分析 2、圖神經(jīng)網(wǎng)絡(luò)EEG論文閱讀和分析:《

    2024年02月07日
    瀏覽(19)
  • 圖神經(jīng)網(wǎng)絡(luò)EEG論文閱讀和分析:《EEG-Based Emotion Recognition Using Regularized Graph Neural Networks》

    圖神經(jīng)網(wǎng)絡(luò)EEG論文閱讀和分析:《EEG-Based Emotion Recognition Using Regularized Graph Neural Networks》

    下面所有博客是個(gè)人對(duì)EEG腦電的探索,項(xiàng)目代碼是早期版本不完整,需要完整項(xiàng)目代碼和資料請(qǐng)私聊。 數(shù)據(jù)集 1、腦電項(xiàng)目探索和實(shí)現(xiàn)(EEG) (上):研究數(shù)據(jù)集選取和介紹SEED 相關(guān)論文閱讀分析: 1、EEG-SEED數(shù)據(jù)集作者的—基線論文閱讀和分析 2、圖神經(jīng)網(wǎng)絡(luò)EEG論文閱讀和分析:《

    2024年02月09日
    瀏覽(26)
  • 【論文筆記】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

    【論文筆記】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

    為了更好的推薦,不僅要對(duì)user-item交互進(jìn)行建模,還要將關(guān)系信息考慮進(jìn)來 傳統(tǒng)方法因子分解機(jī)將每個(gè)交互都當(dāng)作一個(gè)獨(dú)立的實(shí)例,但是忽略了item之間的關(guān)系(eg:一部電影的導(dǎo)演也是另一部電影的演員) 高階關(guān)系:用一個(gè)/多個(gè)鏈接屬性連接兩個(gè)item KG+user-item graph+high orde

    2024年02月16日
    瀏覽(27)
  • 【論文閱讀筆記】Attention Is All You Need

    【論文閱讀筆記】Attention Is All You Need

    ??這是17年的老論文了,Transformer的出處,剛發(fā)布時(shí)的應(yīng)用場景是文字翻譯。BLUE是機(jī)器翻譯任務(wù)中常用的一個(gè)衡量標(biāo)準(zhǔn)。 ??在此論文之前,序列翻譯的主導(dǎo)模型是RNN或者使用編解碼器結(jié)構(gòu)的CNN。本文提出的Transformer結(jié)構(gòu)不需要使用循環(huán)和卷積結(jié)構(gòu),是完全基于注意力機(jī)制

    2024年04月13日
    瀏覽(30)
  • 【論文閱讀筆記】PraNet: Parallel Reverse Attention Network for Polyp Segmentation

    【論文閱讀筆記】PraNet: Parallel Reverse Attention Network for Polyp Segmentation

    PraNet: Parallel Reverse Attention Network for Polyp Segmentation PraNet:用于息肉分割的并行反向注意力網(wǎng)絡(luò) 2020年發(fā)表在MICCAI Paper Code 結(jié)腸鏡檢查是檢測結(jié)直腸息肉的有效技術(shù),結(jié)直腸息肉與結(jié)直腸癌高度相關(guān)。在臨床實(shí)踐中,從結(jié)腸鏡圖像中分割息肉是非常重要的,因?yàn)樗鼮樵\斷和手術(shù)

    2024年01月20日
    瀏覽(29)
  • 【論文導(dǎo)讀】- Variational Graph Recurrent Neural Networks(VGRNN)

    【論文導(dǎo)讀】- Variational Graph Recurrent Neural Networks(VGRNN)

    Variational Graph Recurrent Neural Networks(VGRNN) 原文地址:Variational Graph Recurrent Neural Networks(VGRNN):https://arxiv.org/abs/1908.09710 源碼: https://github.com/VGraphRNN/VGRNN Representation learning over graph structured data has been mostly studied in static graph settings while efforts for modeling dynamic graphs are still scant

    2024年02月08日
    瀏覽(23)
  • [論文閱讀筆記23]Adaptive Sparse Convolutional Networks with Global Context Enhancement for ... on drone

    [論文閱讀筆記23]Adaptive Sparse Convolutional Networks with Global Context Enhancement for ... on drone

    最近正在痛苦改論文中…還沒投出去, 心情糟糕 所以不如再做一點(diǎn)筆記… 論文題目: Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images 論文地址: 論文 代碼地址: 代碼 這是一篇CVPR2023的文章, 是無人機(jī)數(shù)據(jù)集的小目標(biāo)檢測. 文章針對(duì)小尺寸目

    2024年02月04日
    瀏覽(23)
  • 【論文解讀】2017 STGCN: Spatio-Temporal Graph Convolutional Networks

    【論文解讀】2017 STGCN: Spatio-Temporal Graph Convolutional Networks

    使用歷史速度數(shù)據(jù)預(yù)測未來時(shí)間的速度。同時(shí)用于序列學(xué)習(xí)的RNN(GRU、LSTM等)網(wǎng)絡(luò)需要迭代訓(xùn)練,它引入了逐步累積的誤差,并且RNN模型較難訓(xùn)練。為了解決以上問題,我們提出了新穎的深度學(xué)習(xí)框架 STGCN ,用于交通預(yù)測。 符號(hào) 含義 M 歷史時(shí)間序列長度 n 節(jié)點(diǎn)數(shù) C i C_i C i ?

    2024年02月16日
    瀏覽(16)
  • 論文解讀:SuperGlue: Learning Feature Matching with Graph Neural Networks

    論文解讀:SuperGlue: Learning Feature Matching with Graph Neural Networks

    SuperGlue: Learning Feature Matching with Graph Neural Networks 發(fā)表時(shí)間:2020 論文地址:https://arxiv.org/abs/1911.11763 項(xiàng)目地址:http://github.com/magicleap/SuperGluePretrainedNetwork。 本文介紹了一種通過聯(lián)合尋找對(duì)應(yīng)和拒絕非匹配點(diǎn)來匹配兩組局部特征的神經(jīng)網(wǎng)絡(luò)。通過求解一個(gè)可微最優(yōu)傳輸問題來估

    2024年02月08日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包