Abstract

為了更好的推薦，不僅要對user-item交互進行建模，還要將關系信息考慮進來

傳統(tǒng)方法因子分解機將每個交互都當作一個獨立的實例，但是忽略了item之間的關系（eg：一部電影的導演也是另一部電影的演員）

高階關系：用一個/多個鏈接屬性連接兩個item

KG+user-item graph+high order relations—>KGAT

遞歸傳播鄰域節(jié)點（可能是users、items、attributes）的嵌入來更新自身節(jié)點的嵌入，并使用注意力機制來區(qū)分鄰域節(jié)點的重要性

Introduction

$u_1$是要向其提供推薦的目標用戶。黃色圓圈和灰色圓圈表示通過高階關系發(fā)現(xiàn)但被傳統(tǒng)方法忽略的重要用戶和項目。

例如，用戶$u_1$看了 電影$i_1$，CF方法側重于同樣觀看了$i_1$的相似用戶的歷史，即$u_4$和$u_5$，而監(jiān)督學習側重于與$i_1$有相同屬性$e_1$的電影$i_2$，顯然，這兩種信息對于推薦是互補的，但是現(xiàn)有的監(jiān)督學習未能將這兩者統(tǒng)一起來，比如說這里$i_1$和$i_2$的$r_2$屬性都是$e_1$，但是它無法通過$r_3$到達$i_3$，$i_4$，因為它把它們當成了獨立的部分，無法考慮到數據中的高階關系，比如黃色圈中的用戶看了同一個導演$e_1$的其他電影$i_2$，或者灰色圈中的電影也與$e_1$有其他的關系。這些也是作出推薦的重要信息。
u 1 ? r 1 i 1 ? ? r 2 e 1 ? r 2 i 2 ? ? r 1 { u 2 , u 3 } , u 1 ? r 1 i 1 ? ? r 2 e 1 ? r 3 { i 3 , i 4 } , \begin{array}{l} u_{1} \stackrel{r_{1}}{\longrightarrow} i_{1} \stackrel{-r_{2}}{\longrightarrow} e_{1} \stackrel{r_{2}}{\longrightarrow} i_{2} \stackrel{-r_{1}}{\longrightarrow}\left\{u_{2}, u_{3}\right\}, \\ u_{1} \stackrel{r_{1}}{\longrightarrow} i_{1} \stackrel{-r_{2}}{\longrightarrow} e_{1} \stackrel{r_{3}}{\longrightarrow}\left\{i_{3}, i_{4}\right\}, \end{array} u1??r1??i1???r2??e1??r2??i2???r1??{u2?,u3?},u1??r1??i1???r2??e1??r3??{i3?,i4?},?

存在問題

利用這種高階信息是存在挑戰(zhàn)的：

1） 與目標用戶具有高階關系的節(jié)點隨著階數的增加而急劇增加，這給模型帶來了計算壓力

2） 高階關系對預測的貢獻不均衡。

為此，論文提出了 Knowledge Graph Attention Network (KGAT) 的模型，它基于節(jié)點鄰居的嵌入來更新節(jié)點的嵌入，并遞歸地執(zhí)行這種嵌入傳播，以線性時間復雜度捕獲高階連接。另外采用注意力機制來學習傳播期間每個鄰居的權重。

GNN->KGAT

1、遞歸嵌入傳播，用領域節(jié)點嵌入來更新當前節(jié)點嵌入

2、使用注意力機制，來學習傳播期間每個鄰居的權重

優(yōu)點：

1、與基于路徑的方法相比，避免了人工標定路徑

2、與基于規(guī)則的方法相比，將高階關系直接融入預測模型

3. 模型框架

3.1 問題定義

Input：協(xié)同知識圖$\mathcal{G}$，$\mathcal{G}$由user-item交互數據${\mathcal{G}}_1$和知識圖${\mathcal{G}}_2$組成

Output：user$u$點擊 item$i$的概率${\hat{y}}_{ui}$

高階連接：利用高階連接對于執(zhí)行高質量的推薦是至關重要的。我們將$L$階連接 ($L$- order connectivtiy) 定義為一個多跳關系路徑：
$$e_0\stackrel{r_1}{?}{e}_1\stackrel{r_2}{?}...\stackrel{r_L}{?}{e}_L$$

3.2 Embedding Layer

論文在知識圖嵌入方面使用了TransR模型，它的主要思想是不同的實體在不同的關系下有著不同的含義，所以需要將實體投影到特定關系空間中，假如$h$和$t$具有$r$關系，那么它們在$r$關系空間的表示應該接近，否則應該遠離，用公式表達則是：
$${\mathbf{e}}_h^r+{\mathbf{e}}_r\approx {\mathbf{e}}_t^r$$
這里${\mathbf{e}}_h,{\mathbf{e}}_t\in {\mathbb{R}}^d$,${\mathbf{e}}_r\in {\mathbb{R}}^k$是的embedding。

它的得分為：
$$g(h,r,t)=||{\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r?{\mathbf{W}}_r{\mathbf{e}}_t|{|}_2^2$$
其中${\mathbf{W}}_r\in {\mathbb{R}}^{k\times d}$是關系$r$的轉換矩陣，將實體從$d$維實體空間投影到$k$維關系空間中。$g(h,r,t)$的值越低，說明該三元組為真的概率越大。

最后，用pairwise ranking loss來衡量效果：
$${\mathcal{L}}_{KG}=\sum _{(h,r,t,t^{{}^{\prime }})\in \tau }?ln\sigma (g(h,r,t^{{}^{\prime }})?g(h,r,t))$$
此式子的意思就是讓負樣本的值減去正樣本的值盡可能的大。負樣本的選擇就是將$t$隨機替換成一個別的。

3.3 Attentive Embedding Propagation Layers

信息傳播

考慮實體$h$，我們使用${\mathcal{N}}_h=\{(h,r,t)|(h,r,t)\in \mathcal{G}\}$表示那些以$h$為頭實體的三元組。計算$h$的ego-network：
$${\mathbf{e}}_{{\mathcal{N}}_h}=\sum _{(h,r,t)\in {\mathcal{N}}_h}\pi (h,r,t){\mathbf{e}}_t$$
$\pi (h,r,t)$表示在關系$r$下從$t$傳到$h$的信息量。

知識感知注意力

信息傳播中的權重$\pi (h,r,t)$是通過注意力機制實現(xiàn)的
$$\pi (h,r,t)=({\mathbf{W}}_r{\mathbf{e}}_t{)}^{T}tanh({\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r)$$
這里使用$tanh$作為激活函數可以使得在關系空間中越接近的${\mathbf{e}}_h$和${\mathbf{e}}_t$有更高的注意力分值。采用$softmax$歸一化：
$$\pi (h,r,t)=\frac{exp(\pi (h,r,t))}{{\sum }_{(h,r^{{}^{\prime }},t^{{}^{\prime }})\in {\mathcal{N}}_h}exp(\pi (h,r^{{}^{\prime }},t^{{}^{\prime }}))}$$
最終憑借$\pi (h,r,t)$我們可以知道哪些鄰居節(jié)點應該被給予更多的關注。

信息聚合

最終將$h$在實體空間中的表示${\mathbf{e}}_h$和其ego-network的表示${\mathbf{e}}_{{\mathcal{N}}_h}$聚合起來作為$h$的新表示：
$${\mathbf{e}}_h^{(1)}=f({\mathbf{e}}_h,{\mathbf{e}}_{{\mathcal{N}}_h})$$
$f(?)$有以下幾種方式：

1. GCN Aggregator：
   $$f_{GCN}=LeakyReLU(\mathbf{W}({\mathbf{e}}_h+{\mathbf{e}}_{{\mathcal{N}}_h}))$$
2. GraphSage Aggregator：
   $$f_{GraphSage}=LeakyReLU(\mathbf{W}({\mathbf{e}}_h||{\mathbf{e}}_{{\mathcal{N}}_h}))$$
3. Bi-Interaction Aggregator：
   $$f_{Bi?Interaction}=LeakyReLU({\mathbf{W}}_1({\mathbf{e}}_h+{\mathbf{e}}_{{\mathcal{N}}_h}))+LeakyReLU({\mathbf{W}}_2({\mathbf{e}}_h\odot {\mathbf{e}}_{{\mathcal{N}}_h}))$$

高階傳播：

我們可以進一步堆疊更多的傳播層來探索高階連通信息，收集從更高跳鄰居傳播過來的信息，所以在$l$步中：
$${\mathbf{e}}_h^{(l)}=f({\mathbf{e}}_h^{(l?1)},{\mathbf{e}}_{{\mathcal{N}}_h}^{(l?1)})$$
其中${\mathbf{e}}_{{\mathcal{N}}_h}^{(l?1)}={\sum }_{(h,r,t)\in {\mathcal{N}}_h}\pi (h,r,t){\mathbf{e}}_t^{(l?1)}$，而${\mathbf{e}}_t^{(l?1)}$也是通過上面的步驟從${\mathbf{e}}_t^0$得到的。

3.4 Prediction layer

在執(zhí)行$L$層后，最終我們會得到用戶$u$的多層表示： { e u ( 1 ) , . . . , e u ( L ) } \{\mathbf e_u^{(1)},...,\mathbf e_u^{(L)} \} {eu(1)?,...,eu(L)?}，以及item$i$的多層表示： { e i ( 1 ) , . . , e i ( L ) } \{\mathbf e_i^{(1)},..,\mathbf e_i^{(L)} \} {ei(1)?,..,ei(L)?}

將其連接起來，即：
$${\mathbf{e}}_u^{?}={\mathbf{e}}_u^{(0)}||...||{\mathbf{e}}_u^{(L)},{\mathbf{e}}_i^{?}={\mathbf{e}}_i^{(0)}||...||{\mathbf{e}}_i^{(L)}$$
最后通過內積計算相關分數：
$$\hat{y}(u,i)={{\mathbf{e}}_u^{?}}^T{\mathbf{e}}_i^{?}$$

3.5 損失函數

損失函數使用了BPR loss：
$${\mathcal{L}}_{CF}=\sum _{(u,i,j)\in O}?ln\sigma (\hat{y}(u,i)?\hat{y}(u,j))$$
其中$O=\{(u,i,j)|(u,i)\in {\mathcal{R}}^{+},(u,j)\in {\mathcal{R}}^{?}\}$，${\mathcal{R}}^{+}$表示正樣本，${\mathcal{R}}^{?}$表示負樣本。

最終：
$${\mathcal{L}}_{KGAT}={\mathcal{L}}_{KG}+{\mathcal{L}}_{CF}+\lambda ||\Theta |{|}_2^2$$文章來源地址http://www.zghlxwxcb.cn/news/detail-599803.html

到了這里，關于【論文筆記】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！