舉例

根據(jù)是否考慮了時間信息，相關(guān)模型分為兩類：靜態(tài)知識圖譜（SKG）嵌入方法，時序知識圖譜（TKG）嵌入方法

SKG嵌入方法

實(shí)體和關(guān)系被嵌入到連續(xù)的低維向量空間中。

評判事實(shí)合理性的評分函數(shù)模型

• 平移模型

TransE

TransE 是一種基本的平移模型，它將該關(guān)系看作是從嵌入的主體實(shí)體到嵌入的對象實(shí)體的幾何平移。

TransE的核心思想是將知識圖譜中的三元組（頭實(shí)體、關(guān)系、尾實(shí)體）表示為向量空間中的平移操作。具體來說，如果一個三元組（h, r, t）是真實(shí)的（即存在于知識圖譜中），那么頭實(shí)體的向量表示與關(guān)系的向量表示之和應(yīng)該接近尾實(shí)體的向量表示。數(shù)學(xué)上，這可以表示為：

TransE的目標(biāo)是學(xué)習(xí)實(shí)體和關(guān)系的向量表示，使得真實(shí)三元組的這一約束得到滿足，同時不真實(shí)的三元組（即不在知識圖譜中的三元組）不滿足該約束。

為了實(shí)現(xiàn)這一目標(biāo)，TransE使用了一個損失函數(shù)，通常是基于間隔的合頁損失（margin-based hinge loss）。損失函數(shù)鼓勵真實(shí)三元組的得分低于不真實(shí)三元組的得分，并且兩者之間的差距至少為一個預(yù)定的間隔。

TransE例子

import torch
import torch.nn as nn
import torch.optim as optim

# 定義實(shí)體和關(guān)系
entities = ["北京", "紐約", "巴黎", "中國", "美國", "法國"]
relations = ["位于"]
entity2idx = {entity: idx for idx, entity in enumerate(entities)}
relation2idx = {relation: idx for idx, relation in enumerate(relations)}

# 定義三元組
triples = [
    ("北京", "位于", "中國"),
    ("紐約", "位于", "美國"),
    ("巴黎", "位于", "法國"),
]

# 超參數(shù)
embedding_dim = 10
margin = 1.0
learning_rate = 0.01
epochs = 1000

# 初始化實(shí)體和關(guān)系的嵌入
entity_embeddings = nn.Embedding(len(entities), embedding_dim)
relation_embeddings = nn.Embedding(len(relations), embedding_dim)

# 優(yōu)化器
optimizer = optim.SGD(list(entity_embeddings.parameters()) + list(relation_embeddings.parameters()), lr=learning_rate)

# 訓(xùn)練
for epoch in range(epochs):
    total_loss = 0
    for head, relation, tail in triples:
        # 獲取實(shí)體和關(guān)系的索引
        head_idx = torch.LongTensor([entity2idx[head]])
        relation_idx = torch.LongTensor([relation2idx[relation]])
        tail_idx = torch.LongTensor([entity2idx[tail]])

        # 獲取嵌入
        head_embedding = entity_embeddings(head_idx)
        relation_embedding = relation_embeddings(relation_idx)
        tail_embedding = entity_embeddings(tail_idx)

        # 計(jì)算損失
        loss = torch.nn.functional.relu(margin + (head_embedding + relation_embedding - tail_embedding).norm(p=1) - (head_embedding + relation_embedding - tail_embedding).norm(p=1))
        total_loss += loss.item()

        # 反向傳播和優(yōu)化
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

    if epoch % 100 == 0:
        print(f"Epoch {epoch}, Loss: {total_loss}")

# 打印最終的嵌入
print("Entity embeddings:", entity_embeddings.weight.data)
print("Relation embeddings:", relation_embeddings.weight.data)

from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

# 使用PCA將實(shí)體嵌入降到2維
pca = PCA(n_components=2)
entity_embeddings_2d = pca.fit_transform(entity_embeddings.weight.data)

# 繪制實(shí)體
plt.scatter(entity_embeddings_2d[:, 0], entity_embeddings_2d[:, 1])

# 添加標(biāo)簽
for i, entity in enumerate(entities):
    plt.annotate(entity, (entity_embeddings_2d[i, 0], entity_embeddings_2d[i, 1]))

plt.title('Entity Embeddings')
plt.show()

擴(kuò)展：TransR , TransH?and TransD ?

• 張量分解模型

RESCAL

RESCAL是一種用于知識圖譜嵌入的張量分解方法。與許多其他知識圖譜嵌入方法不同，RESCAL不是為每個關(guān)系學(xué)習(xí)一個單一的嵌入向量，而是為每個關(guān)系學(xué)習(xí)一個矩陣。這允許模型捕捉更復(fù)雜的關(guān)系，并可以更好地建模多對多關(guān)系。

RESCAL的工作原理

假設(shè)我們有一個三維張量，其中每個切片表示一個關(guān)系，每個元素表示實(shí)體和之間的關(guān)系的存在或強(qiáng)度。

RESCAL通過以下方式分解這個張量：

• 實(shí)體嵌入：所有關(guān)系共享相同的實(shí)體嵌入矩陣，其中每一行是一個實(shí)體的嵌入向量。
• 關(guān)系嵌入：對于每個關(guān)系，RESCAL學(xué)習(xí)一個矩陣。
• 重構(gòu)：通過實(shí)體嵌入和關(guān)系矩陣，我們可以重構(gòu)原始張量：。

擴(kuò)展：DistMult 、ComplEx

• 神經(jīng)網(wǎng)絡(luò)模型

這些方法應(yīng)用多層非線性特征來計(jì)算實(shí)體和關(guān)系之間的交互作用，從而生成表達(dá)性特征嵌入。

TKG嵌入方法

根據(jù)要預(yù)測的時間戳，我們可以將這些方法分為兩個背景：外推和插值

外推

外推模型側(cè)重于預(yù)測未來時間戳t（t > tT）的新事實(shí)。他們通常通過將TKG視為事件序列來開發(fā)時間依賴的評分函數(shù)。

插值

目的是通過推斷歷史時間戳t（t0 <t<tT）中缺失的事實(shí)來補(bǔ)全TKG。這些工作通常為每個時間戳計(jì)算一個隱藏的表示，并擴(kuò)展靜態(tài)分?jǐn)?shù)函數(shù)以利用時間信息。

具有語義屬性的KG嵌入

在時間知識圖嵌入中，關(guān)系及其涉及實(shí)體之間的語義屬性仍未被探索。

方法

?基于關(guān)系約束的評分函數(shù)

?根據(jù)張量分解和超平面投影來設(shè)計(jì)評分函數(shù)。

張量分解是一種廣泛存在的變換函數(shù)，它可以通過將一個張量分解為分量秩1張量的和來計(jì)算一個元組的分?jǐn)?shù)。?

我們應(yīng)用張量分解函數(shù)來模擬元組（r、t、s）和（r、t、o）的相互作用，并計(jì)算關(guān)系約束的值。

張量分解容易過擬合，所以引入正則化矩陣在對應(yīng)的關(guān)系約束的元素。?

超平面投影：?

?

?文章來源地址http://www.zghlxwxcb.cn/news/detail-667861.html

到了這里，關(guān)于利用語義屬性來進(jìn)行時序知識圖譜的補(bǔ)全的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！