基于三維空間旋轉平移的自適應知識表示方法

李子茂 湯先毅 尹帆 王燦 姜海

摘 要：現(xiàn)有知識圖譜表示學習研究中普遍存在忽視特定關系的語義空間、難以建模非單射復雜關系或多種關系模式等問題，尤其是在不可交換的組合以及子關系兩種關系模式上表現(xiàn)不佳。針對該問題，在對實體自適應投影的基礎上，利用羅德里格斯旋轉公式將旋轉操作從二維空間拓展到三維空間并進行平移優(yōu)化，提出一種新的具有強表征能力的模型ATR3DKRL。通過理論推導可以證明該模型能夠建模非單射復雜關系以及多種關系模式。在多個通用數(shù)據(jù)集上的實驗結果表明，該模型可以有效提高鏈接預測精度，在數(shù)據(jù)集DB100K與FB15K-237中四個指標上領先現(xiàn)有基線模型，其中在DB100K上評價指標MRR和H@1相較于基線模型RotatE分別大幅提高了3.3%以及6.5%。

關鍵詞：知識圖譜； 表示學習； 自適應投影； 旋轉平移

中圖分類號：TP391.1?? 文獻標志碼：A?? 文章編號：1001-3695（2024）01-009-0059-06

doi：10.19734/j.issn.1001-3695.2023.05.0282

Adaptive knowledge representation method based on rotation and translation in 3D space

Abstract：The existing knowledge graph representation learning studies generally suffer from the problems of neglecting the semantic space of specific relations， or difficulty in modeling non-injective complex relations， or difficulty in modeling multiple relation patterns， especially poor performance on two relation patterns of non-commutative combinations as well as sub-relations. To address this problem， based on the adaptive projection of entities， this paper proposed a new model with strong representation ability， called ATR3DKRL. By extending the rotation operation from 2D to 3D using the Rodrigues rotation formula with translation optimization， it could be demonstrated through theoretical derivation that the model could model non-injective complex relationships and multiple relation patterns. The experimental results on several generic datasets show that the model can effectively improve link prediction accuracy， leading existing baseline models in four metrics in dataset DB100K and FB15K-237. Comparing to the baseline model RotatE on the evaluation indicators MRR and H@1 in DB100K， it can significantly increase by 3.3% and 6.5%.

Key words：knowledge graph; representation learning; adaptive projection; rotation and translation

0 引言

知識圖譜常用三元組（h，r，t）表示，h、r、t分別代表頭實體、關系和尾實體，其中存在大量缺失的信息，而知識表示學習，也稱知識圖譜嵌入，通過將實體和關系嵌入到低維向量空間，進而預測知識圖譜缺失的事實三元組，達到知識圖譜補全的目的?，F(xiàn)有成功構建的大型知識圖譜，如Freebase［1］、DBpedia［2］、YAGO［3］等已被廣泛應用于推薦系統(tǒng)［4］、智能搜索［5］、知識庫問答［6］以及自然語言處理［7］等下游任務領域。現(xiàn)有知識表示學習主要存在以下難點：難以自適應地有效建模一對多、多對一、多對多的非單射復雜關系［8］；難以有效建模不可交換組合［9］以及子關系［10］兩種關系模式，進而同時滿足對稱、反對稱、自反、可交換組合、不可交換組合以及子關系六種關系模式［9～11］。假設存在人物關系知識圖譜如圖1所示，在預測張壹男母親是誰時，僅與圖中右側描述的親屬關系有聯(lián)系，與圖中左側描述的職業(yè)關系無關；在導演關系中，張藝謀與電影《十面埋伏》以及《英雄》就是非單射復雜關系中一對多的情況；張藝謀父親的妻子與妻子的父親分別指代張孝友與陳繼宗，因此“父親”與“妻子”屬于不可交換的組合關系；張藝謀既是張壹男的父親也是張壹男的長輩，長輩關系稱為父親關系的子關系。

在知識表示學習中，研究者們主要考慮對復雜關系的建模，現(xiàn)有研究如RotatE［11］，在對稱、反對稱、自反以及可交換組合關系中取得良好成效，但受限于向量Hadamard乘積的特性，在關系模式中很難區(qū)分不可交換組合關系以及子關系，同時忽略了對非單射復雜關系的建模。部份考慮到非單射復雜關系的模型，如TransH［12］，卻又只能建模對稱和反對稱兩種關系模式。

本文考慮到實體在不同關系下的語義，以及對非單射復雜關系和六種關系模式的建模，將實體進行自適應投影，并把RotatE模型中的二維旋轉通過羅德里格斯旋轉公式［13］拓展到三維，結合平移思想提出了一種新的模型ATR3DKRL。在FB15K［8］、FB15K-237［14］以及DB100K［15］三個數(shù)據(jù)集中進行實驗，并驗證了本文模型尤其是在組合關系以及子關系的有效性。

1 相關工作

目前，知識表示學習的方法主要分為基于語義匹配的模型和基于翻譯的模型兩類。

1.1 語義匹配模型

RESCAL模型［16］用向量表示實體，用矩陣表示關系，以此模擬各個要素之間成對的相互影響，但是產生了大量的參數(shù)導致模型難以訓練。DistMult模型［17］通過限制關系矩陣為對角矩陣，極大地減少了RESCAL模型中的參數(shù)，但是過于簡化了關系矩陣，導致僅適用于模擬對稱關系問題，大多情況下表示能力反而不如RESCAL模型。ComplEx［18］首次引入復數(shù)向量空間，通過將關系和實體嵌入到復數(shù)向量空間來改進DistMult，滿足對稱、反對稱以及自反三種關系模式。HolE模型［19］對頭尾實體的維度循環(huán)操作，再聯(lián)合關系進行語義匹配計算得分，兼具了RESCAL模型和DistMult模型兩者的優(yōu)勢。Anology模型［20］則將關系矩陣解釋為實體的線性變換，利用矩陣的交換性約束建模類似平行四邊形的類比推理屬性。上述語義匹配模型均難以建模非單射復雜關系，以及子關系、可交換組合與不可交換組合關系兩種關系模式。ComplEx-NNE+AER［15］則在ComplEx的基礎上添加了子關系約束，僅能夠使其額外建模出子關系。CrossE［21］通過交互矩陣讓實體能夠根據(jù)特定關系自適應表示，但是難以建模非單射復雜關系以及對稱、子關系兩種關系模式。SEEK［22］綜合考慮了模型的復雜性以及表達性，使用分段的方式提出了一種輕量化模型，增強了對稱與反對稱關系模式的建模，并且統(tǒng)一了DistMult與ComplEx作為該模型的特殊情況，但忽視了非單射復雜關系以及不可交換的組合關系。

1.2 基于翻譯的模型

基于翻譯的模型具有更強的可解釋性，更適合建模復雜的關系，是當前研究的熱點。TransE模型［8］受到word2vec［23］的啟發(fā)，將關系看作頭實體與尾實體之間的距離，模型效果雖然不錯，但是過于簡單，且無法建模非單射的復雜關系。TransH模型和TransR模型［24］為了能夠建模非單射的復雜關系，分別將實體映射到關系的超平面中以及通過矩陣變換將實體嵌入到關系的特定向量空間中去，但是TransH與TransR只能夠滿足對稱與反對稱兩種關系模式。TransD模型［25］優(yōu)化了TransR，將映射矩陣拆分為頭尾兩個部分，且將映射矩陣簡化為向量，減少了計算量，但是實體和關系都需要兩個向量來表示，相較于TransH增大了參數(shù)量。TransA模型［26］增加了一個非負的權重矩陣為每一維學習不同的權重，從而達到實體自適應的目的，但是無法建模非單射復雜關系以及多種關系模式。TransAD模型［27］則結合了TransD與TransA的優(yōu)勢，卻同樣無法建模多種關系模式。

RotatE模型［11］與Trans系列的平移思想不同，受到歐拉公式的啟發(fā)將實體與關系嵌入到復數(shù)空間，把關系解釋為頭實體與尾實體之間的旋轉操作，滿足了對稱、反對稱、自反、可交換組合四種關系模式，但是二維空間的旋轉缺乏對不可交換組合、子關系以及非單射復雜關系的建模能力。Rotate3D［9］將二維空間拓展到三維空間，利用四元數(shù)將關系解釋為三維空間中頭實體與尾實體之間的旋轉操作，增加了對不可交換組合的關系模式的建模能力，但缺乏對非單射復雜關系的建模能力。RotatCT［28］同樣對RotatE進行了改進，將旋轉操作拓展為旋轉與平移，增強了模型對不可交換組合的關系模式的建模能力，但也存在與Rotate3D同樣的問題。RotatH［29］引入超平面，將RotatE與TransH結合，解決了非單射復雜關系的建模問題，但依然缺乏對不可交換組合以及子關系兩種關系模式的建模能力。HRotat［30］使用逆反嵌入的方式結合了RotatE以及SimplE［31］，提升了RotatE模型對自反關系的建模能力，但并沒有帶來其他提升。

當前主流模型的建模能力如表1所示，無論是語義匹配模型還是翻譯模型，均不能很好地同時建模出非單射復雜關系以及六種關系模式。

2 關系模式定義

本文使用E表示實體的集合，R表示關系的集合，令S表示所有真實三元組的集合，S-表示所有負樣本三元組的集合。知識圖譜中主要存在對稱、反對稱、自反、可交換的組合關系、不可交換的組合關系以及子關系六種關系模式，定義如下：

定義1 關系r是對稱關系，如果：

x，y∈E，（x，r，y）∈S（y，r，x）∈S

定義2 關系r是反對稱關系，如果：

x，y∈E，（x，r，y）∈S（y，r，x）∈S-

定義3 關系r1和r2是自反關系，如果：

x，y∈E，（x，r1，y）∈S（y，r2，x）∈S

定義4 關系r3是由r1和r2構成的組合關系，則如果：

x，y，z∈E，（x，r1，y）∈S∧（y，r2，z）∈S（x，r3，z）∈S

定義4.1 當r1和r2是可交換的，如果：

x，y∈E，（x，r1r2，y）∈S（x，r2r1，y）∈S

定義4.2 當r1和r2是不可交換的，如果：

x，y∈E，（x，r1r2，y）∈S（x，r2r1，y）∈S-

定義5 關系r2為r1的子關系，如果：

x，y∈E，（x，r1，y）∈S（x，r2，y）∈S

3 ATR3DKRL模型設計

本文ATR3DKRL模型通過實體的自適應投影與實體的三維空間旋轉平移兩個步驟解決上述難點。

3.1 實體的自適應投影

本文采用圖2所示的方式進行實體向量的投影，由于實體通過由關系決定的超平面進行投影，使得實體擁有根據(jù)不同關系下的語義空間進行自適應表示的能力；同時不同實體也能夠投影成相同的向量，解決了非單射復雜關系的建模問題。

投影后的頭尾實體可表示為

hA=h－nTrhn（1）

tA=t－nTrtn（2）

其中：nr，hA，tA∈RAp3d。nr由關系決定，是關系的超平面法向量;hA和tA則分別代表投影后的頭尾實體;超平面法向量nr的模長對實體投影沒有影響，所以限制‖nr‖=1，使其成為該方向上的單位向量。

3.2 實體的三維空間旋轉平移

二維空間的旋轉模型RotatE僅考慮了四種關系模式就已經(jīng)取得不錯的成績，說明了在翻譯模型中旋轉的有效性。但是二維空間的旋轉無法區(qū)分旋轉的先后順序，所以不能建模出不可交換的組合關系，同時在頭尾實體固定的情況下，旋轉角度也被固定，所以也無法建模子關系。為了額外建模出不可交換組合以及子關系兩種關系模式，本文借助羅德里格斯旋轉公式［12］將旋轉拓展到三維空間，提出了三維空間中的旋轉平移模型，將每個關系定義為從頭部實體h到尾部實體t的旋轉與平移。對于每一個關系r都有一個旋轉軸wr，一個旋轉角度θ以及一個平移向量dr。由于并不關心旋轉軸wr的模長，所以為了使關系r與頭尾實體維度保持一致，將wr的模長定義為θ。旋轉和平移的過程如圖3所示。

根據(jù)羅德里格斯旋轉公式，假設wr=（wrx，wry，wrz）T，其中wrx、wry、wrz分別表示在三維空間中的三個分量，則旋轉后的頭向量hR定義為

hR=RhA（3）

其中：R∈SO（3），代表旋轉矩陣，屬于特殊正交群，可表示為

式（3）表明旋轉操作可以看作投影后的頭實體hA經(jīng)過由關系r所決定的旋轉矩陣R作空間變換，可以得到旋轉后的頭實體hR，而旋轉矩陣R由旋轉軸wr以及旋轉角度θ所決定。一次三維空間的旋轉操作可以解釋為頭實體hA繞旋轉軸wr旋轉θ度得到旋轉后的頭實體hR。

單一的旋轉操作不會影響實體的模長，表征空間限制在球面上，適當增加平移操作能夠起到縮放模長的效果，使得表征空間拓展成實心球體。旋轉以及平移得到的頭實體hT定義為

hT=hR+λdr=RhA+λdr（6）

其中：λ為超參數(shù)表示平移的影響因子;dr∈RAp3d表示平移向量。將式（6）進一步化簡，引入齊次坐標變換，得到：

其中：T∈SE（3），屬于特殊歐氏群，表示變換矩陣，即旋轉平移矩陣。對于一個三元組（h，r，t），可以定義一個基于距離的得分函數(shù)，如式（8）所示。

3.3 關系模式證明

本文ATR3DKRL模型能夠建模出對稱、反對稱、自反、可交換組合、不可交換組合、子關系六種關系模式。圖4～8中的頭尾實體用紅色表示，旋轉軸用紫色表示，平移向量用藍色表示，旋轉后的向量用綠色表示（見電子版）。

定理1 ATR3DKRL模型能夠建模對稱、反對稱、自反、可交換組合關系、不可交換組合關系以及子關系六種關系模式。

證明如下：

1）r為對稱關系時

如果（e1，r，e2）∈S，并且（e2，r，e1）∈S，則

T［eT11］T=［eT21］T∧T［eT21］T=［eT11］T

TT［eT11］T=［eT11］TTT=E

如圖4所示，頭實體e1與尾實體e2均能繞旋轉軸旋轉180°以后加上相同的平移分量得到對方。因此，當旋轉角度滿足θ=π，平移向量dr在由旋轉軸wr為法向量的平面上時，變換矩陣T滿足TT=E。

2）r為反對稱關系時

如果（e1，r，e2）∈S，并且 （e2，r，e1）∈S－，則

T［eT11］T=［eT21］T∧T［eT21］T≠［eT11］T

TT［eT11］T≠［eT11］TTT≠E

從圖4可以看出，只要旋轉角度θ≠π或者平移向量dr不在由旋轉軸wr為法向量的平面上時，變換矩陣T滿足TT≠E。

3）r1與r2為自反關系時

如果（e1，r1，e2）∈S，并且（e2，r1，e1）∈S，則

T1［eT11］T=［eT21］T∧T2［eT21］T=［eT11］T

T1T2［eT21］T=［eT21］TT1T2=E

如圖5所示，關系r1確定旋轉軸wr1、旋轉角度θ1與平移向量dr1；關系r2確定旋轉軸wr2、旋轉角度θ2與平移向量dr2。頭實體e1先繞旋轉軸wr1旋轉θ1度，然后加上平移向量dr1到達尾實體e2，尾實體e2則可以繞旋轉軸wr2旋轉θ2度，然后加上平移向量dr2回到頭實體e1。這樣的兩組由關系r1和r2決定的旋轉軸，旋轉角以及平移向量使得等式T1T2=E成立，從而使得r1與r2滿足自反關系。

4）r3為r1與r2的組合關系時

如果（e1，r1，e2）∈S，（e2，r2，e3）∈S，并且（e1，r3，e3）∈S，則

T1［eT11］T=［eT21］T

T2［eT21］T=［eT31］T∧T3［eT11］T=［eT31］TT1T2［eT11］T=［eT31］T∧T3［eT11］T=［eT31］TT1T2=T3

a）當r3為r1與r2的可交換組合關系時：

T1T2=T2T1

b）當r3為r1與r2的不可交換組合關系時：

T1T2≠T2T1

由于變化過程被分解為旋轉與平移兩個部分，而平移部份的平移向量在計算過程中做加法運算，加法運算滿足交換律，因此平移部份的先后順序在任何情況下都是可交換的，可以得出結論只有旋轉部份影響組合關系是否可交換。

如圖6所示，實體e1先繞旋轉軸wr旋轉θ1度得到實體e2，再繞同一個旋轉軸wr旋轉θ2度得到實體e3，等價于實體e1繞旋轉軸wr旋轉θ1+θ2度得到實體e3，由于兩次旋轉的旋轉軸wr相同，兩次旋轉均在同一個平面上，此時三維空間的旋轉退化為二維空間的旋轉，所以旋轉的先后順序無關，最終均等于θ1+θ2度，滿足可交換組合關系，而兩次旋轉操作的旋轉軸不同時，則無法保證組合的可交換性。故而得出結論，當關系r1與r2的旋轉軸wr相同時，變換矩陣滿足T1T2=T2T1，此時為可交換組合關系；當關系r1與r2的旋轉軸wr不同時，變換矩陣滿足T1T2≠T2T1，此時為不可交換組合關系。

5）r2為r1的子關系

如果（e1，r1，e2）∈S，能得到（e1，r2，e2）∈S，則

T1［eT11］T=［eT21］TT2［eT11］T=［eT21］T

T1［eT11］T=T2［eT11］T

當把變換操作看作旋轉和平移兩個單獨操作時，假設不同關系中的平移向量dr相同，如圖7所示，存在一個過原點的平面均等分割頭尾實體，在此平面中從原點出發(fā)的任意向量均可作為旋轉軸wr，因此存在多組不同的旋轉軸wr與旋轉角θ使得變換矩陣T滿足條件。

當把變換操作看作整體時，則如圖8所示，頭實體e1繞旋轉軸wr1旋轉θ1度再加上平移向量dr1得到尾實體e2。同時也存在無數(shù)個由不相同的關系ri所決定的旋轉軸、旋轉角度以及平移向量，使得頭實體e1仍然能夠變換到尾實體e2，其中平移向量dr起到調節(jié)旋轉操作的作用。因此這類情況下也存在多組不同的旋轉軸wr、旋轉角θ以及平移向量dr使得變換矩陣T滿足條件。

3.4 損失函數(shù)

在知識圖譜的數(shù)據(jù)及樣本中，往往只有正例樣本，在構建負樣本時，本文按照RotatE提出的自對抗采樣方式，對生成的負樣本附加一個權重，模型的損失函數(shù)為

其中：γ是一個超參數(shù)表示固定的間隔;σ表示sigmoid函數(shù)；（h′i，r，t′i）是第i個負樣本；m是負樣本的數(shù)目；μ是正則化系數(shù)；Reg表示正則化項，表示為

其中：α≥0為采樣的溫度。當α=0時就是均勻采樣；當α>0時，越具有訓練價值的負樣本生成的概率越高。

3.5 模型算法設計

ATR3DKRL的訓練算法見算法1。

算法1 ATR3DKRL的訓練算法

輸入：訓練集S={（h，r，t）};知識圖譜實體集E和關系集R;嵌入維度d;學習率η;平移系數(shù)λ;固定間隔γ;自對抗采樣溫度α;批次大小b;負樣本的數(shù)目m;模型訓練的輪數(shù)max_step;正則化系數(shù)μ。

輸出：實體集E與關系集R的向量表示。

初始化實體集E和關系集R。

for step≤max_step：

采樣大小為b的一批正樣本Sbatch

for （h，r，t）∈Sbatch do

隨機替換頭實體或尾實體，構造m個負樣本

end

根據(jù)式（8）計算正樣本和負樣本的得分

根據(jù)式（9）計算損失函數(shù)的值

通過Adam優(yōu)化器更新實體集E和關系集R

end

輸入為實體集合E、關系集合R、訓練樣本S={（h，r，t）}以及訓練時的超參數(shù)。其中實體集合E表示實體向量的集合，由頭實體h和尾實體t構成，進行隨機初始化，關系集合R中每個關系由超平面法向量nr、旋轉軸wr、旋轉角度θ以及平移向量dr構成，初始值分別進行隨機初始化。在每一輪的訓練中，模型按照上述損失函數(shù)公式計算出結果，然后采用Adam優(yōu)化器梯度下降反向傳播更新實體集合E與關系集合R。

4 實驗與分析

4.1 實驗數(shù)據(jù)集

本文使用數(shù)據(jù)集的統(tǒng)計結果見表2所示。數(shù)據(jù)集主要有FB15K［8］、FB15K-237［14］和DB100K［15］三個。FB15K是知識圖譜Freebase的子集，數(shù)據(jù)集中的關系模式主要是對稱、反對稱以及自反。FB15K-237是FB15K的子集，刪除了其中的自反關系，只保留了237種關系，數(shù)據(jù)集中關系模式多為對稱、反對稱以及組合。DB100K是從DBpedia中構建的，主要關系模式為組合、自反以及子關系。本實驗通過數(shù)據(jù)集FB15K來驗證模型建模非單射復雜關系的有效性；通過數(shù)據(jù)集FB15K-237來驗證在不可交換的組合關系下模型具有良好的效果；通過數(shù)據(jù)集DB100K來驗證模型能夠有效建模子關系。

4.2 實驗結果分析

實驗代碼在RotatE提供的框架基礎上進行，因此在數(shù)據(jù)集FB15K和FB15K-237上所選參數(shù)為RotatE文獻中所提供的最佳參數(shù)，與基線模型保持一致，而在數(shù)據(jù)集DB100K上由于RotatE沒有進行實驗，所以所選參數(shù)參考了前兩個數(shù)據(jù)集的最佳參數(shù)，并通過實驗確定最終參數(shù)選擇，且復現(xiàn)的RotatE結果選取同樣的參數(shù)。

本文在DB100K數(shù)據(jù)集上將嵌入維度設置為d=1 000，邊距γ=14.0，批次大小b=512，負樣本批次大小m=256，采樣溫度α=0.5，平移系數(shù)λ=0.1，最大訓練次數(shù)max_step=150 000，學習率η=0.000 05。實驗結果如表3所示，RotatE結果為本文復現(xiàn)結果，其余對比模型結果取自SEEK［23］。

由于數(shù)據(jù)集DB100K數(shù)據(jù)量龐大，且有大量的子關系存在，更加適合復雜模型的訓練，所以本文模型ATR3DKRL在MRR、H@1、H@3、H@10四個指標中表現(xiàn)最佳，且具有明顯優(yōu)勢。表中RotatE的結果為本文復現(xiàn)的結果。相較RotatE，本文模型的優(yōu)勢在于能夠對子關系進行有效建模，因此在MRR、H@1、H@3、H@10中分別提升3.3%、6.5%、0.7%以及0.6%。而同樣能建模子關系的SEEK由于不能對不可交換的組合關系建模，導致在各項指標中也遠遠落后本文模型。

本文在FB15k-237數(shù)據(jù)集上將嵌入維度設置為d=1 000，邊距γ=12.0，批次大小b=512，負樣本批次大小m=256，采樣溫度α=1.0，平移系數(shù)λ=0.1，最大訓練次數(shù)max_step=150 000，學習率η=0.000 05。實驗結果如表4所示，其余對比實驗結果均取自對應文獻。

在消除了自反關系以后的子集FB15K-237中，包含可交換與不可交換兩類的組合關系占比增大，使得能夠同時建模出這兩種關系模式的模型更具優(yōu)勢。本文模型在四個指標上均取得了最優(yōu)結果，相較于基線模型RotatE，在MR中提升了11名，在MRR、H@1、H@3、H@10中分別提升了1.3%、1.2%、1.4%以及1.6%。反映出RotatE缺乏對不可交換組合關系的建模，同時也驗證了本文模型在此關系模式上建模的有效性。

本文在FB15K數(shù)據(jù)集上將嵌入維度設置為d=1 000，邊距γ=12.0，批次大小b=512，負樣本批次大小m=256，采樣溫度α=0.5，平移系數(shù)λ=0.1，最大訓練次數(shù)max_step=150 000，學習率η=0.00 005。實驗結果如表5所示，其余結果均取自對應文獻。

本文模型在FB15K上表現(xiàn)良好，在H@3以及H@10兩個指標上取得最優(yōu)，相較于基線模型RotatE分別提升了0.4%以及1%，但是在MRR以及H@1上均有降低，尤其是在H@1上，可能是由于FB15K中有大量簡單學習的自反關系，相比于RotatE，本文模型表征能力更強，但不易學習到最優(yōu)的結果，在處理簡單關系時選擇唯一正確結果的能力不如簡單模型。

為了驗證模型對非單射復雜關系的建模能力，本文在FB15K數(shù)據(jù)集中對復雜關系分別進行實驗，以H@10作為評價指標，結果如表6所示，其余結果取自RotatE。

在處理復雜非單射復雜關系中，本文模型在處理N-1以及N-N關系時表現(xiàn)最佳，同時也在所有非單射復雜關系中領先基線模型RotatE，在一對一、一對多、多對一、多對多四個方面分別提升了9.4%、0.6%、5.2%、0.4%，驗證了本文模型處理非單射復雜關系的能力。

5 結束語

本文提出了ATR3DKRL模型，利用關系超平面進行投影，并借助羅德里格斯旋轉公式將旋轉操作由二維空間引拓展到三維空間，同時引入平移操作，使模型擁有對非單射復雜關系以及六種關系模式的建模能力。本文從理論以及實驗中相互印證了模型的有效性，尤其是在不可交換組合以及子關系居多的數(shù)據(jù)集中表現(xiàn)良好。但是，本文模型同樣存在模型復雜度高的局限性，在關系簡單、數(shù)據(jù)量不充分的數(shù)據(jù)集中難以取得突出的效果，例如在關系簡單的FB15K中僅取得兩個指標的領先，且領先幅度很小，模型訓練時間也較長。未來，可以考慮對模型參數(shù)就行優(yōu)化，也可以進一步把研究拓展到時序知識圖譜中去，同時還可以考慮融合一些輔助信息，如文本描述、圖片、關系路徑、關系類型等。

參考文獻：

[1]Bollacker K. Freebase：a collaboratively created graph database for structuring human knowledge［C］//Proc of ACM SIGMOD International Conference on Management of Data.New York：ACM Press，2008：1247-1250.

［2]Bizer C， Lehmann J， Kobilarov G， et al. DBpedia—a crystallization point for the web of data［J］.Web Semantics Science Services & Agents on the World Wide Web，2009，7（3）：154-165.

［3]Suchanek F M， Kasneci G， Weikum G. YAGO：a core of semantic knowledge［C］//Proc of the 16th International Conference on World Wide Web.New York：ACM Press，2007：697-706.

［4]Ma Weizhi， Zhang Ming， Cao Yue， et al. Jointly learning explainable rules for recommendation with knowledge graph［C］//Proc of the World Wide Web Conference.New York：ACM Press，2019：1210-1221.

［5]Xiong Chenyan， Power R， Callan J. Explicit semantic ranking for academic search via knowledge graph embedding［C］//Proc of the 26th International Conference on World Wide Web.New York：ACM Press，2017：1271-1279.

［6]Hao Yanchao， Zhang Yuanzhe， Kang Liu， et al. An end-to-end model for question answering over knowledge base with cross-attention combining global knowledge［C］//Proc of the 55th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2017：221-231.

［7]Yang Bishan， Mitchell T. Leveraging knowledge bases in LSTMs for improving machine reading［C］//Proc of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA：Association for Computational Linguistics， 2017：1436-1446.

［8]Bordes A， Usunier N， Garcia-Durán A， et al. Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2013：2787-2795.

［9]Gao Chang， Sun Chengjie， Shan Lili， et al. Rotate3D： representing relations as rotations in three-dimensional space for knowledge graph embedding［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management.New York：ACM Press，2020：385-394.

［10]Qu Meng， Tang Jian. Probabilistic logic neural networks for reasoning［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.New York：ACM Press，2019：7712-7722.

［11]Sun Zhiqing， Deng Z H， Nie J Y， et al. Rotate：knowledge graph embedding by relational rotation in complex space［EB/OL］.（2019-02-26）.https：//arxiv.org/abs/1902.10197.

［12]Wang Zhen， Zhang Jianwen， Feng Jianlin， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proc of the 28th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2014，28：1112-1119.

［13]Rodrigues O. Des lois géométriques qui régissent les déplacements dun système solide dans lespace， et de la variation des coordonnées provenant de ses déplacements consideéerés indépendamment des causes qui peuvent les produire［J］.Journal des Mathématiques Pures et Appliquées，1840，5（1）：380-440.

［14]Toutanova K， Chen Danqi. Observed versus latent features for know-ledge base and text inference［C］//Proc of the 3rd Workshop on Continuous Vector Space Models and Their Compositionality.Stroudsburg，PA：Association for Computational Linguistics，2015：57-66.

［15]Ding Boyang， Wang Quan， Wang Bin， et al. Improving knowledge graph embedding using simple constraints［EB/OL］.（2018-05-08）.https：//arxiv.org/abs/1805.02408.

［16]Nickel M， Tresp V， Kriegel H P. A three-way model for collective learning on multi-relational data［C］//Proc of the 28th International Conference on International Conference on Machine Learning.Madison，WI：Omnipress，2011：809-816.

［17]Yang Bishan， Yih W T， He Xiaodong， et al. Embedding entities and relations for learning and inference in knowledge bases［EB/OL］.（2014-12-20）.https：//arxiv.org/abs/1412.6575.

［18]Trouillon T， Welbl J， Riedel S， et al. Complex embeddings for simple link prediction［C］//Proc of the 33rd International Conference on International Conference on Machine Learning.［S.l.］：JMLR.org，2016：2071-2080.

［19]Nickel M， Rosasco L， Poggio T. Holographic embeddings of know-ledge graphs［C］//Proc of AAAI Conference on Artificial Intel-ligence.Palo Alto，CA：AAAI Press，2016：1955-1961.

［20]Liu Hanxiao， Wu Yuexin， Yang Yiming. Analogical inference for multi-relational embeddings［C］//Proc of the 34th International Conference on Machine Learning.［S.l.］：JMLR.org，2017：2168-2178.

［21]Zhang Wen， Paudel B， Zhang Wei， et al. Interaction embeddings for prediction and explanation in knowledge graphs［C］//Proc of the 20th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2019：96-104.

［22]Xu Wentao， Zheng Shun， He Liang， et al. SEEK： segmented embedding of knowledge graphs［EB/OL］.（2020-06-23）.https：//arxiv.org/abs/2005.00856.

［23]Mikolov T， Chen Kai， Corrado G， et al. Efficient estimation of word representations in vector space［EB/OL］.（2013-09-07）.https：//arxiv.org/abs/1301.3781.

［24]Lin Yankai， Liu Zhiyuan， Sun Maosong， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2015：2181-2187.

［25]Ji Guoliang， He Shizhu， Xu Liheng， et al. Knowledge graph embedding via dynamic mapping matrix［C］//Proc of the 53rd Annual Mee-ting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：687-696.

［26]Xiao Han， Huang Minlie， Hao Yu， et al. TransA：an adaptive app-roach for knowledge graph embedding［EB/OL］.（2015-09-28）.https：//arxiv.org/abs/1509.05490.

［27]孟小艷，蔣同海，周喜，等.一種改進的自適應知識圖譜嵌入式表示方法［J］.計算機應用研究，2021，38（1）：39-43.（Meng Xiao-yan， Jiang Tonghai， Zhou Xi， et al. Improved adaptive embedding method for knowledge graph representation［J］.Application Research of Computers，2021，38（1）：39-43.）

［28]Dong Yao， Wang Lei， Xiang Ji， et al. RotateCT： knowledge graph embedding by rotation and coordinate transformation in complex space［C］//Proc of the 29th International Conference on Computational Linguistics.New York：International Committee on Computational Linguistics，2022：4918-4932.

［29]Wei Yuyang， Chen Wei， Li Zhixu， et al. Incremental update of knowledge graph embedding by rotating on hyperplanes［C］//Proc of IEEE International Conference on Web Services.Piscataway，NJ：IEEE Press，2021：516-524.

［30]Shah A， Molokwu B， Kobti Z. Hrotate： hybrid relational rotation embedding for knowledge graph［C］//Proc of International Joint Confe-rence on Neural Networks.Piscataway，NJ：IEEE Press，2021：1-8.

［31]Kazemi S M， Poole D. Simple embedding for link prediction in knowledge graphs［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：4289-4300.