結(jié)合平移關(guān)系嵌入和CNN的知識(shí)圖譜補(bǔ)全

陳新元，謝晟祎，陳慶強(qiáng)，劉 羽

(1. 閩江學(xué)院 計(jì)算機(jī)與控制工程學(xué)院，福建 福州 350100；2. 福州墨爾本理工職業(yè)學(xué)院 信息工程系，福建 福州 350100；3. 福建農(nóng)業(yè)職業(yè)技術(shù)學(xué)院 實(shí)驗(yàn)實(shí)訓(xùn)中心，福建 福州 350300；4. 福建工程學(xué)院 信息科學(xué)與工程學(xué)院，福建 福州 350100；5. 福州墨爾本理工職業(yè)學(xué)院 現(xiàn)代教育技術(shù)中心，福建 福州 350100)

0 引言

知識(shí)庫(kù)(KB)[1]是有效事實(shí)三元組的集合，三元組由頭實(shí)體、關(guān)系和尾實(shí)體組成，表示為(h，r，t)，h和t分別對(duì)應(yīng)頭、尾實(shí)體，r表示頭、尾實(shí)體之間的關(guān)系。知識(shí)庫(kù)廣泛應(yīng)用于語(yǔ)義搜索引擎[2]、問(wèn)題解答技術(shù)[3-4]、專家系統(tǒng)和社交網(wǎng)絡(luò)分析等領(lǐng)域[5]。然而，現(xiàn)有知識(shí)庫(kù)存在大量缺失事實(shí)，即三元組不完整，缺少實(shí)體或關(guān)系[6]。

知識(shí)圖譜補(bǔ)全[7]旨在解決上述問(wèn)題，通過(guò)提取局部模式[8]或語(yǔ)義特征，用已知信息生成新的有效事實(shí)，經(jīng)典模型如TransE[9]和ConvE[10]。實(shí)體之間的關(guān)系依照關(guān)系基數(shù)，可以分為一對(duì)一(1-to-1)、多對(duì)一(M-to-1)、一對(duì)多(1-to-M)和多對(duì)多(M-to-M)四種關(guān)系類別，簡(jiǎn)單方法在1-to-1關(guān)系上往往就可獲得較好的建模結(jié)果，例如基于層次結(jié)構(gòu)的概念樹(shù)和詞嵌入空間中矢量表示思想而設(shè)計(jì)的TransE模型；而對(duì)M-to-1，1-to-M和M-to-M等復(fù)雜關(guān)系，目前尚無(wú)統(tǒng)一的建模標(biāo)準(zhǔn)。

近期許多嵌入模型的研究通過(guò)貝葉斯擴(kuò)展或張量/矩陣分解等方法[11]增強(qiáng)算法框架的表達(dá)能力，然而，表達(dá)能力的提高往往意味著更高的建模復(fù)雜度和計(jì)算開(kāi)銷，并帶來(lái)一些諸如欠擬合(多個(gè)局部最小值)或過(guò)擬合等新問(wèn)題。因此，部分算法，如TransH[12]嘗試在復(fù)雜性、性能和可伸縮性之間取得平衡，并在較大規(guī)模數(shù)據(jù)集上測(cè)試[13]；這類算法常使用不可信度評(píng)分衡量三元組的有效性。

本文提出的ATREC算法借鑒了TransE的向量平移思路，即若三元組(h，r，t)成立，其元素向量化的表示應(yīng)符合： 將關(guān)系r嵌入頭實(shí)體h的結(jié)果接近尾實(shí)體t。為保留關(guān)系特征，在將原始三元組表示為k維矩陣的基礎(chǔ)上，將關(guān)系向量嵌入到頭實(shí)體和尾實(shí)體中，與原始表示拼接，生成6列k維的關(guān)系融合矩陣，使用參數(shù)較少的CNN提取特征并評(píng)分以驗(yàn)證三元組有效性。將該算法在四個(gè)主流基準(zhǔn)數(shù)據(jù)集上進(jìn)行鏈路預(yù)測(cè)和三元組分類測(cè)試，并與其他主流算法進(jìn)行比較。

本文第1節(jié)討論相關(guān)工作，第2節(jié)介紹ATREC算法，第3節(jié)介紹實(shí)驗(yàn)并分析結(jié)果，第4節(jié)總結(jié)并提出未來(lái)的工作方向。

1 相關(guān)工作

基于矩陣嵌入的SE模型[14]使用以關(guān)系矩陣和頭、尾實(shí)體向量點(diǎn)積為參數(shù)的距離函數(shù)判定三元組的合理性，即若三元組成立，則在關(guān)系確定的子空間中，其頭部映射應(yīng)接近尾部向量。然而矩陣投影的計(jì)算成本較高，模型訓(xùn)練中常發(fā)生欠擬合或過(guò)擬合現(xiàn)象。

若確定范數(shù)約束，并舍棄相關(guān)度低的參數(shù)以展開(kāi)歐幾里德距離公式，則神經(jīng)張量模型(NTN)[15-16]可看作是TransE的特例。該模型使用雙線性張量算子，表達(dá)能力強(qiáng)，但參數(shù)更多，復(fù)雜度同樣較高。

TransE將標(biāo)記邊對(duì)應(yīng)的關(guān)系映射到嵌入向量，即若三元組成立，則公式vh+vr≈vt也成立，其中vh,vr,vt是實(shí)體和關(guān)系的嵌入向量。算法使用不相似度量d=||vh+vr-vt||p，計(jì)算取L1或L2范數(shù)時(shí)三元組的能量得分，在此基礎(chǔ)上設(shè)計(jì)基于間隔排序標(biāo)準(zhǔn)(margin-based ranking criterion)的損失函數(shù)，在迭代過(guò)程中不斷更新相關(guān)參數(shù)，優(yōu)化模型性能；三元組的全局特征在向量同一維度的條目中得以保持。該算法結(jié)構(gòu)簡(jiǎn)單，效率較高，但也存在不足，如對(duì)復(fù)雜關(guān)系三元組的學(xué)習(xí)能力有限。

TransD[19]將投影矩陣分解為向量，從而簡(jiǎn)化計(jì)算；TranSparse[20]則使用稀疏矩陣解決頭、尾實(shí)體分布不均衡的問(wèn)題，同時(shí)降低計(jì)算開(kāi)銷；但該類模型尚未形成統(tǒng)一標(biāo)準(zhǔn)。

此外，DistMult[21]和ComplEx[22]使用三重積計(jì)算三元組得分；Nguyen等[23]和Toutanova等[24]引入了近鄰混合/關(guān)系路徑，通過(guò)加權(quán)計(jì)算或矩陣乘法獲取上下文信息，優(yōu)化模型的關(guān)系預(yù)測(cè)性能。也有研究使用了文本信息輔助等方法[25-31]。

近年來(lái)，在自然語(yǔ)言處理(NLP)[32]領(lǐng)域，最初設(shè)計(jì)用于計(jì)算機(jī)視覺(jué)的CNN大放光彩，因其參數(shù)和計(jì)算開(kāi)銷遠(yuǎn)少于全連接神經(jīng)網(wǎng)絡(luò)。ConvE是最早將CNN應(yīng)用于鏈路預(yù)測(cè)的算法，將vh、vr轉(zhuǎn)化并拼接后，作為卷積層輸入；過(guò)濾器提取特征映射張量后，將其向量化并與vt計(jì)算點(diǎn)積，得到三元組得分。ConvE提取局部特征的效率較高，但同一維度上的全局特征可能會(huì)丟失，影響模型補(bǔ)全性能。

ConvKB[33]使用k維嵌入統(tǒng)一表示所有實(shí)體和關(guān)系，即每個(gè)三元組都可以看作是一個(gè)k×3的矩陣；卷積層中尺寸為1×3的過(guò)濾器對(duì)矩陣每一行進(jìn)行遍歷，提取全局關(guān)系，流程類似ConvE。然而，ConvKB仍然將實(shí)體和關(guān)系視為獨(dú)立的元素，忽略其緊密聯(lián)系，三元組完整性可能受損，導(dǎo)致關(guān)系隔離和特征丟失。

2 ATREC算法

知識(shí)圖譜中，三元組(h,r,t)表示包含語(yǔ)義信息的事實(shí)，其中h,t∈E，r∈P,E和P分別指代實(shí)體和關(guān)系的集合。模型設(shè)計(jì)的目的是找到合理的評(píng)分函數(shù)，判定三元組的合理性或不可信度。參考TransE設(shè)計(jì)，本文使用k表示實(shí)體和關(guān)系嵌入的維數(shù)，故原始三元組可以表示為矩陣A=[vh,vr,vt]∈k×3,Ai,:∈1×3表示A的第i行。本文創(chuàng)新點(diǎn)在于將關(guān)系特征集成到頭、尾實(shí)體的向量表示中，從而保證三元組的完整性，稱為關(guān)系融合(relation integration)，如式(1)所示。

其中，v′h是關(guān)系融合后的頭實(shí)體，vh是原始頭實(shí)體的k維向量表示，“·”表示點(diǎn)積運(yùn)算，w1表示通過(guò)前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)獲得的權(quán)重參數(shù)，vr為原始的k維關(guān)系，b1為偏置系數(shù)。尾實(shí)體計(jì)算方法相同。令v′r=v′t-v′h。 設(shè)計(jì)思路是將關(guān)系特征融入頭/尾實(shí)體中，從而使對(duì)應(yīng)不同關(guān)系的同一實(shí)體的不同屬性得到完整表達(dá)，提高對(duì)具有復(fù)雜重?cái)?shù)關(guān)系的三元組的分析能力。

TextCNN[32]使用六元組表示卷積網(wǎng)絡(luò)的輸入語(yǔ)句，參考其思路，本文將矩陣A擴(kuò)展為6列k維矩陣A′，將原始三元組表示和關(guān)系融合后的三元組表示組合作為卷積層輸入，即A′=[vh,vr,vt,v′h,v′r,v′t]∈k×6

過(guò)濾器的尺寸和步長(zhǎng)對(duì)特征提取和計(jì)算開(kāi)銷影響較大，本文使用ω∈1×3提取同一維度嵌入向量的特征，步長(zhǎng)為3，避免抽取無(wú)意義的局部特征，使用多個(gè)卷積核遍歷矩陣A′。 這樣在分別提取原始三元組和關(guān)系融合三元組的局部特征的同時(shí)，盡可能保留三元組同一維度的整體特征和語(yǔ)義相關(guān)性。特征映射vi表示如式(2)所示，g為非線性激活函數(shù)(如ReLU或sigmoid)，b2為偏置系數(shù)。令Ω和τ分別表示ω的卷積核集合和核數(shù)，即τ=|Ω|。 卷積層處理后，特征映射v=[v1,v2,…,vk]的規(guī)?？杀硎緸閗×2(×τ)。

評(píng)分函數(shù)f定義如式(3)所示，“*”表示卷積運(yùn)算。非線性函數(shù)的參數(shù)通過(guò)關(guān)系融合和平移轉(zhuǎn)換得到。流程框架如圖1所示。

具體步驟如算法1所示，時(shí)間復(fù)雜度為O(nek+nrk)，接近TransE，在數(shù)據(jù)量較大時(shí)遠(yuǎn)低于SE的O(nek+2nrk2)。

圖1 ATREC的卷積流程

算法1: ATREC的優(yōu)化過(guò)程Input: KB g, entity set E, relation set P, embedding dimension k, batch size b, regularizer λ, pre-trained embeddings of en-tities and relations by TransE //輸入: 數(shù)據(jù)集和相關(guān)參數(shù)1Initialize variables for each vh,vr,vt //初始化實(shí)體/關(guān)系表示//Using a truncated normal distribution with init_filter_normal=True while using [0.1, 0.1, -0.1] with init_filter_normal = False2For each ω initialize with init_filter_normal //對(duì)應(yīng)所有卷積核3 w←uniform(- 6 k×τ+1, 6 k×τ+1)//初始化權(quán)重4Fori=1, 2, …, n,n denotes the upper limit of epochs//對(duì)應(yīng)每輪訓(xùn)練的操作5 Forj=1, 2, …, gb+1//對(duì)應(yīng)每批(batch)訓(xùn)練的操作6 Batch←Sample(g,b)//從數(shù)據(jù)集中采樣該批的有效三元組7 IBatch=? //設(shè)置對(duì)應(yīng)無(wú)效三元組集合為空 “I” short for invalid8 For each triplet in Batch//對(duì)應(yīng)該批的所有有效三元組9 (h',r,t')←ISample() // 逐一生成無(wú)效樣本10 IBatch←IBatch∪(h',r,t')//將無(wú)效樣本加入該批的無(wú)效三元組集合11 Batch←Batch∪IBatch//合并有效三元組集合和無(wú)效三元組集合12 For each triplet∈Batch//對(duì)應(yīng)該批的所有三元組13 fh,r,t =concatg(vh,vr,vt,v'h,v'r,v't *Ω) ·w2//逐一計(jì)分14 compute l(h,r,t) //取有效/無(wú)效系數(shù)15 LBatch=∑(h,r,t)∈Batchlog (1+exp (l(h,r,t)·f(h,r,t)))+λ2||w||22//計(jì)算梯度16 Update weight vector w and filters Ω w.r.t. LBatch //調(diào)整卷積核和權(quán)重

3 實(shí)驗(yàn)與分析

本文使用4個(gè)基準(zhǔn)數(shù)據(jù)集，F(xiàn)B15k-237、WN18RR、WN11和FB13進(jìn)行鏈路預(yù)測(cè)和三元組驗(yàn)證，將ATREC與其他主流算法比較，其中FB15k-237和WN18RR用于鏈路預(yù)測(cè)，WN11和FB13用于三元組驗(yàn)證。根據(jù)Toutanova等[24]的研究，使用篩除了反向關(guān)系模式的FB15k-237和WN18RR防止算法高分漏洞； WN11和FB13則刪除測(cè)試集中頭、尾實(shí)體曾在訓(xùn)練集中一起出現(xiàn)的三元組。數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

表1 數(shù)據(jù)集統(tǒng)計(jì)信息

3.1 鏈路預(yù)測(cè)

鏈路預(yù)測(cè)是在給定關(guān)系和頭/尾實(shí)體的條件下推測(cè)另一個(gè)實(shí)體，以對(duì)構(gòu)成的三元組評(píng)分。實(shí)驗(yàn)中使用MR(平均排名)、MRR(平均倒數(shù)排名)和Hits@10(排名在前10位的有效實(shí)體的比例)作為評(píng)估指標(biāo)。MR越低越好，MRR和Hits@10的得分越高越好。將驗(yàn)證數(shù)據(jù)集上Hits@10得分最高的模型在測(cè)試集中運(yùn)行以獲取最終得分。

實(shí)驗(yàn)中使用TransE進(jìn)行實(shí)體和關(guān)系的嵌入初始化。最佳性能表現(xiàn)時(shí)，TransE的超參數(shù)初始化設(shè)置如下：k∈[50, 100]，學(xué)習(xí)率∈[1e-4, 5e-4]，L1或L2范數(shù)，margin γ∈[1, 3, 5, 7]。Hits@10得分在FB15k-237上，當(dāng)k=100，學(xué)習(xí)率為5e-4，L1范數(shù)，γ= 1時(shí)得分最高；在WN18RR上，當(dāng)k=50，γ= 5且其他參數(shù)相同時(shí)，得分最高。

CNN學(xué)習(xí)過(guò)程中，學(xué)習(xí)率設(shè)置為∈[1e-5, 1e-4, 5e-4]，批大小(batch size)∈[128, 256]，卷積核數(shù)τ∈[100, 200, 500]，輪數(shù)(epoch)∈[200, 500, 1 000]，λ= 0.001，使用算法1中描述的過(guò)濾器正態(tài)分布，Adam優(yōu)化器，并將ReLU作為非線性激活函數(shù)。在FB15k-237上，當(dāng)k=100， 學(xué)習(xí)率為5e-4，τ= 100，使用[0.1, 0.1, -0.1]的過(guò)濾器分布時(shí)Hits@10分?jǐn)?shù)最高；WN18RR上，當(dāng)k= 50，τ= 500，truncated分布，其他參數(shù)相同時(shí)分?jǐn)?shù)最高，兩個(gè)數(shù)據(jù)集上批大小都為256，輪數(shù)= 200。

實(shí)驗(yàn)結(jié)果如表2所示，F(xiàn)B15k-237上ATREC獲得了最佳的Hits@10結(jié)果，明顯優(yōu)于其他算法，MRR得分也排第二；WN18RR上獲得了最高的Hits@10(略優(yōu)于ConvKB)和MRR得分(和ConvE并列)，MR得分也排名第二，僅次于ConvKB。

表2 FB15k-237 and WN18RR上的鏈路預(yù)測(cè)結(jié)果①②

DistMult和ComplEx所使用的雙線性乘法運(yùn)算擅長(zhǎng)提取實(shí)體相似性特征，在稠密數(shù)據(jù)集WN18RR(每關(guān)系對(duì)應(yīng)實(shí)體對(duì)數(shù)量較大)上表現(xiàn)較好，MRR接近最高分(ConvE)；但在稀疏數(shù)據(jù)集FB15k-237上，則難以提取足夠的信息優(yōu)化實(shí)體表示，MRR和Hits@10都有明顯下滑。

ConvE在兩個(gè)數(shù)據(jù)集的幾乎所有指標(biāo)上都表現(xiàn)出色(除了WN18RR上的MR得分)，說(shuō)明對(duì)實(shí)體/關(guān)系向量的拼接和二維轉(zhuǎn)化有助于CNN提取局部模式和關(guān)系特征。

與雙線性模型相反，TransE模型的向量平移在稀疏數(shù)據(jù)集上能有效捕捉三元組的全局特征；但在稠密數(shù)據(jù)集上，特別在處理復(fù)雜關(guān)系類型時(shí)，M側(cè)的實(shí)體表示會(huì)趨近，甚至相同，在WN18RR上的MRR得分反映出了這一缺陷。

ConvKB結(jié)合了CNN和TransE的平移特性，在兩個(gè)數(shù)據(jù)集上的所有指標(biāo)相比TransE都有提升，在FB15k-237上1項(xiàng)指標(biāo)最優(yōu)，2項(xiàng)指標(biāo)第二；但卻沒(méi)有解決實(shí)體表示趨同的問(wèn)題，因此在WN18RR的MRR指標(biāo)上同樣表現(xiàn)出性能下滑。

在FB15k-237上，ATREC的MR得分略低于ConvE和ConvKB，但相差不大。MRR得分穩(wěn)定，相對(duì)于DistMult和ComplEx優(yōu)勢(shì)明顯，比ConvE和TransE也有一定提高，僅略低于ConvKB，說(shuō)明模型結(jié)構(gòu)保留的平移特性能有效提取全局特征。Hits@10得分上，ATREC得分最高，相比ConvKB提高了約10%，由于ATREC與ConvKB近似，都結(jié)合了CNN框架和平移特性，關(guān)鍵區(qū)別在于是否進(jìn)行關(guān)系集成(即本文核心特色)，因此該結(jié)果說(shuō)明關(guān)系屬性集成提取了更豐富的特征。由于DistMult在MR排名第一，因此未來(lái)的工作方向之一是將其思路集成到ATREC中。

MR得分容易受到單次排序結(jié)果的影響；在WN18RR上，ATREC的MR得分仍然較低，說(shuō)明模型穩(wěn)定性較好。MRR得分與ConvE相同，明顯高于TransE和ConvKB，說(shuō)明集成關(guān)系屬性有助于防止實(shí)體趨同，提升模型在復(fù)雜關(guān)系上的表現(xiàn)。Hits@10上ATREC保持了最高得分，略優(yōu)于ConvKB。

借鑒之前的模型[17,19-20],本文使用TransE生成的向量初始化實(shí)體/關(guān)系表達(dá)；而ConvKB的整體性能較好(除了WN18RR上的MRR得分)，且與ATREC類似，故將TransE和ConvKB用作進(jìn)一步分析的基準(zhǔn)。

為了確認(rèn)ATREC在FB15k-237上的Hits@10得分提升源于更強(qiáng)的復(fù)雜關(guān)系處理能力，計(jì)算FB15k-237上4種關(guān)系類別的預(yù)測(cè)頭/尾實(shí)體的Hits@10得分，如圖2、圖3所示。在1-to-1關(guān)系中，無(wú)論是預(yù)測(cè)頭部還是尾部，TransE、ConvKB和ATREC的性能相仿；預(yù)測(cè)1-to-M類型的頭部和M-to-1類型的尾部，三者表現(xiàn)也接近，因?yàn)樵谏鲜鋈蝿?wù)中，都是單個(gè)或多個(gè)源實(shí)體指向單個(gè)目標(biāo)實(shí)體，后者識(shí)別難度較小。在M-to-1和M-to-M類型的頭部預(yù)測(cè)，以及1-to-M和M-to-M類型的尾部預(yù)測(cè)這4種情況下，ATREC的得分均為最高，尤其在1-to-M類型的尾實(shí)體預(yù)測(cè)上，相比ConvKB得分高出一倍有余，說(shuō)明ATREC的性能提升確實(shí)是因?yàn)樘岣吡藦?fù)雜關(guān)系的處理能力；換言之，關(guān)系集成能更有效地提取M側(cè)的角色特征，具有較好的泛化能力。

圖2 FB15k-237上針對(duì)四種類型關(guān)系的頭實(shí)體預(yù)測(cè)的前10命中率(Hits@10)

圖3 FB15k-237上針對(duì)四種類型關(guān)系的尾實(shí)體預(yù)測(cè)的前10命中率(Hits@10)

在WN18RR基礎(chǔ)上，將所有11種關(guān)系按其百分比升序排列(次縱軸+折線圖)，比較3種模型的Hits@10和MRR得分(仍為柱狀圖)，如圖4、圖5所示。TransE和ConvKB在其中3種復(fù)雜關(guān)系has_part (1-to-M)、member_meronym (1-to-M)和hypernym (M-to-1)上性能明顯下滑，說(shuō)明該類關(guān)系是平移模型的短板(這3種關(guān)系占整體比例較高，導(dǎo)致了TransE和ConvKB的MRR總得分下降)；ATREC則保持相對(duì)穩(wěn)定。這一現(xiàn)象與3種模型在FB15k-237上預(yù)測(cè)M-to-1類型的頭實(shí)體和1-to-M類型的尾實(shí)體的表現(xiàn)相符，再次驗(yàn)證了ATREC的模型優(yōu)勢(shì)。在similar_to、verb_group、also_see和derivationally_related_form這四種M-to-M關(guān)系上，由于存在大量對(duì)稱模式的三元組(學(xué)習(xí)難度較低)，3種模型的表現(xiàn)都較好。

3.2 三元組分類

三元組驗(yàn)證引入閾值θ，將特定三元組得分與之相比以判定三元組是否有效。根據(jù)Socher等[16]，θ通過(guò)提高驗(yàn)證數(shù)據(jù)集上的平均分類精度得出。實(shí)驗(yàn)中嵌入初始化仍由TransE生成，無(wú)效三元組的生成方法也相同。

從相關(guān)研究中引用部分性能較好的模型結(jié)果進(jìn)行比較；本文也自行實(shí)現(xiàn)并測(cè)試了TransE、ConvE和DistMult模型。對(duì)于TranSparse模型，“S”和“US”分別表示結(jié)構(gòu)化和非結(jié)構(gòu)化模式。TransE取得最優(yōu)性能時(shí)的超參數(shù)設(shè)置如下： WN11上學(xué)習(xí)率為0.001，L1范數(shù)，γ= 7，k=50；FB13上學(xué)習(xí)率相同，L2范數(shù)，γ= 1，k=100。ConvE的embedding dropout取0.2，feature map dropout 取0.2，projection layer dropout 取0.4，k=200，批大小取128，學(xué)習(xí)率取0.001，label smoothing 取0.1。DistMult，維數(shù)k=100，輪數(shù)取200，學(xué)習(xí)率取0.001，L2范數(shù)，正則化系數(shù)0.0001。ATREC在WN11上當(dāng)初始學(xué)習(xí)率為5e-4，k=50，卷積核數(shù)τ= 200，truncated分布時(shí)性能最優(yōu)；在FB13上，k調(diào)整為100，學(xué)習(xí)率等其他參數(shù)不變。

分類準(zhǔn)確率結(jié)果如表3所示，平均得分ConvKB最優(yōu)，ATREC略低，與TransD持平，相較許多經(jīng)典算法(NTN、ConvE和TransE等)具備一定優(yōu)勢(shì)。

表3 分類準(zhǔn)確率

NTN模型在稀疏數(shù)據(jù)集上容易過(guò)擬合，因此WN11上得分較低。ConvE在兩個(gè)數(shù)據(jù)集上的表現(xiàn)都一般，說(shuō)明單純加強(qiáng)局部模式的識(shí)別存在一定局限性。DistMult在稠密數(shù)據(jù)集FB13上取得最高得分，在稀疏數(shù)據(jù)集WN11上則性能明顯下降，與之前實(shí)驗(yàn)結(jié)果一致。平移模型TransE及其變種在該任務(wù)上表現(xiàn)普遍較好。ATREC在FB13上相比TransE和ConvKB都有提升，再次證明了使用關(guān)系集成而非雙線性乘法運(yùn)算處理復(fù)雜關(guān)系的可行性；但在WN11上，ATREC得分與TransE持平，低于ConvKB，原因可能為： 盡管同時(shí)考慮復(fù)雜關(guān)系和平移特性有其優(yōu)勢(shì)，但也增加了特征提取的不確定性。針對(duì)該假設(shè)的改進(jìn)仍在計(jì)劃中。

由于NTN、ConvE和DistMult模型總體表現(xiàn)一般；TransD、TranSparse-S和TranSparse-US都利用TransE生成嵌入表示，可看作是TransE的擴(kuò)展，性能也近似；ConvKB在該任務(wù)上表現(xiàn)最優(yōu)；因此只使用TransE和ConvKB作為基準(zhǔn)模型來(lái)進(jìn)一步生成FB13上各種關(guān)系分類準(zhǔn)確率的比較，結(jié)果如圖6所示。除institution和profession屬于M-to-M類型之外，其他關(guān)系都屬于M-to-1類型?？梢钥闯?，ATREC在M-to-M關(guān)系上的優(yōu)勢(shì)明顯，在M-to-1關(guān)系上性能也較穩(wěn)定，且在所有7個(gè)關(guān)系上性能表現(xiàn)都優(yōu)于TransE。

4 總結(jié)

在保留三元組完整性和處理復(fù)雜關(guān)系的問(wèn)題上，現(xiàn)有基于嵌入表示的知識(shí)庫(kù)補(bǔ)全模型仍有瑕疵，如特征丟失、參數(shù)規(guī)模龐大等。因此本文提出ATREC，旨在將平移變換后的全局和局部特征在統(tǒng)一框架中表示并提取，同時(shí)使用CNN降低參數(shù)規(guī)模，減少計(jì)算開(kāi)銷；主要?jiǎng)?chuàng)新點(diǎn)在于將關(guān)系特征融合到頭/尾實(shí)體中以應(yīng)對(duì)復(fù)雜關(guān)系。鏈路預(yù)測(cè)和三元組分類驗(yàn)證的實(shí)驗(yàn)結(jié)果證明，ATREC算法的穩(wěn)定性較好，相較主流模型有一定提高，特別是在處理FB15k-237和FB13數(shù)據(jù)集上復(fù)雜關(guān)系時(shí)優(yōu)勢(shì)較明顯。我們未來(lái)的工作方向包括： 嘗試從基于邏輯規(guī)則的關(guān)系推理中獲得支持；通過(guò)集成關(guān)系路徑信息改善模型性能；將ATREC應(yīng)用于行業(yè)數(shù)據(jù)處理和更大規(guī)模數(shù)據(jù)集分析等等。