基于帶注意力機制CNN的聯(lián)合知識表示模型

彭 敏，姚亞蘭，謝倩倩，高 望

(武漢大學 計算機學院，湖北 武漢 430072)

0 引言

目前，知識庫在智能問答及個性推薦等人工智能領域應用前景廣泛。知識庫通常表示成網(wǎng)絡結構，使用三元組(頭實體，關系，尾實體)來表示知識。然而，基于網(wǎng)絡的知識表示面臨以下挑戰(zhàn)： ①計算效率低。知識推理時往往要設計專門的圖算法，計算復雜度高且拓展性差。②嚴重的數(shù)據(jù)稀疏。知識庫存在一些關聯(lián)知識較少的罕見實體，其語義計算準確率極低?；谝陨咸魬?zhàn)，學界提出了以深度學習為基礎的知識表示學習方法，TransE[1]便是其中應用最為廣泛的模型。然而，TransE及其大部分拓展模型僅利用知識庫的結構化信息，很難處理好知識庫外的新實體或相關知識極少的罕見實體。

為解決以上問題，一些工作[2-4]開始引入文本信息來改善知識表示，面對新實體或罕見實體，利用文本來補充其缺失的語義信息，不僅提供了新的表示方法，還能有效緩解數(shù)據(jù)稀疏問題。然而，它們?nèi)源嬖谝恍┎蛔悖?①尚未提出聯(lián)合文本和結構化信息的有效方法。許多工作只在單詞的層次或得分函數(shù)上做了對齊。②未篩選文本信息。例如，實體描述可能包含實體在多種情況下的信息，并非對所有的文本都有用。

針對已有工作的不足，Xu等提出基于雙向LSTM的聯(lián)合知識表示模型[5]。該模型利用注意力機制來篩選描述文本里的信息，提出了門機制來聯(lián)合文本和結構表示，在鏈路預測及三元組分類等經(jīng)典任務里達到了目前最好的水平。然而，雙向LSTM模型需要輸入上一個隱藏狀態(tài)和位置來產(chǎn)生下一個隱藏狀態(tài)，這種固有順序的性質(zhì)使得訓練過程無法并行化，在處理更長的序列時，還會因內(nèi)存限制而制約訓練集的跨批次處理[6]。

基于以上問題及面臨的挑戰(zhàn)，為聯(lián)合文本信息來緩解知識庫稀疏問題，準確捕捉文本中最相關的語義，同時考慮到卷積核可并行化及高效計算的優(yōu)勢，本文提出了基于帶注意力機制CNN的聯(lián)合知識表示模型JA-CNN。首先，本文提出了基于CNN的文本編碼器，并設計了專門的注意力機制來選擇描述文本中與情景最相關的語義信息；其次，本文采用TransE模型來編碼知識庫的結構化信息；最后，本文引入門機制來控制多源信息傳遞到聯(lián)合表示的權重，形成最終的表示。此外，本文還提出了基于JA-CNN的改進模型JPA-CNN。該模型嘗試在輸入端引入位置向量，使編碼器也具備捕捉句子詞位置信息的能力。鏈路預測及三元組分類任務的實驗表明，本文的模型能顯著改善知識庫稀疏問題，各項指標與最先進的方法相比都有很強的競爭性，尤其在關系分類任務下有明顯優(yōu)勢。

本文的主要貢獻：

① 本文提出了聯(lián)合實體描述和結構化信息的聯(lián)合知識表示模型JA-CNN。該模型設計專門的注意力機制來捕捉描述文本中的最相關信息，幫助提高實體表示的區(qū)分度。

② 本文提出了基于JA-CNN的拓展模型JPA-CNN。該模型引入位置向量，使CNN能捕捉描述句子中的位置信息。

③ 實驗結果表明，本文的模型與目前最好的模型性能相近，還擁有可并行化及高效計算的優(yōu)勢。

1 相關工作

1.1 知識表示學習

近年來，知識表示學習在知識獲取、融合及推理等多種任務里均表現(xiàn)優(yōu)異，一度成為研究熱點。

Bordes等提出非結構化模型(unstructured model)[7]，該模型假設頭、尾實體向量相似，在得分函數(shù)里將關系向量設置為零，因此無法區(qū)分不同關系。Bordes等提出結構化模型(structured embedding, SE)[8]，該模型假定頭、尾實體向量只在相關關系的語義空間內(nèi)相似。此外，Bordes等提出語義匹配能量模型(semantic matching energy, SME)[9]，利用投影矩陣表示實體與關系，根據(jù)得分函數(shù)分為線性形式(linear)和雙線性形式(Bilinear)。之后，Bordes等提出TransE模型[1]，該模型簡單、高效、易拓展，逐漸成為最受關注的知識表示模型。

TransE模型將關系表示為從頭實體到尾實體的平移向量，旨在將知識庫中的實體和關系投影到同一個低維向量空間。Wang等提出TransH模型[10]，將關系建模為超平面，并將頭、尾實體投影到關系特定的超平面，解決了TransE的實體在不同關系下無法有不同表示的問題。Lin等提出TransR模型[11]，在不同語義空間內(nèi)表示實體和關系，并將實體投影到對應的關系空間。Lin等進一步提出了CTransR模型[11]，利用聚類劃分關系，為每個關系分別學習表示向量。Ji等提出TransD模型[12]，利用投影矩陣將頭實體和尾實體分別投影到關系空間，解決了TransR參數(shù)過多的問題。Ji等還提出TranSparse模型[13]，將TransR模型中的稠密矩陣換成稀疏矩陣，頭、尾實體都有投影矩陣，其中矩陣的稀疏度由關系連接實體的數(shù)量決定。Xiao等提出TransA模型[14]，使用馬氏距離替換得分函數(shù)中的距離。He等提出KG2E模型[15]，利用高斯分布來表示實體及關系。Xiao等提出TransG模型[16]，使用高斯混合模型表示關系，使關系能包含多種語義。

這些工作僅利用知識庫的結構信息，未能有效利用與知識庫相關的其他信息，如實體描述等?？紤]到多源信息能緩解數(shù)據(jù)稀疏問題，提高知識表示的區(qū)分度，研究者們開始嘗試融合多源信息來改善知識表示。

1.2 引入文本信息的知識表示

目前，已有許多研究工作使用文本信息來改善知識表示。

Socher等提出NTN模型[17]，使用實體名稱的詞向量平均值來表示實體。Wang等通過對齊實體名稱和維基百科錨點，將知識和文本投影到同一空間，提高了事實預測的準確性[2]。Zhong等在Wang等工作的基礎上拓展模型[3]，將實體描述中的知識和詞匯關聯(lián)起來。然而，這兩份工作都在詞級別上做了對齊，導致其丟失短語或句子層面的語義信息。Zhang等使用實體名稱或者實體描述中詞向量的平均值[18]，該方法忽略了句子中的詞序信息。

Xie等提出了DKRL模型[4]，利用實體描述來表示實體向量。該模型使用連續(xù)詞袋模型和卷積神經(jīng)網(wǎng)絡來編碼實體描述的語義，并將得分函數(shù)分成基于結構和基于描述兩部分。盡管該模型也使用CNN編碼文本信息，但它的CNN只包括卷積層、非線性層和池化層，與本文的CNN結構有一定差別。此外，該方法尚未考慮文本信息的篩選及聯(lián)合兩種表示的有效方式。Xu等提出了基于雙向LSTM的聯(lián)合表示模型[5]，利用注意力機制選擇實體描述中的相關文本，同時設計門機制來控制結構信息和文本信息的權重。該方法相比先前的模型性能顯著提高，但雙向LSTM模型的隱狀態(tài)需要按序生成，訓練時無法并行處理，制約了面對長序列的計算效率。

除了實體描述外，還有一些工作[19-21]將文本關系和知識庫關系映射到相同的向量空間并獲得顯著改進。

2 模型介紹

本文的聯(lián)合模型主要分為三部分：基于TransE的結構表示、基于CNN/A-CNN/PA-CNN的文本表示和基于門機制的多源信息融合。首先，本文利用TransE來編碼三元組的結構信息；然后設計了三種編碼實體描述的文本編碼器：CNN、引入注意力機制的A-CNN和在A-CNN的基礎上引入位置信息的PA-CNN；最后利用門機制決定結構表示和文本表示構成聯(lián)合表示的權重。圖1展示了聯(lián)合知識表示的整體框架。下面將對模型的每個層次的功能進行詳細闡述。

圖1 聯(lián)合知識表示的整體框架

2.1 基于TransE的結構表示

基于TransE的表示模型在知識推理、關系抽取等任務里表現(xiàn)優(yōu)異，也成為知識表示的研究熱點。

給定三元組(頭實體，關系，尾實體)，將其表示為(h,r,t)。三元組(h,r,t)對應的向量表示為(h,r,t)。TransE旨在將實體和關系表示成低維連續(xù)的向量。合法的三元組的向量應該滿足公式h+r≈t，錯誤的三元組則不滿足。因此，TransE定義了如下得分函數(shù)來衡量三元組的質(zhì)量，如式(1)所示。

(1)

式(1)即向量h+r和t的L1或L2距離。對于合理的得分函數(shù)，合法三元組的得分要比錯誤三元組的得分更低。

2.2 基于CNN/A-CNN/PA-CNN的文本表示

目前，大型知識庫中的實體通常都有其對應的實體描述信息。實體描述包含實體在各種情景下的語義信息，有助于改善實體表示，使其區(qū)分度更強，同時也能緩解數(shù)據(jù)稀疏問題。

本文需從不定長的實體描述中編碼文本信息。考慮到卷積核能捕捉文本信息的局部特征，擁有可并行化、運行速度快等優(yōu)點，本文最終選擇基于CNN的文本編碼方式。

2.2.1 基于CNN的文本表示

文本預處理：本文先去除實體描述里的標點符號，然后使用Word2Vec預先訓練好的詞向量[22]初始化詞序列，以此作為CNN的輸入。

卷積層：卷積層的輸入是預處理后長度為n的詞序列x，本文定義為x1:n=x1,x2,…,xn，其中xi∈d表示句子中第i個詞語的d維詞向量。

對詞序列x，卷積層選取大小為k的滑動窗口內(nèi)的詞序列進行卷積操作，輸出特征映射c。詞序列的長度不固定，本文以詞序列的最大長度n為標準，在所有長度不符合的詞序列末尾填充零向量，得到定長輸入。

滑動窗口處理的詞序列定義如式(2)所示。

xi:i+k-1=xi,xi+1,…,xi+k-1

(2)

窗口內(nèi)詞序列卷積后輸出的第i個向量如式(3)所示。

ci=f(w·xi:i+k-1+b)

(3)

其中，w∈k×d是濾波器，b∈是偏置項，f是激活函數(shù)，本文選取線性整流函數(shù)ReLU作為激活函數(shù)。

卷積的邊界處理(padding)設置為SAME，即用零填充。卷積層的輸出如式(4)所示。

c=[c1,…,cn]

(4)

池化層：本文采用最大池化，對每個窗口內(nèi)的輸入向量選取最大值構成新向量。

窗口大小為np的池化層輸出的第i個向量如式(5)所示。

pi=max(cnp·i,…,cnp·(i+1)-1)

(5)

濾波器的數(shù)量為m，池化層的輸出為p=[p1,…,pm]。

Dropout層的輸出定義如式(6)所示。

*p

(6)

其中，Bernoulli函數(shù)是以概率ρ隨機生成0或1的向量，用于移除神經(jīng)元。

全連接層：對輸入進行矩陣向量乘積操作得到網(wǎng)絡的最終輸出向量。

CNN的輸出定義如式(7)所示。

(7)

其中，wo是參數(shù)矩陣，bo是可選偏置。

2.2.2 基于CNN的文本表示

CNN對整體描述文本進行語義編碼，沒有考慮描述信息包含實體在多種關系下的不同語義。這意味著給定三元組后關系特定，描述里包含的其他關系的信息會造成一定干擾。因此，本文基于CNN提出文本編碼器A-CNN，設計了相應的注意力機制，通過三元組的關系來捕捉描述中與其最相關的信息。

對實體描述的詞序列x1:n=x1,x2,…,xn，給定關系r∈d，r拓展一維后得到矩陣d×1，該描述的注意力定義如式(8)所示。

(8)

(9)

2.2.3 基于PA-CNN的文本表示

考慮到CNN編碼文本時未包括詞的順序特征，可能會丟失部分語義，本文引入詞的位置編碼作為補充信息。本文基于A-CNN提出了文本編碼器PA-CNN，采用Sukhbaatar等人提出的方法[23]來編碼位置信息。輸入向量I的第j個分量Ij由位置向量的分量lj和詞向量的分量xj構成。

位置向量lj是一個列向量，擁有以下結構，如式(10)所示。

lkj=(1-j/J)-(k/d)(1-2j/J)

(10)

其中，J是句子中詞的個數(shù)，d是位置向量的維度，k是lj的第k個分量。這里位置編碼采用和詞向量同樣的維度，方便將兩者相加。

給定長度為n的詞序列x1:n=(x1,…,xn)，其位置向量為l1:n=(l1,…,ln)，加入位置信息后編碼器的新輸入為I1:n=(x1+l1,…,xn+ln)。

2.3 基于門機制的多源信息融合

結構信息和文本描述都提供了實體的有效信息，本文采用Xu等提出的門機制[5]將兩種信息源整合成聯(lián)合表示，即將聯(lián)合表示ej當作結構表示es和文本表示ed加權求和的結果。

聯(lián)合表示ej定義如式(11)所示。

(11)

其中，gs和gd是平衡兩種信息源的門，⊙是元素乘法。

門g定義如式(12)所示。

(12)

類似TransE，聯(lián)合表示的得分函數(shù)定義如式(13)所示。

(13)

其中，ghs,ghd分別是頭實體的門，gts,gtd分別是尾實體的門。

2.4 訓練

與TransE相似，本文也采用最大間隔方法[1]訓練模型。本文使用得分函數(shù)fr(h,t)來評估三元組的質(zhì)量。合法三元組擁有較低得分，錯誤三元組擁有較高得分，則對應的優(yōu)化目標函數(shù)如式(14)所示。

(14)

知識庫里的三元組都是正樣本，負樣本需要自行生成。本文采用Wang等提出的方法[10]，設置不同的概率來替換頭實體或尾實體。該方法將關系按照兩端連接實體的數(shù)目分為1-1、1-N、N-1和N-N四種，如果是1-N關系則增大替換頭實體的機會，如果是N-1關系則增大替換尾實體的機會。該方法能降低產(chǎn)生錯誤負樣本的概率。

訓練集中的錯誤三元組由式(15)產(chǎn)生：

(15)

3 實驗結果及分析

本文在鏈路預測和三元組分類兩個常規(guī)任務上評估模型的性能。

3.1 實驗數(shù)據(jù)

本文使用兩個最常用的數(shù)據(jù)集，分別是語言知識庫WordNet[24]的子集WN18和世界知識庫Freebase[25]的子集FB15k。表1展示了數(shù)據(jù)集的相關屬性。

表1 數(shù)據(jù)集的統(tǒng)計屬性

對于FB15k的描述數(shù)據(jù)集，每段描述的平均詞長為69，最長描述包含343個詞。對于WN18的描述數(shù)據(jù)集，每段描述的平均詞長為13，最長描述包含96個詞。

3.2 實驗設置

3.2.1 對比模型

對比模型分為三類： ①本文提出的模型：J-CNN、JA-CNN和JPA-CNN； ②僅利用結構信息的知識表示模型：TransE[1]、Unstructured[7]、SME(linear)[9]、SME(Bilinear)[9]、TransH[10]、TransR[11]、CTransR[11]、TransD[12]和TranSparse[13]； ③引入文本信息的表示模型：CNN+TransE[4]、Jointly(LSTM)[5]和Jointly(A-LSTM)[5]。

3.2.2 參數(shù)設置

最大間隔γ∈{0.1,1,2,5,10}，向量維度d∈{50,100}，學習率λ∈{0.000001,0.0001,0.01,0.1,1}，卷積層的窗口大小k∈{1,2,3,4,5}，濾波器的數(shù)量nf∈{16,64,128}，Dropout層的丟棄率統(tǒng)一設置為0.5，不相似性度量L設置為L1或L2。為加速收斂，本文使用TransE的結果來初始化實體和關系的向量。

實驗中，J-CNN、JA-CNN和JPA-CNN共享同一組最優(yōu)參數(shù)。在鏈路預測任務中，模型的最優(yōu)參數(shù)為：γ=2，d=100，λ=0.000 1，k=4，nf=64，L=L1。針對WN18數(shù)據(jù)，模型的最優(yōu)參數(shù)為：γ=5，d=50，λ=0.000 1，k=4，nf=64，L=L1。在三元組分類任務中，針對FB15k數(shù)據(jù)，模型的最優(yōu)參數(shù)為：γ=1，d=100，λ=0.1，k=1，nf=16，L=L1。針對WN18數(shù)據(jù)，模型的最優(yōu)參數(shù)為：γ=0.1，d=50，λ=0.000 1，k=4，nf=64，L=L1。

本文與Xu等提出的模型[5]在同樣的任務上使用相同的數(shù)據(jù)集和對比模型，因此本文直接使用該論文里對比模型的最優(yōu)結果進行比較。

3.3 鏈路預測

鏈路預測任務旨在預測三元組中缺失的頭實體或尾實體。對每個合法三元組，本文會先破壞它的頭或者尾實體，依次替換成實體集中的其他實體，然后計算被破壞的三元組的得分，對得分進行升序排序，最后記錄三元組的排名。類似TransE，本文采用兩種評估指標： ①mean rank：所有合法三元組里實體排名的平均值； ②hits@10：所有合法三元組里實體排名小于10的比例。好的表示模型在該任務下應擁有較低的mean rank和較高的hits@10。

評估設置分為兩種：“原始”(Raw)和“過濾”(Filt)。三元組替換了頭或者尾實體后也可能合法，排序時這類破壞的三元組可能會排在合法三元組前面，這并不合理，所以應在排序前刪除訓練集、測試集和驗證集里這類錯誤三元組，該設置稱為“過濾”。本文會展示這兩種設置的評估結果。在數(shù)據(jù)集WN18和FB15k的實驗結果如表2所示。

表2 鏈路預測的結果

在所有數(shù)據(jù)集上，本文的模型JA-CNN在各項指標都與目前最好的模型Jointly(A-LSTM)水平相近，并在mean rank指標上達到目前最好的效果，這表明JA-CNN能有效捕捉文本的語義信息，在融合多源信息方面有一定優(yōu)勢。

與同樣基于CNN編碼文本的模型CNN+TransE相比，本文提出的三個模型在所有指標上都有明顯提高，可能原因在于：本文選取的CNN結構更適應于編碼描述的語義信息；本文引入了門機制，加強了兩種信息源間的語義聯(lián)系，比單純的加權效果要更好；本文設計的注意力機制篩選文本的有效信息，增強了實體表示的區(qū)分度。

與僅利用結構信息里最好的模型TransD相比，本文的模型在mean rank指標上取得了大幅度的提升，這表明引入文本信息確實有效緩解了數(shù)據(jù)稀疏問題，但可能會影響訓練過程中的頻繁實體，導致hits@10指標變差。雖然hits@10比TransD的表現(xiàn)更差，但考慮到本文是基于TransE的改進而不是TransD，若基于其他優(yōu)秀的表示模型如TransD等進行拓展，應該能進一步提升模型性能。

本文的三種模型互相對比，JA-CNN的性能優(yōu)于J-CNN，這表明注意力機制的引入加強文本表示的語義區(qū)別，進一步提高了實體表示的區(qū)分度。在FB15k數(shù)據(jù)集上，JPA-CNN比JA-CNN表現(xiàn)要遜色許多，這可能是因為在該數(shù)據(jù)集上句子的長度長短分化嚴重，固定的位置編碼沒法有效擬合出這種差異，反而在一定程度上成為干擾信息。在WN18數(shù)據(jù)集上，JPA-CNN與JA-CNN效果相近，比在FB15k上表現(xiàn)更好，這可能是因為該數(shù)據(jù)集的句子整體偏短，長度差異較小，本文的位置編碼更適用于擬合該數(shù)據(jù)集。

為進一步展示模型的性能，本文把關系劃分成1-1、1-N、N-1和N-N四種類型，并比較不同類型關系下模型在數(shù)據(jù)集FB15k上hits@10(Filt)的結果。

表3的結果表明，面對所有類型的關系，本文的模型JA-CNN都比對比模型展現(xiàn)了更好的性能，尤其在N-1和N-N關系下的頭實體預測以及1-N和N-N的尾實體預測上有明顯的提高，這表明JA-CNN面對知識庫的復雜關系時有一定優(yōu)勢。

3.4 三元組分類

三元組分類旨在判斷給定的三元組是否合法。本文使用FB15k和WN18的數(shù)據(jù)集來評估模型的性能。由于數(shù)據(jù)集只有正樣本，本文按照Socher等的方法[17]來構造負樣本。該方法隨機替換合法三元組的頭實體來構成負樣本，替換的實體只能從該三元組的關系對應的實體集中選擇。該方法使負例集合里不會出現(xiàn)明顯的無關系三元組，使負例與正例的語義差別更小，進而增加評估任務的難度。

表3 關系分類的結果

本文使用準確率作為該任務的評估指標。任務先達到驗證集的最大準確率，獲得每個關系r的閾值δr；接著對測試集的每個三元組(h,r,t)計算得分，若三元組的得分小于δr，會歸為合法三元組，否則歸為錯誤三元組。在FB15k數(shù)據(jù)集上，有部分關系出現(xiàn)在驗證集卻沒有出現(xiàn)在測試集中，本文會采用驗證集中出現(xiàn)過的關系的閾值的平均值來補充缺失的閾值。表4展示了三元組分類的結果。

表4 三元組分類的結果

結果表明，本文的聯(lián)合模型相比TransE在三元組分類性能上有大幅度提高，其中，JPA-CNN與最好的模型性能相近，這表明本文的文本編碼方法能有效編碼語義信息，并能很好地融合到實體表示中，進而增強了三元組的語義區(qū)分度。

本文的三種模型相比，JPA-CNN均達到了最佳性能，這表明引入位置信息后，面對復雜關系能找到更精準的閾值，同時增強正負樣本得分的差距。在FB15k上，JA-CNN比J-CNN效果稍差，但在WN18中，JA-CNN比J-CNN效果更好，這可能是因為FB15k數(shù)據(jù)集里描述的句子整體偏長，且關系的種類遠大于WN18，本文的注意力機制在模擬這種語義信息時，一定程度上弱化了三元組得分的差異。

4 總結

本文提出了基于帶注意力機制CNN的聯(lián)合知識表示模型，并通過引入實體描述信息來改善知識表示。首先，本文提出了基于CNN的文本編碼器；然后，設計相應的注意力機制來篩選與關系最相關的文本信息；接著，又引入位置信息拓展該模型；最后，利用門機制聯(lián)合文本信息和結構信息獲得最終的聯(lián)合表示。實驗證明，本文的模型在鏈路預測和三元組分類任務上與目前最好的模型水平相近，在關系分類任務上表現(xiàn)更好，這表明本文的方法能有效融合多源數(shù)據(jù)，緩解知識庫稀疏問題，也為改善實體表示提供了新思路。

未來，本文將考慮從以下方向來改進模型：

① 本文采用了基于TransE的得分函數(shù)，未來可以考慮基于其他優(yōu)秀的知識表示模型如TransD等進行模型拓展。

② 考慮融合更多其他信息，例如實體的類別信息。未來會嘗試拓展模型來編碼類別信息，也考慮使用類別作為實體的約束信息。