融合領域知識圖譜的跨境民族文本聚類方法

陳春吉,毛存禮,張勇丙,黃于欣,高盛祥,郝鵬鵬

(1. 昆明理工大學 信息工程與自動化學院,云南 昆明 650000;2. 昆明理工大學 云南省人工智能重點實驗室,云南 昆明 650000)

0 引言

所謂跨境民族,就是生活在各個國家或地區(qū),但又保留著一定原始民族特色并具有相同民族共同感受的族群。跨境民族文本聚類任務是跨境民族文本分析的基礎性工作,旨在捕獲跨境民族文本數(shù)據(jù)之間的關聯(lián)關系,對跨境民族文本檢索、事件關聯(lián)分析工作的開展具有重要的支撐作用。因此,開展跨境民族文本聚類方法研究具有重要意義。

然而,跨境民族間文本表達方式不一致且缺乏文本背景知識,導致跨境民族文本實體存在“相同實體不同語義”的問題。例如,表1中文本1和文本2都包含實體“傣族、丟包”,文本1描述的是傣族節(jié)日中的丟包活動,而文本2描述的是傣族婚姻中的丟包活動。同時,當前深度聚類模型[1-9]通常僅關注數(shù)據(jù)本身的局部特征信息,而忽略了文本的全局語義特征。如在表1中,僅從文本的局部特征出發(fā),文本1和文本2將會被劃分到同一個文化類別,但事實上文本1的文化類別為傣族潑水節(jié),文本2的文化類別為傣族婚姻;相對而言,基于卷積神經(jīng)網(wǎng)絡的文本聚類方法[10-16]則利用圖結構的思想來捕獲文本數(shù)據(jù)的全局特征信息,但忽略了文本局部語義信息,如在表1中,從文本的全局特征分析文本1和文本3會被劃分到不同的文化類別,但實際上兩個文本數(shù)據(jù)描述的都是傣族潑水節(jié)的文化活動。因此,如何解決跨境民族文本中存在的相同實體具有不同語義的問題,以及如何有效地將跨境民族文本數(shù)據(jù)局部特征與全局特征進行融合,是提高跨境民族文本聚類性能的有效方式。

表1 跨境民族文本數(shù)據(jù)樣例

因此,文本在Hu等人[15]提出的異構圖注意力網(wǎng)絡上進行了改進,利用Chiu等人[16]、Bordes等人[18]的思想將外部知識信息與文本進行有效的結合,提出了一種融合領域知識圖譜的跨境民族文本聚類方法。首先,利用跨境民族領域知識圖譜增強文本的局部語義;然后,利用變分自編碼器網(wǎng)絡實現(xiàn)跨境民族文本的局部特征和全局特征的融合;最后,基于融合表征進行文本聚類。綜上所述,本文的主要貢獻如下:

(1) 提出一種融入跨境民族知識圖譜的語義增強方法,解決跨境民族文本中相同實體不同語義的問題。

(2) 提出一種融入文檔關聯(lián)圖的文本聚類方法,解決跨境民族文本文化背景缺失的問題。

1 相關工作

文本聚類通過文本的相似性程度將相似的文本數(shù)據(jù)分配到相同的簇中,該任務的核心在于如何學習文本之間的潛在特征以及特征之間的相似性如何度量。常見的方法可分為: 基于深度學習的文本聚類方法和基于圖卷積神經(jīng)網(wǎng)絡的文本聚類方法。

(1) 基于深度學習的文本聚類方法[1-2]。這是目前的主流方法,通過深度學習的方法將文本數(shù)據(jù)映射到潛在空間,從而更好地得到文本的特征向量表示。Song等人[3]針對自編碼器網(wǎng)絡存在重構誤差和約束數(shù)據(jù)與其對應聚類中心之間可能存在的空間距離等問題,提出基于自動編碼器的數(shù)據(jù)聚類方法來定義新目標函數(shù)以取得更好的結果。在自編碼器基礎上發(fā)展而來的各種變體堆疊自動編碼器(Stacked Auto-Encoder,SAE)[4]和變分自編碼器(Variational Auto-Encoder,VAE)[5]都取得了很好的結果[6-7]。Yang等人[8]提出一種利用深層神經(jīng)網(wǎng)絡降維并將其與K-Means結合的文本聚類方法。Zhang等人[9]提出了一種基于對比學習的聚類方法,模型能夠更好地聚集同類型的文本數(shù)據(jù),同時拉大不同類型文本數(shù)據(jù)間的距離。然而深度聚類大部分只關注樣本本身的特征信息,忽略了文本之間的結構特征。

(2) 基于圖卷積神經(jīng)網(wǎng)絡的圖聚類方法[10-11]。由于捕獲樣本數(shù)據(jù)結構特征的優(yōu)勢受到廣泛應用。Kipf等人[12]通過借鑒自動編碼器(AE)和變分自編碼器(VAE)的思想,利用圖卷積神經(jīng)網(wǎng)絡作為編碼器,將圖結構集成到節(jié)點特征中,學習節(jié)點的嵌入。Wang等人[13]提出了一種深度注意嵌入圖聚類算法,利用圖神經(jīng)網(wǎng)絡獲取節(jié)點表示,并通過一種自訓練的圖聚類增強簇的內(nèi)聚性。Bo等人[14]提出了一種雙自監(jiān)督機制,利用自動編碼器學習到的文本數(shù)據(jù)的潛在特征和圖卷積神經(jīng)網(wǎng)絡捕獲到的結構信息進行聚類。然而基于圖卷積神經(jīng)網(wǎng)絡的文本聚類方法依賴于重構鄰接矩陣來更新模型,導致模型只能從圖結構中學習文本數(shù)據(jù)特征信息,忽略了文本本身的語義特征。基于此,Chiu等人[16]提出一種基于圖的文檔聚類方法,該方法以關鍵詞為節(jié)點、以局部特征與全局特征為邊來構造圖,將文檔的局部特征與全局特征有效地融合起來。

在司法領域,Mao等人[17]提出了一種結合話題網(wǎng)絡和多頭注意力機制的涉案新聞聚類方法,將主題信息融入到聚類中,從而提升文本聚類效果。

綜上所述,跨境民族文本聚類任務屬于特定領域聚類問題,基于跨境民族文本數(shù)據(jù)本身的特點,本文考慮融入跨境民族知識圖譜實現(xiàn)對跨境民族文本數(shù)據(jù)的文化背景知識補充及實體語義關聯(lián),融合文本數(shù)據(jù)全局特征和局部特征信息輔助文本聚類。

2 跨境民族知識圖譜

本文從維基百科、各大民族網(wǎng)站收集并篩選大量的跨境民族文本數(shù)據(jù)構建了跨境民族知識圖譜,利用跨境民族知識圖譜實現(xiàn)對文本實體語義的擴展。該知識圖譜包含1 936個三元組,具體如表2所示。通過分析跨境民族數(shù)據(jù)并根據(jù)數(shù)據(jù)特點將其文化類別劃分為: 飲食、藝術、習俗、建筑、服飾、宗教。其中,每個文化數(shù)據(jù)又可以將其分為不同的小類,如藝術文化可以細分為: 舞蹈文化、音樂文化和樂器文化等。采用深度學習方法抽取文本數(shù)據(jù)中的實體及其關系,其中實體屬性的定義和關系屬性的定義如下:

表2 跨境民族實體關系舉例

跨境民族實體的屬性包括實體名稱、實體別稱、實體描述內(nèi)容。如實體“壇壇酒”,則實體的別稱為“咂酒”,實體描述內(nèi)容為“傣族飲品”。實體的文化類別劃分方式與文本數(shù)據(jù)的劃分相同。

跨境民族關系屬性包括包含關系、隸屬關系、并列關系。并列關系用于表示跨境民族間的位置關系;包含關系指的是某個跨境民族所包含的文化類型;隸屬關系指的是實體與屬性值之間存在的關聯(lián)關系,具體如表2所示。

3 融合領域知識圖譜的跨境民族文本聚類模型

融合領域知識圖譜的跨境民族文本聚類模型如圖1所示,該模型主要由跨境民族文化文檔關聯(lián)圖構建層、跨境民族文本數(shù)據(jù)局部特征提取層、跨境民族文本數(shù)據(jù)全局特征提取層、跨境民族文本數(shù)據(jù)特征融合層四部分構成。

圖1 融合領域知識圖譜的跨境民族文本聚類模型圖

3.1 跨境民族文檔關聯(lián)圖構建

通過借鑒Hu等人[15]的思想構建跨境民族文檔關聯(lián)圖,具體如圖2所示,跨境民族關聯(lián)圖集成了額外信息——主題和實體,捕獲了文本和補充信息之間的關聯(lián)關系。

圖2 跨境民族文檔關聯(lián)圖

對于每一個跨境民族文檔d,構建了一個跨境民族文化文檔關聯(lián)圖g=(v,ε)。該關聯(lián)圖由三個不同的節(jié)點構成: 跨境民族文本數(shù)據(jù)S={s1,s2,s3,…,sn}、跨境民族主題T={t1,t2,t3,…,tm}、跨境民族實體E={e1,e2,e3,…,ek}。其中,V=S∪T∪E,ε代表邊的集合,v代表跨境民族文本、跨境民族主題、跨境民族實體之間的關系。

首先,通過LDA(Latent Dirichlet Allocation,LDA)主題模型挖掘跨境民族文本數(shù)據(jù)潛在的主題信息,每個跨境民族文本數(shù)據(jù)被分配給了概率最大的p個相關性主題。如圖2中,得到文本1和文本2的主題為傣族節(jié)日,文本3的主題為泰族節(jié)日,文本和相關性主題之間采用雙向連接的方式來傳播主題信息。借助跨境民族領域詞典捕獲跨境民族文本1中的實體為: “關門節(jié)”, 文本2中的實體為: “潑水節(jié),丟包”,文本3的實體為: “宋干節(jié),浴佛”,如果跨境民族文本數(shù)據(jù)中存在這個實體,則實體和跨境民族文本數(shù)據(jù)之間的邊將被構建。為了進一步豐富跨境民族文本的語義信息,通過計算實體e的TF-IDF(Term Frequency-Inverse Document Frequency,TF-IDF)值作為跨境民族實體與跨境民族文本數(shù)據(jù)邊的權重,實體e的TF-IDF值越大,說明和文檔的關聯(lián)性越高。實體和實體之間的關聯(lián)關系采用余弦相似度(cosine similarity)計算,如果得到的值大于預先設定的閾值就構建實體和實體之間的邊。此外,由于文本2和文本3都包含實體“浴佛”,傣族潑水節(jié)和泰族宋干節(jié)存在“跨境”關系,利用實體之間的關聯(lián)可以捕獲文本之間的關聯(lián)關系。

3.2 跨境民族文本數(shù)據(jù)局部特征提取

該層通過融合跨境民族知識圖譜來增強跨境民族文本數(shù)據(jù)的實體語義信息,為后續(xù)的跨境民族文本數(shù)據(jù)的關聯(lián)分析工作奠定良好的基礎。

(1) 跨境民族文本數(shù)據(jù)的表征: 跨境民族文本數(shù)據(jù)通過采用LSTM(Long Short Term Memory,LSTM)網(wǎng)絡進行表示sd∈RM。由于跨境民族文本句子中存在大量的專業(yè)名詞,本文采用jieba+領域詞典對文本句子進行分詞得到: “宋干節(jié) 是 泰族 最 隆重 的 節(jié)日”,然后使用Word2Vec模型對現(xiàn)有的跨境民族數(shù)據(jù)訓練得到詞向量,并利用跨境民族詞向量獲得文本中每個詞wi,i∈[1,N]的嵌入表征xi∈R100。其中N代表標題中詞的個數(shù),100表示詞向量維度。最后通過LSTM模型獲得句子的詞級表征如式(1)所示。

(2) 跨境民族知識圖譜語義表征: 通過借鑒Bordes等人[18]的思想,利用跨境民族知識圖譜中的實體語義關系增強跨境民族文本數(shù)據(jù)中的實體語義關系。采用TransE模型對跨境民族知識圖譜中三元組實體進行表示se∈RM。給定一個跨境民族知識圖譜中的三元組關系(h,r,t),TransE模型通過不斷調整h,r和t使其滿足h+r=t。如有跨境民族文本:“宋干節(jié)是泰族最隆重的節(jié)日。”其中包含三元組實體[“泰族”,“泰族節(jié)日”,“宋干節(jié)”],通過TransE知識表示模型中實體和關系的關系可以得到:e泰族+r泰族節(jié)日=e宋干節(jié),其中實體的語義向量為[e泰族,e宋干節(jié)],關系的語義向量為: [r泰族節(jié)日],其中實體語義向量可用于跨境民族文本數(shù)據(jù)中的實體語義的擴展。

(3) 跨境民族實體語義擴展: 通過門控機制將跨境民族知識圖譜中的實體語義信息和跨境民族文本數(shù)據(jù)進行融合,具體的融合方式如式(2)所示。

3.3 跨境民族文本數(shù)據(jù)全局特征提取

該層旨在提取跨境民族文本數(shù)據(jù)的全局特征信息,利用異構卷積神經(jīng)網(wǎng)絡并結合3.1節(jié)中的關聯(lián)圖進行文本數(shù)據(jù)特征的提取。

其中,v表示注意力向量,α主題是注意力權重。h潑水節(jié)和h傣族分別代表當前節(jié)點“潑水節(jié)”和鄰居節(jié)點“傣族”的表征。

(6)

3.4 跨境民族文本數(shù)據(jù)特征融合層

該層實現(xiàn)了跨境民族文本數(shù)據(jù)局部特征信息和全局特征信息的融合。

通過3.1節(jié)中l(wèi)層異構圖卷積網(wǎng)絡后,可以得到聚合所有鄰居節(jié)點(包括句子和實體)的表示。將上述特征h=[hs|hg],其中“|”表示拼接操作,作為變分自編碼器(Variational Auto-Encoder,VAE)[5]的輸入,得到跨境民族文本的潛在分布信息。VAE模型假設輸入數(shù)據(jù)的后驗概率在給定潛在表示的情況下基本滿足高斯分布(即:q(z|h)～Ν(z;u,σ2Ι))。 假設Z(Z表示推斷網(wǎng)絡的輸出,即跨境民族文本的潛在表示)滿足高斯先驗(即:p(z)～Ν(0,Ι))。 在生成階段,通過采樣z～q(z|h)對樣本進行重構,VAE設定誤差公式如式(7)所示。

最后將推理網(wǎng)絡的輸出作為跨境民族文本的最終表示,從而得到跨境民族文本的聚類。為了更好地實現(xiàn)跨境民族文本的聚類效果,使訓練樣本更接近相應的聚類中心,在表達潛在學習的過程中加入聚類信號,使得同一個聚類中的距離更小,不同簇之間的更大。在此基礎上,聚類損失如式(8)所示。

其中,Q表示目標分布,P表示輔助分布。其中,qij的計算如公式采用Xie等人[6]提出的計算聚類損失的方法,具體如式(9)所示。

其中,qij表示跨境民族文本si分配給第j個簇的概率。zi表示通過VAE模型到跨境民族文本si的潛在特征表示,uj表示第j個簇的中心。其中,P(輔助分布) 的計算如式(10)所示。

本文的訓練過程包含兩個主要的步驟:

(1)預訓練: 通過異構圖卷積神經(jīng)網(wǎng)絡對跨境民族文本數(shù)據(jù)進行特征的提取,將得到的特征作為VAE的輸入,采用式(7)作為目標函數(shù)進行迭代,最終得到跨境民族文本數(shù)據(jù)的潛在表示。

(2)微調: 對得到的潛在表示特征采用K-Means[1]算法初始化跨境民族文本數(shù)據(jù)的簇心,利用式(11)計算跨境民族文本數(shù)據(jù)的聚類損失,最后,跨境民族文本的聚類損失函數(shù)定義如式(11)所示。

其中,λ代表平衡式(11)中兩種損失的權重。通過在訓練過程中融入聚類信號特征信息,最終找到更適合跨境民族文本聚類的表示。

4 實驗分析

4.1 跨境民族實體標注數(shù)據(jù)集

針對跨境民族文本聚類任務,選取各大民族網(wǎng)站、維基百科等平臺上的傣族、泰族(泰國)、彝族、倮倮族(越南)的文本數(shù)據(jù),共劃分為15個類別,具體如表3所示, 其中每條文本數(shù)據(jù)只屬于一個文化類別,共18 002條的文本數(shù)據(jù)作為訓練集,文本最長為456個字符,文本平均包含146個字符,構建的跨境民族文化詞典大小為33 977個。

表3 跨境民族文本數(shù)據(jù)類別劃分

4.2 實驗參數(shù)設置

本文將句子長度設置為100,每個文本和K=2個主題相關聯(lián),異構圖卷積(Heterogeneous Graph Convolution)的層數(shù)為2,采用gensim工具包中的Word2Vec模型訓練詞向量,詞向量的維度為100維,采用Adam算法作為加快模型訓練速度的優(yōu)化器,將實驗參數(shù)學習率設為0.003,批次處理大小設為128,訓練輪次設置為100。

4.3 實驗評價指標

為了驗證本文提出的文本聚類模型的性能,采用的聚類指標定義如下:

(1) 聚類準確率(Accuracy,Acc):Acc的值在0到1之間,Acc值的大小反映了模型效果的優(yōu)劣,如式(12)所示。

(2) 標準化信息[21](Normalized Mutual Information,NMI)能夠評估真實標簽和文本聚類模型得到的預測標簽之間的熵,如式(13)所示。

其中,I(y,c)表示y和c之間的互信息,H(·)表示熵,NMI的值大小代表模型效果的優(yōu)劣。

(3) 調整蘭德系數(shù)[22](Adjusted Rand Indexed,ARI)如式(14)所示。

其中,ARI的值在區(qū)間[-1,1],a,b,c,d為統(tǒng)計量,具體定義如表4所示。

表4 蘭德系數(shù)相關統(tǒng)計量

4.4 實驗結果與分析

實驗一: 基線模型對比實驗

為了驗證本文提出的文本聚類模型的有效性,本文做了6組對比實驗,所有模型潛在特征維度均設置為20維,具體的實驗結果如表5所示。

表5 本文方法與基線模型方法的對比

(1)K-means(KM)[1]: Hartigan等人提出的經(jīng)典文本聚類方法。

(2) AE[3]: 2013年Song等人使用從編碼器學習的表示進行K均值聚類的深度聚類算法。

(3) DEC[2]: 2016年Xie等人提出的一種用聚類目標來指導數(shù)據(jù)表示學習的深度聚類方法。

(4) SDCN[14]: 2020年Bo等人綜合了自編碼器得到的數(shù)據(jù)表示和圖卷積網(wǎng)絡提取的結構信息,并設計了一種雙重自監(jiān)督聚類指導方法。

(5) N2D[19]: 2019年McConville等人提出的一種基于原始數(shù)據(jù)和自編碼器的流行學習方法。

(6) SCCL[20]: 2021年Zhang等人提出的一種利用對比學習促進文本聚類的方法。

根據(jù)表5中的結果可以看出,K-means模型的聚類效果較弱,在使用自編碼器對數(shù)據(jù)進行降維操作后,將潛在特征和K-means進行融合能有效地提升聚類的效果。其中,同樣使用自動編碼器的AE模型相較于DCN模型文本聚類效果較弱,這是因為DCN模型中融合了聚類損失或者聚類的目標函數(shù),它們可以作文本聚類任務中的監(jiān)督信號,從而很好地提升文本聚類的性能。而本文方法優(yōu)于其他基線模型的原因在于,本文模型有效利用了文本和實體、文本和主題之間,以及實體和實體之間的關聯(lián)關系作為監(jiān)督信號加入到模型中,因此也證明了結合文本中的實體和主題對跨境民族文本聚類任務的有效性。

值得注意的是,相較于其他的基線模型,SDCN模型和SCCL模型表現(xiàn)出了較好的文本聚類性能,這是因為SDCN通過K近鄰網(wǎng)絡建立跨境民族文本之間的關聯(lián),能夠更好地捕獲文本之間的關聯(lián)關系。此外,SCCL模型能夠更好地區(qū)分同類型文本以及不同類型的文本,但二者相較于本文模型性能較弱的原因在于本文融入了跨境民族知識圖譜,增強文本之間的“跨境”關聯(lián)關系,也從側面反映了本文模型加入領域知識圖譜的這一觀點的正確性。

實驗二: 消融實驗

為了驗證本文方法中各個部分的作用,本文第二個實驗對比了各個模塊對文本聚類任務的影響,實驗結果如表6所示。其中,“-transE”: 表示去除了跨境民族文本數(shù)據(jù)中的實體語義的擴展;“-局部特征”: 表示去除“跨境民族文本數(shù)據(jù)局部特征提取”模塊;“-全局特征”表示去除“跨境民族文本數(shù)據(jù)全局特征提取模塊”。

表6 消融實驗

由表6可以看出,在去除掉模型中的某一個模塊的同時,模型性能也隨之降低。其中“-全局特征”的性能下降最為明顯,Acc下降了0.152,NMI下降了0.108,ARI下降了0.107;“-局部特征”次之,這是因為全局特征捕獲的是文本之間的關聯(lián)關系,局部特征捕獲的是文本自身的信息,利用兩種信息的互補驗證了本文利用變分自編碼器融合文本全局特征和局部特征信息有助于提升文本聚類性能。此外,當去除“-transE”模塊時,模型性能之所以下降是因為在跨境民族文本數(shù)據(jù)中存在大量的專有名詞,通過增強文本的實體語義信息,有利于模型更好地識別其中特有的實體信息以及提取文本的特征信息,也驗證了通過融入外部知識能夠增強文本聚類性能這一觀點。

實驗三: 主題數(shù)量對于模型性能的影響

為了驗證每個跨境民族文本數(shù)據(jù)分配不同主題信息對模型性能的影響,本文進行了第三個實驗,結果如圖3所示。

圖3 不同主題數(shù)對模型性能的影響

由圖3可以看出,模型精確率隨著主題數(shù)的增加而增加,之后逐漸下降,主題數(shù)為2時,模型精確率達到最好,當超過閾值時,模型性能逐漸下降,這是因為過多主題信息的加入導致模型連接一些低頻信息,從而忽略了重要的主題特征信息,最終導致模型性能的下降,所以實驗中設置連接的主題數(shù)量為2。

實驗四: 不同損失平衡權重對模型性能的影響

為了檢驗公式(11)中的不同λ值對模型性能的影響,本文第4個實驗對比了不同的λ值對模型性能的影響,具體如表7所示。

表7 不同損失平衡權重對模型性能的影響

從表7可以看出,當λ=0.5時,模型性能達到最優(yōu)。當λ逐漸增大時,模型性能反而降低。上述現(xiàn)象的出現(xiàn)主要是因為λ作為一個平衡重構損失和聚類損失的權重系數(shù),當λ小于0.5時,聚類損失在模型中加入的監(jiān)督信號太少,無法指導模型更好地捕獲跨境民族文本數(shù)據(jù)聚類特征;當λ值大于0.5時,跨境民族文本聚類模型失去了重構誤差,導致模型捕獲的聚類特征質量較差。綜上所述,聚類損失對模型的微調以及具有提升模型性能的效果,以及僅考慮文本聚類損失(λ=0.0)訓練跨境民族文本聚類模型效果不佳。

實驗五: 跨境民族文本數(shù)據(jù)實例測試分析

該實驗是為了驗證本文模型對跨境民族文本數(shù)據(jù)聚類預測的準確性。選取了最具代表性的幾個對比實驗進行聚類性能的測試,本實驗選取的實驗數(shù)據(jù)如表1所示,實驗結果如表8所示,其中1代表預測正確,0代表預測錯誤。

表8 跨境民族文本數(shù)據(jù)實例測試結果

從表8可以看出,本文方法對三個跨境民族文本數(shù)據(jù)的文化類別的劃分都做出了準確的判斷,DCN、SDCN、N2D這三個文本聚類模型對于跨境民族文本數(shù)據(jù)類別的劃分都預測不準確,由此證明,本文提出的跨境民族文本聚類模型能夠有效捕獲跨境民族文本數(shù)據(jù)中的關聯(lián)關系,有效提升文本聚類模型的性能。

5 結論

針對跨境民族文本聚類任務,本文提出了一種融合領域知識圖譜的跨境民族文本聚類方法,利用跨境民族領域知識圖譜,實現(xiàn)對跨境民族文本數(shù)據(jù)的文化背景知識補充及實體語義關聯(lián),利用變分自編碼器融合跨境民族文本的局部特征信息和全局特征信息,構建文本語義隱空間,使用學習到的潛在表示進行聚類。實驗結果表明,提出的方法在跨境民族數(shù)據(jù)中相較于基線模型具有更好的聚類性能。下一階段的工作中我們將研究如何利用跨語言的技術捕獲跨境民族之間的關聯(lián)關系。