結(jié)合雙曲圖注意力網(wǎng)絡與標簽信息的短文本分類方法

宋建平，王 毅，孫開偉，劉期烈

1.重慶郵電大學通信與信息工程學院，重慶 400065

2.重慶郵電大學計算機科學與技術(shù)學院，重慶 400065

在文本分類任務中，不同文本特征對文本分類識別的貢獻度是不同的，貢獻度高的重要特征往往對應著文本中的關(guān)鍵詞語或關(guān)鍵信息，充分挖掘并利用重要特征對于提升文本分類性能是至關(guān)重要的。然而這種特征在層次結(jié)構(gòu)分明的文本中的位置分布往往是十分稀疏、分散的，因此如何充分利用并獲取文本中的關(guān)鍵信息，改善文本分類的效果是目前研究工作的重要難點。一些研究方法將文本中的字符與字符之間的共現(xiàn)關(guān)系、語義關(guān)系嵌入到了連續(xù)的低維稠密歐式向量空間中，并引入自注意力機制[1]幫助學習文本特征。而最近的研究結(jié)果表明，歐幾里得對稱模型不能很好地反映復雜的數(shù)據(jù)模式，并且會造成嵌入向量的高度失真[2]。雙曲空間具有特殊的高容量和連續(xù)的樹狀特性，使用雙曲圖模型能夠發(fā)揮雙曲空間對文檔冪律結(jié)構(gòu)的優(yōu)越性[2]。此外，還有一些研究人員設計了標簽文本交互機制，增強標簽信息對文本特征學習的影響，以期加強對重要信息的提取，在一定程度上提升了文本分類性能。

為此，本文提出了一種基于雙曲圖注意力網(wǎng)絡的短文本分類算法，首先通過指數(shù)映射函數(shù)將歐式表征映射到雙曲空間，利用雙曲幾何對層級結(jié)構(gòu)圖數(shù)據(jù)的建模能力，充分挖掘文本信息的層級結(jié)構(gòu)以避免表示坍縮現(xiàn)象[3]，然后使用改進的圖注意力網(wǎng)絡充分捕獲節(jié)點關(guān)系所包含的輔助信息，在雙曲空間中進一步學習文本表征。最后利用標簽與文本特征學習之間的相關(guān)性，獲得標簽適應的文本嵌入表示，輸入到全連接層、輸出層進行分類。

本文的貢獻總結(jié)如下：提出了一種基于雙曲圖注意力網(wǎng)絡的短文本分類算法，它可以從文本中捕獲到更豐富、精確的局部特征，緩解語義稀疏問題。并且有效地捕獲標簽信息與文本表示的層級結(jié)構(gòu)以及相關(guān)性，有效地提升短文本分類效果。在多個數(shù)據(jù)集上的實驗結(jié)果表明，本文所提算法優(yōu)于現(xiàn)有研究方法。

1 相關(guān)工作

現(xiàn)有文本分類方法主要包括兩類：基于傳統(tǒng)的機器學習方法和基于深度學習的方法。傳統(tǒng)的文本分類研究主要集中在特征學習和分類算法上。目前也有關(guān)于將文本轉(zhuǎn)換為圖，對圖和子圖進行特征學習的研究[4]?；谏疃葘W習的文本分類研究分為兩類。其中一類研究方法集中于設計端到端的神經(jīng)網(wǎng)絡，Zeng等人[5]提出了一種用于短文本分類的主題記憶網(wǎng)絡，它具有一種主題存儲機制，并利用短文本的潛在主題表示豐富語義信息。楊朝強等人[6]通過使用長短期記憶（long shortterm memory，LSTM）網(wǎng)絡、卷積神經(jīng)網(wǎng)絡進行不同層面的特征提取，并將其進行融合以增強語義特征。文獻[7]中引入了句子的主題信息。雖然這些模型豐富了文本的語義特征，取得了很好的效果，但另一方面也增加了模型復雜程度。另一類方法則集中于設計基于單詞、文檔嵌入的模型[8-9]，最近的幾項研究表明，深度學習在文本分類方面的成功在很大程度上取決于單詞嵌入的有效性。Tang等人[10]提出共同學習單詞、文檔以及標簽的嵌入表示。

最近，圖神經(jīng)網(wǎng)絡（graph neural network，GNN）在與圖形相關(guān)的任務中顯示出了極大的優(yōu)勢[11]，因為它們能夠通過擴展深度神經(jīng)網(wǎng)絡來學習任意具有圖結(jié)構(gòu)的數(shù)據(jù)，顯式地編碼節(jié)點屬性及其交互，隱式地學習高階依賴關(guān)系。研究人員將卷積應用到圖結(jié)構(gòu)上，也就是圖卷積網(wǎng)絡[12]（graph convolutional network，GCN），此外，還有將注意力機制（例如graph attention network，GAT[13]）、門機制（例如gated graph neural network，GGNN[14]）和殘差機制（例如highway-GCN[15]）引入圖網(wǎng)絡的方法。Yao 等人[16]提出了TextGCN，通過為文本和單詞構(gòu)建單一的異構(gòu)圖將文本分類任務轉(zhuǎn)換為節(jié)點分類任務。這種圖構(gòu)建方式既需要考慮整個語料庫中的所有單詞，又要考慮存儲邊信息，導致大量的內(nèi)存資源被占用，同時邊信息的表達能力也受到了嚴重限制，影響了最終的分類效果。與TextGCN不同，Huang等人[17]為每個輸入文本構(gòu)建獨立的圖結(jié)構(gòu)，并采用全局參數(shù)共享的方式更新單詞節(jié)點的特征信息。該方法減少了邊的數(shù)量，降低了內(nèi)存資源占用，但這種方式也減少了單詞節(jié)點之間的交互。

雙曲空間中的表示學習受到越來越多的關(guān)注，并廣泛應用于圖嵌入、自然語言處理和推薦系統(tǒng)等許多領域。圖嵌入[18]被應用到雙曲空間中學習文本的層次特征表示。Nickel等人[19]專注于通過在雙曲空間中嵌入圖來發(fā)現(xiàn)概念之間的成對層次關(guān)系。許多研究嘗試把各種各樣的層級數(shù)據(jù)嵌入到雙曲空間，在嵌入向量維度更少的條件下在下游的機器學習任務中取得了更好的效果，并在知識問答、機器翻譯、圖分析等應用上取得了性能上的提升。Zhang等人[20]通過雙曲層級注意力網(wǎng)絡模型Hype-HAN生成從詞向量到句向量，再到最終的文檔向量，然后利用生成的這些語義向量用于自動文本分類任務。Chen 等人[21]提出基于雙曲流形表征的多標簽文本分類方法，學習文本和標簽的雙曲表征之間的細粒度交互機制用于提高分類準確度。上述方法使用簡單的雙曲空間測地線距離度量詞語的相似性，作為標簽文本交互函數(shù)具有正定性且沒有上界，計算量較大的同時無法很好地訓練損失函數(shù)。

2 模型建立

算法的目的是學習保存復雜邏輯關(guān)系的文本向量表示，并用學到的向量表示進一步預測文本所對應標簽的概率。考慮到雙曲空間的層次結(jié)構(gòu)與注意力網(wǎng)絡的信息融合能力以及標簽與文本特征學習的相關(guān)性，提出了基于雙曲圖注意力網(wǎng)絡的短文本分類算法L-HGAT，算法主要包括三個部分：（1）雙曲空間向量表示及特征變換；（2）雙曲注意力機制；（3）標簽信息優(yōu)化文本表示。

2.1 雙曲空間向量表示及特征變換

文本圖由單詞節(jié)點，文本節(jié)點構(gòu)成，構(gòu)建文本圖的過程具體為：使用寬度為w的滑動窗口內(nèi)單詞節(jié)點的互信息PMI來構(gòu)建單詞節(jié)點之間的邊，PMI是一種常用的單詞關(guān)聯(lián)度量方法：

其中，W′(i)表示數(shù)據(jù)中包含詞的i的窗口數(shù)量，W′(i,j)是數(shù)據(jù)集中同時包含詞i和j的窗口數(shù)量，W是數(shù)據(jù)集中窗口的總數(shù)。文本與單詞節(jié)點間的邊使用BM25 算法，當節(jié)點構(gòu)成自環(huán)時權(quán)值為1，其他情況下權(quán)值為0，權(quán)值表達式如下：

以單詞節(jié)點為例，為了使節(jié)點特征能夠在雙曲空間中傳播計算，首先使用指數(shù)映射函數(shù)將其投影到雙曲空間，即：

其中，ti表示節(jié)點i在歐氏空間中的特征，ti∈，m表示為雙曲空間中的一個點，表示為在點m的切空間，c表示映射到曲率為-1/c的雙曲空間，并使用半徑為的龐家萊球模型對其進行描述，表示為在點m處的對節(jié)點特征ti進行指數(shù)映射，，當m=0 時：

莫比烏斯乘法滿足矩陣結(jié)合律并且若Mqi=0，那么，將hi作為節(jié)點i在雙曲空間中的表示，也可以看作是雙曲注意力機制的隱藏層特征。

2.2 雙曲注意力機制

使用雙曲注意力機制的目的是利用中心節(jié)點與鄰居節(jié)點的雙曲相似度來區(qū)別對待不同的鄰居節(jié)點，學習基于節(jié)點雙曲表示的注意力系數(shù)，根據(jù)該系數(shù)加強對局部重要特征的提取能力并獲得雙曲空間中的聚合表示。其中節(jié)點i對節(jié)點j的注意力系數(shù)表示為αij=f(hi,hj)，f表示基于雙曲距離的計算節(jié)點間注意力的函數(shù)：

＜·,·＞代表歐氏空間中的內(nèi)積，由于雙曲空間是度量空間，與歐幾里得空間中的內(nèi)積不同，雙曲距離滿足了三角形不等式，因此自注意可以保持節(jié)點間的傳遞性。給定節(jié)點i與自身的注意力系數(shù)αii=f(hi,hi)=0，即節(jié)點與自身的注意力系數(shù)為0，節(jié)點與鄰居節(jié)點的注意力系數(shù)總是大于自注意力系數(shù)的。為了便于比較鄰居節(jié)點的注意力系數(shù)，使用softmax 函數(shù)對注意力函數(shù)進行歸一化：

與圖注意力網(wǎng)絡GAT 不同的是，算法使用的節(jié)點的最終聚合表示包含了自身的權(quán)重以及對應的邊權(quán)重，將記為，充分利用邊結(jié)構(gòu)所包含的統(tǒng)計性信息，生成高階文本表示：

當c趨于0時，該式轉(zhuǎn)變?yōu)闅W幾里得標量乘法：

其中，莫比烏斯標量乘法滿足標量加法分布性和標量乘法結(jié)合性。

使用多頭注意力可以提高模型的泛化能力，在歐氏空間中將多個單頭注意力結(jié)果進行拼接，多個注意力拼接的空間是每個單頭注意力空間的笛卡爾積，因此在歐氏空間中多頭注意力的操作與單頭注意力是一樣的。與歐氏空間不同，雙曲空間的乘積不等于高維雙曲空間，這就意味著不能直接將歐氏空間中的多頭注意力操作直接應用于雙曲空間。因此需要設計一種雙曲空間多頭注意力算法。

首先將節(jié)點i的K個m維雙曲特征表示,…,組成潛在語義特征：

設計多頭雙曲注意力系數(shù)的計算方法為：

使用softmax函數(shù)對節(jié)點i的所有鄰居的注意力系數(shù)進行歸一化：

最終獲得雙曲多注意力輸出為：

公式（11）與公式（18）的計算量隨著節(jié)點數(shù)增加而增大，而莫比烏斯加法既不滿足交換律也不滿足結(jié)合律，只能按順序計算結(jié)果：以公式（11）為例，將記為vij：

對數(shù)映射能夠?qū)㈦p曲空間中節(jié)點vi,vj映射到歐幾里得空間，以此利用歐幾里得空間的運算法則簡化運算，具體為：

當vi=0 時，即該節(jié)點為原點時，公式（21）可以表示為。最后使用指數(shù)映射方法將節(jié)點映射回雙曲空間繼續(xù)進行運算：

公式（11）以及公式（18）所使用的雙曲非線性變換方法具體為：

其中，c和c′分別為當前層的雙曲空間曲率和下一層的雙曲空間曲率，由于兩個雙曲空間在點0 處共享切空間，所以可以在非線性激活過程中平滑兩層的曲率。

2.3 標簽信息優(yōu)化文本表示

在歐式空間中研究者常常使用余弦相似度距離來度量詞語之間的相似性，而雙曲空間具有高內(nèi)聚、低耦合的特性，無法保證相似詞語的詞向量的夾角更靠近[22]。因此需要采用以雙曲空間測地線距離為基礎的相似性度量關(guān)系進行度量。簡單地使用雙曲距離計算量較大，需要設計一種距離映射函數(shù)，滿足區(qū)間為[0，1]，并且當詞語間的相關(guān)性越大時，該函數(shù)對應的值越大，反之越小，從而學習針對特定標簽的文本特征，推斷文本所屬的標簽。模型采用距離映射函數(shù)的計算結(jié)果作為文本和標簽的交互值：

因此對于第l個標簽而言，其標簽適應的文本表示為：

其中，σ是sigmoid 激活函數(shù)，φ是非線性變換函數(shù)，We、Wf為權(quán)重參數(shù)，上述算法計算量隨標簽數(shù)據(jù)規(guī)模增大而顯著增大，大部分文檔僅含有小部分標簽，采用負采樣的方法降低計算量，最小化損失函數(shù)為：

式中，L+代表真實標簽的集合，L-代表負采樣得到的負例標簽集合。

2.4 模型整體框架

基于以上章節(jié)對L-HGAT各個模塊的介紹，L-HGAT整體框架如圖1所示。主要包括三個模塊，分別為特征變換模塊、雙曲注意力機制模塊和標簽信息優(yōu)化文表示模塊。具體流程為：首先構(gòu)建由單詞節(jié)點、文本節(jié)點構(gòu)成的文本圖，獲得節(jié)點歐式特征后將其通過指數(shù)映射函數(shù)映射到雙曲空間，轉(zhuǎn)變?yōu)楦唠A潛在表示。然后通過計算節(jié)點i與鄰居節(jié)點j的雙曲距離，獲得節(jié)點i和節(jié)點j之間的注意力系數(shù)。最后利用標簽信息進一步引導文本中的節(jié)點學習高階潛在語義特征，獲取文本的最終聚合表達式，模型計算量隨著標簽規(guī)模的增大而增大，為了提高計算效率，采用負采樣方法計算損失函數(shù)，反向傳播并更新參數(shù)，最終輸出文本節(jié)點對應的標簽。

圖1 L-HGAT框架圖Fig.1 L-HGAT frame

3 實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)集與評價指標

實驗使用5 個廣泛使用的基準數(shù)據(jù)集，分別為20newsgroups（20NG）、Ohsumed、路透社的R52和R8以及Movie Review（MR）數(shù)據(jù)集，上述數(shù)據(jù)集具有鮮明的層次結(jié)構(gòu)，與雙曲空間的樹相似特性契合。訓練集與測試集劃分與文獻[16]中的分割方法相同。表1展示了上述數(shù)據(jù)集的統(tǒng)計特征。

表1 數(shù)據(jù)集統(tǒng)計信息Table 1 Dataset statistics

（1）20NG 收集了20 個不同主題的新聞組集合，每個文檔平均長度為221.26個單詞。

（2）Ohsumed采用7 400個單標簽文檔，每個文檔平均長度為23個單詞。

（3）R8有8個類別，R52有52個類別，每個文檔平均長度分別為65.72和69.82個單詞。

（4）MR 是一個用于情感分類的電影評論數(shù)據(jù)集，該語料庫有5 331條正面評論和5 331條負面評論。

評價指標為正確率（Accuracy），表示預測正確的樣本數(shù)占樣本總數(shù)的百分比。

3.2 對比算法

實驗將算法與多種最先進的文本分類基線模型進行了比較，8種模型如下：

（1）傳統(tǒng)深度學習方法：CNN-rand、CNN-non-static、LSTM和Bi-LSTM。其中CNN-rand表示使用隨機詞向量作為輸入，而CNN-non-static、LSTM和Bi-LSTM則采用預訓練的詞向量作為輸入。

（2）使用詞語上下文信息的分類方法：fastText[23]和SWEM[24]。fastText 使用多個單詞及其n-gram 特征，加快了模型處理速度。SWEM 通過對詞向量進行簡單的池化操作提升了分類性能。

（3）基于圖的文本分類方法：TextGCN和HyperGAT[25]。其中TextGCN 使用圖卷積網(wǎng)絡學習圖中節(jié)點（單詞、文檔）的特征向量表示。HyperGAT 則是一種基于雙注意機制的模型，其支持文本超圖上的表示學習，以更少的計算量獲得了更多的表達能力。

3.3 實驗環(huán)境與參數(shù)設置

本實驗在服務器上進行，實驗的基本環(huán)境如下：操作系統(tǒng)為Ubuntu 18.04、GPU 為Nvidia RTX A4000、CUDA版本為11.7、Python環(huán)境版本為Python 3.8、深度學習框架使用TensorFlow2.9.0。所有模型的參數(shù)設置與文獻[16]相同，其中dropout為0.5，單頭注意力機制為8維，Adam優(yōu)化器的學習率為0.02。使用預訓練的詞嵌入作為CNN-non-static、LSTM和Bi-LSTM模型的輸入。

3.4 結(jié)果分析

表2顯示了各模型的正確率。L-HGAT模型在四個數(shù)據(jù)集上均表現(xiàn)最好，在R52 數(shù)據(jù)集上精度略低于HyperGAT，但也得到了比較有競爭力的結(jié)果，這表明了該模型在文本分類數(shù)據(jù)集上的普適性以及有效性。CNN擅長捕捉局部特征，相比提供隨機單詞嵌入，當提供預先訓練過的單詞嵌入時，在長文本數(shù)據(jù)集Ohsumed和上也有較好的表現(xiàn)?；贚STM 的模型也比較依賴預先訓練好的單詞嵌入，并且在文檔較短時往往表現(xiàn)更好。fastText 的性能明顯優(yōu)于LSTM 和Bi-LSTM，因為它采用有監(jiān)督的方式并利用標簽信息來學習更有區(qū)別性的文本嵌入。SWEM 的精度提升則證明了簡單的池化方法的有效性。TextGCN在MR上優(yōu)于基于CNN和基于LSTM的模型，進一步證明了捕獲長距離的單詞交互的重要性。L-HGAT 模型效果與基準模型相比效果提升的主要原因是：模型通過在雙曲空間學習文本的嵌入表示，一定程度上避免了表示坍縮現(xiàn)象，同時使用改進的圖注意力網(wǎng)絡捕獲鄰域節(jié)點信息并進一步學習了文本與標簽之間的隱含關(guān)系，有利于混淆類別的區(qū)分。

表2 實驗結(jié)果對比（正確率）Table 2 Comparison of experimental results（accuracy）

為了驗證雙曲流行表征在文本分類任務中的有效性，本文設計一種對比實驗，使用Word2vec、Glove以及本文所使用的雙曲流行表征等三種嵌入表示作為輸入，并設計了基于歐式特征的分類器。其中W-Classifier表示使用Word2vec 詞嵌入作為輸入，使用GAT 學習節(jié)點信息，使用余弦相似度作為標簽文本的交互函數(shù)的分類器。G-Classifier 與W-Classifier 模型架構(gòu)相同，但使用Glove 詞嵌入。由于雙曲數(shù)據(jù)只能在雙曲空間進行計算，H-Classifier 將雙曲流行表征映射到切空間，使用GAT 學習節(jié)點信息后，映射回雙曲空間，并使用雙曲距離作為標簽文本交互函數(shù)。三種分類器在R8數(shù)據(jù)集和20NG數(shù)據(jù)集上的計算結(jié)果如圖2所示。實驗結(jié)果表明基于雙曲流行表征的H-Classifier分類器準確度最高，并且在嵌入維度為100 時相較于Word2vec 嵌入和Glove嵌入存在更明顯的優(yōu)勢。這是因為雙曲表征的高內(nèi)聚低耦合特性，能夠用更少的參數(shù)量來表達詞語相關(guān)性、文本層級結(jié)構(gòu)等信息。

圖2 不同文本表征對于文本分類的影響Fig.2 Effect of different word embedding for text classification

為了驗證雙曲注意力機制的有效性，本文設計了一種消融實驗，實驗結(jié)果如表3所示。表中歐式注意力模型L-GAT 作為對比算法。L-GAT 模型使用歐式特征作為輸入，使用余弦相似度距離作為標簽與文本的交互函數(shù)，表中展示了歐式注意力機制和雙曲注意力機制在不同嵌入維度設置下的結(jié)果。從表3中可以看出，雙曲注意力模型整體上效果更好，在較低維度下，L-HGAT 也有良好的性能表現(xiàn)。

表3 消融實驗Table 3 Ablation experimental results

為了驗證標簽優(yōu)化文本表示對于文本分類的作用，使用四種算法作為對比，分別為：歐式注意力模型記為歐式無標簽，歐式注意力模型融合標簽優(yōu)化表示記為歐式有標簽，只包含雙曲注意力機制而沒有標簽引導文本學習的模型記為雙曲無標簽，L-HGAT算法記為雙曲有標簽，實驗結(jié)果如圖3 所示，在所有基準數(shù)據(jù)集上雙曲有標簽模型效果最好。在Ohsumed 數(shù)據(jù)集上歐式有標簽模型準確度高于雙曲無標簽模型，而在其他四個基準數(shù)據(jù)集上歐式有標簽模型雖然略低于雙曲無標簽模型，但也有較好的表現(xiàn)，并且全部有標簽模型準確度都高于對應的無標簽模型，這說明了標簽與文本交互能夠提升文本分類精度。

圖3 標簽與文本交互對于分類的影響Fig.3 Influence of interaction between label and text for text classification

為了驗證雙曲多頭注意網(wǎng)絡的影響，使用歐式多頭注意網(wǎng)絡L-GAT作為對比。實驗將所有數(shù)據(jù)集的節(jié)點表示維數(shù)設為300，以探索不同注意頭數(shù)量下的L-HGAT的性能。驗證雙曲多頭注意網(wǎng)絡的實驗結(jié)果如圖4～圖7所示。

圖4 注意力頭數(shù)對20NG數(shù)據(jù)集的影響Fig.4 Effect of number of attention head on 20NG dataset

圖5 注意力頭數(shù)對R8數(shù)據(jù)集的影響Fig.5 Effect of number of attention head on R8 dataset

圖6 注意力頭數(shù)對Ohsumed數(shù)據(jù)集的影響Fig.6 Effect of number of attention head on Ohsumed dataset

圖7 注意力頭數(shù)對MR數(shù)據(jù)集的影響Fig.7 Effect of number of attention head on MR dataset

在四個數(shù)據(jù)集上的計算結(jié)果表明，相比于歐式多頭注意模型（Euclidean），雙曲多頭注意模型（Hyper）精度更高，這是因為雙曲多頭注意模型能夠更好地結(jié)合不同層次不同焦點的相關(guān)特征而增強表示能力。無論是歐式多頭注意還是雙曲多頭注意都比自注意網(wǎng)絡精度更高。這是因為多頭注意網(wǎng)絡往往能夠在模型訓練過程中融合節(jié)點的多種特征作為輔助信息。

3.5 復雜度分析

計算復雜度由運算中的乘法次數(shù)決定，L-HGAT模型中的乘法運算主要存在于頂點的特征映射和計算注意力系數(shù)過程中。頂點的特征映射，即將d維的向量qi映射到d′維的雙曲空間，其中d和d′分別為輸入特征和輸出特征的維數(shù)，M是d×d′維的參數(shù)矩陣。因此的時間復雜度是O(d·d′)，對于所有的頂點的特征進行映射，則其時間計算復雜度為為圖中的節(jié)點數(shù)。計算注意力系數(shù)過程中的αij=f(hi,hj)將2×d′維的向量映射到一個實數(shù)上，則其計算復雜度為O(d′)，計算注意力系數(shù)的次數(shù)為圖的邊數(shù)，因此該時間計算復雜度為，|E|為圖中邊數(shù)。綜上所述，L-HGAT 的時間復雜度為，其復雜性與其他圖神經(jīng)網(wǎng)絡方法相同，如GAT、GCN等。除此以外，L-HGAT模型可以實現(xiàn)并行化提高數(shù)據(jù)處理效率。具體來說，節(jié)點的自注意力的計算可以在所有邊上并行化，而文本聚合表示的計算也可以在所有節(jié)點上并行化。

4 結(jié)束語

本文在文本分類任務的特征選擇問題中，考慮到傳統(tǒng)歐氏空間文本分類方法對文本的層級結(jié)構(gòu)關(guān)注較少并且忽視了標簽對于文本特征學習的重要性的問題，設計了一種基于雙曲圖注意力網(wǎng)絡的短文本分類算法。充分利用文本層級結(jié)構(gòu)，加強對文本特征中的重要信息的提取能力，并利用標簽信息進一步優(yōu)化文本表示，以提升分類準確度。多個數(shù)據(jù)集上的實驗結(jié)果表明所提算法較現(xiàn)有算法分類效果更好。在未來的工作中，還可以融合主題、知識等特征，構(gòu)建更為豐富的異構(gòu)圖網(wǎng)絡，提高分類精度。