融合CNN-SAM與GAT的多標(biāo)簽文本分類模型

楊春霞，馬文文，陳啟崗，桂 強(qiáng)

1.南京信息工程大學(xué) 自動(dòng)化學(xué)院，南京 210044

2.江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京 210044

3.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京 210044

多標(biāo)簽文本分類（multi-label text classification，MLTC）作為自然語(yǔ)言處理（natural language processing，NLP）文本分類的核心任務(wù)之一，旨在從文本內(nèi)容中快速、準(zhǔn)確地挖掘出更為詳細(xì)的標(biāo)簽信息，其在情感分析、新聞分類、問(wèn)答任務(wù)等應(yīng)用場(chǎng)景均有廣泛應(yīng)用。伴隨著移動(dòng)社交平臺(tái)與互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)文本的數(shù)量爆發(fā)式增長(zhǎng)，大量未經(jīng)規(guī)范化的文本數(shù)據(jù)與用戶交互數(shù)據(jù)無(wú)疑增加了分類研究的難度。因此，為了更高效地分析處理文本數(shù)據(jù)，滿足用戶需求，需要進(jìn)一步完善和提高分類技術(shù)的研究。

相比于單標(biāo)簽文本分類任務(wù)而言，MLTC任務(wù)就是根據(jù)文本數(shù)據(jù)信息，為其自動(dòng)分配出與之相關(guān)聯(lián)的多個(gè)標(biāo)簽，如一篇體育新聞可能同時(shí)屬于“籃球”“足球”和“乒乓球”等多個(gè)主題，準(zhǔn)確分類的關(guān)鍵在于是否能從上下文語(yǔ)義信息中準(zhǔn)確挖掘出與主題相關(guān)的關(guān)鍵特征。目前針對(duì)文本主要特征的提取常使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[1-2]或注意力機(jī)制[3-4]模型，并且均取得不錯(cuò)的分類效果。然而CNN在利用卷積層提取信息時(shí)，只考慮其局部鄰近詞匯的語(yǔ)義信息，忽略了文本單詞之間長(zhǎng)距離信息依賴關(guān)系。相反，注意力機(jī)制可以很好捕捉全局詞與詞之間的依賴關(guān)系，為文本中每個(gè)詞賦予相應(yīng)的權(quán)重，突出文本中關(guān)鍵詞信息的表示，但缺乏局部上下文語(yǔ)義信息之間的聯(lián)系，這表明單一地從局部或者全局捕獲文本信息并不是最優(yōu)的。

除了對(duì)文本信息的提取，最近，肖琳等人[5]將特定文本標(biāo)注的標(biāo)簽信息融入文本信息中，并取得不錯(cuò)的效果，這初步表明基于語(yǔ)義聯(lián)系的標(biāo)簽信息的融入對(duì)提高多標(biāo)簽分類效果有一定幫助，從而也進(jìn)一步驗(yàn)證了Zhang等人[6]所提出不同標(biāo)簽之間的關(guān)聯(lián)性可以有效提升模型的分類性能的結(jié)論。但是僅僅局限于特定文本標(biāo)簽之間的語(yǔ)義聯(lián)系，一方面部分標(biāo)簽之間存在的緊密連接關(guān)系可能會(huì)丟失，另一方面也不能體現(xiàn)出不同標(biāo)簽之間的關(guān)聯(lián)程度。因此，如何挖掘全局標(biāo)簽之間的依賴關(guān)系是目前需要盡快解決的一個(gè)問(wèn)題。

針對(duì)以上兩個(gè)問(wèn)題，本文提出融合CNN-自注意力機(jī)制（self attention mechanism，SAM）與圖注意力網(wǎng)絡(luò)（graph attention network，GAT）的多標(biāo)簽文本分類模型（CS-GAT），主要貢獻(xiàn)如下：

（1）本文利用多層CNN與SAM分別提取文本的局部與全局特征信息并進(jìn)行融合，獲取更為全面的特征向量表示。

（2）本文將不同文本標(biāo)簽之間的關(guān)聯(lián)性轉(zhuǎn)變?yōu)榫哂腥中畔⒌倪吋訖?quán)圖，然后利用多層GAT充分挖掘全局標(biāo)簽之間的關(guān)聯(lián)程度。

（3）模型在三個(gè)公開(kāi)英文數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與相關(guān)的五個(gè)主流基線模型作對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文提出的CS-GAT模型的分類效果明顯優(yōu)于基線模型。

1 相關(guān)工作

由于早期機(jī)器學(xué)習(xí)方法效率不高，近年來(lái)MLTC任務(wù)的研究更青睞于深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的研究方法。

文本的類別特征通常由上下文中某幾個(gè)短語(yǔ)或詞語(yǔ)來(lái)確定，CNN通過(guò)對(duì)文本連續(xù)詞序列信息進(jìn)行卷積、池化操作來(lái)獲取文本局部主要特征信息，如Kim[7]首次利用CNN的卷積、池化層對(duì)文本特征進(jìn)行最大化提取，提高了文本在多個(gè)領(lǐng)域的分類效果。Liu等人[8]在考慮樣本標(biāo)簽數(shù)量大、數(shù)據(jù)稀疏等問(wèn)題后利用CNN解決MLTC問(wèn)題，將動(dòng)態(tài)池化層從不同角度提取文本主要特征，使得提取效果有了顯著提升。雖然CNN在以上分類任務(wù)的研究中均取得不錯(cuò)的效果，但缺乏對(duì)文本全局信息的考量，如“大量溫室氣體的排放導(dǎo)致全球氣候變暖，隨著美國(guó)退出了《巴黎協(xié)定》，這可能會(huì)進(jìn)一步加劇這個(gè)問(wèn)題”，CNN可以將其捕獲為“氣候變暖”“美國(guó)退出《巴黎協(xié)定》”等局部信息。但從全局來(lái)看，如“大量”“退出”“可能”和“加劇”等詞語(yǔ)既可以更加突出文本的主要特征信息，又能在一定程度上削弱無(wú)關(guān)信息所帶來(lái)的影響，而CNN卻無(wú)法將這些全局權(quán)重信息分配給對(duì)應(yīng)的特征。

對(duì)于全局信息的捕獲，在早期的機(jī)器翻譯模型中，Attention機(jī)制通過(guò)重點(diǎn)關(guān)注與當(dāng)前翻譯詞相關(guān)的詞匯信息來(lái)提高當(dāng)前詞翻譯的準(zhǔn)確度，從而提高模型的性能?；诖嗽?，You等人[9]使用SAM提取文本特征，Yang等人[10]利用SAM作為編碼器提取文本全局交互信息，均驗(yàn)證了SAM可以有效捕獲文本內(nèi)容貢獻(xiàn)的差異性。然而SAM只考慮全局詞之間的依賴關(guān)系，卻忽略了局部鄰近詞匯之間的語(yǔ)義聯(lián)系。于此，本文同時(shí)利用多層CNN與SAM對(duì)文本信息進(jìn)行提取、融合，充分獲取具有文本局部與全局特征的向量表示。

在考慮文本內(nèi)容信息的同時(shí)，Xiao等人[11]將文本標(biāo)注的標(biāo)簽信息融入文本信息中，雖然取得不錯(cuò)的效果，卻忽略了全局標(biāo)簽之間的依賴關(guān)系。在此基礎(chǔ)上，You等人[12]提出AttentionXML，通過(guò)構(gòu)建淺而寬的概率標(biāo)簽樹(shù)來(lái)捕獲與每個(gè)標(biāo)簽最相關(guān)的文本部分。Huang等人[13]提出隨機(jī)游走模型，采用廣度優(yōu)先游走和深度優(yōu)先游走對(duì)標(biāo)簽節(jié)點(diǎn)進(jìn)行采樣。Xiao等人[14]提出頭-尾網(wǎng)絡(luò)，將文本中出現(xiàn)頻率高的標(biāo)簽信息轉(zhuǎn)移到出現(xiàn)頻率低的標(biāo)簽信息，提高了尾部分類器的泛化能力。以上方法雖然考慮了全局標(biāo)簽之間的相關(guān)性，但主要有效解決了尾部標(biāo)簽所產(chǎn)生的影響，而對(duì)于不同標(biāo)簽之間的關(guān)聯(lián)程度仍沒(méi)有得到很好的處理。在單標(biāo)簽文本分類任務(wù)中，Yao等人[15]依據(jù)文檔-詞、詞-詞之間的聯(lián)系構(gòu)建一個(gè)異構(gòu)圖，然后利用圖卷積神經(jīng)網(wǎng)絡(luò)很好地捕獲了全局詞共現(xiàn)關(guān)系。受此啟發(fā)，本文將不同文本標(biāo)簽-標(biāo)簽之間的關(guān)聯(lián)性轉(zhuǎn)變?yōu)榫哂腥中畔⒌倪吋訖?quán)圖，然后利用GAT的注意力機(jī)制代替圖卷積神經(jīng)網(wǎng)絡(luò)的靜態(tài)歸一化卷積運(yùn)算來(lái)挖掘全局標(biāo)簽之間的相關(guān)聯(lián)程度。

2 CS-GAT模型

本文提出的CS-GAT模型分別由文本與標(biāo)簽詞嵌入層、BiLSTM層、融合局部與全局的文本特征提取層、標(biāo)簽圖注意力層、標(biāo)簽文本交互層，自適應(yīng)融合層、模型訓(xùn)練組成，其總體框架如圖1所示。

圖1 模型框架Fig.1 Framework of model

2.1 任務(wù)定義

給定訓(xùn)練集{(C1,y1),(C2,y2),…,(Cm,ym)}，其中Cm表示第m個(gè)文本，每個(gè)文本由一系列詞向量{w1,w2,…,wn}所表示，ym為第m個(gè)文本對(duì)應(yīng)的標(biāo)簽類別，ym∈{0,1}k，其中k表示所有文本包含的標(biāo)簽種類總數(shù)。本文的MLTC任務(wù)是通過(guò)訓(xùn)練集對(duì)CS-GAT模型的訓(xùn)練，能夠?qū)⑿碌奈礃?biāo)記的樣本分類到k個(gè)語(yǔ)義標(biāo)簽中。

2.2 文本與標(biāo)簽詞嵌入層

本文采用Glove[16]預(yù)訓(xùn)練詞向量對(duì)文本與標(biāo)簽中的詞進(jìn)行初始化向量表示，對(duì)于文本Cm，N∈Rn×d即將文本信息經(jīng)過(guò)詞嵌入層后被映射為一個(gè)低維稠密向量矩陣，矩陣的大小為n×d，其中n表示文本中詞的數(shù)量，d表示每個(gè)詞向量的維度。同理，標(biāo)簽也由詞嵌入向量矩陣l∈Rk×d表示。根據(jù)Glove模型的共現(xiàn)特性，文本與標(biāo)簽初始化后詞向量之間仍具備一定的語(yǔ)義聯(lián)系。

2.3 BiLSTM層

雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（bi-directional long shortterm memory，BiLSTM）可以捕捉文本上下文雙向語(yǔ)義依賴關(guān)系。當(dāng)t時(shí)刻輸入的文本詞向量為wt，則單向LSTM序列中t時(shí)刻的隱層狀態(tài)ht計(jì)算過(guò)程如下：

式中，ft、it、ct、ct、ot分別為t時(shí)刻遺忘門(mén)、輸入門(mén)、臨時(shí)細(xì)胞狀態(tài)、細(xì)胞狀態(tài)與輸出門(mén)值，W與b分別為對(duì)應(yīng)的權(quán)重矩陣與偏差項(xiàng)，σ為sigmoid激活函數(shù)，tanh為雙曲正切激活函數(shù)。

刻詞向量正反向信息表示與進(jìn)行拼接，得到BiLSTM的輸出表示H，使每個(gè)單詞獲取具有上下文語(yǔ)義信息的表示，計(jì)算式為：

2.4 融合局部與全局的文本特征提取層

為了更全面地提取文本特征信息，本文集成了多層CNN與SAM各自的優(yōu)勢(shì)，分別從局部與全局兩個(gè)角度對(duì)文本信息進(jìn)行建模。

2.4.1 局部信息提取層

CNN憑借其適應(yīng)性強(qiáng)[17]、結(jié)構(gòu)簡(jiǎn)單、計(jì)算復(fù)雜度低等優(yōu)勢(shì)廣泛應(yīng)用于NLP各個(gè)領(lǐng)域中，本文也將利用其提取文本局部主要特征信息，模型結(jié)構(gòu)如圖2所示。

圖2 CNN模型Fig.2 CNN model

本文選用3個(gè)不同長(zhǎng)度，寬度均與詞向量長(zhǎng)度相同的卷積核通過(guò)滑動(dòng)窗口的移動(dòng)對(duì)BiLSTM的輸出H進(jìn)行局部特征提取，特征圖表示為：

式中，wc為權(quán)重矩陣，m為卷積核的滑動(dòng)步長(zhǎng)，表示從詞向量矩陣第i個(gè)位置開(kāi)始移動(dòng)m個(gè)詞向量所組成的矩陣表示，b為偏差項(xiàng)，f為sigmoid激活函數(shù)，vi表示第i個(gè)位置的卷積特征值。

為提取文本中的N-gram主要特征，將利用最大池化層對(duì)特征圖壓縮并提取其主要特征信息，然后將不同卷積核提取到的特征向量進(jìn)行拼接，形成特征序列ec。

由于考慮最終的輸出與SAM輸出進(jìn)行融合，因此將拼接后的向量ec經(jīng)過(guò)全連接層改變其維度，獲取文本最終局部特征表示ec=linear(ec)∈Rn′×2dh。

2.4.2 全局信息提取層

在MLTC任務(wù)中，SAM實(shí)質(zhì)是在權(quán)衡上下文全局信息后為文本中每個(gè)詞賦予相應(yīng)的權(quán)重，權(quán)重值越大的詞在分類任務(wù)中發(fā)揮的作用就越大，分類效果也就越好。

本文將BiLSTM的輸出H作為SAM的輸入，然后將其分別與三個(gè)待訓(xùn)練的參數(shù)矩陣WQ、WK、WV相乘得到查詢矩陣Query、被查詢矩陣Key以及實(shí)際特征信息矩陣Value：

然后將Query與Key矩陣做內(nèi)積運(yùn)算并進(jìn)行歸一化處理，得到每個(gè)詞向量對(duì)應(yīng)的得分。接著使softmax激活函數(shù)處理得到的每個(gè)詞的權(quán)重比例與實(shí)際特征信息Value矩陣相乘，獲取具有全局信息的詞向量表示ea。

式中，dk為向量的維度，主要為了防止內(nèi)積值隨著向量的維度增大而增加，進(jìn)而使梯度趨于穩(wěn)定。

2.4.3 特征融合

在獲取文本局部、全局特征表示后，本文將兩者進(jìn)行融合，得到包含局部和全局的語(yǔ)義特征向量X：

將局部與全局特征點(diǎn)組合成特征向量X∈Rn′×2dh作為多標(biāo)簽文本分類實(shí)例特征表示，既可以從融合的特征向量中獲得最具差異性的信息表示，又可以增強(qiáng)模型的特征表達(dá)能力。

2.5 標(biāo)簽圖注意力層

由于每個(gè)文本均包含兩個(gè)及以上的標(biāo)簽，不同文本的標(biāo)簽之間可能存在依賴關(guān)系或相關(guān)性。基于此，根據(jù)共現(xiàn)原理，本文由圖G=(V,E)來(lái)挖掘標(biāo)簽-標(biāo)簽之間存在的關(guān)聯(lián)性。其中V為標(biāo)簽的節(jié)點(diǎn)表示，E表示標(biāo)簽-標(biāo)簽之間的關(guān)聯(lián)程度。因此，由圖G的拓?fù)浣Y(jié)構(gòu)所構(gòu)成的鄰接矩陣表示為：

式中，nij為兩個(gè)標(biāo)簽節(jié)點(diǎn)i、j在所有文檔中共同出現(xiàn)的次數(shù)，Cm表示第m個(gè)文本。Aij表示將矩陣Xij的對(duì)角線元素全部設(shè)置為1，即每個(gè)標(biāo)簽節(jié)點(diǎn)的自循環(huán)操作。D為矩陣Aij的度矩陣，即將矩陣Aij進(jìn)行歸一化處理。

圖3 GAT模型Fig.3 GAT model

式中，α為注意力機(jī)制，即標(biāo)簽節(jié)點(diǎn)j對(duì)節(jié)點(diǎn)i的重要程度；ω為權(quán)值參數(shù)向量，W為權(quán)重參數(shù)矩陣。LeakyReLU為非線性激活函數(shù)，αij為標(biāo)簽j相對(duì)于標(biāo)簽i的歸一化注意系數(shù)。k∈Ni表示節(jié)點(diǎn)i的所有一階鄰域節(jié)點(diǎn)，j∈Ni表示節(jié)點(diǎn)i的某一個(gè)一階鄰域節(jié)點(diǎn)，其中k、j均包含自身節(jié)點(diǎn)i，σ為非線性激活函數(shù)。

為了更全面地提取標(biāo)簽信息，本文將兩層圖注意力網(wǎng)絡(luò)獲取的標(biāo)簽信息表示進(jìn)行拼接，得到標(biāo)簽特征Gi：

其中，t表示GAT的層數(shù)，“||”為拼接符號(hào)，αtij為第t次GAT運(yùn)算中標(biāo)簽j相對(duì)于標(biāo)簽i的歸一化注意力系數(shù)，Wt為第t次GAT運(yùn)算中權(quán)重矩陣參數(shù)。

2.6 標(biāo)簽文本交互層

交互注意力機(jī)制（interactive attention mechanism，IAM）通過(guò)對(duì)兩個(gè)句子關(guān)聯(lián)的相似特征進(jìn)行提取，從而捕捉到對(duì)應(yīng)句子內(nèi)部重要的語(yǔ)義信息。因此，為了進(jìn)一步加強(qiáng)標(biāo)簽之間的語(yǔ)義聯(lián)系，本文將緊密連接的全局標(biāo)簽信息表示與文本上下文語(yǔ)義信息表示做交互注意力計(jì)算，獲取基于文本語(yǔ)義聯(lián)系的全局標(biāo)簽特征表示。

如圖4所示，首先將標(biāo)簽矩陣G與BiLSTM輸出H進(jìn)行點(diǎn)乘運(yùn)算得到信息交互矩陣M，M中的每個(gè)值表示標(biāo)簽與文本信息的相關(guān)性；接著利用soft max激活函數(shù)分別對(duì)M的行與列作歸一化處理，獲取文本對(duì)標(biāo)簽和標(biāo)簽對(duì)文本的注意力分?jǐn)?shù)αij和βij，計(jì)算過(guò)程如式（22）~（24）所示：

圖4 交互注意力機(jī)制模型Fig.4 Interactive attention mechanism model

式中，⊙為點(diǎn)乘運(yùn)算，Mij表示文本上下文中第i個(gè)詞對(duì)第j個(gè)標(biāo)簽的相關(guān)性，αij表示上下文中第i個(gè)詞對(duì)第j個(gè)標(biāo)簽的注意力權(quán)重，βij表示第i標(biāo)簽對(duì)上下文中第j個(gè)詞的注意力權(quán)重。

然后對(duì)βij的列取平均得到文本級(jí)注意力，接著取標(biāo)簽注意力權(quán)重向量αij與文本級(jí)注意力向量-βT的點(diǎn)乘結(jié)果作為交互注意力向量γ。最后將其與標(biāo)簽矩陣G經(jīng)過(guò)點(diǎn)乘運(yùn)算獲取具有文本語(yǔ)義聯(lián)系的全局標(biāo)簽向量表示L，計(jì)算過(guò)程如下：

2.7 自適應(yīng)融合層

在獲取文本特征信息表示X與基于文本語(yǔ)義聯(lián)系的全局標(biāo)簽表示L后，本文采用自適應(yīng)融合策略對(duì)兩者進(jìn)行融合操作，從而提高模型的泛化能力。具體做法如下：

首先將文本特征信息表示X與標(biāo)簽信息表示L分別經(jīng)過(guò)sigmoid函數(shù)得到分配權(quán)重矩陣θ1與θ2：

式中，θ1、θ2分別表示文本信息、標(biāo)簽信息對(duì)預(yù)測(cè)標(biāo)簽j所構(gòu)成最終文本表示的重要程度，W1、W2為待訓(xùn)練的參數(shù)矩陣，因此預(yù)測(cè)的標(biāo)簽j信息最終表示為：

2.8 模型訓(xùn)練

模型最后將E通過(guò)多層感知器對(duì)其進(jìn)行預(yù)測(cè)：

式中，W3、W4為待訓(xùn)練參數(shù)矩陣，f為Re LU激活函數(shù)，通過(guò)sigmoid函數(shù)做歸一化處理，將其轉(zhuǎn)化為對(duì)應(yīng)的標(biāo)簽預(yù)測(cè)概率，接著通過(guò)交叉熵?fù)p失函數(shù)計(jì)算出損失值L：

其中，m為標(biāo)簽種類數(shù)目，n為文檔數(shù)，yij表示第i個(gè)文檔中標(biāo)簽j的真實(shí)值，yij表示第i個(gè)文檔中標(biāo)簽j的預(yù)測(cè)值。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文實(shí)驗(yàn)基于Pytorch深度學(xué)習(xí)框架，具體實(shí)驗(yàn)環(huán)境如表1。

表1 實(shí)驗(yàn)環(huán)境Table 1 Experimental platform

本文選用AAPD、RCV1-V2與EUR-Lex三個(gè)英文公開(kāi)數(shù)據(jù)集進(jìn)行模型性能評(píng)估，其中AAPD數(shù)據(jù)集從ArXiv計(jì)算機(jī)科學(xué)領(lǐng)域搜集的論文摘要及相應(yīng)的主題；RCV1-V2數(shù)據(jù)集由路透社有限公司提供的80多萬(wàn)篇人工分類的新聞報(bào)道組成；EUR-Lex數(shù)據(jù)集是由歐盟法律文件所組成。三個(gè)數(shù)據(jù)集詳細(xì)分布情況如表2所示。

表2 數(shù)據(jù)集信息Table 2 Statistics for dataset

3.2 實(shí)驗(yàn)參數(shù)

本文使用Glove模型對(duì)文本與標(biāo)簽信息進(jìn)行詞嵌入表示，詞向量的維度均為300。使用Adam優(yōu)化器對(duì)訓(xùn)練參數(shù)進(jìn)行優(yōu)化，使用Dropout來(lái)防止過(guò)擬合。具體參數(shù)設(shè)置如表3所示。

表3 實(shí)驗(yàn)參數(shù)設(shè)置Table 3 Setting of experimental parameters

3.3 評(píng)估指標(biāo)

本文采用精度（precision at K，P@K）和歸一化折損累計(jì)增益（normalized discounted cumulative gain at K，nDCG@K）作為模型評(píng)估指標(biāo)。具體公式如下：

式中，l∈rankk(y)為真實(shí)標(biāo)簽在預(yù)測(cè)標(biāo)簽的前k個(gè)索引，||y||0表示真實(shí)標(biāo)簽向量y中相關(guān)標(biāo)簽的個(gè)數(shù)。

3.4 基線模型

本文選取以下五種主流且較新的基線模型作對(duì)比實(shí)驗(yàn)：

（1）XML-CNN[8]：利用CNN可以從不同角度對(duì)文本的詞序列信息做處理的特點(diǎn)，設(shè)計(jì)一個(gè)動(dòng)態(tài)池化層對(duì)文本特征進(jìn)行多角度的提取，提高標(biāo)簽預(yù)測(cè)的準(zhǔn)確性。

（2）EXAM[18]：利用交互注意力機(jī)制計(jì)算文本信息與標(biāo)簽信息匹配得分，將聚合的分?jǐn)?shù)作為每個(gè)類別預(yù)測(cè)的概率。

（3）SGM[19]：基于不同標(biāo)簽之間的相關(guān)性，將MLTC任務(wù)看作序列生成問(wèn)題，利用LSTM對(duì)文本所含標(biāo)簽類別逐一預(yù)測(cè)。

（4）AttentionXML[9]：將文本信息的初始化向量表示依次通過(guò)BiLSTM、注意力機(jī)制挖掘出標(biāo)簽所對(duì)應(yīng)的文本內(nèi)容，最后根據(jù)概率鏈規(guī)則預(yù)測(cè)出對(duì)應(yīng)的標(biāo)簽類別。

（5）LSAN[11]：主要將標(biāo)簽信息與文本信息通過(guò)自適應(yīng)融合的方式來(lái)實(shí)現(xiàn)對(duì)文本內(nèi)容的預(yù)測(cè)。

3.5 對(duì)比實(shí)驗(yàn)分析

本文提出的CS-GAT模型與五個(gè)基線模型的實(shí)驗(yàn)結(jié)果如表4~6所示。在三個(gè)數(shù)據(jù)集上，CS-GAT模型相較于最好的LSAN模型P@K分別提升了1.02、1.18、0.94；1.29、1.44、0.66；2.33、1.14、1.29個(gè)百分點(diǎn)。nDCG@K分別提升了1.02、0.88、0.68；1.29、2.09、1.71；2.33、1.60、1.36個(gè)百分點(diǎn)，可以體現(xiàn)出CS-GAT模型是優(yōu)越的。

表4 在AAPD上的結(jié)果對(duì)比Table 4 Comparison of results on AAPD單位：%

表5 在RCV1-V2上的結(jié)果對(duì)比Table 5 Comparison of results on RCV1-V2單位：%

表6 在EUR-Lex上的結(jié)果對(duì)比Table 6 Comparison of results on EUR-Lex單位：%

從總體上來(lái)看，XML-CNN、EXAM、SGM與AttentionXML四個(gè)模型相比于LSAN與CS-GAT模型較差，原因在于這四個(gè)模型均沒(méi)有單獨(dú)地將文本標(biāo)注的標(biāo)簽信息考慮進(jìn)去，盡管SGM與AttentionXML試圖建立文本與標(biāo)簽之間的聯(lián)系，但僅僅局限于對(duì)文本內(nèi)容的訓(xùn)練與學(xué)習(xí)，就會(huì)降低尾部標(biāo)簽的預(yù)測(cè)能力。除此之外，這四個(gè)基線模型，XML-CNN在AAPD與EUR-Lex數(shù)據(jù)集上性能最差，原因是其只考慮文本局部語(yǔ)義信息，其他模型均通過(guò)注意力機(jī)制從全局的角度考慮了不同文本內(nèi)容對(duì)標(biāo)簽的影響，突出了關(guān)鍵語(yǔ)句或詞的特征表示，所以模型的學(xué)習(xí)能力會(huì)更好一點(diǎn)。相反，在RCV1-V2數(shù)據(jù)集上，雖然各模型的分類效果都顯著提升，但XMLCNN卻優(yōu)于EXAM與SGM模型，主要因?yàn)镋XAM與SGM更側(cè)重捕獲文本與標(biāo)簽的關(guān)聯(lián)性，然而RCV1-V2數(shù)據(jù)集總詞數(shù)少、類別較為明確，在挖掘文本深層次語(yǔ)義信息與標(biāo)簽的關(guān)聯(lián)程度的過(guò)程中容易造成過(guò)擬合，導(dǎo)致在測(cè)試集上降低了文本的預(yù)測(cè)精度。因此對(duì)于更側(cè)重于文本語(yǔ)義挖掘的XML-CNN與AttentionXML在RCV1-V2數(shù)據(jù)集上學(xué)習(xí)效率更高。

縱觀對(duì)比實(shí)驗(yàn)結(jié)果，XML-CNN、EXAM、SGM與AttentionXML四個(gè)模型在數(shù)據(jù)集上的表現(xiàn)有好有差。LSAN相比于其他基線模型在三個(gè)數(shù)據(jù)集上均取得了更好的結(jié)果，這是因?yàn)長(zhǎng)SAN通過(guò)自適應(yīng)融合策略自動(dòng)調(diào)整融合文本與標(biāo)簽信息的權(quán)重比例θ，提高了模型在各個(gè)數(shù)據(jù)集上的適應(yīng)能力，同樣本文的CS-GAT模型也考慮到了這一點(diǎn)。而本文的CS-GAT模型相比于LSAN有進(jìn)一步的提升，是因?yàn)橐环矫嫱ㄟ^(guò)CNN與SAM對(duì)文本局部與全局特征信息進(jìn)行提取、融合，增強(qiáng)了模型的特征表達(dá)能力；另一方面標(biāo)簽之間的聯(lián)系不再局限于特定文本的語(yǔ)義聯(lián)系，通過(guò)多層GAT充分挖掘全局標(biāo)簽之間的聯(lián)系以及關(guān)聯(lián)程度。從整體上看，信息的融合與標(biāo)簽的關(guān)聯(lián)有著更為緊密的聯(lián)系，因?yàn)橛行У靥崛∥谋咎卣餍畔⒌耐瑫r(shí)也能學(xué)習(xí)標(biāo)簽之間存在的緊密連接關(guān)系，所以CS-GAT是優(yōu)越的。

3.6 模型分析實(shí)驗(yàn)

3.6.1 CS-GAT模型的有效性驗(yàn)證

為了對(duì)CS-GAT模型的整體效果研究，本文從局部與全局信息、標(biāo)簽圖注意力兩個(gè)模塊進(jìn)行有效性驗(yàn)證。本文構(gòu)建C-Label、S-Label、CS-Label、CS-Label+CNN與CS-GAT模型，其中C-Label表示僅融合局部信息，S-Label表示僅融合全局信息，CS-Label表示同時(shí)融合局部與全局信息，CS-Label+CNN表示在CS-Label的基礎(chǔ)上將初始化后的標(biāo)簽信息通過(guò)CNN獲取連續(xù)標(biāo)簽之間的局部聯(lián)系，CS-GAT則表示在CS-Label的基礎(chǔ)上通過(guò)GAT捕捉全局標(biāo)簽之間的圖結(jié)構(gòu)信息。以AAPD數(shù)據(jù)集為例，將以上模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表7所示。

表7 CS-GAT模型有效性實(shí)驗(yàn)Table 7 CS-GAT model validity experiment單位：%

由表7可知，融合局部與全局信息、引入標(biāo)簽圖注意力兩種方式均可使得模型效果有所改善，而將兩者相結(jié)合的效果取得了進(jìn)一步提升，說(shuō)明本文的CS-GAT模型在整體上是更有效的。因?yàn)闃?biāo)簽是文本的表現(xiàn)形式，文本是標(biāo)簽的具體內(nèi)容，兩者相互依存有著緊密聯(lián)系，所以同時(shí)優(yōu)化文本與標(biāo)簽更有利于文本特征的劃分。

分模塊來(lái)看，相比于CS-Label而言，僅提取局部信息P@K與nDCG@K分別降低1.20、1.07、0.80；1.20、1.45、1.53個(gè)百分點(diǎn)，僅提取全局信息分別降低0.60、0.94、?0.08；0.60、1.11、0.35個(gè)百分點(diǎn)。這表明融合局部與全局信息對(duì)模型的分類性能有一定幫助作用。融合了局部與全局信息從文本特征角度來(lái)說(shuō)，CS-Label集成了CNN與SAM各自的優(yōu)勢(shì)，得到更為全面的特征向量表示；從文本信息角度來(lái)說(shuō)，一方面使原有維度下的信息量增強(qiáng)，另一方面從融合的特征向量中獲得最具差異性的信息表示，提高了模型的分類效果。除此之外，SLabel較C-Label模型P@K與nDCG@K分別提升了0.60、0.13、0.88；0.60、0.34、1.18個(gè)百分點(diǎn)。因?yàn)镃NN只關(guān)注于文本的局部信息，而SAM一方面可以捕獲文本的全局信息，另一方面也可以學(xué)習(xí)到不同文本內(nèi)容對(duì)標(biāo)簽的依賴程度，從而更好地劃分文本的特征信息，同時(shí)也進(jìn)一步驗(yàn)證了XML-CNN在AAPD與EUR-Lex數(shù)據(jù)集上的分類效果次于其他對(duì)比模型。

對(duì)于引入標(biāo)簽圖注意力，與CS-GAT相比，CS-Label模型P@K與nDCG@K分別降低0.80、1.13、1.40；0.80、0.89、1.13個(gè)百分點(diǎn)，CS-Label+CNN模型降低了0.40、1.20、1.10；0.40、0.76、0.62個(gè)百分點(diǎn)。這表明GAT模塊通過(guò)注意力機(jī)制對(duì)圖結(jié)構(gòu)數(shù)據(jù)中每個(gè)標(biāo)簽節(jié)點(diǎn)與其一階鄰域標(biāo)簽節(jié)點(diǎn)做聚合操作，促進(jìn)了全局標(biāo)簽之間的緊密連接關(guān)系，更好地學(xué)習(xí)出標(biāo)簽特征信息表示，從而提高模型的整體性能。通過(guò)以上實(shí)驗(yàn)，驗(yàn)證了本文所提模型的優(yōu)越性與有效性。

3.6.2 GAT層數(shù)設(shè)置實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證GAT的層數(shù)對(duì)CS-GAT模型的影響，本文依舊以AAPD數(shù)據(jù)集為例在兩個(gè)評(píng)估指標(biāo)上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖5、圖6所示。

圖5 不同GAT層數(shù)的P@K值Fig.5 P@K of different layers of GAT

圖6 不同GAT層數(shù)的nDCG@K值Fig.6 nDCG@K of different layers of GAT

為了防止GAT的層數(shù)過(guò)大導(dǎo)致實(shí)驗(yàn)結(jié)果出現(xiàn)過(guò)擬合，實(shí)驗(yàn)中取GAT層數(shù)范圍為{1，2，3，4，5，6}，圖中橫坐標(biāo)代表GAT的層數(shù)，縱坐標(biāo)分別為P@K與nDCG@K。從圖5與圖6中可以清晰看出，當(dāng)GAT層數(shù)設(shè)置為2的時(shí)候，P@K與nDCG@K的值均達(dá)到最高，驗(yàn)證了本文GAT層數(shù)設(shè)置為2的合理性。當(dāng)層數(shù)為3、4、5與6時(shí)，模型性能評(píng)估指標(biāo)值雖有起伏，但總體呈下降趨勢(shì)，主要因?yàn)殡S著訓(xùn)練參數(shù)增加，負(fù)載過(guò)大導(dǎo)致CS-GAT模型變得難以訓(xùn)練，所以GAT的層數(shù)設(shè)置為2為最佳。

4 結(jié)語(yǔ)

為了解決文本特征信息丟失與全局標(biāo)簽之間的依賴關(guān)系，本文提出了CS-GAT模型來(lái)解決多標(biāo)簽文本分類任務(wù)：通過(guò)CNN與SAM分別提取文本局部與全局特征信息并進(jìn)行融合，得到更為全面的特征向量表示；同時(shí)將不同文本標(biāo)簽之間的關(guān)聯(lián)性轉(zhuǎn)變?yōu)榫哂腥中畔⒌倪吋訖?quán)圖，然后利用多層GAT充分挖掘不同標(biāo)簽之間的關(guān)聯(lián)程度，接著將其與文本上下文語(yǔ)義信息進(jìn)行交互，獲取具有文本語(yǔ)義聯(lián)系的全局標(biāo)簽特征表示；最后通過(guò)自適應(yīng)融合策略進(jìn)一步提取兩者信息，提高模型的泛化能力。通過(guò)在三個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)，驗(yàn)證了CS-GAT模型的優(yōu)越性，同時(shí)也驗(yàn)證了融合局部與全局信息、引入標(biāo)簽圖注意力的有效性與合理性。

雖然本文提出的模型在三個(gè)數(shù)據(jù)集上均取得不錯(cuò)效果，但是在EUR-Lex這樣包含大量標(biāo)簽數(shù)據(jù)集上的分類效果還有待進(jìn)一步提升，下一階段將針對(duì)大量標(biāo)簽之間的緊密連接關(guān)系，挖掘其更深層次的語(yǔ)義聯(lián)系；同時(shí)進(jìn)一步調(diào)整模型參數(shù)，降低模型計(jì)算的復(fù)雜度，提高訓(xùn)練速度。