基于卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的文本分類模型

汪嘉偉， 楊煦晨， 琚生根， 袁 宵， 謝正文

(四川大學(xué)計算機(jī)學(xué)院， 成都 610065)

1 引 言

文本分類為自由文本文檔分配預(yù)定義的類別，是自然語言處理領(lǐng)域的基礎(chǔ)性任務(wù).文本分類的應(yīng)用包括情感分析[1]、問題分類[2]、主題分類[3-5]等.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[6-8]廣泛應(yīng)用于文本分類.單詞級別的淺層CNN模型[6]使用預(yù)訓(xùn)練的詞向量[9]作為輸入，利用多種具有不同過濾器的CNN抽取文本序列的局部特征，在文本分類任務(wù)上取得了良好的表現(xiàn).由于模型的深度較淺(只有一層CNN)，單詞級別的淺層CNN模型無法捕捉長距離依賴[10].文獻(xiàn)[11]詳細(xì)研究了CNN模型的深度對分類效果的影響，發(fā)現(xiàn)對于單詞級別的CNN模型，加深模型的層數(shù)并不能提高模型的準(zhǔn)確率，反而導(dǎo)致模型準(zhǔn)確率的下降.為了捕捉長距離依賴，本文引入自注意力機(jī)制.首先，文本序列中的每個單詞通過CNN得到一個上下文表示，自注意力機(jī)制通過計算所有單詞的上下文表示兩兩之間的相似度捕捉長距離依賴；然后，利用最大池化得到文本序列的最終表示；最后，將該表示送入全連接層得到分類結(jié)果.與單詞級別的淺層CNN模型比較，本文的模型在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers 5個公開的數(shù)據(jù)集上準(zhǔn)確率得到了一致的提升.

2 相關(guān)工作

在文本分類上，有著大量的研究.傳統(tǒng)的方法使用線性模型[4]或支持向量機(jī)[12-13]根據(jù)手工構(gòu)造的文本特征對文本進(jìn)行分類.這些特征包括詞袋特征、n-gram特征、TF-IDF特征等.

近年來，隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型廣泛應(yīng)用于文本分類[1，6-8，14-16].文本分類任務(wù)的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類：基于RNN的模型、基于CNN的模型和基于注意力機(jī)制的模型.

RNN適用于處理序列輸入，因此，許多RNN的變種被應(yīng)用于文本分類.文獻(xiàn)[14]利用LSTM建模序列，文獻(xiàn)[1]利用LSTM和門控RNN建模句子間的關(guān)系.文獻(xiàn)[15]利用層級GRU對文檔進(jìn)行建模，并利用注意力機(jī)制捕獲文檔中重要的單詞信息和句子信息.文獻(xiàn)[16]將殘差連接[17]引入RNN,使模型能夠處理更長的序列.

CNN在計算機(jī)視覺領(lǐng)域獲得了巨大的成功[17-18]，文獻(xiàn)[19]首次將CNN應(yīng)用于自然語言處理任務(wù).文獻(xiàn)[6]使用預(yù)訓(xùn)練的詞向量[9]作為輸入，利用一層CNN捕捉文本序列的局部特征和位置信息.文獻(xiàn)[7]首次探索了字符級別的深層CNN(6層)分類模型.文獻(xiàn)[8]構(gòu)建了一個字符級別的極深的CNN(29層)分類模型.

文獻(xiàn)[20]首次僅利用注意力機(jī)制解決自然語言處理任務(wù)，沒有使用任何RNN和CNN結(jié)構(gòu).文獻(xiàn)[21]將注意力機(jī)制應(yīng)用于文本分類任務(wù)，與文獻(xiàn)[20]相同，沒有使用任何RNN和CNN結(jié)構(gòu).

基于RNN的分類模型受制于RNN的串行結(jié)構(gòu)，無法在序列上并行計算.字符級別的深層CNN模型由于模型深度的急劇增加，導(dǎo)致模型的計算復(fù)雜度隨之上升，嚴(yán)重影響了模型在實踐中的應(yīng)用.僅僅基于注意力機(jī)制的模型無法捕捉文本序列的局部特征.單詞級別的淺層CNN模型無法捕捉長距離依賴.本文結(jié)合CNN和自注意力機(jī)制，提出一種新的單詞級別的文本分類模型Word-CNN-Att. Word-CNN-Att使用CNN捕捉文檔的局部特征，利用自注意力機(jī)制捕捉長距離依賴.

3 模 型

模型的整體架構(gòu)如圖1所示.模型由卷積層、自注意力層、池化層和全連接層組成.卷積層用于捕捉文本序列的局部特征和位置信息，自注意力層用于捕捉長距離依賴，池化層用于獲得文本序列的最終表示，全連接層用于最后的分類.

3.1 卷積層

卷積層用于提取輸入序列的局部特征和位置信息.xi∈Rd是一個d維的向量，表示輸入序列中的第i個單詞，一個長度為n的序列表示為：

x1:n=x1⊕x2⊕…⊕xn

(1)

其中，⊕是一個連接操作符；xi:i+j表示單詞xi,xi+1,…,xi+j的連接；過濾器w∈Rk×d對具有k個單詞的窗口進(jìn)行卷積操作，產(chǎn)生新的特征.例如，特征

ci=f(w·xi-(k-1)/2,i+(k-1)/2+b)

(2)

其中，b∈R是偏置；f是非線性函數(shù)ReLU.對于超過序列邊界的索引，本文采用零填充.這個過濾器應(yīng)用到每個可能的窗口，產(chǎn)生一個特征圖.

(3)

卷積層共有m個核寬為k的過濾器，對每個過濾器重復(fù)上述過程，并將得到的特征圖連接起來，得到：

Z=(z1,z2,…,zn)

(4)

Z∈Rn×m.如圖1所示，本文采用多個核寬分別為3、4、5的過濾器.

3.2 自注意力層

自注意力機(jī)制的核心在于點乘注意力[20]，點乘注意力的計算過程如圖2所示，定義如下.

(5)

圖1 模型架構(gòu).使用3種不同的過濾器，分別具有核寬：3,4,5，每種過濾器有兩個Fig.1 Architecture of Model. 3 convolutional layers with respective kernel window sizes 3,4,5 are used, and each of which has 2 filters

令Z=(z1,z2,…,zn)為卷積層的輸出，即自注意力層的輸入，zi∈Rm.在自注意力機(jī)制中，Q,K,V都是同一向量的線性變換.因此，本文定義自注意力如下.

Self-Att(Z)=

Attention(ZWQ,ZWK,ZWV)=

(6)

其中，WQ,WK,WV∈Rm×m，WQ,WK,WV都是模型的參數(shù)，在模型訓(xùn)練中學(xué)習(xí)得到.

自注意力機(jī)制通過計算整個序列中所有令牌兩兩之間的相似度捕捉任意距離的長距離依賴[20].與RNN不同，由于RNN下一時刻的輸入依賴于上一時刻的隱藏層狀態(tài)，所以捕捉距離為n的長距離依賴，RNN的時間復(fù)雜度為O(n).而自注意力機(jī)制可以并行計算任意兩兩令牌之間的相似度，捕捉距離為n的長距離依賴的時間復(fù)雜度為O(1).因此，自注意力機(jī)制有著非常好的并行性.

自注意力層的整體結(jié)構(gòu)如圖3所示，與文獻(xiàn)[18]相同，本文引入殘差連接[17]和層歸一化[22].因此，自注意力層的輸出為

SelfAtt-Out=layernorm(Self-Att(Z)+Z)

(7)

圖2 點乘注意力

圖3 自注意力層結(jié)構(gòu)Fig.3 Architecture of self-attention layer

3.3 池化層與全連接層

對于自注意力層的輸出，應(yīng)用最大池化，每個特征圖得到一個最大值，將所有特征圖的最大值連接起來，得到輸入序列的最終表示.

g=(e1,e2,…,em)

(8)

最后，一個線性層將g映射成文本類別數(shù)目的維度.

y=Wyg+by

(9)

4 實 驗

4.1 任務(wù)和數(shù)據(jù)集

本文實驗采用5個大規(guī)模的文本分類數(shù)據(jù)集,這些數(shù)據(jù)集在文獻(xiàn)[7]中提出,包括4種分類任務(wù)：新聞分類、本體分類、情感分析和主題分類.數(shù)據(jù)集的具體情況如表1所示.表1中，“#Train”代表訓(xùn)練集的樣例數(shù)目;“#Test”代表測試集的樣例數(shù)目;“#Classes”代表數(shù)據(jù)集的種類個數(shù);“#Average Length”代表數(shù)據(jù)集中樣例的平均單詞數(shù)目.

表1 數(shù)據(jù)集的分布

4.2 實驗細(xì)節(jié)

本文使用NLTK對語料進(jìn)行分詞，僅使用在訓(xùn)練集中至少出現(xiàn)3次的單詞構(gòu)建詞表.詞表中未出現(xiàn)的單詞使用一個特殊的令牌UNK代替.

本文使用斯坦福大學(xué)公開發(fā)行的Glove 300維詞向量[9]作為預(yù)訓(xùn)練的詞向量.對于未出現(xiàn)在預(yù)訓(xùn)練的詞向量中的單詞，本文使用從均勻分布(-0.1, 0.1)中采樣的300維向量作為其詞向量.

本文使用初始學(xué)習(xí)率為0.001的Adam優(yōu)化算法[23].batch size設(shè)為64.對于每個數(shù)據(jù)集，實驗使用訓(xùn)練集的10%作為驗證集.本文使用核寬為3、4、5的過濾器各100個.在模型的輸入層和線性層使用dropout[24]，dropout的丟棄率為0.5.

4.3 實驗結(jié)果與分析

本文使用準(zhǔn)確率作為評價指標(biāo)，準(zhǔn)確率越大模型效果越好.實驗結(jié)果如表2所示.

表2 模型準(zhǔn)確率

表2的第2行至第4行展示了傳統(tǒng)的方法的準(zhǔn)確率，bag of words[7]模型基于訓(xùn)練集中頻率最高的50 000個單詞構(gòu)建，ngrams[7]模型基于訓(xùn)練集中頻率最高的500 000個n-grams構(gòu)建，ngrams TFIDF[7]模型與ngrams[7]模型相同，但使用TFIDF作為特征.從表2可知，傳統(tǒng)的方法在AGNews、DBPedia、Yelp Review Polarity3個相對小的數(shù)據(jù)集上表現(xiàn)較好，在Yelp Review Full、Yahoo! Answers兩個相對大的數(shù)據(jù)集上表現(xiàn)較差.FastText[25]為文本分類模型提供了一個有力的基線.

char-CNN[7]、char-CRNN[26]、char-VDCNN[8]都是字符級別的CNN模型，將字符作為基本輸入單位.char-CNN使用了一個深層的CNN(6層).與char-CNN相比，本文的模型Word-CNN-Att在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers 5個數(shù)據(jù)集準(zhǔn)確率分別提高了6.5%、0.6%、1.4%、3.0%、2.9%.char-CRNN模型利用CNN和RNN聯(lián)合學(xué)習(xí)文本特征，與char-CRNN模型相比，Word-CNN-Att在5個數(shù)據(jù)集準(zhǔn)確率分別提高了2.3%、0.3%、1.6%、3.2%、2.4%.char-VDCNN構(gòu)建了一個極深的CNN(29層)，與char-VDCNN相比，Word-CNN-Att在5個數(shù)據(jù)集準(zhǔn)確率分別提高了2.4%、0.2%、0.4%、0.3%、0.7%.可以看到，盡管char-VDCNN遠(yuǎn)比Word-CNN-Att深，Word-CNN-Att在各個數(shù)據(jù)集上的準(zhǔn)確率仍然均超過了char-VDCNN模型.由上述分析可知，字符級別的模型，無論是純粹的CNN模型或結(jié)合CNN和RNN的模型，盡管模型遠(yuǎn)比Word-CNN-Att深，但表現(xiàn)均不如Word-CNN-Att. Word-CNN-Att是單詞級別的模型，可以有效地利用單詞的語義信息，而字符級別的模型無法利用單詞的語義信息.

Discriminative LSTM[14]是一個單詞級別的模型，利用LSTM作為特征提取器，將輸入序列中所有單詞的隱藏層狀態(tài)之和作為文本序列的最終表示.與Discriminative LSTM相比，Word-CNN-Att在5個數(shù)據(jù)集準(zhǔn)確率分別提高了1.6%、0.2%、3.5%、5.4%、0.4%.與LSTM相比，CNN能夠有效地捕捉局部特征，但無法捕捉長距離依賴，而Word-CNN-Att利用自注意力機(jī)制捕捉長距離依賴.

Self-Attention[21]模型完全基于自注意力機(jī)制，沒有使用任何RNN和CNN結(jié)構(gòu)，利用專門的位置向量編碼位置信息.與Self-Attention模型相比，Word-CNN-Att在5個數(shù)據(jù)集準(zhǔn)確率分別提高了1.1%、0.2%、0.9%、1.0%、0.0%.Word-CNN-Att不僅使用自注意力機(jī)制捕捉長距離依賴，并且使用CNN學(xué)習(xí)文本序列的局部特征，而純粹的自注意力機(jī)制無法學(xué)習(xí)局部特征；與專門的位置向量相比，CNN能夠更有效地學(xué)習(xí)位置信息.

如表2所示，與單詞級別的一層CNN(Word-CNN)模型相比，Word-CNN-Att在5個數(shù)據(jù)集準(zhǔn)確率分別提高了0.9%、0.2%、0.5%、2.1%、2.0%.實驗結(jié)果表明,自注意力機(jī)制有效地捕捉了長距離依賴，彌補(bǔ)了CNN無法捕捉長距離依賴的不足，提升了模型處理長文本分類任務(wù)的能力.表3展示了一個word-CNN-Att分類正確，而word-CNN分類錯誤的樣例.word-CNN或許抽取了一些關(guān)鍵的局部信息，比如：great、lovely,從而將該樣例錯誤分類為positive.而word-CNN-Att模型可以捕捉長距離依賴，因此可以捕捉到However之后的信息，所以將該樣例正確分類為negative.

表3 樣例分析

5 結(jié) 論

本文提出了一種結(jié)合CNN和自注意力機(jī)制的文本分類模型Word-CNN-Att.該模型利用CNN提取文本局部特征和位置信息，利用自注意力機(jī)制捕捉長距離依賴.在5個大型公開文本分類數(shù)據(jù)集上的實驗結(jié)果表明,Word-CNN-Att提升了單詞級別的淺層CNN模型的效果.在未來的研究中，計劃引入外部知識來進(jìn)一步增強(qiáng)模型的文本分類能力.