一種基于BERT和池化操作的文本分類模型

張 軍,邱龍龍

(1.東華理工大學軟件學院,江西 南昌 330013; 2.東華理工大學信息工程學院,江西 南昌 330013)

0 引 言

文本分類任務是一類典型的自然語言處理(Natural Language Processing, NLP)問題。隨著深度學習技術(shù)的發(fā)展，越來越多的自然語言處理問題有了新的解決方法。許多學者都試圖使用深度學習模型對各類NLP任務提供解決思路并取得了突破性進展[1-3]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)[4-5]是深度學習中的一類經(jīng)典模型，它最初被用來解決機器視覺和圖像處理領(lǐng)域的問題，之后也被應用于包括詞向量訓練和文本分類等在內(nèi)的自然語言處理任務中。然而，文本分類任務是典型的時間序列任務，CNN并沒有對應的機制對時序問題進行有效的處理。

針對這一問題，有學者提出了循環(huán)神經(jīng)網(wǎng)絡(luò)模型(Recurrent Neural Networks, RNN)[6-8]，它在結(jié)構(gòu)設(shè)計上考慮了時序任務的特性，為以文本分類任務為代表的各種時序任務提供了有效的解決思路。然而，由于RNN模型的訓練算法基于梯度下降思想，其在訓練時容易出現(xiàn)梯度消失問題。長短時記憶(Long-Short Time Memory, LSTM)[9-10]網(wǎng)絡(luò)試圖采用門控單元解決梯度消失問題，但由于LSTM不能同時考慮當前時刻的前后時刻對當前時刻的影響，在一定程度上影響了模型的性能。為了解決這個問題，Devlin等人提出了BERT (Bidirectional Encoder Representations from Transformers)模型[11-13]，引入了基于注意力(Attention)機制[14]的自注意力(Self-Attention)機制和多頭注意力(Multi-Headed Attention)機制，同時考慮了當前詞的前后單詞對當前詞的影響，從而能夠生成更加準確的文本表征，進而提升文本分類準確率。同時，由于BERT模型能夠并行地處理文本，使得其擁有更高的訓練效率。

由于BERT模型的多頭注意力機制會為每個單詞生成一個表征向量，再將文本中所有單詞的表征向量組成一個矩陣來表征文本，這會為后續(xù)的下游分類任務帶來問題：網(wǎng)絡(luò)層無法直接接受矩陣作為輸入，導致分類任務無法進行。為了解決這個問題，BERT在每個文本的前面加上一個無意義的符號[CLS]，在經(jīng)過多頭注意力機制的計算后，[CLS]對應的表征向量也學習到了文本的語義和上下文信息，故可以使用該向量來表征文本并進行下游分類任務。然而，該方法雖然解決了分類層輸入的問題，但是使用該方式訓練文本分類模型仍然存在不足：由于[CLS]對應的向量沒有考慮到文本的整體和局部特征，導致得到的文本表征向量不夠準確，進而會限制文本分類模型的性能。

為了解決這個問題，本文將池化操作引入到文本分類模型中，結(jié)合預訓練BERT模型生成更加準確的文本表征向量，以此提高文本分類模型的性能。結(jié)果表明，在引入池化操作后，分類模型的性能在實驗的所有文本分類任務中均得到了提升。

1 BERT模型的邏輯結(jié)構(gòu)

為了更好地理解BERT模型的工作原理，本章將詳細介紹BERT模型的邏輯結(jié)構(gòu)。BERT是一個基于Transformer[15]框架的通用語言模型，可為文本生成高質(zhì)量的表征向量。圖1展示了BERT模型的邏輯結(jié)構(gòu)。它由若干個編碼器組成，每個編碼器稱為一個Transformer塊。輸入的文本經(jīng)過嵌入層計算生成嵌入向量X，再將向量X輸入到Transformer塊中進行運算。并將前一層Transformer塊的輸出向量輸入到后一層Transformer塊中，如此迭代計算若干次后生成BERT模型對該文本的表征向量。

圖1中，X是文本中單詞的嵌入向量，它由3種相同維度的嵌入相加得到，包括嵌入向量token，嵌入向量position以及嵌入向量segment。其中，嵌入向量token包含字符的語義信息；嵌入向量position包含單詞的位置信息，引入該嵌入向量是為了防止BERT模型并行處理文本時丟失單詞的位置信息，它基于一定的規(guī)則生成；嵌入向量segment是針對文本對相關(guān)任務設(shè)計的，它標識某個單詞屬于哪個文本。BERT模型的輸入經(jīng)過嵌入層處理后得到嵌入向量X，該向量被輸入到Transformer塊中作進一步處理。

圖1 BERT模型的邏輯結(jié)構(gòu)

圖2展示了Transformer塊的內(nèi)部結(jié)構(gòu)。每個Transformer塊都實現(xiàn)了多頭注意力機制，并包含一個帶有歸一化層的前饋神經(jīng)網(wǎng)絡(luò)。多頭注意力機制包含了多個自注意力機制，并對多個自注意力機制的輸出進行組合、降維。

圖2 Transformer塊的內(nèi)部結(jié)構(gòu)

對于每個自注意力機制，BERT模型首先會針對文本中的每個單詞生成3個n維(即最終表征向量的維度)向量Q、K、V，這3個向量用于計算Attention分數(shù)值。自注意力機制利用該分數(shù)值決定文本中其他單詞對當前單詞的關(guān)注程度，以此來生成帶有上下文信息的表征向量。Q、K、V向量分別由對應單詞的嵌入向量X乘以權(quán)重矩陣WQ、WK、WV得到。WQ、WK、WV會在BERT模型預訓練前被隨機初始化，并在BERT模型預訓練過程中被不斷更新。Q、K、V向量的計算過程如圖3所示(以n=3為例)。

圖3 Q、K、V向量的計算過程

在BERT模型生成某個單詞的表征向量時，將該單詞對應的Q向量與文本中其他所有單詞的K向量分別進行點乘，得到一組Attention分數(shù)值，然后將這組分數(shù)值進行Softmax歸一化處理，之后將歸一化后的每個Attention分數(shù)值與對應單詞的V向量分別相乘后再相加，最后生成自注意力機制對該單詞的輸出向量r。

BERT模型中引入了基于自注意力機制的多頭注意力機制進行并行計算，以提高模型的效率，同時能夠?qū)W習到單詞不同的子語義空間，提升模型性能。該機制會設(shè)置多組WQ、WK、WV權(quán)重矩陣，通過如圖3所示的計算過程產(chǎn)生多組Q、K、V向量，然后利用這多組Q、K、V向量同時對文本中的單詞進行自注意力計算，從而可以得到多個輸出向量，包含更加豐富的上下文信息。之后，將這些輸出向量組成矩陣，并對之進行降維處理后，得到多頭注意力機制的輸出z。

多頭注意力機制的輸出向量z經(jīng)過Transformer塊中前饋神經(jīng)網(wǎng)絡(luò)的計算后，生成一個n維的輸出向量r。第i層Transformer塊的輸出ri將作為第i+1層Transformer塊的輸入，并在第i+1層Transformer塊中繼續(xù)進行相同的多頭注意力和前饋神經(jīng)網(wǎng)絡(luò)計算。此過程迭代計算k次后可得到BERT模型對當前詞的最終輸出rk。

對文本中的每個單詞都進行上述計算之后，能夠得到每個單詞對應的n維表征向量rk。BERT將這些向量組合成一個sentence_length×n維(sentence_length為文本的長度)的矩陣作為文本的表征。為了解決分類層不能使用矩陣作為輸入的問題，BERT在每個文本前面加上了一個無意義的符號[CLS]，可以使用該符號對應的表征向量作為文本的表征。在使用時，只需將BERT輸出矩陣的第一個行向量取出來輸入到分類層進行訓練即可。

2 引入池化操作的文本分類模型

2.1 池化操作的引入

直接使用[CLS]對應的向量作為文本的表征會存在以下問題：該方法沒有從單詞表征的每個維度上分別考慮不同單詞對文本語義的貢獻，導致生成的文本表征有局限性，進而導致文本分類模型性能下降。本文考慮到文本的整體特征和局部特征2方面，通過將平均池化(mean-pooling)和最大池化(max-pooling)引入到文本分類模型中，得到文本的整體和局部特征，以此解決上述問題。

在卷積神經(jīng)網(wǎng)絡(luò)中，池化操作通常和卷積操作配合使用，一般用來解決計算機視覺和圖像處理領(lǐng)域的問題。由于網(wǎng)絡(luò)經(jīng)過卷積操作的運算后，會生成高維度的特征圖，需要對這些特征圖進行降維，而池化操作可以起到降維作用以達到減少參數(shù)量的目的。常見的池化操作包括平均池化[16-17]和最大池化[18]：平均池化使用池化窗口中所有節(jié)點的平均值作為輸出，最大池化使用池化窗口中所有節(jié)點的最大值作為輸出?？梢钥闯?，平均池化綜合考慮了窗口中的所有節(jié)點的值，而最大池化更傾向于考慮窗口中最突出的節(jié)點。

為了將池化操作引入到文本分類模型，首先需要定義池化窗口的大小。由于需要在單詞表征的每個維度上考慮不同單詞對文本語義的貢獻，故可以將池化窗口的大小設(shè)置為sentence_length×1。在該窗口中進行池化操作，可以綜合考慮單詞表征的每個維度的信息。

在BERT的輸出矩陣上，使用大小為sentence_length×1的池化窗口分別進行平均池化和最大池化操作，得到2個n維的向量：mean_vec、max_vec。如上文所述，這2個向量分別包含了單詞表征各維度上的整體特征和局部特征。將這2個n維向量連接成一個2n維的向量作為文本的表征輸入到分類層進行訓練。

然而，最大池化操作只考慮每個池化窗口的最大值，即對于單詞表征的每個維度只會考慮一個最突出的單詞，這在文本較長或語義豐富時是不足以體現(xiàn)文本的特征的。故本文在最大池化的基礎(chǔ)上引入K-MaxPooling[19-21]池化，即進行K次池化操作，取池化窗口中最大的K個值。經(jīng)過K-MaxPooling操作后，會得到K個n維的向量，將這K個向量進行拼接，得到一個K×n維的向量，將其與平均池化所得的向量mean_vec拼接成一個(K+1)×n維的向量作為文本的表征。

2.2 帶有池化操作的文本分類模型

本節(jié)將重點介紹引入池化操作的文本分類模型的結(jié)構(gòu)。如圖4所示，在整體上，模型利用預訓練BERT模型的多頭注意力機制提取文本的上下文信息并獲取輸出矩陣；再使用大小為sentence_length×1的池化窗口對BERT的輸出矩陣進行各種池化操作得到文本的表征向量；最后將文本的表征向量輸入到歸一化層和全連接層得到模型的預測值。

圖4 基于BERT和池化操作的文本分類模型結(jié)構(gòu)

具體地，文本首先被輸入到BERT模型中，得到一個輸出矩陣。本文使用BASE版本預訓練BERT模型，該模型包含了12個Transformer塊，多頭注意力機制中“頭”的個數(shù)為12，隱層輸出的向量維度為768。接著，對BERT的輸出矩陣進行不同的池化操作以提取文本的表征向量，主要包括3種不同的池化操作：Mean_Pool、Mean_Max_Pool以及Mean_K_MaxPool。通過這3種方式生成的文本表征向量如圖5所示。

圖5 3種不同池化操作提取文本表征向量

從圖5中可以看出，Mean_Pool只使用平均池化，并將平均池化所得的向量mean_vec作為文本的表征向量。Mean_Max_Pool使用了平均池化和最大池化，將2種池化操作所得的向量mean_vec和max_vec進行拼接作為文本的表征向量。而Mean_K_MaxPool則使用平均池化和K_MaxPooling池化，將mean_vec和K_MaxPooling池化所得的K個向量進行拼接作為文本的表征向量?？梢允褂檬?1)～式(3)描述上述操作。

Mean=mean_vec

(1)

Mean_Max=con(mean_vec,max_vec)

(2)

Mean_KMax=con(mean_vec,top1_vec,…,topK_vec)

(3)

其中，函數(shù)con對向量進行拼接操作，Mean、Mean_Max和Mean_KMax分別為Mean_Pool、Mean_Max_Pool和Mean_K_MaxPool所提取的文本表征向量。

本文使用Layer Normalization (LN)對文本的表征向量進行歸一化，相較于Batch Normalization，LN更加適合處理NLP領(lǐng)域的問題，并且LN的性能不受批次大小的影響。最后使用一層全連接層計算樣本的預測向量。

在文本分類模型的訓練過程中，本文使用交叉熵函數(shù)作為損失函數(shù)。在使用交叉熵損失之前，需要對全連接層輸出的預測向量進行Softmax操作，使其滿足概率的基本性質(zhì)。Softmax函數(shù)和交叉熵損失函數(shù)定義如式(4)、式(5)所示。

(4)

(5)

其中，m為類別的數(shù)量；pic為樣本i的預測向量中類別c對應的預測值；Sic為經(jīng)過Softmax操作后樣本i屬于類別c的概率；yic取值為0或1，當樣本i的真實值等于c時取值為1，否則取值為0。

3 實驗與分析

為了驗證引入池化操作對文本分類模型性能的影響，本文設(shè)計多組對比實驗，分別在中、英文語言環(huán)境下以及不同類別個數(shù)的任務中訓練模型，并對各種模型進行評估。本實驗將使用[CLS]向量作為文本表征的模型用作基準模型，并且將引入池化操作后的模型與基準進行對比。

3.1 實驗環(huán)境及參數(shù)配置

本實驗的硬件環(huán)境包括GTX 1660ti GPU(6 GB顯存)、16 GB 3000 MHz的DDR4內(nèi)存條。軟件環(huán)境包括Python3.8、PyTorch1.8.0以及NumPy1.19.2。為了提升訓練效率，本文的所有實驗均設(shè)置在GPU上運行，并且設(shè)置mini批次的大小為32。其他一些重要的參數(shù)配置如下：損失函數(shù)為交叉熵損失、采用Dropout機制[22](節(jié)點失活概率為0.4)、采用Adam優(yōu)化器[23](β1=0.9，β2=0.999)。

3.2 數(shù)據(jù)集

本實驗的英文數(shù)據(jù)集使用斯坦福大學收集的標準文本分類數(shù)據(jù)集SST，該數(shù)據(jù)集由11855條電影評論構(gòu)成，每條電影評論對應一個從0到1的浮點情感分數(shù)值，該分數(shù)值越高說明對應的情感越積極。斯坦福大學還將該數(shù)據(jù)集分成了3類：訓練集8544條、驗證集1101條、測試集2210條。

為了在二分類、三分類以及五分類任務中驗證文本分類模型的性能，本實驗通過以下方式將SST數(shù)據(jù)集中樣本對應的浮點分數(shù)值分別轉(zhuǎn)換為二標簽、三標簽和五標簽分類任務對應的離散值：按照標簽個數(shù)平分區(qū)間[0,1]得到對應個數(shù)的子區(qū)間，分數(shù)值落在某一子區(qū)間，就將其歸為相應的類別。通過這種方式，可將SST數(shù)據(jù)集劃分為SST-2、SST-3以及SST-5數(shù)據(jù)集。

本實驗的中文數(shù)據(jù)集采用豆瓣的影評數(shù)據(jù)，從豆瓣的官網(wǎng)上爬取影評及對應的星級，將星級作為影評數(shù)據(jù)的標簽。本文對爬取到的數(shù)據(jù)進行重采樣，生成二分類數(shù)據(jù)集和五分類數(shù)據(jù)集，分別記作Db-2、Db-5。其中，Db-2包含7000條訓練集、1000條驗證集、2000條測試集，Db-5包含15297條訓練集、3000條驗證集、7000條測試集。

3.3 實驗結(jié)果分析

本實驗除了將本文提出的引入池化操作的文本分類模型與原始的BERT模型進行比較之外，還驗證了BERT的一些變體在所有實驗任務中的表現(xiàn)。這些變體模型主要包括RoBERTa[24]、ALBERT[25]以及SpanBERT[26]。其中，RoBERTa使用了動態(tài)掩碼技術(shù)，移除了BERT中的NSP任務，并且使用了更大的語料庫進行預訓練；ALBERT是一種輕量的BERT模型，它對Embedding層進行因式分解并且使用跨層參數(shù)共享技術(shù)達到減少參數(shù)量的目的；SpanBERT在MLM任務中對連續(xù)的標記片段進行掩碼，以此改進BERT中的掩碼語言模型。

3.3.1 準確率

為了驗證引入不同池化方法對文本分類模型性能的影響，表1、表2統(tǒng)計了各模型分別在SST-2、SST-3、SST-5、Db-2、Db-5任務中的分類準確率。其中，CLS表示直接使用[CLS]對應的向量作為文本表征的BERT模型，即基準模型；Mean_Pool為引入平均池化的模型；Mean_Max_Pool為引入平均池化和最大池化的模型；Mean_2_MaxPool、Mean_3_MaxPool、Mean_4_MaxPool為引入平均池化和K值分別為2、3、4的K-MaxPooling池化的模型。

表1 SST數(shù)據(jù)集中各模型的準確率對比

從表1可以看出，在引入了池化操作后，模型的準確率在SST數(shù)據(jù)集的所有任務中相較于基準和BERT的3種變體模型均有所提升。在SST-2任務中，Mean_4_MaxPool模型取得了最高的準確率，相較于基準提升了1.4%。在SST-3和SST-5任務中，Mean_3_MaxPool取得了最高準確率，相較于基準模型分別提升了1.5%、3.0%。

在SST任務中，BERT變體模型的準確率均低于BERT模型。ALBERT模型在3種變體模型中的表現(xiàn)最好，在SST-2、SST-3、SST-5任務中分別達到了85.3%、69.1%、54.2%的準確率。由于RoBERTa使用了更大的語料庫進行預訓練，導致下游分類任務的樣本量遠小于預訓練任務，進而加深模型的過擬合現(xiàn)象，降低模型分類性能；SpanBERT在英文數(shù)據(jù)集SST中的表現(xiàn)并不突出，這是由于它對連續(xù)片段進行掩碼是考慮到多個字組成一個詞的問題，從而對一個詞語或者短語進行掩碼，以更好地提取文本上下文信息，這更符合中文的語言特征，因此它在中文環(huán)境下表現(xiàn)更加優(yōu)異。

從表2可以看出，引入了池化操作后，模型的準確率在中文豆瓣數(shù)據(jù)集的2個任務中也均有所提升。在Db-2和Db-5任務中，Mean_3_MaxPool模型取得了最高準確率，相較于基準模型，準確率分別提升了1.5%、2.2%。特別地，在Db-5任務中，SpanBERT模型在所有未引入池化操作的模型中準確率達到最高值55.0%，這說明SpanBERT模型確實更適用于中文環(huán)境。

表2 豆瓣數(shù)據(jù)集中各模型的準確率對比

此外，在所有的任務中，相較于只引入了平均池化的Mean_Pool模型，Mean_Max_Pool模型和Mean_K_MaxPool(K=2,3,4)模型的準確率都更高。說明引入最大池化和K-MaxPooling后，模型提取的文本表征向量更加準確，分類效果更好。由于Mean_K_MaxPool比Mean_Max_Pool提取了更多的特征，所以其準確率更高。然而，并不是K的值越大模型的效果就越好，可以看出在大部分任務中，Mean_3_MaxPool取得了最高準確率，即K=3是一個比較好的選擇。這是由于K的值太大時，在單詞表征的每個維度上會取較多的值，其中一些較小的值不能很好地體現(xiàn)文本的特征，反而會影響模型整體的性能，其次，當K值很大的時候，會導致文本的表征向量維度過大，進而導致模型的效率降低。

3.3.2 精確率、召回率以及F1-Score

準確率是一種傳統(tǒng)且容易計算的評價指標。然而，當數(shù)據(jù)集中的正、負樣本個數(shù)不均衡時，使用準確率評估分類模型的性能是不合理的。在文本分類任務中，還可以使用精確率、召回率和F1-Score等指標評估文本分類模型的性能。其中，精確率precision和召回率recall可以使用式(6)、式(7)計算得到。

(6)

(7)

這2個公式中，TP是指預測為正、實際也為正的真陽性的樣本數(shù)量；FP是指預測為正、實際為負的假陽性的樣本數(shù)量；FN是指預測為負，實際為正的假陰性的樣本數(shù)量。

然而，使用精確率和召回率評估分類模型也有局限性：1)它們都只從一個方面(實際值或者預測值)去評估模型性能；2)由于FP和FN的和為固定值，無法使precision和recall這2個評價指標同時增大。有另一種評價指標F1-Score同時考慮了precision和recall，可以更加客觀地評估分類模型，其計算如式(8)所示。

(8)

表3和表4統(tǒng)計了各模型分別在SST-2、SST-3、SST-5、Db-2、Db-5任務中的F1-Score值。

從表3可以看出，在SST-2和SST-3任務中，Mean_3_MaxPool取得了最高的F1-Score值，相較于基準模型，F(xiàn)1-Score值分別提升了1.7%、3.1%。在SST-5任務中，Mean_4_MaxPool取得了最高的F1-Score值，相較于基準模型提升了2.1%。結(jié)合表1的準確率情況，可以推斷：英文數(shù)據(jù)集SST中，模型在K=3或4時能取得最優(yōu)性能，并且在這2種情況下的準確率和F1-Score值比較接近，故在一般情況下可以取K=3以提高模型的訓練效率。而對于BERT的3種變體模型，與其在SST任務中的準確率情況類似，在這3種變體模型中，仍以ALBERT的表現(xiàn)最好，并且其F1-Score值在SST-2和SST-3任務中超過了BERT模型。

表3 SST數(shù)據(jù)集中各模型的F1-Score值對比

表4 豆瓣數(shù)據(jù)集中各模型的F1-Score值對比

表4為各模型在Db-2和Db-5任務中的F1-Score值，可以看出，Mean_3_MaxPool模型在這2個任務中取得了最高的F1-Score值。相較于基準模型，Mean_3_MaxPool模型的F1-Score值分別提高了2.1%、2.3%。綜合表2，可以得出結(jié)論：在中文環(huán)境下，當K=3時，模型的準確率和F1-Score值均取得了最優(yōu)，說明模型提取文本的3個明顯局部特征和平均特征時能夠最準確地表征文本。此外，SpanBERT模型在2個中文任務中的表現(xiàn)優(yōu)于BERT和其他2個BERT變體模型，進一步證實了連續(xù)片段掩碼更加適用于中文環(huán)境中。

整體上看來，F(xiàn)1-Score值和準確率所體現(xiàn)的模型性能的情況是一致的：Mean_3_MaxPool或Mean_4_MaxPool模型在所有任務中取得了最高的準確率和F1-Score值。此外，當Mean_4_MaxPool模型取得最優(yōu)性能時，Mean_3_MaxPool模型的準確率和F1-Score值相較于Mean_4_MaxPool相差不大，并且Mean_3_MaxPool模型提取的特征向量維度更小，具有更高的訓練效率，故可以認為K=3時的Mean_3_MaxPool模型為最優(yōu)模型。

3.4 小結(jié)

通過以上多組對比實驗，可以看出在模型中引入池化操作后提取的文本表征向量更加準確，模型的分類性能也更好。然而，本文所提出的模型性能較基準模型提升有限，主要考慮到以下原因：1)預訓練BERT模型結(jié)構(gòu)復雜，參數(shù)數(shù)量十分龐大，而下游任務的訓練樣本較少，無法從根本上解決模型的過擬合現(xiàn)象；2)BERT模型沒有針對中文的語言特征設(shè)計適用于中文環(huán)境的模塊，在一定程度上限制了模型的分類性能。

本文的后續(xù)研究工作將重點從上述2點切入，以便更進一步提升模型的性能。對于第1點，后續(xù)研究工作將使用更大的數(shù)據(jù)集訓練文本分類模型，達到緩解過擬合現(xiàn)象的目的；對于第2點，百度團隊提出的ERNIE模型[27]針對中文的語言特征進行了改進，其在中文環(huán)境下的性能比BERT更加優(yōu)秀，后續(xù)將考慮結(jié)合ERNIE模型和池化操作訓練文本分類模型，以求在中文環(huán)境下達到更高的分類性能。

4 結(jié)束語

為了生成更加準確的文本表征向量，本文通過在預訓練BERT模型的輸出矩陣中引入不同種類的池化操作，提取到文本不同的特征，再將不同池化操作所得的向量進行拼接作為文本的表征向量。使用到的池化操作主要包括平均池化、最大池化以及K_MaxPooling，其中，K_MaxPooling中的K為超參數(shù)，本文在實驗部分對K取值為2、3、4分別進行實驗并對模型進行對比和評估。

為了更好地評估模型的性能，對本文訓練的分類模型和基準模型進行了關(guān)于準確率和F1-Score等評價指標的多組測試實驗。實驗結(jié)果發(fā)現(xiàn)，在所有的任務中，引入池化操作后模型的性能得到了不同程度的提升。Mean_3_MaxPool模型在大多數(shù)任務中取得了最高的準確率和F1-Score值，表明引入平均池化、最大池化以及K_MaxPooling池化能夠提取更加準確的文本表征向量，進而提升文本分類模型的性能。