基于預(yù)訓(xùn)練模型融合深層特征詞向量的中文文本分類

湯英杰 劉媛華

摘要：為解決傳統(tǒng)模型表示出的詞向量存在序列、上下文、語(yǔ)法、語(yǔ)義以及深層次的信息表示不明的情況，提出一種基于預(yù)訓(xùn)練模型（ Roberta）融合深層特征詞向量的深度神經(jīng)網(wǎng)絡(luò)模型，處理中文文本分類的問(wèn)題。通過(guò)Roberta模型生成含有上下文語(yǔ)義、語(yǔ)法信息的句子向量和含有句子結(jié)構(gòu)特征的詞向量，使用DPCNN模型和改進(jìn)門控模型（RGRU）對(duì)詞向量進(jìn)行特征提取和融合，得到含有深層結(jié)構(gòu)和局部信息的特征詞向量，將句子向量與特征詞向量融合在一起得到新向量。最后，新向量經(jīng)過(guò)softmax激活層后，輸出結(jié)果。在實(shí)驗(yàn)結(jié)果中，以F1值、準(zhǔn)確率、召回率為評(píng)價(jià)標(biāo)準(zhǔn)，在THUCNews長(zhǎng)文本中，這些指標(biāo)分別達(dá)到了98.41%，98.44%，98.41%。同時(shí)，該模型在短文本分類中也取得了很好的成績(jī)。

關(guān)鍵詞：預(yù)訓(xùn)練模型；Roberta模型；DPCNN模型；特征詞向量；中文文本分類

中圖分類號(hào)：TP 391.1

文獻(xiàn)標(biāo)志碼：A

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，以及社交平臺(tái)、購(gòu)物平臺(tái)的不斷涌現(xiàn)，人們暢游在網(wǎng)絡(luò)世界中，在享受高度便利和快捷生活的同時(shí)，海量信息也隨之充斥網(wǎng)絡(luò)，讓人們難辨真?zhèn)魏蜕茞骸?duì)網(wǎng)絡(luò)信息進(jìn)行正確的文本分類，可以有效降低互聯(lián)網(wǎng)輿論中負(fù)面的影響，如：造謠、詆毀、惡意中傷等事件。同時(shí)，正確的文本分類，可以建立起智能信息推薦系統(tǒng)，根據(jù)用戶的個(gè)人興趣來(lái)定位并推薦相關(guān)的新聞資料、商品信息等；也可以建立垃圾信息過(guò)濾系統(tǒng)，減少生活中瑣碎、煩心事件，極大地簡(jiǎn)便公眾的生活。

文本分類的方法包括使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法和深度神經(jīng)網(wǎng)絡(luò)構(gòu)建模型的方法。使用機(jī)器學(xué)習(xí)進(jìn)行文本分類時(shí)經(jīng)常會(huì)提取TF-IDF（term frequency-inverse document frequency）或者詞袋結(jié)構(gòu)，然后對(duì)模型進(jìn)行訓(xùn)練，如支持向量機(jī)[1]、邏輯回歸、XGBoost[2]等。利用傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行文本分類的基本流程是獲取數(shù)據(jù)、數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練、預(yù)測(cè)。TF-IDF和詞袋模型都需要手動(dòng)去構(gòu)建詞典，統(tǒng)計(jì)詞匯，進(jìn)而計(jì)算出相關(guān)順序（使用歐式距離或夾角余弦相似度）。這兩種方法都存在較大的缺陷，如計(jì)算繁瑣、可解釋性差、語(yǔ)義不明等。

軟件、硬件技術(shù)的快速發(fā)展，使得文本分類問(wèn)題開始從傳統(tǒng)的機(jī)器學(xué)習(xí)轉(zhuǎn)移到深度學(xué)習(xí)，詞向量Word2vec[3]的發(fā)展，推動(dòng)了深度學(xué)習(xí)模型在自然語(yǔ)言處理中的應(yīng)用。深度學(xué)習(xí)模型包括卷積神經(jīng)網(wǎng)絡(luò)（convolution neural network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）、圖神經(jīng)網(wǎng)絡(luò)（graph convolution network，GCN）等方法。

針對(duì)當(dāng)前使用神經(jīng)網(wǎng)絡(luò)處理文本分類的問(wèn)題，本文提出了預(yù)訓(xùn)練Roberta[4]模型，對(duì)輸人數(shù)據(jù)的隨機(jī)掩碼和雙向動(dòng)態(tài)的向量表示方法進(jìn)行訓(xùn)練，加強(qiáng)了向量表示的靈活性，實(shí)現(xiàn)了數(shù)據(jù)增強(qiáng)。利用DPCNN（ deep pyramid convolutional neuralnetworks for text categorization）和改進(jìn)門控網(wǎng)絡(luò)提取深層詞向量的特征，強(qiáng)化了有效信息，降低了無(wú)效信息和梯度消失的影響。運(yùn)用注意力機(jī)制的方法融合句向量與深層詞向量，增強(qiáng)了文本向量的語(yǔ)義豐富性，捕捉重要詞與句之間的潛在語(yǔ)義關(guān)系，有效豐富了特征向量中的結(jié)構(gòu)、語(yǔ)義和語(yǔ)法信息。

1 相關(guān)工作

目前的文本分類深度學(xué)方法主要包括兩種，分別為基于卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)的神經(jīng)網(wǎng)絡(luò)，以及基于預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。

1.1 基于CNN、RNN和GNN進(jìn)行改進(jìn)的神經(jīng)

網(wǎng)絡(luò)

文本分類模型使用較多的是TextCNN（ textconvolutional neural network），該模型由Kim等[5]提出，第一次將卷積神經(jīng)網(wǎng)絡(luò)用于自然語(yǔ)言處理的任務(wù)中。TextCNN通過(guò)一維卷積來(lái)獲取句子中n- gram的特征表示，對(duì)文本抽取淺層特征的能力很強(qiáng)。在長(zhǎng)文本領(lǐng)域，TextCNN主要靠filter窗口抽取特征，但信息抽取能力較差，且對(duì)語(yǔ)序不敏感。文獻(xiàn)[6]通過(guò)采用多個(gè)濾波器構(gòu)建多通道的TextCNN網(wǎng)絡(luò)結(jié)構(gòu)，從多方面提取數(shù)據(jù)的特征，捕捉到了更多隱藏的文本信息。文獻(xiàn)[7]提出圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)文本內(nèi)容進(jìn)行編碼，文獻(xiàn)[8]使用了異構(gòu)圖注意網(wǎng)絡(luò)進(jìn)一步提升了模型的編碼能力。

文獻(xiàn)[9]提出了循環(huán)神經(jīng)網(wǎng)絡(luò)的文本分類模型，但RNN結(jié)構(gòu)是一個(gè)串行結(jié)構(gòu)，對(duì)長(zhǎng)距離單詞之間的語(yǔ)義學(xué)習(xí)能力差，同時(shí)可能伴隨有梯度消失和梯度爆炸的問(wèn)題。隨后，LSTM（ long shorttermmemory， LSTM）和GRU（gate recurrentunit， GRU）模型被應(yīng)用在自然語(yǔ)言處理任務(wù)中，LSTM由輸入門、輸出門和遺忘門控制每個(gè)時(shí)間點(diǎn)的輸入、輸出和遺忘的概率，有效緩解了梯度消失和爆炸問(wèn)題。文獻(xiàn)[10]中，提出了ONLSTM（ ordered neuronslong-short memory）結(jié)構(gòu)，在LSTM結(jié)構(gòu)中引入層級(jí)結(jié)構(gòu)，可以提取出文本的層級(jí)信息。GRU通過(guò)將輸入門和遺忘門組合在一起，命名為更新門，減少了門的數(shù)量，在保證記憶的同時(shí)，提升了網(wǎng)絡(luò)的訓(xùn)練效率。文獻(xiàn)[II]用BiGRU模型進(jìn)行文本情感分類任務(wù)，提出了使用BiGRU模型對(duì)文本進(jìn)行情感分析。

1.2預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)

2018年，谷歌團(tuán)隊(duì)提出了transformer模型[12]，并采用了self-attention機(jī)制[13]。相比于循環(huán)神經(jīng)網(wǎng)絡(luò)模型，transformer模型是并行結(jié)構(gòu)，其運(yùn)算速度得到了大大的提高。Transformer模型由encoder模塊和decoder模塊兩部分組成，decoder模塊與encoder類似，只是在encoder中self-attention的query，key，value都對(duì)應(yīng)了源端序列，decoder中self-attention的query，key，value都對(duì)應(yīng)了目標(biāo)端序列。注意力機(jī)制開始被應(yīng)用于圖像處理上，Bahdanau等[14]首次將其應(yīng)用在了NLP（自然語(yǔ)言處理）任務(wù)中，NLP領(lǐng)域也迎來(lái)了巨大的飛躍。文獻(xiàn)[15]針對(duì)文本分類任務(wù)提出了基于詞性的自注意力機(jī)制網(wǎng)絡(luò)模型，使用自注意力機(jī)制學(xué)習(xí)出特征向量表示，并融合詞性信息完成分類任務(wù)。

在Transformer模型和注意力機(jī)制的基礎(chǔ)上，Devlin等[16]提出了預(yù)訓(xùn)練Bert模型（bidirectionalencoder representation from transformers），開啟了預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)代。Bert的新語(yǔ)言表示模型代表了Transformer的雙向編碼器，從而生成了文本的雙向動(dòng)態(tài)句子向量。孫紅等[17]基于Bert+GRU的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)新聞文本進(jìn)行分類，運(yùn)用Bert得到特征詞向量，利用GRU網(wǎng)絡(luò)作為主題網(wǎng)絡(luò)提取上下文的文本特征。文獻(xiàn)[18]提出了一種基于Bert的構(gòu)建雙通道網(wǎng)絡(luò)模型的文本分類任務(wù)，提升了混合語(yǔ)言文本分類模型的性能。

盡管上述研究證明了對(duì)文本進(jìn)行特征提取和融合之后，可以為分類器提供足夠的信息，提高了文本分類問(wèn)題的準(zhǔn)確率。但是，如何對(duì)句與詞之間的結(jié)構(gòu)、語(yǔ)義和語(yǔ)法等信息進(jìn)行提取，未作出明確的說(shuō)明和研究，這也是本文所關(guān)注的重點(diǎn)。簡(jiǎn)而言之，在提取文本信息時(shí)，既要提取出文本主要信息，同時(shí)也需要注重詞與句之間內(nèi)容關(guān)系的提取。

在此基礎(chǔ)上，本文利用Roberta模型的強(qiáng)大功能，訓(xùn)練出含有上下文語(yǔ)義、語(yǔ)法信息的句子向量和含有句子結(jié)構(gòu)特征的詞向量。并分別利用DPCNN網(wǎng)絡(luò)和改進(jìn)門控網(wǎng)絡(luò)（RGRU），對(duì)詞向量進(jìn)行特征提取，使用注意力機(jī)制將兩部分輸出的詞向量進(jìn)行融合，得到深層特征詞向量。其中，DPCNN的主要作用是負(fù)責(zé)強(qiáng)化局部上下文的關(guān)系，RGRU負(fù)責(zé)詞與詞之間的時(shí)序關(guān)系，注意力機(jī)制對(duì)局部上下文關(guān)系和時(shí)序關(guān)系進(jìn)行通盤考慮，使用注意力機(jī)制也能夠更好地將特征中的重點(diǎn)表現(xiàn)出來(lái)。最后，將詞向量與句向量相融合來(lái)提升模型的性能。

2 模型設(shè)計(jì)

2.1 模型結(jié)構(gòu)

本文提出的模型應(yīng)用于中文文本分類任務(wù)，模型結(jié)構(gòu)圖1主要由3個(gè)部分組成：a．Roberta模型對(duì)輸入的中文文本進(jìn)行預(yù)訓(xùn)練，得到含有上下文語(yǔ)義、語(yǔ)法信息的句子向量和詞向量；b．將詞向量分別輸入至DPCNN特征提取層和改進(jìn)門控神經(jīng)網(wǎng)絡(luò)中，然后使用注意力機(jī)制將兩部分的特征詞向量相融合，得到含有深層結(jié)構(gòu)和局部信息的特征詞向量；c．將句子向量與詞向量進(jìn)行融合，得到最終的文本向量表示，最后經(jīng)過(guò)softmax激活層后，輸出結(jié)果。

2.2 預(yù)訓(xùn)練模型Roberta

Bert預(yù)訓(xùn)練模型具有以下3方面優(yōu)勢(shì)：參數(shù)規(guī)模大、通用能力強(qiáng)、綜合性能好。預(yù)訓(xùn)練模型中包含著豐富的文本信息知識(shí)，因此，近些年的文本分類任務(wù)中通常會(huì)使用Bert行文本特征提取。但是，Bert的預(yù)訓(xùn)練階段并沒有使用全詞覆蓋的方式，mask（掩碼）字符不利于文本信息的提取，且使用NSP任務(wù)也會(huì)損害Bert的特征提取能力。為避免這些問(wèn)題，本文使用了Roberta模型。同時(shí)，由于Roberta相較于Bert使用了更大規(guī)模的數(shù)據(jù)集，使得模型消耗的資源增加，訓(xùn)練時(shí)間增長(zhǎng)。

Roberta模型結(jié)構(gòu)不僅繼承了Bert的雙向編碼器表示，而且將輸入的句子表示為字向量、句向量、位置向量三者之和，經(jīng)過(guò)多層雙向Transformer編碼器（見圖2）得到文本的向量化表示。圖中：Add表示殘差連接；Norm表示層標(biāo)準(zhǔn)化；FeedForward表示前向傳播；Nx表示Ⅳ個(gè)堆疊的相同x。

多頭注意力機(jī)制：假設(shè)輸入句子為X，X=[X1 X2 -xn]，n表示樣本句子中字的個(gè)數(shù)，對(duì)字使用one-hot編碼表示，其維度為k，則X所對(duì)應(yīng)的字嵌入矩陣為Y= [y1y2 - Ynl，xi所對(duì)應(yīng)的向量表示為Yi。通過(guò)訓(xùn)練模型可得出Q（Query）、K（Key）、V （Value）矩陣，dk表示K中列向量的維度大小，從而計(jì)算得到注意力值為

Bert模型中掩碼mask是靜態(tài)的，即Bert在準(zhǔn)備訓(xùn)練數(shù)據(jù)時(shí)，只會(huì)對(duì)每個(gè)樣本進(jìn)行一次隨機(jī)的mask（在后續(xù)訓(xùn)練中，每個(gè)epoch（訓(xùn)練數(shù)據(jù)）是相同的），后續(xù)的每個(gè)訓(xùn)練步都采用同樣的mask。Roberta模型相比于Bert，建立在Bert的語(yǔ)言掩蔽策略的基礎(chǔ)上，將靜態(tài)mask修改為動(dòng)態(tài)mask，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)會(huì)對(duì)原始數(shù)據(jù)拷貝10份，每一份都隨機(jī)選擇15%的Tokens（字符）進(jìn)行mask，圖3為Roberta掩碼方式。

同時(shí)，Roberta取消了Bert的NSP（next sentenceprediction）任務(wù)，采用了更大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練，更好地表現(xiàn)出了詞的語(yǔ)義和語(yǔ)法信息，文本向量表示更加完善。Roberta也修改了Bert中的關(guān)鍵超參數(shù)，使用更大的batch方式和學(xué)習(xí)率進(jìn)行訓(xùn)練，增長(zhǎng)了訓(xùn)練序列，使得Roberta表示能夠比Bert更好地推廣到下游任務(wù)中。

2.3 DPCNN特征提取層

DPCNN[19]模型相比于TextCNN模型是更為有效廣泛的深層卷積模型，如圖4所示。圖中：σ（．）為逐分量非線性激活函數(shù)；權(quán)重W和偏差6（每層唯一）為所要訓(xùn)練的參數(shù)。

DPCNN的底層為Region embedding層，該層由多個(gè)不同大小的卷積核組成，經(jīng)卷積操作后生成embedding，作為模型的嵌入層。本文使用兩層等長(zhǎng)卷積層來(lái)捕獲長(zhǎng)距離模式，提高對(duì)詞位embedding表示的豐富度。

下采樣的操作采用固定數(shù)量的濾波器，通過(guò)最大池化的方法，將原詞向量的長(zhǎng)度減少一半，計(jì)算復(fù)雜度也相對(duì)減少，但其中包含的文本內(nèi)容卻得到了加長(zhǎng)。然后進(jìn)行兩層等長(zhǎng)卷積，這兩部分組合成block模塊，重復(fù)block模塊的操作，直至滿足任務(wù)。隨著模型深度的變化，詞向量中的深層結(jié)構(gòu)信息和全局語(yǔ)義信息會(huì)不斷得到加強(qiáng)。

為了解決卷積過(guò)程中的梯度消失和爆炸問(wèn)題，模型在block模塊進(jìn)行前與region embedding使用pre-actlvation策略進(jìn)行殘差連接，或者直接連接到最后的輸出層，有效緩解了梯度問(wèn)題。模型隨著序列長(zhǎng)度的加深呈現(xiàn)出深層次的金字塔結(jié)構(gòu)。

2.4 改進(jìn)門控網(wǎng)絡(luò)

改進(jìn)門控模型結(jié)構(gòu)見圖5，對(duì)于t時(shí)刻而言，輸人為qt，隱藏層輸人為nt-l，隱藏層輸出為nt，計(jì)算過(guò)程如式（4）～（7）所示。

傳統(tǒng)的門控神經(jīng)網(wǎng)絡(luò)中重置門和更新門都是使用的σ（σ=1／1+e-g）激活函數(shù)，σ函數(shù)存在以下兩個(gè)缺點(diǎn)：a．容易出現(xiàn)梯度消失的現(xiàn)象，當(dāng)激活函數(shù)接近飽和區(qū)時(shí)，變化太緩慢，導(dǎo)數(shù)接近0，從而無(wú)法完成深層網(wǎng)絡(luò)的訓(xùn)練；b．σ的輸出不是0均值，這會(huì)導(dǎo)致后層的神經(jīng)元的輸入是非0均值的信號(hào)，會(huì)對(duì)梯度產(chǎn)生影響，導(dǎo)致收斂變慢。本文的φ（φ= eg - e-g/eg+ e-g）激活函數(shù)具有以下3個(gè)優(yōu)點(diǎn)：a．解決了上述σ函數(shù)輸出不是0均值的問(wèn)題；b．φ函數(shù)的導(dǎo)數(shù)取值范圍在0～1之間，優(yōu)于σ函數(shù)的0～0.25，一定程度上緩解了梯度消失的問(wèn)題；c．φ函數(shù)在原點(diǎn)附近與y=x函數(shù)形式相近，當(dāng)輸入的激活值較低時(shí)，可以直接進(jìn)行矩陣運(yùn)算，訓(xùn)練相對(duì)容易。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

CPU 6x Xeon E5-2678 v3，內(nèi)存62 G，顯存ll G，NVIDIA GeForce RTX 2080 Ti，操作系統(tǒng)為Windowsl0 64位，python版本為3.8，深度學(xué)習(xí)框架為PyTorch。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)采用網(wǎng)上公開的清華THUCNews文本分類數(shù)據(jù)集中的短、長(zhǎng)文本數(shù)據(jù)集，用于預(yù)測(cè)模型的性能。選取THUCNews數(shù)據(jù)集中的10個(gè)類別進(jìn)行測(cè)試，短文本的類別包括：體育、娛樂、房產(chǎn)、教育、時(shí)政、游戲、社會(huì)、科技、股票、金融；長(zhǎng)文本的類別包括：體育、娛樂、家居、房產(chǎn)、教育、時(shí)尚、時(shí)政、游戲、科學(xué)、金融。實(shí)驗(yàn)數(shù)據(jù)集信息如表1所示。

3.3參數(shù)設(shè)置

文獻(xiàn)[20]在使用Bert作文本分類時(shí)給出了fine-tune建議。多相關(guān)任務(wù)的前提下，選擇多任務(wù)學(xué)習(xí)進(jìn)行Bert frne-tune，目標(biāo)任務(wù)的實(shí)現(xiàn)需要考慮文本的預(yù)處理、圖層選擇和學(xué)習(xí)率。

進(jìn)行學(xué)習(xí)率衰減，β= 0.95時(shí)模型效果最佳。Roberta模型只需要一個(gè)較小的學(xué)習(xí)率，同時(shí)使用warm-up策略，有助于緩解mini-batch的提前過(guò)擬合現(xiàn)象，保持分布的平穩(wěn)，同時(shí)也有助于保證模型深層的穩(wěn)定性。以Adam算法為基礎(chǔ)，采用手動(dòng)階梯式衰減、lambda自定義衰減、三段式衰減和余弦式調(diào)整的4種方法（見圖6），調(diào)整學(xué)習(xí)率。

宋明等[21]在Bert作文本分類時(shí)，運(yùn)用FocalLoss[22]作為損失函數(shù)，提高了模型對(duì)困難文本分類的準(zhǔn)確率，本文采取Focal Loss作為損失函數(shù)。

本文中Roberta模型的學(xué)習(xí)率為1.0×10-5，但是在DPCNN的結(jié)構(gòu)中需要一個(gè)較大的學(xué)習(xí)率，取0.001。THUCNews長(zhǎng)文本中句子長(zhǎng)度取150，batch size取32；THUCNews短文本中句子長(zhǎng)度取38，batch size為128。DPCNN結(jié)構(gòu)中，等長(zhǎng)卷積kernel size為3。

3.4評(píng)價(jià)標(biāo)準(zhǔn)

將準(zhǔn)確率（accuracy）、精確率（precision）、召回率（ recall）和Fl值作為實(shí)驗(yàn)的評(píng)價(jià)標(biāo)準(zhǔn)，相關(guān)的混淆矩陣結(jié)構(gòu)如表2所示。式中，H表示混淆矩陣各值。

3.5 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文所提模型的合理性和有效性，采用了8種模型在兩個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試，最后的結(jié)果也表現(xiàn)出本文所提出的模型效果優(yōu)于其他7種模型。

a．FastText[23]。Facebook在2016年發(fā)布了這種簡(jiǎn)單快速實(shí)現(xiàn)文本分類的方法。FastText會(huì)自己訓(xùn)練詞向量，同時(shí)采用層次化softmax和n-gram讓模型學(xué)習(xí)到局部單詞順序的部分信息。

b．TextCNN。采用多通道CNN結(jié)構(gòu)，經(jīng)過(guò)嵌入層后詞向量維度為300，經(jīng)過(guò)卷積核尺寸分別為2，3，4，通道數(shù)為256的卷積層后，將輸出的3個(gè)詞向量拼接在一起，經(jīng)過(guò)全連接層和softmax激活函數(shù)后輸出結(jié)果。

c．LSTM。LSTM的結(jié)構(gòu)為2層全連接層，隱藏層中神經(jīng)元的個(gè)數(shù)為128，方向?yàn)殡p向；LSTM輸出的詞向量經(jīng)過(guò)全連接層和softmax激活函數(shù)后輸出結(jié)果。

d．DPCNN。深層金字塔卷積結(jié)構(gòu)，采用圖4中的結(jié)構(gòu)設(shè)置。

e．Bert+DPCNN。采用谷歌提供的Bert模型作為預(yù)訓(xùn)練模型，下游任務(wù)連接DPCNN網(wǎng)絡(luò)結(jié)構(gòu)，參數(shù)設(shè)置與Roberta+DPCNN網(wǎng)絡(luò)結(jié)構(gòu)一樣。

f．Roberta+LSTM。將Roberta模型中encoder層的輸出作為L(zhǎng)STM模型的輸入，得到輸出，將此輸出與Roberta模型中最后一層的輸出拼接在一起，經(jīng)過(guò)全連接層和softmax激活函數(shù)后輸出最后的結(jié)果。

g．Roberta+TextCNN。將Roberta模型中encoder層的輸出作為TextCNN模型的輸入，得到輸出，將此輸出與Roberta模型中最后一層的輸出拼接在一起，經(jīng)過(guò)全連接層和softmax激活函數(shù)后輸出最后的結(jié)果。

所有模型的實(shí)驗(yàn)結(jié)果對(duì)比見表3和表4，其中本文所提出的模型為基于余弦式調(diào)整學(xué)習(xí)率的方法。

THUCNews短文本分類中，無(wú)遷移學(xué)習(xí)的模型中FastText模型的效果最優(yōu)。而在遷移學(xué)習(xí)的模型中，本文所采用的模型結(jié)合余弦式調(diào)整學(xué)習(xí)率的方法，所得出的結(jié)果在所有模型中最優(yōu)，F(xiàn)l值可以達(dá)到96.98%，比FastText模型高出了2.gg%，比使用Roberta+TextCNN高出了1.02%。在THUCNews長(zhǎng)文本分類中，本文模型相比于無(wú)遷移學(xué)習(xí)的DPCNN模型，準(zhǔn)確率高出了5.23%，比Roberta+LSTM模型高出了1.56%。在其他3項(xiàng)評(píng)價(jià)標(biāo)準(zhǔn)上，效果也明顯優(yōu)于其他模型。

THUCNews短文本分類中，無(wú)遷移學(xué)習(xí)的模型中效果最好的是FastText。這是因?yàn)镕astText將短文本中的所有詞向量進(jìn)行平均，句子中的序列、語(yǔ)義和結(jié)構(gòu)信息保存都較為完整。

在無(wú)遷移學(xué)習(xí)的模型結(jié)構(gòu)中，長(zhǎng)文本分類使用FastText模型，效果不如卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。其原因是n-gram結(jié)構(gòu)所能獲取的上下文語(yǔ)義信息不如神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)完整。

使用預(yù)訓(xùn)練模型Roberta連接下游任務(wù)，模型的整體性能優(yōu)于傳統(tǒng)模型。這是因?yàn)轭A(yù)訓(xùn)練模型中的參數(shù)從海量數(shù)據(jù)中訓(xùn)練得來(lái)，相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的自己從頭開始訓(xùn)練，預(yù)訓(xùn)練模型的收斂速度更快，泛化效果更好。

學(xué)習(xí)率作為監(jiān)督學(xué)習(xí)以及深度學(xué)習(xí)中重要的超參，決定著目標(biāo)函數(shù)能否收斂到局部最小以及何時(shí)收斂到最小。合適的學(xué)習(xí)率能使目標(biāo)函數(shù)在合適的時(shí)間內(nèi)收斂到局部最小。表5為學(xué)習(xí)率衰減實(shí)驗(yàn)結(jié)果，從中可以發(fā)現(xiàn)，以Fl值為評(píng)價(jià)標(biāo)準(zhǔn)，Roberta模型使用余弦調(diào)整的方式分層調(diào)整其學(xué)習(xí)率，模型效果可以得到小幅度的提升。

從實(shí)驗(yàn)結(jié)果還可以看出，Roberta模型在放棄NSP任務(wù)后，得到的句向量和詞向量的內(nèi)容更為豐富。使用DPCNN和RGRU模型作為模型的深層特征提取層，能再次提取句子中的有效信息，模型的泛化能力得到了進(jìn)一步增強(qiáng)。

從圖7和圖8各個(gè)類別的F1值中可以看到，短文本分類模型中股票和金融類別的F1值較低，而長(zhǎng)文本分類中只有金融這一個(gè)類別的F1值較高。從短文本中選取一部分相關(guān)性較高的數(shù)據(jù)（表6），結(jié)合圖9，短文本分類里金融類被識(shí)別為股票類的有40個(gè)，股票類被識(shí)別為金融類的有21個(gè)，說(shuō)明這兩個(gè)分類在短文本分類模型里相互干擾較為嚴(yán)重。

針對(duì)THUCNews數(shù)據(jù)集出現(xiàn)的這種情況，在擴(kuò)大數(shù)據(jù)集的同時(shí)，需要對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的預(yù)處理，同時(shí)也需要調(diào)整模型，使模型能更好地將不同的數(shù)據(jù)區(qū)分開來(lái)。如在序號(hào)為1的內(nèi)容中，需要給予毆打、調(diào)查等動(dòng)詞更多權(quán)重，同時(shí)減少小學(xué)生、老師、區(qū)教委等名詞的權(quán)重。

4 結(jié)束語(yǔ)

以預(yù)訓(xùn)練模型結(jié)構(gòu)為基礎(chǔ)，連接下游任務(wù)的模型結(jié)構(gòu)，其性能優(yōu)于無(wú)遷移學(xué)習(xí)的網(wǎng)絡(luò)模型。本文使用了Roberta預(yù)訓(xùn)練模型連接下游任務(wù)的深層特征提取模型，同時(shí)針對(duì)Roberta模型、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，給予不同的學(xué)習(xí)率，分層調(diào)試其參數(shù)，最后得到的文本特征向量信息十分豐富。利用Roberta模型中掩碼mask的策略，使得同一樣本在每輪訓(xùn)練的時(shí)候，mask位置不同，提高了模型輸入數(shù)據(jù)的隨機(jī)性，得到更加符合語(yǔ)義環(huán)境的動(dòng)態(tài)詞向量，最終提升了模型的學(xué)習(xí)能力。

通過(guò)分析混淆矩陣，得出了當(dāng)前模型中所存在的不足，下一步將會(huì)針對(duì)不同類別的數(shù)據(jù)權(quán)重進(jìn)行研究，嘗試將每個(gè)詞的語(yǔ)義和類型融入到輸入層中，進(jìn)一步增強(qiáng)文本向量的表示信息。同時(shí)需要對(duì)模型的整體結(jié)構(gòu)進(jìn)行調(diào)整，找出能夠提升模型效果的參數(shù)，使模型可以更加優(yōu)秀地處理自然語(yǔ)言處理中的文本分類任務(wù)。

參考文獻(xiàn)：

[1]CHEN P H， LIN C J， SCHLKOPF B. A tutorial on v support vector machines[J]. Applied Stochastic Models inBusinessandIndustry，2005，21（2）：111–136.

[2]CHEN T Q， GUESTRIN C. XGBoost： a scalable treeboosting system[C]//Proceedings of the 22nd ACMSIGKDD International Conference on KnowledgeDiscovery and Data Mining. San Francisco： ACM， 2016：785–794.

[3]PENNINGTONJ，SOCHERR，MANNINGCD.GloVe：global vectors for word representation[C]//Proceedings ofthe 2014 Conference on Empirical Methods in NaturalLanguage Processing （EMNLP）. Doha： Association forComputationalLinguistics，2014：1532–1543.

[4]JOSHI M， CHEN D Q， LIU Y H， et al. SpanBERT：improving pre-training by representing and predictingspans[J]. Transactions of the Association forComputationalLinguistics，2020，8：64–77.

[5]KIM Y. Convolutional neural networks for sentenceclassification[C]//Proceedings of the 2014 Conference onEmpiricalMethodsinNaturalLanguageProcessing.Doha，Qatar： Association for Computational Linguistics， 2014：1746–1751.

[6]陳珂，梁斌，柯文德，等.基于多通道卷積神經(jīng)網(wǎng)絡(luò)的中文微博情感分析 [J]. 計(jì)算機(jī)研究與發(fā)展，2018，55（5）：945–957.

[7]YAOL，MAOCS，LUOY.Graphconvolutionalnetworksfor text classification[C]//Proceedings of the 33rd AAAIConference on Artificial Intelligence. Honolulu： AAAI，2019：7370–7377.

[8]HULM，YANGTC，SHIC，etal.Heterogeneousgraphattention networks for semi-supervised short textclassification[C]//EMNLP-IJCNLP 2019： Proceedings ofthe 2019 Conference on Empirical Methods in NaturalLanguage Processing and the 9th International JointConference on Natural Language. Hong Kong， China：Association for Computational Linguistics， 2019：4821–4830.

[9] LIUPF，QIUXP，HUANGXJ.Recurrentneuralnetworkfor text classification with multi-task learning[C]//Proceedings of the Twenty-Fifth International JointConference on Artificial Intelligence. New York： AAAI，2016：2873–2879.

[10]SHENYK，TANS，SORDONIA，etal.Orderedneurons：integrating tree structures into recurrent neuralnetworks[C]//7th International Conference on LearningRepresentations.NewOrleans：OpenReview.net，2019.

[11]王偉，孫玉霞，齊慶杰，等.基于 BiGRU-attention 神經(jīng)網(wǎng)絡(luò)的文本情感分類模型 [J]. 計(jì)算機(jī)應(yīng)用研究， 2019，36（12）：3558–3564.

[12]VASWANIA，SHAZEERN，PARMARN，etal.Attentionis all you need[C]//Proceedings of the 31st InternationalConference on Neural Information Processing Systems.Long Beach， California， USA： Curran Associates Inc. ，2017：6000–6010.

[13]FENIGSTEIN A. Self-consciousness， self-attention， andsocial interaction[J]. Journal of Personality and SocialPsychology，1979，37（1）：75–86.

[14]BAHDANAU D， CHO K， BENGIO Y. Neural machinetranslationbyJointlylearningtoalignandtranslate[C]//3rdInternationalConferenceonLearningRepresentations.SanDiego，2015.

[15]CHENG K F， YUE Y N， SONG Z W. Sentimentclassification based on part-of-speech and self-attentionmechanism[J].IEEEAccess，2020，8：16387–16396.

[16]DEVLIN J， CHANG M W， LEE K， et al. BERT： pre training of deep bidirectional transformers for languageunderstanding[C]//Proceedings of the 2019 Conference ofthe North American Chapter of the Association forComputational Linguistics： Human LanguageTechnologies， Volume 1 （Long and Short Papers）.Minneapolis： Association for Computational Linguistics，2019：4171–4186.

[17]孫紅，陳強(qiáng)越.融合 BERT 詞嵌入和注意力機(jī)制的中文文本分類 [J]. 小型微型計(jì)算機(jī)系統(tǒng)，2022，43（1）：22–26.

[18]張洋，胡燕.基于多通道深度學(xué)習(xí)網(wǎng)絡(luò)的混合語(yǔ)言短文本情感分類方法 [J]. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（1）：69–74.

[19]JOHNSON R， ZHANG T. Deep pyramid convolutionalneuralnetworksfortextcategorization[C]//Proceedingsofthe 55th Annual Meeting of the Association forComputational Linguistics. Vancouver， Canada：AssociationforComputationalLinguistics，2017：562–570.

[20]SUNC，QIUXP，XUYG，etal.Howtofine-tuneBERTfortextclassification[C]//18thChinaNationalConferenceonChineseComputationalLinguistics.Kunming：Springer，2019：194–206.

[21]宋明，劉彥?。瓸ert在微博短文本情感分類中的應(yīng)用與優(yōu)化[J].小型微型計(jì)算機(jī)系統(tǒng)，2021， 42（4）： 714-718.

[22] LIN T Y，GOYAL P，GIRSHICK R，et al.Focal loss fordense object detection[J]. IEEE Transactions on PatternAnalysis and Machine Intelligence， 2020， 42（2）：3 18-3 27.

[23] JOULIN A，GRAVE E，BOJANOWSKI P，et al.Bag oftricks for efficient text classification[C]//Proceedings of the15th Conference of the European Chapter of theAssociation for Computational Linguistics： Volume 2，Short Papers. Valencia： Association for ComputationalLinguistics， 2017： 427-43 1.

（編輯： 丁紅藝）