一種集成深度學(xué)習(xí)模型的旅游問句文本分類算法

馬喆康,迪力亞爾·帕爾哈提,早克熱·卡德爾,吐爾根·依布拉音,西爾艾力·色提,艾山·吾買爾

(新疆大學(xué) a.軟件學(xué)院; b.信息科學(xué)與工程學(xué)院; c.新疆多語種信息技術(shù)重點實驗室,烏魯木齊 830046)

0 概述

隨著我國社會經(jīng)濟的發(fā)展和人們物質(zhì)生活水平的提高,旅游已經(jīng)成為人們休閑娛樂的主要方式,但游客在旅游過程中發(fā)生的路線規(guī)劃、酒店預(yù)訂等問題也不斷增加[1]。目前,游客主要通過旅游網(wǎng)站問答方式獲取旅游信息,需要對問題進(jìn)行發(fā)布并等待其他用戶的回復(fù),具有延時性,而且旅游問答社區(qū)通常根據(jù)地理位置的問題分類方式,無法全面覆蓋問題的所有類別。此外,傳統(tǒng)旅游問答社區(qū)一般采用人工標(biāo)注或機器學(xué)習(xí)模型進(jìn)行問題分類,導(dǎo)致分類效率和準(zhǔn)確率均較低,無法快速精準(zhǔn)地定位游客的問題類別,進(jìn)而影響后續(xù)的信息檢索。因此,如何快速高效地對各類旅游問句進(jìn)行自動分類已成為亟待解決的問題。深度學(xué)習(xí)技術(shù)在近幾年得到快速發(fā)展,且被應(yīng)用于問句文本分類任務(wù)中并取得了較好的成果[2],相比傳統(tǒng)機器學(xué)習(xí)技術(shù)更能捕獲文本的深層語義信息及解決人工設(shè)計特征導(dǎo)致的誤差問題,且分類精度更高[3],但其多數(shù)為基于單一結(jié)構(gòu)的深度學(xué)習(xí)模型或僅對多個模型進(jìn)行簡單串聯(lián),因此在挖掘文本深層特征時,會丟失大量的語法和句法信息并增加冗余信息。

本文提出一種集成多種深度學(xué)習(xí)模型的旅游問句文本分類算法,通過詞級卷積神經(jīng)網(wǎng)絡(luò)(Word Level Convolutional Neural Network,WL-CNN)獲取詞的低層空間結(jié)構(gòu)信息構(gòu)建文本的語法信息,利用句級雙向長短期記憶(Sentence Level Bi-directional Long Short-Term Memory,SL-Bi-LSTM)網(wǎng)絡(luò)對旅游問句文本的全局語義和句法信息進(jìn)行建模,同時結(jié)合多頭注意力機制(Multi-Head Attention Mechanism,MH-AM)對這兩種深度學(xué)習(xí)模型進(jìn)行聯(lián)合學(xué)習(xí)并分配注意力權(quán)重,以提高旅游問句文本關(guān)鍵特征的利用率。

1 相關(guān)工作

早期的問句文本分類方法主要利用簡單的機器學(xué)習(xí)模型或深度學(xué)習(xí)模型對不同類型的問句文本進(jìn)行分類識別。文獻(xiàn)[4]提出一種體育文本自動分類的半監(jiān)督機器學(xué)習(xí)模型并取得了87%的分類精度。文獻(xiàn)[5]提出一種基于時間加權(quán)函數(shù)(Temporal Weighting Function,TWF)的文本自動分類方法,實驗結(jié)果表明,與基于傳統(tǒng)支持向量機(Support Vector Machine,SVM)的文本自動分類方法相比,該方法的分類準(zhǔn)確度提高了17%。文獻(xiàn)[6]提出一種向量空間模型,通過對阿拉伯語言文本中的問題進(jìn)行形式化及特征約束等處理,實現(xiàn)阿拉伯語言文本的分類及主題匹配。文獻(xiàn)[7]結(jié)合人工標(biāo)注和多類SVM對不同文本進(jìn)行篩選,設(shè)計一種主動學(xué)習(xí)分類模型實現(xiàn)大型高維文本的精確分類,并減少了人工標(biāo)注的工作量。文獻(xiàn)[8]融合詞向量和BTM模型對問題文本主題進(jìn)行擴展,利用SVM進(jìn)行問句分類。由于簡單的機器學(xué)習(xí)模型難以捕獲問句文本的深層抽象特征且受人工設(shè)計特征的誤差影響,因此使其不能有效識別和處理相對復(fù)雜的問句文本。

深度學(xué)習(xí)技術(shù)的不斷發(fā)展為問句文本分類提供了一種新的思路。文獻(xiàn)[9]提出一種多層級注意力卷積長短期記憶(Multi-level Attention Convolutional Long Short-Term Memory,MAC-LSTM)網(wǎng)絡(luò)的問句文本分類模型,實現(xiàn)問句文本的準(zhǔn)確分類。文獻(xiàn)[10]提出一種雙向長短期記憶(Bi-directional Long Short-Term Memory,Bi-LSTM)網(wǎng)絡(luò)的新聞文本分類識別方法,解決了新聞文本數(shù)據(jù)稀疏、維度爆炸以及人工設(shè)計特征參與標(biāo)注帶來的局限性等問題,提高了分類精度。文獻(xiàn)[11]引入詞向量模型并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)進(jìn)行問題分類,提高了未標(biāo)注樣本的利用率。文獻(xiàn)[12]結(jié)合樸素貝葉斯支持向量機(Naive Bayes Support Vector Machine,NB-SVM)、詞向量和長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN),提出一種混合深度學(xué)習(xí)模型的雙語文本分類方法,提高了雙語情緒文本的分類識別效果。文獻(xiàn)[13]結(jié)合Word2vec和決策樹并引入深度學(xué)習(xí)技術(shù),實現(xiàn)了影評情感文本的準(zhǔn)確分類。文獻(xiàn)[14]針對鄰域問題文本進(jìn)行分類,并取得了較好的分類結(jié)果。

2 集成深度學(xué)習(xí)模型的旅游問句文本分類

旅游問句文本的句法和語義信息主要取決于文字組成和序列順序。一方面,旅游問句的語法由多個疑問關(guān)鍵詞和某些網(wǎng)絡(luò)流行詞組成,對文本序列中的詞進(jìn)行建模,構(gòu)成文本序列的低層子空間結(jié)構(gòu)信息。另一方面,旅游問句文本的語義信息和句法信息來自文本序列本身,因此本文使用one-hot方式對旅游問句文本進(jìn)行編碼建模,捕獲文本的語義信息和句法信息。

為更好地表示旅游問句文本,本文提出一種集成深度學(xué)習(xí)模型的旅游問句文本分類算法。該算法主要由詞級卷積神經(jīng)網(wǎng)絡(luò)、句級雙向長短期記憶網(wǎng)絡(luò)和多頭注意力機制三部分組成,通過兩種深度學(xué)習(xí)模型獲取旅游問句文本的局部深層語義特征和低層子空間結(jié)構(gòu)信息以及全局語義信息和深層結(jié)構(gòu)信息,并利用多頭注意力機制對其進(jìn)行合并分類,實現(xiàn)兩種深度學(xué)習(xí)模型在語言的句法和語義方面保持互補關(guān)系。

2.1 詞級卷積神經(jīng)網(wǎng)絡(luò)

目前,卷積神經(jīng)網(wǎng)絡(luò)在場景分類、模式識別和圖像分割等領(lǐng)域均具有廣泛應(yīng)用[15]。深度卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和池化層不僅對文本中所含噪聲具有很強的魯棒性,而且其因為參數(shù)共享和局部連接特性可對文本的頻譜或者語義進(jìn)行建模[16],所以本文利用卷積神經(jīng)網(wǎng)絡(luò)對旅游問句文本中的詞進(jìn)行建模,進(jìn)一步挖掘旅游問句文本中詞的子空間結(jié)構(gòu)信息。

在使用卷積神經(jīng)網(wǎng)絡(luò)提取旅游問句文本中詞的相關(guān)特征時,將卷積層中預(yù)定義的1-of-n編碼數(shù)字替換為旅游問句文本中的詞[17],且最大編碼數(shù)字為225。當(dāng)使用文本中的詞替換編碼數(shù)字時,若每句文本中所含有的詞不足以替換所有數(shù)字,則用數(shù)字0進(jìn)行填充,即卷積神經(jīng)網(wǎng)絡(luò)中輸入層的輸入向量為(Nan,225,225),其中Nan表示空值,然后輸入初始卷積層中對旅游問句文本的詞進(jìn)行編碼,具體步驟如下:

v=conv2(ω,x,″padding″)+b

(1)

其中,v表示初始卷積層的輸出,ω表示權(quán)重矩陣,b表示偏置向量,padding表示填充,其輸出表示為:

y=η(v)

(2)

其中,η(·)表示激活函數(shù)。

2)通過多層卷積層可計算得到旅游問句文本的卷積詞匯特征向量:

(3)

3)通過最大池化層操作后可獲得旅游問句文本中所有詞的CNN特征向量:

(4)

詞級卷積神經(jīng)網(wǎng)絡(luò)在提取旅游問句文本中的詞特征時,使用5層卷積和池化層,且每層神經(jīng)元個數(shù)為32、64、128、256和512,且卷積核和池化核的大小分別為3×3和2×2。為進(jìn)一步提高詞級卷積神經(jīng)網(wǎng)絡(luò)對文本中詞的建模能力,在5層卷積池化層后連接2層全連接層,即全連層中的神經(jīng)元個數(shù)為512和64,從而實現(xiàn)旅游問句文本中詞級子空間結(jié)構(gòu)信息的提取。

由于詞級卷積神經(jīng)網(wǎng)絡(luò)主要是用于捕獲旅游問句文本中詞的低層子空間結(jié)構(gòu)信息和局部深層空間特征,因此需要對輸入的旅游問句文本進(jìn)行相關(guān)預(yù)處理,提高本文算法所提取特征的表征能力和抗噪能力。

2.2 句級雙向長短期記憶網(wǎng)絡(luò)

詞級卷積神經(jīng)網(wǎng)絡(luò)主要獲取旅游問句文本的詞級低層子空間結(jié)構(gòu)信息和局部深層語義信息,但忽略了旅游問句文本的全局語義信息。因此,為進(jìn)一步挖掘旅游問句文本的全局語義特征,利用雙向長短期記憶網(wǎng)絡(luò)對旅游問句文本序列進(jìn)行時空建模,具體步驟如下:

1)通過詞嵌入技術(shù)[18]將旅游問句文本表示為一個one-hot編碼向量,并利用前向和后向長短期記憶層對旅游問句文本編碼向量序列中的時間特征進(jìn)行建模。

2)利用雙向長短期記憶(Long-Short Term Memory,LSTM)網(wǎng)絡(luò)[19-20]對輸入序列x之間的關(guān)系進(jìn)行映射,并通過不同時刻的神經(jīng)元激活狀態(tài)計算得到輸出序列y,計算公式為:

it=σ(wixxt+wiααt-1+wicct-1+bi)

(5)

文本序列在t時刻通過輸入門it后,需要遺忘不必要的文本信息,計算公式為:

ft=σ(wfxxt+wfααt-1+wfcct-1+bf)

(6)

文本通過記憶單元的計算公式為:

ct=ft·ct-1+it·g(wcxxt+wcααt-1+bf)

(7)

文本通過輸出門的計算公式為:

ot=σ(woxxt+woααt-1+wocct-1+bo)

(8)

文本通過上述計算可獲得文本編碼向量的輸出,具體公式為:

αt=ot·h(ct)

(9)

yt=π(wyααt+by)

(10)

其中,·表示點乘運算,i表示輸入門,f表示遺忘門,ft表示文本在t時刻通過遺忘門,o表示輸出門,c表示記憶單元,σ表示激活函數(shù),π表示總的輸出激活函數(shù),g、h表示記憶單元的輸入和輸出激活函數(shù)。

2.3 多頭注意力機制

注意力機制[21-22]是指通過計算Q(Query)和每個K(Key)之間的相似性Sim(Q,K)以獲取分配的權(quán)重,然后將分配的權(quán)重與相應(yīng)的V(Value)值進(jìn)行加權(quán)求和得到注意力權(quán)值,其中Q、K和V均為向量且K=V。與單一結(jié)構(gòu)的注意力機制相比,多頭注意力機制是對Q、K和V各維度分別進(jìn)行多次線性映射并對其進(jìn)行拼接,以獲得最終的注意力權(quán)值。

本文利用多頭注意力機制[23-24]不僅可對WL-CNN的低層信息和SL-Bi-LSTM的全局語義特征分配不同的權(quán)重,而且可進(jìn)一步捕獲不同位置和子空間的結(jié)構(gòu)信息、深層全局語義信息以及內(nèi)部結(jié)構(gòu)信息。多頭注意力權(quán)重的計算公式為:

(11)

其中,W表示線性變化參數(shù),Q、K和V對應(yīng)不同的W值。將式(11)進(jìn)行多次線性映射及拼接后便可獲得多頭注意力的加權(quán)值,計算公式為:

MultiHead(Q,K,V)=Concat(Head1,

Head2,…,Headπ)Wo

(12)

其中,π表示多頭注意力機制的并行層數(shù),即該多頭注意力機制包含π個頭。

綜上所述,本文使用詞級卷積神經(jīng)網(wǎng)絡(luò)和句級雙向長短期記憶網(wǎng)絡(luò)來學(xué)習(xí)詞序列子空間向量和句序列深層語義信息,并通過多頭注意力機制將兩種深度學(xué)習(xí)模型進(jìn)行集成,實現(xiàn)子空間信息和句子語義信息的互補,如圖1所示。

圖1 集成深度學(xué)習(xí)模型的旅游問句文本分類過程

可以看出,將旅游問句文本以單詞形式輸入詞級卷積神經(jīng)網(wǎng)絡(luò)中,基于該神經(jīng)網(wǎng)絡(luò)的計算獲取文本中詞的低層子空間結(jié)構(gòu)信息和局部深層語義信息xword，旅游問句文本以句子的形式輸入SL-Bi-LSTM中,通過學(xué)習(xí)該神經(jīng)網(wǎng)絡(luò)獲得旅游問句文本的深層結(jié)構(gòu)信息和全局語義信息xsentence。在此基礎(chǔ)上,利用多頭注意力機制對兩種深度學(xué)習(xí)模型獲得的層次特征進(jìn)行權(quán)值匹配,并對各注意力機制所得注意力權(quán)重進(jìn)行點積拼接,通過SoftMax分類函數(shù)得到文本的準(zhǔn)確分類結(jié)果z1～zm,其中m表示分類類別數(shù)。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集

本文采用Tourism text數(shù)據(jù)集作為實驗數(shù)據(jù)集,其為自定義的基準(zhǔn)數(shù)據(jù)集,主要來自攜程、途牛、馬蜂窩和同程等旅游網(wǎng)站,包括旅游地點、時間和人物等6類10 000條樣本數(shù)據(jù)。在實驗前需對該數(shù)據(jù)集進(jìn)行篩選、清洗、停用詞等預(yù)處理操作減少誤差。為驗證本文算法的有效性,從各類樣本中隨機抽取60%的樣本作為訓(xùn)練集,剩余40%的樣本作為測試集,并隨機劃分訓(xùn)練集中10%的樣本作為交叉驗證集(實驗共進(jìn)行5次交叉驗證),數(shù)據(jù)集統(tǒng)計結(jié)果如表1所示,其中All Doc表示每類旅游問句文本的總數(shù)。

表1 數(shù)據(jù)集統(tǒng)計結(jié)果

3.2 實驗方法

將本文旅游問句文本分類算法與以下主流旅游問句文本分類算法進(jìn)行對比:

1)基于CNN[25]的旅游問句文本分類算法。該算法主要是對中文文本中的詞采用隨機初始化嵌入,并輸入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類。為使該算法在中文問句文本分類中取得理想的分類結(jié)果,采用與文獻(xiàn)[25]相同的隨機初始化詞嵌入方法,獲取中文問句文本中的詞向量特征。

2)基于Word2vec+LR[26]的旅游問句文本分類算法。該算法利用詞向量嵌入表示每種類型的文本,并將其映射到低維空間向量中使用邏輯回歸模型進(jìn)行文本分類。

3)基于Word Embeddings+SVM的旅游問句文本分類算法。該算法類似于基于Word2vec+LR的旅游問句文本分類算法,是將問句文本嵌入到低維空間向量中使用淺層機器學(xué)習(xí)模型實現(xiàn)文本分類。

4)基于LSTM與Bi-LSTM[27]的旅游問句文本分類算法。這兩種算法是將訓(xùn)練的中文問句文本詞向量按照時序依次輸入網(wǎng)絡(luò)模型,并對中文問句文本進(jìn)行時序擴展和深層語義信息的捕獲,實現(xiàn)中文問句文本的準(zhǔn)確分類。

5)基于自注意力網(wǎng)絡(luò)(Self-Attention Network,SAN)的旅游問句文本分類算法。該算法結(jié)合詞向量技術(shù),將中文問句文本映射到一個低維空間向量,并通過注意力網(wǎng)絡(luò)對關(guān)鍵特征分配權(quán)重實現(xiàn)中文文本的準(zhǔn)確分類。

6)基于RNN的旅游問句文本分類算法。該算法解決了卷積神經(jīng)網(wǎng)絡(luò)忽略全局語義信息及梯度消失等問題,進(jìn)一步提高了分類算法的準(zhǔn)確率。

7)基于獨立循環(huán)神經(jīng)網(wǎng)絡(luò)(Independently RNN,Ind-RNN)的旅游問句文本分類算法。該算法解決了RNN算法梯度消失及不能對長時序特征進(jìn)行有效建模的問題。

8)基于CNN-LSTM的旅游問句文本分類算法。該算法主要將CNN和LSTM進(jìn)行串聯(lián),在利用CNN捕獲問句文本的空間特征后再對其進(jìn)行時序建模,以提高文本分類精度。

3.3 實驗環(huán)境和參數(shù)設(shè)置

本文實驗軟件配置為Python 3.6和Keras、Numpy等框架,硬件配置為GTX1060 GPU。為確保文本分類算法的一致性,本文對其設(shè)置初始化參數(shù),WL-CNN的嵌入向量設(shè)置為512,其具有兩層卷積層且卷積核大小分別為3×3和1×1,神經(jīng)元個數(shù)為512和128,學(xué)習(xí)率為0.000 1,丟碼率為0.5。SL-Bi-LSTM的嵌入向量設(shè)置為512,神經(jīng)元個數(shù)為256和64,學(xué)習(xí)率為0.02。在利用多頭注意力機制進(jìn)行集成時將π設(shè)置為10并對其分配不同的權(quán)重比例,同時采用概率計算統(tǒng)計不同類別的出現(xiàn)概率,實現(xiàn)旅游問句文本的正確分類。在前期實驗中將詞向量映射維度設(shè)置為100維,在后期實驗中隨著F-Score的變化對詞向量映射維度進(jìn)行調(diào)整。

3.4 實驗結(jié)果

本文采用準(zhǔn)確率、損失率、模型訓(xùn)練時間和F-Score進(jìn)行實驗結(jié)果評估,其中F-Score的計算公式如下:

(13)

其中,P表示精確率,R表示召回率。

3.4.1 詞向量映射維度對算法性能的影響

由于詞向量映射維度對算法分類精度具有至關(guān)重要的作用,因此本文通過改變詞向量映射維度來驗證其對旅游問句文本分類精度的影響。圖2顯示了Tourism text數(shù)據(jù)集在不同詞向量嵌入維度下兩種算法的F-Score對比。可以看出,隨著詞向量映射維度的增加,本文旅游問句文本分類算法的F-Score先快速增加,當(dāng)詞向量映射維度大于100時F-Score停止增加且開始減少,這表明過低的詞向量映射維度不能較好地將文本映射到低維空間,而高維嵌入可能導(dǎo)致向量表示過于稀疏,不能有效提高分類性能且會耗費更多的訓(xùn)練時間。

圖2 不同詞向量映射維度時旅游問句文本分類算法的實驗結(jié)果

3.4.2 旅游問句文本分類算法的性能比較

為進(jìn)一步驗證本文算法的有效性,將其與不同問句文本分類算法進(jìn)行對比,實驗結(jié)果如表2所示,其中加粗?jǐn)?shù)據(jù)表示最優(yōu)結(jié)果。

表2 10種旅游問句文本分類算法的性能比較結(jié)果

可以看出,基于Ind-RNN的旅游問句文本分類算法損失率為0.223 1,因為Ind-RNN內(nèi)部神經(jīng)元相互獨立,且各層之間實現(xiàn)了跨層連接,所以其相比基于RNN的旅游問句文本分類算法更好地解決了梯度消失問題。基于Word2vec+LR和Wording Embeddings+SVM的旅游問句文本分類算法雖然取得了較好的分類結(jié)果,但其僅適用于小規(guī)模數(shù)據(jù),其主要原因為基于淺層機器學(xué)習(xí)模型的旅游問句文本分類算法不能較好地捕獲問句文本中隱藏的潛在信息,因此其相比基于深度學(xué)習(xí)模型的旅游問句文本分類算法準(zhǔn)確率較低。基于Bi-LSTM的旅游問句文本分類算法的準(zhǔn)確率和損失率均優(yōu)于基于LSTM的旅游問句文本分類算法,其主要原因為基于Bi-LSTM的旅游問句文本分類算法同時使用前向和后向LSTM對文本進(jìn)行編碼,更好地捕獲了旅游問句文本的上下文信息。與其他旅游問句文本分類算法相比,本文算法在準(zhǔn)確率和損失率上分別取得了0.986 6和0.127 7的最優(yōu)結(jié)果,相比基于CNN-LSTM的旅游問句文本分類算法提高了0.025 3和降低了0.167 1,其主要原因為本文算法不僅能捕獲旅游問句文本的深層結(jié)構(gòu)信息和全局語義信息,而且可對各類特征分配不同權(quán)重,從而實現(xiàn)準(zhǔn)確分類。但是其在訓(xùn)練時間上略顯不足,其主要原因為神經(jīng)網(wǎng)絡(luò)在集成時算法的總參數(shù)量有所增加,因此導(dǎo)致耗時較長。

3.4.3 旅游問句文本的可視化結(jié)果

為更直觀地表示旅游問句文本分類后的結(jié)果,本文使用t-SNE可視化工具對分類結(jié)果進(jìn)行可視化顯示,得到旅游問句文本嵌入表示的可視化結(jié)果如圖3所示。可以看出,基于CNN+LSTM的旅游問句文本分類算法不能較好地區(qū)分各類旅游問句文本,其主要原因為該算法僅對旅游問句文本的局部特征和語義信息進(jìn)行建模,而忽略了旅游問句文本全局信息、上下文層級關(guān)系以及文本中的詞對文本的影響。與基于CNN+LSTM的旅游問句文本分類算法相比,本文算法能更有效地對不同旅游問句文本進(jìn)行分類且分類性能更好。

圖3 旅游問句文本嵌入表示的可視化結(jié)果

4 結(jié)束語

本文提出一種改進(jìn)的旅游問句文本分類算法,通過WL-CNN和SL-Bi-LSTM捕獲旅游問句文本的局部和全局特征,并有效刻畫了旅游問句文本的語義信息和上下文層級關(guān)系,同時利用多頭注意力機制對所捕獲的特征信息分配注意力權(quán)重,實現(xiàn)旅游問句文本的有效分類。后續(xù)將研究旅游問句文本的細(xì)粒度分類算法,通過對旅游問句文本中含有的關(guān)鍵詞做進(jìn)一步表征,增強特征信息對旅游問題文本的表征能力并提高分類準(zhǔn)確度。