Word2Vec+LSTM多類別情感分類算法優(yōu)化①

鄔明強(qiáng),鄔佳明,辛偉彬

1(廣東東軟學(xué)院 數(shù)字媒體與設(shè)計(jì)學(xué)院,佛山 528200)

2(開封大學(xué) 軟件職業(yè)技術(shù)學(xué)院,開封 475004)

進(jìn)入大數(shù)據(jù)時(shí)代、互聯(lián)網(wǎng)+時(shí)代,數(shù)據(jù)呈現(xiàn)指數(shù)級(jí)增長.微博的社交關(guān)系,淘寶的購物記錄,不同類型的新聞信息,諸如娛樂、軍事、體育等這些形形色色的數(shù)據(jù)包括了人們的各種行為活動(dòng)的細(xì)節(jié)[1].據(jù)統(tǒng)計(jì),1998年3月,我國第一筆互聯(lián)網(wǎng)網(wǎng)上交易成功,標(biāo)志著網(wǎng)上購物在中國的興起;2001年底,我國互聯(lián)網(wǎng)用戶數(shù)增長為3370萬,網(wǎng)上購物的交易額僅為6億元;2010年中國網(wǎng)絡(luò)購物交易規(guī)模就已經(jīng)達(dá)到了5000億.線下沒有的,照樣可以網(wǎng)購到,而在琳瑯滿目的物品中挑選出合適物品的一個(gè)很重要途徑的就是看評(píng)價(jià).因?yàn)槠渌櫩唾徺I該物品后,一般會(huì)對(duì)產(chǎn)品進(jìn)行評(píng)論,所以只要他或她挑選出了中意的商品,再結(jié)合評(píng)論區(qū)的評(píng)論就可以很容易的對(duì)所購的商品進(jìn)行更全面的了解.

同時(shí),隨著智能手機(jī)的快速普及,一些飲食類APP,如美團(tuán)、餓了么應(yīng)運(yùn)而生,住宿類APP如去哪兒網(wǎng)、攜程網(wǎng)等人們已司空見慣,面對(duì)眾多的餐館、魚龍混雜的酒店、賓館,用戶如何根據(jù)自己的需求選擇一個(gè)性價(jià)比最優(yōu)的呢? 顯然最好的方式是查看大量已有的評(píng)價(jià)數(shù)據(jù).本文正是在此背景下從眾多的數(shù)據(jù)集中選取了一定數(shù)量的其中3類數(shù)據(jù)集,借助計(jì)算機(jī)信息技術(shù)的優(yōu)勢(shì)對(duì)已有的文本進(jìn)行處理,進(jìn)而構(gòu)造一個(gè)可靠的情感分類系統(tǒng),通過情感分類算法對(duì)大量的情感分類數(shù)據(jù)進(jìn)行訓(xùn)練構(gòu)造出相應(yīng)的模型,一旦有新的評(píng)價(jià)數(shù)據(jù)到來,只需要導(dǎo)入該系統(tǒng)就可以快速地完成情感的分析分類.

1 Word2Vec+LSTM情感分類方法

1.1 情感分類方法

1.1.1 情感分類方法介紹

常見的情感分類方法有五大類:基于詞典的方法、基于機(jī)器學(xué)習(xí)的方法、詞典與機(jī)器學(xué)習(xí)相結(jié)合的方法、基于弱標(biāo)注信息的方法以及基于深度學(xué)習(xí)的方法.其中基于詞典方法的模式是“詞典+規(guī)則”,即以情感詞典作為判斷情感極性的主要依據(jù),同時(shí)兼顧評(píng)論數(shù)據(jù)中的句法結(jié)構(gòu),設(shè)計(jì)相應(yīng)的判斷規(guī)則;基于機(jī)器學(xué)習(xí)的方法主要依賴特征工程,通過n-gram方法、Partof-Speech方法、句法特征方法、TF-IDF方法提取出一定數(shù)量的滿足條件的特征,再放到情感詞典中進(jìn)行匹配,進(jìn)而推斷出情感的性質(zhì);將詞典與機(jī)器學(xué)習(xí)融合起來的方法可以將“詞典+規(guī)則”視為簡單的分類器或者將詞典信息作為特征與現(xiàn)有特征進(jìn)行結(jié)合,選擇最優(yōu)的特征組合進(jìn)行情感分類;基于弱標(biāo)注信息的情感分類方法試圖從用戶產(chǎn)生的數(shù)據(jù)中挖掘有助于訓(xùn)練情感分類器的信息,比如評(píng)論評(píng)分、微博表情符號(hào)等,加入情感詞典進(jìn)行分類.

前面幾種方法都屬于傳統(tǒng)的文本情感分類方法,在文本分類的表現(xiàn)上仍然有很多不足的地方,因?yàn)樵诜诸愡^程中需要加入很多人為因素來對(duì)某種場景下的情感進(jìn)行分類,尤其在語料的訓(xùn)練和情感詞典的建立方面體現(xiàn)的更明顯,如果不是語言學(xué)家或者擁有濃厚的語言背景知識(shí),那么整個(gè)情感分類的結(jié)果就會(huì)受到很大的影響.而基于深度學(xué)習(xí)的情感分類方法克服了傳統(tǒng)方法的不足,首先要求從大量評(píng)論數(shù)據(jù)中學(xué)習(xí)出語義詞向量,然后通過不同的語義合成方法用詞向量得到對(duì)應(yīng)句子或文檔的特征表達(dá),再通過構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)入相關(guān)的句向量就可以讓模型自動(dòng)通過前向傳播算法和反向傳播算法不斷對(duì)參數(shù)進(jìn)行迭代更新以減少loss函數(shù)值來提升分類準(zhǔn)確率,這個(gè)過程中我們只需要設(shè)置一些參數(shù)即可,包括輸入層數(shù)量、隱藏層數(shù)量、各層之間的權(quán)重、隱藏層及之前需要的偏置值、學(xué)習(xí)率、激活函數(shù)等就可以訓(xùn)練出一個(gè)情感分類的模型.

1.1.2 深度學(xué)習(xí)情感分類方法發(fā)展

傳統(tǒng)的情感分類方法包括樸素貝葉斯方法、最近鄰方法、支持向量機(jī)方法等,準(zhǔn)確率受到了很大限制,隨著深度學(xué)習(xí)的興起以及數(shù)據(jù)處理能力的不斷提升,深度學(xué)習(xí)技術(shù)廣泛用于圖像處理、語音識(shí)別、自然語言處理等方面.RNN循環(huán)神經(jīng)網(wǎng)絡(luò)方法作為自然語言處理的一種方法因?yàn)椴荒苡涀√盎蛱蟮膬?nèi)容,所以仍然有一定的局限性,而LSTM神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory)作為RNN網(wǎng)絡(luò)的一種變種,它通過在普通的RNN基礎(chǔ)上,在隱藏層各神經(jīng)元中增加記憶單元,從而使時(shí)間序列上的記憶信息可控,每次在隱藏層各個(gè)單元間傳遞時(shí)通過幾個(gè)可控門(遺忘門、輸入門、候選門、輸出門),來控制之前信息和當(dāng)前信息的記憶和遺忘程度,從而具有長期記憶功能[2].本文采用的正是Word2Vec與LSTM相結(jié)合的情感分析方法.

1.2 關(guān)鍵技術(shù)

1.2.1 Word2Vec

Word2Vec摒棄了傳統(tǒng)方法的one-hot編碼方式,將一個(gè)詞語對(duì)應(yīng)一個(gè)多維向量,通過該多維向量允許我們用變化較小的數(shù)字來表征詞語,如果用20維向量理論上就可以表征220=1048 576個(gè)詞語了,通過一定方法,比如歐氏距離或者余弦相似度就可以把相近意思的詞語放在相近的位置,而且一般用的是實(shí)數(shù)向量[3].通過將所有的詞向量化,詞與詞之間就可以定量的度量他們之間的關(guān)系.

1.2.2 LSTM簡介

LSTM,是為了解決長期以來問題而專門設(shè)計(jì)出來的它是在RNN的基礎(chǔ)上衍生來的,當(dāng)相關(guān)的信息和要預(yù)測(cè)的詞的位置之間的間隔很小時(shí),RNN可以學(xué)會(huì)使用先前的信息,但是當(dāng)相關(guān)信息和當(dāng)前預(yù)測(cè)位置相隔較遠(yuǎn)時(shí),RNN會(huì)喪失學(xué)習(xí)到很遠(yuǎn)信息的能力.LSTM通過刻意的設(shè)計(jì)來避免長期依賴問題.記住長期的信息在實(shí)踐中是LSTM的默認(rèn)行為,LSTM重復(fù)模塊中包含四個(gè)交互的層.其中遺忘門決定我們從細(xì)胞狀態(tài)中丟棄什么信息,輸入門決定多少新信息加入到細(xì)胞狀態(tài)中來,輸出門決定輸出什么值[4].LSTM結(jié)構(gòu)圖如圖1所示.

1.2.3 LSTM情感分類處理流程

先使用Word2Vec模型將詞向量的集合對(duì)應(yīng)成句子,這樣就能夠得到表征該句子的句向量,然后將句向量作為神經(jīng)網(wǎng)絡(luò)模型的輸入部分,向量的每個(gè)分量對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn),隱藏層可以根據(jù)經(jīng)驗(yàn)進(jìn)行設(shè)置,輸出層的節(jié)點(diǎn)個(gè)數(shù)就是我們要分類的類別數(shù).情感分類流程圖如圖2所示.

圖1 LSTM結(jié)構(gòu)圖

圖2 情感分類流程圖

2 實(shí)驗(yàn)流程分析與參數(shù)設(shè)置

2.1 本文分類流程

選取了一定數(shù)量的語料后,就進(jìn)入了數(shù)據(jù)預(yù)處理階段,包括分詞、去停用詞,接著使用Word2Vec模型訓(xùn)練出一定數(shù)量的情感詞典,然后使用Keras模型搭建出一個(gè)LSTM結(jié)構(gòu),設(shè)置好網(wǎng)絡(luò)的輸入層、隱藏層、輸出層,然后進(jìn)行調(diào)優(yōu),包括設(shè)置學(xué)習(xí)率、激活函數(shù)、損失函數(shù),選取優(yōu)化器等.實(shí)驗(yàn)處理的流程如圖3所示.

圖3 本文文本分類處理流程圖

2.2 語料選取

本文分別選取了網(wǎng)上關(guān)于書籍、酒店住宿、手機(jī)的評(píng)論數(shù)據(jù)作為實(shí)驗(yàn)用的語料,一共21 090條,每一類數(shù)量均為7030.現(xiàn)從每一類隨機(jī)抽取一些數(shù)據(jù)集,包括積極、中性、消極3類,每一類的數(shù)據(jù)集均劃分成訓(xùn)練集、驗(yàn)證集、測(cè)試集3部分,比例都為6:2:2,數(shù)據(jù)存儲(chǔ)在csv格式的數(shù)據(jù)文件中.各部分?jǐn)?shù)據(jù)的數(shù)量如表1所示.

表1 數(shù)據(jù)集劃分表

2.3 分詞

本文使用結(jié)巴庫中的lcut方法對(duì)中文句子進(jìn)行切分,jieba庫作為Python自帶的第三方中文分詞庫,功能非常強(qiáng)大,分詞的準(zhǔn)確率與速度均高于同類的分詞軟件.

2.4 訓(xùn)練情感詞典

通過Google提出的Word2Vec模型來訓(xùn)練情感詞典,將文本的內(nèi)容轉(zhuǎn)換為向量來表征[5].利用向量的夾角公式來計(jì)算詞與詞的相似度,詞向量一般是實(shí)數(shù)值形式的,表征的范圍更大、效率更高.通過Wikipedia獲取大量的語料進(jìn)行訓(xùn)練,通過分詞、去停用詞、利用Word2Vec模型進(jìn)行特征提取等最終將不同性質(zhì)的詞語歸為一類并用高維的實(shí)型向量表示[6].

2.5 創(chuàng)建當(dāng)前語料庫情感詞典

創(chuàng)建單詞到索引的映射以及單詞到詞向量的映射,若單詞的索引數(shù)小于10,則設(shè)置為0,若詞語的索引為0,則詞向量也為0,若詞語的索引不為0,則詞向量的分量為該詞語在情感詞典中的出現(xiàn)次數(shù).接著分別獲取訓(xùn)練集及其標(biāo)簽、驗(yàn)證集及其標(biāo)簽、測(cè)試集及其標(biāo)簽構(gòu)造的詞向量.詞匯的維度假設(shè)為100維,那么訓(xùn)練集、驗(yàn)證集及測(cè)試集的數(shù)據(jù)維度均為提取的詞匯大小×100,標(biāo)簽數(shù)據(jù)對(duì)應(yīng)的維度均為詞匯大小×3.

2.6 構(gòu)建LSTM分類模型

本文通過Keras框架構(gòu)建了一個(gè)LSTM神經(jīng)網(wǎng)絡(luò)模型,其中模型的基本結(jié)構(gòu)為:輸入層InputLayer為輸入的序列編碼成的向量維度,有向量維度大小的神經(jīng)元,隱藏層HidenLayer的大小可以自由設(shè)置,這里設(shè)置為64,輸出層Softmax的大小為情感分類的類別,這里進(jìn)行的是三分類,所以輸出層有3個(gè)神經(jīng)元,分別代表積極類、中性類與消極類[7].部分結(jié)構(gòu)代碼設(shè)置如下:

np.concatenate((np.ones(len(pos),dtype=int),np.zero s(len(neu),dtype=int),-1*np.ones(len(neg),dtype=int)))/*pos類類別標(biāo)簽為1,neu類類別標(biāo)簽為0,neg類類別標(biāo)簽為-1 */

model.add(LSTM(HIDDEN_LAYER_SIZE,dropout=0.2,recurrent_dropout=0.2))

model.add(Dense(3,activation=‘softmax’))/*LSTM情感分類模型搭建 */

構(gòu)造LSTM模型之前,先做如下預(yù)處理:

1)變長序列的處理

因?yàn)槊恳活悇e下的數(shù)據(jù)集中句子的長度都不相等,所以需要將變長序列轉(zhuǎn)換成定長序列來處理:首先在所有句子中選取一個(gè)最大長度的句子,這里設(shè)定序列最大長度maxlen為100,不足這個(gè)長度的序列補(bǔ)0,然后在embedding層中過濾掉指定字符,通過該層能將序列映射到一個(gè)固定維度的空間中,代碼如下:

model.add(Embedding(output_dim=vocab_dim,

input_dim=n_symbols,

input_length=input_length))

2)數(shù)據(jù)歸一化

數(shù)據(jù)歸一化的目的是將原本不同量綱的數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化處理后,讓不同的數(shù)據(jù)處于同一數(shù)量級(jí),這樣各數(shù)據(jù)指標(biāo)之間會(huì)具有更好的可比性.這里使用Z-score標(biāo)準(zhǔn)化方法:用樣本的數(shù)據(jù)減去均值再除以標(biāo)準(zhǔn)差,如下所示,這里僅列舉出訓(xùn)練集數(shù)據(jù)標(biāo)準(zhǔn)化代碼:

x_train=np.array(x_train,dtype=np.float)#將數(shù)據(jù)類型轉(zhuǎn)換為float

x_train-=np.mean(x_train,axis=1).reshape(16870,1)# zero-center #求出每一行的均值

x_train /=np.std(x_train,axis=1)# normalize

#數(shù)據(jù)未歸一化和歸一化后的測(cè)試準(zhǔn)確率比較如表2所示.

表2 歸一化前后準(zhǔn)確率對(duì)比表

所以,在模型構(gòu)造時(shí),數(shù)據(jù)不經(jīng)過歸一化處理模型的效果更好.

3)權(quán)重初始化

LSTM作為神經(jīng)網(wǎng)絡(luò)的一種模型,訓(xùn)練過程中也要及時(shí)的對(duì)權(quán)重進(jìn)行更新,在更新前,需要給每個(gè)權(quán)重一個(gè)初始值.這里有3種初始化權(quán)重的方式:

第一種方式是把索引為0的詞語權(quán)重初始化為0,索引為1的詞語開始每個(gè)詞語按照其對(duì)應(yīng)的詞向量大小進(jìn)行初始化.

第二種方式是Xavier初始化,具體方式如下:

Weights=np.random.randn(node_in,node_out))/np.sqrt(node_in)

其中node_in為前一層神經(jīng)元節(jié)點(diǎn),node_out為后一層神經(jīng)元節(jié)點(diǎn).

第三種初始化的方式是He初始化,它是在Xavier初始化的基礎(chǔ)上,將分母中的方差節(jié)點(diǎn)除以2即可[8].實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)使用He初始化時(shí),測(cè)試集數(shù)據(jù)的準(zhǔn)確率最高.

2.7 LSTM模型參數(shù)選擇

當(dāng)前訓(xùn)練的數(shù)據(jù)量達(dá)上萬條,所以需要將數(shù)據(jù)集分成多個(gè)小塊,實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)訓(xùn)練輪數(shù)epoch達(dá)到30輪之前val loss不斷下降,test loss不斷下降;當(dāng)輪數(shù)超過30輪時(shí),val loss與test loss趨于穩(wěn)定,所以epoch=30為最優(yōu)訓(xùn)練輪數(shù).

影響LSTM模型準(zhǔn)確率的因素非常多,其中就包含各種不同性質(zhì)的超參數(shù),比如損失函數(shù)、優(yōu)化器種類、學(xué)習(xí)率的大小、激活函數(shù)的選取等,這里選取影響LSTM模型的主要因素進(jìn)行分析,分別如下所示.

1)損失函數(shù)Loss

通過損失函數(shù)的連續(xù)變化,使預(yù)測(cè)數(shù)據(jù)的真實(shí)值和實(shí)際值的誤差不斷減少,這樣就可以對(duì)給定的模型進(jìn)行預(yù)測(cè)了,對(duì)于多分類來說,常見的損失函數(shù)可以為categorical_crossentropy或mean square error.

當(dāng)選用的損失函數(shù)為mean square error時(shí),測(cè)試集的總體準(zhǔn)確率最高.

2)學(xué)習(xí)率Lr

根據(jù)經(jīng)驗(yàn),學(xué)習(xí)率是用來控制模型的學(xué)習(xí)進(jìn)度,一般設(shè)置在0.001～10之間時(shí)樣本訓(xùn)練的效果最好[9].當(dāng)學(xué)習(xí)率設(shè)置為0.001,0.01,0.1,1,10時(shí),不同學(xué)習(xí)率對(duì)應(yīng)的準(zhǔn)確率如圖4所示.

從圖4可以看出,當(dāng)學(xué)習(xí)率設(shè)置為0.001時(shí),模型的訓(xùn)練效果最好.

3)優(yōu)化器Optimizer

因?yàn)長STM模型可以設(shè)定的參數(shù)很多,參數(shù)空間比較復(fù)雜,所以優(yōu)化問題比較困難,為了尋求最優(yōu)參數(shù),在模型編譯時(shí)選擇了不同的優(yōu)化器進(jìn)行優(yōu)化,其中包括SGD、Momentum、AdaGrad、Adam等[9],其中SGD又稱隨機(jī)梯度下降法,函數(shù)會(huì)沿著當(dāng)前位置呈“之”字形往下移動(dòng),對(duì)參數(shù)更新時(shí)使用的學(xué)習(xí)率相同,Momentum借用了物理上“動(dòng)量”的概念,就像小球一樣在地面上滾動(dòng),它在面對(duì)小而連續(xù)的梯度時(shí),學(xué)習(xí)的更快,AdaGrad優(yōu)化器能在學(xué)習(xí)的過程中不斷減少學(xué)習(xí)率,并隨著學(xué)習(xí)的進(jìn)行可以適當(dāng)?shù)恼{(diào)整,Adam優(yōu)化器是將Momentum與AdaGrad方法融合到一起創(chuàng)建的,它既可以按照類似小球在碗中滾動(dòng)的物理規(guī)則進(jìn)行移動(dòng),也可以動(dòng)態(tài)地調(diào)整更新過程中的學(xué)習(xí)率[9].除此之外,還有Adamax、Nadam、RMSProp等優(yōu)化器.不同優(yōu)化器準(zhǔn)確率如圖5所示.

圖4 不同學(xué)習(xí)率對(duì)應(yīng)的準(zhǔn)確率圖

圖5 不同優(yōu)化器對(duì)應(yīng)的準(zhǔn)確率圖

可以看出,當(dāng)優(yōu)化器選擇RMSProp時(shí),模型訓(xùn)練效果最好.

4)激活函數(shù)

激活函數(shù)可以將神經(jīng)網(wǎng)絡(luò)線性的輸入轉(zhuǎn)化到一定范圍的非線性值,從而使神經(jīng)網(wǎng)絡(luò)表達(dá)能力更加強(qiáng)大,網(wǎng)絡(luò)理論上可以逼近任意函數(shù).在本文的多分類情感分析模型中,主要選擇了3種激活函數(shù):tanh、relu、Softmax[10],在訓(xùn)練輪數(shù)、學(xué)習(xí)率、損失函數(shù)、優(yōu)化器等參數(shù)確定的情況下,通過實(shí)驗(yàn)可以得出不同激活函數(shù)作用下測(cè)試集總體的準(zhǔn)確率.如表3所示.

表3 不同激活函數(shù)作用下的準(zhǔn)確率表

從表3可以看出,當(dāng)激活函數(shù)選擇tanh時(shí)測(cè)試集的準(zhǔn)確率最高.

當(dāng)然,為了防止過擬合,程序中使用了Dropout方法,該方法是在訓(xùn)練過程中隨機(jī)選出一定比例隱藏層的神經(jīng)元,將其刪除,被刪除的神經(jīng)元不再進(jìn)行信號(hào)的傳遞,輸出的神經(jīng)元要乘上訓(xùn)練時(shí)的刪除比例然后再輸出.經(jīng)過多次實(shí)驗(yàn)證明,dropout=0.2時(shí),效果最好.

2.8 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)的硬件環(huán)境為:CPU為i7-6700HQ@2.60 GHz,內(nèi)存為8 GB,顯卡為GTX965M;軟件環(huán)境為:Eclipse作為開發(fā)工具,使用anaconda自帶的Python解釋器作為PyDev的Intepreter,使用keras框架來實(shí)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)模型,使用Python的工具包gensim來訓(xùn)練Word2Vec模型,使用matplotlib庫來繪制本實(shí)驗(yàn)中相關(guān)的圖形.

2.9 實(shí)驗(yàn)結(jié)果

經(jīng)過反復(fù)實(shí)驗(yàn)測(cè)試,當(dāng)數(shù)據(jù)沒有歸一化、使用He初始化權(quán)重、學(xué)習(xí)率為0.001、損失函數(shù)為Mean Square Error(簡稱MSE)、優(yōu)化器選擇RMSProp、激活函數(shù)選擇tanh、訓(xùn)練輪數(shù)達(dá)到30輪時(shí),模型總體測(cè)試集的準(zhǔn)確率最高,這些參數(shù)組合到一起時(shí)訓(xùn)練的效果最好.這里采用準(zhǔn)確率召回率和f1值進(jìn)行評(píng)估[11].此時(shí),模型訓(xùn)練的準(zhǔn)確率同SVM多分類方法比較如表4所示.

表4 不同方法性能對(duì)照表

其中,SVM方法先通過PCA方法將高維的特征向量降低到100維,對(duì)于三個(gè)類別,先將其轉(zhuǎn)換成兩個(gè)類別的分類問題,然后采取投票的方式,確定最終的類別.算法大致如下:

1)將正類中性類負(fù)類的測(cè)試集票數(shù)都設(shè)置為0.

2)構(gòu)造正類-負(fù)類分類器如果當(dāng)前測(cè)試集數(shù)據(jù)判定的類別為正類,則正類票數(shù)加1,否則負(fù)類票數(shù)加1.

3)接著構(gòu)造正類-中性類分類器、中性類-負(fù)類分類器,按類似方式對(duì)測(cè)試的數(shù)據(jù)集進(jìn)行投票.

4)最終正類、中性類和負(fù)類中票數(shù)最多的那一類就是當(dāng)前測(cè)試數(shù)據(jù)所屬的類別.

驗(yàn)證集與測(cè)試集各自的損失函數(shù)值隨訓(xùn)練輪數(shù)變化的曲線圖如圖6所示.

圖6 驗(yàn)證集與測(cè)試集損失函數(shù)值隨訓(xùn)練輪數(shù)變化圖

隨著訓(xùn)練輪數(shù)的增加,驗(yàn)證集與測(cè)試集的準(zhǔn)確率不斷接近,沒有過擬合現(xiàn)象發(fā)生,驗(yàn)證集和測(cè)試集的準(zhǔn)確率隨著輪數(shù)的變化曲線圖如圖7所示.

圖7 驗(yàn)證集和測(cè)試集準(zhǔn)確率隨訓(xùn)練輪數(shù)變化圖

將model.compile()函數(shù)中的metrics參數(shù)的值分別修改為recall和f1,再分別定義出召回率recall、精確率precision及f1三個(gè)函數(shù),通過30個(gè)epoch的迭代計(jì)算,就可以得到驗(yàn)證集與測(cè)試集在每一輪中的召回率與f1值隨訓(xùn)練輪數(shù)的變化結(jié)果.如圖8和圖9所示.

圖8 驗(yàn)證集和測(cè)試集召回率隨訓(xùn)練輪數(shù)變化圖

圖9 驗(yàn)證集和測(cè)試集f1值隨訓(xùn)練輪數(shù)變化圖

3 總結(jié)

情感分類問題是一個(gè)在很多領(lǐng)域都很常見的問題,除本文用到的評(píng)論數(shù)據(jù)外,網(wǎng)上隨處可見的一些新聞評(píng)論、微博評(píng)論、貼吧評(píng)論、qq空間評(píng)論,還有歌曲評(píng)論、網(wǎng)絡(luò)電影評(píng)論等,使用傳統(tǒng)的方法,比如SVM、KNN來分類,不但準(zhǔn)確率提升的幅度有限,而且需要人工提取特征向量,效率很低.

本文使用深度學(xué)習(xí)中的LSTM模型,同時(shí)結(jié)合Word2Vec工具創(chuàng)建出當(dāng)前領(lǐng)域范圍的情感詞典,然后將語料中的詞語用高維的詞向量表示,接著用一個(gè)Embedding層將詞向量嵌入到LSTM模型的隱層中,最后連上一個(gè)Softmax輸出層,這樣就建立了一個(gè)多分類的情感分類器.影響神經(jīng)網(wǎng)絡(luò)模型精度的參數(shù)非常多,本文選取了學(xué)習(xí)率、損失函數(shù)、優(yōu)化器、激活函數(shù)等為主要評(píng)價(jià)指標(biāo),分析了它們對(duì)當(dāng)前模型準(zhǔn)確率的影響,最終確定了一組最優(yōu)的參數(shù).實(shí)驗(yàn)證明,該方法能夠在一定規(guī)模的數(shù)據(jù)集上有效地解決多類別情感分類問題!