基于Spark的海量文本評(píng)論情感分析

王 磊 ， 曾 誠(chéng) ， 奚雪峰 *， 皮 洲 ， 顧建偉 ， 卓文婕 ， 陳帥天

（1.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009；2.蘇州市虛擬現(xiàn)實(shí)智能交互及應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 蘇州215009；3.昆山市公安局指揮中心，江蘇 蘇州 215300）

隨著網(wǎng)絡(luò)的快速發(fā)展，越來(lái)越多的人活躍于網(wǎng)絡(luò)，進(jìn)行網(wǎng)絡(luò)購(gòu)物，進(jìn)而產(chǎn)生大量的購(gòu)物評(píng)論，購(gòu)物評(píng)論不僅是用戶在使用商品之后的一種反饋的有效方式，同時(shí)對(duì)于商戶以及瀏覽者也都有較好的參考價(jià)值。但是目前絕大多數(shù)的評(píng)論都沒(méi)有被有效利用，在浩如煙海的評(píng)論中，網(wǎng)站的管理者無(wú)法直接從中找到有用的信息，因而如何有效的挖掘處理這些評(píng)論具有重大意義。

最基礎(chǔ)的情感分析方法是通過(guò)對(duì)句子進(jìn)行打分來(lái)判定句子的情感類別。對(duì)句子中的每個(gè)單詞都給予一個(gè)分?jǐn)?shù)，例如帶有樂(lè)觀情感的單詞得分為+1，帶有悲觀情緒的單詞得分為-1。然后對(duì)句子中所有單詞的得分進(jìn)行求和得到一個(gè)最終的情感總分。

另外一個(gè)常見(jiàn)的方法是將文本視為一個(gè)“詞袋”。將每個(gè)文本看成一個(gè)1×N的向量，其中N表示文本中包含的詞匯的數(shù)量。該向量中每一列都是一個(gè)單詞，其對(duì)應(yīng)的值為該單詞出現(xiàn)的頻數(shù)。例如，詞組“bag of bag of words”可以被編碼為 [2，2，1]。這些數(shù)據(jù)可以被應(yīng)用到機(jī)器學(xué)習(xí)分類算法中（如支持向量機(jī)，Logistic回歸），從而預(yù)測(cè)未知數(shù)據(jù)的情感狀況[1]。

Word2Vec[2]是由谷歌提出的一種模型，它包含兩種不同的方法：Continuous Bag of Words（CBOW）和Skip-gram。CBOW的目標(biāo)是根據(jù)上下文來(lái)預(yù)測(cè)當(dāng)前詞語(yǔ)的出現(xiàn)概率；而Skip-gram剛好相反，根據(jù)當(dāng)前詞語(yǔ)來(lái)預(yù)測(cè)上下文的概率。經(jīng)過(guò)訓(xùn)練之后，該算法利用CBOW或者Skip-gram的方法獲得了每個(gè)單詞的最優(yōu)向量。這些詞向量已經(jīng)捕獲到了上下文的信息，并且可以代替詞袋用來(lái)預(yù)測(cè)未知數(shù)據(jù)的情感狀況，在得到相應(yīng)的詞向量之后，就能夠?qū)⑵渥鳛楦鞣诸惼鞯妮斎?，從而?shí)現(xiàn)句子情感的分析歸類。趙剛[3]，于瀟[4]等通過(guò)構(gòu)建情感詞典并利用傳統(tǒng)的機(jī)器學(xué)習(xí)算法完成文本情感的分析，有著較好的實(shí)驗(yàn)結(jié)果，但構(gòu)建情感詞典的方法費(fèi)時(shí)費(fèi)力且主觀性較強(qiáng)。楊小平等[5]則利用統(tǒng)計(jì)模型進(jìn)行情感詞典的自動(dòng)構(gòu)建，通過(guò)Word2vec對(duì)文本進(jìn)行相似度的計(jì)算，從而實(shí)現(xiàn)情感分類，該方法在二分類情感問(wèn)題中取得了不錯(cuò)的效果，但面對(duì)情感的多分類問(wèn)題時(shí)效果還有待確認(rèn)。計(jì)瑩華等[6]基于Word2Vec對(duì)文本進(jìn)行語(yǔ)料訓(xùn)練，提出了多維情感詞典的自動(dòng)構(gòu)建方法，研究了基于詞分布密度的感情色彩消歧策略，對(duì)于情感分析的準(zhǔn)確度有較大提升。

隨著大數(shù)據(jù)時(shí)代的到來(lái)，以及硬件的飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)再次被廣泛關(guān)注，并在各個(gè)行業(yè)都取得了良好的應(yīng)用效果。蘇小英等[7]基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了微博短文情感分析，模型對(duì)微博短文的情感分析有明顯提升，但卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，參數(shù)眾多，訓(xùn)練難度大。劉新星等[8]通過(guò)不同的神經(jīng)網(wǎng)絡(luò)來(lái)研究產(chǎn)品屬性情感分析，采用直接循環(huán)圖為語(yǔ)句建模，但提升效果并不明顯。

筆者將利用word2vec及多層感知器完成情感分析任務(wù)。另外，隨著文本數(shù)據(jù)量的不斷增大，單機(jī)的內(nèi)存和運(yùn)算能力已經(jīng)不能滿足大數(shù)據(jù)量數(shù)據(jù)挖掘的要求，需要人們利用分布式計(jì)算系統(tǒng)進(jìn)行并行處理。因此，文中采用Spark作為數(shù)據(jù)的處理平臺(tái)。

1 任務(wù)定義

通過(guò)對(duì)現(xiàn)有語(yǔ)義分析模型的分析比較，選取適當(dāng)?shù)哪Ｐ蜆?gòu)建文本語(yǔ)義分析工具，實(shí)現(xiàn)批量處理用戶生成的評(píng)論內(nèi)容，提高工作效率，減少人力成本。

2 系統(tǒng)模型

為實(shí)現(xiàn)批量評(píng)論的提交與預(yù)測(cè)結(jié)果的快速獲取，筆者設(shè)計(jì)了如圖1所示的文本語(yǔ)義處理系統(tǒng)。

圖1 系統(tǒng)流程圖

在啟動(dòng)服務(wù)端之后，用戶可在界面自行設(shè)置服務(wù)器ip以及端口號(hào)。在交互界面用戶可以選擇提交txt或xls格式的文檔，點(diǎn)擊提交將會(huì)觸發(fā)監(jiān)聽(tīng)事件，客戶端獲取文本框和文本域的內(nèi)容并發(fā)送到服務(wù)端，在客戶端內(nèi)會(huì)設(shè)置消息頭Path：或者String：；如果是文件，會(huì)通過(guò)scp協(xié)議的get、put方法將本地路徑的文件放在內(nèi)部設(shè)定的服務(wù)端文件位置，同時(shí)，文件名也會(huì)當(dāng)作字符流發(fā)送到服務(wù)端；如果是字符流，則會(huì)將字符信息直接發(fā)送過(guò)去（此處使用的是socket）。當(dāng)服務(wù)端處理完成后，客戶端會(huì)將結(jié)果文本提取到對(duì)應(yīng)的文件目錄。

服務(wù)端啟動(dòng)后，會(huì)對(duì)設(shè)定的端口進(jìn)行監(jiān)聽(tīng)。當(dāng)客戶端發(fā)送請(qǐng)求時(shí)，會(huì)被socket接收，建立通信通道，傳過(guò)來(lái)的字符信息會(huì)被MassageHandle類處理，其中的兩個(gè)函數(shù)分別對(duì)應(yīng)著獲取消息類別：0代表路徑，1代表字符消息，2代表消息頭被篡改，無(wú)法被識(shí)別。消息內(nèi)容因?yàn)橄㈩^，所以要被處理掉，消息本身只會(huì)用作比較和處理，不會(huì)用來(lái)執(zhí)行。獲取的消息根據(jù)類別會(huì)被switch分類處理：如果是.xls文件則會(huì)被接收，直接執(zhí)行handle方法進(jìn)行處理；如果是字符內(nèi)容，則會(huì)被寫入新建的.xls文件中做統(tǒng)一處理。文本的處理流程如圖1所示。

第一步 文件判別：在每次提交任務(wù)之后，首先服務(wù)端會(huì)刪除對(duì)應(yīng)的目錄文件，服務(wù)端的腳本命令會(huì)放在指定目錄下，del_*文件為對(duì)應(yīng)腳本文件，在程序內(nèi)會(huì)用java Progress類執(zhí)行，調(diào)用Progress的waitFor（）函數(shù)，在等待前一個(gè)腳本執(zhí)行完成之后，開始執(zhí)行第二個(gè)腳本；

第二步 分詞：調(diào)用腳本對(duì)提交的文本文件進(jìn)行處理，文本分詞完成后，將結(jié)果保存在wordcut.txt文件；

第三步 將wordcut.txt提交至分布式文件存儲(chǔ)系統(tǒng)hdfs，服務(wù)端將會(huì)首先判斷是否有同名文件存在于hdfs當(dāng)中，若存在則先刪除上一次任務(wù)處理的文本；

第四步 數(shù)據(jù)標(biāo)簽預(yù)測(cè)：服務(wù)端向Spark集群提交處理任務(wù)，Spark集群從hdfs中讀取wordcut.txt文件，調(diào)用訓(xùn)練好的相關(guān)模型，進(jìn)行數(shù)據(jù)標(biāo)簽的預(yù)測(cè)；

第五步 獲取結(jié)果：服務(wù)端調(diào)用腳本文件獲取標(biāo)簽，并將其寫入到.xls文件中，處理好后服務(wù)端會(huì)向客戶端發(fā)送指令，觸發(fā)在客戶端的判斷函數(shù)，調(diào)用scp的get方法，最終將處理好的文件存放到提交文件的目錄中。Socket關(guān)閉，整個(gè)服務(wù)流程結(jié)束。

3 情感分析模型

文中設(shè)計(jì)的情感分析模型的執(zhí)行流程如圖2所示。首先，使用結(jié)巴分詞對(duì)輸入文本進(jìn)行分詞處理；其次，使用Wor2Vec模型進(jìn)行詞向量的轉(zhuǎn)換，對(duì)文本進(jìn)行特征的提取；最后，分別訓(xùn)練兩個(gè)分類器，實(shí)現(xiàn)情感及評(píng)論價(jià)值的分類。

圖2 情感分析流程圖

表1 情感趨向數(shù)據(jù)集規(guī)模

表2 評(píng)論價(jià)值數(shù)據(jù)集規(guī)模

3.1 數(shù)據(jù)清理與篩選

實(shí)驗(yàn)的數(shù)據(jù)集為第八屆中國(guó)大學(xué)生服務(wù)外包創(chuàng)新創(chuàng)業(yè)大賽，A11賽題：基于機(jī)器學(xué)習(xí)的文本語(yǔ)義分析工具所提供的20 707條數(shù)據(jù)標(biāo)注的評(píng)論數(shù)據(jù)。

筆者對(duì)數(shù)據(jù)進(jìn)行人工清理與篩選，最終得到6 677條非重復(fù)評(píng)論，數(shù)據(jù)規(guī)模見(jiàn)表1和表2。每條評(píng)論帶有兩個(gè)標(biāo)簽：第一個(gè)標(biāo)簽代表該評(píng)論的情感趨向，包括“貶義”“中性”“褒義”三種類別；第二個(gè)標(biāo)簽代表該評(píng)論對(duì)于產(chǎn)品的改進(jìn)所具有的價(jià)值，包含“關(guān)于產(chǎn)品的建議”“毫無(wú)意義的反饋”“問(wèn)題但缺少關(guān)鍵信息”“問(wèn)題，且包含關(guān)鍵信息（如詳細(xì)的問(wèn)題描述、步驟、場(chǎng)景、軟硬件信息等）”四種類別。

篩選之后的數(shù)據(jù)各類別之間非常不平衡：（1）褒義評(píng)論85條，貶義評(píng)論999條，中性評(píng)論5 593條，褒義評(píng)論僅為中性評(píng)論的1.52%；（2）帶有“關(guān)于產(chǎn)品的建議”標(biāo)簽的評(píng)論1 333條，“問(wèn)題但缺少關(guān)鍵信息”的評(píng)論3 342條，“問(wèn)題，且包含關(guān)鍵信息（如詳細(xì)的問(wèn)題描述、步驟、場(chǎng)景、軟硬件信息等）”的評(píng)論1 756條，“毫無(wú)意義的反饋”的評(píng)論只有246條，約為“問(wèn)題但缺少關(guān)鍵信息”評(píng)論的7.36%。

如此不平衡的數(shù)據(jù)集將會(huì)影響分類器的分類效果。因此，筆者又從京東爬取了5萬(wàn)條評(píng)論，標(biāo)注了其中1 000條褒義評(píng)論和200條貶義評(píng)論，并對(duì)中性評(píng)論進(jìn)行采樣，抽取其中1 500條中性評(píng)論作為訓(xùn)練樣本。

同樣的，筆者標(biāo)注了200條屬于“毫無(wú)意義的反饋”的評(píng)論，對(duì)“問(wèn)題但缺少關(guān)鍵信息”的評(píng)論進(jìn)行采樣，取出其中的1 500條，使各類數(shù)據(jù)達(dá)到平衡。

3.2 文本向量化

從維基百科爬取了約1G的中文文本，去除字符后使用結(jié)巴分詞對(duì)文章進(jìn)行分詞，將分詞后的文本作為Wor2vec模型的訓(xùn)練語(yǔ)料。隨后對(duì)評(píng)論分詞，并對(duì)每一句子的單詞進(jìn)行詞向量轉(zhuǎn)換，并將每一句的詞向量同位相加來(lái)代表每一個(gè)句子向量。由于每一句評(píng)論的長(zhǎng)短不一，為消除句子長(zhǎng)短對(duì)最終結(jié)果造成的影響，對(duì)句向量做取平均處理，將其作為分類器的輸入。

3.3 分類模型的選擇

3.3.1 支持向量機(jī)（SVM）

支持向量機(jī)（SVM）算法被認(rèn)為是文本分類中較為優(yōu)秀的一種方法，它是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。它使用一種非線性的映射，把原訓(xùn)練數(shù)據(jù)映射到較高的維上，并在新的維上搜索最佳分離超平面。使用到足夠高維上的、合適的非線性映射，兩類的數(shù)據(jù)總可以被分開。

SVM分類器最初是為二值分類問(wèn)題設(shè)計(jì)的，當(dāng)處理多分類問(wèn)題時(shí)，就需要構(gòu)造合適的多分類器。可通過(guò)組合多個(gè)二分類器來(lái)實(shí)現(xiàn)多分類器的構(gòu)造，而常見(jiàn)的兩種方法分別為one-against-one和one-against-all[9]。

一對(duì)多法（one-versus-rest）在訓(xùn)練模型時(shí)，依次將一種類別作為一類，剩余的類別歸為一類，對(duì)于一個(gè)k分類的問(wèn)題需要訓(xùn)練出k個(gè)SVM模型。分別使用k個(gè)模型對(duì)給定數(shù)據(jù)進(jìn)行分類，具有最大分類結(jié)果的類別即為數(shù)據(jù)所屬類別。

一對(duì)一法（one-versus-one）則是在所有的類別中任選兩類進(jìn)行組合，進(jìn)行模型訓(xùn)練，對(duì)于一個(gè)k分類問(wèn)題需要訓(xùn)練k（k－1）/2個(gè)SVM模型，最后采取投票規(guī)則，對(duì)于給定數(shù)據(jù)，得票最多的類即為所屬類別。

一對(duì)多法因?yàn)橛?xùn)練集任意產(chǎn)生偏倚，因而不是很實(shí)用。一對(duì)一法在分類類別較多時(shí)需要訓(xùn)練較多分類模型，但該實(shí)驗(yàn)中的分類問(wèn)題是3分類和4分類，實(shí)際不會(huì)產(chǎn)生太大開銷，因此，實(shí)驗(yàn)中采用一對(duì)一法對(duì)SVM算法進(jìn)行多分類的擴(kuò)展。

3.3.2 多層感知器

多層感知器是一種前饋神經(jīng)網(wǎng)絡(luò)，由多個(gè)節(jié)點(diǎn)層組成。每個(gè)層完全連接到網(wǎng)絡(luò)中的下一層。輸入層中的節(jié)點(diǎn)表示輸入數(shù)據(jù)。所有其他節(jié)點(diǎn)，通過(guò)輸入與節(jié)點(diǎn)的權(quán)重w和偏置b的線性組合，并應(yīng)用激活函數(shù)，將輸入映射到輸出。

該系統(tǒng)使用的前饋神經(jīng)網(wǎng)絡(luò)共四層，分別為輸入層、兩個(gè)隱藏層和一個(gè)輸出層。兩個(gè)隱藏層分別包含25個(gè)節(jié)點(diǎn)。 中間層中的節(jié)點(diǎn)使用 sigmoid（logistic）函數(shù) f（zi）=1/（1+e-zi），輸出層中的節(jié)點(diǎn)使用 softmax 函數(shù)輸出層中的節(jié)點(diǎn)數(shù)量N對(duì)應(yīng)于類別數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 集群部署

通過(guò)sbt將程序及其依賴包打包成一個(gè)Jar包，啟動(dòng)hdfs及Spark集群，將測(cè)試數(shù)據(jù)上傳到hdfs，通過(guò)Spark-Submit將Jar包和所需的參數(shù)提交給集群，待程序執(zhí)行完畢即可從指定的hdfs輸出路徑中下載結(jié)果。

整個(gè)測(cè)試是在由三臺(tái)Dell PowerEdge R720xd服務(wù)器組成的分布式集群上完成的，單節(jié)點(diǎn)核心數(shù)為32，內(nèi)存為62G。程序通過(guò)Scala+sbt實(shí)現(xiàn)。Ubuntu版本為16.04，Hadoop版本為2.7.2，Spark版本為2.1.1，java版本為1.7.0_80，Scala版本為2.11.8。

4.2 模型評(píng)測(cè)指標(biāo)

在文本分類中類別不平衡的情況經(jīng)常出現(xiàn)，即一種類別遠(yuǎn)多于其他類別。

圖3 算法評(píng)估指標(biāo)

在這樣的情況下，若測(cè)試樣本中一類占所有樣本90%，其他類只占10%，那么分類器只需要將所有樣本都?xì)w為一類就能有90%的準(zhǔn)確率，所以僅僅使用準(zhǔn)確率無(wú)法判斷分類器的性能優(yōu)劣。為了關(guān)注所有類別的分類情況，于是在評(píng)價(jià)分類器效果時(shí)，引入信息檢索中的混淆矩陣。算法評(píng)估指標(biāo)見(jiàn)圖3。

精度反映了被分類器判定的正例中真正的正例樣本的比重。召回率也稱為True Postive Rate，反映了被正確判定的正例占總的正例的比重，有一點(diǎn)值得注意的是當(dāng)精度較高時(shí)往往召回率較低[10]。

使用F值和宏平均綜合考慮精度和召回率兩個(gè)指標(biāo)，F(xiàn)值的計(jì)算公式如下

當(dāng)A取1時(shí)，F(xiàn)-measure就是F1值。將所有類的F1值取算術(shù)平均就得到了宏平均（Macro-average）。

4.3 實(shí)驗(yàn)結(jié)果與分析

以召回率、準(zhǔn)確率、宏平均值三個(gè)參數(shù)來(lái)作為評(píng)價(jià)指標(biāo)。從表3評(píng)論情感的分類結(jié)果中可以看到，多層感知器在召回率、準(zhǔn)確率、宏平均值三方面均要優(yōu)于另兩種分類器，而對(duì)于評(píng)論價(jià)值的分類效果，多層感知器也要略優(yōu)于另外兩種算法。

由實(shí)驗(yàn)結(jié)果可知，貶義評(píng)論的召回率很低。于是查看錯(cuò)分的貶義評(píng)論，發(fā)現(xiàn)大部分的貶義評(píng)論被分為了褒義，實(shí)際問(wèn)題在于Wor2Vec轉(zhuǎn)換的詞向量雖然包含了上下文語(yǔ)義，但無(wú)法捕獲情感信息，可能要嘗試添加相應(yīng)的情感維度，才能使褒義和貶義的情感能夠有效區(qū)分。

由表4還發(fā)現(xiàn)對(duì)于評(píng)論價(jià)值的分類效果一般，其原因在于：一是通過(guò)Wor2Vec未能有效提取出評(píng)論價(jià)值的有效信息；二是獲取句子向量時(shí)只是做了加和平均，損失了一部分句子的特征。

表3 評(píng)論情感實(shí)驗(yàn)結(jié)果對(duì)比

表4 評(píng)論價(jià)值分類實(shí)驗(yàn)對(duì)比

5 結(jié)語(yǔ)

該系統(tǒng)基于Spark平臺(tái)實(shí)現(xiàn)了文本評(píng)論的情感分類以及評(píng)論價(jià)值的挖掘。通過(guò)實(shí)驗(yàn)比較，該系統(tǒng)以多層感知器作為情感分類算法，得到了較高的準(zhǔn)確率（0.68）。同時(shí)對(duì)評(píng)論價(jià)值的分類也采用了與評(píng)論情感分類一樣的策略，但兩者的效果卻存在偏差，可見(jiàn)對(duì)于評(píng)論價(jià)值挖掘并不能使用一般的情感分析方法[11]。接下來(lái)筆者將會(huì)進(jìn)一步分析并提取關(guān)于評(píng)論價(jià)值的特征，并考慮采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)轉(zhuǎn)換后的句子向量進(jìn)行分析處理。

[1]MUCHERINO A，PAPAJORGJI P J，PARDALOS P M.Introduction to Data Mining[M].Beijing：Posts&Telecom Press，2006.

[2]MIKOLOV T，SUTSKEVER I，CHEN K，et al.Distributed representations of words and phrases and their compositionality[J].Advances in Neural Information Processing Systems，2013，26：3111-3119.

[3]趙剛，徐贊.基于機(jī)器學(xué)習(xí)的商品評(píng)論情感分析模型研究[J].信息安全研究，2017，3（2）：166-170.

[4]于瀟，萬(wàn)軍，何翔，等.校園微博情感分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].河北工業(yè)大學(xué)學(xué)報(bào)，2013，42（6）：24-29.

[5]楊小平，張中夏，王良，等.基于Word2Vec的情感詞典自動(dòng)構(gòu)建與優(yōu)化[J].計(jì)算機(jī)科學(xué)，2017，44（1）：42-47.

[6]計(jì)瑩華.基于機(jī)器學(xué)習(xí)的微博情感分析可視化系統(tǒng)[D].西安：西安電子科技大學(xué)，2014.

[7]蘇小英，孟環(huán)建.基于神經(jīng)網(wǎng)絡(luò)的微博情感分析[J].計(jì)算機(jī)技術(shù)與發(fā)展，2015，25（12）：161-164.

[8]劉新星，姬東鴻，任亞峰.基于神經(jīng)網(wǎng)絡(luò)模型的產(chǎn)品屬性情感分析[J].計(jì)算機(jī)應(yīng)用，2017，37（6）：1735-1740.

[9]劉志剛，李德仁，秦前清，等.支持向量機(jī)在多類分類問(wèn)題中的推廣[J].計(jì)算機(jī)工程與應(yīng)用，2004，40（7）：10-13.[10]周志華.機(jī)器學(xué)習(xí)[M].北京：清華大學(xué)出版社,2016.

[11]楊東強(qiáng).情感增強(qiáng)詞向量構(gòu)建方法及應(yīng)用[D].上海：華東師范大學(xué)，2015.