NLP在網(wǎng)絡(luò)書評情感分析中的應(yīng)用

李春虎，趙海博，秦豪

（華北理工大學(xué)理學(xué)院，河北唐山，063210）

引言

情感分析問題本質(zhì)上是文本分類問題，通常是將文本分為消極情感和積極情感兩類，有監(jiān)督的文本情感分析主要是運(yùn)用樸素貝葉斯、支持向量機(jī)等有監(jiān)督學(xué)習(xí)算法進(jìn)行情感分類，實(shí)驗(yàn)證明，使用一元詞作為特征的樸素貝葉斯（NB，na?ve Bayes）和支持向量機(jī)（SVM，Support Vector Machine）等機(jī)器學(xué)習(xí)算法在文本情感分析中表現(xiàn)出色.Pang、Lee和Vaithyanathan等[1]被認(rèn)為是最早將原本應(yīng)用于基于主題分類的機(jī)器學(xué)習(xí)算法應(yīng)用到文本情感分析研巧中的研巧者，他們使用樸素貝葉斯、最大熵（ME，Maximum Entropy）、支持向量機(jī)等機(jī)器學(xué)習(xí)算法將電影評論文本分為褒義和貶義兩類。Mlen和Collier等[2]在此基礎(chǔ)上提出了一種將基于一元詞特征與基于實(shí)際特征詞相結(jié)合的SVM算法Ye等[3]比較了樸素貝葉斯、支持向量機(jī)和基于特征的N-gram模型在旅行博客評論文本上的分類效果，實(shí)驗(yàn)結(jié)果表明，支持向量機(jī)和N-gram模型準(zhǔn)確率高于樸素貝葉斯算法，當(dāng)訓(xùn)練集足夠大時，這H種方法均能得到80%的準(zhǔn)確率。Martineau和Finin等[4]提出了一種名為DeltaTFIDF的新的加權(quán)模式，提高了SVM算法的準(zhǔn)確率。

伴隨著聯(lián)網(wǎng)的發(fā)展、電子商務(wù)的興起以及信息的實(shí)時與交互化趨勢，網(wǎng)絡(luò)書評作為一種重要的書評資源，這些評論為本表達(dá)了評論者的觀點(diǎn)和情感，用戶也習(xí)慣于從網(wǎng)絡(luò)書評中獲取圖書相關(guān)信息，為自己的決策尋找相關(guān)意見。分析用戶發(fā)表在互聯(lián)網(wǎng)上的書評，能夠發(fā)現(xiàn)用戶對圖書的情感，挖掘其中的潛在信息，具有巨大的應(yīng)用價值.而現(xiàn)有的文本情感分析中，以網(wǎng)絡(luò)書評對象進(jìn)行的研究很少?；诖?，本文通過從互聯(lián)網(wǎng)上爬取書評信息，并對其進(jìn)行基于自然語言理解的統(tǒng)計(jì)分析，對圖書做出合理性評價，并通過實(shí)例證明了模型的可行性與實(shí)用性。

1 相關(guān)理論

1.1 文本情感分析

文本情感分析是一個綜合性的Web數(shù)據(jù)挖掘領(lǐng)域，與之相關(guān)的學(xué)科有計(jì)算機(jī)科學(xué)、教育學(xué)、音理學(xué)、語旨學(xué)、經(jīng)濟(jì)學(xué)等。情感分析（SentimentAnalysis），也被稱為評論挖掘或者意見挖掘（OpinionMining），指的是通過對文本內(nèi)容的分析，挖掘評論者所表達(dá)的情感傾向[5、6]。此技術(shù)可在現(xiàn)實(shí)生活中的很多方面得到應(yīng)用，例如，商務(wù)智能、民意調(diào)查、輿論分析、企業(yè)管理等。作為一種綜合性的Web數(shù)據(jù)挖掘領(lǐng)域，互聯(lián)網(wǎng)評論文本情感分析所涉及的研巧內(nèi)容非常廣泛，比如網(wǎng)絡(luò)中評論信息的自動識別、被評論商品的屬性識別、購買者評論的褒貶態(tài)度識別、挖掘網(wǎng)上評論和商品銷售情況之間的關(guān)系等等。利用互聯(lián)網(wǎng)評論文本情感分析的結(jié)果，潛在的購買者可以了解其他購買者對該產(chǎn)品的態(tài)度以及使用體驗(yàn)，為自己是否購買提供決策依據(jù); 制造商和經(jīng)銷商可了解到消費(fèi)者關(guān)于產(chǎn)品和服務(wù)的反饋信息，參照消費(fèi)者對自己以及競爭對手的評價意見，對產(chǎn)品及服務(wù)進(jìn)行改進(jìn)，從而獲得競爭優(yōu)勢。目前互聯(lián)網(wǎng)評論文本情感分析技術(shù)已經(jīng)得到開發(fā)應(yīng)用，例如，Google Product Search、Bing訊opping等能識別用戶對產(chǎn)品各種屬性的評價，并選擇具有代表性的評論顯示給用戶，國內(nèi)的亞馬遜、淘寶等購物網(wǎng)站也有類似功能。因此，互聯(lián)網(wǎng)評論文本情感分析的研究具有十分重要的現(xiàn)實(shí)意義。

目前主流的文本情感分析研究方法分為兩種類型：無監(jiān)督的文本情感分析和有監(jiān)督的文本情感分析。無監(jiān)督的文本情感分析主要是運(yùn)用情感詞的相關(guān)信息進(jìn)行文本情感傾向判別，有監(jiān)督的文本情感分析主要是運(yùn)用樸素貝葉斯、支持向量機(jī)等有監(jiān)督學(xué)習(xí)算法進(jìn)行情感分類，一般是將文本集合劃分為訓(xùn)練集和測試集，再對文本分詞處理、刪除停用詞、選取特征，將文本表示成為文本向量的形式，最后訓(xùn)練分類器并進(jìn)行分析。

1.2 爬蟲技術(shù)簡介

網(wǎng)絡(luò)爬蟲是一個自動提取網(wǎng)頁的程序，它為搜索引擎從網(wǎng)頁上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個或若干初始網(wǎng)頁的 URL 開始，獲得初始網(wǎng)頁上的 URL， 在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL 放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的 URL 隊(duì)列。然后，它將根據(jù)一定的 搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁 URL，并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某一條件時停止。另外，所有被爬蟲抓取的網(wǎng)頁將會被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索; 對于聚焦爬蟲來說，這一過程所得到的分析結(jié)果還可能對以后的抓取過程給出反饋和指導(dǎo)。

網(wǎng)絡(luò)爬蟲分為以下幾種類型通用網(wǎng)絡(luò)爬蟲（General Purpose Web Crawler）、聚焦網(wǎng)絡(luò)爬蟲（Focused Web Crawler）、增量式網(wǎng)絡(luò)爬蟲（Incremental Web Crawler）、深層網(wǎng)絡(luò)爬蟲（Deep Web Crawler）。本文所設(shè)計(jì)的算法即是通用網(wǎng)絡(luò)爬蟲，可以在各大書評網(wǎng)站爬取大量用戶的書評數(shù)據(jù)。

2 書評文本數(shù)據(jù)獲取

2.1 網(wǎng)絡(luò)爬蟲總體設(shè)計(jì)

本文基于python的Requests與Beautiful庫對網(wǎng)頁信息進(jìn)行爬取。針對網(wǎng)絡(luò)書評的網(wǎng)絡(luò)爬蟲主要分為確定初始爬取鏈接的 URL 模塊，模擬瀏覽器行為，提取網(wǎng)頁內(nèi)容的用戶評論模塊，對提取的網(wǎng)頁進(jìn)行解析，提取出有用信息的網(wǎng)頁解析模塊以及負(fù)責(zé)存儲已爬取內(nèi)容的數(shù)據(jù)庫模塊。網(wǎng)絡(luò)爬蟲的具體結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)爬蟲結(jié)構(gòu)圖

2.2 初始URL 模塊設(shè)計(jì)與實(shí)現(xiàn)

普通的網(wǎng)絡(luò)爬蟲需要選定一組初始鏈接，再從初始鏈接的網(wǎng)頁中提取超鏈接，并順著這些超鏈接爬取下一個網(wǎng)頁內(nèi)容，如此重復(fù)直到達(dá)到某種條件為止。而網(wǎng)絡(luò)書評的內(nèi)容頁面中，存在有許多與主題不相關(guān)的超鏈接，特別是一些廣告鏈接。如果按照普通網(wǎng)絡(luò)爬蟲的 URL 爬取策略，會爬取到很多無用的信息，對于爬蟲的爬取效率以及準(zhǔn)確率都有較大的影響。因此，分析目標(biāo)主題網(wǎng)站 URL 特點(diǎn)，選取適當(dāng)?shù)某跏?URL 集，確定適合的爬行策略是很有必要的。

通過分析豆瓣書評的 URL 可以得知，各貼吧首頁的 URL 都是以特定的域名https://book。douban。com/subject/xxxxx/reviews?start=為頭，加上一個書評的關(guān)鍵字構(gòu)成。例如，《解憂雜貨店》書評的第10頁 URL 關(guān)鍵字形式為：

因此，本文選擇以特定的域名 https://book。douban。com/subject/25862578/reviews?start=作為開頭，加上用戶給定的關(guān)鍵字，以此得到的貼吧首頁鏈接作為初始 URL。然后通過網(wǎng)頁解析獲取目標(biāo)貼吧總頁數(shù)，來確定最終網(wǎng)絡(luò)爬蟲爬行的 URL 集，其形式如下：

2.3 網(wǎng)頁下載模塊設(shè)計(jì)與實(shí)現(xiàn)

Requests是Python 里一個非常方便的客戶端請求代理模塊，是一個輕量的，漸進(jìn)式 API，是個可以方便處理 Get，Post，Put，Delete，Head 等請求的HTTP 方面的庫。在不同的應(yīng)用場景發(fā)送請求的時候，會選擇一個正確的請求方式，然后返回得到請求后的返回結(jié)果。文本利用 Request。get訪問相應(yīng)的 URL 鏈接，下載對應(yīng)的 Web 頁面，其核心代碼如下：

2.4 網(wǎng)頁解析模塊設(shè)計(jì)與實(shí)現(xiàn)

網(wǎng)頁解析的主要工作就是從網(wǎng)頁源碼中抽取出有效的文本節(jié)點(diǎn)，這個過程分為兩步，第一步是分析網(wǎng)頁的結(jié)構(gòu)，找出 HTML 網(wǎng)頁的結(jié)構(gòu)特性; 第二步是按照結(jié)構(gòu)特性所生成的解析規(guī)則，來獲取網(wǎng)頁上指定的文本節(jié)點(diǎn)數(shù)據(jù)。常用來解析HTML 網(wǎng)頁的方法有正則表達(dá)式法和調(diào)用第三方庫法。正則表達(dá)式的方法相較于第三方庫法存在諸多缺陷，最重要的是由于不同的網(wǎng)頁其結(jié)構(gòu)和文本節(jié)點(diǎn)的解析規(guī)則均不相同，需要撰寫不同的正則表達(dá)式來才能得到正確的文本數(shù)據(jù)，兼容性較差，因此本文使用的是第三方庫來進(jìn)行網(wǎng)頁的解析?；?Python對網(wǎng)頁進(jìn)行解析的第三方庫有很多，其中比較流行的是Beautifulsoup。本文選擇用Beautifulsoup庫來解析網(wǎng)頁獲得文本。本文爬取的豆瓣書評網(wǎng)頁，從書評網(wǎng)頁底部DOM書來開始解析。

圖2 豆瓣書評底部DOM結(jié)構(gòu)

從中可以看出，用戶的書評包含在