產(chǎn)品評(píng)論挖掘可視化實(shí)驗(yàn)平臺(tái)的開發(fā)

李愛清，何爍，郗亞輝

（河北大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，河北保定 071002）

產(chǎn)品評(píng)論挖掘可視化實(shí)驗(yàn)平臺(tái)的開發(fā)

李愛清，何爍，郗亞輝

（河北大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，河北保定 071002）

針對(duì)目前研究人員已經(jīng)提出多種中文評(píng)論挖掘方法，缺乏統(tǒng)一的評(píng)論實(shí)驗(yàn)數(shù)據(jù)集的現(xiàn)狀，首先從知名網(wǎng)站上隨機(jī)抽取手機(jī)評(píng)論，經(jīng)過垃圾去除、手工標(biāo)注，最終構(gòu)造出手機(jī)領(lǐng)域的評(píng)論挖掘?qū)嶒?yàn)數(shù)據(jù)集.基于實(shí)驗(yàn)數(shù)據(jù)集構(gòu)造出手機(jī)領(lǐng)域的情感詞庫，并利用模式匹配方法建立了產(chǎn)品特征粒度樹，開發(fā)出一個(gè)可視化平臺(tái)，研究人員可以直接用其檢驗(yàn)挖掘方法的效果，也可以對(duì)不同的挖掘方法進(jìn)行客觀比較.

評(píng)論挖掘；實(shí)驗(yàn)數(shù)據(jù)集；情感詞庫；特征粒度樹；可視化

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)上購(gòu)物已成為一種常見的購(gòu)物方式.消費(fèi)者在購(gòu)物的同時(shí)也會(huì)在網(wǎng)上給出對(duì)產(chǎn)品的評(píng)論.這些評(píng)論對(duì)商家以及消費(fèi)者都有很好的參考作用，產(chǎn)品評(píng)論挖掘已經(jīng)受到越來越多的關(guān)注.但是，目前還沒有標(biāo)準(zhǔn)的中文評(píng)論實(shí)驗(yàn)數(shù)據(jù)集.研究者在檢驗(yàn)挖掘方法的效果時(shí)，需要從相關(guān)網(wǎng)站上收集評(píng)論，自行構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集.這一方面增加了研究人員的工作量，另一方面，由于各自采用的實(shí)驗(yàn)數(shù)據(jù)集不同，難以客觀評(píng)價(jià)各種挖掘方法.針對(duì)這一情況，開發(fā)了一個(gè)手機(jī)領(lǐng)域的評(píng)論挖掘可視化實(shí)驗(yàn)平臺(tái).該平臺(tái)由實(shí)驗(yàn)數(shù)據(jù)集、情感詞庫、特征粒度樹和挖掘效果的可視化顯示4部分組成.研究人員可以直接用其進(jìn)行實(shí)驗(yàn)，檢驗(yàn)挖掘方法的效果，也可以對(duì)不同的挖掘方法進(jìn)行比較.

1 數(shù)據(jù)集的獲取

為方便研究人員使用，本平臺(tái)提供了2類數(shù)據(jù)集：實(shí)驗(yàn)數(shù)據(jù)集和標(biāo)準(zhǔn)數(shù)據(jù)集.實(shí)驗(yàn)數(shù)據(jù)集由網(wǎng)上抓取的原始評(píng)論組成，供研究人員進(jìn)行實(shí)驗(yàn).標(biāo)準(zhǔn)數(shù)據(jù)集為標(biāo)注完成的數(shù)據(jù)集，用來作為評(píng)判研究人員挖掘算法優(yōu)劣的依據(jù).

為保證原始評(píng)論的數(shù)量和質(zhì)量，選取了京東、中關(guān)村在線、IT168和亞馬遜4家比較知名的電子商務(wù)網(wǎng)站，作為評(píng)論的來源.將評(píng)論按型號(hào)分類，兼顧評(píng)論的數(shù)量和抽取的隨機(jī)性，最終篩選出4種型號(hào)手機(jī)的評(píng)論，并將評(píng)論中與產(chǎn)品特征和用戶觀點(diǎn)挖掘無關(guān)的評(píng)論刪除.至此得到實(shí)驗(yàn)數(shù)據(jù)集.

對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行人工標(biāo)注，得到標(biāo)準(zhǔn)數(shù)據(jù)集.由于產(chǎn)品評(píng)論挖掘針對(duì)的是評(píng)論中的產(chǎn)品特征詞和表達(dá)用戶態(tài)度的情感詞，因此這2部分內(nèi)容為標(biāo)注的重點(diǎn).產(chǎn)品特征細(xì)分為總體特征和部件特征2部分.按照表達(dá)用戶態(tài)度的明顯程度劃分，情感詞可分為顯性和隱性2類；而按照其情感傾向分類，又可分為正面和負(fù)面情感詞2類.為進(jìn)行區(qū)分，本平臺(tái)采用不同的符號(hào)完成標(biāo)注.

2 情感詞庫

情感詞就是表達(dá)用戶對(duì)產(chǎn)品好惡態(tài)度的詞匯，例如“喜歡”、“討厭”等.產(chǎn)品評(píng)論挖掘正是要抽取這類詞匯，進(jìn)行態(tài)度判斷后，將結(jié)果呈現(xiàn)給商家或者其他消費(fèi)者.將這部分詞總結(jié)、歸納，并進(jìn)行極性標(biāo)注，建立出手機(jī)領(lǐng)域的情感詞庫，以方便研究人員對(duì)評(píng)論表達(dá)的情感做出更加準(zhǔn)確的判斷.

中文評(píng)論中，主要有4類詞對(duì)判斷用戶情感色彩有重要作用，分別是：名詞、形容詞、動(dòng)詞和副詞［1］.標(biāo)準(zhǔn)數(shù)據(jù)集中已經(jīng)準(zhǔn)確、完整地標(biāo)記出這些詞，這就為情感詞庫的建立提供了基礎(chǔ).

2.1 詞庫結(jié)構(gòu)

為提高詞庫的查詢準(zhǔn)確率和實(shí)用性，將其劃分為基本極性詞庫、領(lǐng)域極性詞庫、網(wǎng)絡(luò)極性詞庫、否定詞及雙重否定詞庫和程度級(jí)別詞庫5部分.詞庫結(jié)構(gòu)如圖1所示.

圖1 情感詞庫結(jié)構(gòu)Fig.1 Structure of emotional lexicon

2.1.1 基本極性詞庫

這部分詞庫主要包含日常生活中使用頻率較高的詞，可以將它們分為靜態(tài)基本詞庫和動(dòng)態(tài)基本詞庫2部分.例如：“大方”、“美觀”一類的詞語，任何情況下都是對(duì)產(chǎn)品的正面評(píng)價(jià)，極性固定，與修飾的特征詞無關(guān)，將這類詞歸為靜態(tài)基本詞庫中.反之，有些情感詞的極性會(huì)隨著它修飾的特征詞發(fā)生變化.例如“電池容量很大，不需要經(jīng)常充電”和“手機(jī)體積有些大，攜帶不方便”中的情感詞“大”，很明顯它表達(dá)的態(tài)度是完全相反的.這類詞的極性具有動(dòng)態(tài)變化的特點(diǎn)，稱為動(dòng)態(tài)極性詞［2］.它的極性判斷是一個(gè)比較難解決的問題.但具體到某個(gè)特定的領(lǐng)域，這類詞的數(shù)量還是有限的，因此可以將它們一一列舉出來.參考李培［3］建立詞典的模式，完成動(dòng)態(tài)基本詞庫的構(gòu)建.

需要說明的是，動(dòng)態(tài)基本詞的極性需要結(jié)合其修飾的特征詞進(jìn)行判斷.如果其修飾的特征詞沒有在對(duì)應(yīng)的特征詞表中，那么情感詞的極性則為默認(rèn)值.

2.1.2 領(lǐng)域極性詞庫

該詞庫由手機(jī)領(lǐng)域?qū)贅O性詞庫和領(lǐng)域固定極性詞庫2部分組成.評(píng)論中有一部分情感詞是手機(jī)領(lǐng)域特有的，例如“死機(jī)”、“掉漆”等，將這些詞劃歸到專屬極性詞庫中.還存在一類在手機(jī)領(lǐng)域中的極性與常用的默認(rèn)極性不一致的情感詞，例如：“飄”本身為中性詞，但在關(guān)于手機(jī)的評(píng)論“耳機(jī)聲音有點(diǎn)飄”中，“飄”就變?yōu)樨?fù)極性詞.將這類特殊的極性詞總結(jié)，組成領(lǐng)域固定極性詞庫.

2.1.3 網(wǎng)絡(luò)極性詞庫

越來越多的新興詞匯出現(xiàn)在網(wǎng)絡(luò)上，例如“弓雖”、“頂”等.將其中具有正負(fù)極性觀點(diǎn)的網(wǎng)絡(luò)詞進(jìn)行總結(jié)，最終添加到網(wǎng)絡(luò)極性詞庫中.

2.1.4 否定及雙重否定詞庫

對(duì)特征觀點(diǎn)極性的識(shí)別并不僅僅是由對(duì)應(yīng)的情感詞決定的，還要看這個(gè)情感詞是否有否定詞修飾.否定詞會(huì)使其修飾的情感詞極性發(fā)生逆轉(zhuǎn).情感詞如果由雙重否定詞修飾，那極性就維持原來不變.這2類詞對(duì)情感極性影響很大，在判斷時(shí)必須加以考慮.

2.1.5 程度級(jí)別詞庫

評(píng)論中情感詞的修飾成分除否定詞外，還有程度副詞.這類詞對(duì)整條評(píng)論的極性判斷有一定的影響.例如“按鍵稍微有些小，但使用起來還是非常舒服的”，“小”是對(duì)按鍵的負(fù)面評(píng)價(jià)，強(qiáng)烈程度僅是“稍微”，而“舒服”為正面評(píng)價(jià)，程度則為“非?！?，很顯然對(duì)按鍵的整體評(píng)價(jià)是正面的.該詞庫將程度副詞根據(jù)其表達(dá)的強(qiáng)烈程度不同，共分為3個(gè)等級(jí)，如“非?！?、“很”、“特別”一類的詞定義為＋2級(jí)，“比較”、“略微”之類的詞稍弱一些，定義為＋1.5級(jí)，“還”、“勉強(qiáng)”一類的詞定義為＋0.5級(jí).沒有程度詞修飾的情感詞，默認(rèn)程度詞級(jí)別為1.

2.2 詞庫構(gòu)建方法

2.2.1 極性詞庫構(gòu)建

情感詞自身也帶有一定的強(qiáng)烈程度，例如“滿意”和“湊合”，雖然都是對(duì)產(chǎn)品的正面評(píng)價(jià)，但“滿意”的情感程度要明顯高于“湊合”.把情感詞按強(qiáng)烈程度分為5類：＋2，＋1，0，－1，－2，正數(shù)代表對(duì)產(chǎn)品的正面評(píng)價(jià)，負(fù)數(shù)代表對(duì)產(chǎn)品的負(fù)面評(píng)價(jià)，0代表中性評(píng)價(jià).絕對(duì)值越大表示情感程度越強(qiáng)烈［2］.

從已標(biāo)注好的1 000條評(píng)論入手，抽取出極性標(biāo)簽中的情感極性詞，依照詞義將它們分為基本極性詞、領(lǐng)域極性詞、網(wǎng)絡(luò)極性詞、否定及雙重否定詞5類，并標(biāo)明其情感程度.其中，如果某一情感詞標(biāo)有正、負(fù)2種極性，則說明它的極性是動(dòng)態(tài)變化的，此時(shí)將該詞與其修飾的特征詞一并抽取出來，添加到動(dòng)態(tài)基本詞庫中.劃分完成后，就構(gòu)建出最初的詞庫.

此時(shí)詞庫中的情感詞全部來自原始評(píng)論，傾向于口語化，且包含的情感詞不完整.為盡可能地保證詞庫的完整性，在構(gòu)建過程中又參考了涵蓋詞匯語義信息較為全面的《知網(wǎng)》［4］詞庫.將其中的“正面情感詞語”、“負(fù)面情感詞語”、“正面評(píng)價(jià)詞語”和“負(fù)面評(píng)價(jià)詞語”進(jìn)行篩選，保留其中情感極性明顯且適用于手機(jī)領(lǐng)域的詞語.將這些詞語與之前標(biāo)注出的詞語合并、去重，得到最終的情感詞庫.

2.2.2 程度級(jí)別詞庫構(gòu)建

同樣從已標(biāo)注好的1 000條評(píng)論入手，抽取出程度標(biāo)簽中的程度詞，與《知網(wǎng)》［4］詞庫中的“程度級(jí)別詞語”合并、去重、標(biāo)記程度級(jí)別，得到最終的程度級(jí)別詞庫.

3 特征粒度樹

用戶在對(duì)手機(jī)的同一特征進(jìn)行評(píng)論時(shí)往往側(cè)重點(diǎn)不同.例如，同樣是對(duì)屏幕的評(píng)論，有人關(guān)注屏幕的大小，而有人關(guān)注屏幕的分辨率.為了規(guī)范化產(chǎn)品特征，更準(zhǔn)確地檢驗(yàn)出挖掘算法的效果，需對(duì)手機(jī)特征進(jìn)行歸類.本文就將“屏幕大小”和“屏幕分辨率”定義為“屏幕”這一特征的子類，將所有類集中起來就形成了一棵特征粒度樹.

3.1 特征粒度樹的建立

本文借鑒黃永文［5］的方法，從京東網(wǎng)站獲取手機(jī)產(chǎn)品說明書，并抽取4G、3G、商務(wù)、時(shí)尚等15種類型的50篇編輯評(píng)測(cè)文章作為實(shí)驗(yàn)集.而后利用模式匹配［6］在評(píng)測(cè)文章中提取的產(chǎn)品特征擴(kuò)充特征粒度樹.

圖2 京東網(wǎng)站產(chǎn)品說明書樣例Fig.2 A example of the product specification from www.360buy.com

如圖2所示，位于說明書中左側(cè)的內(nèi)容稱為特征詞，右側(cè)的內(nèi)容稱為特征值，標(biāo)題欄的內(nèi)容稱為特征組名.將說明書中特征詞作為特征粒度樹的主體部分，特征組名就是其組內(nèi)成員的父結(jié)點(diǎn)，而特征值作為葉子結(jié)點(diǎn).例如：“網(wǎng)絡(luò)”就是“網(wǎng)絡(luò)制式”與“網(wǎng)絡(luò)頻率”的父結(jié)點(diǎn)，“聯(lián)通WCDMA”就是葉子結(jié)點(diǎn).

為了提高抽取的特征與粒度樹結(jié)點(diǎn)的匹配度，本文利用模式匹配方法擴(kuò)充特征粒度樹.步驟如下所示：

1）根據(jù)標(biāo)點(diǎn)符號(hào)將評(píng)測(cè)文章分成短句，然后使用分詞工具對(duì)短句添加詞性標(biāo)簽；

2）以產(chǎn)品說明書中的特征詞為種子，抽取含有特征詞短句的模式；

3）根據(jù)抽取的模式挖掘評(píng)測(cè)文章中新的產(chǎn)品特征；

4）將在同一段中抽取的特征詞歸為一類（評(píng)測(cè)文章中對(duì)同一特征的描述都在一段或附近幾段中），通過新的產(chǎn)品特征與產(chǎn)品說明書中的特征詞的相似度計(jì)算，將新的產(chǎn)品特征添加到特征粒度樹的相應(yīng)位置.

一棵完整的粒度樹如圖3所示.

圖3 手機(jī)特征粒度樹Fig.3 Feature－granularity tree of mobiles

3.2 特征的歸類

由于評(píng)論的自由性，從評(píng)論中挖掘出的特征詞并不一定都能在特征粒度樹中匹配到準(zhǔn)確的位置.這就需要通過計(jì)算特征詞與粒度樹中結(jié)點(diǎn)的相似度來判斷.關(guān)于相似度的計(jì)算，本文首先采用分詞工具將特征詞分解成最小單元，再利用Jaccard系數(shù)［7］和《知網(wǎng)》［4］的相似度計(jì)算方法進(jìn)行計(jì)算，從而確定特征詞在粒度樹中的位置.

4 可視化顯示

研究人員利用本文提供的實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行挖掘以后，平臺(tái)會(huì)自動(dòng)計(jì)算并顯示特征詞和情感詞抽取的準(zhǔn)確率和召回率，進(jìn)而展示出挖掘方法的效果.由于是在同一個(gè)實(shí)驗(yàn)集上進(jìn)行的實(shí)驗(yàn)，根據(jù)準(zhǔn)確率和召回率就可以客觀地判斷不同挖掘方法的優(yōu)劣.利用第2章的情感詞庫和第3章的特征粒度樹，平臺(tái)可以統(tǒng)計(jì)研究人員抽取的特征詞和情感詞的極性，并以柱狀圖的形式顯示出來.

4.1 特征詞抽取的準(zhǔn)確率和召回率計(jì)算

用戶利用該實(shí)驗(yàn)數(shù)據(jù)集抽取出特征詞以后，將其導(dǎo)入可視化平臺(tái)，即可計(jì)算出特征詞抽取的準(zhǔn)確率和召回率，如圖4所示.由于用戶特征詞抽取方法各不相同，本平臺(tái)將準(zhǔn)確率和召回率的計(jì)算分為2種：逐條計(jì)算和整體計(jì)算.例如：如果用戶利用的是類似于Apriori算法的方法，那么抽取出的特征詞是頻繁項(xiàng)集，計(jì)算時(shí)就選擇整體計(jì)算；若采用的是基于模式匹配的方法，則應(yīng)該逐條統(tǒng)計(jì)特征詞正確的個(gè)數(shù)，計(jì)算時(shí)就選擇逐條計(jì)算.此外，該平臺(tái)還為用戶提供了一個(gè)和標(biāo)準(zhǔn)集對(duì)比的窗口.通過這個(gè)窗口，用戶可以直觀地看出自己方法的不足.

圖4 平臺(tái)效果Fig.4 Picture of the experimental platform

4.2 情感詞抽取的準(zhǔn)確率和召回率計(jì)算

情感詞的準(zhǔn)確率和召回率計(jì)算界面與特征詞的界面類似.不同的是：在特征詞抽取的準(zhǔn)確率和召回率計(jì)算中只是統(tǒng)計(jì)用戶挖掘出的、正確的特征詞個(gè)數(shù)，但情感詞還存在一個(gè)極性判斷問題.否定前綴會(huì)使情感詞的極性發(fā)生逆轉(zhuǎn)，因此僅當(dāng)挖掘出正確的情感詞且極性判斷無誤時(shí)，才算作抽取正確.

4.3 處理結(jié)果的展現(xiàn)

許多用戶進(jìn)行評(píng)論挖掘得出的結(jié)果只是一組數(shù)據(jù)，并沒有直觀的展示.鑒于這一點(diǎn)，該平臺(tái)為用戶提供了一個(gè)如圖5所示的可視化界面.

圖5 評(píng)論挖掘結(jié)果的直觀展示Fig.5 Visual display of review mining result

用戶將挖掘結(jié)果導(dǎo)入平臺(tái)，平臺(tái)利用第3章中建立的特征粒度樹將用戶抽取的特征詞分類，根據(jù)用戶選擇的粒度選取出要顯示的x軸坐標(biāo)，再利用第2章的情感詞庫判斷情感詞的極性.最后按照x軸上的特征詞將情感詞分組，按組統(tǒng)計(jì)正負(fù)極性詞的個(gè)數(shù)，從而計(jì)算出正負(fù)評(píng)價(jià)的百分率，利用柱狀圖顯示出來.

5 總結(jié)

鑒于目前沒有中文評(píng)論挖掘?qū)嶒?yàn)數(shù)據(jù)集的現(xiàn)狀，提供了一個(gè)集實(shí)驗(yàn)與實(shí)驗(yàn)效果顯示于一體的可視化實(shí)驗(yàn)平臺(tái).首先從知名購(gòu)物網(wǎng)站抓取了第一手的原始手機(jī)評(píng)論，過濾掉垃圾評(píng)論后，將評(píng)論進(jìn)行手工標(biāo)注，構(gòu)造出一個(gè)中文評(píng)論挖掘?qū)嶒?yàn)數(shù)據(jù)集.在此基礎(chǔ)上建立了情感詞庫，為研究人員的情感詞極性判斷提供依據(jù).并利用結(jié)構(gòu)化數(shù)據(jù)構(gòu)建出手機(jī)產(chǎn)品特征粒度樹，便于特征分類.此實(shí)驗(yàn)平臺(tái)的開發(fā)，不僅可以減少評(píng)論挖掘研究人員在實(shí)驗(yàn)階段的工作量，而且還可以幫助研究人員對(duì)不同的挖掘算法做出客觀評(píng)價(jià).

［1］徐軍，丁宇新，王曉龍.使用機(jī)器學(xué)習(xí)方法進(jìn)行新聞的情感自動(dòng)分類［J］.中文信息學(xué)報(bào)，2007，21（6）：95－99.

XU Jun，DING Yuxin，WANG Xiaolong.Sentiment classification for chinese news using machine learning methods［J］.Journal of Chinese Information Processing，2007，21（6）：95－99.

［2］岳笑崢.基于領(lǐng)域本體的意見挖掘系統(tǒng)［D］.北京：北京郵電大學(xué)，2008.

YUE Xiaozheng.A domain－ontology－based opinion mining system［D］.Beijing：Beijing University of Posts and Telecommunications，2008.

［3］李培.產(chǎn)品評(píng)論挖掘的觀點(diǎn)抽取和分類技術(shù)研究［D］.重慶：重慶大學(xué)，2009.

LI Pei.Research on opinion extraction and classification technologies for product review mining［D］.Chongqing：Chongqing University，2009.

［4］劉群，李素建.基于《知網(wǎng)》的詞匯語義相似度計(jì)算［Z］.第三屆漢語詞匯語義學(xué)研討會(huì)，臺(tái)北，2002.

LIU Qun，LI Sujian.The similarity calculation of word semantic based on hownet［Z］.Proceedings of the 3th CLSW Conference，Taipei，2002.

［5］黃永文，何中市，伍星.產(chǎn)品特征的層次關(guān)系獲取［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45（22）：236－240.

HUANG Yongwen，HE Zhongshi，WU Xing.Acquisition of product features hierarchies［J］.Computer Engineering and Applications，2009，45（22）：236－240.

［6］LIU Bing，HU Mingqing，CHENG Junsheng.Opinion observer：analyzing and comparing opinions on the web［Z］.International World Wide Web Conference Committee（IW3C2），Chiba，2005.

［7］HAN Jiawei，KAMBER M.數(shù)據(jù)挖掘：概念與技術(shù)［M］.范明，孟小峰譯.2版.北京：機(jī)械工業(yè)出版社，2007：255－256.

H AN Jiawei，KAMBER M.Data mining concepts and techniques［M］.Translated by FAN Ming，MENG Xiaofeng.2th ed.Beijing：China Machine Press，2007：255－256.

A visualization platform development for product review mining

LI Ai－qing，HE Shuo，XI Ya－h(huán)ui
（College of Mathematics and Computer Science，Hebei University，Baoding 071002，China）

Up to now，researchers have proposed a variety of mining methods for Chinese reviews.However，there are not any unified review experimental data sets now.For this situation，the paper extracts reviews about mobiles from four famous websites randomly.After spam reviews removing and artificial marking，an experimental data set in the field of mobiles for product reviews mining is constructed.Later，we build an emotional lexicon based on the experimental data set and a feature－granularity tree by the pattern matching method.Then a visualization platform is developed.Researchers can not only use it to perform their experiments directly，but do some objective comparisons of different mining methods.

reviews mining；experimental data sets；emotional lexicon；feature－granularity tree； visualization

TP391

A

1000－1565（2012）02－0212－06

2011－10－19

河北省教育廳重點(diǎn)科研項(xiàng)目（ZH200804）；保定市科技攻關(guān)計(jì)劃項(xiàng)目（11ZG014）

李愛清（1986－），女，河北滄州人，河北大學(xué)在讀碩士研究生，主要從事數(shù)據(jù)挖掘方面研究.E－mail：aiqing－0289＠163.com

孟素蘭）