基于多種自然語(yǔ)言的商品評(píng)論情感傾向性分析系統(tǒng)

劉思佳 華南師范大學(xué)計(jì)算機(jī)學(xué)院

引言

互聯(lián)網(wǎng)的快速發(fā)展推動(dòng)了電子商務(wù)的不斷普及，依托于電商平臺(tái)的商品不斷興起，而商品帶來(lái)的商品評(píng)論中的情感傾向性分析逐漸成為當(dāng)前的研究熱點(diǎn)。本系統(tǒng)的目的是通過(guò)充分挖掘網(wǎng)上豐富的評(píng)論資源，研究并創(chuàng)建一個(gè)具有實(shí)用性的互聯(lián)網(wǎng)商品評(píng)價(jià)情感分析系統(tǒng)。此系統(tǒng)能夠自動(dòng)分析來(lái)自互聯(lián)網(wǎng)的海量評(píng)論，同時(shí)分析結(jié)果的表達(dá)方式也因顧客的需求有所不同，這樣可以對(duì)商品的市場(chǎng)反饋進(jìn)行分析，為生產(chǎn)商提供熱銷(xiāo)品的類(lèi)別，同時(shí)也幫助顧客對(duì)商品進(jìn)行了篩選。

1 市場(chǎng)需求

面對(duì)如此所參差不齊的評(píng)論，商品的生產(chǎn)商或服務(wù)的提供商無(wú)法提供精準(zhǔn)滿(mǎn)足客戶(hù)需要的商品，從而在生產(chǎn)的過(guò)程中做了很多無(wú)用功。而依據(jù)本文設(shè)計(jì)的系統(tǒng)生產(chǎn)商和服務(wù)商能夠及時(shí)了解本企業(yè)所提供的商品或服務(wù)的反饋信息，為改善產(chǎn)品性能、提高服務(wù)質(zhì)量贏得更快和更有效的機(jī)遇，這相當(dāng)于為企業(yè)節(jié)約了大量的市場(chǎng)調(diào)研和市場(chǎng)反饋信息獲取的成本，間接地加快了企業(yè)產(chǎn)品、服務(wù)升級(jí)的進(jìn)程。

2 系統(tǒng)模塊

圖1 系統(tǒng)框架示意圖

2.1 網(wǎng)頁(yè)評(píng)論自動(dòng)獲取與預(yù)處理

2.1.1 自動(dòng)獲取評(píng)論內(nèi)容

為了提高程序運(yùn)行速度、可讀性，提高編寫(xiě)抓取程序的效率，本文運(yùn)用了python的擴(kuò)展庫(kù)lxml以及xpath。XPath可用來(lái)在XML文檔中對(duì)元素和屬性進(jìn)行遍歷，可以在XML文檔中查找信息。而lxml庫(kù)則可以快速正確地分析xml文檔。將HTML看成是XML的特殊形式，所以可以使用Xpath來(lái)表示一個(gè)評(píng)論在此HTML文檔中的具體位置，并且xpath可以使用工具自動(dòng)生成，保證了準(zhǔn)確率和效率。此后使用lxml提供的方法，可以高效的提取出需要的信息。

2.1.2 預(yù)處理

經(jīng)過(guò)自動(dòng)獲取評(píng)論內(nèi)容這個(gè)步驟之后，后續(xù)重要的一步是進(jìn)行預(yù)處理。預(yù)處理包含兩個(gè)步驟，第一，去除噪音字符。此外，重復(fù)的標(biāo)點(diǎn)符號(hào)再這一步也應(yīng)該相應(yīng)的去除。由于抽取出的文本不含結(jié)構(gòu)化信息，是自然文本，所以如果存在兩個(gè)相同的標(biāo)點(diǎn)，“斷句”處理勢(shì)必會(huì)造成錯(cuò)誤，影響進(jìn)一步的分析。此外空行空格也要去除。第二，“斷句”和“分詞”。漢語(yǔ)中要想表達(dá)一個(gè)完整的意思，最小的組成單位是一個(gè)句子，所以關(guān)鍵詞的選取必須要以“句”為基礎(chǔ)，之后再逐個(gè)分析句中詞匯，若斷句或分詞錯(cuò)誤，勢(shì)必影響系統(tǒng)的最終結(jié)果。所以預(yù)處理是整個(gè)系統(tǒng)的前提，也是關(guān)鍵。

2.2 自然語(yǔ)言處理技術(shù)抽取文本的語(yǔ)義信息

在日然語(yǔ)言處理過(guò)程中涉及的基本問(wèn)題是詞性標(biāo)注和分詞，但因?yàn)檎Z(yǔ)言的復(fù)雜性，甚多情況下文本信息的提取有偏差，基于以上存在的問(wèn)題，對(duì)文本進(jìn)行語(yǔ)義理解和語(yǔ)法結(jié)構(gòu)分析的時(shí)候采用了更為先進(jìn)的自然語(yǔ)言處理技術(shù)。為了達(dá)到更高的句中感情細(xì)膩度的表達(dá)，首先對(duì)評(píng)價(jià)對(duì)象的特征進(jìn)行了挖掘，并進(jìn)一步找出其對(duì)應(yīng)的情感詞，舉例來(lái)說(shuō)評(píng)價(jià)對(duì)象為餐廳的話(huà)，其特征就有環(huán)境、服務(wù)、餐飲等。

3 研究成果

本項(xiàng)目基于自然語(yǔ)言處理，機(jī)器學(xué)習(xí)技術(shù)，使用文本傾向性分析技術(shù)，自動(dòng)分析提取評(píng)論關(guān)鍵內(nèi)容，為用戶(hù)量身定制商品特征分類(lèi)規(guī)則，顏色標(biāo)記評(píng)論關(guān)鍵信息，評(píng)論結(jié)果以圖形形式顯示，最終設(shè)計(jì)并實(shí)現(xiàn)商品評(píng)論傾向性分析系統(tǒng)。使得用戶(hù)可以快速獲取海量評(píng)論信息的真正價(jià)值，其分析結(jié)果只管、清晰、界面友好?？筛鶕?jù)用戶(hù)需要對(duì)商品特征進(jìn)行歸類(lèi)，對(duì)于類(lèi)似商品的比對(duì)功能可以給用戶(hù)提供方便，使得用戶(hù)在選購(gòu)商品時(shí)更加科學(xué)、高效、方便。