基于隱馬爾科夫模型的語義傾向性研究

章棟兵，姚寒冰，顏 昕

(武漢理工大學(xué) 計算機(jī)學(xué)院，湖北 武漢 430063)

網(wǎng)絡(luò)媒體被公認(rèn)為是繼報紙、廣播、電視之后的“第四媒體”，成為反映社會輿情的主要載體之一。人們希望能快速高效地在浩如煙海的網(wǎng)絡(luò)信息中提取對于諸如人物、事件、傳媒、產(chǎn)品等有價值的評價信息。如何有效地提取文本信息，推斷其語義傾向，已經(jīng)成為當(dāng)前自然語言與信息安全研究領(lǐng)域的熱點(diǎn)問題[1]。

當(dāng)前流行的語義傾向性分析系統(tǒng)可以分為兩個步驟：首先是識別詞匯的語義(短語)傾向性[2]，然后利用不同的策略根據(jù)詞匯(短語)的傾向性給出整個文本的語義傾向評價。目前主要有三種研究思路：(1)對所有詞匯的傾向性評分進(jìn)行統(tǒng)計求和，根據(jù)最終的得分正負(fù)來評價文本的傾向性[3]。(2)采用機(jī)器學(xué)習(xí)的方式根據(jù)詞匯的傾向性訓(xùn)練出語義傾向分類器[4]，這是目前比較流行的思路，總體效果比統(tǒng)計求和要好。這兩種思路是基于概率統(tǒng)計的，領(lǐng)域性限制小。(3)基于“格語法”分析的思路。該思路很難全面反應(yīng)樣本空間規(guī)律，具有一定的領(lǐng)域限制性。

本文利用隱馬爾科夫模型HMM(Hidden Markov Models)在文本處理方面的優(yōu)勢，首先對其理論進(jìn)行介紹，然后根據(jù)現(xiàn)有學(xué)者對HMM在文本分類中的應(yīng)用和文本分類技術(shù)在傾向性分析中應(yīng)用的研究結(jié)果，提出將HMM應(yīng)用于文本傾向性研究的理論，并用實(shí)驗(yàn)證明此理論的可行性。

1 理論基礎(chǔ)

1.1 隱馬爾科夫模型

隱馬爾可夫模型[5]作為一種統(tǒng)計模型，非常適合處理時變信號，用于動態(tài)過程時間序列建模并具有強(qiáng)大的時序模式分類能力，理論上可處理任意長度的時序。HMM是一個雙重隨機(jī)過程，其中之一是Markov鏈，其基本隨機(jī)過程為描述狀態(tài)的轉(zhuǎn)移；另一個隨機(jī)過程描述狀態(tài)與觀察值之間的統(tǒng)計對應(yīng)關(guān)系，只能看到觀察值，而不能看到狀態(tài)，即通過一個隨機(jī)過程去感知狀態(tài)的存在及其特性。

1.2 HMM在文本分類中的應(yīng)用

羅雙虎[6]把待分類文本描述成一系列狀態(tài)演化的隱Markov過程，其中狀態(tài)以特定的概率產(chǎn)生代表文本的特征項(xiàng)。用序列模式來描述文本類，文本序列通過與隱Markov模型的匹配，求出其對應(yīng)狀態(tài)序列和最大輸出概率，以比較各個文本類的結(jié)果，達(dá)到文本分類的目的。

龍麗君[7]對關(guān)鍵字所在的句子構(gòu)成的詞序列建立HMM，以判斷句子所屬的類別。為了建立HMM，將詞語所屬的類別理解為狀態(tài)，將所選擇的關(guān)鍵字理解為輸出值。這樣就把要判定一個觀測序列(一個句子)的整體所屬的類別轉(zhuǎn)換為己知模型和觀測序列，求出全局最優(yōu)的整體序列。觀測序列的整體所屬類別即為關(guān)鍵字所屬類別，或者說觀測序列的整體類別即為狀態(tài)序列中居多數(shù)的狀態(tài)對應(yīng)的類別。

1.3 文本分類技術(shù)在傾向性分析中的應(yīng)用

1997年，Hatzivassiloglou和 McKeown嘗試使用監(jiān)督學(xué)習(xí)的方法對詞語進(jìn)行語義傾向判別，通過對訓(xùn)練語料的學(xué)習(xí)進(jìn)行語義傾向判別，準(zhǔn)確率約82%，在加入篇章中形容詞之間的接續(xù)信息后，準(zhǔn)確率提升到約90%[2]。2003年，Turney在其論文[8]中提出了利用統(tǒng)計信息對單詞進(jìn)行語義傾向判斷的新方法。文本的語義傾向判別也可被看作一個褒貶的分類問題，因此，文本分類中的方法同樣被應(yīng)用到了語義傾向判別研究中。

2 HMM在語義傾向性研究的應(yīng)用

本文是針對網(wǎng)絡(luò)評論，判斷其表達(dá)的是支持 (褒義)、反對(貶義)還是中立(中性)的語義傾向性。

2.1 建立模型

本文所定義的HMM初始參數(shù)如下:

(1)N為模型中Markov鏈中的狀態(tài)數(shù)目，即所定義的詞語類別的數(shù)目，由于傾向只有支持(褒義)、反對(貶義)和中立(中性)3個類別，因此N的值為3。記 N個狀態(tài)為 S1，S2，S3。 t時刻 Markov 鏈所處狀態(tài) qt，顯然qt∈{S1，S2，S3}。

(2)M為每個狀態(tài)對應(yīng)的可能的觀測值數(shù)目，即要進(jìn)行分類的詞語的個數(shù)。由于詞語數(shù)量比較龐大，選出語料庫中前1 000個權(quán)重最高的詞語，每個句子只選擇這些詞序列作為一個觀測符號序列。記1 000個觀測值為 V1，V2，V3，…，V1000，t時刻觀測到的觀測值為 Ot，其中Ot∈{V1，V2，V3，…，V1000}。

(3)π為初始狀態(tài)概率矢量，即初始時每個類別的概率經(jīng)過統(tǒng)計之后的結(jié)果。對所選的全部文檔而言，對應(yīng)上文中的三個類別，πi的值分別為 0.15、0.15、0.7，其中πi=P(ql=Si)，1≤i≤3。

(4)A為狀態(tài)轉(zhuǎn)移概率矩陣，即從一種詞語類別轉(zhuǎn)移到另一種詞語類別的概率。本文采用Baum-Welch算法[5]對初始模型進(jìn)行訓(xùn)練，A={aij}，其中 aij=P(qt=Sj|qt-1=Si)，1≤i，j≤3。

(5)B為觀測值概率矩陣，即觀測序列在狀態(tài)j時接受某一觀測符號的概率，B={bj(k)}，其中 bj(k)=P(Ot=Vk|qt=Sj)，1≤j≤3，1≤k≤M。

2.2 實(shí)驗(yàn)系統(tǒng)框架

系統(tǒng)整體框架如圖1所示，整個系統(tǒng)分為訓(xùn)練階段和識別階段。

2.2.1語料庫準(zhǔn)備

訓(xùn)練語料庫是國內(nèi)還沒有公開的文本傾向語料庫。本實(shí)驗(yàn)全部由人工收集，然后對所提取的所有的句子進(jìn)行分詞、標(biāo)注之后，去掉連詞、助詞和代詞等不具傾向性的無用詞，得到最終的語料庫。

否定詞表：帶否定意義的詞，如：不、不是、非等。

2.2.2訓(xùn)練階段

首先根據(jù)初始參數(shù)建立初始模型，然后使用Baum-Welch算法[5]對參數(shù)進(jìn)行訓(xùn)練，得出最終分類模型。

2.2.3識別階段

將未知評論文本經(jīng)預(yù)處理得到字串(W1，W2，W3，…，Wn)作為上文中訓(xùn)練得到的HMM分類模型的觀察序列，通過維特比(Viterbi)算法[5]得到最優(yōu)狀態(tài)序列 S，然后使用以下算法得出整個語句的語義傾向性，如圖2所示。

圖1 系統(tǒng)整體框架

圖2 HMM模型識別結(jié)構(gòu)圖

2.3 應(yīng)用舉例

例句：“我同意你的觀點(diǎn)”。

經(jīng)分詞結(jié)果為：“我/r同意/v你/r的/u 觀點(diǎn)/n”。去除無用詞得到觀察值序列為：“同意/v觀點(diǎn)/n，最后經(jīng)過識別得出最優(yōu)狀態(tài)序列為：S1，S3。由于S1出現(xiàn)1次，而沒有出現(xiàn)S2，故這個句子的傾向性為S1的傾向類別：支持。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)文本是來自不同網(wǎng)站上下載的各種評論共2 000條，所有的評論都經(jīng)過分詞、標(biāo)注和去無用詞處理，然后手工分為：支持(褒義)、反對(貶義)和中立(中性)3個類別。然后在每個類別中分別取 200、300、400、500條，共600、900、1 200、1 500條作為本實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)，進(jìn)行封閉測試并對剩余的評論進(jìn)行開放測試。實(shí)驗(yàn)結(jié)果如表1、表 2所示。

表1 各類別識別率(封閉實(shí)驗(yàn))

表2 各類別識別率(開放實(shí)驗(yàn))

從表中結(jié)果可以看出，封閉測試可以達(dá)到很高的識別率，可見訓(xùn)練語料庫的規(guī)模將直接影響分析結(jié)果。當(dāng)語料更全面、覆蓋面更廣泛時，識別率將大大提高，因此建立一個良好的訓(xùn)練語料庫的識別方法將有很好的應(yīng)用前景。

本文從單個句子出發(fā)，研究其傾向性分析方法，從實(shí)驗(yàn)結(jié)果數(shù)據(jù)可以看出，此方法有很好的識別率，但需面對兩個問題：(1)網(wǎng)絡(luò)文本的復(fù)雜性：如語句的語氣、具有傾向性的詞語所針對不同的評價對象和網(wǎng)絡(luò)新詞的頻繁出現(xiàn)等情況；(2)語料庫的整理：語料庫的完整性和準(zhǔn)確性將直接影響分析方法的準(zhǔn)確率，而國內(nèi)還沒有公開的文本傾向語料庫。這些問題將做進(jìn)一步地研究和改進(jìn)。

[1]來火堯，劉功申.基于主題相關(guān)性分析的文本傾向性研究[J].信息安全與通信保密，2009(3):77-78.

[2]HATZIVASSILOGLOU V，MEKEOWN K R.Predicting the semantic orientation of adjectives[A].In:Proceedings of the 35th Annual Meeting of the Association for Computational Liguistics and the 8th Conference of the European Chapter of the ACL，1997:174-181.

[3]PETER T.Thumbs up or thumbs down?Semantic orientation applied to unsupervised classification of reviews[A].In:Proceedings of the 40th Annual Meeting of the Association for Computational Liguistics，2002.

[4]徐琳宏，林鴻飛，楊志豪.基于語義理解的文本傾向性識別機(jī)制[J].中文信息學(xué)報，2007，21(01)：98-102.

[5]宗成慶.統(tǒng)計自然語言處理[M].北京:清華大學(xué)出版社，2008.

[6]羅雙虎，歐陽為民.基于隱Markov模型的文本分類[J].計算機(jī)工程與應(yīng)用，2007，43(30):179-181.

[7]龍麗君.網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)中基于局部信息的語義傾向性識別算法[D].南京.南京理工大學(xué)，2004.

[8]PETER T，MICHAEL L.Measuring praise and criticism:Inference of semantic orientation from association[J].ACM Transactions on Information Systems， 2003，21(4):315-346.