侯 敏,滕永林,陳毓麒
(中國傳媒大學(xué) 國家語言資源監(jiān)測與研究有聲媒體中心,北京100024)
目前的傾向性分析研究,大多是以評價詞為錨點,以句子或篇章(主要是微博或網(wǎng)絡(luò)商品評論類短文本)為單位來進行[1-5]。這樣的研究雖已取得一定成效,但有缺失,因為它沒有建立在對語言傾向性表達進行全面分析的基礎(chǔ)上。
所謂傾向性分析,主要指的是觀點分析、評價分析。觀點、評價是語言主觀性的一種表現(xiàn)。主觀性是語言的一種重要屬性,也是本質(zhì)屬性之一。除了評價,語言主觀性還可以表現(xiàn)為推測(例如,“他可能不來了”)、意愿(如“我希望你好運”)、情緒(例如,“我很驚訝”)等。[6-7]語言信息處理中的“傾向性分析”主要分析的是評價。一個句子,可以被稱為“評價句”或“觀點句”,是因為它表達了說話者或話語中提到的評價主體對某個客觀事物的或褒或貶的態(tài)度。這種評價,是通過語句中的某種元素表達出來的。語句中表達評價的元素,我們稱之為“評價因子”。那么,哪些語言單位可以充當“評價因子”呢?請看下面例句:
①他是一個優(yōu)秀的學(xué)生。
②這家伙真不是個東西!
③這場事故是寶馬車主的責任。
④難道這不是教育的問題嗎?
這四個都是評價句。①中表達評價的是詞“優(yōu)秀”;②是短語“不是個東西”;③是表達式“是……的責任”;④是反問句式。由此看來,評價因子至少是由顆粒度大小不同的評價詞、評價短語、評價表達式、評價性句式構(gòu)成的集合。因而,僅僅以評價詞為主要基準進行傾向性分析,難免會有失誤。評價詞,人們研究頗多,其中雖仍有問題,但這里不擬討論。本文以評價短語為主要研究對象。關(guān)于評價表達式和評價性句式擬另外撰文研究。
對評價短語劃分類型,可從多個角度進行[8]。根據(jù)語言信息處理技術(shù)水平的現(xiàn)狀,參考依存句法分析的相關(guān)理論,可將評價短語分為“評價詞+評價詞”、“修飾詞+評價詞”、“普通詞+評價詞”、“修飾詞+普通詞”、“普通詞+普通詞”五種類型,每種類型又都分為常規(guī)短語和特殊短語兩類。這種僅僅基于詞語本身屬性及其位置關(guān)系的分類可以在保證分析結(jié)果取得較高準確率的前提下,對評價短語的分析盡量不依賴于過于深度的句法語義分析,以減少計算機處理的復(fù)雜程度,防止出現(xiàn)過多錯誤。
1.評價詞+評價詞
一般情況下,由兩個評價詞組成的短語,其傾向性與評價詞一致,傾向值等于兩個評價詞的平均加權(quán)值,例如,“慷慨援助”“驚艷溫馨”,兩個正面傾向的評價詞組成了一個正面傾向的短語,“郁悶失望”“跑不過硬撞”兩個負面傾向的評價詞組成了一個負面傾向的短語。但也存在特殊情況,如“解決麻煩”,一個正面傾向的評價詞和一個負面傾向的評價詞相組合,其情感傾向仍是正面的。
2.修飾詞+評價詞
修飾詞情況比較復(fù)雜,主要指程度副詞和否定詞,也包括其他起修飾限定作用的詞語。一般情況下,由程度副詞和評價詞組成的短語,其傾向性與評價詞一致,只是強度有所增加或減弱,如“非常優(yōu)秀”“比較愚蠢”。由否定詞和評價詞組成的短語,其傾向性與評價詞相反,但不同的否定詞以及否定詞與程度副詞不同位置的組合,其傾向強度也不相同,如“不漂亮”“不太漂亮”“很不漂亮”。但也存在特殊情況,如“過于看重”,一個修飾詞和一個正面傾向的評價詞相組合,其情感傾向卻是負面的。
3.普通詞+評價詞
一般情況下,由一個普通詞和一個評價詞組成的短語,其傾向性與評價詞一致,傾向值等于評價詞的傾向值,如“國家富強”“無良企業(yè)”。但也存在特殊情況,如“走出困境”,一個普通詞和一個負面傾向的評價詞相組合,其傾向卻是正面的;“貌似正確”,一個普通詞和一個正面傾向的評價詞組合,其傾向卻是負面的。
4.修飾詞+普通詞
一般情況下,由一個修飾詞和一個普通詞組成的短語,沒有傾向性,如“最普遍、略微加工(一下)”。但也存在特殊情況,如“完全可以”,一個修飾詞和一個普通詞相組合,表達了正面的評價傾向,“太那個(了)”,修飾詞和普通詞組合,卻表達了負面的評價傾向。
5.普通詞+普通詞
一般情況下,由普通詞組成的短語沒有傾向性,如“閱讀報刊”“學(xué)習(xí)文化”。但是某些特定的組合,或者在某個特定的領(lǐng)域中,普通詞組成的短語也能表達一定的評價傾向,如“文化遺產(chǎn)”“還可以”,由兩個普通詞構(gòu)成,卻表達了正面的評價傾向,“不是個東西”“有個屁用”,由四個普通詞組成,表達的是負面的評價傾向。
其中前三種類型在評價分析中大多屬常規(guī)情況,主要用短語計算規(guī)則的方法解決;后兩種基本屬特殊情況,主要用短語詞典方法解決。后兩類短語是傾向性分析中特別要注意的,對它們的處理在一定程度上影響著系統(tǒng)的準確率。
常規(guī)評價短語往往具有較強的規(guī)律性,因此主要采用短語規(guī)則的方法處理。
1.評價詞+評價詞
對于“評價詞+評價詞”的短語類型,應(yīng)根據(jù)其不同詞性的搭配來制定計算規(guī)則。常見的短語類型有“形容詞+名詞”“形容詞+形容詞”“副詞+動詞”“副詞+形容詞”“名詞+形容詞”“名詞+動詞”“名詞+名詞”“動詞+名詞”“動詞+動詞”等。上述短語類型可以分為兩種情況,一種是并列或同位關(guān)系,另一種是支配或從屬關(guān)系。
屬于并列或同位關(guān)系的評價短語有“形容詞+形容詞”“名詞+名詞”“動詞+動詞”等。根據(jù)認知語言學(xué)臨摹原則中的數(shù)量原則,評價短語要比單個評價詞表達更強一些的傾向性?!昂啙嵈蠓健币取昂啙崱北磉_的傾向程度更強一些。因此,對此類短語,采用求評價詞均值①每一個評價詞在評價詞典中都會標有極性和極性值。褒義評價詞標記為po,極性值在1和0之間,貶義評價詞標記為ne,極性值在0和-1之間。再加權(quán)的算法,運算結(jié)果為該短語的傾向程度值。計算規(guī)則舉例如式(1)所示。
這種全部由變量(即范疇,非具體詞,如a、po等)組成的規(guī)則,可稱之為共性規(guī)則。該規(guī)則的含義是:當兩個褒義的形容詞組成評價短語時,將兩詞的極性值相加除以2再乘上1.2。規(guī)則右部的N1、N2指規(guī)則左部第一項、第二項的傾向值。如“簡潔”“大方”在詞典中的極性值各為0.5,根據(jù)規(guī)則(1)計算后,該短語極性值為(0.5+0.5)/2*1.2=0.6,高于單個評價詞。詞典和規(guī)則中的這些數(shù)值均為人工經(jīng)驗值,根據(jù)語感得出,可根據(jù)研究的深入與語料的實際情況進行調(diào)整。
屬于支配或從屬關(guān)系的評價短語有“形容詞+名詞”“副詞+動詞”“副詞+形容詞”“名詞+形容詞”“名詞+動詞”“動詞+名詞”等。該類型的短語根據(jù)其中所包含兩個評價詞的傾向性一致或不一致又可以分為兩種情況。
當短語中兩個評價詞傾向性一致時,短語的傾向極性與評價詞的傾向極性一致。其計算方式基本同于并列短語。規(guī)則舉例如式(2)所示。
如“真摯感謝”,在評價詞典中“真摯”“感謝”的極性值均為0.5,通過規(guī)則計算,評價短語“真摯感謝”的極性值為0.6。
短語中兩個評價詞傾向不一致的情況不多,其中核心詞的傾向往往決定短語的傾向。如“缺乏亮點”,是動賓短語,“缺乏”是動詞,核心詞,貶義傾向,“亮點”是名詞,褒義傾向,該短語的評價傾向是負面的?!爸麣⑷丝瘛?,是偏正短語,“著名,褒義傾向,“殺人狂”,貶義傾向,核心詞是“殺人狂”,整個短語是負面傾向。這種評價短語的處理可制定規(guī)則如式(3)、式(4)所示。
規(guī)則(3)的含義是:一個評價動詞后帶一個評價名詞時,整個短語的傾向值同評價動詞;規(guī)則(4)的含義是:一個評價形容詞后帶一個評價名詞時,整個短語的傾向值同評價名詞。不可否認,語言中什么樣的情況都可能出現(xiàn),對不符合這兩條規(guī)則的語言現(xiàn)象,可通過制定特殊規(guī)則或直接加入詞典解決。
2.修飾詞+評價詞
根據(jù)傾向計算的需要,可將常見的修飾詞分為增強型、減弱型、否定型和特殊型四種。增強型的功能是增強評價詞的傾向強烈程度,減弱型的功能是減弱評價詞的傾向強烈程度,否定型主要是改變評價詞的傾向極性,特殊型與評價詞組合往往呈現(xiàn)否定的傾向(表1)。
表1 修飾詞分類表
續(xù)表
專門建一部修飾詞詞典,根據(jù)修飾詞的修飾作用強烈程度,在詞典中分別為每個詞賦予一個2至-2之間的數(shù)值。如“最2;很1.5;有點0.5;不太0.5;不 -1;很不 -1.5”。這些值也是一種經(jīng)驗值,根據(jù)人的語感給出。
增強型、減弱型、否定型修飾詞的作用在于增強、減弱或翻轉(zhuǎn)評價詞的傾向,根據(jù)這一關(guān)系制定規(guī)則如式(5)所示。
該規(guī)則表示:當一個修飾詞和一個評價詞組合時,將評價詞的傾向值乘以修飾詞的值,運算結(jié)果為該短語的傾向值。例如,“最優(yōu)秀”,優(yōu)秀的傾向值是0.5,該短語的傾向值是0.5*2=1,高于“優(yōu)秀”;“有點愚蠢”,愚蠢的傾向值是0.5,該短語的傾向值是0.5*0.5=0.25,低于“愚蠢”;“不大漂亮”,漂亮的傾向值是0.5,該短語的傾向值是0.5*-0.5=-0.25,不大漂亮,基本是負面的,但程度不是太強,這些值基本上符合人們的語感。
特殊型修飾詞與評價詞的傾向計算需要制定專門的規(guī)則。我們放在下一部分講。
3.普通詞+評價詞
“普通詞+評價詞”的短語類型,通常情況下短語的傾向極性和強度與評價詞的極性和強度相同,因此直接取評價詞的傾向值。例如,“內(nèi)涵淺薄”,“內(nèi)涵”為普通詞,詞典中可查到“淺薄”評價極性為ne,極性值為-0.5,通過簡單計算,短語“內(nèi)涵淺薄”的值為-0.5。
特殊評價短語的傾向性計算采用兩種處理方式:一是制定帶有常量(即具體詞)的評價短語計算規(guī)則,即個性規(guī)則,二是將其直接加入評價詞典。
一個具體的評價短語,應(yīng)該采用哪種方式處理,主要看組成這個短語的詞中是否有一個詞可以擴展到某一類詞,且擴展后是否還能做統(tǒng)一的處理。例如,短語“消除貧困”由兩個負面傾向的評價詞組成,但是整個短語卻表達正面的傾向,是一個特殊的評價短語,經(jīng)過研究后我們發(fā)現(xiàn),可以將其中的評價詞“貧困”擴展到幾乎所有能與“消除”相結(jié)合的負面傾向評價詞,如“煩惱”“業(yè)障”“疾病”“危害”“腐敗”等,因此我們就可以為此類短語制定一條規(guī)則。而短語“有意思嗎”中的幾個詞都很難擴展到有相同規(guī)律的一類詞,就不適宜為其制定規(guī)則,最好采用將其加入評價詞典,并人工為其賦值的處理方法。
這種帶有常量的評價短語計算規(guī)則具有較強的處理能力,可以解決很多特殊性的語言現(xiàn)象,如式(6)所示。
該規(guī)則表示,當“解決”“消除”之后跟的是一個負面傾向的評價詞時,評價短語的傾向值等于該評價詞的值加權(quán)減弱后的翻轉(zhuǎn)。例如,“消除貧困”,在評價詞典中得到這兩個詞的傾向值“消除0.5;貧困-0.5”,如果使用通用的短語計算規(guī)則進行計算,得到的短語值為-0.6,與人的實際語感明顯不符。運行計算規(guī)則(6),得到短語“消除貧困”的值為0.25,表明它是個正面傾向的短語,但傾向值較低,這與人的語感比較接近。
又如,“節(jié)儉”是褒義詞,正面傾向。但“過于節(jié)儉”,就變成貶義了?!昂喡笔琴H義詞,負面傾向,“過于簡陋”,仍然是負面傾向,只是加深了程度。因此可制定規(guī)則如式(7)、式(8)所示。
這樣“過于節(jié)儉”的短語傾向值就是0.5*-0.8=-0.4,是負面傾向,但程度不是很深;“過于簡陋”的短語傾向值是-0.5*1.2=-0.6,仍是負面傾向,且程度加深。
再如,“高、大、長”等在傾向性分析中是一些比較特殊的詞,它們有時是評價詞,有時不是評價詞,與某些詞搭配表達的是正面傾向,與某些詞搭配表達的是負面傾向。這些詞無法在詞典中直接給出傾向和傾向值,也需要通過規(guī)則來獲得它們的傾向極性和傾向值,如下式所示。
這些規(guī)則的含義是:當?shù)谝豁椫械摹坝秃?、價格”等詞,自由越過一些詞(但不能越過標點符號),與“高、大、長”等詞搭配時,要賦給“高、大、長”等詞或正面或負面的傾向值。
對那些無法擴展、不具有規(guī)律性的常用評價短語,采用直接將其收入短語評價詞典的方式處理。比如“是男人嗎、還是人嗎、太好了、忽悠人、不對勁兒、不負責任、大跌眼鏡、令人不安、不是東西、吃飽了撐的、什么玩意、沒救了、支持你、有想法、頂一哈、沒一個好東西、非常好、贊一個、還有天理嗎”等,需要逐一將其加入短語評價詞典。短語顆粒度大于詞,作為評價因子,評價短語表達的語義內(nèi)容以及傾向極性也比詞更明確。如果將“好”作為一個評價詞收入詞典,風(fēng)險非常大,因為它經(jīng)常不表示評價,但把“非常好”作為一個評價短語收入詞典,就幾乎沒有什么風(fēng)險。就此來看,短語評價詞典的建立十分必要。
建立短語評價詞典所遇到的問題是:截取多長的單位合適?從理論上說,一般情況下,顆粒度越大、越長的語言單位表義越完整、越明確,歧義性越小,計算處理的風(fēng)險就越小;但與之相應(yīng)的是,顆粒度越大,語言單位越長,需要記入詞典的東西就越多,直至無限,無法計算處理。因此,需要在表達傾向明確和最小顆粒度之間找到一個合適的“度”,即找到一個最小的能明確表達評價意義的語言單位,我們稱之為“最小評價因子原則”。
“最小評價因子原則”不僅適用于評價短語,也適用于所有帶有評價意義的語言單位。比如“優(yōu)秀”是最小的具有評價意義的單位,我們就沒有必要在詞典中收入“非常優(yōu)秀”;“良心”一詞,大多數(shù)評價詞典會收錄,但它本身確實不能獨立表達評價意義,只有在與“有”或“沒”組合時,才能表達明確的評價意義,因此我們將其從詞典中刪除,運用添加語義特征標記、制定特殊規(guī)則的方法處理?!斑€是人嗎”,看上去似乎是個句子了,但去掉哪一個詞,都不再能明確表達負面的評價意義,它確實是最小的評價因子了,所以應(yīng)收錄在短語評價詞典中。
最后應(yīng)說明,規(guī)則與詞典既不相互對立,也不各自獨立,而是互動,且可以相互轉(zhuǎn)化的。如前面說到的“高、大”之類,它們與特定詞組合成的短語“油耗高”“價位高”“成本高”“風(fēng)險大”“空間大”“噪音大”等,可以采用將其加入短語評價詞典并為其賦值的處理方法,也可以采用上面提到的制定特殊規(guī)則來計算的方法。
為了驗證評價短語計算的有效性,我們以中國傳媒大學(xué)國家語言資源監(jiān)測與研究有聲媒體中心開發(fā)的傾向性分析系統(tǒng)CUCsas為工具,針對語言文字輿情語料進行了對比實驗;為了考察本研究使用的方法在同類計算工具中所處的水平,又分別參加了2012和2013年的CCF中文微博傾向性分析評測,針對微博語料進行了實驗。下面具體介紹。
這部分實驗采用的是中國傳媒大學(xué)語言文字輿情標注語料庫。該語料庫共有400篇文章,有9 362個句子,由人工進行的句子和篇章級的傾向性標注。
實驗分為兩次:第一次,抽出短語規(guī)則和短語評價詞典,僅保留評價詞和句子規(guī)則,用CUCsas對生語料進行自動分析,得出實驗結(jié)果并予以記錄;第二次,加入短語計算規(guī)則和短語評價詞典,得出實驗結(jié)果并予以記錄。分別將兩次實驗數(shù)據(jù)與人工標注數(shù)據(jù)進行比對,以表明評價短語對傾向性計算的影響。
第一次實驗結(jié)果如表2所示。
表2 不含短語規(guī)則及短語詞典計算結(jié)果
第二次實驗結(jié)果如表3所示。
表3 包含短語規(guī)則及短語詞典計算結(jié)果
對比兩次實驗數(shù)據(jù),可以看出在傾向極性判斷上,第二次的實驗結(jié)果明顯地優(yōu)于第一次,這主要歸功于相應(yīng)的評價短語計算規(guī)則以及短語評價詞典。
這部分實驗采用的是2012、2013年CCF自然語言處理與中文計算會議中文微博情感分析評測提供的微博語料,該語料由會議組織者召集專門人員進行人工標注。組織者通過將各個參與隊伍提交的標注結(jié)果與人工標注的結(jié)果進行比對,計算出各隊的分析結(jié)果。
表4列出了CUCsas系統(tǒng)在2012年CCF評測中的結(jié)果數(shù)據(jù)。
表4 2012CCF評測中CUCsas對微博語料的分析結(jié)果
上述成績在參加2012CCF評測的34支隊伍提交的53組結(jié)果中,觀點句識別子任務(wù)獲得第二名(第一名微平均F值為0.784),傾向極性判斷子任務(wù)獲得第三名(第一名微平均F值為0.850)。在評價要素抽取子任務(wù)中,無論嚴格計算還是寬松計算,CUCsas系統(tǒng)的分析結(jié)果均為最好成績,獲得第一名。
表5列出了CUCsas系統(tǒng)在2013年CCF評測中的結(jié)果數(shù)據(jù)。2013年CCF評測中只設(shè)置了評價要素抽取及極性判斷任務(wù)。
表5 2013CCF評測中CUCsas對微博語料的分析結(jié)果
在參加2013CCF評測的15支隊伍提交的19組有效結(jié)果中,無論嚴格計算還是寬松計算,CUC-sas系統(tǒng)的分析結(jié)果均為最好成績,獲得第一名。
上述結(jié)果說明,針對微博語料,加入評價短語規(guī)則與評價短語詞典的傾向性分析方法也是有效的。
評價短語是評價因子之一,是傾向性分析研究的重要內(nèi)容。本文分析了評價短語的類型,提出了不同類型評價短語所采用的計算策略。短語計算規(guī)則和短語評價詞典的互動是本文采用的基本方法。在制定規(guī)則時,應(yīng)考慮共性與個性相結(jié)合的原則,在建立短語評價詞典時,應(yīng)遵循最小評價因子原則。實驗證明,該方法對提高傾向性分析系統(tǒng)的準確率有較大幫助。
[1]Kennedy,Alistair,Diana Inkpen.Sentiment classification of movie and product reviews using contextual valence shifters[J].Computational Intelligence,2006,22(2):110-125.
[2]Li,F(xiàn).,Zong,C.Multi-domain Sentiment Classification[C]//Proceedings of ACL 2008.2008:257-260.
[3]楊江.語言文字輿情自動監(jiān)測的基本方法和關(guān)鍵技術(shù)研究[D].中國傳媒大學(xué)博士學(xué)位論文,2011
[4]周立柱,賀宇凱,王建勇,情感分析研究綜述[J].計算機應(yīng)用,2008,28(11):2725-2728.
[5]魏韡,向陽,陳千.中文文本情感分析綜述[J].計算機應(yīng)用,2011(12):3321-3323.
[6]侯敏,滕永林,李雪燕,等.話題型微博語言特點及其情感分析策略研究[J].語言文字應(yīng)用,2013(2):135-143.
[7]趙妍妍,秦兵,劉挺.文本情感分析[J].軟件學(xué)報,2010,21(8):1834-1848.
[8]李鈍,曹付元,曹元大,等.基于短語模式的文本情感分類研究[J].語言計算機科學(xué),2008,35(4):132-134.