半監(jiān)督自訓(xùn)練的方面提取

曲昭偉，吳春葉，王曉茹

（1. 北京郵電大學(xué) 網(wǎng)絡(luò)技術(shù)研究院，北京 100876； 2. 北京郵電大學(xué) 計算機學(xué)院，北京 100876）

隨著互聯(lián)網(wǎng)的發(fā)展，用戶逐漸借助網(wǎng)絡(luò)平臺來發(fā)表自己對于產(chǎn)品和服務(wù)的意見。這些評論往往由句子組成的短文本的形式出現(xiàn)，涉及產(chǎn)品的一個或者多個方面意見。因此句子級別的觀點挖掘[1]任務(wù)一直是研究的熱點。觀點由4個元素組成：方面、持有者、觀點內(nèi)容及情感。這四者之間所存在的聯(lián)系為：觀點的持有者針對某一方面發(fā)表了具有情感的觀點內(nèi)容。方面提取[2]是觀點挖掘任務(wù)的子任務(wù)之一。簡短專注于觀點句子中的實體部分提取，例如：“口味很好，服務(wù)周到，值得推薦”。這里的“口味”和“服務(wù)”就是方面術(shù)語，在方面提取中又涉及兩個子任務(wù)：1)提取評論句子的黃金方面也叫做主體方面，是評論中各個方面表示的總稱，例如美食評論包括黃金方面“食物”“服務(wù)”等，黃金方面“食物”包含多種多個方面表示詞如“味道、口味”等；2)從評論語料庫中學(xué)習(xí)所涉及的方面表示詞。

近年來，潛在狄利克雷分布(LDA)[3]及其變種[1,4-5]已成為用于方面提取的主導(dǎo)無監(jiān)督方法。LDA將語料庫建模為主題(方面)的混合，并將主題作為詞類的分布。盡管基于LDA的模型發(fā)現(xiàn)的各個方面可能會很好地描述一個語料庫，但發(fā)現(xiàn)提取出的各個方面質(zhì)量差，通常由無關(guān)或松散相關(guān)的概念組成。因為基于LDA的模型需要估計每個文檔的主題分布，但是評論語句通常是由句子組成的短文本，對于主體分布的評估造成困難，所以效果不好。

監(jiān)督學(xué)習(xí)的方法是近年來流行的研究方法，深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[6-7]被應(yīng)用于方面提取任務(wù),并展現(xiàn)出卓越的效果。文獻[8]提出一種基于7層深度卷積網(wǎng)絡(luò)的模型來對句子進行標(biāo)記訓(xùn)練,從而對評論進行方面提取，而且效果比較理想。然而，監(jiān)督學(xué)習(xí)需要大量的標(biāo)注文本作為訓(xùn)練數(shù)據(jù),人工標(biāo)簽成本太高，而且主觀性太強。

本文利用提出了一種新的半監(jiān)督自訓(xùn)練的方法確定黃金方面[9]后利用少量標(biāo)注的方面種子詞，在未標(biāo)簽數(shù)據(jù)集上提取方面表示相似詞，建立多個方面表示詞集合，解決方面表示詞集問題，利用豐富的方面詞集合來識別文本的，能夠避免大量的人工標(biāo)注，并且本文方法在實際中文數(shù)據(jù)集和英文數(shù)據(jù)集上都產(chǎn)生了理想的效果。對實際的數(shù)據(jù)集進行了如下3個方面的研究：

1)根據(jù)研究評論數(shù)據(jù)，發(fā)現(xiàn)評論的針對性很強，基本是針對某項產(chǎn)品或者服務(wù)給出自己的體驗和建議。而且數(shù)據(jù)結(jié)構(gòu)具有鮮明的產(chǎn)品特色，句子語言簡短觀點明確，會經(jīng)常使用到明顯的方面表示詞來發(fā)表意見。

2)評論往往涉及一個或者多個方面，以下一個簡單的例子來自美團網(wǎng)(http：//bj.meituan.com/meishi/)美食評論數(shù)據(jù)來說明研究的意義。例如：“口味清淡，服務(wù)員態(tài)度很好，就是價格有點貴”。這句評論涉及了對餐廳食物的“口味”“服務(wù)”以及“價格”3個方面的評價，而且對于不同的方面給出了不同的意見。采用方面表示向量來對涉及的方面進行向量表示。方面提取作為觀點挖掘的第一步，來確定評論涉及的多個方面。

3)考慮到評論中涉及的含蓄表達(dá)，例如：“還挺好吃的，排隊等了半小時，不過還是很好吃”。句子中并沒有明確的方面表示詞，但是根據(jù)關(guān)鍵詞“好吃”可以確定是針對食物的方面意見。針對這種沒有明確方面表示名詞的提取方面形容詞來識別方面。

基于以上的研究，本文提出的半監(jiān)督自訓(xùn)練方法能夠確定方面表示詞并且自動對評論進行方面識別。首先通過計算數(shù)據(jù)集中每個詞的TFIDF值，確定數(shù)據(jù)集的黃金方面，進一步從部分標(biāo)簽數(shù)據(jù)中獲取方面表示種子詞，利用詞向量模型在實際未標(biāo)簽的數(shù)據(jù)集中尋找相似詞，獲得的與種子詞相似的方面表示詞，補充到對應(yīng)的黃金方面詞典里，擴充方面詞典。并對目標(biāo)文本進行方面識別，得到文本的方面表示向量。

1 相關(guān)工作

方面提取[10]是觀點挖掘任務(wù)的基礎(chǔ)性工作，在過去的十幾年間，許多學(xué)者已經(jīng)在方面提取上做了很多研究工作。主要專注于兩個方向的研究，無監(jiān)督和有監(jiān)督方法方面提取過程可看作一個文本序列標(biāo)注問題,因此可利用帶監(jiān)督的統(tǒng)計模型對序列標(biāo)注過程進行訓(xùn)練從而提取句子的方面表示。適用此問題的典型帶監(jiān)督學(xué)習(xí)的方法有隱馬爾可夫模型(hidden Markov model, HMM)[10]、條件隨機場模型(conditional random rield,CRF)[11]等，文獻[10, 12-14]采用一種編入詞匯的HMM模型來提取顯式方面。 最近，提出了不同的神經(jīng)模型[15-16]，以自動學(xué)習(xí)基于CRF的方面提取的特征。但是監(jiān)督學(xué)習(xí)需要大量的標(biāo)簽數(shù)據(jù)作為訓(xùn)練集，數(shù)據(jù)標(biāo)注需要耗費大量的人力成本。

無監(jiān)督的學(xué)習(xí)方法可以避免標(biāo)簽依賴問題。潛在狄利克雷分布(LDA)[3]已成為方面提取的主導(dǎo)無監(jiān)督方法。LDA將語料庫建模為主題(方面)的混合，并將主題作為詞類的分布。雖然基于LDA的模型挖掘到的各個方面得到一個很好的描述，但提取出的各個方面質(zhì)量不好，通常由無關(guān)或松散相關(guān)的概念組成。因為基于LDA的模型需要估計每個文檔的主題分布，但是評論語句通常是由句子組成的短文本，對于主體分布的評估造成困難。文獻[17]以Apriori算法為基礎(chǔ)采用關(guān)聯(lián)規(guī)則挖掘方法找出頻繁出現(xiàn)的名詞并名詞短語作為候選方面，然后，將錯誤的詞語通過剪枝算法進行過濾，最終形成方面集合。大多數(shù)方法是基于LDA，文獻[18]提出了一個生成共現(xiàn)詞對的主題模型(BTM)。

半監(jiān)督模型在方面提取中既避免了大量的文本標(biāo)注，也可以利用數(shù)據(jù)的內(nèi)部大量的信息來進行方面提取。文獻[19]提出了兩個半監(jiān)督模型：SAS(seeded aspect and sentiment model)和MESAS(maximum entropy-SAS model)。SAS 是個混合主題模型在提取方面后提取觀點內(nèi)容,后者將方面與內(nèi)容聯(lián)合提取。同時，模型中加入相應(yīng)種子詞匯，但是可移植性較差。

本文提出的基于半監(jiān)督自訓(xùn)練的方法進行方面提取，不僅避免監(jiān)督學(xué)習(xí)中的大量的標(biāo)簽數(shù)據(jù)依賴問題；而且，解決了無監(jiān)督主題模型中存在的短文本的方面提取結(jié)果不穩(wěn)定的問題，并且在中文和英文數(shù)據(jù)集上都產(chǎn)生很好的性能。

2 半監(jiān)督自訓(xùn)練模型的構(gòu)建

2.1 半監(jiān)督自訓(xùn)練模型

自訓(xùn)練的過程中從未標(biāo)簽的訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)到貼近數(shù)據(jù)集合的方面表示詞。首先計算數(shù)據(jù)集單詞的TF-IDF，并對結(jié)果進行排序以便確定黃金方面。對于確定的黃金方面結(jié)果，隨機選擇少量的數(shù)據(jù)進行人工方面標(biāo)注，從標(biāo)注結(jié)果中選取黃金方面表示詞作為方面表示種子詞?；诜矫娣N子詞，利用詞向量模型進行方面表示詞學(xué)習(xí)，擴充方面表示詞集合。利用新生成的集合對部分標(biāo)簽數(shù)據(jù)進行方面識別驗證，并生成對應(yīng)的方面向量。直到交叉驗證的結(jié)果的正確率不再上升，則得到了最終的方面表示詞集合。自訓(xùn)練模型架構(gòu)如圖1所示。

圖 1 自訓(xùn)練模型架構(gòu)Fig. 1 Self-training model architectural overview

2.2 黃金方面確定方法

為了獲得數(shù)據(jù)集上的黃金方面，計算了數(shù)據(jù)集中單詞的TF-IDF值。用以評估一個單詞對于一個語料庫中的其中一份文檔的重要程度。單詞的重要性隨著它在該文檔中出現(xiàn)的次數(shù)增加，但同時會隨著它在語料庫中出現(xiàn)的頻率下降。其中詞頻(term frequency, TF)指的是某一個給定的詞語在該文件中出現(xiàn)的次數(shù)，逆向文件頻率(inverse document frequency, IDF)是一個詞語普遍重要性的度量。某一特定詞語的IDF，可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目，再將得到的商取對數(shù)得到。對于在某一特定文件里的詞語ti來說，它的重要性可表示為

式中：ni,j是該詞ti在文件dj中出現(xiàn)的次數(shù)，而分母是在文件dj中所有單詞出現(xiàn)次數(shù)之和。逆向文件頻率是一個詞語普遍重要性的度量。某一特定詞語的IDF，可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目，再將得到的商取對數(shù)得到：

2.3 方面表示詞集的建立

為了獲得方面表示詞集合，引入詞向量模型，利用模型學(xué)習(xí)到與數(shù)據(jù)集相關(guān)的豐富準(zhǔn)確的方面表示詞集。在每次方面詞的學(xué)習(xí)過程中計算與已經(jīng)確定的詞集合的相似性，保留每個方面不重復(fù)的前10個詞，擴充方面詞典，學(xué)習(xí)的過程在交叉驗證結(jié)果的正確率下降前停止。這是一個自訓(xùn)練的過程，來確定方面表示詞集。因此，構(gòu)建詞向量[20]模型是非常重要的。

模型參數(shù)可以通過最小化交叉熵規(guī)則化損失函數(shù)來擬合：

模型參數(shù)θ包括嵌入層矩陣C的元素和反向傳播神經(jīng)網(wǎng)絡(luò)模型g中的權(quán)重。這是一個巨大的參數(shù)空間。

圖 2 詞向量生成模型Fig. 2 Word embedding generation model

為了從上下文中預(yù)測目標(biāo)詞的過程中學(xué)習(xí)詞向量。Skip-gram[21-22]模型的正向計算在數(shù)學(xué)上構(gòu)造為

考慮到上下文，目標(biāo)單詞屬于一個子集的概率服從以下邏輯回歸函數(shù)分布：

劃分子集并重復(fù)上面的過程，使用二叉樹可以獲得logV的深度。葉節(jié)點逐一對應(yīng)原始字典詞，非葉節(jié)點對應(yīng)于類似類集的詞。從根節(jié)點到任何一個葉節(jié)點只有一條路。同時，從根節(jié)點到葉節(jié)點的方式是隨機游走過程。因此，可以基于這個二叉樹來計算葉節(jié)點出現(xiàn)的概率。例如，如果樣本及其二叉樹中的目標(biāo)詞編碼為則似然函數(shù)為

每個項目是方程中的邏輯回歸函數(shù)，并且可以通過最大化似然函數(shù)來獲得非葉節(jié)點向量。一個詞條件概率的變化會影響其路徑中所有非葉節(jié)點的概率變化，間接影響其他詞匯出現(xiàn)在不同程度的條件概率。因此，為了準(zhǔn)確地獲得方面詞的向量，n(黃金方面數(shù))個skim-gram模型構(gòu)建并輸入已經(jīng)由模型上一次迭代產(chǎn)生的數(shù)據(jù)。該模型的n個部分分別基于n個語料庫構(gòu)建詞向量，避免了詞向量的交互。單詞嵌入可以很容易地獲得類似的單詞。

3 實驗

本節(jié)描述實驗的建立過程，以及本文實驗在實際的中文和英文數(shù)據(jù)集的效果，并且與已有的經(jīng)典方法進行對比，最后對實驗結(jié)果進行了分析評估。

3.1 實驗的建立

數(shù)據(jù)集：采用一個中文數(shù)據(jù)集和一個英文數(shù)據(jù)集來評估本文方法。對于中文數(shù)據(jù)集，爬蟲從美團網(wǎng)獲取的71萬條美食評論。英文的公共數(shù)據(jù)集Citysearch corpus是一個餐館評論語料庫，以前的研究文獻[5, 23-24]也廣泛使用，其中包含超過5萬個來自Citysearch New York的餐廳評論。文獻[23]還提供了一個從語料庫中手工標(biāo)記的3 400個句子的子集。這些有標(biāo)簽的句子用于評估方面識別。有6個手動定義的方面標(biāo)簽：Food、Staff、Ambience、Price、Anecdotes、Miscellaneous，數(shù)據(jù)集分布見表1。

表 1 數(shù)據(jù)集描述Table 1 Data set description

數(shù)據(jù)預(yù)處理：為了獲得中文方面表示詞的集合，將隨機選擇的1 500份美食評論平均分成5組，5位評估者被要求按照涉及的方面進行手動標(biāo)注評論。所有的中文評論都被分詞工具jieba分割。并且去除標(biāo)點符號和停用詞。英文數(shù)據(jù)集只選取了Food、Staff、Ambience三個方面黃金方面的數(shù)據(jù)，去除停用詞和標(biāo)點符號，并且把單詞的變形轉(zhuǎn)換成最原始的形態(tài)。2個數(shù)據(jù)集的單詞分布結(jié)果見表2，黃金方面和部分方面表示詞的示例見表3。

基準(zhǔn)方法：為了評估本文模型，選擇了兩個基準(zhǔn)方法。

表 2 數(shù)據(jù)單詞集描述Table 2 Data word set description

LocLDA[23]：該方法使用了LDA的標(biāo)準(zhǔn)實現(xiàn)。為了防止全局主題的提取并將模型引向可評價方面，將每條評論作為一個單獨的文檔處理。模型的輸出是對數(shù)據(jù)中每條評論的方面分布。

SAS[19]：該方法是一個混合主題模型，在用戶感興趣的類別上給定一些種子詞，自動地提取類別方面術(shù)語。這個模型在已知的主題模型上，對于方面提取具有很強的競爭性。

表 3 黃金方面和部分方面表示詞Table 3 Gold aspects and representative words

評估方法：把每個方面識別的過程看作一個二分類的過程，因此方面提取的效果通過precision、recall率和F13個指標(biāo)來衡量，precision=對于每個二分類過程，存在4種可能的情況，正類被預(yù)測成正類(TP)，負(fù)類被預(yù)測成正類(FP)，負(fù)類被預(yù)測成負(fù)類(TN)，正類被預(yù)測成負(fù)類(FN)。

3.2 評估和結(jié)果

對于英文餐廳的數(shù)據(jù)集，評估“Food”“Staff ”和“Ambience”3個主要方面，因為其他方面的數(shù)據(jù)在詞語使用或?qū)懽黠L(fēng)格上都沒有表現(xiàn)出明確的模式，這使得這些方面甚至很難被人類識別。中文數(shù)據(jù)集評估了“食物”“價格”“服務(wù)”和“環(huán)境”4個方面，根據(jù)計算數(shù)據(jù)集的各單詞的TF-IDF來確定數(shù)據(jù)集的黃金方面。本文模型在英文數(shù)據(jù)集和中文數(shù)據(jù)集上的結(jié)果如表4、表5和圖3、圖4所示。

通過圖表的對比可以觀察到：1)在英文數(shù)據(jù)集上，本文方法(AESS)在3個方面的召回率都高于其他方法，本文方法在員工和環(huán)境方面識別的F1分?jǐn)?shù)高于其他2種方法。AESS食物的F1比SAS差，但其召回率非常高。分析了原因，發(fā)現(xiàn)大多數(shù)句子沒有提及到味道或者食物的名詞。例如，“挺好吃的”這個句子的真實標(biāo)簽就是食物。

2)在中文數(shù)據(jù)集上，本文方法(AESS)在食物、價格和環(huán)境方面識別的F1分?jǐn)?shù)高于其他方法，4個方面的召回率都高于其他方法。本文方法在中文數(shù)據(jù)集上明顯優(yōu)于其他2種方法，可能的原因有中文數(shù)據(jù)集是具有特色的美食評論數(shù)據(jù)，中文在語法表達(dá)上和英文不同，語句簡短甚至沒有固定的語法，對于主題提取比較困難，基于數(shù)據(jù)集創(chuàng)建詞典，避免這類問題，因此效果比較好。

表 4 3種方法在相同的英文數(shù)據(jù)集上的3個黃金方面確定的結(jié)果對比Table 4 Comparison of results determined by the three methods on the three gold aspects of the same English data set

表 5 3種方法在相同的中文數(shù)據(jù)集上的4個黃金方面確定的結(jié)果對比Table 5 Comparison of results determined by the three methods on the four gold aspects of the same Chinese data set

圖 3 3種方法在相同的英文數(shù)據(jù)集上的3個黃金方面確定F1結(jié)果對比Fig. 3 The F1 results that three methods determine the three gold aspects on same English data set

圖 4 3種方法在相同的中文數(shù)據(jù)集上的4個黃金方面確定結(jié)果對比Fig. 4 The F1 results that three methods determine the four gold aspects on same Chinese data set

4 結(jié)束語

本文提出一種基于半監(jiān)督自訓(xùn)練的方面提取方法，避免了監(jiān)督學(xué)習(xí)的標(biāo)簽數(shù)據(jù)依賴問題，并且在方面提取的結(jié)果中解決了以往無監(jiān)督模型的方面聚類效果不一致的問題。本文有3個方面的貢獻：1)人工標(biāo)注少量的方面，作為方面表示的種子詞，利用詞向量獲得與語料相關(guān)的豐富的方面表示詞典集合，確定方面表示單詞集合，解決方面表示單詞確定的困難；2)通過計算數(shù)據(jù)集單詞的TF-IDF值來確定數(shù)據(jù)集黃金方面，對每個句子進行多個方面的識別，并采用方面向量表示文本的包含的方面；3)本文方法同時應(yīng)用到中文美食評論和英文公開評論數(shù)據(jù)集，并對比了兩種經(jīng)典的方面提取方法。但是本模型對單詞種子詞比較敏感，未來可以進一步在方面提取的基礎(chǔ)上基于方面對內(nèi)容進行挖掘，將具有更重要的意義。