目標(biāo)語(yǔ)義與位置融合的方面意見詞抽取

廖 黽，劉德喜，萬(wàn)常選，劉喜平，廖國(guó)瓊

(江西財(cái)經(jīng)大學(xué) 信息管理學(xué)院，南昌 330013)

(江西財(cái)經(jīng)大學(xué) 數(shù)據(jù)與知識(shí)工程江西省高校重點(diǎn)實(shí)驗(yàn)室，南昌 330013)

E-mail：dexi.liu@163.com

1 引 言

文本情感分析旨在利用計(jì)算機(jī)自動(dòng)地從非結(jié)構(gòu)化的評(píng)論文本中抽取有用的觀點(diǎn)信息，挖掘出的信息可以運(yùn)用于電商平臺(tái)、網(wǎng)絡(luò)輿情、企業(yè)制造、公共服務(wù)中，幫助企業(yè)、機(jī)構(gòu)、政府了解大眾的看法，完善產(chǎn)品、系統(tǒng)和服務(wù)，同時(shí)也為大眾提供參考.

不同于文檔/句子級(jí)情感分析，細(xì)粒度情感分析(Fine grained Sentiment Analysis)可以分析評(píng)論文本中商品/服務(wù)的具體對(duì)象(target)或方面(aspect)、具體意見詞以及具體的情感[1]，因此細(xì)粒度情感分析也被稱為方面情感分析(Aspect-Based Sentiment Analysis，ABSA)，它可以細(xì)分為多個(gè)子任務(wù)，包括方面類別檢測(cè)、方面目標(biāo)抽取(或目標(biāo)抽取)、方面意見詞抽取(或意見詞抽取)、方面級(jí)別情感分類等.方面目標(biāo)抽取和方面意見詞抽取是兩個(gè)基本子任務(wù)，其中，方面目標(biāo)是句子中用戶態(tài)度或情感所針對(duì)的對(duì)象，意見詞是用戶態(tài)度或情感的具體表達(dá).

典型的ABSA能夠幫助分析評(píng)論文本中某個(gè)方面的情感極性(正面、負(fù)面、中性)，而無(wú)法提供針對(duì)該方面的具體意見詞，但這些意見詞卻可以很好地展示用戶對(duì)該方面的具體情感表達(dá)甚至情感產(chǎn)生的原因.因此Fan等人[2]為ABSA提出了一個(gè)新的子任務(wù)，稱為面向方面目標(biāo)的意見詞抽取(Target-oriented Opinion Words Extraction，TOWE).

給定評(píng)論文本和評(píng)論的目標(biāo)，TOWE任務(wù)是從評(píng)論中抽取描述或評(píng)估方面目標(biāo)的相應(yīng)意見詞.在同一句子中，對(duì)于不同的目標(biāo)，模型需要輸出不同的抽取結(jié)果.因此TOWE可以給出針對(duì)每個(gè)方面的具體的觀點(diǎn)信息，從而幫助我們理解用戶情感及其的來(lái)源，細(xì)化情感分析任務(wù)的粒度.

針對(duì)TOWE任務(wù)的相關(guān)研究成果較少.Fan等人[2]提出了融合方面目標(biāo)信息的神經(jīng)序列化標(biāo)注模型(Target-oriented Opinion Words Extraction with Target-fused Neural Sequence Labeling，IOG)，Wu等人[3]提出了潛在觀點(diǎn)遷移網(wǎng)絡(luò)模型(Latent Opinion Transfer Network，LOTN)，通過(guò)遷移評(píng)論情感分類數(shù)據(jù)中的潛在觀點(diǎn)來(lái)提升TOWE任務(wù)的性能.

本文基于IOG模型進(jìn)行改進(jìn)，其中IOG模型遵循編碼器—解碼器體系結(jié)構(gòu).在編碼器中，模型設(shè)計(jì)了3個(gè)LSTM，分別為向內(nèi)LSTM(Inward-LSTM)、向外(Outward-LSTM)以及全局LSTM(Global-LSTM).Inward-LSTM使用兩個(gè)方向(句子的起始至方面目標(biāo)和句子的結(jié)尾至方面目標(biāo))的LSTM分別建模，把方面目標(biāo)詞作為L(zhǎng)STM的最后一個(gè)輸入單元，能夠更好的利用方面目標(biāo)的語(yǔ)義信息.Outward-LSTM確保針對(duì)不同的方面目標(biāo)，句子中每個(gè)單詞的方面目標(biāo)融合表示形式有所不同，以方面目標(biāo)為原點(diǎn)運(yùn)行兩個(gè)LSTM，并朝句子的兩端延伸，最后生成融合了方面目標(biāo)的上下文語(yǔ)義特征.由于Inward-LSTM和Outward-LSTM中的上文和下文是分開編碼的，但在檢測(cè)上下文中的意見詞時(shí)，理解整個(gè)句子的全局含義很重要，因此Global-LSTM使用Bi-LSTM建模整個(gè)句子以獲取完整的句子表示.在解碼器中，采用貪婪解碼對(duì)每個(gè)位置進(jìn)行3類分類，即標(biāo)注B、I、O3種標(biāo)簽.

IOG模型使用Inward、Outward、以及Global-LSTM模型融合方面目標(biāo)信息，但存在以下不足：1)Inward-LSTM和Outward-LSTM向量通過(guò)相加的方式得到融合方面目標(biāo)的上下文信息，無(wú)法充分地、獨(dú)立地利用上下文傳遞給方面目標(biāo)的語(yǔ)義信息以及方面目標(biāo)傳遞給上下文的語(yǔ)義信息；2)在Global-LSTM中忽略了局部信息.使用Bi-LSTM進(jìn)行完整的語(yǔ)義編碼，卻無(wú)法關(guān)注到整體句子中更重要的信息；3)忽略了方面意見詞與方面目標(biāo)之間的位置信息.意見詞一般在離方面目標(biāo)比較近的位置，相對(duì)位置較近的候選意見詞更有可能成為該方面目標(biāo)對(duì)應(yīng)的意見詞.

針對(duì)IOG模型的不足，本文以Global-LSTM中的位置和注意力信息作為切入點(diǎn)，將上下文信息、相對(duì)位置信息以及注意力機(jī)制結(jié)合，提出了IOG的改進(jìn)模型AP-IOG——目標(biāo)語(yǔ)義與位置融合的IOG模型(Target-oriented Opinion Word Extraction Based on the Fusion of Aspect Target Semantics and Position model).本文主要貢獻(xiàn)在于：

1)提出目標(biāo)語(yǔ)義與位置融合的方面意見詞抽取模型AP-IOG.AP-IOG模型使用3個(gè)LSTM融合方面目標(biāo)及其上下文和位置信息，首先使用向內(nèi)LSTM和向外LSTM信息拼接，而后使用一個(gè)位置注意力增強(qiáng)的全局LSTM.這樣，通過(guò)3個(gè)LSTM很好地融合了方面目標(biāo)、上下文以及位置信息.

2)采用位置注意力增強(qiáng)機(jī)制.AP-IOG建模方面目標(biāo)與意見詞的位置關(guān)系，以更多地關(guān)注方面目標(biāo)附近的候選意見詞，提升模型識(shí)別方面意見詞的能力.

3)充分獨(dú)立地利用上下文信息和方面目標(biāo)信息.AP-IOG對(duì)向內(nèi)LSTM和向外LSTM輸出的向量進(jìn)行拼接，可以將上下文信息和方面目標(biāo)信息充分獨(dú)立地傳入解碼器.

4)對(duì)AP-IOG模型進(jìn)行了全面的評(píng)測(cè)，得到較好的評(píng)測(cè)結(jié)果.在4個(gè)英文開源的數(shù)據(jù)集上，AP-IOG模型獲得的F1值分別為82.25%、73.45%、76.00%以及85.24%，平均高出基準(zhǔn)模型IOG 2.9%.

本文的結(jié)構(gòu)安排如下：引言部分，首先介紹TOWE任務(wù)的意義及目前方法存在的問(wèn)題；第2節(jié)總結(jié)ABAS和TOWE任務(wù)的研究現(xiàn)狀.第3節(jié)介紹目標(biāo)語(yǔ)義與位置融合的方面意見詞抽取模型AP-IOG，以及各層的搭建與作用；第4節(jié)詳細(xì)說(shuō)明了本文的實(shí)驗(yàn)設(shè)定，并介紹了實(shí)驗(yàn)結(jié)果；最后，對(duì)全文進(jìn)行總結(jié)并提出下一步的工作.

2 相關(guān)工作

TOWE是方面級(jí)情感分析的基礎(chǔ)，研究成果主要體現(xiàn)在兩個(gè)方面：方面意見詞抽取、方面目標(biāo)與方面意見詞的聯(lián)合抽取.

2.1 方面意見詞抽取

早期抽取方面意見詞的方法主要依賴于特征工程，或者是直接使用意見詞詞典進(jìn)行抽取.為了彌補(bǔ)常用情感詞典的詞條較為通用，缺乏領(lǐng)域性的缺點(diǎn)，Yu等人[4]自行構(gòu)建了電商領(lǐng)域情感詞典抽取方面意見詞.然而，構(gòu)建領(lǐng)域詞典需要專家知識(shí)和較多的人力物力.

基于規(guī)則的方法通過(guò)一些詞性規(guī)則與句法規(guī)則來(lái)實(shí)現(xiàn)對(duì)方面意見詞的抽取.例如，Liu[5]使用兩組不同的句法規(guī)則(一組高精確率、一組高召回率)分別對(duì)語(yǔ)料進(jìn)行處理，而后通過(guò)雙向傳播算法進(jìn)行方面意見詞的抽取.Janna[6]將需要標(biāo)注的方面意見詞采用外部詞典的方式輸入至句法分析器當(dāng)中，通過(guò)詞性標(biāo)注的方式對(duì)方面意見詞進(jìn)行標(biāo)注.

基于深度學(xué)習(xí)的方面意見分析工作比較豐富，經(jīng)典方法是采用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[7]和注意力機(jī)制相結(jié)合.針對(duì)預(yù)訓(xùn)練過(guò)程中無(wú)法調(diào)整輸入的詞向量，Zhang等人[8]提出了一種有序神經(jīng)元長(zhǎng)短時(shí)記憶和自注意力機(jī)制模型(ON-LSTM-SA)，使用ELMo對(duì)語(yǔ)料進(jìn)行了預(yù)訓(xùn)練.為了充分利用方面目標(biāo)信息，Xing等人[9]提出了方面感知LSTM(AA-LSTM)，在使用注意力機(jī)制之前的上下文建模階段將方面信息合并到LSTM單元中，以獲取更有效的上下文表示.考慮到方面目標(biāo)和其他詞對(duì)于方面意見詞的重要性不同，Qi等人[10]提出了基于權(quán)重增強(qiáng)的圖卷積神經(jīng)網(wǎng)絡(luò)模型(AW-IGCN)，通過(guò)權(quán)重增強(qiáng)的句法依存樹來(lái)獲取更完整的句法結(jié)構(gòu).

Fan等人[2]提出TOWE任務(wù)，目的在于根據(jù)給定方面目標(biāo)(target)抽取其對(duì)應(yīng)的意見詞(opinion words)，同時(shí)提出IOG模型，可以有效地將方面目標(biāo)信息分別編碼到候選意見詞的左上下文和右上下文中.然后，結(jié)合方面目標(biāo)的左右上下文和全局上下文，以在解碼器中抽取相應(yīng)的意見詞.Wu等人[3]針對(duì)TOWE任務(wù)，提出LOTN模型，通過(guò)遷移學(xué)習(xí)的知識(shí)，把預(yù)訓(xùn)練的情感分類中得到的意見詞傳遞給TOWE模型，增強(qiáng)了模型的性能，同時(shí)降低了復(fù)雜度.

2.2 方面目標(biāo)與方面意見詞聯(lián)合抽取

針對(duì)方面目標(biāo)和方面意見詞聯(lián)合抽取任務(wù)，在以往的研究[11]中，根據(jù)現(xiàn)有的詞典抽取出方面目標(biāo)和方面意見詞，并設(shè)置滑動(dòng)窗口找出方面目標(biāo)和方面意見詞對(duì)，但是在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)現(xiàn)有的詞典規(guī)模小，并且受限于特定的領(lǐng)域，因此難以推廣.

部分研究者嘗試根據(jù)主題構(gòu)建詞典，或嘗試其他機(jī)器學(xué)習(xí)方法來(lái)實(shí)現(xiàn)對(duì)方面目標(biāo)和方面意見詞的聯(lián)合抽取.由于詞典在不同領(lǐng)域的學(xué)習(xí)效果不一，并且網(wǎng)絡(luò)上總有一些源源不斷地新詞冒出，導(dǎo)致詞典無(wú)法識(shí)別的，因此Wei等人[12]首先構(gòu)建出一個(gè)初始的詞典，而后根據(jù)電商數(shù)據(jù)設(shè)計(jì)了聯(lián)合抽取的規(guī)則，利用己抽取的方面目標(biāo)和方面意見詞，實(shí)現(xiàn)基礎(chǔ)詞典庫(kù)的自動(dòng)擴(kuò)充.但是，這種方法在很大程度上取決于外部資源，例如解析器或詞典，以及解析結(jié)果的質(zhì)量.

隨著深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域中的廣泛應(yīng)用，深度學(xué)習(xí)技術(shù)被應(yīng)用于方面目標(biāo)與方面意見詞的聯(lián)合抽取.例如，Shen等人[13]首次將LSTM運(yùn)用于方面目標(biāo)與方面意見詞的聯(lián)合抽取任務(wù)中.在此基礎(chǔ)上，Peng等人[14]使用圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network)和Bi-LSTM完成該序列標(biāo)注任務(wù).為了獲取更深層次的語(yǔ)義信息，Chen等人[15]使用CNN和BiGRU模型抽取方面目標(biāo)與方面意見詞.在最近的研究中，Chen等人[16]提出同步多通道循環(huán)網(wǎng)絡(luò)模型(Synchronous Double-channel Recurrent Network for Aspect-Opinion Pair Extraction)，首先分別抽取方面目標(biāo)與方面意見詞，而后判斷兩個(gè)詞是否具有對(duì)應(yīng)關(guān)系.

為了更好的捕捉方面目標(biāo)和方面意見詞之間的關(guān)系，Yu等人[17]首次將多任務(wù)學(xué)習(xí)框架運(yùn)用于方面目標(biāo)與方面意見詞的聯(lián)合抽取任務(wù)中.在此基礎(chǔ)上，Zhao等人[18]提出了一個(gè)基于跨度的多任務(wù)學(xué)習(xí)框架(A Span-based Multi-Task Learning Framework for Pair-wise Aspect and Opinion Terms Extraction)，通過(guò)充分利用跨度級(jí)別信息，抽取方面目標(biāo)、方面意見詞以及其搭配關(guān)系.

3 目標(biāo)語(yǔ)義與位置融合模型AP-IOG

本文將TOWE任務(wù)定義為序列標(biāo)注任務(wù)，即：給定一個(gè)表達(dá)評(píng)論的句子，其中包含方面目標(biāo)Target以及對(duì)應(yīng)的方面意見詞Opinion，標(biāo)注出句子中各個(gè)詞是否是給定方面目標(biāo)的意見詞，如表1中的示例.

表1 數(shù)據(jù)標(biāo)注示例Table1 Annotation examples

本文使用BIO標(biāo)注方案，對(duì)于句子中的每個(gè)單詞，標(biāo)記其是否為方面意見詞的開始(B)、中間或結(jié)尾(I)，或者不是方面意見詞(O).為了簡(jiǎn)化問(wèn)題，要求每個(gè)樣本中，僅存在一個(gè)方面目標(biāo).如果某句子中有多個(gè)方面目標(biāo)，則重復(fù)構(gòu)建多個(gè)樣本，使得每個(gè)樣本僅針對(duì)一個(gè)方面目標(biāo)抽取方面意見詞，如表1中的示例2和示例3.

目標(biāo)語(yǔ)義與位置融合的方面意見詞抽取模型AP-IOG如圖1所示，使用編碼器-解碼器體系結(jié)構(gòu).

3.1 方面目標(biāo)融合編碼器

AP-IOG模型使用方面目標(biāo)融合編碼器將方面目標(biāo)信息合并到上下文中并學(xué)習(xí)融合方面目標(biāo)的上下文表示，然后將它們傳遞給解碼器進(jìn)行序列標(biāo)注.它主要由5個(gè)部分組成.首先使用增加頭尾標(biāo)識(shí)符的文本作為輸入層，而后使用3個(gè)LSTM，分別為Inward-LSTM、Outward-LSTM以及位置注意力增強(qiáng)的Global-LSTM，生成融合方面目標(biāo)信息的上下文信息，最后在融合層融合.

3.1.1 輸入層

在觀察數(shù)據(jù)集時(shí)發(fā)現(xiàn)，部分句子的方面目標(biāo)或方面意見詞處于句子初始位置或者結(jié)束位置，在模型訓(xùn)練過(guò)程中方面目標(biāo)或候選方面意見詞缺失左側(cè)信息或右側(cè)信息，導(dǎo)致上下文語(yǔ)義信息不完整，降低模型準(zhǔn)確率.因此，AP-IOG模型在句子的開頭和結(jié)尾分別補(bǔ)上頭標(biāo)識(shí)符[SEP]和尾標(biāo)識(shí)符[CLS]，如表1所示.

使用嵌入查找表L∈Rd×|V|生成每個(gè)單詞的輸入向量，其中d是嵌入向量的維度，|V|是{w1，w2，…，wn}詞匯量.嵌入查找表將{w1，w2，…，wn}映射到向量序列s={x1，x2，…，xn}，其中xi∈Rd.

如前所述，TOWE的核心挑戰(zhàn)是學(xué)習(xí)方面目標(biāo)融合的上下文表示.顯然，不同的方面目標(biāo)在句子中的位置不同，語(yǔ)境也不同.因此，我們首先將句子分為3個(gè)部分：上文{w1，w2，…，wl}，方面目標(biāo)詞{wl+1，…，wr-1}和下文{wr，…，wn}.

3.1.2 向內(nèi)LSTM(Inward-LSTM)

圖1 目標(biāo)語(yǔ)義與位置融合的方面意見詞抽取模型網(wǎng)絡(luò)框架Fig.1 Target-oriented opinion word extraction based on the fusion of aspect target semantics and position

(1)

(2)

顯而易見，方面目標(biāo)詞{wl+1，…，wr-1}的編碼在前向LSTM和后向LSTM中分別計(jì)算了兩次.因此本文對(duì)方面目標(biāo)單詞的兩個(gè)表示形式求平均得到方面目標(biāo)單詞的最終表示形式hI，方面目標(biāo)隱藏狀態(tài)平均算法如圖2和公式(3)所示：

圖2 方面目標(biāo)隱藏狀態(tài)平均算法圖Fig.2 Average algorithm diagram

(3)

3.1.3 向外LSTM(Outward-LSTM)

Inward-LSTM將包含候選意見詞的上下文信息傳遞給方面目標(biāo)，但方面目標(biāo)信息不會(huì)傳遞到上下文中.例如，在"The decoration is festive and beautiful."這句話中，方面目標(biāo)是"decoration"，Inward-LSTM從句子的首尾單詞"The"和"beautiful"向方面目標(biāo)"decoration"進(jìn)行建模.但"The"和"beautiful"的編碼卻沒有依賴"decoration"的信息.為了解決這個(gè)問(wèn)題，使用向外LSTM(Outward-LSTM).Outward-LSTM的想法是將方面目標(biāo)傳遞給上下文，如圖1所示.Outward-LSTM以方面目標(biāo)詞{wl+1，…，wr-1}為原點(diǎn)運(yùn)行兩個(gè)LSTM，并朝句子的兩端延伸，分別為前向LSTM和后向LSTM.

(4)

(5)

(6)

此外，Outward-LSTM確保針對(duì)不同的目標(biāo)，每個(gè)單詞具有不同的表示形式.例如"The atmosphere is aspiring，and the decoration is festive "，對(duì)于方面目標(biāo)"atmosphere"或"decoration"，"festive"的方面目標(biāo)融合表示形式有所不同，生成方面目標(biāo)融合的上下文.

3.1.4 位置注意力增強(qiáng)的全局LSTM(AP Global-LSTM)

1)Global-LSTM

(7)

(8)

(9)

2)Self-Attention

在Global-LSTM建模過(guò)程中，為了更好地注意到整體句子中更重要的局部信息，本文使用Self-Attention機(jī)制[20].

Self-Attention是輸入句子Source內(nèi)部元素之間的Attention機(jī)制，Query(Q)、Key(K)、Value(V)是由全局上下文表示HG經(jīng)過(guò)不同的線性變換得到.通過(guò)Self-Attention得到權(quán)重求和的表示HAG，如公式(10)所示:

(10)

3)位置注意力增強(qiáng)機(jī)制

使用Self-Attention可以獲得整個(gè)句子的局部信息，在TOWE任務(wù)中，上下文中的單詞和方面目標(biāo)詞之間的相對(duì)位置包含著很重要的特征信息，方面目標(biāo)附近的詞更有可能表達(dá)對(duì)方面目標(biāo)的情感，即為方面意見詞，并且隨著相對(duì)距離的增大影響越小.因此本文設(shè)計(jì)了一個(gè)位置注意力增強(qiáng)機(jī)制，不僅僅能夠注意到整個(gè)句子的局部信息，同時(shí)更多的關(guān)注方面目標(biāo)詞周圍的詞，使其具有更多的信息傳入到方面目標(biāo)詞中.

如圖3所示，對(duì)于該上下文中涉及的第1個(gè)方面目標(biāo)"atmosphere"的情感由相對(duì)位置2的"aspiring"表達(dá)，而不是相對(duì)位置8的"festive"表達(dá)，因此"atmosphere"方面目標(biāo)相對(duì)應(yīng)的方面意見詞為"aspiring".第2個(gè)方面目標(biāo)"decoration"對(duì)應(yīng)的方面意見詞為相對(duì)位置2的"festive".

圖3 上下文中單詞和方面目標(biāo)之間的位置關(guān)系Fig.3 Positional relationship between opinion and targets

本文對(duì)位置信息的處理方法為：

①給定一個(gè)句子s={w1，w2，…，wn}，其中包含方面目標(biāo)詞{wl+1，…，wr-1}.檢索到方面目標(biāo)所在的位置[l+1，r-1]，設(shè)置該方面目標(biāo)的相對(duì)位置li為0，如公式(11)所示:

(11)

②以方面目標(biāo)為中心，在方面目標(biāo)的兩側(cè)設(shè)置兩個(gè)工作指針，分別依次計(jì)算方面目標(biāo)左側(cè)單詞和方面目標(biāo)左側(cè)wl+1之間的相對(duì)位置，右側(cè)單詞和方面目標(biāo)右側(cè)wr-1之間的相對(duì)位置的值，記相對(duì)位置為li，其計(jì)算公式如公式(12)所示:

(12)

(13)

在位置注意力增強(qiáng)全局LSTM中，為了更好地注意到句子中的方面目標(biāo)信息以及附近候選意見詞的信息，從而完善句子的語(yǔ)義信息，本文通過(guò)將位置注意力增強(qiáng)的句子表示和全局LSTM的句子表示相加，獲得位置注意力增強(qiáng)的全局上下文表示形式HAPG，如公式(14)所示:

(14)

3.1.5 融合層：AP-IOG

本文將Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起來(lái)，向量拼接可以使各個(gè)不同類型的特征向量充分發(fā)揮其作用，使得輸入層具有更豐富的信息，如圖1所示.每個(gè)單詞的最終目標(biāo)語(yǔ)義與位置融合的上下文表示r如公式(15)所示，其中⊕為拼接操作：

(15)

最終表示r是方面目標(biāo)信息和位置注意力增強(qiáng)機(jī)制的全局上下文信息的融合，隨后傳遞給解碼器進(jìn)行序列標(biāo)注.

3.2 解碼器和訓(xùn)練

本文使用貪婪解碼作為解碼器，貪婪解碼被獨(dú)立地描述為每個(gè)位置的3類分類問(wèn)題.本文使用softmax來(lái)計(jì)算概率，計(jì)算公式如公式(16)所示:

p(yi|ri)=softmax(Wsri+bs)，1≤i≤n

(16)

貪婪解碼只是簡(jiǎn)單地選擇具有最高逐點(diǎn)概率的標(biāo)簽.它不考慮標(biāo)簽之間的依賴關(guān)系，但運(yùn)行速度更快.使用負(fù)對(duì)數(shù)似然(L(S))作為損失函數(shù)，計(jì)算如公式(17)所示:

(17)

與已有的面向方面目標(biāo)的方面意見詞抽取模型相比較，本文提出的目標(biāo)語(yǔ)義與位置融合模型AP-IOG具有以下特點(diǎn)：

1)強(qiáng)化方面目標(biāo)信息在TOWE任務(wù)中的作用.不同于普通的序列化標(biāo)注任務(wù)，TOWE的難點(diǎn)在于對(duì)同一個(gè)句子，如果輸入的方面目標(biāo)不同，那么對(duì)應(yīng)標(biāo)注的意見詞也應(yīng)該不同.因此AP-IOG使用3個(gè)LSTM充分使用方面目標(biāo)信息以識(shí)別方面意見詞，其中Inward-LSTM可以很好地利用方面目標(biāo)的語(yǔ)義信息，Outward-LSTM將方面目標(biāo)信息傳遞至上下文，以生成方面目標(biāo)融合的上下文，同時(shí)位置注意力增強(qiáng)的AP Global-LSTM，可以利用方面目標(biāo)和方面意見詞的位置信息，以獲取更有效的上下文表示.通過(guò)這3個(gè)LSTM向量拼接，從而充分融合方面目標(biāo)及其上下文信息.

2)充分地、獨(dú)立地利用方面目標(biāo)語(yǔ)義與上下文信息.將Inward-LSTM、Outward-LSTM的結(jié)果進(jìn)行拼接.AP-IOG將內(nèi)外LSTM輸出的信息向量進(jìn)行拼接，使得解碼器可以關(guān)注到融合方面目標(biāo)信息的上下文表示中的更多信息.

3)具有更強(qiáng)的可解釋性.在Global-LSTM中，AP-IOG使用位置注意力增強(qiáng)機(jī)制，融合方面目標(biāo)語(yǔ)義信息、上下文語(yǔ)義以及位置信息，不僅能夠在內(nèi)外LSTM層有效利用方面目標(biāo)信息，還可以在全局LSTM層有效利用局部信息.同時(shí)，在文本長(zhǎng)度較長(zhǎng)時(shí)，可以更多地關(guān)注方面目標(biāo)附近的候選意見詞，從而達(dá)到更好的效果.

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)描述與評(píng)測(cè)指標(biāo)

本文使用SemEval 2014任務(wù)4、SemEval 2015任務(wù)12和SemEval 2016任務(wù)5(Pontiki等人[21-23])構(gòu)建的數(shù)據(jù)集.這些數(shù)據(jù)集是許多ABSA子任務(wù)的基準(zhǔn)，包括方面目標(biāo)抽取、方面意見詞抽取、方面意見詞和方面目標(biāo)相關(guān)情感分析.SemEval任務(wù)提供了餐廳和電腦領(lǐng)域的多個(gè)數(shù)據(jù)集.在SemEval任務(wù)的原始數(shù)據(jù)集中，標(biāo)注了方面目標(biāo)(方面)，但未提供方面意見詞和與方面目標(biāo)的對(duì)應(yīng)關(guān)系.因此，F(xiàn)an等人[2]為方面目標(biāo)標(biāo)注了相應(yīng)的方面意見詞，并且僅保留包含方面目標(biāo)詞和方面意見詞對(duì)的句子.

每個(gè)句子都由兩個(gè)人標(biāo)注，并且檢查沖突.數(shù)據(jù)集的每個(gè)實(shí)例由一個(gè)句子序號(hào)、一個(gè)句子、方面目標(biāo)的位置和相應(yīng)方面意見詞的位置組成.文本使用4個(gè)數(shù)據(jù)集：2014年SemEval的14res和14lap，2015年SemEval的15res和2016 SemEval的16res.14res，15res和16res包含來(lái)自餐廳領(lǐng)域的評(píng)論.14lap中的句子來(lái)自電腦領(lǐng)域.表2中顯示了這4個(gè)數(shù)據(jù)集的統(tǒng)計(jì)信息.

表2 數(shù)據(jù)統(tǒng)計(jì)Table 2 Statistics of the dataset

本文使用精確率P、召回率R和F1值用作衡量模型性能的指標(biāo).

4.2 實(shí)驗(yàn)環(huán)境與超參數(shù)設(shè)置

本文所提出的模型采用Windows上的PyTorch進(jìn)行搭建，實(shí)驗(yàn)采用的環(huán)境如表3所示.

表3 實(shí)驗(yàn)配置Table 3 Experimental environment

實(shí)驗(yàn)中，使用300維GloVe向量作為初始化單詞嵌入向量，該向量在未標(biāo)記的8400億個(gè)詞上進(jìn)行了預(yù)訓(xùn)練.單詞嵌入在訓(xùn)練階段是固定的，不進(jìn)行微調(diào).在所有LSTM單元中，隱藏狀態(tài)的維數(shù)均設(shè)置為300.選擇Adam[24]作為優(yōu)化方法，并使用原始論文中的默認(rèn)設(shè)置.在訓(xùn)練集中隨機(jī)分配20%的數(shù)據(jù)作為驗(yàn)證集，以調(diào)整超參數(shù).模型超參數(shù)設(shè)置如表4所示.

表4 模型超參數(shù)設(shè)置Table 4 Hyperparameters

4.3 對(duì)比模型

1)Distance-rule：Hu和Liu[12]使用距離和位置(POS)標(biāo)簽來(lái)確定方面意見詞.首先使用nltk工具箱對(duì)每個(gè)詞進(jìn)行詞性標(biāo)注，并選擇距離方面目標(biāo)詞最近的形容詞作為相應(yīng)的方面意見詞.

2)Dependecy-rule：采用Zhuang等人[25]提出的策略，使用基于依賴樹的模板來(lái)識(shí)別意見對(duì).在訓(xùn)練集中記錄方面目標(biāo)和方面意見詞的詞性標(biāo)記以及它們之間的依賴路徑作為規(guī)則模板.使用高頻規(guī)則模板檢測(cè)測(cè)試集中的方面意見詞.

3)LSTM/Bi-LSTM：該方法是基于Liu等人[7]提出的單詞嵌入的LSTM/Bi-LSTM網(wǎng)絡(luò).將整個(gè)句子傳遞到LSTM/Bi-LSTM中，隨后每個(gè)隱藏狀態(tài)都被輸入softmax層進(jìn)行3類分類，完成方面意見詞的抽取.

4)Pipeline：該方法將Bi-LSTM方法和距離規(guī)則方法相結(jié)合.首先利用Bi-LSTM訓(xùn)練句子級(jí)方面意見詞抽取模型，抽取出測(cè)試句子中的方面意見詞，然后選擇最接近方面目標(biāo)的方面意見詞作為結(jié)果.

5)方面目標(biāo)嵌入Bi-LSTM(TCBi-LSTM)：該方法將方面目標(biāo)信息合并到句子中.通過(guò)方面目標(biāo)嵌入的平均池化得到方面目標(biāo)向量，單詞在每個(gè)位置的表示為詞向量和方面目標(biāo)向量的相加，然后將其送入一個(gè)Bi-LSTM進(jìn)行序列標(biāo)注任務(wù).

6)融合方面目標(biāo)信息的神經(jīng)序列化標(biāo)注模型IOG[2]：該方法使用方面目標(biāo)融合序列標(biāo)注神經(jīng)網(wǎng)絡(luò)模型來(lái)執(zhí)行此任務(wù).方面目標(biāo)信息被由內(nèi)向外的LSTM很好地編碼到上下文中.然后，將方面目標(biāo)的上、下文與全局上下文進(jìn)行組合，以找到方面目標(biāo)對(duì)應(yīng)的方面意見詞.

4.4 實(shí)驗(yàn)結(jié)果分析

各模型在測(cè)試集上的實(shí)驗(yàn)結(jié)果如表5所示.

由表5可以看出，總體上本文提出的AP-IOG模型在各個(gè)評(píng)測(cè)指標(biāo)上都顯著優(yōu)于其它模型，F(xiàn)1值在4個(gè)數(shù)據(jù)集上比IOG模型分別高出了2.23%、2.10%、2.75%以及3.55%.具體地：

表5 各模型實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Experimental results

1)Distance-rule的性能不理想，是所有方法中性能最差的，尤其是召回率很低.說(shuō)明僅選擇距離方面目標(biāo)詞最近的形容詞作為方面意見詞并不能取得好的效果.

2)Dependecy-rule比Distance-rule得到了更好的效果，但仍低于基于序列標(biāo)注的方法.依存句法規(guī)則的錯(cuò)誤傳播可能是導(dǎo)致模型性能差的一個(gè)原因.

3)Pipeline模型的性能顯著優(yōu)于Dependecy-rule，特別是在精度上，這說(shuō)明機(jī)器學(xué)習(xí)方法可以更好地進(jìn)行方面意見詞抽取.然而，Pipeline模型仍然太不理想，F(xiàn)1值比AP-IOG模型大約低10個(gè)百分點(diǎn).這說(shuō)明僅僅使用距離信息，對(duì)于檢測(cè)面向方面目標(biāo)的方面意見詞是不夠的，而AP-IOG可以更好地處理長(zhǎng)距離依賴問(wèn)題.此外，Pipeline策略不能解決一個(gè)方面目標(biāo)對(duì)應(yīng)多個(gè)方面意見詞的情況，它還容易受到錯(cuò)誤傳播的影響.

4)LSTM和Bi-LSTM都是目標(biāo)無(wú)關(guān)的，精度較低，性能甚至不如Pipeline方法.AP-IOG的表現(xiàn)平均比Bi-LSTM高出15個(gè)百分點(diǎn)左右，說(shuō)明方面目標(biāo)信息融合可以提升模型的效果.

5)TCBi-LSTM通過(guò)向量相加的方式包含方面目標(biāo)信息，總體性能優(yōu)于LSTM和Bi-LSTM.但TCBi-LSTM仍比AP-IOG低10個(gè)百分點(diǎn)以上，略低于Pipeline.

6)IOG使用內(nèi)外LSTM模型向量相加的方式包含方面目標(biāo)信息，而后使用全局LSTM了解句子的全局含義，顯著改善了針對(duì)方面目標(biāo)的方面意見詞抽取性能，但I(xiàn)OG仍比AP-IOG低3個(gè)百分點(diǎn)左右.這說(shuō)明，拼接向量可以充分利用上下文傳遞給方面目標(biāo)的信息以及方面目標(biāo)傳遞給上下文的信息，訓(xùn)練效果更佳；位置注意力增強(qiáng)機(jī)制可以在全局層幫助模型更好地注意到局部信息，也使得較長(zhǎng)數(shù)據(jù)可以更加關(guān)注到方面目標(biāo)詞周邊的詞；增加頭尾標(biāo)識(shí)符的處理可以使得方面目標(biāo)信息的上下文不會(huì)存在無(wú)特征向量的狀況，從而得到更好的模型效果.

與基于規(guī)則的方法和其他的神經(jīng)網(wǎng)絡(luò)模型相比，AP-IOG在不同領(lǐng)域的數(shù)據(jù)集上都取得了最好的性能.可以看出，AP-IOG能夠更有效地學(xué)習(xí)針對(duì)方面目標(biāo)的特征，能夠更好地捕捉方面目標(biāo)與方面意見詞之間的對(duì)應(yīng)關(guān)系.

4.5 案例分析

為了證明AP-IOG模型的有效性，本文在測(cè)試數(shù)據(jù)集中選擇一些示例，然后顯示不同模型的抽取結(jié)果，如表6所示，其中“×”表示模型抽取錯(cuò)誤，“√”表示模型抽取正確.

表6 抽取結(jié)果的示例Table 6 Case study

示例4中，由于Distance-rule無(wú)法抽取短語(yǔ)，因此模型抽取結(jié)果不正確.此外，使用Distance-rule方法時(shí)，僅選擇最近的形容詞作為方面意見詞并非在所有情況下都能取得好的效果，如示例5和示例6("excellent"和"authentic"，"fresh").

在某些情況下，Dependecy-rule沒有匹配的模板，因此無(wú)法抽取任何單詞，如示例5.

Pipeline方法具有無(wú)法處理一對(duì)多的問(wèn)題，一個(gè)方面目標(biāo)對(duì)應(yīng)多個(gè)方面意見詞的情況(如示例6，只識(shí)別出"authentic"而未識(shí)別"fresh").示例7中，IOG受到整體長(zhǎng)度以及其他詞信息的影響，導(dǎo)致抽取到和方面目標(biāo)信息距離較長(zhǎng)的無(wú)關(guān)信息.AP-IOG模型使用位置注意力增強(qiáng)的方法，更多關(guān)注于方面目標(biāo)附近的詞，從而正確抽取方面目標(biāo)"Chelsea"對(duì)應(yīng)的方面意見詞"impressive"、"creative".示例5中，由于Bi-LSTM不包含目標(biāo)信息，盡管它抽取了"slow"和 "busy"，但只有"slow"是對(duì)應(yīng)"Service"的方面意見詞.雖然TCBi-LSTM是融合了方面目標(biāo)信息的模型，但它因?yàn)榧?jí)聯(lián)產(chǎn)生的干擾，所以經(jīng)常會(huì)抽取無(wú)關(guān)的方面意見詞.

當(dāng)方面目標(biāo)在句子的開頭時(shí)，IOG在方面目標(biāo)的左側(cè)沒有信息輸入，如示例8，影響了模型的性能.AP-IOG模型在數(shù)據(jù)輸入層增加了頭尾標(biāo)識(shí)符，使得方面目標(biāo)的兩側(cè)都有有效信息，成功識(shí)別"Service"的方面意見詞"slow".

當(dāng)句子中的方面意見詞較復(fù)雜且具有否定詞時(shí)，如示例9，包括AP-IOG的所有模型都沒能完全準(zhǔn)確地識(shí)別出意見詞.主要原因在于，獲取句子的語(yǔ)義信息時(shí)，無(wú)法獲取一些復(fù)雜的語(yǔ)法信息(Not…but…)，因此只能識(shí)別出"biggest"和"adequate"，而識(shí)別不出否定詞(Not)是屬于方面意見詞還是無(wú)關(guān)信息.另外，訓(xùn)練數(shù)據(jù)集中類似的樣本較少，也是模型分析不夠準(zhǔn)確的原因之一.

4.6 消融實(shí)驗(yàn)

為了分析本文提出的AP-IOG模型相對(duì)于IOG的在多個(gè)方面的改進(jìn)效果，本文還在表7中展示了AP-IOG模型中各個(gè)模塊的有效性.

表7 消融實(shí)驗(yàn)結(jié)果Table 7 Ablation experiments results

1)IOG[2]：該模型使用方面目標(biāo)融合序列標(biāo)注神經(jīng)網(wǎng)絡(luò)模型來(lái)執(zhí)行此任務(wù)，其中包括3個(gè)LSTM，分別為Inward-LSTM、Outward-LSTM以及Global-LSTM，其中HIO=HI+HO；由Inward-LSTM、Outward-LSTM獲得方面目標(biāo)信息融合的上下文信息.然后，將方面目標(biāo)的上、下文與全局上下文進(jìn)行拼接，以找到相應(yīng)的方面意見詞.

2)IOG+HT(增加頭標(biāo)識(shí)符Head和尾標(biāo)識(shí)符Tail)：在IOG的基礎(chǔ)上，在句子的頭部和尾部增加了一個(gè)頭尾標(biāo)識(shí)符號(hào)，以保證方面目標(biāo)處于文本的初始或者結(jié)尾位置時(shí)，左右兩邊也都具有有效信息.

3)IOG*+HT：在IOG+HT中，改變HI和HO的組合方式，使其進(jìn)行向量拼接，充分獨(dú)立地利用上下文傳遞給方面目標(biāo)的信息以及方面目標(biāo)傳遞給上下文的信息，從而獲得更多的信息.

4)IOG*+HT+AT：在IOG*+HT的基礎(chǔ)上，Global層LSTM編碼HG增加了Self-Attention機(jī)制，使得在Global-LSTM層也可以注意到更多的局部信息；

5)AP-IOG：在IOG*+HT+AT的基礎(chǔ)上，使用了位置注意力增強(qiáng)機(jī)制，不僅僅能夠注意到整個(gè)句子的局部信息，同時(shí)也更好的注意到方面目標(biāo)詞附近的詞，使其具有更多的信息傳入到方面目標(biāo)詞中.

表7顯示，增加頭尾標(biāo)識(shí)符的處理，可以提升模型的效果，相比于IOG模型，IOG+HT模型的F1值在4個(gè)數(shù)據(jù)集上平均提升了0.8%；Inward-LSTM和Outward-LSTM拼接可以更好的利用方面目標(biāo)信息，相比于IOG+HT模型，IOG*+HT模型F1值4個(gè)數(shù)據(jù)集上平均提升了0.6%；在模型中加入Self-Attention機(jī)制可以在Global層注意到句子中更重要的部分，相比于IOG*+HT模型，IOG*+HT+AT模型F1值在4個(gè)數(shù)據(jù)集上平均提升了0.9%；在Attention機(jī)制的基礎(chǔ)上，增加方面意見詞和方面目標(biāo)相對(duì)位置，更好地注意到方面目標(biāo)詞附近的詞，相比于IOG*+HT+AT模型，AP-IOG模型F1在4個(gè)數(shù)據(jù)集上平均提升了0.6%.

4.7 可視化

為了驗(yàn)證本文提出的AP-IOG模型中目標(biāo)語(yǔ)義與位置融合機(jī)制能夠有效提取方面目標(biāo)對(duì)應(yīng)的方面意見詞信息，本文針對(duì)幾個(gè)數(shù)據(jù)文本，從詞的角度進(jìn)行了可視化，如圖4所示.

圖4 AP-IOG在句子上的熱力圖示例Fig.4 Thermal diagrams of AP-IOG on sentence level

其中，陰影部分表示句子中單詞的權(quán)重，顏色越深表示AP-IOG中相應(yīng)注意力的權(quán)重越大.AP-IOG模型通過(guò)目標(biāo)語(yǔ)義與位置融合機(jī)制注意到方面目標(biāo)及其對(duì)應(yīng)的方面意見詞，例如圖4(a)中方面目標(biāo)"spot"對(duì)應(yīng)的方面意見詞"great".圖4(b)和圖4(c)中的例子比較有趣，兩個(gè)方面目標(biāo)和方面意見詞均來(lái)自同一個(gè)句子，從注意力權(quán)重大小來(lái)看，在識(shí)別圖4(b)中"atmosphere"對(duì)應(yīng)的方面意見詞"aspiring"時(shí)，不僅給方面目標(biāo)"atmosphere"較大的權(quán)重，模型同時(shí)也注意到了句子中還存在的另外一對(duì)方面目標(biāo)和意見詞，只是權(quán)重相對(duì)較小.這是容易理解的，同時(shí)對(duì)模型也是有利的.

5 總結(jié)展望

本文在現(xiàn)有TOWE方法的基礎(chǔ)上提出了一個(gè)新的位置注意力增強(qiáng)的方面意見詞抽取模型AP-IOG.為了建模方面目標(biāo)和對(duì)應(yīng)上下文之間的語(yǔ)義關(guān)系，使用3個(gè)LSTM融合方面目標(biāo)及其上下文和位置信息，其中Inward-LSTM、Outward-LSTM充分地、獨(dú)立地利用上下文信息和方面目標(biāo)信息，而位置注意力增強(qiáng)的Global-LSTM可以獲取上下文單詞與方面目標(biāo)的位置信息.而后將3個(gè)LSTM輸出進(jìn)行拼接，以更好地識(shí)別面向方面目標(biāo)的方面意見詞.實(shí)驗(yàn)結(jié)果表明，該方法已達(dá)到最佳性能.

在研究過(guò)程中發(fā)現(xiàn)，TOWE任務(wù)的標(biāo)注數(shù)據(jù)集比較匱乏，在數(shù)據(jù)標(biāo)注過(guò)程中耗費(fèi)了太多人力和時(shí)間.通過(guò)錯(cuò)樣本的分析，發(fā)現(xiàn)模型在獲取句子的語(yǔ)義信息時(shí)，無(wú)法獲取一些復(fù)雜的語(yǔ)法信息.在以后的工作中，可以從以下幾個(gè)方面對(duì)模型進(jìn)行改進(jìn)：1)考慮將TOWE任務(wù)運(yùn)用到不同領(lǐng)域和語(yǔ)種的數(shù)據(jù)集中；2)考慮引入語(yǔ)法特征，語(yǔ)法結(jié)構(gòu)包含詞與詞之間的依賴關(guān)系，也是TOWE任務(wù)的重要線索.此外，使用端到端的神經(jīng)序列標(biāo)注方法聯(lián)合抽取方面目標(biāo)和意見詞，不用給定方面目標(biāo)，以擴(kuò)大TOWE的應(yīng)用場(chǎng)景，也是今后的研究?jī)?nèi)容之一.