文本方面級(jí)情感分類方法綜述

李勝旺 楊藝 許云峰 張妍

摘 要：? 隨著深度學(xué)習(xí)的發(fā)展，方面級(jí)情感分類已經(jīng)在單領(lǐng)域和單一語言中取得了大量的研究成果，但是在多領(lǐng)域的研究還有提升的空間。通過對(duì)近年來文本方面級(jí)情感分類方法進(jìn)行歸納總結(jié)，介紹了情感分類的具體應(yīng)用場(chǎng)景，整理了方面級(jí)情感分類常用的數(shù)據(jù)集，并對(duì)方面級(jí)情感分類的發(fā)展進(jìn)行了總結(jié)與展望，提出未來可在以下領(lǐng)域開展深入研究：1）探索基于圖神經(jīng)網(wǎng)絡(luò)的方法，彌補(bǔ)深度學(xué)習(xí)方法存在的局限性;2）學(xué)習(xí)融合多模態(tài)數(shù)據(jù)，豐富單一文本的情感信息;3）開展更多針對(duì)多語言文本和低資源語言的研究。

關(guān)鍵詞： 自然語言處理;情感分類;方面級(jí)別;文本分類;深度學(xué)習(xí);圖神經(jīng)網(wǎng)絡(luò);圖卷積網(wǎng)絡(luò)

中圖分類號(hào)：TP311.13文獻(xiàn)標(biāo)識(shí)碼： A

doi：10.7535/hbkd.2020yx06006

A survey of text aspect-based sentiment classification

LI Shengwang， YANG Yi， XU Yunfeng， ZHANG Yan

（School of Information Science and Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China）

With the development of deep learning， aspect-based sentiment classification has achieved a lot of results in a single field and a single language， but there is room for improvement in multi-fields. By summarizing up the methods of text aspect-based sentiment classification in recent years， the specific application scenarios of sentiment classification were introduced， and the commonly used data sets of aspect-based sentiment classification were categorized. The development of aspect-based sentiment classification were summarized and prospected， and further research can be carried out in the following areas： exploring methods based on graph neural networks to make up for the limitations of deep learning methods; learning to fuse multi-modal data to enrich the emotional information of a single text; developing more targeted research work on multilingual texts and low-resource languages.

Keywords：natural language processing; sentiment classification;aspect-based; text classification; deep learning; graph neural network; graph convolutional network

近年來，情感分析成為自然語言處理（NLP）領(lǐng)域中最活躍的研究方向之一，在信息檢索、數(shù)據(jù)挖掘、文本挖掘等方面得到廣泛研究。文本情感分析是對(duì)帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程[1]。

隨著社交媒體和大數(shù)據(jù)的快速發(fā)展，情感分析已經(jīng)從計(jì)算機(jī)科學(xué)蔓延到其他學(xué)科領(lǐng)域，其巨大的發(fā)展前景和商業(yè)價(jià)值引發(fā)了整個(gè)社會(huì)的共同關(guān)注。情感分類是情感分析技術(shù)的核心，其任務(wù)是判斷文本的情感取向，根據(jù)文本所表達(dá)的含義和情感信息將文本劃分成積極或消極2種或多種類別。按照情感的粒度可以分為3種分類問題：二分類（積極和消極）、三分類（積極、消極和中立）和多分類。例如對(duì)推特（Twitter）評(píng)論進(jìn)行“開心”、“悲傷”、“憤怒”、“驚訝”的四元情感分類就屬于多元分類問題。按照對(duì)文本研究粒度的不同可以分為3種不同級(jí)別：篇章級(jí)情感分類、句子級(jí)情感分類和方面級(jí)情感分類[2]，如圖1所示。

由于情感分類是一種具有較大實(shí)用價(jià)值的分類技術(shù)，在一些現(xiàn)實(shí)場(chǎng)景中有著廣泛的應(yīng)用，例如產(chǎn)品推薦、電影票房預(yù)測(cè)等，一直以來都受到研究人員的重點(diǎn)關(guān)注?，F(xiàn)如今，生活中的方方面面變得愈加智能化，例如語音助手、智能客服等。在智能化道路上，機(jī)器的自然語言理解能力對(duì)智能化發(fā)展起著至關(guān)重要的作用。同時(shí)，對(duì)文本情感傾向的準(zhǔn)確判斷是更加準(zhǔn)確地理解自然語言文本的重要環(huán)節(jié)。在3種不同級(jí)別的情感分類中，方面級(jí)情感分類任務(wù)需要考慮方面詞和情感之間的交互，如果將其分離開，即在判斷情感時(shí)不考慮方面信息，可能會(huì)導(dǎo)致分類不正確，因?yàn)橥粋€(gè)形容詞對(duì)不同方面或在不同領(lǐng)域形容不同方面時(shí)，表達(dá)的情感是不同的。方面級(jí)情感分類可以更加細(xì)致地判斷句子在特定方面的情感極性，對(duì)文本情感的判斷更加準(zhǔn)確，從而使得方面級(jí)情感分類成為當(dāng)前情感分析領(lǐng)域的重點(diǎn)研究方向，在文本情感分類中起著舉足輕重的作用。

對(duì)于研究領(lǐng)域中主流的情感分類方法，可按照技術(shù)路線將其分為2大類：傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法又分為基于詞典的方法、基于機(jī)器學(xué)習(xí)的方法、基于弱標(biāo)注信息的方法、詞典與機(jī)器學(xué)習(xí)相混合的方法[3]。傳統(tǒng)分類方法主要針對(duì)篇章級(jí)和句子級(jí)進(jìn)行粗粒度的情感分類，只能假定文本只有單一的情感（例如正向和負(fù)向），不能對(duì)文本的多個(gè)方面（即用戶從哪個(gè)角度評(píng)論，或者商品從哪個(gè)角度介紹，例如價(jià)格、性能、服務(wù)等）進(jìn)行情感識(shí)別。

近年來由于神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，基于深度學(xué)習(xí)的情感分析取得了良好的效果，該方法的最大優(yōu)勢(shì)是不依賴人工定義特征，可以進(jìn)行端到端的自主學(xué)習(xí)。本文主要整理了當(dāng)前比較熱門的傳統(tǒng)深度學(xué)習(xí)情感分類方法和基于圖域的深度學(xué)習(xí)方法即圖神經(jīng)網(wǎng)絡(luò)方法，如圖2所示。

目前對(duì)包括圖神經(jīng)網(wǎng)絡(luò)方法的情感分類綜述數(shù)量有限。申影利等[4]在方面級(jí)情感分類綜述中只整合了基于傳統(tǒng)深度學(xué)習(xí)方法的相關(guān)研究，缺乏基于圖神經(jīng)網(wǎng)絡(luò)方法的最新研究。圖卷積網(wǎng)絡(luò)GCN[5]是一種簡單有效的基于圖的卷積神經(jīng)網(wǎng)絡(luò)，可以從豐富的關(guān)系數(shù)據(jù)中捕捉相互依賴的信息，在當(dāng)前基于圖神經(jīng)網(wǎng)絡(luò)的情感分類方法研究中，大多數(shù)研究人員應(yīng)用了經(jīng)典的圖卷積網(wǎng)絡(luò)GCN提高分類模型的算法性能，表現(xiàn)出很大潛力。

1 定義和概念

定義1 方面級(jí)情感分類（aspect-based sentiment classification，簡稱ABSC）任務(wù)定義：給定一個(gè)由n個(gè)詞和方面詞wi組成的句子 s={w1，w2，…，wi，…，wn}，方面級(jí)情感分類旨在確定句子s針對(duì)方面詞wi的情感極性。簡單來說，其任務(wù)是給定一句話和目標(biāo)提及，預(yù)測(cè)出關(guān)于目標(biāo)方面的句子的情感極性。如圖3所示，在“The waiter is friendly while the pizza is very ordinary”這一句評(píng)論中，用戶分別在“pizza”和“waiter”2個(gè)方面詞項(xiàng)表達(dá)了負(fù)向和正向情感。同時(shí)，pizza屬于food，waiter對(duì)應(yīng)service，所以在“food”和“service”2個(gè)方面類型也表達(dá)了負(fù)向和正向情感。

定義2方面級(jí)情感分類的評(píng)估指標(biāo)：Accuracy和Macro-F1。Accuracy指正確預(yù)測(cè)樣本數(shù)占總預(yù)測(cè)樣本數(shù)的比值，不考慮預(yù)測(cè)樣本是正例還是負(fù)例，表示對(duì)整個(gè)樣本的判定能力。Macro-F1也叫宏觀F1分?jǐn)?shù)，用于多分類問題，不受數(shù)據(jù)不平衡影響，容易受到識(shí)別性高（高recall和高precision）的類別影響。

概念1 圖（Graph，如圖4 a））是一種對(duì)一組對(duì)象（Node）及其關(guān)系（Edge）進(jìn)行建模的數(shù)據(jù)結(jié)構(gòu)。

由于圖結(jié)構(gòu)的強(qiáng)大表示能力，近年來對(duì)圖形的分析方法研究越來越受到關(guān)注，例如社會(huì)科學(xué)中的社交網(wǎng)絡(luò)、自然科學(xué)中的蛋白質(zhì)交互網(wǎng)絡(luò)以及知識(shí)圖譜，都可以用圖結(jié)構(gòu)進(jìn)行表示。

概念2 圖神經(jīng)網(wǎng)絡(luò)（GNNs）是一種基于圖域的深度學(xué)習(xí)方法。卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）只能用于規(guī)則的歐式空間（如圖4 b）），而GNNs可用來處理不規(guī)則的非歐式圖數(shù)據(jù)，通過圖形節(jié)點(diǎn)之間的消息傳遞捕獲圖形的依賴性[6]。由于圖神經(jīng)網(wǎng)絡(luò)的可推理性和高可解釋性，該方法已經(jīng)被廣泛應(yīng)用于圖分析當(dāng)中。

2 情感分類方法介紹

傳統(tǒng)的情感分析不僅耗費(fèi)人力，而且隨著大數(shù)據(jù)時(shí)代的發(fā)展，已經(jīng)不能滿足情感分類任務(wù)高效率和高質(zhì)量的要求。一個(gè)文本序列通過Word2Vec[7]等詞嵌入（word embedding）模型轉(zhuǎn)化為詞向量（word vector） 序列作為模型的輸入，使特征具有語義信息，深度學(xué)習(xí)構(gòu)建網(wǎng)絡(luò)模型模擬人腦神經(jīng)系統(tǒng)對(duì)文本進(jìn)行逐步分析、特征抽取并且自動(dòng)學(xué)習(xí)優(yōu)化模型輸出，以提高分類的準(zhǔn)確性。本文圍繞傳統(tǒng)深度學(xué)習(xí)方法和圖神經(jīng)網(wǎng)絡(luò)方法2大類來介紹相關(guān)研究工作，并重點(diǎn)介紹圖神經(jīng)網(wǎng)絡(luò)方法的算法思想。

2.1 傳統(tǒng)深度學(xué)習(xí)方法

2.1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的方法

卷積神經(jīng)網(wǎng)絡(luò)（CNN）[8]通過卷積和池化操作從原始數(shù)據(jù)中提取出高級(jí)特征，在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展中起到了很大作用，并且不需要消耗太多的計(jì)算力就能捕獲豐富的語義信息，其有效性已經(jīng)在許多領(lǐng)域得到驗(yàn)證。

HUANG等[9]利用參數(shù)化的濾波器門控結(jié)構(gòu)將方面詞信息引入CNN 中，提出了卷積神經(jīng)網(wǎng)絡(luò)參數(shù)化濾波器（PF-CNN）和參數(shù)化門控卷積神經(jīng)網(wǎng)絡(luò)（PG-CNN）2個(gè)模型變量。

FAN等[10]提出了一種卷積記憶網(wǎng)絡(luò)（CMN），該模型融合了注意力機(jī)制，可以同時(shí)捕捉句子中的單詞和多詞表達(dá)。為了幫助CNN特征抽取器更準(zhǔn)確地定位情感指標(biāo)，LI等[11]在重新審視了注意力機(jī)制的缺陷和阻礙CNN在分類任務(wù)中發(fā)揮作用的障礙后，提出了一種新的分類模型TNet，該模型采用了一種接近策略，利用單詞和方面詞語之間的位置相關(guān)性來縮放卷積層的輸入。

以前大部分工作使用了長短期記憶網(wǎng)絡(luò)（LSTM）和注意力機(jī)制來預(yù)測(cè)有關(guān)目標(biāo)的情感極性。XUE等[12]認(rèn)為該類模型很復(fù)雜并且在訓(xùn)練中需要花費(fèi)很長的時(shí)間，在此基礎(chǔ)上，提出了一個(gè)更有效的基于卷積神經(jīng)網(wǎng)絡(luò)和門機(jī)制（gating mechanisms）模型（GCAE）。該模型的計(jì)算在訓(xùn)練中很容易并行化，并且門單元也能夠獨(dú)立工作。

以上研究結(jié)果表明，在方面級(jí)情感分類任務(wù)上，各種卷積神經(jīng)網(wǎng)絡(luò)變體比基本的卷積神經(jīng)網(wǎng)絡(luò)方法的分類性能更好，并且優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法。

2.1.2 基于記憶神經(jīng)網(wǎng)絡(luò)的方法

TANG等[13]將深度記憶網(wǎng)絡(luò)（DMN）應(yīng)用到方面級(jí)情感分類任務(wù)中，該網(wǎng)絡(luò)采用帶有記憶網(wǎng)絡(luò)存儲(chǔ)的注意力機(jī)制捕獲每個(gè)上下文詞對(duì)于給定目標(biāo)方面的重要性，性能大大優(yōu)于基于LSTM和注意力LSTM的體系結(jié)構(gòu)。

LI等[14]將目標(biāo)識(shí)別任務(wù)整合到情感分類任務(wù)中，以更好地模擬方面情感交互。在模型架構(gòu)中，2個(gè)子任務(wù)由一個(gè)深度記憶網(wǎng)絡(luò)交錯(cuò)，其目標(biāo)檢測(cè)中產(chǎn)生的信號(hào)為極性分類提供線索，而預(yù)測(cè)的極性為目標(biāo)的識(shí)別提供反饋。TAY等[15]設(shè)計(jì)了一個(gè)二元記憶網(wǎng)絡(luò)（DyMemN），該網(wǎng)絡(luò)通過使用神經(jīng)張量合成或全息合成進(jìn)行記憶選擇操作模擬方面和上下文之間的交互作用。

CHEN等[16]提出了一種基于記憶網(wǎng)絡(luò)的遞歸注意力機(jī)制（RAM），提取被長距離分隔的情感信息。該模型采用Bi-LSTM（雙向LSTM）從輸入中產(chǎn)生記憶，根據(jù)記憶切片與目標(biāo)的相對(duì)位置對(duì)記憶切片進(jìn)行加權(quán)，使得來自同一句子的不同目標(biāo)有了自己定制的記憶。然后，對(duì)位置加權(quán)記憶進(jìn)行多重關(guān)注，并將注意結(jié)果與一個(gè)遞歸網(wǎng)絡(luò)GRU[17]非線性結(jié)合。最后，將softmax應(yīng)用于GRU網(wǎng)絡(luò)的輸出，對(duì)目標(biāo)進(jìn)行情感預(yù)測(cè)。

目前流行的方面級(jí)情感分類的內(nèi)容注意力機(jī)制主要集中于識(shí)別情感詞或移詞，而沒有考慮此類單詞與句子中給定方面的相關(guān)性。為了解決此問題，LIU等[18]提出一種由句子層面的內(nèi)容注意力機(jī)制和上下文注意力機(jī)制2部分組成的方面級(jí)情感分類模型（CAM）。其中，句子層面的內(nèi)容注意力機(jī)制能夠從全局的角度捕捉到整個(gè)句子針對(duì)方面詞語的重要信息，而上下文注意力機(jī)制則負(fù)責(zé)將單詞的順序及其相關(guān)性嵌入到一系列自定義中。

2.1.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法

RNN具有優(yōu)秀的序列學(xué)習(xí)能力，許多方面級(jí)情感分類任務(wù)中的先進(jìn)方法大多數(shù)都基于RNN進(jìn)行建模。

TANG等[19]提出基于目標(biāo)依賴的長短期記憶神經(jīng)網(wǎng)絡(luò)（TD-LSTM）和基于目標(biāo)關(guān)聯(lián)的長短期記憶神經(jīng)網(wǎng)絡(luò)（TC-LSTM）來擴(kuò)展LSTM。該模型把給定的目標(biāo)視為一個(gè)特征，并將其與上下文特征連接起來進(jìn)行方面級(jí)情感分類。ZHANG等[20]利用門控神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過Bi-RNN（雙向RNN）對(duì)句子中的句法和語義以及方面詞與周圍上下文詞之間的相互作用進(jìn)行建模，設(shè)計(jì)了2種門控神經(jīng)網(wǎng)絡(luò)模型（GRNN）。門控神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明可以通過更好地傳播梯度來減少標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)序列末端的偏差。

RUDER等[21]提出基于方面情感分類的評(píng)論層次模型（H-LSTM），使用分層雙向長短期記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)句內(nèi)和句間的關(guān)系。模型將單詞嵌入輸入到句子級(jí)雙向LSTM中，前向和后向LSTM的最終狀態(tài)通過方面嵌入連接在一起，并反饋到雙向評(píng)論級(jí)LSTM中。

注意力機(jī)制的核心目標(biāo)是從眾多信息中選擇對(duì)當(dāng)前任務(wù)目標(biāo)更為關(guān)鍵的信息，利用注意力機(jī)制得到文本中關(guān)于某個(gè)方面類別的描述表示，從而進(jìn)行更加準(zhǔn)確的情感極性判別，與方面級(jí)情感分類的目標(biāo)相一致。

WANG等[22]最早將注意力機(jī)制引入該任務(wù)，提出了一種使用目標(biāo)嵌入的基于注意力的LSTM模型（ATAE-LSTM），在LSTM網(wǎng)絡(luò)基礎(chǔ)上為每個(gè)目標(biāo)設(shè)置一個(gè)注意力向量，強(qiáng)制模型去注意句子中的重要部分，以響應(yīng)特定的對(duì)象。該方法被證明是一種有效的強(qiáng)化神經(jīng)模型來關(guān)注句子相關(guān)部分的方法。YANG等[23]也提出了2種基于注意的雙向LSTM來提高分類性能。LIU等[24]通過區(qū)分給定目標(biāo)的左上下文和右上下文獲得的注意力來擴(kuò)展注意力模型。HUANG等[25]以LSTM為基礎(chǔ)進(jìn)行研究，用聯(lián)合的方式為方面和句子建模，提出了注意力過度關(guān)注神經(jīng)網(wǎng)絡(luò)（AOA），通過AOA模塊共同學(xué)習(xí)方面和句子的表示，并自動(dòng)關(guān)注句子中的重要部分。

其后，一些交互式注意力機(jī)制被應(yīng)用于方面級(jí)情感分類任務(wù)上。MA等[26]提出了一種既考慮目標(biāo)注意力又考慮上下文注意力的交互式注意力網(wǎng)絡(luò)（IAN），使用2個(gè)注意力網(wǎng)絡(luò)交互式檢測(cè)目標(biāo)描述的重要單詞和整個(gè)上下文的重要單詞。

2.2 圖神經(jīng)網(wǎng)絡(luò)方法

注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)因其在特定方面及上下文詞語義對(duì)齊的固有能力，被廣泛應(yīng)用于方面級(jí)情感分類。但是，此類模型缺乏解釋相關(guān)句法約束和遠(yuǎn)距離單詞依賴的機(jī)制，因此可能會(huì)錯(cuò)誤地將與語法無關(guān)的上下文單詞識(shí)別為判斷方面情感的線索。為了解決這個(gè)問題，ZHANG等[27]在句子的依賴樹上構(gòu)建圖卷積網(wǎng)絡(luò)（GCN），利用句法信息和單詞依賴，提出一種特定方面的情感分類框架（ASGCN）。該模型從Bi-LSTM層開始，捕獲有關(guān)單詞順序的上下文信息。為了獲得方面特征，在LSTM輸出的頂部加入多層圖卷積結(jié)構(gòu)，隨后用掩碼機(jī)制過濾非特定方面的單詞并保留高級(jí)特定方面的特征。特定方面的特征被反饋到LSTM輸出，檢索有關(guān)該方面的信息性特征，然后將其用于預(yù)測(cè)基于方面的情感。

現(xiàn)有的方面級(jí)情感分類方法大多是在一個(gè)句子中獨(dú)立地對(duì)不同的方面進(jìn)行建模，忽略了不同方面之間的情感依賴。然而，ZHAO等[28]發(fā)現(xiàn)這種不同方面之間的依賴信息會(huì)帶來額外的有價(jià)值的信息，并提出了一種基于注意力圖卷積的方面級(jí)情感分類框架（SDGCN）。該工作將一個(gè)方面視為一個(gè)節(jié)點(diǎn)，一條邊代表2個(gè)節(jié)點(diǎn)的情感依賴關(guān)系，是第一個(gè)在一句話中考慮方面之間情感依賴性的模型。

HOU等[29]認(rèn)為僅依賴樹上的GCN模型容易出現(xiàn)解析錯(cuò)誤，并且為了減輕由解析錯(cuò)誤引起的問題，將自我注意序列模型與GCN模型相結(jié)合，設(shè)計(jì)了一個(gè)新的基于選擇性注意的GCN模型（SA-GCN）。即在依賴樹上的GCN模型基礎(chǔ)上，使用多頭注意力直接為句子中每個(gè)單詞選擇注意分?jǐn)?shù)最高的k個(gè)單詞。然后在生成的top k注意圖上應(yīng)用另一個(gè)GCN模型整合上下文詞的信息。

XIAO等[30]指出，大多數(shù)方法不能完全捕捉上下文的語義信息，也缺乏解釋相關(guān)句法約束和遠(yuǎn)程詞匯依賴的機(jī)制。針對(duì)這些問題，提出了一種基于注意編碼的圖卷積網(wǎng)絡(luò)模型（AEGCN），體系結(jié)構(gòu)如圖5所示。該模型主要由多頭注意力和在句子依賴樹上建立的改進(jìn)圖卷積網(wǎng)絡(luò)組成。將預(yù)先訓(xùn)練好的BERT[31]（一種從transformer[32]模型得來的雙向編碼表征模型）應(yīng)用于該任務(wù)，實(shí)現(xiàn)了更好的性能。

圖5中，“embedding”表示GloVe[33]嵌入或預(yù)訓(xùn)練的BERT嵌入;“hidden state”代表Bi-LSTM;MHSA指多頭自注意力;MHIA指多頭互動(dòng)注意力。首先，將Bi-LSTM用于上下文和特定目標(biāo)的初步語義建模，在獲得上下文的隱藏狀態(tài)后，將GCN和MHSA組合在一起對(duì)句法信息進(jìn)行編碼。同時(shí)，利用MHSA對(duì)上下文的隱藏狀態(tài)和特定目標(biāo)進(jìn)行注意編碼，以獲得更豐富的語義信息。然后，上下文語義編碼和目標(biāo)特定語義編碼通過MHIA與句法信息編碼相互作用，將平均池應(yīng)用于交互式信息和上下文語義編碼。最后，將它們合并以獲得用于預(yù)測(cè)情感極性的最終特征表示，實(shí)驗(yàn)結(jié)果如表1所示。

實(shí)驗(yàn)選取了8個(gè)基線模型，在5個(gè)基準(zhǔn)數(shù)據(jù)集上評(píng)估了AEGCN的有效性。通過實(shí)驗(yàn)結(jié)果中的粗體數(shù)據(jù)可以看出，采用圖卷積網(wǎng)絡(luò)GCN的模型，在大多數(shù)情況下表現(xiàn)出更好的效果;同時(shí)，基于BERT的模型比基于GloVe的模型表現(xiàn)出更大的優(yōu)勢(shì)。

2.3 方法歸納與比較

對(duì)以上研究工作進(jìn)行總結(jié)歸納，詳見表2。

由表2可以看出，已經(jīng)有大量基于傳統(tǒng)深度學(xué)習(xí)的方面級(jí)情感分類方法。大部分研究工作針對(duì)需要解決的問題和模型的特性，將不同的模型和機(jī)制相互融合。但是，由于傳統(tǒng)深度學(xué)習(xí)本身所具有的不可推理和不可解釋的局限性，導(dǎo)致基于傳統(tǒng)深度學(xué)習(xí)的方法進(jìn)入緩慢發(fā)展時(shí)期。同時(shí)，業(yè)界研究人員認(rèn)為，圖神經(jīng)網(wǎng)絡(luò)的可推理和高可解釋的特性，恰好彌補(bǔ)了傳統(tǒng)深度學(xué)習(xí)的局限，從而在近兩年變得愈加活躍。

通過圖神經(jīng)網(wǎng)絡(luò)方法研究給出的部分實(shí)驗(yàn)結(jié)果可知，利用圖卷積網(wǎng)絡(luò)GCN捕獲遠(yuǎn)程單詞之間的依賴關(guān)系比其他一些深度學(xué)習(xí)方法更勝一籌，表現(xiàn)出很大的潛力。因此，在今后的研究中，會(huì)有更多的圖神經(jīng)網(wǎng)絡(luò)方法逐漸登上舞臺(tái)，為方面級(jí)情感分類做出貢獻(xiàn)。盡管如此，圖神經(jīng)網(wǎng)絡(luò)本身仍存在著一些有待解決的問題，例如疊加多層圖卷積反而會(huì)使訓(xùn)練效果變差，處理大規(guī)模數(shù)據(jù)會(huì)使算法復(fù)雜度成指數(shù)增長等。方面級(jí)情感分類在近幾年發(fā)展迅速，但是在深度學(xué)習(xí)領(lǐng)域的發(fā)展仍面臨著巨大的挑戰(zhàn)，且需要一個(gè)漫長的過程。

3 常用數(shù)據(jù)集與應(yīng)用概述

3.1 常用數(shù)據(jù)集

方面級(jí)別情感分析（aspect-based sentiment analysis，簡稱ABSA）領(lǐng)域最常用的是SemEval數(shù)據(jù)集，其基本任務(wù)是對(duì)Twitter文本進(jìn)行情感分析。SemEval數(shù)據(jù)集的官方鏈接如表3所示。

3.1.1 SemEval-2014 Task 4數(shù)據(jù)集的子任務(wù)[34]

1）方面詞抽?。╝spect term extraction）。給定針對(duì)某個(gè)實(shí)體（比如餐廳）的一些句子，識(shí)別其中的方面詞。

2）方面詞（aspect term）的極性分類。給定一個(gè)句子和這個(gè)句子里的所有方面詞，判定每一個(gè)方面詞的情感極性。可能的極性包括正面（positive）、負(fù)面（negative）、中性（neutral）和沖突（conflict）。

3）方面類別（aspect category）識(shí)別。給定一個(gè)句子，識(shí)別出其中的類別（一個(gè)句子可能包含多個(gè)類別）。

4）方面類別的情感分類。給定一個(gè)句子以及句子里的一個(gè)或者多個(gè)方面類別，輸出每個(gè)類別的情感分類。和子任務(wù)2的分類一樣，這里的分類也分為正面、負(fù)面、中性和沖突。

3.1.2 SemEval-2015 Task 12數(shù)據(jù)集的子任務(wù)[35]

1）域內(nèi)（in-domain）任務(wù)。給定一個(gè)完整的評(píng)論，需要完成以下3個(gè)子任務(wù)。

①方面類別識(shí)別。識(shí)別評(píng)論里所有的實(shí)體（E）和屬性（A）對(duì)。E和A都是預(yù)定義集合中的某一個(gè)值。

②想法意圖表示（opinion target expression，簡稱OTE）識(shí)別。只有餐館數(shù)據(jù)集上有標(biāo)注數(shù)據(jù)，OTE任務(wù)的輸入是所有的實(shí)體和屬性對(duì)，需要識(shí)別實(shí)體和屬性對(duì)里實(shí)體E對(duì)應(yīng)的字符串。

③情感分類。給定一個(gè)有上下文的句子和所有的實(shí)體和屬性對(duì)，對(duì)其情感進(jìn)行分類，可能的分類為正面、負(fù)面和中性。

2）域外（out-of-domain）任務(wù)。增加了一個(gè)酒店的測(cè)試數(shù)據(jù)集（沒有訓(xùn)練數(shù)據(jù)），然后考察模型在不同領(lǐng)域的泛化能力。

3.1.3 SemEval-2016 Task 5數(shù)據(jù)集的子任務(wù)[36]

1）句子級(jí)別的ABSA。給定某個(gè)實(shí)體（餐館或酒店）的一篇評(píng)論中的一個(gè)句子，需要確定所有觀點(diǎn)的以下3方面內(nèi)容。

①方面類別檢測(cè)（aspect category detection）。確定文本里出現(xiàn)的所有實(shí)體和屬性對(duì)，其中實(shí)體E來自預(yù)定義的實(shí)體類列表，屬性A來自預(yù)定義的屬性標(biāo)簽列表。

②想法意圖表示（OTE）。只有餐館數(shù)據(jù)集有該任務(wù)，需要確定每個(gè)實(shí)體和屬性對(duì)里實(shí)體所對(duì)應(yīng)的字符串的開始下標(biāo)和結(jié)束下標(biāo)，如果找不到則輸出"NULL"。

③情感極性。給定一個(gè)有上下文的句子和所有的實(shí)體和屬性對(duì)，對(duì)其情感進(jìn)行分類，可能的分類為正面、負(fù)面和中性。

2）篇章級(jí)別的ABSA。句子級(jí)別的問題是模型不能參考上下文，因此還有一個(gè)篇章級(jí)別的ABSA任務(wù)。它的任務(wù)和句子級(jí)別的任務(wù)是一樣的，輸入的是整個(gè)評(píng)論文本。

3）域外（out-of-domain）ABSA。通過無訓(xùn)練數(shù)據(jù)的測(cè)試數(shù)據(jù)集考察模型在不同領(lǐng)域的泛化能力。

3.1.4 SemEval-2017 Task 4數(shù)據(jù)集的子任務(wù)[37]

1）對(duì)Twitter文本進(jìn)行情感分類，分為積極、消極和中立。

2）給定一個(gè)Twitter文本和一個(gè)topic，判斷Twitter文本內(nèi)容關(guān)于這個(gè)topic的情感傾向，分為積極和消極。

3）在子任務(wù)2的基礎(chǔ)上，更加精細(xì)地分類，分為非常積極、弱傾向積極、中立、弱傾向消極、非常消極5個(gè)程度。

4）給定一個(gè)topic和一組Twitter文本，估計(jì)文本在積極和消極2個(gè)情感程度上的分布。

5）給定一個(gè)topic和一組Twitter文本，估計(jì)文本在積極、消極、非常積極、弱傾向積極、中立、弱傾向消極、非常消極5個(gè)情感程度的分布。

3.2 實(shí)際應(yīng)用概述

情感分類是一種具有很大實(shí)際應(yīng)用價(jià)值的文本分類技術(shù)[38]，筆者從個(gè)人角度的商品評(píng)價(jià)和企業(yè)角度的民意測(cè)評(píng)來簡單闡述情感分類的應(yīng)用。

3.2.1 商品評(píng)價(jià)

當(dāng)個(gè)人試圖去做某個(gè)決定并轉(zhuǎn)化為行為時(shí)，通常會(huì)考慮他人的意見、建議、觀點(diǎn)及看法。或者說，他人的意見和看法會(huì)對(duì)一個(gè)人的決定和行為產(chǎn)生顯著影響。例如，當(dāng)某人在購買一款商品時(shí)，就會(huì)主動(dòng)考慮朋友、同事等對(duì)這個(gè)商品的意見。在大數(shù)據(jù)時(shí)代，更多的還會(huì)從互聯(lián)網(wǎng)上搜集與此商品有關(guān)的熱點(diǎn)評(píng)價(jià)或各種形式的開放信息，根據(jù)這些信息來決定是否購買商品[39]。通過情感分類技術(shù)將商品評(píng)價(jià)分類，獲取可以讓人們更好地判斷商品的價(jià)值信息。

3.2.2 民意測(cè)評(píng)

一個(gè)企業(yè)如果想要了解自己的產(chǎn)品或服務(wù)在大眾心中的品質(zhì)形象和評(píng)價(jià)等信息，過去只能通過面對(duì)面交流或采取調(diào)查問卷的方式獲取。在如今的大數(shù)據(jù)時(shí)代，可以直接從互聯(lián)網(wǎng)上獲取大量的相關(guān)信息。對(duì)于更加高效地了解大眾的情感導(dǎo)向，情感分類提供了關(guān)鍵的技術(shù)支持。

4 研究與展望

深度學(xué)習(xí)已經(jīng)在情感分類領(lǐng)域做出很大貢獻(xiàn)。利用深度學(xué)習(xí)模型間相互結(jié)合并加入一定的機(jī)制，可以更精確地識(shí)別句子的語義表達(dá)，從而判斷出細(xì)節(jié)以及整個(gè)文檔的情感極性，展現(xiàn)出對(duì)不同類型情感分類的適應(yīng)能力。本文介紹了各種深度學(xué)習(xí)體系結(jié)構(gòu)應(yīng)用在方面級(jí)情感分類中的研究，將其分為2大類并細(xì)分為4個(gè)類別，分別是基于卷積神經(jīng)網(wǎng)絡(luò)、基于記憶神經(jīng)網(wǎng)絡(luò)、基于循環(huán)神經(jīng)網(wǎng)絡(luò)以及基于圖卷積網(wǎng)絡(luò)的方法。

在情感分類研究領(lǐng)域，方面級(jí)情感分類發(fā)展迅速，在單領(lǐng)域和單一語言上不斷取得成果，但在一些方面仍面臨挑戰(zhàn)。例如由于語言的多樣性與復(fù)雜性，不同領(lǐng)域間的情感表達(dá)差別較大。特別是當(dāng)領(lǐng)域差異過大時(shí)，如將商品評(píng)論領(lǐng)域訓(xùn)練的情感分析模型應(yīng)用到新聞?lì)I(lǐng)域上，情感分析的效率和性能則會(huì)下降。因此，訓(xùn)練高效的通用領(lǐng)域情感分析模型非常值得研究。同時(shí)，在近兩年開始嶄露頭角的基于圖神經(jīng)網(wǎng)絡(luò)的方法所展現(xiàn)出的巨大潛力，預(yù)示著在今后的研究中，圖神經(jīng)網(wǎng)絡(luò)可能成為解決現(xiàn)有問題的一種有效途徑，使得方面級(jí)情感分類得到進(jìn)一步提升。

情感分析在技術(shù)上具有廣闊的發(fā)展空間，在深度學(xué)習(xí)領(lǐng)域還有許多亟待解決的難點(diǎn)、痛點(diǎn)問題，今后應(yīng)圍繞以下問題開展進(jìn)一步研究。

1）多種不同的圖神經(jīng)網(wǎng)絡(luò)模型與不同的機(jī)制相融合。在當(dāng)前基于圖神經(jīng)網(wǎng)絡(luò)方法的研究中，大多數(shù)都使用了經(jīng)典的圖卷積網(wǎng)絡(luò)GCN，然而，一些研究人員提出了同樣優(yōu)異甚至表現(xiàn)更好的GCN變體和一些其他圖神經(jīng)網(wǎng)絡(luò)模型，例如AM-GCN[40]，P-GNN[41]等。如何結(jié)合這些圖神經(jīng)網(wǎng)絡(luò)模型的特性用于方面級(jí)情感分類任務(wù)中是一個(gè)值得探索的研究方向。

2）對(duì)多語言文本和低資源語言的情感分析。目前由于低資源語言缺乏大量的權(quán)威標(biāo)注數(shù)據(jù)集，并且單一語言的成果無法泛化到多語言環(huán)境，使得對(duì)多語言文本和低資源語言的研究工作較少。因此，針對(duì)多語言文本和低資源語言的情感分析將是一個(gè)新的研究方向。

3）多模態(tài)數(shù)據(jù)的情感分析。多模態(tài)數(shù)據(jù)是指包含文本、視覺和聽覺信息的多類型數(shù)據(jù)，可以為傳統(tǒng)的文本特征提供額外的情感信息。由于深度學(xué)習(xí)模型可以將輸入映射到某個(gè)潛在空間進(jìn)行特征表示，因此也可以同時(shí)映射多模態(tài)數(shù)據(jù)的輸入，來學(xué)習(xí)融合多模態(tài)數(shù)據(jù)提供的情感特征信息，例如使用特征串聯(lián)、聯(lián)合潛在空間或其他更復(fù)雜的融合方法。將多模態(tài)數(shù)據(jù)與深度學(xué)習(xí)技術(shù)結(jié)合，用多模態(tài)數(shù)據(jù)幫助情感分析是一個(gè)具有潛力的方向。

隨著社會(huì)媒體數(shù)據(jù)的海量興起，研究人員可以在大數(shù)據(jù)的基礎(chǔ)上開展實(shí)驗(yàn)。期待在不久的將來，研究人員可以搭建出更加完善的情感分析系統(tǒng)，為自然語言處理領(lǐng)域的發(fā)展做貢獻(xiàn)。

參考文獻(xiàn)/References：

[1]ZHANG L， WANG S， LIU B. Deep learning for sentiment analysis： A survey[J]. Wiley Interdisciplinary Reviews： Data Mining and Knowledge Discovery， 2018， 8（4）： 1253.

[2]洪巍，李敏.文本情感分析方法研究綜述[J].計(jì)算機(jī)工程與科學(xué)，2019，41（4）：750-757.

HONG Wei，LI Min.A review：Text sentiment analysis methods[J].Computer Engineering and Science，2019，41（4）：750-757.

[3]陳龍，管子玉，何金紅，等.情感分類研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展，2017，54（6）：1150-1170.

CHEN Long，GUAN Ziyu，HE Jinhong，et al.A survey on sentiment classification[J].Journal of Computer Research and Development，2017，54（6）：1150-1170.

[4]申影利，趙小兵.基于深度學(xué)習(xí)的方面級(jí)情感分析綜述[J].信息技術(shù)與標(biāo)準(zhǔn)化，2020（1）：50-53.

SHEN Yingli，ZHAO Xiaobing.A review of research on aspect-based sentiment analysis based on deep learning[J].Information Technology & Standardization，2020（1）：50-53.

[5]KIPF T N，WELLING M.Semi-supervised Classification with Graph Convolutional Networks[EB/OL].[2017-02-22].https：//arxiv.org/pdf/1609.02907v4.pdf.

[6]ZHOU J，CUI G Q，ZHANG Z Y，et al.Graph Neural Networks：A Review of Methods and Applications[EB/OL].[2019-07-10].https：//arxiv.org/pdf/1812.08434.pdf.

[7]NGUYEN H T， NGUYEN L M. Effective attention networks for aspect-level sentiment classification[C]//2018 10th International Conference on Knowledge and Systems Engineering （KSE）. Ho Chi Minh City： Institute of Electrical and Electronics Engineers， 2018： 25-30.

[8]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM， 2017，60（6）： 84-90.

[9]HUANG B X，CARLEY K M.Parameterizedconvolutional neural networks for aspect level sentiment classification[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels： Association for Computational Linguistics， 2018：1091-1096.

[10]FAN C， GAO Q， DU J， et al. Convolution-based memory network for aspect-based sentiment analysis[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. New York： ACM， 2018： 1161-1164.

[11]LI X， BING L， LAM W， et al. Transformation networks for target-oriented sentiment classification[C]//Meeting of the Association for Computational.Melbourne： Association for Computational Linguistics， 2018：1805-1815.

[12]XUE W， LI T. Aspect based sentiment analysis with gated convolutional networks[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Long Papers）.Melbourne： Association for Computational Linguistics， 2018： 2514-2523.

[13]TANG D Y， QIN B， LIU T. Aspectlevel sentiment classification with deep memory network[C]//Proceedings of the 2016 Conference on Empirical Methods.Austin：Association for Computational Linguistics，2016：214-224.

[14]LI C， GUO X， MEI Q. Deep memory networks for attitude identification[C]//Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. New York： ACM， 2017： 671-680.

[15]TAY Y， TUAN L A， HUI S C. Dyadic memory networks for aspect-based sentiment analysis[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York： ACM， 2017： 107-116.

[16]CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis[C]//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen： Association for Computational Linguistics， 2017： 452-461.

[17]CHUNG J Y， GULCEHRE C， CHO K H， et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[EB/OL].[2014-12-11].https：//arxiv.org/pdf/1412.3555v1.pdf.

[18]WU X， HE R， SUN Z N， et al. A light CNN for deep face representation with noisy labels[J]. IEEE Transactions on Information Forensics and Security， 2018， 13（11）：2884-2896.

[19]TANG D Y，QIN B，F(xiàn)ENG X C，et al.Effective LSTMs for target-dependent sentiment classification[C]//

Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin： Association for Computational Linguisties，2016，606-615.

[20]ZHANG M， ZHANG Y， VO D T. Gated neural networks for targeted sentiment analysis[C]//Thirtieth AAAI Conference on Artificial Intelligence. Phoenix： AAAI Press，2016： 3087-3093.

[21]RUDER S，GHAFFARI P，BRESLIN J G.A hierarchical model of reviews for aspect-based sentiment analysis[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processin. Austin： Association for Computational Linguistics， 2016：999-1005.

[22]WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin： Association for Computational Linguistics， 2016： 606-615.

[23]YANG M， TU W， WANG J， et al. Attention-based LSTM for target-dependent sentiment classification[C]//Proceedings of the Thirty-first AAAI Conference on Artificial Intelligence. San Francisco： AAAI Press， 2017： 5013-5014.

[24]LIU J， ZHANG Y. Attention modeling for targeted sentiment[C]//Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics： Volume 2， Short Papers. Valencia： Association for Computational Linguistics， 2017： 572-577.

[25]HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks[C]//International Conference on Social Computing， Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation.Washington： Springer， 2018： 197-206.

[26]MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification[C]//Twenty-Sixth International Joint Conference on Artificial Intelligence. Melbourne： International Joint Conferences on Artificial Intelligence， 2017： 4068-4074.

[27]ZHANG C，LI Q C，SONG D W.Aspect-based sentiment classification with aspect-specific graph convolutional networks[C]//

Proceedings of the 2019 Conference on Empircal Methods in Natural Language Processing and the 9th International

Joint Conference on Natural Language Porcessing（EMNIP-IJNLP）.Hongkong Association for Computational Linguistics，2019：4568-4578.

[28]ZHAO P L， HOU L L， WU O. Modeling sentiment dependencies with graph convolutional networks for aspect-level sentiment classification[J]. Knowledge-Based Systems， 2020， 193： 105443.

[29]HOU X C，HUANG J，WANG G T，et al.Selective Attention Based Graph Convolutional Networks for Aspect-level Sentiment Classification[EB/OL].[2020-04-07].https：//arxiv.org/abs/1910.10857.pdf.

[30]XIAO L W， HU X H， CHEN Y N， et al. Targeted sentiment classification based on attentional encoding and graph convolutional networks[J]. Applied Sciences， 2020， 10（3）： 957.

[31]DEVLIN J，CHANG M W，LEE K，et al.BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding[EB/OL].

[2019-05-24].https：//arxiv.org/pdf/1810.04805.pdf.

[32]VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Long Beach： NIPS， 2017： 5998-6008.

[33]PENNINGTON J， SOCHER R， MANNING C D. Glove： Global vectors for word representation[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha： Association for Computational Linguistics， 2014： 1532-1543.

[34]PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. Semeval-2014task 4： Aspect based sentiment analysis[C]//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Dublin： Association for Computational Linguistics， 2014： 27-35.

[35]PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2015 task 12： Aspect based sentiment analysis[C]//Proceedings of the 9th International Workshop on Semantic Evaluation （SemEval-2015）. Denver： Association for Computational Linguistics， 2015： 486-495.

[36]PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2016 task 5： Aspect based sentiment analysis[C]//Proceedings of the 10th International Workshop on Semantic Evaluation （SemEval-2016）. San Diego： Association for Computational Linguistics， 2016：19-30.

[37]ROSENTHAL S， FARRA N， NAKOV P. SemEval-2017 task 4： Sentiment analysis in Twitter[C]//Proceedings of the 11th International Workshop on Semantic Evaluation （SemEval-2017）. Vancouver： Association for Computational Linguistics，2017： 502-518.

[38]LI Q，PENG H，LI J X，et al.A survey on text classification：From shallow to deep learning[J].Association for Computing Machinery，2020，37（4）：35-69.

[39]江紅.情感分析研究綜述[J].智能計(jì)算機(jī)與應(yīng)用，2018，8（5）：103-105.

JIANG Hong.Research on sentiment analysis[J].Intelligent Computer and Applications，2018，8（5）：103-105.

[40]WANG X， ZHU M， BO D， et al. AM-GCN： Adaptive multi-channel graph convolutional networks[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 1243-1253.

[41]YOU J X， YING R， LESKOVEC J. Position-aware graph neural networks[C]// Proceedings of the 36th International Conference on Machine Learning. Long Beach： Computer Science， 2019：1-10.