基于神經(jīng)網(wǎng)絡(luò)的微博情緒識(shí)別與誘因抽取聯(lián)合模型

張 晨，錢 濤，姬東鴻

(1.武漢大學(xué) 國(guó)家網(wǎng)絡(luò)安全學(xué)院，武漢 430072； 2.湖北科技學(xué)院 計(jì)算機(jī)學(xué)院，湖北 咸寧 437100)

0 引言

情緒分析[1-2]是自然語(yǔ)言處理領(lǐng)域特別是社交媒體領(lǐng)域非常重要的研究?jī)?nèi)容之一，主要研究文本所蘊(yùn)含的情緒及與情緒相關(guān)的深層信息。目前文本的情緒分析主要集中在情緒識(shí)別任務(wù)上，如文本的情緒極性分析，Li等[3]對(duì)文本的正負(fù)面情感程度進(jìn)行了研究；或判斷文本的情緒是高興、喜歡、討厭等，黃磊等[4]就對(duì)微博文本的情緒分類進(jìn)行了探索。

為了實(shí)現(xiàn)深層次的文本情緒理解，情緒誘因抽取[5]已成為情緒分析中新的熱點(diǎn)問(wèn)題，所謂情緒誘因抽取就是針對(duì)文本中出現(xiàn)的被描述者的情緒，抽取出被描述者情緒產(chǎn)生的原因信息。當(dāng)前對(duì)情緒誘因的抽取主要分為兩類方法：一類是基于規(guī)則的方法[6]，主要是通過(guò)語(yǔ)法規(guī)則構(gòu)造情緒誘因與情緒之間的模板進(jìn)行情緒誘因的抽??；還有一類是基于統(tǒng)計(jì)的方法[7]，主要通過(guò)條件隨機(jī)場(chǎng)(Conditional Random Field, CRF)和支持向量機(jī)(Support Vector Machine, SVM)分類器等方法進(jìn)行情緒誘因的抽取。

這些誘因抽取方法假設(shè)情緒已經(jīng)被識(shí)別出來(lái)，即把情緒識(shí)別和誘因抽取看作是兩個(gè)獨(dú)立的任務(wù)，容易引發(fā)錯(cuò)誤在任務(wù)間傳播的問(wèn)題。情緒識(shí)別及誘因抽取是相互關(guān)聯(lián)的：一方面，情緒識(shí)別依賴于誘因；另一方面，誘因抽取要求知道情緒類別。因此聯(lián)合誘因抽取和情緒識(shí)別是自然的，能有效緩解串行模型所導(dǎo)致的錯(cuò)誤傳播問(wèn)題。

微博目前已成為使用最廣泛的社交媒體之一，其已成為情緒分析的主要對(duì)象之一[8]。微博不同于規(guī)范文本采用文本表達(dá)情緒，它通常采用表情符來(lái)表達(dá)情感或情緒。如下兩則微博:

在這兩則微博中，情緒通過(guò)表情符來(lái)表達(dá)。在微博①中表情符表達(dá)了作者“高興”的心情，子句2為其誘因，在微博②中，表情符表達(dá)了作者“悲傷”的心情，子句1為其誘因，顯然誘因與表情符的所表達(dá)的情緒有著直接關(guān)聯(lián)。此外，已有研究[9]顯示，表情符也存在歧義表達(dá)，如上面例子，同一表情符在不同誘因下表達(dá)不同的情緒，因此對(duì)表情符的情緒消歧或識(shí)別也是非常重要的。

基于微博文本的特點(diǎn)，本文提出情緒誘因抽取和表情符情緒識(shí)別的聯(lián)合模型,該模型把情緒誘因抽取和表情符情緒識(shí)別形式化為一個(gè)統(tǒng)一的序列標(biāo)注任務(wù)。模型采用雙向長(zhǎng)短期記憶(Bi-directional Long Short-Term Memory, Bi-LSTM)模型[10]與條件隨機(jī)場(chǎng)(CRF)模型[11]聯(lián)合進(jìn)行訓(xùn)練，充分利用了遠(yuǎn)距離信息及全局特征，同時(shí)避免了復(fù)雜的特征工程。為了訓(xùn)練和評(píng)測(cè)模型，本文同時(shí)構(gòu)建一個(gè)基于微博的情緒誘因語(yǔ)料庫(kù)。

1 相關(guān)工作

情緒誘因任務(wù)由Lee等[12]在2010年首次提出，他們使用的方法是基于規(guī)則模板的方法，對(duì)于數(shù)據(jù)集出現(xiàn)的情緒誘因的語(yǔ)法結(jié)構(gòu)進(jìn)行規(guī)則集的構(gòu)造，從而進(jìn)行誘因的提取。Chen等[13]和Russo等[14]開始在基于規(guī)則模板的基礎(chǔ)上又加上了情緒誘因與情感表達(dá)之間的位置關(guān)系。然而，規(guī)則很難覆蓋所有的語(yǔ)言現(xiàn)象，而且規(guī)則之間很容易出現(xiàn)難以發(fā)現(xiàn)的矛盾，最重要的是規(guī)則往往針對(duì)于某個(gè)特定領(lǐng)域的文本而難以適用于其他領(lǐng)域的文本。隨著統(tǒng)計(jì)學(xué)的方法在自然語(yǔ)言處理領(lǐng)域任務(wù)表現(xiàn)越來(lái)越好，袁麗[15]通過(guò)對(duì)語(yǔ)言學(xué)線索詞、句子距離、候選詞詞法等特征構(gòu)建特征向量，應(yīng)用支持向量機(jī)分類器和條件隨機(jī)場(chǎng)對(duì)文本的情感原因進(jìn)行了判別。Ghazi等[16]在2015年使用了條件隨機(jī)場(chǎng)來(lái)進(jìn)行情緒誘因的抽取，但是局限于必須含有情感表達(dá)的描述且描述內(nèi)容與情緒誘因在同一個(gè)子句當(dāng)中。最近，基于神經(jīng)網(wǎng)絡(luò)的方法被應(yīng)用在該任務(wù)，Gui等[17]將情緒誘因任務(wù)看作一個(gè)問(wèn)答系統(tǒng)(Question-Answer, Q-A)的問(wèn)題，采用了深度卷積神經(jīng)網(wǎng)絡(luò)的模型來(lái)進(jìn)行訓(xùn)練，得到了不錯(cuò)的結(jié)果。慕永利等[18]則采用了集成的卷積神經(jīng)網(wǎng)絡(luò)的模型將情感誘因看作子句級(jí)別上的分類問(wèn)題進(jìn)行訓(xùn)練與測(cè)試，在自己的標(biāo)注的數(shù)據(jù)集上得到了超過(guò)普通方法的結(jié)果。

誘因抽取通常可看作是一個(gè)序列標(biāo)注任務(wù)，當(dāng)前對(duì)序列標(biāo)注采用的方法通常是隱馬爾可夫模型(Hidden Markov Model, HMM)[19]、CRF等，特別是CRF充分利用上下文信息及全局優(yōu)化達(dá)到了較好性能，但CRF模型通常采用人工設(shè)計(jì)的特征，可能導(dǎo)致復(fù)雜的特征工程，并且不能充分利用遠(yuǎn)距離信息。當(dāng)前循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)模型由于減緩了復(fù)雜的特征工程及充分利用上下文信息已廣泛應(yīng)用于序列標(biāo)注問(wèn)題。特別它的變種Bi-LSTM與CRF結(jié)合所結(jié)合成的雙向長(zhǎng)短期記憶條件隨機(jī)場(chǎng)(Bi-LSTM CRF, Bi-LSTM-CRF)模型[20]結(jié)合了二者的優(yōu)點(diǎn)，在序列標(biāo)注問(wèn)題如命名實(shí)體識(shí)別、詞性標(biāo)注、句法解析等取得了最好效果。

當(dāng)前，研究人員已建設(shè)了一些情緒誘因語(yǔ)料[21]，但它們都是針對(duì)規(guī)范文本，而對(duì)社會(huì)媒體如微博等缺少相關(guān)誘因標(biāo)注語(yǔ)料。本文針對(duì)微博文本情緒表達(dá)的特點(diǎn)，構(gòu)建一個(gè)較大模型的標(biāo)注語(yǔ)料，并采用機(jī)器學(xué)習(xí)進(jìn)行誘因及情緒聯(lián)合分析。

2 微博情緒語(yǔ)料的構(gòu)建

由于缺少公開基于中文微博的關(guān)于情感誘因抽取的數(shù)據(jù)集，因此本文將通過(guò)人工標(biāo)注方式建立了一個(gè)情緒誘因及表情符情感的微博數(shù)據(jù)集。本章將首先介紹標(biāo)注方案，然后給出標(biāo)注語(yǔ)料的統(tǒng)計(jì)信息。

2.1 標(biāo)注方案

慕永利等[18]在對(duì)規(guī)范文本標(biāo)注時(shí)把誘因抽取看作是子句的識(shí)別，即把含有誘因表達(dá)所在的子句整體標(biāo)注為誘因，本文也采用此標(biāo)注方案。此外由于微博通常用表情符來(lái)表達(dá)情緒，對(duì)微博的情緒識(shí)別可看作是對(duì)表情符的情緒識(shí)別，因此把情緒標(biāo)注在表情符上。情緒標(biāo)簽采用常用的情緒分類法，分為7類，包括：高興(happiness)、悲傷(sadness)、驚訝(surprise)、害怕(fear)、厭惡(disgust)、憤怒(anger)和無(wú)情感(none)。

例子①、②的標(biāo)注格式分別如下：

其中cause標(biāo)簽內(nèi)文本表示誘因，其中emoji屬性表示它所屬于哪個(gè)emoji的誘因，emoji標(biāo)簽表示表情符，其包含兩個(gè)屬性：id及情緒label。

2.2 語(yǔ)料構(gòu)建

首先在新浪微博上隨機(jī)爬取了2017年7月至2017年10月期間的微博文本共27 000篇，將文本長(zhǎng)度小于5個(gè)字(英文以單詞計(jì)數(shù)不包括標(biāo)點(diǎn)符號(hào))的文本、不包含表情符的文本、廣告性質(zhì)的文本和重復(fù)的文本剔除后獲得了5 771篇待標(biāo)注的微博文本。對(duì)篩選后的6 771篇微博文本進(jìn)行人工標(biāo)注，每一處表情符的分類由兩名標(biāo)注者進(jìn)行標(biāo)注，不統(tǒng)一的再由第三名標(biāo)注者進(jìn)行判定，然后由決定了表情符分類的標(biāo)注者標(biāo)注該表情符對(duì)應(yīng)的情感誘因，情感誘因以子句為單位進(jìn)行標(biāo)注。最后得到一個(gè)語(yǔ)料數(shù)據(jù)集。該數(shù)據(jù)集包含9 386個(gè)表情符，29 061個(gè)子句，其中誘因子句數(shù)為10 465。表1顯示了不同情緒類別下的表情符個(gè)數(shù)與誘因。

表1 不同情緒類別下的表情符個(gè)數(shù)與誘因統(tǒng)計(jì)

由于表情符存在歧義表達(dá)，即使同一種表情符在不同的語(yǔ)境中很有可能表達(dá)出不同的情緒，因此本文對(duì)數(shù)據(jù)集中出現(xiàn)次數(shù)最多的10個(gè)表情符的情緒類別進(jìn)行了統(tǒng)計(jì)，結(jié)果如表2所示，從表中可以看出表情符往往包含超過(guò)一種情緒，這說(shuō)明表情符表達(dá)出的情感除了自身的意義外很大程度上受上下文中的情緒影響，從一定程度上能夠反映出上下文的情緒，而上下文的情緒與情緒誘因之間是相互關(guān)聯(lián)的。

表2 表情符情緒類別分布 %

3 基于Bi-LSTM-CRF的聯(lián)合模型

3.1 CRF模型

已有研究大多將情感誘因抽取看作一個(gè)子句層級(jí)上的分類問(wèn)題[16]，但分類問(wèn)題會(huì)割裂子句與子句之間的全局關(guān)聯(lián)。本文提出把誘因抽取看作是一個(gè)標(biāo)注問(wèn)題，從詞級(jí)別可設(shè)置為三個(gè)標(biāo)簽B-Cause、I-Cause、O，其中B-Cause、I-Cause聯(lián)合來(lái)標(biāo)注誘因子句，B-Cause表示誘因子句的第一個(gè)詞，I-Cause表示誘因子句的其他部分，O表示非誘因子句。對(duì)表情符的情感識(shí)別也可看標(biāo)注問(wèn)題，其標(biāo)簽即是情緒類別，可分別表示為：Happiness、Sadness、Fear、Anger、Surprise、Disgust、None。綜合兩類標(biāo)注問(wèn)題，可自然將其統(tǒng)一為一個(gè)標(biāo)注問(wèn)題，其標(biāo)簽即為兩類標(biāo)注問(wèn)題的標(biāo)簽集合。對(duì)例②其標(biāo)注結(jié)果見圖1。

圖1 微博例②的標(biāo)注結(jié)果

因此可將誘因抽取與情緒識(shí)別形式化為聯(lián)合的條件隨機(jī)場(chǎng)(CRF)模型[18]，CRF模型更多關(guān)注的是一個(gè)序列的整體性，它通過(guò)考察序列的聯(lián)合概率來(lái)進(jìn)行判別，因此能夠有效地考慮到上下文的標(biāo)簽信息和全局信息。對(duì)于例②，圖2給出基于CRF的網(wǎng)絡(luò)結(jié)構(gòu)圖。

3.2 Bi-LSTM-CRF模型

CRF模型利用遠(yuǎn)距離和全局特征優(yōu)化，在序列標(biāo)注問(wèn)題中得到廣泛應(yīng)用，但需要復(fù)雜的特征工程。LSTM避免了復(fù)雜的特征工程。當(dāng)前Bi-LSTM-CRF結(jié)合了Bi-LSTM模型與CRF模型的優(yōu)點(diǎn)，在序列標(biāo)注問(wèn)題如命名實(shí)體識(shí)別、詞性標(biāo)注、句法解析等取得了較好效果。本文將采用Bi-LSTM-CRF作聯(lián)合誘因抽取與情緒識(shí)別。圖3給出該模型對(duì)于微博例②的框架。

圖2 微博例②的CRF網(wǎng)絡(luò)結(jié)構(gòu)

圖3 微博例②Bi-LSTM-CRF模型結(jié)構(gòu)

在聯(lián)合誘因識(shí)別與情緒分類任務(wù)中，其輸入微博由單詞和表情符序列組成，記作X=(x1,x2,…,xn)；輸出為Y=(y1,y2,…,yn),即輸入單詞和表情符所對(duì)應(yīng)的標(biāo)簽。

基于Bi-LSTM-CRF的聯(lián)合模型分為三層，分別為輸入層、Bi-LSTM層、CRF層。

輸入層 輸入層之前會(huì)將微博通過(guò)Word2Vec預(yù)先訓(xùn)練好的詞向量集合進(jìn)行轉(zhuǎn)換，將每個(gè)詞語(yǔ)和表情符變成一個(gè)低維的空間向量xt，它們的集合即模型的輸入X=(x1,x2,…,xn)；

Bi-LSTM層 為雙向長(zhǎng)短時(shí)記憶模型。這是一種特殊循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型，主要目的用來(lái)處理序列數(shù)據(jù)，其在自然語(yǔ)言處理中取得了廣泛應(yīng)用。LSTM能夠提升神經(jīng)網(wǎng)絡(luò)接受輸入信息及訓(xùn)練數(shù)據(jù)的記憶機(jī)制，讓輸出結(jié)果得到大幅度的提升。對(duì)于短文本中的第t個(gè)單詞wt，首先將wt映射到一個(gè)詞向量xt∈Rd，一個(gè)LSTM單元的輸入為：?jiǎn)卧~xt,上一輸出隱狀態(tài)ht-1,上一內(nèi)存狀態(tài)ct-1,輸出為ht、ct。具體公式如下：

it=σ(Wixt+Uiht-1+bi)

ft=σ(Wfxt+Ufht-1+bf)

ct=ft⊙ct-1+it⊙ct

ot=σ(Woxt+Uoht-1+bo)

ht=ot⊙tanh(ct)

對(duì)于普通的LSTM，其存在一個(gè)缺點(diǎn)，即只能正向讀取文本，因此本文使用能夠雙向讀取文本的Bi-LSTM模型。Bi-LSTM包含一個(gè)正向的LSTMforward，由x1讀取到xT,以及一個(gè)反向的LSTMbackward，由xT讀取到x1：

xt=Wewt；t∈[1,T]

CRF層 該層將上一層得到的輸出H作為輸入，得到觀測(cè)序列X和與其標(biāo)注序列T的預(yù)測(cè)輸出。假設(shè)CRF層的狀態(tài)轉(zhuǎn)移矩陣為A，其中Ai, j表示從第i個(gè)狀態(tài)轉(zhuǎn)移到第j個(gè)狀態(tài)的概率，Bi-LSTM神經(jīng)網(wǎng)絡(luò)的輸出為H,其中Hi, j表示觀測(cè)序列中的第i個(gè)詞標(biāo)記為第j個(gè)標(biāo)簽的概率。因此對(duì)于觀測(cè)序列X=(x1,x2,…,xn)和對(duì)應(yīng)的標(biāo)注序列Y=(y1,y2,…,yn)的預(yù)測(cè)輸出為：

3.3 訓(xùn)練過(guò)程

模型訓(xùn)練采用最大條件似然估計(jì)，對(duì)于輸入x預(yù)測(cè)其標(biāo)簽y的概率表示為：

給定一個(gè)訓(xùn)練集{xi,yi},其優(yōu)化目標(biāo)就是最大化其對(duì)數(shù)似然估計(jì)函數(shù)：

模型使用隨機(jī)梯度下降方法來(lái)進(jìn)行前向傳播和后向傳播的訓(xùn)練過(guò)程，具體算法如下：

輸入：數(shù)據(jù)集{xi,yi},單詞向量集V,參數(shù)θ, 迭代次數(shù)k；

輸出：參數(shù)θ。

1)

for 1 tok

2)

for每一個(gè)訓(xùn)練微博子集

3)

①Bi-LSTM模型的前向傳播:

4)

正向LSTM過(guò)程傳播

5)

反向LSTM過(guò)程傳播

6)

輸出隱層變量H

7)

②CRF層將H作為輸入進(jìn)行前向傳播和后向傳播

8)

③Bi-LSTM模型的后向傳播：

9)

正向LSTM過(guò)程傳播

10)

反向LSTM過(guò)程傳播

11)

④更新模型參數(shù)θ

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)參數(shù)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)為本文前面所提人工標(biāo)注數(shù)據(jù)集，共6 771個(gè)實(shí)例。實(shí)驗(yàn)評(píng)估方式以常用的序列標(biāo)注評(píng)價(jià)指標(biāo)準(zhǔn)確率、召回率、F值作為評(píng)價(jià)標(biāo)準(zhǔn)。需要說(shuō)明的是，本文假設(shè)情感誘因以子句為基礎(chǔ)單位，所以在計(jì)算情感誘因的指標(biāo)時(shí)，將模型計(jì)算得到的序列按子句進(jìn)行拆分，覆蓋超過(guò)2/3子句長(zhǎng)度的部分會(huì)補(bǔ)全成整個(gè)子句，補(bǔ)全完成后再進(jìn)行上述指標(biāo)的計(jì)算。實(shí)驗(yàn)過(guò)程中，對(duì)數(shù)據(jù)集中的數(shù)據(jù)采用十折交叉檢驗(yàn)的方法，求得各個(gè)指標(biāo)的值。

模型的輸入采用Word2Vec來(lái)表示文本的詞向量，訓(xùn)練過(guò)程中采用反向傳播方法進(jìn)行參數(shù)調(diào)整，損失函數(shù)采用交叉熵?fù)p失函數(shù)。通過(guò)進(jìn)行大量實(shí)驗(yàn)及參數(shù)調(diào)整后，獲得的超參數(shù)設(shè)置如下：詞向量維數(shù)d為200，隱藏層單元數(shù)hidden為300，學(xué)習(xí)率lr為0.01，dropout的百分比為50%，迭代次數(shù)為80。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中采用以下模型與本文模型作比較：

1)串行Bi-LSTM-CRF模型。將情緒誘因抽取和表情情緒識(shí)別看作兩個(gè)單獨(dú)的序列標(biāo)注問(wèn)題，使用Bi-LSTM-CRF模型先進(jìn)行表情符情緒識(shí)別，再作誘因抽取。

2)串行標(biāo)注-分類模型。將情緒誘因抽取看作序列標(biāo)注問(wèn)題，表情情緒識(shí)別看作分類問(wèn)題，先使用CNN分類模型進(jìn)行表情符情緒識(shí)別，再使用Bi-LSTM-CRF模型進(jìn)行誘因抽取。

3)聯(lián)合CRF模型。將情緒誘因抽取和表情情緒識(shí)別看作統(tǒng)一的序列標(biāo)注問(wèn)題，使用CRF模型進(jìn)行訓(xùn)練和標(biāo)注。其特征包括上下文、詞性、句法、語(yǔ)義、情感詞等特征。

已有研究顯示[22]Bi-LSTM-CRF模型在序列標(biāo)注任務(wù)中達(dá)到了最好性能，因此本文未與其他如HMM、支持向量機(jī)(Support Vector Machine, SVM)等模型作比較。

表3給出了實(shí)驗(yàn)結(jié)果。從表中可以看出，本文所提聯(lián)合Bi-LSTM-CRF模型達(dá)到了最好性能。比較串行Bi-LSTM-CRF模型，本文模型在情緒識(shí)別F值提升17.12個(gè)百分點(diǎn)，在誘因抽取F值提升5.82個(gè)百分點(diǎn)。情緒識(shí)別的F值提升明顯，說(shuō)明了情緒誘因?qū)τ诒砬榉那榫w類別有著相當(dāng)大的影響，同時(shí)誘因抽取F值的提升說(shuō)明了表情符的情緒表達(dá)有助于情緒誘因的抽取，減緩了串行模型所導(dǎo)致的錯(cuò)誤傳播問(wèn)題。比較聯(lián)合CRF模型，情緒識(shí)別F值提升8.32個(gè)百分點(diǎn)，在誘因抽取F值提升11.82個(gè)百分點(diǎn)，主要是Bi-LSTM較有效利用遠(yuǎn)距離信息，同時(shí)也避免了復(fù)雜的特征工程。此外，對(duì)比兩個(gè)串行模型，CNN模型相較于Bi-LSTM-CRF模型在情緒識(shí)別任務(wù)上F值高出了12.13個(gè)百分點(diǎn)，而隨后的誘因抽取都使用的是Bi-LSTM-CRF模型，前者也比后者高出了2.89個(gè)百分點(diǎn),說(shuō)明了情緒表情符的情緒類別對(duì)誘因抽取有著一定的影響。

表3 不同方法的實(shí)驗(yàn)結(jié)果比較

為了進(jìn)一步比較聯(lián)合模型與串行聯(lián)合的不同，在實(shí)驗(yàn)中分別給兩種模型中不同情緒類別的F值。表4給出了實(shí)驗(yàn)結(jié)果。聯(lián)合模型比串行模型性能更好。特別是如高興、悲傷的情緒識(shí)別與誘因抽取的F值明顯高于串行模型?？赡苁歉吲d、悲傷的語(yǔ)料最多，使得模型訓(xùn)練效果更好。

表4 在不同模型中各個(gè)情緒類別的F值比較

表5 不同表情符在聯(lián)合模型中的F值對(duì)比

4.3 討論分析

實(shí)驗(yàn)結(jié)果顯示聯(lián)合模型比串行模型性能有較大提升，主要是因?yàn)槁?lián)合模型充分利用兩者的信息，減緩了串行模型所產(chǎn)生的錯(cuò)誤傳播問(wèn)題。圖5給出聯(lián)合Bi-LSTM-CRF模型與串行Bi-LSTM-CRF模型的識(shí)別結(jié)果，其中聯(lián)合Bi-LSTM-CRF模型的識(shí)別結(jié)果為正確結(jié)果，而串行Bi-LSTM-CRF模型由于表情符錯(cuò)誤識(shí)別為Sad，從而誘因抽取錯(cuò)誤。這里可以看出，能否正確地識(shí)別出表情符的情緒類別對(duì)誘因抽取的結(jié)果有著相當(dāng)大的影響。

圖4 模型輸出實(shí)例結(jié)果比較

5 結(jié)語(yǔ)

情緒誘因是情緒分析中相當(dāng)重要的一項(xiàng)內(nèi)容，能夠進(jìn)一步理解文本中的情緒特征，而微博文本中的表情符可以表達(dá)出這一部分文本的情緒。本文針對(duì)微博的文本特征，提出一個(gè)聯(lián)合的情緒誘因和表情符情緒識(shí)別模型，該模型把情緒誘因和表情符情緒識(shí)別統(tǒng)一成一個(gè)序列標(biāo)注任務(wù)，采用Bi-LSTM-CRF模型，不僅避免了復(fù)雜的特征工程，而且充分利用遠(yuǎn)距離信息和全局信息，與串行模型相比在誘因抽取任務(wù)上F值提高了5.82個(gè)百分點(diǎn)，在表情符情緒識(shí)別的任務(wù)上F值提高了17.12個(gè)百分點(diǎn)的性能。結(jié)果顯示聯(lián)合模型充分解決串行服務(wù)的錯(cuò)誤傳播問(wèn)題，有效地提高了系統(tǒng)的性能，對(duì)下一步進(jìn)行更深層的文本情緒分析提供了幫助。不過(guò)模型仍有不足，現(xiàn)在本文對(duì)于情緒誘因只能夠進(jìn)行粗粒度的抽取，下一步，將從語(yǔ)義事件的角度深度分析誘因的構(gòu)成與情緒類別的關(guān)系。

[15] 袁麗.基于文本的情緒自動(dòng)歸因方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2014：49-60.(YUAN L. The Study on Text-based Emotion Cause Detection[D]. Harbin: Harbin Institute of Technology, 2014: 49-60.)

[16] GHAZI D, INKPEN D, SZPAKOWICZ S. Detecting emotion stimuli in emotion-bearing sentences [C]// Proceedings of the 2015 International Conference on Intelligent Text Processing and Computational Linguistics, LNCS 9042. Berlin: Springer, 2015:152-165.

[17] GUI L, HU J, HE Y, et al. A question answering approach for emotion cause extraction [C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen: EMNLP, 2017: 1593-1602.

[18] 慕永利,李旸,王素格.基于E-CNN的情緒原因識(shí)別方法[J].中文信息學(xué)報(bào),2018,32(2):120-128.(MU Y L, LI Y, WANG S G. Emotion cause detection based on ensemble convolution neural networks [J]. Journal of Chinese Information Processing, 2018, 32(2): 120-128.)

[19] RABINER L R. A tutorial on hidden Markov models and selected applications in speech recognition [J]. Readings in Speech Recognition, 1990, 77(2): 267-296.

[20] 張子睿,劉云清.基于BI-LSTM-CRF模型的中文分詞法[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,40(4):87-92.(ZHANG Z R, LIU Y Q. Chinese word segmentation based on bi-directional LSTM-CRF model [J]. Journal of Changchun University of Science and Technology, 2017, 40(4): 87-92.)

[21] GUI L, WU D, XU R, et al. Event-driven emotion cause extraction with corpus construction [C]// Proceedings of the 2016 Conference on Empirical Methods on Natural Language Processing. Austin: EMNLP, 2016: 1639-1649.

[22] HUANG Z, XU W, YU K. Bidirectional LSTM-CRF models for sequence tagging [EB/OL].[2017- 12- 27]. https://arxiv.org/pdf/1508.01991.pdf.