• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    子句級別的自注意力機制的情感原因抽取模型

    2021-02-02 06:49:38覃俊孟凱劉晶廖立婷毛養(yǎng)勤
    關(guān)鍵詞:子句文檔注意力

    覃俊,孟凱,劉晶,廖立婷,毛養(yǎng)勤

    (中南民族大學 計算機科學學院&湖北省制造企業(yè)智能管理工程技術(shù)研究中心,武漢 430074)

    文本情感分析一直是自然語言處理和文本挖掘領(lǐng)域研究的熱點問題之一,因其廣泛的應(yīng)用前景而受到學術(shù)界和工業(yè)界的重視.文本情感分析領(lǐng)域中,情感分類[1]任務(wù)的目的在于確認文本所表達的情感,情感要素抽取[2]的目的在于分析文本所表達的情緒,而基于方面的情感分析[3]則旨在分析針對事物的某個方面所表達的情感.近年來,情感原因抽取也成為情感分析領(lǐng)域的一項重要子任務(wù),其旨在識別在給定文本中某種情緒表達背后的潛在原因.有效識別情感產(chǎn)生的原因,能更好地幫助服務(wù)提供者改善并提高服務(wù)質(zhì)量,提升用戶體驗.在公共安全領(lǐng)域,如輿情監(jiān)控和政府決策層面,對情感原因的探究有助于更好地理解公眾意見的形成的原因.因此,關(guān)于情感原因提取的研究近年來受到越來越多的關(guān)注.

    早期的研究主要采用構(gòu)建規(guī)則的方法從文本中抽取情感對應(yīng)的原因[4-5],這些方法將情感原因抽取看作詞級別的序列標注任務(wù),其性能依賴于標注數(shù)據(jù)集的大小,而且移植性較差.一些研究[6-7]表明,考慮文檔中子句級別的信息可以提高情感分析任務(wù)尤其是情感原因抽取任務(wù)的性能.近幾年,在該任務(wù)上的研究取得了一定的成果[8-12].

    圖1展示了子句級的情感原因抽取的基準數(shù)據(jù)集[13]中的一個例子.被標注了“激動”的情感標簽的文檔中包含了8個子句,其中子句C3描述了該情感,被標注為“激動”情感子句.子句C2是情感子句C3產(chǎn)生的原因,被標注為C3的原因子句.因此,子句級的情感原因抽取任務(wù)可以看作一個子句分類問題.根據(jù)給定的情感標注,判斷文檔中的每個子句是否包含該情感的原因,從而確定該情感的原因子句.該數(shù)據(jù)集已經(jīng)成為了情感原因抽取任務(wù)的一個基準數(shù)據(jù)集.基于該數(shù)據(jù)集,在深度學習和傳統(tǒng)機器學習[13-14]上都有了許多的研究工作.

    圖1 例子:情感原因抽取Fig.1 Example:Emotion cause extraction

    隨著深度學習的發(fā)展,長短期記憶網(wǎng)絡(luò)和注意力機制被廣泛的應(yīng)用于情感原因抽取任務(wù).文獻[8]提出了帶有上下文感知的聯(lián)合注意力神經(jīng)網(wǎng)絡(luò)進行情感原因抽?。墨I[10]考慮了整個文檔對情感原因子句的作用,利用多注意力機制從多個視角抽取文檔特征從而加大對原因子句的關(guān)注.文獻[15]基于雙向長短期記憶網(wǎng)絡(luò),設(shè)計了一種聯(lián)合注意力機制來捕捉每個候選原因子句和情感子句之間的相互作用.上述方法主要關(guān)注了情感原因子句中文檔的上下文信息,忽略了情感描述子句和情感原因子句之間的語義關(guān)系.另一方面,由于數(shù)據(jù)集中標簽不平衡,普通的子句遠多于原因子句,使得尋找情感描述子句與情感原因子句的之間的語義關(guān)系十分困難.

    因此,本文綜合考慮了情感原因子句和情感描述子句之間的語義關(guān)系、情感原因子句和情感描述子句的位置關(guān)系,以及情感原因子句的上下文信息.提出了一個基于子句的自注意力多特征融合神經(jīng)網(wǎng)絡(luò)模型(SANN),本文主要貢獻如下:

    (1)融合了情感原因子句的上下文信息、情感原因子句和情感描述子句之間的語義關(guān)系以及情感原因子句和情感描述子句的位置關(guān)系特征.

    (2)利用自注意力機制,融合位置關(guān)系特征,計算情感描述子句和情感原因子句之間的語義信息.

    (3)基于文獻[13]提出的當前最大子句級的中文情感原因抽取任務(wù)的數(shù)據(jù)集評估了我們的方法,實驗結(jié)果表明,該模型在查全率R上優(yōu)于目前的其他方法.

    1 相關(guān)工作

    早期研究將情感原因抽取任務(wù)定義為詞級別的序列標簽問題,提出了基于規(guī)則或機器學習的方法[7,16-17].例如SOPHIA[4]等基于語言學規(guī)則,最早針對新聞文本中的情緒表達抽取其對應(yīng)的原因,同時提出了評測規(guī)范.文獻[18]基于人工規(guī)則特征,使用支持向量機(Support Vector Machine,SVM)等傳統(tǒng)機器學習方法去抽取情感原因.文獻[5]將認知學中的模型引入情感原因發(fā)現(xiàn),設(shè)計了新的抽取規(guī)則.一些研究方法[17]從其他領(lǐng)域?qū)胂闰炛R和理論來推斷并提取情感的原因.這些方法均基于有注釋的數(shù)據(jù)集構(gòu)建語言規(guī)則.在小數(shù)據(jù)集上能取得較好的效果,但隨著數(shù)據(jù)集的增大,規(guī)則集的構(gòu)建周期也會變長,而且移植性較差.

    文獻[8]指出,圍繞情感關(guān)鍵詞的上下文描述了情緒引起的線索.因此,由情感詞以及與它相關(guān)的上下文組成的情感子句應(yīng)作為一個整體進行查詢.文獻[6]證明了子句級別的特征可以提高情感分析任務(wù)的性能.因此,情感抽取的研究開始考慮文檔中子句級別的信息,構(gòu)建基于句級別語義的情感原因抽取模型.已有的研究工作[7,11,13,19]表明,從子句級別去考慮表達的情感和原因之間的關(guān)系,能夠明顯提高情感原因的抽取效率,基于Transformer[20]的模型[9]取得了較好的效果.

    文檔中不同內(nèi)容的子句對特定情感有著不同的作用,文獻[15]基于雙向長短期記憶網(wǎng)絡(luò),考慮了情感原因子句和情感描述子句相互作用,設(shè)計了一種聯(lián)合注意力機制來捕捉每個候選原因子句和情感子句之間的相互作用.文獻[8]提出了一個帶有上下文感知的聯(lián)合注意力神經(jīng)網(wǎng)絡(luò).利用聯(lián)合注意力機制尋找情感描述子句和情感原因子句之間的關(guān)系,最后使用卷積神經(jīng)網(wǎng)絡(luò)對添加了聯(lián)合注意力的子句進行分類.文獻[10]考慮了整個文檔對情感原因子句的作用,使用注意力機制對文檔建模,從多個視角抽取文檔特征從而加大對原因子句的關(guān)注.文獻[21]基于中文微博多用戶的特點,構(gòu)建了一個多用戶的中文情感原因數(shù)據(jù)集,發(fā)現(xiàn)了不同博客之間的情感原因關(guān)聯(lián),并使用SVM和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)等方法去探測多用戶的情感原因關(guān)聯(lián).文獻[13]基于新浪城市新聞構(gòu)建了中文情感原因數(shù)據(jù)集.該數(shù)據(jù)集針對的是基于子句級的情感原因抽取任務(wù),目標是對給定的情感描述的注釋,確認該情感的原因子句.這個數(shù)據(jù)集已經(jīng)成為了情感原因抽取任務(wù)的一個基準數(shù)據(jù)集.

    之前的研究工作主要忽略了情感原因子句和情感描述子句的語義關(guān)聯(lián).因此,本文綜合考慮了情感描述子句和情感原因子句之間的語義關(guān)系以及原因子句自身的特點,利用自注意力機制的特性,同時結(jié)合情感描述子句和情感原因子句的相對位置特征,學習情感描述子句和情感原因子句之間的語義關(guān)系,然后利用卷積神經(jīng)網(wǎng)絡(luò)捕捉情感原因子句的局部上下文特征,從而學習情感原因子句的特征.在基準數(shù)據(jù)集上的實驗表明,綜合考慮了情感原因子句和情感描述子句的語義關(guān)系和位置關(guān)系,以及原因子句的上下文后,能獲得較好的原因子句抽取效果.

    2 基于子句的情感原因抽取方法

    情感原因抽取可以轉(zhuǎn)化為子句級別的分類問題[13].在子句級別的情感原因抽取任務(wù)中,對給出的每個文檔D,根據(jù)標注的情感子句,從所有候選子句中找出引發(fā)該情感的原因子句,即判斷子句是否是該情感產(chǎn)生的原因.本文充分考慮了子句間的語義和位置關(guān)系,首先,利用雙向長短期記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory,Bi-LSTM)編碼子句信息,并通過位置嵌入網(wǎng)絡(luò),將子句的位置信息融入到該子句的語義信息中.接著,利用卷積神經(jīng)網(wǎng)絡(luò)和自注意力機制,獲得文檔中每個子句的上下文信息以及該子句與情感描述子句之間的語義信息,最后結(jié)合以上子句特征對子句分類.整體網(wǎng)絡(luò)模型如圖2所示.

    圖2 基于子句的自注意力神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Clause-based self-attention neural network model structure

    模型主要由5個部分組成:子句編碼器網(wǎng)絡(luò)、位置特征編碼器網(wǎng)絡(luò)、自注意力計算網(wǎng)絡(luò),上下文特征提取網(wǎng)絡(luò)和原因子句分類網(wǎng)絡(luò).其中,句子編碼器由Bi-LSTM組成(3.2節(jié)),用于編碼子句從而獲得子句的特征表示.位置特征編碼器(3.3節(jié))由位置嵌入和線性變換網(wǎng)絡(luò)組成,用于位置特征的學習和提?。宰⒁饬τ嬎憔W(wǎng)絡(luò)(3.4節(jié))由多個線性網(wǎng)絡(luò)層組成,用于計算情感原因子句和情感描述子句之間的自注意力計算.上下文特征提取網(wǎng)絡(luò)(3.5節(jié))由多個卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)組成,用于抽取子句的上下文局部特征.原因子句分類網(wǎng)絡(luò)(3.6節(jié)),將由各個網(wǎng)絡(luò)學到的特征融合后,最后使用softmax網(wǎng)絡(luò)層進行分類,獲得最后的句子標簽.

    表1為論文相關(guān)符號說明.

    表1 相關(guān)符號說明Tab.1 Related symbol description

    2.1 模型輸入特征

    文檔D={C1,C2,…,Cn}由n條子句組成.其中,情感描述子句用Ed表示,引發(fā)情感Ed的原因子句用Ec表示.D中的每個子句Ci由m個詞組成,即Ci={w1,w2,…,wm}.利用word2vec[22]技術(shù)將每個詞映射為向量表示.情感描述子句Ed被轉(zhuǎn)換由詞向量表示的特征矩陣Ed={w1,w2,…,wm}.

    為了便于訓練模型,令文檔中候選原因子句Ec和情感描述子句Ed有相同的L個詞的長度.所有的子句都用一個lxd(l為句子長度,d為詞向量維度)矩陣來表示,同時融入Ec和Ed的相對距離特征Pf.為了更加凸顯情感原因子句特點,本文在訓練過程中利用卷積神經(jīng)網(wǎng)絡(luò)融入了候選原因子句的上下文信息F.

    2.2 基于Bi-LSTM句子編碼器

    相對于一般的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network ,RNN),LSTM[23]不僅可以解決RNN的梯度消失和梯度爆炸問題,還可以依賴門控機制捕獲更長依賴的語義信息.與LSTM相比,Bi-LSTM不僅能捕獲正向的序列信息,還能捕獲反向的序列信息.因此,為了更好的獲得情感原因子句和情感描述子句的上下文語義信息,本文使用Bi-LSTM對句子編碼,如圖3所示.

    圖3 基于雙向神經(jīng)網(wǎng)絡(luò)的句子編碼器Fig.3 Sentence encoder based on Bi-LSTM

    實驗所使用的Bi-LSTM包含了兩層ht的輸出,即一個為正向LSTM的輸出,另一個為反向LSTM的輸出,將文檔D={C1,C2,…,Cn}中的子句的詞向量矩陣放進Bi-LSTM中,可以獲得兩個正反兩個方向的輸出,拼接兩個輸出獲得最終的輸出,如公式(1)所示.

    (1)

    2.3 位置編碼網(wǎng)絡(luò)

    通過對數(shù)據(jù)集的統(tǒng)計,發(fā)現(xiàn)Ed和Ec的距離大多數(shù)情況下都是接近的,如表2所示,情感描述子句和情感原因子句的相對距離(Relative Position,RP)小于2的占比85%以上,相對距離大于2的子句對少于5%,表明了情感描述子句和情感原因子句存在位置上的關(guān)系.

    表2 相對距離統(tǒng)計Tab.2 Relative distance statistics

    因此,本文引入位置編碼網(wǎng)絡(luò)去學習Ed和Ec的位置特征,如圖4所示.

    本文用位置嵌入來描述子句之間的相對位置信息P.首先初始化一個符合正態(tài)分布的隨機位置矩陣PE(Position Embedding),獲得位置向量Pe,然后通過線性變換和ReLU激活函數(shù)來抽取位置特征,獲得最后的位置特征Pf,在網(wǎng)絡(luò)訓練過程中調(diào)節(jié)位置矩陣PE,公式(2)-(5)給出了變換過程的定義.

    (2)

    (3)

    (4)

    (5)

    圖4 位置編碼網(wǎng)絡(luò)Fig.4 Position encoder neural network

    2.4 自注意力的計算網(wǎng)絡(luò)

    利用自注意力機制[19]可以計算詞與詞之間的相關(guān)程度的特性,本文使用自注意力計算子句Ed和Ec之間的關(guān)聯(lián)性,如圖5所示.

    圖5 自注意力計算網(wǎng)絡(luò)Fig.5 Self attention neural network

    計算自注意力需要q、k和v三個輸入,Ec的輸入用qc,kc,vc表示,Ed的輸入用qd,kd,vd表示,hc和hd分別是使用Bi-LSTM編碼得到的Ec和Ed的子句特征.Ec和Ed的自注意力計算如公式(6)-(13)所示.

    (6)

    (7)

    (8)

    (9)

    (10)

    (11)

    (12)

    (13)

    其中wQ,wk,wV分別為查詢矩陣,鍵矩陣和值矩陣,輸入向量通過與這三個矩陣相乘獲得對應(yīng)查詢向量q、鍵向量k和值向量v,公式(7)-(9)給出了計算過程.然后,本文在自注意力計算過程中利用q、k計算出對應(yīng)的注意力分數(shù),如公式(14)-(17)所示.βd和βc分別是Ed和Ec得到的注意力分布,最后通過與值向量v相乘獲得,獲得Ed和Ec的自注意力信息zd和zc.

    (14)

    (15)

    (16)

    (17)

    2.5 基于CNN的上下文特征提取

    文獻[24]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到文本分類任務(wù),利用多個不同大小的卷積核提取句子中的關(guān)鍵信息,從而捕捉到句子的局部特征.為了更好的找到情感原因子句的局部特征,本文也利用卷積神經(jīng)網(wǎng)絡(luò)抽取每個子句的上下文特征F.如圖6所示,利用三個不同的卷積核的卷積神經(jīng)網(wǎng)絡(luò)從不同維度提取特征.通常一個子句的語義與前后子句是相關(guān)聯(lián)的,因此本文將每個子句的前一條子句和后一條子句作為子句的上下文.

    1)卷積層.

    (18)

    圖6 基于卷積神經(jīng)網(wǎng)絡(luò)的上下文編碼網(wǎng)絡(luò)Fig.6 Context encoder based on CNN

    2)池化層.

    獲得卷積提取特征后,再通過最大值池化操作進一步對文本特征進行采樣提取,從而獲得每個子句的上下文特征,式子(19)表示了池化過程.將三個不同卷積核的卷積神經(jīng)網(wǎng)絡(luò)抽取的特征進行拼接,最后獲得的子句的上下文特征表示F,如公式(20)所示.

    (19)

    (20)

    2.6 原因子句抽取

    首先將自注意力信息zd和zc融入到Ed和Ec的子句特征中,然后結(jié)合上下文特征獲得最后的特征表示fcd,最后,我們使用句子分類器對子句進行分類,如公式(21)-(24)所示.

    (21)

    (22)

    (23)

    (24)

    3 實驗分析

    3.1 數(shù)據(jù)集與參數(shù)設(shè)置

    本文選取了基于新浪城市新聞的中文情感原因數(shù)據(jù)集[13],該數(shù)據(jù)集目前是情感原因抽取領(lǐng)域最大的中文數(shù)據(jù)集.數(shù)據(jù)集中包含了2105條新聞文檔,總共包含11799條子句.其中,原因子句有2167條,平均每個文檔至少包含一條原因子句,具體信息如表3所示.每個文檔包含多個子句,其中可能存在多個情感描述子句和情感原因子句,模型的目標是找出文檔中的原因子句.

    表3 數(shù)據(jù)集信息統(tǒng)計Tab.3 Dataset information statistics

    為了更好地評價模型的性能,本文采用查準率(P)、查全率(R)和F分數(shù)作為模型的性能指標.同時,參考了文獻[20]的實驗設(shè)置,將數(shù)據(jù)隨機分為10份,其中,9份作為訓練集,1份作為測試集,最后的實驗結(jié)果由十折交叉驗證實驗結(jié)果求均值得到.實驗使用了gensim模塊訓練詞向量,詞向量維度設(shè)置為200,位置嵌入矩陣維度為200,Bi-LSTM的隱藏層設(shè)為400,層數(shù)為1,卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小分別為3、4、5.本文利用Adam優(yōu)化器,在G200eR2上訓練模型,每次學習64條數(shù)據(jù),學習率設(shè)置為0.0001.

    3.2 對比模型

    本文選取了近年的情感原因抽取模型進行對比,對比模型的具體信息如下:

    ● RB 是一種基于語言規(guī)則的情感原因分析模型[4].

    ● CB 是一個基于知識的方法[17].

    ● RB+CB 是一個聯(lián)合RB和CB的方法.

    ● RB+CB+SVM 是一個結(jié)合了規(guī)則和知識的基于SVM的方法[14].

    ● Multi-kernel 是一個基于多核的情感原因抽取方法[13].

    ● CNN 是一個基于卷積神經(jīng)網(wǎng)絡(luò)的方法[24].

    ● Memnet 是一個將情感原因抽取任務(wù)看做一個問答問題中閱讀理解任務(wù)神經(jīng)網(wǎng)絡(luò)模型[20].

    ● CANN 是一個有上下文感知的聯(lián)合注意力神經(jīng)網(wǎng)絡(luò)模型[8].

    ● HCS 是一個基于CNN和RNN的層次神經(jīng)網(wǎng)絡(luò)模型[11].

    ● RTHN是一個基于RNN和transformer的層次網(wǎng)絡(luò)模型[9].

    ● MANN是一個帶有上下文感知的多注意力神經(jīng)網(wǎng)絡(luò)模型[15].

    ● COMV 是一個帶有上下文感知的多視圖神經(jīng)網(wǎng)絡(luò)模型[10].

    3.3 實驗結(jié)果分析

    如表4所示,基于深度學習技術(shù)的方法整體上要優(yōu)于傳統(tǒng)方法,體現(xiàn)出深度學習方法強大特征抽取能力.在傳統(tǒng)方法中,Multi-kernel模型由于其多核的設(shè)置,明顯優(yōu)于其他方法,能夠抽取更多的文本特征.RTHN模型考慮了文檔中全局子句之間的關(guān)系,與除了COMV以外的模型相比,R和F均有較好的提升.模型COMV由于考慮了文檔中子句的上下文信息,使得整體指標明顯優(yōu)于其他模型,提升了1%左右,說明了每個子句的特征與其上下文有著緊密的聯(lián)系.MANN模型使用互注意力機制,考慮了情感描述子句和情感原因子句的關(guān)系,而在查全率R上優(yōu)于其他模型,提升了2%左右.

    表4 模型結(jié)果對比Tab.4 Comparison of model results

    從表4中可以看出,本文提出的子句級自注意力神經(jīng)網(wǎng)絡(luò)模型(SANN),在查全率R上有明顯提升,達到了0.8383,而查準率P有小幅度下降,F(xiàn)分數(shù)與其他模型相比,略有提升.經(jīng)分析,本文所提出的模型一方面利用子注意力機制,結(jié)合位置特征學習了情感描述子句和情感原因子句之間的語義關(guān)系,能更好的抽取情感原因子句的特征;另一方面,還考慮了情感原因子句的上下文特征,從而更加凸顯情感原因子句的語義特性,使得模型可以更好的辨別情感原因子句和其他子句的差異,使模型有更好的查全率R.

    3.4 多頭注意力參數(shù)分析

    在Transformer原始結(jié)構(gòu)中,自注意力計算可以進行多頭的并行計算,從而獲得詞在不同子空間的語義,從而獲得更好的注意力表示.因此,本文對子句級的自注意力的有效性也進行了驗證.

    從表5可以看出,在有子句級別的自注意力時,模型的查全率R和F分數(shù)明顯高于沒有自注意力的情況.另一方面,模型各個性能指標并沒有隨著head的數(shù)量的增加而有明顯的變化,只有微弱的浮動,說明在本文的模型中,多頭注意力只學習了有限的情感原因子句和情感描述子句之間的語義關(guān)系.

    表5 多頭注意力的結(jié)果Tab.5 Results of multi-head attention

    3.5 位置特征

    為了驗證位置特征抽取網(wǎng)絡(luò)的有效性,本文進行了在沒有位置特征情況下的試驗,實驗結(jié)果如表6所示.從表6可以看出,在沒有位置特征的情況下,模型的各個性能指標均發(fā)生了明顯的下降,達到25%左右.實驗結(jié)果表明,位置特征對自注意力網(wǎng)絡(luò)學習情感原因子句和情感描述子句之間的語義特征十分重要;本文提出的位置特征抽取網(wǎng)絡(luò)能夠有效學習到子句的位置特征.

    表6 位置特征比結(jié)果Tab.6 Comparison of location features

    3.6 超參數(shù)分析

    為了找到模型的最優(yōu)超參數(shù)設(shè)置,本文進一步分析了不同超參數(shù)對模型收斂速度和各個性能指標的影響.

    如圖7展示的是模型收斂的速度與批數(shù)據(jù)大小的關(guān)系,從圖中可以看出,模型在訓練70輪左右時,模型基本收斂,批處理數(shù)據(jù)越小,模型收斂的速度越快.在批處理大小為16時,模型收斂得最快,同時,隨著批處理數(shù)據(jù)越大,模型收斂的速度越快.但是,在尋找最優(yōu)值時,批處理數(shù)據(jù)越小,越容易在最優(yōu)值附近波動,使得模型不容易找到最優(yōu)收斂值,相反,批處理數(shù)據(jù)偏大,模型收斂慢,但是容易找到最優(yōu)值.

    圖7 模型收斂與批大小關(guān)系Fig.7 Relationship between model convergence and batch size

    圖8展示了詞向量的維度與模型各性能指標的實驗結(jié)果.從圖中可以看出,在詞向量維度為200的情況下,模型的整體性能最好,最高的查全率R為0.8383.雖然不同維度的詞向量對模型的性能有一定的影響,但各性能指標差異在1%以內(nèi).

    圖8 詞向量維度對模型性能的影響Fig.8 Influence of word vector dimension on model performance

    4 結(jié)語

    為了更好地抽取情感原因子句和情感描述子句之間的語義關(guān)系,本文提出了一個基于子句的自注意力機制的情感原因抽取方法.首先利用雙向長短期記憶網(wǎng)絡(luò)編碼情感原因子句和情感描述子句信息,然后利用自注意力機制,融入位置特征的去抽取情感原因子句和情感描述子句之間的語義關(guān)系,最后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取的子句上下文局部特征,去識別情感原因子句.實驗結(jié)果表明,本文提出的方法能夠有效學習情感原因子句和情感描述子句之間的關(guān)聯(lián)特征,從而有效識別原因子句,使得模型的查全率R明顯優(yōu)于其他神經(jīng)網(wǎng)絡(luò)模型.

    在未來工作中,將嘗試引入預訓練語言模型,在抽取情感原因子句的同時,進行情感的抽取,并進一步探究情感原因子句的其它特征.

    猜你喜歡
    子句文檔注意力
    命題邏輯中一類擴展子句消去方法
    讓注意力“飛”回來
    有人一聲不吭向你扔了個文檔
    命題邏輯可滿足性問題求解器的新型預處理子句消去方法
    西夏語的副詞子句
    西夏學(2018年2期)2018-05-15 11:24:42
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    基于RI碼計算的Word復制文檔鑒別
    A Beautiful Way Of Looking At Things
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    命題邏輯的子句集中文字的分類
    七月丁香在线播放| 国产女主播在线喷水免费视频网站| 蜜桃在线观看..| 国产日韩欧美亚洲二区| 男人狂女人下面高潮的视频| 精品久久久久久久末码| 国产av国产精品国产| 欧美国产精品一级二级三级 | 日韩欧美 国产精品| 一个人看视频在线观看www免费| 午夜免费男女啪啪视频观看| 国产色婷婷99| 老女人水多毛片| 国产欧美日韩一区二区三区在线 | 国产精品99久久久久久久久| 青春草视频在线免费观看| 熟妇人妻不卡中文字幕| 欧美丝袜亚洲另类| 在线 av 中文字幕| 国产精品熟女久久久久浪| 午夜老司机福利剧场| 一二三四中文在线观看免费高清| 国国产精品蜜臀av免费| 大码成人一级视频| 777米奇影视久久| 一级毛片 在线播放| 亚洲怡红院男人天堂| 一区二区av电影网| 免费观看a级毛片全部| 欧美日韩在线观看h| 日韩av在线免费看完整版不卡| 国产高潮美女av| 亚洲欧美日韩东京热| 99re6热这里在线精品视频| 欧美变态另类bdsm刘玥| av专区在线播放| h视频一区二区三区| 成人美女网站在线观看视频| 涩涩av久久男人的天堂| 极品教师在线视频| 超碰97精品在线观看| 欧美丝袜亚洲另类| 日本黄色片子视频| 少妇 在线观看| 欧美精品亚洲一区二区| 下体分泌物呈黄色| 成年人午夜在线观看视频| 我要看黄色一级片免费的| 黄色视频在线播放观看不卡| 看免费成人av毛片| 免费黄网站久久成人精品| 晚上一个人看的免费电影| 99热这里只有是精品在线观看| a级毛片免费高清观看在线播放| 成人黄色视频免费在线看| 国产男女超爽视频在线观看| 久久久久久久久久人人人人人人| 国产男女超爽视频在线观看| 插逼视频在线观看| 亚洲国产高清在线一区二区三| av网站免费在线观看视频| 这个男人来自地球电影免费观看 | 精品国产露脸久久av麻豆| 久久久久久久久久成人| 中国美白少妇内射xxxbb| 欧美人与善性xxx| 日韩在线高清观看一区二区三区| 久久毛片免费看一区二区三区| 精品视频人人做人人爽| 久久婷婷青草| 日韩在线高清观看一区二区三区| 午夜视频国产福利| 男人添女人高潮全过程视频| a级一级毛片免费在线观看| 老师上课跳d突然被开到最大视频| 欧美 日韩 精品 国产| 国产精品99久久99久久久不卡 | 亚洲精品国产av蜜桃| 婷婷色av中文字幕| 亚洲精品456在线播放app| 中文字幕免费在线视频6| 蜜桃久久精品国产亚洲av| 亚洲图色成人| 中文在线观看免费www的网站| 国产亚洲av片在线观看秒播厂| 免费黄频网站在线观看国产| 黄色欧美视频在线观看| 日韩电影二区| 午夜免费男女啪啪视频观看| 亚洲久久久国产精品| 伊人久久精品亚洲午夜| 色综合色国产| 成人免费观看视频高清| 亚洲第一区二区三区不卡| 亚洲欧美精品自产自拍| 99精国产麻豆久久婷婷| 边亲边吃奶的免费视频| 久久99蜜桃精品久久| 免费观看a级毛片全部| 国产精品偷伦视频观看了| 国产亚洲5aaaaa淫片| 久久精品人妻少妇| 观看av在线不卡| 亚州av有码| 亚洲内射少妇av| 91久久精品国产一区二区三区| 国产视频首页在线观看| 嫩草影院新地址| 亚洲四区av| 下体分泌物呈黄色| 成人二区视频| 国产精品人妻久久久久久| 午夜免费男女啪啪视频观看| 女人久久www免费人成看片| 久久热精品热| 国产午夜精品久久久久久一区二区三区| 免费人妻精品一区二区三区视频| 最黄视频免费看| 日日撸夜夜添| 久久久精品94久久精品| 久久99热这里只频精品6学生| 国模一区二区三区四区视频| 欧美日韩国产mv在线观看视频 | 人妻制服诱惑在线中文字幕| 色综合色国产| 一级毛片aaaaaa免费看小| 国产在线男女| 精品视频人人做人人爽| 久久av网站| 夫妻性生交免费视频一级片| 看免费成人av毛片| 伊人久久国产一区二区| 精品亚洲乱码少妇综合久久| 丝瓜视频免费看黄片| 美女中出高潮动态图| 亚洲中文av在线| 国产黄片美女视频| 亚洲激情五月婷婷啪啪| 久久精品国产自在天天线| 成人国产av品久久久| 久久综合国产亚洲精品| 99久久人妻综合| 黄色视频在线播放观看不卡| 亚洲aⅴ乱码一区二区在线播放| 国产免费一区二区三区四区乱码| 国产黄色视频一区二区在线观看| 亚洲精品中文字幕在线视频 | 六月丁香七月| 最近2019中文字幕mv第一页| 欧美xxxx性猛交bbbb| 久久久久性生活片| 欧美成人精品欧美一级黄| 久久久久久久亚洲中文字幕| 另类亚洲欧美激情| 亚洲色图av天堂| 国产精品成人在线| 亚洲精品色激情综合| 亚洲综合色惰| 中文精品一卡2卡3卡4更新| 一级毛片久久久久久久久女| 狂野欧美激情性xxxx在线观看| 嫩草影院入口| 国产视频内射| 热re99久久精品国产66热6| 伊人久久国产一区二区| 人人妻人人爽人人添夜夜欢视频 | 亚洲美女搞黄在线观看| 中文字幕久久专区| 九草在线视频观看| 国产av码专区亚洲av| av在线观看视频网站免费| 色婷婷av一区二区三区视频| 97超视频在线观看视频| 深爱激情五月婷婷| 亚洲av免费高清在线观看| 在线亚洲精品国产二区图片欧美 | 久久人人爽人人爽人人片va| 亚洲高清免费不卡视频| 亚洲人与动物交配视频| 亚洲美女搞黄在线观看| 中国美白少妇内射xxxbb| 夜夜看夜夜爽夜夜摸| 亚洲天堂av无毛| 色婷婷av一区二区三区视频| 成人漫画全彩无遮挡| 插阴视频在线观看视频| 男人狂女人下面高潮的视频| 中文字幕久久专区| 亚洲国产日韩一区二区| 1000部很黄的大片| 亚洲av.av天堂| 狂野欧美激情性xxxx在线观看| 女人十人毛片免费观看3o分钟| 国产中年淑女户外野战色| 国产大屁股一区二区在线视频| 欧美日本视频| 精品国产一区二区三区久久久樱花 | 亚洲美女搞黄在线观看| 人妻 亚洲 视频| 看免费成人av毛片| 国产乱人视频| 亚洲美女视频黄频| 精品少妇久久久久久888优播| 在线免费观看不下载黄p国产| 中文在线观看免费www的网站| 久久精品国产亚洲av涩爱| 国产永久视频网站| 少妇被粗大猛烈的视频| 国产精品免费大片| 嫩草影院入口| 免费看av在线观看网站| 欧美一级a爱片免费观看看| 女性生殖器流出的白浆| 成人毛片60女人毛片免费| 国产精品偷伦视频观看了| 日本猛色少妇xxxxx猛交久久| 日本一二三区视频观看| 超碰97精品在线观看| kizo精华| 人妻夜夜爽99麻豆av| 欧美日韩精品成人综合77777| 黑人猛操日本美女一级片| 18禁裸乳无遮挡免费网站照片| 免费看av在线观看网站| 精品视频人人做人人爽| 国产欧美亚洲国产| 纵有疾风起免费观看全集完整版| 观看av在线不卡| 免费大片18禁| 在现免费观看毛片| 久久久久久人妻| 赤兔流量卡办理| 永久网站在线| 午夜日本视频在线| 大码成人一级视频| 午夜福利视频精品| 国产爽快片一区二区三区| 国产av一区二区精品久久 | 少妇人妻一区二区三区视频| 2018国产大陆天天弄谢| 免费观看的影片在线观看| 精品人妻一区二区三区麻豆| 十八禁网站网址无遮挡 | 只有这里有精品99| 国产永久视频网站| 22中文网久久字幕| 五月玫瑰六月丁香| 春色校园在线视频观看| 尤物成人国产欧美一区二区三区| 内射极品少妇av片p| 国产高潮美女av| 啦啦啦在线观看免费高清www| 夜夜骑夜夜射夜夜干| 蜜桃久久精品国产亚洲av| 国产精品.久久久| 国产精品无大码| 国产精品一区二区在线不卡| 久久精品夜色国产| 99久久精品一区二区三区| 大话2 男鬼变身卡| 欧美精品一区二区大全| 视频区图区小说| 久久精品久久精品一区二区三区| 青春草国产在线视频| 日韩一区二区视频免费看| 人妻夜夜爽99麻豆av| 在线观看三级黄色| 日韩欧美精品免费久久| 亚洲av在线观看美女高潮| 一个人看的www免费观看视频| 久久国产乱子免费精品| 黑人猛操日本美女一级片| 2021少妇久久久久久久久久久| 一个人免费看片子| 肉色欧美久久久久久久蜜桃| 日韩大片免费观看网站| 欧美成人a在线观看| 欧美成人午夜免费资源| 欧美+日韩+精品| 亚洲精品久久久久久婷婷小说| 偷拍熟女少妇极品色| 韩国高清视频一区二区三区| 久久亚洲国产成人精品v| av在线观看视频网站免费| 少妇裸体淫交视频免费看高清| 91精品国产九色| 日本黄色日本黄色录像| 亚洲欧洲国产日韩| 国产成人免费无遮挡视频| 中文字幕免费在线视频6| 国产黄片美女视频| 亚洲国产精品专区欧美| 国产免费一区二区三区四区乱码| 又爽又黄a免费视频| 色网站视频免费| 丰满人妻一区二区三区视频av| 丰满少妇做爰视频| 精品亚洲成国产av| 两个人的视频大全免费| 亚洲一级一片aⅴ在线观看| 男人和女人高潮做爰伦理| 欧美97在线视频| 成人毛片a级毛片在线播放| 一级片'在线观看视频| a 毛片基地| 国产午夜精品一二区理论片| 亚洲av中文av极速乱| 国产精品女同一区二区软件| 少妇熟女欧美另类| 亚洲欧美成人精品一区二区| 国产精品国产三级专区第一集| 国产高清国产精品国产三级 | 久久久久久久久久人人人人人人| 亚洲综合色惰| 最后的刺客免费高清国语| 国产色爽女视频免费观看| 三级国产精品欧美在线观看| 777米奇影视久久| 亚洲国产色片| av视频免费观看在线观看| 亚洲精品久久久久久婷婷小说| 深爱激情五月婷婷| 亚洲人成网站在线播| 99精国产麻豆久久婷婷| 国产精品人妻久久久影院| 2021少妇久久久久久久久久久| 成人一区二区视频在线观看| 久久久亚洲精品成人影院| 舔av片在线| 熟妇人妻不卡中文字幕| 精品熟女少妇av免费看| 麻豆国产97在线/欧美| 少妇 在线观看| 精品少妇黑人巨大在线播放| 男女下面进入的视频免费午夜| 欧美xxxx黑人xx丫x性爽| 在线观看一区二区三区激情| 欧美精品一区二区大全| 欧美少妇被猛烈插入视频| 妹子高潮喷水视频| 看十八女毛片水多多多| 精品久久久久久电影网| 成年人午夜在线观看视频| 成人午夜精彩视频在线观看| 国产精品成人在线| 国产av国产精品国产| av在线app专区| 制服丝袜香蕉在线| 噜噜噜噜噜久久久久久91| 性色av一级| 国产男女超爽视频在线观看| 各种免费的搞黄视频| 中文乱码字字幕精品一区二区三区| av专区在线播放| 亚洲欧美日韩无卡精品| 午夜免费鲁丝| 最近最新中文字幕大全电影3| 高清视频免费观看一区二区| 亚洲人成网站高清观看| av在线播放精品| 久久久久久久亚洲中文字幕| 一级二级三级毛片免费看| 亚洲中文av在线| 只有这里有精品99| 久久99热这里只频精品6学生| 99热这里只有是精品在线观看| www.av在线官网国产| 自拍欧美九色日韩亚洲蝌蚪91 | 成年人午夜在线观看视频| 午夜免费男女啪啪视频观看| 精品久久久久久久久亚洲| 最后的刺客免费高清国语| 久久这里有精品视频免费| 亚洲av国产av综合av卡| 国产成人免费无遮挡视频| 精华霜和精华液先用哪个| 一级毛片久久久久久久久女| 亚洲人成网站在线播| 日本-黄色视频高清免费观看| 国产精品免费大片| 亚洲精品第二区| 日韩电影二区| 成人毛片a级毛片在线播放| 男女边吃奶边做爰视频| 国产成人a∨麻豆精品| 精品久久久噜噜| av播播在线观看一区| 国产成人a∨麻豆精品| 精品视频人人做人人爽| 日本色播在线视频| 好男人视频免费观看在线| 久久毛片免费看一区二区三区| 国产真实伦视频高清在线观看| 国产精品久久久久久av不卡| 国产色爽女视频免费观看| 亚洲精品,欧美精品| 91久久精品国产一区二区成人| 亚洲三级黄色毛片| 午夜日本视频在线| 国产免费视频播放在线视频| 国产一区有黄有色的免费视频| 欧美亚洲 丝袜 人妻 在线| 在线观看免费高清a一片| 秋霞伦理黄片| 国产 一区精品| av不卡在线播放| 人妻一区二区av| www.色视频.com| 99热全是精品| 岛国毛片在线播放| xxx大片免费视频| 99热这里只有是精品在线观看| 大陆偷拍与自拍| 丰满乱子伦码专区| 成人二区视频| 寂寞人妻少妇视频99o| 国产精品精品国产色婷婷| 久久精品国产亚洲av天美| 交换朋友夫妻互换小说| 欧美性感艳星| 新久久久久国产一级毛片| 亚洲一区二区三区欧美精品| 在线观看免费高清a一片| 亚洲第一av免费看| 免费人妻精品一区二区三区视频| 美女福利国产在线 | 精品国产露脸久久av麻豆| 2018国产大陆天天弄谢| 欧美日韩亚洲高清精品| 制服丝袜香蕉在线| 色哟哟·www| 欧美 日韩 精品 国产| 在线天堂最新版资源| 在线观看国产h片| 中文字幕人妻熟人妻熟丝袜美| 男女啪啪激烈高潮av片| 97热精品久久久久久| 中文资源天堂在线| 成人国产av品久久久| av又黄又爽大尺度在线免费看| 亚洲精品国产av成人精品| 亚洲人成网站在线观看播放| 免费少妇av软件| 亚洲欧美精品自产自拍| 嫩草影院新地址| 男女无遮挡免费网站观看| 免费观看a级毛片全部| 日韩亚洲欧美综合| 99国产精品免费福利视频| 色哟哟·www| 直男gayav资源| 婷婷色麻豆天堂久久| 毛片一级片免费看久久久久| 成人午夜精彩视频在线观看| 国产成人免费观看mmmm| 精品人妻熟女av久视频| 五月开心婷婷网| 中文精品一卡2卡3卡4更新| 国产亚洲一区二区精品| 免费观看在线日韩| 人人妻人人添人人爽欧美一区卜 | 国产在线视频一区二区| 国产男人的电影天堂91| 嘟嘟电影网在线观看| 肉色欧美久久久久久久蜜桃| 国产精品精品国产色婷婷| 97在线人人人人妻| 男的添女的下面高潮视频| 少妇裸体淫交视频免费看高清| 熟妇人妻不卡中文字幕| 边亲边吃奶的免费视频| 亚洲国产最新在线播放| 蜜桃在线观看..| 国内揄拍国产精品人妻在线| 最近手机中文字幕大全| 国产高清三级在线| av在线观看视频网站免费| 日韩欧美精品免费久久| 人妻一区二区av| 亚洲国产欧美人成| 尤物成人国产欧美一区二区三区| 天堂中文最新版在线下载| 青春草亚洲视频在线观看| 直男gayav资源| 免费观看a级毛片全部| 男人爽女人下面视频在线观看| 日韩成人伦理影院| 精品午夜福利在线看| 中文字幕制服av| 2022亚洲国产成人精品| 日韩免费高清中文字幕av| 国产伦理片在线播放av一区| 亚州av有码| 日日啪夜夜爽| 久久久成人免费电影| 亚洲精品中文字幕在线视频 | 欧美变态另类bdsm刘玥| 久久99热这里只有精品18| 色视频www国产| 午夜福利高清视频| 嫩草影院入口| 久久av网站| 国产精品爽爽va在线观看网站| 国产色爽女视频免费观看| 26uuu在线亚洲综合色| 五月天丁香电影| 精品酒店卫生间| 国产综合精华液| 免费看不卡的av| 亚洲国产精品专区欧美| 久久久久久人妻| 搡女人真爽免费视频火全软件| 国产69精品久久久久777片| 午夜日本视频在线| 能在线免费看毛片的网站| 亚洲久久久国产精品| 国产精品爽爽va在线观看网站| 国产淫语在线视频| 少妇人妻久久综合中文| av线在线观看网站| 又大又黄又爽视频免费| 妹子高潮喷水视频| 亚洲真实伦在线观看| 久久久久网色| 成年美女黄网站色视频大全免费 | 国产欧美亚洲国产| 在线观看美女被高潮喷水网站| 久热这里只有精品99| 99久久精品热视频| 蜜桃亚洲精品一区二区三区| 欧美精品一区二区免费开放| 国产视频内射| 久久99精品国语久久久| 精品一区二区三区视频在线| 天堂中文最新版在线下载| 日韩欧美精品免费久久| 夫妻性生交免费视频一级片| 成人无遮挡网站| av天堂中文字幕网| 欧美成人一区二区免费高清观看| 欧美变态另类bdsm刘玥| 色哟哟·www| 国产淫语在线视频| 18禁裸乳无遮挡动漫免费视频| 精品亚洲乱码少妇综合久久| 久久国产乱子免费精品| 少妇人妻精品综合一区二区| 91午夜精品亚洲一区二区三区| 人妻少妇偷人精品九色| 国产女主播在线喷水免费视频网站| 2021少妇久久久久久久久久久| av.在线天堂| 日韩欧美精品免费久久| 精品国产一区二区三区久久久樱花 | 五月玫瑰六月丁香| 成人美女网站在线观看视频| 高清日韩中文字幕在线| 丝瓜视频免费看黄片| 菩萨蛮人人尽说江南好唐韦庄| 亚洲不卡免费看| 七月丁香在线播放| av在线老鸭窝| 国产亚洲91精品色在线| 国产成人a区在线观看| 日韩中文字幕视频在线看片 | 日韩不卡一区二区三区视频在线| 国产91av在线免费观看| 搡女人真爽免费视频火全软件| 亚洲不卡免费看| 亚洲怡红院男人天堂| 久久精品国产亚洲av天美| 日韩制服骚丝袜av| 亚洲图色成人| 高清日韩中文字幕在线| 超碰97精品在线观看| 3wmmmm亚洲av在线观看| 内地一区二区视频在线| 精品久久久久久电影网| tube8黄色片| 亚洲欧洲日产国产| 另类亚洲欧美激情| 在线观看国产h片| 91狼人影院| av在线播放精品| 国产男女超爽视频在线观看| 亚洲高清免费不卡视频| 天堂中文最新版在线下载| 女性被躁到高潮视频| 亚洲av欧美aⅴ国产| 狂野欧美白嫩少妇大欣赏| 交换朋友夫妻互换小说| 亚洲国产色片| 男的添女的下面高潮视频| 国产黄色视频一区二区在线观看| 汤姆久久久久久久影院中文字幕| 色视频www国产| 3wmmmm亚洲av在线观看| 久久精品国产a三级三级三级| 高清日韩中文字幕在线| 成人美女网站在线观看视频| 亚洲内射少妇av| 中国美白少妇内射xxxbb| 在线观看美女被高潮喷水网站| 亚洲,欧美,日韩| 少妇猛男粗大的猛烈进出视频| 国产有黄有色有爽视频| 亚洲国产色片| 在线观看免费日韩欧美大片 | 国产一区二区三区av在线| 国产爽快片一区二区三区| 最近最新中文字幕免费大全7| 精品一品国产午夜福利视频| 激情 狠狠 欧美| 精品少妇黑人巨大在线播放| 久久午夜福利片|