• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于圖卷積網(wǎng)絡(luò)的多交互注意方面級情感分析

    2023-12-20 02:33:02武偉寧楊長春顧曉清嚴(yán)鑫杰馬甜甜
    關(guān)鍵詞:句法注意力語義

    賈 音,武偉寧,楊長春,顧曉清,嚴(yán)鑫杰,馬甜甜

    (常州大學(xué) 計(jì)算機(jī)與人工智能學(xué)院 阿里云大數(shù)據(jù)學(xué)院 軟件學(xué)院,江蘇 常州 213164)

    0 引 言

    方面級情感分析作為情感分析領(lǐng)域的子任務(wù),旨在根據(jù)上下文識別句子中的方面項(xiàng)以及特定方面的情感極性(如積極、消極或中性)[1]。舉例來說,對于一個(gè)句子“a group of friendly staff,the pizza is not bad,but the beef cubes are not worth the money!”,包含3個(gè)方面詞分別是staff,pizza和beef cubes,對應(yīng)的意見詞分別為friendly,not bad,not worth,其情感極性分別為積極、中立和消極。特定方面的反饋,能夠給人們提供有針對性的見解,幫助人們更準(zhǔn)確地了解某個(gè)事物的具體信息。相比較于粗粒度的情感分析,方面級情感分析更具有研究意義和應(yīng)用價(jià)值。

    目前主要利用深度學(xué)習(xí)的方法進(jìn)行方面級情感分析研究,但仍存在著提取語義句法信息不全面的問題:基于注意力機(jī)制的方法,大多只關(guān)注方面詞與上下文詞之間的語義關(guān)聯(lián),忽略了句法交互對情感分類結(jié)果的影響;而基于圖卷積網(wǎng)絡(luò)的方法僅提取句法信息而忽略了深層語義信息,且未能考慮句法相對距離,使得距離方面詞較遠(yuǎn)的關(guān)鍵信息的權(quán)重被削弱。

    針對上述問題,本文提出了一種基于圖卷積網(wǎng)絡(luò)的多交互注意(multi-interactive attention based on graph convolution network,MIA-GCN)模型。利用圖卷積網(wǎng)絡(luò)能夠更有效提取深層特征信息的優(yōu)點(diǎn)[2],基于注意力機(jī)制和句法相對距離重構(gòu)語義和句法圖鄰接矩陣,更全面地提取語義和句法信息。除此之外,設(shè)計(jì)語義交互和句法交互,同時(shí)關(guān)注方面詞與上下文詞之間的語義關(guān)聯(lián)和句法關(guān)聯(lián),最終進(jìn)行特征融合。

    1 相關(guān)研究

    以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)具有良好的自動提取特征的能力[3],因此在方面級情感分析領(lǐng)域受到廣大學(xué)者的歡迎。由于句子本身可以看作一個(gè)前后有關(guān)聯(lián)的序列,循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)及其變體長短時(shí)記憶網(wǎng)絡(luò)(long-short term memory,LSTM)作為最基本的神經(jīng)網(wǎng)絡(luò)方法,得到了廣泛的應(yīng)用[4]。基于注意力的方法通過進(jìn)行方面詞與上下文詞的向量運(yùn)算,以計(jì)算結(jié)果來反映單詞之間的關(guān)聯(lián)程度,從而給予與方面詞語義相關(guān)性強(qiáng)的單詞更高的權(quán)重來判斷情感極性。因此,大多研究者將神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合來提取語義信息,并挖掘與方面詞語義上最相關(guān)的意見詞。Tay等[5]將方面向量與上下文向量相連接來模擬方面詞與上下文詞的相似性,并利用注意力機(jī)制自適應(yīng)地關(guān)注給定方面詞的關(guān)聯(lián)詞。Chen等[6]提出了一種基于目標(biāo)的注意力模型用于方面級情感分析。對上下文信息進(jìn)行位置編碼,在位置感知上下文矩陣之間以聯(lián)合的方式計(jì)算上下文與方面詞之間的注意力得分,并進(jìn)行向量化,使得模型更具魯棒性。Zhuang等[7]基于記憶旋轉(zhuǎn)單元提取長期語義信息,并引入分層多頭注意機(jī)制在計(jì)算注意權(quán)重時(shí)保留方面語義信息,最終實(shí)現(xiàn)方面詞與關(guān)鍵詞之間的交互。雖然這些基于注意力機(jī)制的方法取得了一定的成果,但是基本上是建立在語義關(guān)聯(lián)上,注意力機(jī)制可能會關(guān)注到與方面詞句法上不相關(guān)的意見詞,造成情感極性判斷錯(cuò)誤。近年來,圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network,GCN)由于其良好的處理非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn),被應(yīng)用于方面級情感分析中提取句法信息。Liang等[8]構(gòu)建方向圖卷積網(wǎng)絡(luò)將單詞間的依賴關(guān)系整合到模型中,學(xué)習(xí)關(guān)鍵方面詞的依賴特征和不同方面之間的情感關(guān)系。Pang等[9]提出一種動態(tài)多通道圖卷積網(wǎng)絡(luò)模型。分別利用依賴樹和多頭注意生成句法圖和語義圖來提取句法信息和語義信息,并將提取到的信息進(jìn)行組合、優(yōu)化和融合,使得性能得到了進(jìn)一步提升。

    2 方面級情感分析模型

    本文提出的MIA-GCN模型從句法相對距離和語義關(guān)聯(lián)強(qiáng)弱角度,結(jié)合圖卷積網(wǎng)絡(luò),能夠更加充分地學(xué)習(xí)語義及句法特征信息。并且可以增加交互注意層處理方面詞與上下文詞的語義和句法依存信息,進(jìn)行特征融合??蚣苋鐖D1所示,分別是嵌入層、Bi-LSTM層、圖卷積網(wǎng)絡(luò)層、方面掩碼層、交互注意層以及輸出層。

    2.1 嵌入層

    為了能夠充分獲取語義和句法特征信息,在處理文本時(shí),首先需要進(jìn)行文本向量化。文本向量化最常用的一種方式是詞嵌入,即將每個(gè)單詞通過嵌入矩陣的形式映射到向量空間中,使得句子中的每個(gè)單詞轉(zhuǎn)化為固定維度的詞向量表示。本文利用預(yù)先訓(xùn)練好的詞嵌入矩陣Glove來初始化單詞向量。對于長度為n的句子,經(jīng)過詞嵌入后表示為:W∈Rdw×n, 其中dw表示詞嵌入向量的維數(shù)。除此之外,由于同一個(gè)詞因?yàn)槠湓~性的不同在不同語境中有多種多樣的表示,因此,考慮不同詞性對方面級情感分析的影響是有必要的。受到Zhao等[10]工作的啟發(fā),將詞性種類N設(shè)為4類,分別為形容詞、動詞、副詞、其它,最終得到詞性嵌入矩陣為P∈Rdp×|N|, 其中,dp為詞性嵌入的維度。將詞嵌入與詞性嵌入連接起來,得到嵌入層的最終詞向量表示為X={x1,x2,…,xn}, 其中xi∈Rdw+dp。

    2.2 Bi-LSTM層

    2.3 圖卷積網(wǎng)絡(luò)層

    (1)

    本文提出的MIA-GCN模型中的圖卷積網(wǎng)絡(luò)層包括語義圖卷積模塊和句法圖卷積模塊兩個(gè)對稱的網(wǎng)絡(luò),分別用來提取語義特征和句法特征,也是整個(gè)MIA-GCN模型的核心。對于語義圖卷積模塊,利用注意力機(jī)制構(gòu)造注意得分矩陣;對于句法圖卷積模塊,根據(jù)句法相對距離構(gòu)造句法權(quán)重矩陣以存儲更多的句法信息。最后,將兩個(gè)矩陣分別送入圖卷積中進(jìn)行語義和句法信息的學(xué)習(xí)。

    2.3.1 語義圖卷積模塊

    對于句法信息不敏感的句子,其語義信息對情感極性的判斷影響比較大。因此,獲取語義信息是有必要的。MIA-GCN模型考慮基于語義關(guān)聯(lián)提取深層次語義信息。由注意力機(jī)制得到的注意得分矩陣能夠反映句子中兩個(gè)單詞之間的語義相關(guān)性信息,對于提取語義信息有重要的作用。注意得分矩陣可表示為式(2)

    (2)

    式中:矩陣Q和K為前一層的圖向量表示,WQ和WK為可學(xué)習(xí)的權(quán)重矩陣,d為輸入節(jié)點(diǎn)特征的維數(shù)。其構(gòu)造過程如圖2所示。

    圖2 注意得分矩陣構(gòu)造過程

    2.3.2 句法圖卷積模塊

    以往基于句法的方面級情感分類模型中,通過依存句法分析樹分析句子中單詞之間的句法依賴關(guān)系,結(jié)合圖卷積網(wǎng)絡(luò)聚合相鄰節(jié)點(diǎn)信息的優(yōu)點(diǎn),使得模型能夠提取句法特征信息。本文延續(xù)使用這種方法,利用依存句法分析器SpaCy構(gòu)造句法依賴樹,并將句法依賴樹以圖結(jié)構(gòu)的形式表示。以節(jié)點(diǎn)代表句子中的單詞,邊代表單詞之間的依賴關(guān)系,得到鄰接矩陣形式的句法依賴圖,其中鄰接矩陣D∈Rn×n, 矩陣D中的元素表示為式(3)

    (3)

    如果將上述矩陣D作為圖卷積網(wǎng)絡(luò)的鄰接矩陣,則會忽略未直接相連的兩個(gè)單詞之間可能存在的聯(lián)系。若關(guān)鍵意見詞與方面詞距離較遠(yuǎn),就會導(dǎo)致其傳播到方面詞時(shí),相對于方面詞的權(quán)重被削弱了,從而導(dǎo)致情感極性判斷錯(cuò)誤。

    因此,基于Phan等[13]提出的句法相對距離(syntactic relative distance,SRD),本文提出的MIA-GCN模型對句子中距離方面詞不同句法距離的單詞賦予不同的權(quán)重,來代表不同單詞相對于方面詞的重要性。在鄰接矩陣D的基礎(chǔ)上,首先計(jì)算除方面詞a外的所有單詞到a的SRD。SRD在句法依賴樹中表示兩個(gè)單詞對應(yīng)的節(jié)點(diǎn)之間的最短距離,在鄰接矩陣中只需計(jì)算兩個(gè)頂點(diǎn)之間的最短路徑。以圖3中(a)所構(gòu)造的依賴關(guān)系為例,方面詞為節(jié)點(diǎn)2和節(jié)點(diǎn)3,需要計(jì)算節(jié)點(diǎn)1,節(jié)點(diǎn)4,節(jié)點(diǎn)5分別到2,3之間的距離,并轉(zhuǎn)化為圖3中(b)的形式。

    圖3 句法權(quán)重矩陣構(gòu)造過程

    基于SRD,計(jì)算句法權(quán)重矩陣Asyn代替鄰接矩陣D,Asyn的計(jì)算為式(4)

    (4)

    式中:p為設(shè)定閾值,Asyn∈Rn×n, 圖3中(c)為n=5,p=2的句子構(gòu)建的句法權(quán)重矩陣。通過構(gòu)建句法權(quán)重矩陣來代替離散鄰接矩陣,使得與方面詞句法距離近的上下文詞有較大的權(quán)重且削弱句法距離遠(yuǎn)的上下文信息。

    2.4 方面掩碼層

    (5)

    (6)

    由此可以得到提取到的語義特征的方面掩碼向量hsemmask={0,…,ht+1sem,…,ht+msem,…,0} 和句法特征的方面掩碼向量hsynmask={0,…,ht+1syn,…,ht+msyn,…,0}。

    2.5 多交互注意層

    為了同時(shí)關(guān)注方面詞與上下文單詞之間的語義關(guān)聯(lián)和句法關(guān)聯(lián),通過計(jì)算上下文的隱藏向量與方面向量之間的語義及句法相關(guān)性,為每個(gè)上下文詞分配相關(guān)的注意力權(quán)重,以完成方面與上下文的協(xié)調(diào)優(yōu)化,便于下一步進(jìn)行特征融合。

    (7)

    (8)

    (9)

    (10)

    (11)

    (12)

    2.6 情感輸出層

    為了實(shí)現(xiàn)語義特征信息和句法特征信息的融合,將交互層得到的語義交互特征向量hsem與句法交互特征向量hsyn進(jìn)行拼接,得到融合語義與句法的特征向量hf=[hsyn;hsem]。 將獲得的最終表示hf輸入到全連接層,最后通過softmax進(jìn)行分類輸出,即式(13)

    (13)

    式中:c為情感標(biāo)簽的維數(shù)即分類數(shù),Wo和bo分別為權(quán)重參數(shù)和偏置項(xiàng)。模型的損失函數(shù)采用交叉熵?fù)p失函數(shù),利用標(biāo)準(zhǔn)梯度下降法進(jìn)行訓(xùn)練,如式(14)所示

    (14)

    3 實(shí)驗(yàn)與分析

    3.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)平臺

    實(shí)驗(yàn)在公開數(shù)據(jù)集SemEval 2014 task4的Restaurant數(shù)據(jù)集、Laptop數(shù)據(jù)集以及短文本數(shù)據(jù)集Twitter上進(jìn)行,評估MIA-GCN模型的性能。這些數(shù)據(jù)集都分為訓(xùn)練集和測試集,且都是3分類的(積極、中性、消極)。除此之外,采用以往方面級情感分析的數(shù)據(jù)預(yù)處理方法,去除情感極性沖突的樣本和沒有明確方面詞的樣本,使得每條數(shù)據(jù)都包含一個(gè)或多個(gè)方面。數(shù)據(jù)集統(tǒng)計(jì)情況見表1。

    表1 數(shù)據(jù)集統(tǒng)計(jì)

    本文的實(shí)驗(yàn)平臺見表2。

    3.2 實(shí)驗(yàn)設(shè)置與評價(jià)指標(biāo)

    為了保證對比實(shí)驗(yàn)公平,模型使用300維的Glove詞向量初始化單詞嵌入,模型中的權(quán)重采用均勻分布進(jìn)行初始化。在對比實(shí)驗(yàn)中,計(jì)算句法權(quán)重矩陣時(shí)的閾值p設(shè)置為2,除此之外,模型利用dropout防止過擬合,同時(shí)采用early stop防止精度衰減。模型的超參數(shù)設(shè)置見表3。

    MIA-GCN模型采用準(zhǔn)確率(Accuracy,Acc)與宏平均F1值(macro average F1,MF1)作為評價(jià)指標(biāo)。Acc是相關(guān)研究中最常用的評估指標(biāo),而MF1值是綜合考慮了模型準(zhǔn)確率和召回率的計(jì)算結(jié)果,為所有類別F1的平均值。在衡量模型性能時(shí),Acc與MF1的值越大,模型性能越好。Acc與MF1計(jì)算公式如式(15)~式(17)所示

    表2 實(shí)驗(yàn)環(huán)境

    表3 超參數(shù)設(shè)置

    (15)

    (16)

    (17)

    其中,TP(true positive)為預(yù)測為正的正樣本;FP(false positive)為預(yù)測為負(fù)的正樣本;TN(true negative)為預(yù)測為正的負(fù)樣本;FN(false negative)為預(yù)測為負(fù)的正樣本;precision為精確率;recall為召回率。

    3.3 對比實(shí)驗(yàn)

    為了驗(yàn)證MIA-GCN模型的性能,本文使用以下模型作為對比模型:

    (1)ATAE-LSTM[14]:基于注意力的LSTM的方面級情感分類方法。將方面向量嵌入到詞向量和隱藏向量中,使得方面信息參與注意權(quán)重的計(jì)算。

    (2)MemNet[15]:一種結(jié)合注意力機(jī)制的深度記憶網(wǎng)絡(luò)模型。通過構(gòu)建多個(gè)計(jì)算層,通過每個(gè)計(jì)算中層中的注意層自適應(yīng)地選擇更深層次的信息并捕獲每個(gè)上下文詞與方面之間的相關(guān)性,最后一個(gè)注意層的輸出來進(jìn)行情感極性判斷。

    (3)IAN[16]:將方面詞與語境分離出來,并利用兩個(gè)注意力網(wǎng)絡(luò)交互方面詞與上下文之間的關(guān)系,分別生成它們的表示。最后,連接兩個(gè)表示來預(yù)測方面詞在語境中的情感極性。

    (4)AOA[17]:對方面和文本同時(shí)進(jìn)行建模,生成的方面表示和文本表示通過注意力模塊相互作用,學(xué)習(xí)其表示形式,自動關(guān)注方面和文本中最重要的部分。

    (5)MGAN[18]:利用粗粒度和細(xì)粒度的注意機(jī)制提取嵌入信息并進(jìn)行方面和句子之間的詞語級交互。

    (6)ASGCN[19]:在句子的依賴樹上建立一個(gè)圖卷積網(wǎng)絡(luò)進(jìn)行句法信息的提取,將掩碼后的方面向量與語義信息進(jìn)行注意交互,提高了情感分類性能。

    (7)Bi-GCN[20]:針對利用句法結(jié)構(gòu)的方法會忽略詞語共現(xiàn)信息和不同句法依賴類型對結(jié)果有重要影響的問題,分別構(gòu)造詞法圖和句法圖,并進(jìn)行交互和聚合。

    (8)kumaGCN[21]:將句法依賴樹和自動生成的特定類型圖聯(lián)系起來,動態(tài)地組合詞依賴圖和自注意力網(wǎng)絡(luò)學(xué)習(xí)的潛在圖的信息。

    (9)AGGCN[22]:提出了一種方面門控圖卷積網(wǎng)絡(luò)模型。設(shè)計(jì)方面門控LSTM以生成特定方面信息,并在此基礎(chǔ)上形成依賴樹構(gòu)建GCN,以充分利用句法信息和長距離依賴。

    (10)AFGCN[23]:構(gòu)建了一個(gè)句法依賴模塊以集成句法相對依賴位置圖,并結(jié)合注意力機(jī)制捕獲與方面語義相關(guān)的突出特征,最終形成融合語義和句法特征的向量表示。

    表4 不同模型的實(shí)驗(yàn)結(jié)果

    表4為基準(zhǔn)模型與本文模型的對比實(shí)驗(yàn)結(jié)果,表格內(nèi)結(jié)果均為重復(fù)3次的實(shí)驗(yàn)結(jié)果的平均值。其中,加粗?jǐn)?shù)據(jù)表示其對應(yīng)數(shù)據(jù)集中效果最好的模型的數(shù)值。對表中實(shí)驗(yàn)結(jié)果進(jìn)行分析,可以得到以下結(jié)論:

    (1)基于注意力機(jī)制的模型(ATAE-LSTM、MemNet、IAN、AOA、MGAN):從表4中可以看出,利用交互注意力機(jī)制的IAN、AOA及MGAN模型整體上優(yōu)于傳統(tǒng)非交互注意的ATAE-LSTM、MemNet模型,且都實(shí)現(xiàn)了方面詞與上下文之間的信息交互,從而獲取語義信息。這表明在進(jìn)行方面級情感分析時(shí),方面詞與上下文詞之間的交互有利于提高分類性能。

    (2)基于圖卷積網(wǎng)絡(luò)的模型(ASGCN、Bi-GCN、kumaGCN、AGGCN、AFGCN):與基于注意力機(jī)制的方法比較,基于圖卷積網(wǎng)絡(luò)的方法在數(shù)據(jù)集Rest14和Lap14上的性能均有明顯的提升。這表明利用句法知識建立單詞之間的句法依賴關(guān)系,確實(shí)有利于方面級的情感分析研究。但也存在一些問題:例如對于Twitter這種口語化評論數(shù)據(jù)集,基于圖卷積網(wǎng)絡(luò)的方法ASGCN、kumaGCN并沒有基于注意力機(jī)制的方法MGAN的效果好。這可能是由于基于圖卷積網(wǎng)絡(luò)的方法未能充分考慮語義信息,忽略了方面詞與上下文單詞的語義相關(guān)性,因此,在考慮結(jié)構(gòu)復(fù)雜或者非正式化的句子時(shí),只考慮句法信息進(jìn)行情感分析研究并沒有基于語義關(guān)聯(lián)的注意力機(jī)制的方法性能好。

    (3)基于圖卷積網(wǎng)絡(luò)的多交互注意模型(MIA-GCN):相較于基于注意力機(jī)制的模型和基于圖卷積網(wǎng)絡(luò)的模型,本文提出的MIA-GCN模型的準(zhǔn)確率Acc和MF1值均得到了明顯的提升。在3個(gè)數(shù)據(jù)集上的準(zhǔn)確率分別可以達(dá)到82.85%、77.78%和75.14%;MF1值可達(dá)到75.44%、73.85%、73.92%。MIA-GCN與基于注意力機(jī)制的模型相比,在3個(gè)數(shù)據(jù)集上的Acc值平均提高3.24%、5.85%、3.34%,MF1平均提升5.61%、6.55%、4.37%。由此可見,MIA-GCN模型在Lap14數(shù)據(jù)集上提升最好。這可能是因?yàn)長ap14對于句法信息更敏感,而MIA-GCN相比較于基于注意力機(jī)制的模型多考慮了句法信息;與基于句法信息的圖神經(jīng)網(wǎng)絡(luò)的模型相比,在3個(gè)數(shù)據(jù)集上Acc值平均提升0.64%、1.97%、1.72%,MF1值平均提升2.11%、1.91%、1.93%。其中,MIA-GCN相對于模型AFGCN在Lap14數(shù)據(jù)集上效果相當(dāng)。在Rest14數(shù)據(jù)集上,MIA-GCN的準(zhǔn)確率略低于模型AGGCN,這可能是因?yàn)镽est14數(shù)據(jù)集對于特定方面信息比較敏感,而AFGCN從一開始就利用門控LSTM編碼特定方面信息。綜合而言,MIA-GCN模型在實(shí)驗(yàn)數(shù)據(jù)集上獲得了比較好的性能,對不同領(lǐng)域的文本也可以處理得很好。主要原因在于MIA-GCN模型同時(shí)考慮了深層語義和句法信息。利用GCN來提取和學(xué)習(xí)評論中的語義信息與句法信息,并且對方面進(jìn)行建模,利用交互注意力進(jìn)行方面詞與上下文詞的語義和句法交互,增強(qiáng)了提取與方面詞有緊密聯(lián)系的上下文情感信息的能力。因此,模型MIA-GCN能夠?qū)崿F(xiàn)情感分類任務(wù)性能的提升。

    3.4 消融實(shí)驗(yàn)

    為了驗(yàn)證模型的有效性以及各個(gè)部分對情感分類結(jié)果的影響,設(shè)計(jì)消融實(shí)驗(yàn)在3個(gè)數(shù)據(jù)集上進(jìn)行對比分析,結(jié)果見表5。其中,SynGCN表示只構(gòu)造句法圖卷積網(wǎng)絡(luò)及句法交互;SemGCN表示只利用語義圖卷積網(wǎng)絡(luò)及語義交互;SynGCN_dep代表僅利用依賴解析器的0-1輸出作為圖卷積網(wǎng)絡(luò)的矩陣而不利用句法相對距離進(jìn)行計(jì)算權(quán)重;MIA-GCN w/o inatt表示去除交互注意層,同樣的,MIA-GCN w/o syn或者sem表示只去除句法交互或者只去除語義交互。

    從表5對比結(jié)果可以看出,在Rest14和Lap14數(shù)據(jù)集上,SynGCN的性能明顯優(yōu)于SynGCN_dep,因此,利用句法權(quán)重矩陣代替離散矩陣,可以獲取更多的句法信息,有效提升情感分類的性能。SemGCN模型在Twitter數(shù)據(jù)集上的性能優(yōu)于SynGCN,這是由于Twitter評論數(shù)據(jù)集大多是口語化和非正式的,對句法信息不敏感,因此對于這類語句,語義信息對性能的影響大于句法信息對性能的影響。除此之外,MIA-GCN w/o inatt相比MIA-GCN性能有所下降,原因是去除了交互注意層,方面詞與上下文詞之間不能進(jìn)行交互注意,從而表明利用交互注意可以建模方面詞與上下文詞的語義關(guān)系和句法關(guān)系。對比MIA-GCN w/o syn和MIA-GCN w/o sem,去掉任何一種交互方式,與MIA-GCN相比,Acc和MF1值均下降,驗(yàn)證了語義交互注意和句法交互注意兩者的重要性。

    表5 消融實(shí)驗(yàn)

    3.5 案例研究

    為了進(jìn)一步分析本文提出的模型對比其它模型的優(yōu)點(diǎn),通過幾個(gè)具體的樣例來分析。如表6所示,提取出一些典型樣例的分類結(jié)果進(jìn)行對比分析。其中數(shù)值negative、natu-ral、positive分別表示情感極性為消極、正常、積極。句子中陰影部分為所在句子的方面項(xiàng)。

    表6 典型數(shù)據(jù)實(shí)驗(yàn)樣例

    對于第一個(gè)例句,由于存在兩個(gè)方面詞即“food”和“service”,基于語義關(guān)聯(lián)的注意力機(jī)制模型ATAE-LSTM會關(guān)注到與方面詞“service”相關(guān)的意見詞“dreadful”,將其作為方面詞“food”的意見詞,導(dǎo)致方面詞與意見詞的錯(cuò)誤匹配,從而判斷情感極性為消極。第二個(gè)例句,“apple os”與其意見詞“happy”的句法距離相距太遠(yuǎn),基于句法信息的圖卷積網(wǎng)絡(luò)模型ASGCN未能捕獲兩者之間的關(guān)系,因此,ASGCN模型情感極性判斷錯(cuò)誤。第三個(gè)例句中,由于含有兩個(gè)方面項(xiàng),ATAE-LSTM未能準(zhǔn)確匹配方面項(xiàng)與意見詞,ASGCN模型未能捕獲否定詞“did not”的特征表示,而MIA-GCN可以結(jié)合語義關(guān)聯(lián)和句法關(guān)聯(lián)做出正確的判斷。

    除此之外,選取句子進(jìn)行注意力可視化分析,如圖4所示。其中,顏色越深,表示注意權(quán)重越大。從圖中可以看出,對于方面詞“staff”,在交互注意層使用語義交互還是句法交互都能關(guān)注到情感詞“should be a bit”,因此,語義交互與句法交互都有助于情感極性的判斷,也驗(yàn)證了語義信息和句法信息對于方面級情感分析的有效性。

    圖4 方面詞“staff”注意力可視化

    4 結(jié)束語

    本文提出了一種基于圖卷積網(wǎng)絡(luò)的多交互模型MIA-GCN來解決目前方面級情感分析研究中存在的提取語義和句法信息不全面導(dǎo)致的情感分類不準(zhǔn)確的問題。MIA-GCN的主要?jiǎng)?chuàng)新點(diǎn)在于分別重構(gòu)了語義圖和句法圖提取語義和句法特征信息,并利用交互注意建模方面詞與上下文之間的語義和句法關(guān)系,使得提取信息更加全面。在常用的3個(gè)方面級情感分類數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)、消融實(shí)驗(yàn)以及案例分析。實(shí)驗(yàn)結(jié)果表明,本文提出的MIA-GCN模型的性能具有一定的提升。驗(yàn)證了帶權(quán)重的鄰接矩陣可以存儲更具體的信息,而交互注意能夠建模方面詞與上下文詞的語義關(guān)系和句法關(guān)系,完成方面與上下文的協(xié)調(diào)優(yōu)化。下一步工作將與更先進(jìn)的預(yù)訓(xùn)練模型BERT進(jìn)行結(jié)合,探索更具有適應(yīng)性的融合語義和句法特征的方法。

    猜你喜歡
    句法注意力語義
    讓注意力“飛”回來
    句法與句意(外一篇)
    中華詩詞(2021年3期)2021-12-31 08:07:22
    述謂結(jié)構(gòu)與英語句法配置
    語言與語義
    句法二題
    中華詩詞(2018年3期)2018-08-01 06:40:40
    詩詞聯(lián)句句法梳理
    中華詩詞(2018年11期)2018-03-26 06:41:32
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    “上”與“下”語義的不對稱性及其認(rèn)知闡釋
    認(rèn)知范疇模糊與語義模糊
    久久精品国产亚洲av香蕉五月 | 99香蕉大伊视频| 国产免费福利视频在线观看| 最新的欧美精品一区二区| 国产成人av教育| 国产成人av教育| svipshipincom国产片| 国产高清国产精品国产三级| 成年人午夜在线观看视频| 美女视频免费永久观看网站| 亚洲国产看品久久| 99国产综合亚洲精品| 满18在线观看网站| 国产精品一区二区在线观看99| 天堂中文最新版在线下载| 国产黄色免费在线视频| 国产亚洲欧美精品永久| 久久人妻av系列| 国产精品久久久久成人av| 日本黄色视频三级网站网址 | 欧美变态另类bdsm刘玥| 中文字幕人妻丝袜制服| 久久久精品国产亚洲av高清涩受| 久久热在线av| 无限看片的www在线观看| 热re99久久精品国产66热6| 亚洲欧美色中文字幕在线| 宅男免费午夜| 在线看a的网站| 国产成人免费观看mmmm| 99国产精品一区二区三区| 丝袜在线中文字幕| a级片在线免费高清观看视频| 亚洲人成77777在线视频| 日韩大码丰满熟妇| 午夜久久久在线观看| 中文字幕av电影在线播放| 亚洲色图av天堂| 亚洲av成人不卡在线观看播放网| 亚洲久久久国产精品| 国产福利在线免费观看视频| 两人在一起打扑克的视频| 两个人看的免费小视频| 在线十欧美十亚洲十日本专区| 久久婷婷成人综合色麻豆| 久久国产精品男人的天堂亚洲| 日本精品一区二区三区蜜桃| 汤姆久久久久久久影院中文字幕| 亚洲成国产人片在线观看| 精品欧美一区二区三区在线| 夫妻午夜视频| 亚洲成人手机| 激情视频va一区二区三区| 丝袜喷水一区| 国产av精品麻豆| 香蕉国产在线看| 亚洲国产欧美在线一区| 香蕉久久夜色| 国产男靠女视频免费网站| 99re6热这里在线精品视频| 男女下面插进去视频免费观看| 久久这里只有精品19| 最新美女视频免费是黄的| 久久精品亚洲熟妇少妇任你| 无遮挡黄片免费观看| 亚洲精品久久成人aⅴ小说| avwww免费| 考比视频在线观看| 午夜免费成人在线视频| 99九九在线精品视频| 夜夜骑夜夜射夜夜干| 国产视频一区二区在线看| 亚洲 国产 在线| 亚洲全国av大片| 老司机在亚洲福利影院| 一边摸一边做爽爽视频免费| 久久国产精品影院| 一区二区三区激情视频| 亚洲va日本ⅴa欧美va伊人久久| 久久久久网色| 午夜激情av网站| 午夜两性在线视频| 久久精品亚洲精品国产色婷小说| 不卡av一区二区三区| 国产亚洲av高清不卡| 天天躁狠狠躁夜夜躁狠狠躁| 精品国产乱码久久久久久男人| 美女主播在线视频| 国产99久久九九免费精品| 黄色视频在线播放观看不卡| 亚洲欧美色中文字幕在线| 免费高清在线观看日韩| aaaaa片日本免费| 免费在线观看日本一区| 黄网站色视频无遮挡免费观看| 国产主播在线观看一区二区| 在线看a的网站| 亚洲伊人久久精品综合| 黄色毛片三级朝国网站| 欧美 日韩 精品 国产| 久久中文看片网| 国产精品久久久久久人妻精品电影 | 女人高潮潮喷娇喘18禁视频| 国内毛片毛片毛片毛片毛片| 国产97色在线日韩免费| 亚洲va日本ⅴa欧美va伊人久久| 老熟女久久久| 国产一区二区三区综合在线观看| 久久精品国产亚洲av高清一级| 午夜福利在线观看吧| 老司机福利观看| 欧美乱码精品一区二区三区| 国产在线一区二区三区精| 久久久水蜜桃国产精品网| 最新的欧美精品一区二区| 亚洲国产中文字幕在线视频| 免费日韩欧美在线观看| 国产又色又爽无遮挡免费看| 高清黄色对白视频在线免费看| 十分钟在线观看高清视频www| 少妇猛男粗大的猛烈进出视频| 999精品在线视频| 午夜福利,免费看| 一级,二级,三级黄色视频| 一级片'在线观看视频| 久久精品亚洲熟妇少妇任你| 两个人免费观看高清视频| 男女边摸边吃奶| 午夜成年电影在线免费观看| 精品少妇一区二区三区视频日本电影| 高清视频免费观看一区二区| 99精品久久久久人妻精品| 亚洲国产欧美在线一区| av国产精品久久久久影院| 久久久久久久大尺度免费视频| 欧美黑人欧美精品刺激| 99精品久久久久人妻精品| 午夜免费鲁丝| 亚洲精品国产区一区二| 亚洲熟妇熟女久久| 国产黄频视频在线观看| 中文字幕av电影在线播放| 久久久久久人人人人人| 国产精品自产拍在线观看55亚洲 | 免费av中文字幕在线| 欧美日韩av久久| 国产不卡一卡二| 久久精品国产亚洲av高清一级| 一本色道久久久久久精品综合| 99国产精品99久久久久| 国产深夜福利视频在线观看| 成年人免费黄色播放视频| 亚洲五月婷婷丁香| 欧美精品av麻豆av| 免费在线观看影片大全网站| 91精品三级在线观看| 香蕉国产在线看| 成人18禁高潮啪啪吃奶动态图| 国产精品1区2区在线观看. | 久久久精品区二区三区| 国产欧美日韩一区二区三| 最近最新免费中文字幕在线| 大码成人一级视频| 国产精品熟女久久久久浪| 女人高潮潮喷娇喘18禁视频| 国内毛片毛片毛片毛片毛片| 最新在线观看一区二区三区| 一边摸一边抽搐一进一出视频| 国产成人系列免费观看| 亚洲精品自拍成人| 人人澡人人妻人| 成人永久免费在线观看视频 | 日韩人妻精品一区2区三区| 成人三级做爰电影| 亚洲精品一卡2卡三卡4卡5卡| 一区二区日韩欧美中文字幕| 久久性视频一级片| 国产av国产精品国产| 国产精品免费视频内射| 十八禁网站免费在线| 国产av又大| 色视频在线一区二区三区| 精品卡一卡二卡四卡免费| 国产日韩欧美视频二区| 国产一区有黄有色的免费视频| 日本a在线网址| 久久久国产成人免费| 成人18禁高潮啪啪吃奶动态图| 国产区一区二久久| 精品国产国语对白av| 久久久久久久国产电影| 男女之事视频高清在线观看| 国产97色在线日韩免费| 97人妻天天添夜夜摸| 久久精品aⅴ一区二区三区四区| 久久免费观看电影| 亚洲情色 制服丝袜| 精品一区二区三区视频在线观看免费 | 两性夫妻黄色片| 9191精品国产免费久久| 欧美黑人精品巨大| 成人黄色视频免费在线看| 美女扒开内裤让男人捅视频| 国产成人欧美| 女人久久www免费人成看片| 成人手机av| 日本av手机在线免费观看| 自线自在国产av| 91av网站免费观看| 高清在线国产一区| 黄网站色视频无遮挡免费观看| 日本黄色日本黄色录像| 久久久久视频综合| 麻豆成人av在线观看| kizo精华| 如日韩欧美国产精品一区二区三区| 精品午夜福利视频在线观看一区 | kizo精华| 一区二区av电影网| 欧美日韩av久久| 男女床上黄色一级片免费看| 一进一出抽搐动态| 我要看黄色一级片免费的| 成年动漫av网址| 亚洲五月婷婷丁香| 中文字幕高清在线视频| 在线观看人妻少妇| 国产精品久久久久久人妻精品电影 | 亚洲精品成人av观看孕妇| 亚洲欧美精品综合一区二区三区| 久久久久久久国产电影| 亚洲男人天堂网一区| 久久天躁狠狠躁夜夜2o2o| 亚洲av日韩在线播放| 国产极品粉嫩免费观看在线| 亚洲一卡2卡3卡4卡5卡精品中文| 一本色道久久久久久精品综合| 色播在线永久视频| 亚洲 国产 在线| 久久久国产精品麻豆| 热99re8久久精品国产| 中文字幕高清在线视频| 精品人妻1区二区| 99精国产麻豆久久婷婷| tocl精华| 免费av中文字幕在线| 国产在视频线精品| 悠悠久久av| 国产av一区二区精品久久| 五月开心婷婷网| 中亚洲国语对白在线视频| 99久久精品国产亚洲精品| 国产高清videossex| 国产99久久九九免费精品| 十八禁高潮呻吟视频| 国产免费福利视频在线观看| 国产精品一区二区在线不卡| 成年人午夜在线观看视频| 18禁国产床啪视频网站| av片东京热男人的天堂| 亚洲五月色婷婷综合| 高清视频免费观看一区二区| 首页视频小说图片口味搜索| 亚洲专区字幕在线| 午夜福利一区二区在线看| 狠狠狠狠99中文字幕| 国产片内射在线| 久久久久久久大尺度免费视频| 中文字幕另类日韩欧美亚洲嫩草| 夫妻午夜视频| 十八禁高潮呻吟视频| 国产精品 国内视频| xxxhd国产人妻xxx| 国产真人三级小视频在线观看| 日本黄色日本黄色录像| 亚洲综合色网址| 一二三四在线观看免费中文在| www.999成人在线观看| 操美女的视频在线观看| 精品一区二区三区视频在线观看免费 | 亚洲av美国av| av片东京热男人的天堂| 欧美日韩精品网址| 欧美日本中文国产一区发布| 国产精品亚洲av一区麻豆| 欧美激情久久久久久爽电影 | 精品少妇黑人巨大在线播放| 久久久久视频综合| 国产亚洲一区二区精品| 国产男女超爽视频在线观看| 久久热在线av| 一个人免费看片子| 国产成人影院久久av| 亚洲国产中文字幕在线视频| 飞空精品影院首页| 欧美在线一区亚洲| 高潮久久久久久久久久久不卡| 精品亚洲乱码少妇综合久久| 超色免费av| 王馨瑶露胸无遮挡在线观看| 久久中文看片网| 老司机午夜十八禁免费视频| 国产视频一区二区在线看| 精品久久久久久久毛片微露脸| 亚洲欧洲日产国产| 嫩草影视91久久| 亚洲av欧美aⅴ国产| 人人澡人人妻人| 国产一区有黄有色的免费视频| 欧美亚洲 丝袜 人妻 在线| 真人做人爱边吃奶动态| 亚洲伊人久久精品综合| 伊人久久大香线蕉亚洲五| 亚洲色图 男人天堂 中文字幕| av免费在线观看网站| 国产精品.久久久| 法律面前人人平等表现在哪些方面| 狠狠精品人妻久久久久久综合| 亚洲av日韩在线播放| 国产精品电影一区二区三区 | 欧美激情 高清一区二区三区| 国产成人一区二区三区免费视频网站| 国产在视频线精品| 十八禁网站免费在线| 色综合欧美亚洲国产小说| 麻豆成人av在线观看| 黑丝袜美女国产一区| 高清在线国产一区| 少妇精品久久久久久久| 69精品国产乱码久久久| 成年版毛片免费区| 十八禁网站网址无遮挡| 欧美另类亚洲清纯唯美| 大型黄色视频在线免费观看| 天天操日日干夜夜撸| 男女高潮啪啪啪动态图| 91成人精品电影| 嫁个100分男人电影在线观看| 一本久久精品| 欧美午夜高清在线| av网站在线播放免费| 亚洲精品中文字幕在线视频| 久久中文字幕一级| 精品国产乱子伦一区二区三区| 色在线成人网| 成人手机av| 免费日韩欧美在线观看| 国产成人精品在线电影| √禁漫天堂资源中文www| 欧美日韩亚洲高清精品| 国产亚洲精品久久久久5区| 高潮久久久久久久久久久不卡| 少妇精品久久久久久久| 麻豆国产av国片精品| 在线观看免费高清a一片| 在线永久观看黄色视频| 亚洲国产av影院在线观看| 久久国产精品影院| 久久中文字幕一级| 国精品久久久久久国模美| 一区二区日韩欧美中文字幕| 在线观看免费午夜福利视频| 久热爱精品视频在线9| 国产精品.久久久| 首页视频小说图片口味搜索| 精品一区二区三区视频在线观看免费 | 大香蕉久久成人网| 精品福利观看| 视频在线观看一区二区三区| 少妇 在线观看| 免费av中文字幕在线| 国产激情久久老熟女| 亚洲av成人不卡在线观看播放网| 69精品国产乱码久久久| 久久人人97超碰香蕉20202| 操出白浆在线播放| 自线自在国产av| 亚洲国产av影院在线观看| 亚洲精品在线观看二区| 久久久久视频综合| 精品一品国产午夜福利视频| 久久久久精品国产欧美久久久| 人妻 亚洲 视频| 午夜久久久在线观看| 日韩欧美一区视频在线观看| 成人18禁高潮啪啪吃奶动态图| 宅男免费午夜| 脱女人内裤的视频| 亚洲av电影在线进入| 9191精品国产免费久久| 18禁美女被吸乳视频| 两性午夜刺激爽爽歪歪视频在线观看 | 97人妻天天添夜夜摸| 亚洲国产欧美一区二区综合| 久热爱精品视频在线9| 日韩大码丰满熟妇| 久久婷婷成人综合色麻豆| 午夜精品久久久久久毛片777| 国产欧美日韩一区二区三区在线| 亚洲人成伊人成综合网2020| av天堂在线播放| aaaaa片日本免费| 久久久国产欧美日韩av| 国产精品免费大片| 国产精品国产av在线观看| 国产片内射在线| 亚洲第一青青草原| 久久99热这里只频精品6学生| 十八禁网站网址无遮挡| 亚洲av片天天在线观看| 日本a在线网址| 下体分泌物呈黄色| 免费人妻精品一区二区三区视频| 免费在线观看影片大全网站| 国产一区二区在线观看av| 色在线成人网| 亚洲欧洲日产国产| 日本精品一区二区三区蜜桃| 美女福利国产在线| 91av网站免费观看| 777久久人妻少妇嫩草av网站| 又大又爽又粗| 国产无遮挡羞羞视频在线观看| 欧美日韩视频精品一区| 好男人电影高清在线观看| 夜夜夜夜夜久久久久| 丁香欧美五月| 正在播放国产对白刺激| 99在线人妻在线中文字幕 | av线在线观看网站| 色综合欧美亚洲国产小说| 人妻 亚洲 视频| 丰满迷人的少妇在线观看| 亚洲熟妇熟女久久| 女人爽到高潮嗷嗷叫在线视频| 国产免费福利视频在线观看| 国产亚洲av高清不卡| 波多野结衣一区麻豆| 国产高清视频在线播放一区| 性少妇av在线| 日韩视频在线欧美| 久久国产精品人妻蜜桃| 国产精品九九99| 午夜91福利影院| 国产伦人伦偷精品视频| 国产精品99久久99久久久不卡| 视频在线观看一区二区三区| 亚洲精华国产精华精| 国产在视频线精品| 国产有黄有色有爽视频| 最近最新中文字幕大全电影3 | 免费观看av网站的网址| 精品福利观看| 亚洲熟女精品中文字幕| 乱人伦中国视频| 成年女人毛片免费观看观看9 | 国产午夜精品久久久久久| 亚洲午夜理论影院| 久久99一区二区三区| 九色亚洲精品在线播放| 欧美乱妇无乱码| 日韩制服丝袜自拍偷拍| 久久久国产一区二区| 亚洲第一青青草原| 大片免费播放器 马上看| 中文字幕另类日韩欧美亚洲嫩草| 一级黄色大片毛片| 69精品国产乱码久久久| tube8黄色片| 伦理电影免费视频| 成人免费观看视频高清| 在线十欧美十亚洲十日本专区| 中国美女看黄片| 12—13女人毛片做爰片一| 欧美成狂野欧美在线观看| 午夜精品国产一区二区电影| 一本—道久久a久久精品蜜桃钙片| 精品人妻在线不人妻| 9色porny在线观看| 成在线人永久免费视频| 激情在线观看视频在线高清 | 成人三级做爰电影| 99精品欧美一区二区三区四区| 亚洲欧美日韩高清在线视频 | 国产亚洲av高清不卡| 最黄视频免费看| 在线观看人妻少妇| 91大片在线观看| 视频区欧美日本亚洲| www日本在线高清视频| 午夜福利在线观看吧| 老熟妇仑乱视频hdxx| 在线av久久热| 亚洲视频免费观看视频| 少妇猛男粗大的猛烈进出视频| 亚洲精品中文字幕一二三四区 | 热99re8久久精品国产| 精品国产一区二区三区四区第35| 国产在线精品亚洲第一网站| 久久中文字幕人妻熟女| 少妇 在线观看| 18禁黄网站禁片午夜丰满| 日韩视频在线欧美| 久久99热这里只频精品6学生| 91av网站免费观看| 黄网站色视频无遮挡免费观看| 日本wwww免费看| 国产又色又爽无遮挡免费看| 久久青草综合色| 久久人妻熟女aⅴ| 亚洲欧美日韩另类电影网站| 亚洲国产av新网站| 日韩欧美一区二区三区在线观看 | 岛国在线观看网站| 中亚洲国语对白在线视频| 日韩免费av在线播放| 午夜激情久久久久久久| 日本黄色日本黄色录像| 在线 av 中文字幕| 久久香蕉激情| 日韩 欧美 亚洲 中文字幕| 黄片播放在线免费| 中文字幕人妻丝袜一区二区| 久久99热这里只频精品6学生| 欧美在线黄色| 日韩视频在线欧美| 黄色丝袜av网址大全| 国产精品影院久久| 久久99一区二区三区| 国产精品久久久久久精品电影小说| 高清黄色对白视频在线免费看| 水蜜桃什么品种好| 最近最新免费中文字幕在线| 不卡一级毛片| 国产国语露脸激情在线看| 国产在线一区二区三区精| 性少妇av在线| 国产淫语在线视频| 成人18禁在线播放| 宅男免费午夜| 人人澡人人妻人| 深夜精品福利| 欧美久久黑人一区二区| 久久天堂一区二区三区四区| 久久ye,这里只有精品| kizo精华| 日日摸夜夜添夜夜添小说| 国产成人精品在线电影| 精品久久久精品久久久| 男女之事视频高清在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 极品教师在线免费播放| 国产亚洲精品一区二区www | a级毛片在线看网站| 我要看黄色一级片免费的| 日本a在线网址| 成人永久免费在线观看视频 | 色婷婷久久久亚洲欧美| 亚洲黑人精品在线| 免费日韩欧美在线观看| av网站免费在线观看视频| 国产精品久久久久久精品电影小说| 纵有疾风起免费观看全集完整版| 曰老女人黄片| 男女边摸边吃奶| 国产高清视频在线播放一区| 午夜久久久在线观看| 露出奶头的视频| 亚洲中文字幕日韩| 久久久久久亚洲精品国产蜜桃av| 国产一卡二卡三卡精品| 91九色精品人成在线观看| 又大又爽又粗| 欧美av亚洲av综合av国产av| 99精品在免费线老司机午夜| av超薄肉色丝袜交足视频| 欧美+亚洲+日韩+国产| 国产高清国产精品国产三级| 免费女性裸体啪啪无遮挡网站| 12—13女人毛片做爰片一| 夫妻午夜视频| 久久中文字幕人妻熟女| 欧美亚洲日本最大视频资源| 午夜激情久久久久久久| 五月开心婷婷网| 国产精品亚洲一级av第二区| 在线av久久热| 国产午夜精品久久久久久| 亚洲专区国产一区二区| 国产精品亚洲av一区麻豆| 91精品三级在线观看| 欧美日韩av久久| 午夜老司机福利片| 国产精品国产av在线观看| 一本大道久久a久久精品| 最黄视频免费看| 一进一出好大好爽视频| 日韩免费高清中文字幕av| 美女主播在线视频| 一进一出好大好爽视频| 99国产精品一区二区三区| bbb黄色大片| 国产91精品成人一区二区三区 | 这个男人来自地球电影免费观看| 免费黄频网站在线观看国产| 啦啦啦中文免费视频观看日本| 亚洲精华国产精华精| 97在线人人人人妻| 精品国内亚洲2022精品成人 | a级毛片在线看网站| 99久久人妻综合| 国产一区二区 视频在线| 欧美精品一区二区大全| 老汉色∧v一级毛片| 久久久久精品国产欧美久久久|