• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    RoBERTa融合BiLSTM及注意力機制的隱式情感分析

    2022-12-06 10:30:16沈凡凡何炎祥
    計算機工程與應(yīng)用 2022年23期
    關(guān)鍵詞:分類特征文本

    張 軍,張 麗,沈凡凡,譚 海,何炎祥

    1.東華理工大學(xué) 信息工程學(xué)院,南昌 330013

    2.東華理工大學(xué) 江西省放射性地學(xué)大數(shù)據(jù)技術(shù)工程實驗室,南昌 330013

    3.武漢大學(xué) 計算機學(xué)院,武漢 430072

    4.南京審計大學(xué) 計算機學(xué)院,南京 211815

    文本情感分析是指利用自然語言處理和文本挖掘技術(shù)對帶有情感色彩的主觀性文本進行分析、處理和抽取的過程[1]。文本情感分為顯示情感和隱式情感[2]。顯示情感含有明顯的情感詞,使得文本情感容易被區(qū)分;而隱式情感文本中不含有顯示情感詞,這使得文本情感分析變得困難,但是可以表達出比顯示情感更加豐富多彩的情感,這對當今互聯(lián)網(wǎng)時代來說顯得尤為重要。例如,商家可以對用戶評論中隱藏的情感進行分析,以此對自己的產(chǎn)品進行優(yōu)化,從而更好地滿足用戶需求。但是隱式情感通常表達比較含蓄、不直觀,導(dǎo)致隱式情感的分析與特征提取比較困難,因此隱式情感分析在自然語言處理中成為亟需解決的難點之一[3]。

    近年來,自然語言處理領(lǐng)域中針對文本情感分析的研究層出不窮,王麗亞等人[4]針對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)中同層神經(jīng)元之間特征信息無法充分利用、缺乏句子整體特征表示、限制模型的特征學(xué)習(xí)能力等問題,提出了基于CNN-BiGRU聯(lián)合網(wǎng)絡(luò)并引入注意力機制的模型,有效地提高了文本分類的準確率。翟社平等人[5]針對雙語文本情感分析方法稀缺及準確率較低的問題,根據(jù)同一英文詞匯在不同語境下具有不同文本情感作用這一特點,提出了基于注意力機制和雙向長短期記憶網(wǎng)絡(luò)(bi-directional long short term memory,BiLSTM)的雙語文本情感分析模型,提高了雙語文本情感分析的準確率。陶永才等人[6]認為單一的文本詞向量不能全面表示文本中的情感特征信息,且無法有效捕獲文本和標簽之間的聯(lián)系,提出了一種基于多特征融合的短文本情感分析模型,從多特征矩陣中學(xué)習(xí)到句子中更全面的情感信息,使得短文本情感分析能力得到了有效提升。

    目前關(guān)于情感分析的大部分研究以顯示情感分析為主,忽略了對隱晦情感表達的文本進行分析,但不少文本情感分析應(yīng)用場景中又經(jīng)常出現(xiàn)帶有隱式情感的文本。相較于顯示情感分析,隱式情感分析面臨著更多更具復(fù)雜性的挑戰(zhàn)[7]:(1)隱式情感文本不含顯示情感詞,語言表達比較含蓄,使得基于情感詞典的方法和基于詞袋模型的文本表示不再有效;(2)隱式情感與語境和主觀表達聯(lián)系密切,缺乏通用性,使得對語義本身的理解更加困難。表1展示了蘊含不同情感的隱式情感句示例。

    表1 隱式情感句示例Table 1 Samples ofimplicit sentiment sentences

    表1中,中性隱式情感句是對客觀事實進行陳述,不摻雜任何隱式情感,相對容易區(qū)分;褒義情感句營造了令人心曠神怡、十分愜意的氛圍;貶義情感句側(cè)面反映了動物園的人流量大,影響游客觀看動物的心情。這些看似普通的文本實則包含了不同的隱式情感,使得這些文本的情感分析更具挑戰(zhàn)性。

    針對隱式情感分析中不含顯示情感詞引起的文本情感識別困難的問題,Zhang等人[8]研究發(fā)現(xiàn)使用一些領(lǐng)域名詞以及名詞短語能夠隱晦表達情感,針對句子中被忽略的具有隱式情感傾向的名詞短語問題,提出了一種識別具有隱式情感領(lǐng)域名詞特征的方法,通過修改特征的意見詞和上下文語境來確定特征極性。趙容梅等人[9]利用卷積神經(jīng)網(wǎng)絡(luò)對文本進行特征提取,并結(jié)合長短期記憶網(wǎng)絡(luò)(long short term memory,LSTM)[10]結(jié)構(gòu)提取上下文信息,并且在網(wǎng)絡(luò)中加入注意力機制,構(gòu)建了一種新型混合神經(jīng)網(wǎng)絡(luò)中文隱式情感分析模型。隱式情感的識別通常還需要引入其他包含隱式情感的特征和知識。黃山成等人[11]根據(jù)文本的隱式情感極性與句中實體詞、上下文語境、外部知識相關(guān)的特點,提出一種基于ERNIE2.0-BiLSTM-Attention的隱式情感分析方法,能夠較好捕捉隱式情感句的語義及上下文信息,有效提升了隱式情感的識別能力。陳秋娥等人[12]分析認為現(xiàn)有序列化模型的中文隱式情感分析中的特征信息提取不夠準確,對篇章級的文本信息提取存在梯度爆炸或梯度消失的問題,提出了融合雙向長短時神經(jīng)網(wǎng)絡(luò)和樹形遞歸神經(jīng)網(wǎng)絡(luò)(context-aware tree recurrent neutral network,CA-TRNN)的并行混合模型,有效提高了分類結(jié)果的準確率,并且時間代價小,具有更好的適用性。

    然而,上述研究仍然存在隱式情感特征提取不夠準確的問題。對此,本文提出了一種基于RoBERTa的融合模型——RoBERTa-BiLSTM-Attention(RBLA)模型,通過優(yōu)化隱式情感分析任務(wù)中隱式情感特征的提取機制,進一步提高隱式情感分類的精確率。本文的主要貢獻如下:

    (1)使用RoBERTa模型進行語言預(yù)訓(xùn)練,在增加訓(xùn)練數(shù)據(jù)的基礎(chǔ)上使用更大的batch size,同時采用動態(tài)Masking機制對長句序列進行訓(xùn)練,有效捕捉了隱式情感句中詞語的語義特征。

    (2)使用BiLSTM對隱式情感文本的上下文進行特征提取,彌補了預(yù)訓(xùn)練模型遺忘上下文信息的缺陷,可以更加準確地捕獲隱式情感文本的上下文特征。

    (3)引入Attention機制,對隱式情感文本中不同分類的隱式情感詞進行權(quán)重計算,避免了重要語義信息的丟失,可有效捕捉隱式情感文本中包含的隱式情感特征,并探究了Attention機制對RBLA模型在不同隱式情感分類中的影響。

    1 相關(guān)原理

    1.1 RoBERTa預(yù)訓(xùn)練模型

    RoBERTa模型[13]是在BERT預(yù)訓(xùn)練模型[14]的基礎(chǔ)上加以改進得到的。RoBERTa主要針對BERT做了三點改進[13]:(1)采用動態(tài)Masking機制,每次向模型輸入一個序列時,都會生成一種新的遮蓋方式。(2)刪除了Next Sentence Prediction(NSP)任務(wù)。(3)增加了預(yù)訓(xùn)練過程的語料規(guī)模,擴大Batch Size的同時增加了訓(xùn)練時的步長。

    與BERT模型一致,RoBERTa模型同樣使用多個雙向Transformer模型[15]的encoder部分堆疊組成主體框架,能更徹底地捕捉文本中的雙向關(guān)系。圖1展示了Transformer模型的encoder邏輯結(jié)構(gòu)。

    圖1 Transformer-encoder邏輯結(jié)構(gòu)Fig.1 Logical structure of Transformer-encoder

    圖1中,詞向量表示單詞在整個語料庫中的位置信息;位置編碼表示單詞出現(xiàn)在句子中的位置,用于模型感知詞與詞之間的位置信息。詞向量和位置編碼相加作為encoder的輸入X。多頭注意力機制模塊使用多個獨立的Attention模塊對輸入層的信息進行并行計算,可有效防止產(chǎn)生過擬合現(xiàn)象。殘差連接和層歸一化層是由殘差連接和層歸一化兩部分組成。層歸一化將每一層神經(jīng)元的輸入都轉(zhuǎn)化為均值方差,以增加非線性變化。殘差連接部分將輸入X和一個非線性變換F(X)進行線性疊加,并將疊加后的結(jié)果作為輸出。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,F(xiàn)(X)表示殘差,F(xiàn)(X)與X維度一致。

    圖2 殘差連接網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Residual connection network structure

    前饋神經(jīng)網(wǎng)絡(luò)層利用公式(1)對encoder的輸入進行計算,生成相應(yīng)的向量矩陣We。該網(wǎng)絡(luò)層主要包含一個兩層的全連接層,其中,第一層使用了Relu激活函數(shù),使收斂速度更快,計算更加高效。

    公式(1)中,W1與W2表示兩個全連接層之間的權(quán)重矩陣,b1與b2表示兩個全連接層之間的偏置項。

    1.2 長短期記憶網(wǎng)絡(luò)(LSTM)

    LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[16]的一個變體,有效緩解了RNN中存在的梯度消失問題。圖3展示了LSTM邏輯結(jié)構(gòu),該結(jié)構(gòu)中包括遺忘門、輸入門和輸出門,分別實現(xiàn)LSTM的遺忘階段、選擇記憶階段和輸出階段。

    圖3 LSTM邏輯結(jié)構(gòu)Fig.3 Logical structure of LSTM

    圖3中,ft、it和ot分別表示遺忘門、輸入門和輸出門;ht-1為上一時刻的輸出,xt表示詞嵌入,二者一起作為LSTM的輸入;Ct表示細胞狀態(tài),Ct-1表示上一時刻細胞狀態(tài),保留了未被遺忘的歷史信息;ht為t時刻的輸出的隱藏層狀態(tài)。

    遺忘門是對上一時刻的輸出進行選擇性遺忘,其計算如公式(2)所示。其中,Wf表示權(quán)重矩陣,bf為偏置參數(shù)。

    輸入門用于更新細胞狀態(tài)。上一個時刻的輸出ht-1和當前輸入的信息xt通過sigmoid激活函數(shù)計算生成需要更新的信息it,計算如公式(3)所示;它們再通過tanh函數(shù)計算生成一個新的候選值向量C?t,計算如公式(4);最后,利用公式(5)計算得到新的細胞狀態(tài)Ct。公式(3)~(5)中,Wi、Wc表示權(quán)重矩陣,bi,bc為偏置參數(shù)。

    輸出門用來確定下一個隱藏狀態(tài)ht的值,其輸入為前一個隱藏層狀態(tài)信息ht-1和當前輸入xt,通過sigmoid激活函數(shù)對其進行計算,篩選出需要記住的重要信息,計算如公式(6)所示;之后利用tanh函數(shù)對輸入門新產(chǎn)生的細胞狀態(tài)Ct進行非線性化處理,輸出t時刻的隱藏層狀態(tài)ht,計算過程如公式(7)所示。公式(6)和(7)中,Wo∈Rdh×dk表示權(quán)重矩陣,bo∈Rdh為偏置參數(shù)。

    其中,·和?分別表示矩陣乘法和元素乘法。

    2 RBLA模型

    2.1 任務(wù)定義

    本文的隱式情感分析任務(wù)是對隱式情感句進行三分類(中性、褒義、貶義)。隱式情感句的上下文情感對隱式情感句的分類任務(wù)有著重要影響,對此,本文不僅捕捉隱式情感句本身的情感特征,還對隱式情感句上下文的情感特征進行提取。

    本文對隱式情感句分類任務(wù)可以定義為:對于給定的任意隱式情感句Xt及其對應(yīng)的上下文句子Xc,對其進行預(yù)測Xt和Xc對應(yīng)的Pt。公式(8)定義了隱式情感句的分類任務(wù)。

    公式(8)中,Xt表示隱式情感句包含的語義情感特征,用矩陣形式表示為Xt=(Xt1,Xt2,…,Xtn),其中,n表示隱式情感句中包含的詞語數(shù)量,Xtn表示隱式情感句Xt的第n個詞語的情感特征。Xc表示隱式情感句上下文句子中包含的語義情感特征,用矩陣形式表示為Xc=(Vtc1,Vtc2,…,Vtcn),其中,Vtcn表示隱式情感句Xt對應(yīng)的上下文語句的第n個詞語的情感特征。Pt表示隱式情感句Xt所屬類別的概率,其中pt0表示的是該隱式情感句為中性的概率,pt1表示的是該隱式情感句為褒義的概率,pt2表示的是該隱式情感句為貶義的概率。

    2.2 RBLA模型結(jié)構(gòu)

    針對隱式情感分析面臨的句中隱藏情感捕捉困難等問題,本文提出了一種基于RoBERTa的RBLA融合模型,利用大規(guī)模預(yù)訓(xùn)練模型RoBERTa學(xué)習(xí)隱式情感句中字詞的語義特征。該模型融合了雙向長短期記憶網(wǎng)絡(luò)和注意力機制,捕獲句子間的依賴關(guān)系,可有效提取文本中深層次的隱式情感特征,從而可更好地提升隱式情感分析模型的性能。RBLA模型包括輸入層、預(yù)訓(xùn)練模型層、BiLSTM層、Attention層、全連接層和輸出層,其模型結(jié)構(gòu)如圖4所示。

    圖4 RBLA模型邏輯結(jié)構(gòu)Fig.4 Logical structure of RBLA model

    2.3 輸入層

    本文模型的輸入層將輸入文本中的每個詞語通過one-hot編碼表示法轉(zhuǎn)換為相對應(yīng)的向量。首先將分類值映射成整數(shù)值,然后將每個整數(shù)值表示為二進制向量,再使用位置編碼保存單詞在序列中的相對或絕對位置、感知詞與詞之間的位置信息,將得到的詞向量與位置編碼相加生成的詞嵌入向量作為預(yù)訓(xùn)練層中的輸入,表示為,其中,E的維度大小為n×d。輸入層邏輯結(jié)構(gòu)如圖5所示。其中,[CLS]表示起始位置分隔符,[SEP]表示句子結(jié)束標識符。

    圖5 輸入層邏輯結(jié)構(gòu)Fig.5 Logical structure of input layer

    2.4 RoBERTa層

    本文模型的RoBERTa層采用了12層的Transformer雙向編碼器作為隱式情感句的特征提取器。RBLA模型輸入層中的每個詞嵌入向量經(jīng)過RoBERTa層編碼運算后,可實現(xiàn)詞嵌入向量之間的雙向關(guān)聯(lián),使得模型能學(xué)習(xí)到不同語境下每個詞嵌入向量包含的語義特征。

    RoBERTa層采用動態(tài)Masking機制對詞嵌入向量進行預(yù)訓(xùn)練,其結(jié)構(gòu)如圖6所示。該層需要進行兩個預(yù)訓(xùn)練任務(wù)。第一個任務(wù)需將詞嵌入向量復(fù)制10份,每份都隨機選擇15%的Tokens進行動態(tài)遮蓋,使得在大量數(shù)據(jù)不斷輸入的過程中,模型會逐漸適應(yīng)不同的掩碼策略,學(xué)習(xí)到不同的語言表征。第二個任務(wù)則使用FULL-SENTENCES訓(xùn)練方式,從多角度學(xué)習(xí)來自輸入層的詞嵌入向量,豐富語義信息,并將當前的輸出輸入到前饋神經(jīng)網(wǎng)絡(luò)層,以加快收斂速度。詞向量E經(jīng)過RoBERTa層編碼后得到隱式情感文本中每個隱式情感詞在不同語境下所包含的情感特征為Xt=(Xt1,Xt2,…,Xtn)。

    圖6 RoBERTa層邏輯結(jié)構(gòu)圖Fig.6 Logical structure of RoBERTa layer

    2.5 BiLSTM層

    在文本情感分類任務(wù)中,當前時刻的輸出不僅和當前時刻之前的狀態(tài)有關(guān),還可能和當前時刻之后的狀態(tài)有關(guān)系。雙向長短期記憶網(wǎng)絡(luò)BiLSTM是由一個正向處理序列的LSTM和一個反向處理序列的LSTM組成,可對輸入的上下文信息進行深層次特征提取,從而有效捕捉隱式情感句上下文中包含的情感特征。因此,本文模型在RoBERTa層后引入了BiLSTM層,利用BiLSTM對隱式情感文本的上下文進行特征提取,以更加準確地捕獲隱式情感文本的上下文全局特征信息,從而彌補RoBERTa層中預(yù)訓(xùn)練模型容易遺忘上下文信息的缺陷。BiLSTM的邏輯結(jié)構(gòu)如圖7所示。在BiLSTM層中,兩個反向的LSTM共同決定了BiLSTM的最終輸出。對于每個時刻t,輸入信息會同時提供給正反兩個方向的LSTM。

    圖7 BiLSTM的邏輯結(jié)構(gòu)Fig.7 Logical structure of BiLSTM

    雙向長短期記憶網(wǎng)絡(luò)對隱式情感文本進行特征提取時,第一層的正向長短期記憶網(wǎng)絡(luò)對t時刻的輸入信息xt與t-1時刻的輸出信息St-1進行正向運算得到t時刻的正向輸出信息St,其計算如公式(9)所示;第二層反向長短期記憶網(wǎng)絡(luò)對t時刻的輸入信息xt與t+1時刻的輸出信息Lt+1進行反向運算得到t時刻的反向輸出信息Lt,其計算如公式(10)所示;隱藏層將正反向的運算結(jié)果保存下來共同決定雙向長短期記憶網(wǎng)絡(luò)在t時刻最終的輸出結(jié)果Vt,其計算如公式(11)所示:

    其中,W、U、V代表正向計算的權(quán)重矩陣,W"、U"、V"代表反向計算的權(quán)重矩陣。通過BiLSTM層輸出隱式情感句上下文中隱式情感詞包含的情感特征,表示為Xc=(Vtc1,Vtc2,…,Vtcn)。

    2.6 注意力機制層

    為了有效突出隱式情感文本中隱含的重要信息,本文提出的RBLA模型還引入了注意力機制,對BiLSTM層的輸出詞向量依據(jù)其重要性分配高低不同的權(quán)重值,可減少預(yù)測所需的可學(xué)習(xí)權(quán)重的數(shù)量,從而更高效地學(xué)習(xí)目標詞周圍句子的上下文嵌入語義。同時還可以在對每個輸入詞向量的權(quán)重系數(shù)再次加權(quán)平均時,有效過濾原文本中存在冗余信息和噪聲,從而進一步提高分類的精度。

    注意力機制層首先對BiLSTM層輸出的隱式情感句上下文包含的情感特征Xc進行計算,得到其隱含表示H,其計算如公式(12)所示;然后計算H與隨機初始化參數(shù)矩陣WT的相似度,將輸入的每個詞向量在整體語義場景下分配的權(quán)重系數(shù)用softmax函數(shù)進行歸一化處理,得到每個詞向量的標準化權(quán)重α,其計算如公式(13)所示;最后將得到的權(quán)重矩陣αT與BiLSTM層輸出的隱式情感句上下文的情感特征信息Xc相乘得到最終的加權(quán)輸出Y,Y即是捕獲到的隱式情感文本中包含的隱式情感特征,其計算如公式(14)所示:

    其中,Wa表示注意力層權(quán)重矩陣,ba表示注意力機制層的偏置項。

    2.7 全連接層

    本文模型的全連接層將隱式情感傾向相關(guān)的融合分布式特征表示映射到實例標簽空間,對隱式情感文本進行分類。將注意力機制層的輸出Y輸入到全連接層,與全連接層權(quán)重矩陣Wd計算后輸出M,計算如公式(15)所示:

    其中,bd表示全連接層的偏置項。

    2.8 輸出層

    本文模型的輸出層采用softmax函數(shù)對全連接層的輸出信息M進行歸一化處理,得到隱式情感文本中每個隱式情感詞的概率值m,通過隱式情感句中m值最大的隱式情感詞判斷隱式情感句的情感傾向。計算過程如公式(16)所示:

    其中,Ws表示輸出層參數(shù)矩陣,b為輸出層的偏置項。

    3 實驗結(jié)果與分析

    3.1 數(shù)據(jù)集與預(yù)處理

    本文評測使用的數(shù)據(jù)集來源于2021年舉辦的第十屆全國社會媒體處理大會中文隱式情感分析評測數(shù)據(jù)集。該數(shù)據(jù)集主要來源于各大產(chǎn)品論壇、旅游網(wǎng)站、新浪微博,內(nèi)容包括旅游、國考、傳統(tǒng)節(jié)日、春節(jié)聯(lián)歡晚會、霧霾等方面。該數(shù)據(jù)集使用了一個大規(guī)模情感詞典對所有包含顯式情感詞的文本進行過濾,并對剩下不含顯式情感詞的數(shù)據(jù)進行標注。其中,無情感傾向的數(shù)據(jù)被標注為標簽0、具有褒義隱式情感傾向的數(shù)據(jù)被標注為標簽1、具有貶義隱式情感傾向的數(shù)據(jù)被標注為標簽2。該數(shù)據(jù)集相關(guān)信息如表2所示。

    表2 數(shù)據(jù)集信息表Table 2 Datasets information

    由于數(shù)據(jù)集中的樣本數(shù)量不平衡,本文采用了Easy Ensemble采樣方法[17]對訓(xùn)練數(shù)據(jù)進行隨機下采樣。為了保障采樣質(zhì)量,每次抽樣過程均獨立采樣,對數(shù)據(jù)量大的類別降低抽樣比例,對數(shù)據(jù)量小的類別提高抽樣比例。實驗過程中,對數(shù)據(jù)集進行10次采樣后,生成了相對平衡的測試數(shù)據(jù)集。再結(jié)合CleanLab數(shù)據(jù)清洗方法對生成的新數(shù)據(jù)集進行數(shù)據(jù)交叉清洗,去除數(shù)據(jù)集中的異常點。為了增強本文模型的泛化能力,在不改變原文語義的情況下,本文還對數(shù)據(jù)進行了增強處理。在下采樣的過程中,本文使用了NLPCDA工具包[18]對數(shù)據(jù)進行增強操作,利用隨機同義詞替換方法對數(shù)據(jù)集進行擴充。

    3.2 參數(shù)設(shè)置

    為了在隱式情感分析數(shù)據(jù)集上取得更優(yōu)的分類結(jié)果,本實驗進行了一些超參數(shù)設(shè)置,如表3所示。其中,Batch Size表示每個batch中訓(xùn)練樣本數(shù)量,BiLSTM網(wǎng)絡(luò)層的兩層LSTM設(shè)置相同的隱藏層單元數(shù),Epoch表示訓(xùn)練迭代次數(shù),LR表示學(xué)習(xí)率。實驗采用了Dropout方法緩解過擬合現(xiàn)象。

    表3 參數(shù)設(shè)置Table 3 Parameter settings

    考慮到本次實驗使用的計算平臺算力有限,Batch Size值設(shè)為32。BiLSTM網(wǎng)絡(luò)層的隱藏單元數(shù)在實驗過程中分別設(shè)置了64、128、256三個值,當其取值128時分類效果最好,因此,將BiLSTM網(wǎng)絡(luò)層的隱藏單元數(shù)設(shè)為128。通過類似的實驗方法確定了LR參數(shù)的取值。參數(shù)Epoch和Dropout的取值分析如3.5.3小節(jié)所述。

    3.3 評價方法

    實驗采用準確率P、召回率R以及F1值等3個指標評價模型性能,其計算分別如公式(17)~(19)所示。

    (1)精確率P表示正樣本預(yù)測為正樣本的數(shù)量占所有預(yù)測為正樣本的比重,計算如公式(17)所示:

    (2)召回率R表示正樣本預(yù)測為正樣本的數(shù)量占所有實際類別為正的樣本數(shù)量的比重,計算如公式(18)所示:

    (3)F1值為精確率和召回率的加權(quán)調(diào)和平均值,計算如公式(19)所示:

    其中,TP表示將正樣本預(yù)測為正樣本的數(shù)量;FN表示將正樣本預(yù)測為負樣本的數(shù)量;FP表示將負樣本預(yù)測為正樣本的數(shù)量。

    3.4 對比模型

    為了驗證RBLA模型在隱式情感分析任務(wù)中的有效性,本文進行了兩種類別的對比實驗。第一種是將RBLA模型與幾種典型的現(xiàn)有文本分類模型進行比較;第二種是探究注意力機制對本文模型的影響。本文實驗共與以下六種文本分類模型進行了對比。

    (1)LSTM:通過學(xué)習(xí)句子的語義信息,獲取句子間依賴關(guān)系的傳統(tǒng)文本分類模型。

    (2)LSTM-Attention[19]:在長短期記憶網(wǎng)絡(luò)中引入注意力機制的隱式情感分析模型。

    (3)BERT:使用BERT預(yù)訓(xùn)練模型做隱式情感文本分類任務(wù)。

    (4)RoBERTa:使用RoBERTa預(yù)訓(xùn)練模型做隱式情感文本分類任務(wù)。

    (5)EBA(ERNIE-BiLSTM-Attention):使用ERNIE2.0預(yù)訓(xùn)練模型進行文本表示,再利用BiLSTM+Attention混合網(wǎng)絡(luò)將其輸出文本表示進行隱式情感分析。

    (6)CA-TRNN[20]:使用BiLSTM和TRNN兩個模型分別對上下文和目標情感語句進行建模的隱式情感分析模型。

    3.5 實驗結(jié)果與分析

    3.5.1 本文模型對比當前流行的分類模型

    為了驗證RBLA模型在隱式情感分類中的整體性能,分別與上述六種模型進行了對比實驗,測試了它們的精確率、召回率和F1值,其實驗結(jié)果如表4所示。

    表4 實驗結(jié)果對比Table 4 Comparison of experimental results單位:%

    從表4可以看出,RBLA模型與LSTM-Attention、LSTM、BERT和RoBERTa四種基線模型中性能表現(xiàn)最好的RoBERTa模型相比,RBLA模型在精確率、召回率和F1值上分別高出了3.07、2.12和1.01個百分點。這說明相較于典型的基線模型,本文提出的RBLA融合模型在隱式情感分析任務(wù)上具有更好的性能。另外,與當前主流的CA-TRNN和EBA兩種隱式情感分析模型中分類效果最好的EBA模型相比,RBLA模型在精確率、召回率和F1值上分別高出了EBA模型1.44、2.72和1.42個百分點。這說明相較于主流的融合模型,本文的RBLA融合模型在RoBERTa預(yù)訓(xùn)練模型的基礎(chǔ)上融合雙向長短期記憶網(wǎng)絡(luò)和注意力機制后,更加準確地捕獲了隱式情感文本中的隱含情感特征,對隱式情感分析的整體效果得到了有效提升。

    3.5.2 探究注意力機制對本文模型的影響

    本文將隱式情感文本的情感傾向類別定義為中性、褒義和貶義三種,分別用標簽0、1、2表示。為了探究RBLA模型方法中注意力機制對情感分類的影響,對RBLA模型和不加注意力機制的RBL(Roberta-BiLSTM)模型進行了隱式情感分類性能對比,實驗結(jié)果如表5所示。

    表5 情感分類結(jié)果對比Table 5 Comparison of emotion classification results單位:%

    從表5可以看出,本文提出的RBLA模型在中性、褒義和貶義三種情感分類的精確率上分別高出RBL模型1.63、0.71和1.73個百分點。同樣,相較于RBL模型,RBLA模型在中性情感分類和貶義情感分類的F1值上分別高出0.72和0.78個百分點,在褒義情感分類的召回率上高出1.04個百分點。雖然RBLA模型在中性情感和貶義情感分類的召回率及褒義情感分類的F1值上略低于RBL模型,但從整體性能上看,RBLA模型在精確率和F1值上均高于RBL模型。

    3.5.3 模型參數(shù)分析

    為了進一步提高模型預(yù)測精確率,實驗還采用Dropout方法緩解過擬合現(xiàn)象。Dropout取值不同會影響模型的輸出結(jié)果。為了設(shè)置合理的Dropout值,進行了多組實驗。從圖8中可以看出,當Dropout取值為0.5時,各項指標值最高,提高了模型的泛化能力。因此,Dropout參數(shù)取值為0.5。

    圖8 Dropout曲線Fig.8 Dropout curve

    為了進一步展示本文提出的RBLA模型的優(yōu)越性,本文對該模型的訓(xùn)練過程進行了進一步探究。為了反映實驗在迭代過程中的動態(tài)變化,本次進行了10次迭代實驗。先對整體損失率進行了動態(tài)刻畫,再對不同的情感的精確率、召回率和F1值分別進行了動態(tài)刻畫,實驗結(jié)果如圖9~圖12所示。

    圖9 整體損失率變化圖Fig.9 Variation of loss rate

    圖12 不同情感的F1值Fig.12 F1 values of different sentiments

    圖11 不同情感的召回率Fig.11 Recall rate of different sentiments

    圖9展示了RBLA模型訓(xùn)練過程中的loss值整體變化趨勢,在第10次迭代完成時,趨于收斂。因此,將參數(shù)Epoch的值設(shè)為10。

    為了驗證Epoch參數(shù)取值的有效性,還對RBLA模型的精確率、召回率和F1值的收斂情況進行了實驗分析。從圖10~圖12可以看出,當Epoch取值為10時,RBLA模型的精確率、召回率和F1值均趨于收斂。

    圖10 不同情感的精確率Fig.10 Precision rate of different emotions

    另外,從圖10~圖12還可以看出,RBLA模型對中性情感的預(yù)測具有最佳效果。而在預(yù)測褒義情感分類時,精確率、召回率和F1值相較于其他兩種情感整體偏低。褒義情感在三種情感分類中的初始指標值最低,說明隱式文本中的褒義情感識別難度更大。但是,在模型訓(xùn)練過程中,RBLA在隱式文本的褒義情感分類性能上也取得了較好的提升,褒義情感的各項指標的增長率均高于中性情感和貶義情感。

    3.5.4 實例分析

    為了進一步分析RBLA模型提取的隱式情感特征在隱式情感分類中的有效性,本文從數(shù)據(jù)集中抽取了幾個隱式情感例句與其他模型進行對比分析,如表6所示。其中,“多數(shù)模型”代表本文在3.4節(jié)中選取的對比模型中大部分模型得出的結(jié)果,“少數(shù)模型”代表本文在3.4節(jié)中選取的對比模型中小部分模型得出的結(jié)果。

    表6 情感句對比Table 6 Comparison of emotional sentence

    從表6中的1、2句可以看出,RBLA模型和大部分對比模型在中性情感句上都已具有較好的分析效果。從3、4句可以看出,對褒義情感句進行情感傾向判斷時的準確率較低,難度較大,但RBLA模型相較于大部分對比模型在褒義情感句上的分析效果最好。從5、6句可以看出,RBLA模型相較于其他對比模型在貶義情感句上的分析效果最優(yōu)。更有力地說明了本文提出的RBLA模型在隱式情感分析任務(wù)上有效提高了隱式情感特征提取的準確性。

    4 結(jié)語

    針對隱式情感文本中隱式情感特征捕捉不夠準確導(dǎo)致的情感傾向分析困難問題,本文提出了基于RoBERTa融合雙向長短期記憶網(wǎng)絡(luò)和注意力機制的RBLA模型。該模型使用RoBERTa模型捕獲隱式情感句中字詞的語義特征,再使用BiLSTM學(xué)習(xí)句子的正反向語義信息,捕獲句子間的依賴關(guān)系,以此對隱式情感句上下文進行深層次的特征提取,最后使用注意力機制對包含隱式情感的情感詞進行權(quán)重計算,突出文本中隱含的重要情感信息,進一步提升了隱式情感分析的性能。通過實驗結(jié)果可以看出,與現(xiàn)有的幾種典型的隱式情感文本分類模型相比,本文提出的RBLA模型在隱式情感分析的整體性能上得到了有效提升。

    從實驗結(jié)果來看,褒義隱式情感分類效果不如中性隱式情感和貶義隱式情感分類效果好。本文接下來將對隱式情感分析中的褒義情感分類開展更深層次的研究。

    猜你喜歡
    分類特征文本
    分類算一算
    如何表達“特征”
    在808DA上文本顯示的改善
    不忠誠的四個特征
    當代陜西(2019年10期)2019-06-03 10:12:04
    分類討論求坐標
    基于doc2vec和TF-IDF的相似文本識別
    電子制作(2018年18期)2018-11-14 01:48:06
    數(shù)據(jù)分析中的分類討論
    教你一招:數(shù)的分類
    抓住特征巧觀察
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    丰满人妻熟妇乱又伦精品不卡| 精品一品国产午夜福利视频| 久久久久久久国产电影| 一级a爱片免费观看的视频| 一二三四在线观看免费中文在| 一级,二级,三级黄色视频| 国产亚洲一区二区精品| 巨乳人妻的诱惑在线观看| 久久香蕉国产精品| 极品少妇高潮喷水抽搐| 免费日韩欧美在线观看| av天堂久久9| 欧美日韩视频精品一区| 亚洲黑人精品在线| 亚洲男人天堂网一区| 国产亚洲精品第一综合不卡| 午夜福利在线观看吧| 免费在线观看黄色视频的| 正在播放国产对白刺激| 又紧又爽又黄一区二区| 久久亚洲精品不卡| 叶爱在线成人免费视频播放| 99热网站在线观看| 国产成人精品久久二区二区免费| 999久久久国产精品视频| 黄片小视频在线播放| 极品教师在线免费播放| 黄色片一级片一级黄色片| 欧美久久黑人一区二区| 国产亚洲一区二区精品| 一进一出好大好爽视频| 久久亚洲真实| 在线播放国产精品三级| 女同久久另类99精品国产91| 日韩欧美一区二区三区在线观看 | 又大又爽又粗| 国产人伦9x9x在线观看| 黄网站色视频无遮挡免费观看| 久久精品熟女亚洲av麻豆精品| 91av网站免费观看| 中出人妻视频一区二区| 欧美日韩瑟瑟在线播放| 精品一品国产午夜福利视频| 色精品久久人妻99蜜桃| 亚洲精品国产色婷婷电影| 亚洲一区中文字幕在线| 精品一品国产午夜福利视频| 中国美女看黄片| 人妻久久中文字幕网| av电影中文网址| 黑人巨大精品欧美一区二区蜜桃| 黑丝袜美女国产一区| 在线观看免费午夜福利视频| 美女福利国产在线| av中文乱码字幕在线| 久久精品人人爽人人爽视色| 精品无人区乱码1区二区| 脱女人内裤的视频| www.自偷自拍.com| 欧美激情高清一区二区三区| 99久久综合精品五月天人人| 国产精品一区二区精品视频观看| 热99久久久久精品小说推荐| 91国产中文字幕| 久久久久精品国产欧美久久久| 曰老女人黄片| 欧美午夜高清在线| 国产av又大| 丰满迷人的少妇在线观看| 麻豆成人av在线观看| 国产精品香港三级国产av潘金莲| 久久精品91无色码中文字幕| 久久ye,这里只有精品| 97人妻天天添夜夜摸| 美女午夜性视频免费| 国产亚洲精品久久久久5区| 日本vs欧美在线观看视频| 一级毛片高清免费大全| 91成人精品电影| 成在线人永久免费视频| 大码成人一级视频| 水蜜桃什么品种好| 一本一本久久a久久精品综合妖精| 欧美亚洲 丝袜 人妻 在线| 一级作爱视频免费观看| 99热国产这里只有精品6| 正在播放国产对白刺激| 国产日韩一区二区三区精品不卡| 香蕉久久夜色| 精品国产超薄肉色丝袜足j| 亚洲av成人不卡在线观看播放网| 午夜影院日韩av| 婷婷精品国产亚洲av在线 | 午夜老司机福利片| 色尼玛亚洲综合影院| 啦啦啦视频在线资源免费观看| 欧美日韩av久久| ponron亚洲| 色在线成人网| 美女高潮喷水抽搐中文字幕| 叶爱在线成人免费视频播放| 在线观看午夜福利视频| 免费在线观看亚洲国产| 久久久久精品国产欧美久久久| 久久 成人 亚洲| 亚洲午夜精品一区,二区,三区| 国产乱人伦免费视频| 在线观看www视频免费| 国产亚洲av高清不卡| 91字幕亚洲| 80岁老熟妇乱子伦牲交| 深夜精品福利| 99精国产麻豆久久婷婷| 国产欧美亚洲国产| 精品视频人人做人人爽| 老熟妇仑乱视频hdxx| av有码第一页| 日韩熟女老妇一区二区性免费视频| 黑丝袜美女国产一区| 亚洲九九香蕉| 欧美日韩亚洲综合一区二区三区_| 天天添夜夜摸| 中文字幕另类日韩欧美亚洲嫩草| 黄色视频,在线免费观看| 亚洲av熟女| 欧美精品人与动牲交sv欧美| 久久久国产精品麻豆| 色94色欧美一区二区| 久久这里只有精品19| netflix在线观看网站| 亚洲美女黄片视频| 视频在线观看一区二区三区| av国产精品久久久久影院| 欧美+亚洲+日韩+国产| 国产精品自产拍在线观看55亚洲 | 啦啦啦免费观看视频1| 国产成人精品无人区| 欧美国产精品一级二级三级| 12—13女人毛片做爰片一| 岛国毛片在线播放| 亚洲第一欧美日韩一区二区三区| 亚洲中文字幕日韩| 亚洲性夜色夜夜综合| 久久久久视频综合| 999久久久精品免费观看国产| 天堂√8在线中文| 三级毛片av免费| 成人永久免费在线观看视频| 国产精品国产av在线观看| 久久精品亚洲av国产电影网| 亚洲一区二区三区不卡视频| 国产91精品成人一区二区三区| 久9热在线精品视频| 一区二区三区国产精品乱码| 国产高清激情床上av| 91国产中文字幕| 真人做人爱边吃奶动态| 久久久精品免费免费高清| 欧美日韩成人在线一区二区| 亚洲成人手机| 久久精品国产亚洲av香蕉五月 | 国产深夜福利视频在线观看| 国产精品久久久久久人妻精品电影| 久久久久精品国产欧美久久久| 国产精品久久久久久精品古装| 国产亚洲欧美在线一区二区| 高清av免费在线| 黑人巨大精品欧美一区二区mp4| 99国产精品免费福利视频| 一进一出抽搐动态| 欧美精品亚洲一区二区| 久久精品人人爽人人爽视色| 亚洲精品国产色婷婷电影| 飞空精品影院首页| 亚洲av熟女| 亚洲情色 制服丝袜| 亚洲专区中文字幕在线| av超薄肉色丝袜交足视频| 黄色怎么调成土黄色| 婷婷精品国产亚洲av在线 | 美女视频免费永久观看网站| 18禁美女被吸乳视频| 在线播放国产精品三级| 涩涩av久久男人的天堂| 欧美亚洲 丝袜 人妻 在线| 国产99久久九九免费精品| 村上凉子中文字幕在线| 中文欧美无线码| 中文字幕高清在线视频| 国产av一区二区精品久久| 波多野结衣一区麻豆| 91九色精品人成在线观看| 亚洲片人在线观看| 精品无人区乱码1区二区| 老熟妇乱子伦视频在线观看| 国产精品.久久久| 成熟少妇高潮喷水视频| 婷婷成人精品国产| 亚洲精品中文字幕一二三四区| 久久影院123| 男女午夜视频在线观看| 欧美精品一区二区免费开放| 激情在线观看视频在线高清 | 亚洲va日本ⅴa欧美va伊人久久| 精品乱码久久久久久99久播| 日本撒尿小便嘘嘘汇集6| 侵犯人妻中文字幕一二三四区| 欧美激情极品国产一区二区三区| 黑人猛操日本美女一级片| 国产精品综合久久久久久久免费 | 人妻 亚洲 视频| 99精品久久久久人妻精品| a级毛片黄视频| 精品人妻熟女毛片av久久网站| 女人被狂操c到高潮| 一区二区三区激情视频| 满18在线观看网站| 91在线观看av| 欧美日本中文国产一区发布| 欧美大码av| av天堂在线播放| 18在线观看网站| 亚洲中文日韩欧美视频| 高清视频免费观看一区二区| 色尼玛亚洲综合影院| 99久久人妻综合| 嫁个100分男人电影在线观看| 91九色精品人成在线观看| 99热只有精品国产| 日韩欧美在线二视频 | 午夜成年电影在线免费观看| 婷婷精品国产亚洲av在线 | 极品少妇高潮喷水抽搐| 国产精品偷伦视频观看了| 香蕉久久夜色| 色94色欧美一区二区| 久久ye,这里只有精品| 村上凉子中文字幕在线| 国产国语露脸激情在线看| 亚洲色图av天堂| 欧美日韩中文字幕国产精品一区二区三区 | 黄色 视频免费看| 亚洲av熟女| 精品高清国产在线一区| 亚洲av成人av| av天堂久久9| 亚洲国产毛片av蜜桃av| 美女 人体艺术 gogo| 亚洲中文字幕日韩| 久久精品国产亚洲av高清一级| 国产成人免费无遮挡视频| 日韩欧美一区视频在线观看| 老鸭窝网址在线观看| 黄片大片在线免费观看| 女人久久www免费人成看片| 人人妻人人澡人人看| 看黄色毛片网站| 999久久久精品免费观看国产| 免费少妇av软件| 亚洲一码二码三码区别大吗| 国产欧美日韩综合在线一区二区| 一级毛片女人18水好多| 老司机亚洲免费影院| 精品人妻在线不人妻| 两性夫妻黄色片| 美女福利国产在线| 天天影视国产精品| 视频在线观看一区二区三区| 亚洲在线自拍视频| 大型黄色视频在线免费观看| 午夜福利在线免费观看网站| 人妻久久中文字幕网| 一边摸一边做爽爽视频免费| 99精品欧美一区二区三区四区| 亚洲一卡2卡3卡4卡5卡精品中文| 搡老熟女国产l中国老女人| 国产不卡一卡二| 国产成人影院久久av| 精品国内亚洲2022精品成人 | 老汉色av国产亚洲站长工具| 久久久久国内视频| 欧美大码av| 精品一区二区三区视频在线观看免费 | 中文字幕最新亚洲高清| 日韩中文字幕欧美一区二区| 国产欧美日韩一区二区三| 色精品久久人妻99蜜桃| 免费观看精品视频网站| 国产又爽黄色视频| 一区在线观看完整版| 欧美最黄视频在线播放免费 | 日韩中文字幕欧美一区二区| 亚洲久久久国产精品| 亚洲精华国产精华精| 国产人伦9x9x在线观看| 国产在视频线精品| 国产精品 欧美亚洲| 香蕉久久夜色| 成人国产一区最新在线观看| 欧美午夜高清在线| 国产精品美女特级片免费视频播放器 | 精品国产超薄肉色丝袜足j| 久久国产精品男人的天堂亚洲| 香蕉丝袜av| svipshipincom国产片| 亚洲五月色婷婷综合| 亚洲国产毛片av蜜桃av| 久久中文字幕一级| 美女扒开内裤让男人捅视频| 欧美日韩精品网址| 日韩欧美三级三区| 在线观看免费午夜福利视频| 国产99久久九九免费精品| 999久久久国产精品视频| 国产欧美亚洲国产| 免费在线观看亚洲国产| 免费日韩欧美在线观看| 亚洲第一av免费看| 母亲3免费完整高清在线观看| 搡老乐熟女国产| 黄网站色视频无遮挡免费观看| 精品人妻熟女毛片av久久网站| 一进一出抽搐动态| 777久久人妻少妇嫩草av网站| 在线免费观看的www视频| 性少妇av在线| av免费在线观看网站| 啦啦啦 在线观看视频| 欧美中文综合在线视频| 欧美+亚洲+日韩+国产| 又大又爽又粗| 岛国在线观看网站| 啦啦啦 在线观看视频| 欧美国产精品一级二级三级| 老熟女久久久| 国产成人影院久久av| 午夜福利影视在线免费观看| 99re6热这里在线精品视频| 中出人妻视频一区二区| 国产高清视频在线播放一区| 电影成人av| 亚洲欧美一区二区三区久久| 亚洲成av片中文字幕在线观看| 精品欧美一区二区三区在线| 动漫黄色视频在线观看| 免费女性裸体啪啪无遮挡网站| 最近最新中文字幕大全电影3 | 超碰成人久久| 亚洲视频免费观看视频| 一级作爱视频免费观看| 一本大道久久a久久精品| 他把我摸到了高潮在线观看| 久99久视频精品免费| 国产精品99久久99久久久不卡| 久久精品亚洲精品国产色婷小说| 亚洲国产欧美网| www.999成人在线观看| 成人18禁在线播放| 欧美日韩精品网址| 亚洲视频免费观看视频| 在线av久久热| 欧美日韩瑟瑟在线播放| 国产成人精品在线电影| 免费观看精品视频网站| 日韩精品免费视频一区二区三区| a在线观看视频网站| 在线十欧美十亚洲十日本专区| 日韩三级视频一区二区三区| 欧美日韩亚洲国产一区二区在线观看 | 亚洲欧美一区二区三区久久| 国产精品久久久人人做人人爽| 久久天躁狠狠躁夜夜2o2o| 精品少妇久久久久久888优播| 午夜影院日韩av| 久久久久国内视频| 免费一级毛片在线播放高清视频 | 丰满迷人的少妇在线观看| 老司机靠b影院| 性色av乱码一区二区三区2| 两个人看的免费小视频| 亚洲精品国产区一区二| 俄罗斯特黄特色一大片| 亚洲精品国产色婷婷电影| 12—13女人毛片做爰片一| 99国产精品一区二区蜜桃av | 国产深夜福利视频在线观看| 欧美黄色淫秽网站| 在线观看一区二区三区激情| 国产精品免费大片| 另类亚洲欧美激情| 亚洲欧美日韩高清在线视频| 亚洲中文av在线| 亚洲成人手机| 一夜夜www| 成年人午夜在线观看视频| 欧美在线一区亚洲| 久热爱精品视频在线9| 十八禁人妻一区二区| 丰满饥渴人妻一区二区三| 久久精品亚洲av国产电影网| 精品国产亚洲在线| 欧美日韩一级在线毛片| 999久久久国产精品视频| x7x7x7水蜜桃| 亚洲欧美色中文字幕在线| 91麻豆av在线| 国产欧美日韩一区二区三| 精品第一国产精品| 国产三级黄色录像| 一本综合久久免费| 免费人成视频x8x8入口观看| 女同久久另类99精品国产91| tocl精华| 好男人电影高清在线观看| 操美女的视频在线观看| 午夜福利视频在线观看免费| av网站在线播放免费| 久久精品aⅴ一区二区三区四区| 正在播放国产对白刺激| 99在线人妻在线中文字幕 | cao死你这个sao货| 国产视频一区二区在线看| 青草久久国产| 天天躁夜夜躁狠狠躁躁| 久久精品国产99精品国产亚洲性色 | 国产高清国产精品国产三级| 久久久水蜜桃国产精品网| 看片在线看免费视频| 俄罗斯特黄特色一大片| 9热在线视频观看99| 高清毛片免费观看视频网站 | 国产又爽黄色视频| 少妇的丰满在线观看| 欧美精品高潮呻吟av久久| 校园春色视频在线观看| 亚洲男人天堂网一区| 丁香六月欧美| 天堂中文最新版在线下载| 国产精品99久久99久久久不卡| 国产精品偷伦视频观看了| 国产欧美日韩一区二区三区在线| 国产精品亚洲av一区麻豆| 在线观看免费视频网站a站| 国产精品一区二区在线不卡| 女性生殖器流出的白浆| 又黄又粗又硬又大视频| 在线观看午夜福利视频| 久久久久久久国产电影| 精品欧美一区二区三区在线| 欧美老熟妇乱子伦牲交| 真人做人爱边吃奶动态| 满18在线观看网站| 日本黄色视频三级网站网址 | 国产淫语在线视频| 黄色a级毛片大全视频| av有码第一页| 久久久久国产精品人妻aⅴ院 | 国产在线一区二区三区精| 少妇的丰满在线观看| 国产蜜桃级精品一区二区三区 | 人人妻人人澡人人爽人人夜夜| 亚洲精品av麻豆狂野| 一二三四社区在线视频社区8| 国内毛片毛片毛片毛片毛片| 18禁裸乳无遮挡动漫免费视频| 欧美日韩亚洲高清精品| 日韩欧美免费精品| av国产精品久久久久影院| 精品国产美女av久久久久小说| 大片电影免费在线观看免费| 国产一区有黄有色的免费视频| 免费在线观看亚洲国产| 老司机在亚洲福利影院| 999久久久精品免费观看国产| 午夜亚洲福利在线播放| 搡老熟女国产l中国老女人| 在线天堂中文资源库| 久久久久精品国产欧美久久久| 国产精品国产av在线观看| 亚洲第一欧美日韩一区二区三区| 欧美 日韩 精品 国产| 午夜精品在线福利| 成人特级黄色片久久久久久久| cao死你这个sao货| 久久久久国产精品人妻aⅴ院 | 黄色怎么调成土黄色| 午夜福利,免费看| av天堂久久9| 国产欧美日韩一区二区三| 国产精品欧美亚洲77777| 国产淫语在线视频| 欧美成人免费av一区二区三区 | 美女高潮到喷水免费观看| 9色porny在线观看| a级片在线免费高清观看视频| 国产精品永久免费网站| 一a级毛片在线观看| 亚洲综合色网址| 国产深夜福利视频在线观看| 亚洲免费av在线视频| 国产精品久久久人人做人人爽| 中文字幕av电影在线播放| 久久精品国产亚洲av高清一级| 在线观看www视频免费| av片东京热男人的天堂| 久久精品国产清高在天天线| 美女福利国产在线| 夜夜爽天天搞| 999久久久国产精品视频| 欧美一级毛片孕妇| 天堂动漫精品| 国产精品乱码一区二三区的特点 | 91av网站免费观看| 成人特级黄色片久久久久久久| 日本vs欧美在线观看视频| 国产高清激情床上av| 日日摸夜夜添夜夜添小说| 国产有黄有色有爽视频| 色老头精品视频在线观看| 高清毛片免费观看视频网站 | 久久精品国产清高在天天线| 色播在线永久视频| 这个男人来自地球电影免费观看| 乱人伦中国视频| 国内久久婷婷六月综合欲色啪| 日韩熟女老妇一区二区性免费视频| 曰老女人黄片| 无人区码免费观看不卡| 在线永久观看黄色视频| 亚洲中文日韩欧美视频| 在线观看午夜福利视频| 国产男靠女视频免费网站| 久久久久精品国产欧美久久久| 国产免费现黄频在线看| 亚洲欧美日韩另类电影网站| 国产麻豆69| 亚洲视频免费观看视频| 好看av亚洲va欧美ⅴa在| 99riav亚洲国产免费| 国产日韩欧美亚洲二区| 久久国产精品人妻蜜桃| 免费女性裸体啪啪无遮挡网站| 久久久久久免费高清国产稀缺| 精品一区二区三区四区五区乱码| 欧美午夜高清在线| 久久精品亚洲精品国产色婷小说| 1024视频免费在线观看| 不卡一级毛片| 视频区图区小说| 日韩精品免费视频一区二区三区| 国产1区2区3区精品| 99精国产麻豆久久婷婷| 国产精品国产高清国产av | av线在线观看网站| 中文字幕最新亚洲高清| 国产有黄有色有爽视频| 亚洲精品国产区一区二| 欧美日韩亚洲国产一区二区在线观看 | 最新的欧美精品一区二区| 日本五十路高清| 欧美久久黑人一区二区| 久久精品国产亚洲av高清一级| 女人被躁到高潮嗷嗷叫费观| 91麻豆av在线| 五月开心婷婷网| 侵犯人妻中文字幕一二三四区| 操美女的视频在线观看| 叶爱在线成人免费视频播放| 建设人人有责人人尽责人人享有的| 国产成人欧美在线观看 | 国产成+人综合+亚洲专区| 青草久久国产| 日韩 欧美 亚洲 中文字幕| 久久国产亚洲av麻豆专区| 亚洲一区二区三区欧美精品| 亚洲美女黄片视频| 免费在线观看日本一区| a级毛片在线看网站| 99国产极品粉嫩在线观看| 久久国产精品人妻蜜桃| 久久精品国产亚洲av高清一级| 国产精品综合久久久久久久免费 | 一区二区三区精品91| 国产又爽黄色视频| 99国产精品99久久久久| 嫁个100分男人电影在线观看| tube8黄色片| 日日摸夜夜添夜夜添小说| 国产黄色免费在线视频| 欧美精品高潮呻吟av久久| 日日摸夜夜添夜夜添小说| 一边摸一边抽搐一进一小说 | 久久人人爽av亚洲精品天堂| 国产成人精品无人区| 亚洲伊人色综图| 久久久久久久久免费视频了| 国产成人精品无人区| 亚洲精品在线观看二区| 制服人妻中文乱码| 亚洲一码二码三码区别大吗| 国产深夜福利视频在线观看| 久久久久久久久免费视频了| 国产精品久久久久久人妻精品电影| av线在线观看网站| 我的亚洲天堂| 亚洲精华国产精华精| 无遮挡黄片免费观看| 黄色毛片三级朝国网站| 桃红色精品国产亚洲av| 国产淫语在线视频| 天天躁日日躁夜夜躁夜夜| 男人操女人黄网站| 两个人免费观看高清视频| 好看av亚洲va欧美ⅴa在| 在线观看日韩欧美|