• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    RoBERTa融合BiLSTM及注意力機(jī)制的隱式情感分析

    2022-12-06 10:30:16沈凡凡何炎祥
    計算機(jī)工程與應(yīng)用 2022年23期
    關(guān)鍵詞:分類特征文本

    張 軍,張 麗,沈凡凡,譚 海,何炎祥

    1.東華理工大學(xué) 信息工程學(xué)院,南昌 330013

    2.東華理工大學(xué) 江西省放射性地學(xué)大數(shù)據(jù)技術(shù)工程實(shí)驗(yàn)室,南昌 330013

    3.武漢大學(xué) 計算機(jī)學(xué)院,武漢 430072

    4.南京審計大學(xué) 計算機(jī)學(xué)院,南京 211815

    文本情感分析是指利用自然語言處理和文本挖掘技術(shù)對帶有情感色彩的主觀性文本進(jìn)行分析、處理和抽取的過程[1]。文本情感分為顯示情感和隱式情感[2]。顯示情感含有明顯的情感詞,使得文本情感容易被區(qū)分;而隱式情感文本中不含有顯示情感詞,這使得文本情感分析變得困難,但是可以表達(dá)出比顯示情感更加豐富多彩的情感,這對當(dāng)今互聯(lián)網(wǎng)時代來說顯得尤為重要。例如,商家可以對用戶評論中隱藏的情感進(jìn)行分析,以此對自己的產(chǎn)品進(jìn)行優(yōu)化,從而更好地滿足用戶需求。但是隱式情感通常表達(dá)比較含蓄、不直觀,導(dǎo)致隱式情感的分析與特征提取比較困難,因此隱式情感分析在自然語言處理中成為亟需解決的難點(diǎn)之一[3]。

    近年來,自然語言處理領(lǐng)域中針對文本情感分析的研究層出不窮,王麗亞等人[4]針對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)中同層神經(jīng)元之間特征信息無法充分利用、缺乏句子整體特征表示、限制模型的特征學(xué)習(xí)能力等問題,提出了基于CNN-BiGRU聯(lián)合網(wǎng)絡(luò)并引入注意力機(jī)制的模型,有效地提高了文本分類的準(zhǔn)確率。翟社平等人[5]針對雙語文本情感分析方法稀缺及準(zhǔn)確率較低的問題,根據(jù)同一英文詞匯在不同語境下具有不同文本情感作用這一特點(diǎn),提出了基于注意力機(jī)制和雙向長短期記憶網(wǎng)絡(luò)(bi-directional long short term memory,BiLSTM)的雙語文本情感分析模型,提高了雙語文本情感分析的準(zhǔn)確率。陶永才等人[6]認(rèn)為單一的文本詞向量不能全面表示文本中的情感特征信息,且無法有效捕獲文本和標(biāo)簽之間的聯(lián)系,提出了一種基于多特征融合的短文本情感分析模型,從多特征矩陣中學(xué)習(xí)到句子中更全面的情感信息,使得短文本情感分析能力得到了有效提升。

    目前關(guān)于情感分析的大部分研究以顯示情感分析為主,忽略了對隱晦情感表達(dá)的文本進(jìn)行分析,但不少文本情感分析應(yīng)用場景中又經(jīng)常出現(xiàn)帶有隱式情感的文本。相較于顯示情感分析,隱式情感分析面臨著更多更具復(fù)雜性的挑戰(zhàn)[7]:(1)隱式情感文本不含顯示情感詞,語言表達(dá)比較含蓄,使得基于情感詞典的方法和基于詞袋模型的文本表示不再有效;(2)隱式情感與語境和主觀表達(dá)聯(lián)系密切,缺乏通用性,使得對語義本身的理解更加困難。表1展示了蘊(yùn)含不同情感的隱式情感句示例。

    表1 隱式情感句示例Table 1 Samples ofimplicit sentiment sentences

    表1中,中性隱式情感句是對客觀事實(shí)進(jìn)行陳述,不摻雜任何隱式情感,相對容易區(qū)分;褒義情感句營造了令人心曠神怡、十分愜意的氛圍;貶義情感句側(cè)面反映了動物園的人流量大,影響游客觀看動物的心情。這些看似普通的文本實(shí)則包含了不同的隱式情感,使得這些文本的情感分析更具挑戰(zhàn)性。

    針對隱式情感分析中不含顯示情感詞引起的文本情感識別困難的問題,Zhang等人[8]研究發(fā)現(xiàn)使用一些領(lǐng)域名詞以及名詞短語能夠隱晦表達(dá)情感,針對句子中被忽略的具有隱式情感傾向的名詞短語問題,提出了一種識別具有隱式情感領(lǐng)域名詞特征的方法,通過修改特征的意見詞和上下文語境來確定特征極性。趙容梅等人[9]利用卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行特征提取,并結(jié)合長短期記憶網(wǎng)絡(luò)(long short term memory,LSTM)[10]結(jié)構(gòu)提取上下文信息,并且在網(wǎng)絡(luò)中加入注意力機(jī)制,構(gòu)建了一種新型混合神經(jīng)網(wǎng)絡(luò)中文隱式情感分析模型。隱式情感的識別通常還需要引入其他包含隱式情感的特征和知識。黃山成等人[11]根據(jù)文本的隱式情感極性與句中實(shí)體詞、上下文語境、外部知識相關(guān)的特點(diǎn),提出一種基于ERNIE2.0-BiLSTM-Attention的隱式情感分析方法,能夠較好捕捉隱式情感句的語義及上下文信息,有效提升了隱式情感的識別能力。陳秋娥等人[12]分析認(rèn)為現(xiàn)有序列化模型的中文隱式情感分析中的特征信息提取不夠準(zhǔn)確,對篇章級的文本信息提取存在梯度爆炸或梯度消失的問題,提出了融合雙向長短時神經(jīng)網(wǎng)絡(luò)和樹形遞歸神經(jīng)網(wǎng)絡(luò)(context-aware tree recurrent neutral network,CA-TRNN)的并行混合模型,有效提高了分類結(jié)果的準(zhǔn)確率,并且時間代價小,具有更好的適用性。

    然而,上述研究仍然存在隱式情感特征提取不夠準(zhǔn)確的問題。對此,本文提出了一種基于RoBERTa的融合模型——RoBERTa-BiLSTM-Attention(RBLA)模型,通過優(yōu)化隱式情感分析任務(wù)中隱式情感特征的提取機(jī)制,進(jìn)一步提高隱式情感分類的精確率。本文的主要貢獻(xiàn)如下:

    (1)使用RoBERTa模型進(jìn)行語言預(yù)訓(xùn)練,在增加訓(xùn)練數(shù)據(jù)的基礎(chǔ)上使用更大的batch size,同時采用動態(tài)Masking機(jī)制對長句序列進(jìn)行訓(xùn)練,有效捕捉了隱式情感句中詞語的語義特征。

    (2)使用BiLSTM對隱式情感文本的上下文進(jìn)行特征提取,彌補(bǔ)了預(yù)訓(xùn)練模型遺忘上下文信息的缺陷,可以更加準(zhǔn)確地捕獲隱式情感文本的上下文特征。

    (3)引入Attention機(jī)制,對隱式情感文本中不同分類的隱式情感詞進(jìn)行權(quán)重計算,避免了重要語義信息的丟失,可有效捕捉隱式情感文本中包含的隱式情感特征,并探究了Attention機(jī)制對RBLA模型在不同隱式情感分類中的影響。

    1 相關(guān)原理

    1.1 RoBERTa預(yù)訓(xùn)練模型

    RoBERTa模型[13]是在BERT預(yù)訓(xùn)練模型[14]的基礎(chǔ)上加以改進(jìn)得到的。RoBERTa主要針對BERT做了三點(diǎn)改進(jìn)[13]:(1)采用動態(tài)Masking機(jī)制,每次向模型輸入一個序列時,都會生成一種新的遮蓋方式。(2)刪除了Next Sentence Prediction(NSP)任務(wù)。(3)增加了預(yù)訓(xùn)練過程的語料規(guī)模,擴(kuò)大Batch Size的同時增加了訓(xùn)練時的步長。

    與BERT模型一致,RoBERTa模型同樣使用多個雙向Transformer模型[15]的encoder部分堆疊組成主體框架,能更徹底地捕捉文本中的雙向關(guān)系。圖1展示了Transformer模型的encoder邏輯結(jié)構(gòu)。

    圖1 Transformer-encoder邏輯結(jié)構(gòu)Fig.1 Logical structure of Transformer-encoder

    圖1中,詞向量表示單詞在整個語料庫中的位置信息;位置編碼表示單詞出現(xiàn)在句子中的位置,用于模型感知詞與詞之間的位置信息。詞向量和位置編碼相加作為encoder的輸入X。多頭注意力機(jī)制模塊使用多個獨(dú)立的Attention模塊對輸入層的信息進(jìn)行并行計算,可有效防止產(chǎn)生過擬合現(xiàn)象。殘差連接和層歸一化層是由殘差連接和層歸一化兩部分組成。層歸一化將每一層神經(jīng)元的輸入都轉(zhuǎn)化為均值方差,以增加非線性變化。殘差連接部分將輸入X和一個非線性變換F(X)進(jìn)行線性疊加,并將疊加后的結(jié)果作為輸出。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,F(xiàn)(X)表示殘差,F(xiàn)(X)與X維度一致。

    圖2 殘差連接網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Residual connection network structure

    前饋神經(jīng)網(wǎng)絡(luò)層利用公式(1)對encoder的輸入進(jìn)行計算,生成相應(yīng)的向量矩陣We。該網(wǎng)絡(luò)層主要包含一個兩層的全連接層,其中,第一層使用了Relu激活函數(shù),使收斂速度更快,計算更加高效。

    公式(1)中,W1與W2表示兩個全連接層之間的權(quán)重矩陣,b1與b2表示兩個全連接層之間的偏置項(xiàng)。

    1.2 長短期記憶網(wǎng)絡(luò)(LSTM)

    LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[16]的一個變體,有效緩解了RNN中存在的梯度消失問題。圖3展示了LSTM邏輯結(jié)構(gòu),該結(jié)構(gòu)中包括遺忘門、輸入門和輸出門,分別實(shí)現(xiàn)LSTM的遺忘階段、選擇記憶階段和輸出階段。

    圖3 LSTM邏輯結(jié)構(gòu)Fig.3 Logical structure of LSTM

    圖3中,ft、it和ot分別表示遺忘門、輸入門和輸出門;ht-1為上一時刻的輸出,xt表示詞嵌入,二者一起作為LSTM的輸入;Ct表示細(xì)胞狀態(tài),Ct-1表示上一時刻細(xì)胞狀態(tài),保留了未被遺忘的歷史信息;ht為t時刻的輸出的隱藏層狀態(tài)。

    遺忘門是對上一時刻的輸出進(jìn)行選擇性遺忘,其計算如公式(2)所示。其中,Wf表示權(quán)重矩陣,bf為偏置參數(shù)。

    輸入門用于更新細(xì)胞狀態(tài)。上一個時刻的輸出ht-1和當(dāng)前輸入的信息xt通過sigmoid激活函數(shù)計算生成需要更新的信息it,計算如公式(3)所示;它們再通過tanh函數(shù)計算生成一個新的候選值向量C?t,計算如公式(4);最后,利用公式(5)計算得到新的細(xì)胞狀態(tài)Ct。公式(3)~(5)中,Wi、Wc表示權(quán)重矩陣,bi,bc為偏置參數(shù)。

    輸出門用來確定下一個隱藏狀態(tài)ht的值,其輸入為前一個隱藏層狀態(tài)信息ht-1和當(dāng)前輸入xt,通過sigmoid激活函數(shù)對其進(jìn)行計算,篩選出需要記住的重要信息,計算如公式(6)所示;之后利用tanh函數(shù)對輸入門新產(chǎn)生的細(xì)胞狀態(tài)Ct進(jìn)行非線性化處理,輸出t時刻的隱藏層狀態(tài)ht,計算過程如公式(7)所示。公式(6)和(7)中,Wo∈Rdh×dk表示權(quán)重矩陣,bo∈Rdh為偏置參數(shù)。

    其中,·和?分別表示矩陣乘法和元素乘法。

    2 RBLA模型

    2.1 任務(wù)定義

    本文的隱式情感分析任務(wù)是對隱式情感句進(jìn)行三分類(中性、褒義、貶義)。隱式情感句的上下文情感對隱式情感句的分類任務(wù)有著重要影響,對此,本文不僅捕捉隱式情感句本身的情感特征,還對隱式情感句上下文的情感特征進(jìn)行提取。

    本文對隱式情感句分類任務(wù)可以定義為:對于給定的任意隱式情感句Xt及其對應(yīng)的上下文句子Xc,對其進(jìn)行預(yù)測Xt和Xc對應(yīng)的Pt。公式(8)定義了隱式情感句的分類任務(wù)。

    公式(8)中,Xt表示隱式情感句包含的語義情感特征,用矩陣形式表示為Xt=(Xt1,Xt2,…,Xtn),其中,n表示隱式情感句中包含的詞語數(shù)量,Xtn表示隱式情感句Xt的第n個詞語的情感特征。Xc表示隱式情感句上下文句子中包含的語義情感特征,用矩陣形式表示為Xc=(Vtc1,Vtc2,…,Vtcn),其中,Vtcn表示隱式情感句Xt對應(yīng)的上下文語句的第n個詞語的情感特征。Pt表示隱式情感句Xt所屬類別的概率,其中pt0表示的是該隱式情感句為中性的概率,pt1表示的是該隱式情感句為褒義的概率,pt2表示的是該隱式情感句為貶義的概率。

    2.2 RBLA模型結(jié)構(gòu)

    針對隱式情感分析面臨的句中隱藏情感捕捉困難等問題,本文提出了一種基于RoBERTa的RBLA融合模型,利用大規(guī)模預(yù)訓(xùn)練模型RoBERTa學(xué)習(xí)隱式情感句中字詞的語義特征。該模型融合了雙向長短期記憶網(wǎng)絡(luò)和注意力機(jī)制,捕獲句子間的依賴關(guān)系,可有效提取文本中深層次的隱式情感特征,從而可更好地提升隱式情感分析模型的性能。RBLA模型包括輸入層、預(yù)訓(xùn)練模型層、BiLSTM層、Attention層、全連接層和輸出層,其模型結(jié)構(gòu)如圖4所示。

    圖4 RBLA模型邏輯結(jié)構(gòu)Fig.4 Logical structure of RBLA model

    2.3 輸入層

    本文模型的輸入層將輸入文本中的每個詞語通過one-hot編碼表示法轉(zhuǎn)換為相對應(yīng)的向量。首先將分類值映射成整數(shù)值,然后將每個整數(shù)值表示為二進(jìn)制向量,再使用位置編碼保存單詞在序列中的相對或絕對位置、感知詞與詞之間的位置信息,將得到的詞向量與位置編碼相加生成的詞嵌入向量作為預(yù)訓(xùn)練層中的輸入,表示為,其中,E的維度大小為n×d。輸入層邏輯結(jié)構(gòu)如圖5所示。其中,[CLS]表示起始位置分隔符,[SEP]表示句子結(jié)束標(biāo)識符。

    圖5 輸入層邏輯結(jié)構(gòu)Fig.5 Logical structure of input layer

    2.4 RoBERTa層

    本文模型的RoBERTa層采用了12層的Transformer雙向編碼器作為隱式情感句的特征提取器。RBLA模型輸入層中的每個詞嵌入向量經(jīng)過RoBERTa層編碼運(yùn)算后,可實(shí)現(xiàn)詞嵌入向量之間的雙向關(guān)聯(lián),使得模型能學(xué)習(xí)到不同語境下每個詞嵌入向量包含的語義特征。

    RoBERTa層采用動態(tài)Masking機(jī)制對詞嵌入向量進(jìn)行預(yù)訓(xùn)練,其結(jié)構(gòu)如圖6所示。該層需要進(jìn)行兩個預(yù)訓(xùn)練任務(wù)。第一個任務(wù)需將詞嵌入向量復(fù)制10份,每份都隨機(jī)選擇15%的Tokens進(jìn)行動態(tài)遮蓋,使得在大量數(shù)據(jù)不斷輸入的過程中,模型會逐漸適應(yīng)不同的掩碼策略,學(xué)習(xí)到不同的語言表征。第二個任務(wù)則使用FULL-SENTENCES訓(xùn)練方式,從多角度學(xué)習(xí)來自輸入層的詞嵌入向量,豐富語義信息,并將當(dāng)前的輸出輸入到前饋神經(jīng)網(wǎng)絡(luò)層,以加快收斂速度。詞向量E經(jīng)過RoBERTa層編碼后得到隱式情感文本中每個隱式情感詞在不同語境下所包含的情感特征為Xt=(Xt1,Xt2,…,Xtn)。

    圖6 RoBERTa層邏輯結(jié)構(gòu)圖Fig.6 Logical structure of RoBERTa layer

    2.5 BiLSTM層

    在文本情感分類任務(wù)中,當(dāng)前時刻的輸出不僅和當(dāng)前時刻之前的狀態(tài)有關(guān),還可能和當(dāng)前時刻之后的狀態(tài)有關(guān)系。雙向長短期記憶網(wǎng)絡(luò)BiLSTM是由一個正向處理序列的LSTM和一個反向處理序列的LSTM組成,可對輸入的上下文信息進(jìn)行深層次特征提取,從而有效捕捉隱式情感句上下文中包含的情感特征。因此,本文模型在RoBERTa層后引入了BiLSTM層,利用BiLSTM對隱式情感文本的上下文進(jìn)行特征提取,以更加準(zhǔn)確地捕獲隱式情感文本的上下文全局特征信息,從而彌補(bǔ)RoBERTa層中預(yù)訓(xùn)練模型容易遺忘上下文信息的缺陷。BiLSTM的邏輯結(jié)構(gòu)如圖7所示。在BiLSTM層中,兩個反向的LSTM共同決定了BiLSTM的最終輸出。對于每個時刻t,輸入信息會同時提供給正反兩個方向的LSTM。

    圖7 BiLSTM的邏輯結(jié)構(gòu)Fig.7 Logical structure of BiLSTM

    雙向長短期記憶網(wǎng)絡(luò)對隱式情感文本進(jìn)行特征提取時,第一層的正向長短期記憶網(wǎng)絡(luò)對t時刻的輸入信息xt與t-1時刻的輸出信息St-1進(jìn)行正向運(yùn)算得到t時刻的正向輸出信息St,其計算如公式(9)所示;第二層反向長短期記憶網(wǎng)絡(luò)對t時刻的輸入信息xt與t+1時刻的輸出信息Lt+1進(jìn)行反向運(yùn)算得到t時刻的反向輸出信息Lt,其計算如公式(10)所示;隱藏層將正反向的運(yùn)算結(jié)果保存下來共同決定雙向長短期記憶網(wǎng)絡(luò)在t時刻最終的輸出結(jié)果Vt,其計算如公式(11)所示:

    其中,W、U、V代表正向計算的權(quán)重矩陣,W"、U"、V"代表反向計算的權(quán)重矩陣。通過BiLSTM層輸出隱式情感句上下文中隱式情感詞包含的情感特征,表示為Xc=(Vtc1,Vtc2,…,Vtcn)。

    2.6 注意力機(jī)制層

    為了有效突出隱式情感文本中隱含的重要信息,本文提出的RBLA模型還引入了注意力機(jī)制,對BiLSTM層的輸出詞向量依據(jù)其重要性分配高低不同的權(quán)重值,可減少預(yù)測所需的可學(xué)習(xí)權(quán)重的數(shù)量,從而更高效地學(xué)習(xí)目標(biāo)詞周圍句子的上下文嵌入語義。同時還可以在對每個輸入詞向量的權(quán)重系數(shù)再次加權(quán)平均時,有效過濾原文本中存在冗余信息和噪聲,從而進(jìn)一步提高分類的精度。

    注意力機(jī)制層首先對BiLSTM層輸出的隱式情感句上下文包含的情感特征Xc進(jìn)行計算,得到其隱含表示H,其計算如公式(12)所示;然后計算H與隨機(jī)初始化參數(shù)矩陣WT的相似度,將輸入的每個詞向量在整體語義場景下分配的權(quán)重系數(shù)用softmax函數(shù)進(jìn)行歸一化處理,得到每個詞向量的標(biāo)準(zhǔn)化權(quán)重α,其計算如公式(13)所示;最后將得到的權(quán)重矩陣αT與BiLSTM層輸出的隱式情感句上下文的情感特征信息Xc相乘得到最終的加權(quán)輸出Y,Y即是捕獲到的隱式情感文本中包含的隱式情感特征,其計算如公式(14)所示:

    其中,Wa表示注意力層權(quán)重矩陣,ba表示注意力機(jī)制層的偏置項(xiàng)。

    2.7 全連接層

    本文模型的全連接層將隱式情感傾向相關(guān)的融合分布式特征表示映射到實(shí)例標(biāo)簽空間,對隱式情感文本進(jìn)行分類。將注意力機(jī)制層的輸出Y輸入到全連接層,與全連接層權(quán)重矩陣Wd計算后輸出M,計算如公式(15)所示:

    其中,bd表示全連接層的偏置項(xiàng)。

    2.8 輸出層

    本文模型的輸出層采用softmax函數(shù)對全連接層的輸出信息M進(jìn)行歸一化處理,得到隱式情感文本中每個隱式情感詞的概率值m,通過隱式情感句中m值最大的隱式情感詞判斷隱式情感句的情感傾向。計算過程如公式(16)所示:

    其中,Ws表示輸出層參數(shù)矩陣,b為輸出層的偏置項(xiàng)。

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 數(shù)據(jù)集與預(yù)處理

    本文評測使用的數(shù)據(jù)集來源于2021年舉辦的第十屆全國社會媒體處理大會中文隱式情感分析評測數(shù)據(jù)集。該數(shù)據(jù)集主要來源于各大產(chǎn)品論壇、旅游網(wǎng)站、新浪微博,內(nèi)容包括旅游、國考、傳統(tǒng)節(jié)日、春節(jié)聯(lián)歡晚會、霧霾等方面。該數(shù)據(jù)集使用了一個大規(guī)模情感詞典對所有包含顯式情感詞的文本進(jìn)行過濾,并對剩下不含顯式情感詞的數(shù)據(jù)進(jìn)行標(biāo)注。其中,無情感傾向的數(shù)據(jù)被標(biāo)注為標(biāo)簽0、具有褒義隱式情感傾向的數(shù)據(jù)被標(biāo)注為標(biāo)簽1、具有貶義隱式情感傾向的數(shù)據(jù)被標(biāo)注為標(biāo)簽2。該數(shù)據(jù)集相關(guān)信息如表2所示。

    表2 數(shù)據(jù)集信息表Table 2 Datasets information

    由于數(shù)據(jù)集中的樣本數(shù)量不平衡,本文采用了Easy Ensemble采樣方法[17]對訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)下采樣。為了保障采樣質(zhì)量,每次抽樣過程均獨(dú)立采樣,對數(shù)據(jù)量大的類別降低抽樣比例,對數(shù)據(jù)量小的類別提高抽樣比例。實(shí)驗(yàn)過程中,對數(shù)據(jù)集進(jìn)行10次采樣后,生成了相對平衡的測試數(shù)據(jù)集。再結(jié)合CleanLab數(shù)據(jù)清洗方法對生成的新數(shù)據(jù)集進(jìn)行數(shù)據(jù)交叉清洗,去除數(shù)據(jù)集中的異常點(diǎn)。為了增強(qiáng)本文模型的泛化能力,在不改變原文語義的情況下,本文還對數(shù)據(jù)進(jìn)行了增強(qiáng)處理。在下采樣的過程中,本文使用了NLPCDA工具包[18]對數(shù)據(jù)進(jìn)行增強(qiáng)操作,利用隨機(jī)同義詞替換方法對數(shù)據(jù)集進(jìn)行擴(kuò)充。

    3.2 參數(shù)設(shè)置

    為了在隱式情感分析數(shù)據(jù)集上取得更優(yōu)的分類結(jié)果,本實(shí)驗(yàn)進(jìn)行了一些超參數(shù)設(shè)置,如表3所示。其中,Batch Size表示每個batch中訓(xùn)練樣本數(shù)量,BiLSTM網(wǎng)絡(luò)層的兩層LSTM設(shè)置相同的隱藏層單元數(shù),Epoch表示訓(xùn)練迭代次數(shù),LR表示學(xué)習(xí)率。實(shí)驗(yàn)采用了Dropout方法緩解過擬合現(xiàn)象。

    表3 參數(shù)設(shè)置Table 3 Parameter settings

    考慮到本次實(shí)驗(yàn)使用的計算平臺算力有限,Batch Size值設(shè)為32。BiLSTM網(wǎng)絡(luò)層的隱藏單元數(shù)在實(shí)驗(yàn)過程中分別設(shè)置了64、128、256三個值,當(dāng)其取值128時分類效果最好,因此,將BiLSTM網(wǎng)絡(luò)層的隱藏單元數(shù)設(shè)為128。通過類似的實(shí)驗(yàn)方法確定了LR參數(shù)的取值。參數(shù)Epoch和Dropout的取值分析如3.5.3小節(jié)所述。

    3.3 評價方法

    實(shí)驗(yàn)采用準(zhǔn)確率P、召回率R以及F1值等3個指標(biāo)評價模型性能,其計算分別如公式(17)~(19)所示。

    (1)精確率P表示正樣本預(yù)測為正樣本的數(shù)量占所有預(yù)測為正樣本的比重,計算如公式(17)所示:

    (2)召回率R表示正樣本預(yù)測為正樣本的數(shù)量占所有實(shí)際類別為正的樣本數(shù)量的比重,計算如公式(18)所示:

    (3)F1值為精確率和召回率的加權(quán)調(diào)和平均值,計算如公式(19)所示:

    其中,TP表示將正樣本預(yù)測為正樣本的數(shù)量;FN表示將正樣本預(yù)測為負(fù)樣本的數(shù)量;FP表示將負(fù)樣本預(yù)測為正樣本的數(shù)量。

    3.4 對比模型

    為了驗(yàn)證RBLA模型在隱式情感分析任務(wù)中的有效性,本文進(jìn)行了兩種類別的對比實(shí)驗(yàn)。第一種是將RBLA模型與幾種典型的現(xiàn)有文本分類模型進(jìn)行比較;第二種是探究注意力機(jī)制對本文模型的影響。本文實(shí)驗(yàn)共與以下六種文本分類模型進(jìn)行了對比。

    (1)LSTM:通過學(xué)習(xí)句子的語義信息,獲取句子間依賴關(guān)系的傳統(tǒng)文本分類模型。

    (2)LSTM-Attention[19]:在長短期記憶網(wǎng)絡(luò)中引入注意力機(jī)制的隱式情感分析模型。

    (3)BERT:使用BERT預(yù)訓(xùn)練模型做隱式情感文本分類任務(wù)。

    (4)RoBERTa:使用RoBERTa預(yù)訓(xùn)練模型做隱式情感文本分類任務(wù)。

    (5)EBA(ERNIE-BiLSTM-Attention):使用ERNIE2.0預(yù)訓(xùn)練模型進(jìn)行文本表示,再利用BiLSTM+Attention混合網(wǎng)絡(luò)將其輸出文本表示進(jìn)行隱式情感分析。

    (6)CA-TRNN[20]:使用BiLSTM和TRNN兩個模型分別對上下文和目標(biāo)情感語句進(jìn)行建模的隱式情感分析模型。

    3.5 實(shí)驗(yàn)結(jié)果與分析

    3.5.1 本文模型對比當(dāng)前流行的分類模型

    為了驗(yàn)證RBLA模型在隱式情感分類中的整體性能,分別與上述六種模型進(jìn)行了對比實(shí)驗(yàn),測試了它們的精確率、召回率和F1值,其實(shí)驗(yàn)結(jié)果如表4所示。

    表4 實(shí)驗(yàn)結(jié)果對比Table 4 Comparison of experimental results單位:%

    從表4可以看出,RBLA模型與LSTM-Attention、LSTM、BERT和RoBERTa四種基線模型中性能表現(xiàn)最好的RoBERTa模型相比,RBLA模型在精確率、召回率和F1值上分別高出了3.07、2.12和1.01個百分點(diǎn)。這說明相較于典型的基線模型,本文提出的RBLA融合模型在隱式情感分析任務(wù)上具有更好的性能。另外,與當(dāng)前主流的CA-TRNN和EBA兩種隱式情感分析模型中分類效果最好的EBA模型相比,RBLA模型在精確率、召回率和F1值上分別高出了EBA模型1.44、2.72和1.42個百分點(diǎn)。這說明相較于主流的融合模型,本文的RBLA融合模型在RoBERTa預(yù)訓(xùn)練模型的基礎(chǔ)上融合雙向長短期記憶網(wǎng)絡(luò)和注意力機(jī)制后,更加準(zhǔn)確地捕獲了隱式情感文本中的隱含情感特征,對隱式情感分析的整體效果得到了有效提升。

    3.5.2 探究注意力機(jī)制對本文模型的影響

    本文將隱式情感文本的情感傾向類別定義為中性、褒義和貶義三種,分別用標(biāo)簽0、1、2表示。為了探究RBLA模型方法中注意力機(jī)制對情感分類的影響,對RBLA模型和不加注意力機(jī)制的RBL(Roberta-BiLSTM)模型進(jìn)行了隱式情感分類性能對比,實(shí)驗(yàn)結(jié)果如表5所示。

    表5 情感分類結(jié)果對比Table 5 Comparison of emotion classification results單位:%

    從表5可以看出,本文提出的RBLA模型在中性、褒義和貶義三種情感分類的精確率上分別高出RBL模型1.63、0.71和1.73個百分點(diǎn)。同樣,相較于RBL模型,RBLA模型在中性情感分類和貶義情感分類的F1值上分別高出0.72和0.78個百分點(diǎn),在褒義情感分類的召回率上高出1.04個百分點(diǎn)。雖然RBLA模型在中性情感和貶義情感分類的召回率及褒義情感分類的F1值上略低于RBL模型,但從整體性能上看,RBLA模型在精確率和F1值上均高于RBL模型。

    3.5.3 模型參數(shù)分析

    為了進(jìn)一步提高模型預(yù)測精確率,實(shí)驗(yàn)還采用Dropout方法緩解過擬合現(xiàn)象。Dropout取值不同會影響模型的輸出結(jié)果。為了設(shè)置合理的Dropout值,進(jìn)行了多組實(shí)驗(yàn)。從圖8中可以看出,當(dāng)Dropout取值為0.5時,各項(xiàng)指標(biāo)值最高,提高了模型的泛化能力。因此,Dropout參數(shù)取值為0.5。

    圖8 Dropout曲線Fig.8 Dropout curve

    為了進(jìn)一步展示本文提出的RBLA模型的優(yōu)越性,本文對該模型的訓(xùn)練過程進(jìn)行了進(jìn)一步探究。為了反映實(shí)驗(yàn)在迭代過程中的動態(tài)變化,本次進(jìn)行了10次迭代實(shí)驗(yàn)。先對整體損失率進(jìn)行了動態(tài)刻畫,再對不同的情感的精確率、召回率和F1值分別進(jìn)行了動態(tài)刻畫,實(shí)驗(yàn)結(jié)果如圖9~圖12所示。

    圖9 整體損失率變化圖Fig.9 Variation of loss rate

    圖12 不同情感的F1值Fig.12 F1 values of different sentiments

    圖11 不同情感的召回率Fig.11 Recall rate of different sentiments

    圖9展示了RBLA模型訓(xùn)練過程中的loss值整體變化趨勢,在第10次迭代完成時,趨于收斂。因此,將參數(shù)Epoch的值設(shè)為10。

    為了驗(yàn)證Epoch參數(shù)取值的有效性,還對RBLA模型的精確率、召回率和F1值的收斂情況進(jìn)行了實(shí)驗(yàn)分析。從圖10~圖12可以看出,當(dāng)Epoch取值為10時,RBLA模型的精確率、召回率和F1值均趨于收斂。

    圖10 不同情感的精確率Fig.10 Precision rate of different emotions

    另外,從圖10~圖12還可以看出,RBLA模型對中性情感的預(yù)測具有最佳效果。而在預(yù)測褒義情感分類時,精確率、召回率和F1值相較于其他兩種情感整體偏低。褒義情感在三種情感分類中的初始指標(biāo)值最低,說明隱式文本中的褒義情感識別難度更大。但是,在模型訓(xùn)練過程中,RBLA在隱式文本的褒義情感分類性能上也取得了較好的提升,褒義情感的各項(xiàng)指標(biāo)的增長率均高于中性情感和貶義情感。

    3.5.4 實(shí)例分析

    為了進(jìn)一步分析RBLA模型提取的隱式情感特征在隱式情感分類中的有效性,本文從數(shù)據(jù)集中抽取了幾個隱式情感例句與其他模型進(jìn)行對比分析,如表6所示。其中,“多數(shù)模型”代表本文在3.4節(jié)中選取的對比模型中大部分模型得出的結(jié)果,“少數(shù)模型”代表本文在3.4節(jié)中選取的對比模型中小部分模型得出的結(jié)果。

    表6 情感句對比Table 6 Comparison of emotional sentence

    從表6中的1、2句可以看出,RBLA模型和大部分對比模型在中性情感句上都已具有較好的分析效果。從3、4句可以看出,對褒義情感句進(jìn)行情感傾向判斷時的準(zhǔn)確率較低,難度較大,但RBLA模型相較于大部分對比模型在褒義情感句上的分析效果最好。從5、6句可以看出,RBLA模型相較于其他對比模型在貶義情感句上的分析效果最優(yōu)。更有力地說明了本文提出的RBLA模型在隱式情感分析任務(wù)上有效提高了隱式情感特征提取的準(zhǔn)確性。

    4 結(jié)語

    針對隱式情感文本中隱式情感特征捕捉不夠準(zhǔn)確導(dǎo)致的情感傾向分析困難問題,本文提出了基于RoBERTa融合雙向長短期記憶網(wǎng)絡(luò)和注意力機(jī)制的RBLA模型。該模型使用RoBERTa模型捕獲隱式情感句中字詞的語義特征,再使用BiLSTM學(xué)習(xí)句子的正反向語義信息,捕獲句子間的依賴關(guān)系,以此對隱式情感句上下文進(jìn)行深層次的特征提取,最后使用注意力機(jī)制對包含隱式情感的情感詞進(jìn)行權(quán)重計算,突出文本中隱含的重要情感信息,進(jìn)一步提升了隱式情感分析的性能。通過實(shí)驗(yàn)結(jié)果可以看出,與現(xiàn)有的幾種典型的隱式情感文本分類模型相比,本文提出的RBLA模型在隱式情感分析的整體性能上得到了有效提升。

    從實(shí)驗(yàn)結(jié)果來看,褒義隱式情感分類效果不如中性隱式情感和貶義隱式情感分類效果好。本文接下來將對隱式情感分析中的褒義情感分類開展更深層次的研究。

    猜你喜歡
    分類特征文本
    分類算一算
    如何表達(dá)“特征”
    在808DA上文本顯示的改善
    不忠誠的四個特征
    分類討論求坐標(biāo)
    基于doc2vec和TF-IDF的相似文本識別
    電子制作(2018年18期)2018-11-14 01:48:06
    數(shù)據(jù)分析中的分類討論
    教你一招:數(shù)的分類
    抓住特征巧觀察
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    春色校园在线视频观看| 日本免费a在线| 亚洲经典国产精华液单| 国产人妻一区二区三区在| 国产真实伦视频高清在线观看| 欧美最黄视频在线播放免费| 18禁裸乳无遮挡免费网站照片| 亚洲av中文av极速乱| 精品久久久噜噜| 男人的好看免费观看在线视频| 精华霜和精华液先用哪个| 欧美潮喷喷水| 亚洲欧美日韩高清专用| 久久久久久久久大av| 白带黄色成豆腐渣| 亚洲高清免费不卡视频| 深夜a级毛片| 国产av麻豆久久久久久久| 91久久精品国产一区二区三区| 大香蕉久久网| 秋霞在线观看毛片| 可以在线观看毛片的网站| 男女视频在线观看网站免费| 最好的美女福利视频网| 可以在线观看毛片的网站| 亚洲国产色片| 国产精品一区二区三区四区久久| 波野结衣二区三区在线| 欧美成人精品欧美一级黄| 欧美性猛交╳xxx乱大交人| 免费在线观看影片大全网站| 国产高清三级在线| 精品一区二区三区视频在线| 91av网一区二区| 国产av麻豆久久久久久久| 春色校园在线视频观看| 久久亚洲精品不卡| 中国美白少妇内射xxxbb| 男人的好看免费观看在线视频| 久久久成人免费电影| 精品久久久久久久人妻蜜臀av| 插阴视频在线观看视频| 成人三级黄色视频| 国产人妻一区二区三区在| 在线天堂最新版资源| 欧美高清性xxxxhd video| 午夜福利在线观看吧| 国产一区二区三区av在线 | 欧美高清成人免费视频www| 老司机影院成人| 黑人高潮一二区| 插逼视频在线观看| 男女那种视频在线观看| 一本一本综合久久| 国国产精品蜜臀av免费| 国产精品综合久久久久久久免费| 丝袜喷水一区| 美女cb高潮喷水在线观看| 色吧在线观看| 亚洲专区国产一区二区| 亚洲av电影不卡..在线观看| 欧美性感艳星| 色在线成人网| 亚洲成av人片在线播放无| 久久久国产成人精品二区| 亚洲七黄色美女视频| av国产免费在线观看| 91在线观看av| 久久99热6这里只有精品| av在线天堂中文字幕| 蜜臀久久99精品久久宅男| 国产精品人妻久久久久久| 99热这里只有是精品在线观看| 18禁在线播放成人免费| 亚洲成人中文字幕在线播放| 日本成人三级电影网站| 乱码一卡2卡4卡精品| 性插视频无遮挡在线免费观看| 少妇被粗大猛烈的视频| 国产伦精品一区二区三区四那| 免费看美女性在线毛片视频| 少妇高潮的动态图| 久久草成人影院| 18禁在线播放成人免费| 国内揄拍国产精品人妻在线| 九九在线视频观看精品| 啦啦啦韩国在线观看视频| 99国产精品一区二区蜜桃av| 悠悠久久av| 啦啦啦韩国在线观看视频| 国产日本99.免费观看| 在线观看美女被高潮喷水网站| 亚洲精品在线观看二区| 18+在线观看网站| 亚洲av电影不卡..在线观看| 国产精品久久视频播放| 精品乱码久久久久久99久播| 九九在线视频观看精品| 国产成人a区在线观看| 欧美色欧美亚洲另类二区| 一夜夜www| 国产成人91sexporn| 三级国产精品欧美在线观看| 免费一级毛片在线播放高清视频| 男人和女人高潮做爰伦理| 有码 亚洲区| 97人妻精品一区二区三区麻豆| 亚洲欧美日韩东京热| 久久精品国产鲁丝片午夜精品| 亚洲精品久久国产高清桃花| 久久这里只有精品中国| 亚洲中文字幕日韩| 直男gayav资源| 国产精品久久视频播放| 高清日韩中文字幕在线| 欧美日韩综合久久久久久| 午夜免费男女啪啪视频观看 | 久久精品国产亚洲av天美| 日韩成人av中文字幕在线观看 | 亚洲人成网站在线播放欧美日韩| 国产精品野战在线观看| 日本三级黄在线观看| 国产亚洲av嫩草精品影院| 露出奶头的视频| 91av网一区二区| 日本黄大片高清| 伦精品一区二区三区| 如何舔出高潮| 在现免费观看毛片| 中国国产av一级| 91av网一区二区| 亚洲自拍偷在线| 欧美激情国产日韩精品一区| 在线播放国产精品三级| 熟女人妻精品中文字幕| 女人十人毛片免费观看3o分钟| 久久99热这里只有精品18| av福利片在线观看| 天堂av国产一区二区熟女人妻| 免费看av在线观看网站| 最后的刺客免费高清国语| 舔av片在线| 日韩制服骚丝袜av| 亚洲精品亚洲一区二区| 白带黄色成豆腐渣| 亚洲精华国产精华液的使用体验 | 99在线人妻在线中文字幕| 女生性感内裤真人,穿戴方法视频| 久久精品久久久久久噜噜老黄 | 久久国产乱子免费精品| 99视频精品全部免费 在线| 日韩国内少妇激情av| 国产老妇女一区| 久久人人精品亚洲av| 国产私拍福利视频在线观看| 高清日韩中文字幕在线| 搡老妇女老女人老熟妇| 久久午夜福利片| 麻豆精品久久久久久蜜桃| 日韩欧美国产在线观看| 真人做人爱边吃奶动态| 少妇熟女aⅴ在线视频| 免费无遮挡裸体视频| 亚洲av二区三区四区| 精品一区二区三区人妻视频| 日本五十路高清| 国产精品免费一区二区三区在线| 亚洲性夜色夜夜综合| 91在线精品国自产拍蜜月| 99久久精品国产国产毛片| 韩国av在线不卡| 精品99又大又爽又粗少妇毛片| 亚洲在线自拍视频| 成人永久免费在线观看视频| 免费观看在线日韩| 日韩精品有码人妻一区| 变态另类丝袜制服| 欧美成人一区二区免费高清观看| 国产亚洲av嫩草精品影院| 一级av片app| 啦啦啦啦在线视频资源| 在线观看美女被高潮喷水网站| 九九在线视频观看精品| 嫩草影视91久久| 亚洲乱码一区二区免费版| 国产精品,欧美在线| 久久综合国产亚洲精品| 最近手机中文字幕大全| 麻豆国产av国片精品| 精品久久久久久久久久久久久| 床上黄色一级片| av天堂在线播放| 欧美人与善性xxx| 精品少妇黑人巨大在线播放 | 天堂av国产一区二区熟女人妻| 在线播放无遮挡| 女同久久另类99精品国产91| 色在线成人网| 在线国产一区二区在线| 国产免费男女视频| 免费在线观看影片大全网站| 一a级毛片在线观看| 嫩草影院精品99| 超碰av人人做人人爽久久| 深夜a级毛片| 国产精品av视频在线免费观看| 在线免费观看的www视频| 丰满人妻一区二区三区视频av| 俄罗斯特黄特色一大片| 特大巨黑吊av在线直播| 少妇熟女aⅴ在线视频| 菩萨蛮人人尽说江南好唐韦庄 | 大型黄色视频在线免费观看| 国产精品,欧美在线| 男人的好看免费观看在线视频| 国产精品一区www在线观看| 91麻豆精品激情在线观看国产| 一个人看的www免费观看视频| 亚洲国产高清在线一区二区三| 国产高清视频在线播放一区| 嫩草影视91久久| 男女下面进入的视频免费午夜| 亚洲一级一片aⅴ在线观看| 91久久精品国产一区二区三区| 男人的好看免费观看在线视频| 成熟少妇高潮喷水视频| 婷婷亚洲欧美| 国产伦精品一区二区三区视频9| 久久久久国内视频| 精品99又大又爽又粗少妇毛片| 亚洲经典国产精华液单| 国产成人福利小说| 啦啦啦啦在线视频资源| 国产精品一区二区三区四区免费观看 | 黄色欧美视频在线观看| 男女啪啪激烈高潮av片| 日韩欧美免费精品| 又爽又黄a免费视频| 久久精品91蜜桃| 亚洲精品粉嫩美女一区| 国产精品一二三区在线看| 日本熟妇午夜| 日本 av在线| 久久天躁狠狠躁夜夜2o2o| 最近最新中文字幕大全电影3| 国内精品美女久久久久久| 欧美一区二区国产精品久久精品| 国产精品一区www在线观看| 日日摸夜夜添夜夜添av毛片| 一进一出好大好爽视频| 热99re8久久精品国产| 国产午夜精品论理片| 一进一出抽搐gif免费好疼| 狂野欧美激情性xxxx在线观看| 免费看av在线观看网站| 午夜福利在线观看免费完整高清在 | 欧美性猛交╳xxx乱大交人| 一本久久中文字幕| eeuss影院久久| 美女大奶头视频| 哪里可以看免费的av片| 国产精品久久久久久av不卡| 美女 人体艺术 gogo| 国产在视频线在精品| 国产成人a区在线观看| 看十八女毛片水多多多| 精品人妻视频免费看| 国产精品精品国产色婷婷| 毛片女人毛片| 别揉我奶头 嗯啊视频| 亚洲,欧美,日韩| 亚洲精品亚洲一区二区| 搡女人真爽免费视频火全软件 | 三级男女做爰猛烈吃奶摸视频| 国产精品一区二区性色av| 欧美日本亚洲视频在线播放| 丰满人妻一区二区三区视频av| 国产精品精品国产色婷婷| 卡戴珊不雅视频在线播放| 久久精品夜色国产| 一本精品99久久精品77| 一个人看视频在线观看www免费| 黄色一级大片看看| 我的老师免费观看完整版| 亚洲欧美成人综合另类久久久 | 激情 狠狠 欧美| 国产片特级美女逼逼视频| 91狼人影院| 九九久久精品国产亚洲av麻豆| 日本欧美国产在线视频| 尾随美女入室| 久久婷婷人人爽人人干人人爱| 男人和女人高潮做爰伦理| 黄色欧美视频在线观看| 欧美bdsm另类| 禁无遮挡网站| 亚洲欧美日韩东京热| 香蕉av资源在线| 热99re8久久精品国产| 日韩国内少妇激情av| 久久久久久伊人网av| 国产精品久久久久久av不卡| 亚洲欧美成人精品一区二区| 中文字幕熟女人妻在线| 看黄色毛片网站| АⅤ资源中文在线天堂| 欧美最黄视频在线播放免费| 五月玫瑰六月丁香| 欧美一级a爱片免费观看看| 久久久久久久久大av| 一卡2卡三卡四卡精品乱码亚洲| 日本与韩国留学比较| 狂野欧美白嫩少妇大欣赏| 亚洲欧美精品自产自拍| 午夜精品在线福利| 人妻夜夜爽99麻豆av| 最近手机中文字幕大全| 欧美三级亚洲精品| 亚洲av免费高清在线观看| 在线观看免费视频日本深夜| 人妻制服诱惑在线中文字幕| 亚洲无线在线观看| 免费av观看视频| 男女边吃奶边做爰视频| 精品久久久久久久人妻蜜臀av| 久久久久久久久大av| 国产精品一二三区在线看| 国产高清不卡午夜福利| 国产成人福利小说| 午夜福利成人在线免费观看| 久久精品91蜜桃| а√天堂www在线а√下载| 久久久久免费精品人妻一区二区| 成人一区二区视频在线观看| 床上黄色一级片| 国内精品久久久久精免费| 亚州av有码| 尤物成人国产欧美一区二区三区| 高清日韩中文字幕在线| 男女那种视频在线观看| 亚洲国产欧洲综合997久久,| 啦啦啦韩国在线观看视频| 国产精品一区二区三区四区久久| 啦啦啦观看免费观看视频高清| 亚洲av免费在线观看| 一本精品99久久精品77| 亚州av有码| 男女那种视频在线观看| 久久中文看片网| 一本精品99久久精品77| 深夜精品福利| 欧美潮喷喷水| 露出奶头的视频| 久久久久久久久中文| 色综合站精品国产| 日日摸夜夜添夜夜添av毛片| 国产黄色小视频在线观看| 伦精品一区二区三区| 免费看美女性在线毛片视频| 国产精品乱码一区二三区的特点| 少妇猛男粗大的猛烈进出视频 | 自拍偷自拍亚洲精品老妇| 久久久久性生活片| 亚洲欧美日韩无卡精品| 亚洲av电影不卡..在线观看| 久久99热这里只有精品18| 久久精品国产亚洲av天美| 搡女人真爽免费视频火全软件 | 无遮挡黄片免费观看| 麻豆av噜噜一区二区三区| 2021天堂中文幕一二区在线观| 亚洲成a人片在线一区二区| 亚洲精品一区av在线观看| aaaaa片日本免费| 此物有八面人人有两片| 女人被狂操c到高潮| 亚洲欧美日韩无卡精品| 中文字幕免费在线视频6| www日本黄色视频网| 午夜福利成人在线免费观看| 精品一区二区免费观看| 99热这里只有是精品50| 亚洲熟妇熟女久久| 免费av观看视频| 欧美性猛交╳xxx乱大交人| 91狼人影院| 日本免费a在线| 亚洲最大成人中文| 国产精品久久视频播放| 国产成人精品久久久久久| 精品欧美国产一区二区三| 一区二区三区高清视频在线| aaaaa片日本免费| 久久人人精品亚洲av| 久久草成人影院| 欧美bdsm另类| 国产aⅴ精品一区二区三区波| 日韩三级伦理在线观看| 看片在线看免费视频| 女生性感内裤真人,穿戴方法视频| 麻豆一二三区av精品| 嫩草影院精品99| 欧美+日韩+精品| 一夜夜www| 伦理电影大哥的女人| 久久午夜福利片| 你懂的网址亚洲精品在线观看 | 日韩高清综合在线| 免费在线观看影片大全网站| 韩国av在线不卡| 国产真实伦视频高清在线观看| 精品午夜福利视频在线观看一区| 热99在线观看视频| 桃色一区二区三区在线观看| 日本免费一区二区三区高清不卡| 非洲黑人性xxxx精品又粗又长| 男人舔奶头视频| 高清毛片免费观看视频网站| 网址你懂的国产日韩在线| 欧美成人一区二区免费高清观看| 麻豆久久精品国产亚洲av| 能在线免费观看的黄片| 无遮挡黄片免费观看| 日本撒尿小便嘘嘘汇集6| 久久国产乱子免费精品| 欧美国产日韩亚洲一区| 日本精品一区二区三区蜜桃| 真人做人爱边吃奶动态| 精品免费久久久久久久清纯| 精品不卡国产一区二区三区| 成人性生交大片免费视频hd| 午夜福利18| 女的被弄到高潮叫床怎么办| 免费电影在线观看免费观看| 亚洲av中文字字幕乱码综合| 亚洲av第一区精品v没综合| 免费无遮挡裸体视频| 亚洲精品国产av成人精品 | 成人二区视频| 色综合亚洲欧美另类图片| 色噜噜av男人的天堂激情| 精品日产1卡2卡| 色综合亚洲欧美另类图片| 精品一区二区三区av网在线观看| 91久久精品国产一区二区三区| 熟妇人妻久久中文字幕3abv| 亚洲婷婷狠狠爱综合网| 国产高潮美女av| 国产亚洲欧美98| 久久精品夜夜夜夜夜久久蜜豆| 国产在视频线在精品| 天堂√8在线中文| 午夜日韩欧美国产| 亚洲av熟女| 在线观看免费视频日本深夜| 亚洲成人久久爱视频| 国产真实伦视频高清在线观看| 国产91av在线免费观看| 日韩三级伦理在线观看| 在线播放无遮挡| 丝袜美腿在线中文| 成人特级黄色片久久久久久久| 日韩 亚洲 欧美在线| 成人三级黄色视频| 国产精品久久电影中文字幕| 免费不卡的大黄色大毛片视频在线观看 | 亚洲自拍偷在线| 国产久久久一区二区三区| 色吧在线观看| 成人欧美大片| 少妇裸体淫交视频免费看高清| 波野结衣二区三区在线| 最近手机中文字幕大全| 欧美又色又爽又黄视频| 欧洲精品卡2卡3卡4卡5卡区| 九色成人免费人妻av| 欧美人与善性xxx| 欧美成人一区二区免费高清观看| 精品人妻偷拍中文字幕| 亚洲av不卡在线观看| 亚洲av美国av| 亚洲无线观看免费| 久久天躁狠狠躁夜夜2o2o| 我的老师免费观看完整版| 欧美丝袜亚洲另类| 看非洲黑人一级黄片| 国产在线精品亚洲第一网站| av在线天堂中文字幕| 免费av不卡在线播放| 99在线视频只有这里精品首页| 亚洲乱码一区二区免费版| 亚洲第一电影网av| 男女边吃奶边做爰视频| 少妇高潮的动态图| 亚洲欧美中文字幕日韩二区| 美女免费视频网站| 国内精品久久久久精免费| 我要搜黄色片| 亚洲国产高清在线一区二区三| 国产中年淑女户外野战色| 久久亚洲精品不卡| a级一级毛片免费在线观看| 亚洲av熟女| 久久午夜亚洲精品久久| 国产一区二区三区av在线 | 你懂的网址亚洲精品在线观看 | 成人av在线播放网站| 日韩欧美精品v在线| 国产又黄又爽又无遮挡在线| 国产精品精品国产色婷婷| 在线观看66精品国产| 51国产日韩欧美| 久久精品夜夜夜夜夜久久蜜豆| 联通29元200g的流量卡| 日日干狠狠操夜夜爽| 寂寞人妻少妇视频99o| 干丝袜人妻中文字幕| 色吧在线观看| 欧美日韩国产亚洲二区| 日韩高清综合在线| 亚洲真实伦在线观看| av黄色大香蕉| 欧美性感艳星| 免费观看在线日韩| 一级av片app| 国产高清视频在线观看网站| 欧美人与善性xxx| 99久久精品国产国产毛片| 亚洲乱码一区二区免费版| 国产又黄又爽又无遮挡在线| 国产精品女同一区二区软件| 欧美三级亚洲精品| 亚洲精品456在线播放app| 国产精品人妻久久久影院| 国产免费男女视频| 国产欧美日韩一区二区精品| 少妇被粗大猛烈的视频| 国产精品野战在线观看| 性插视频无遮挡在线免费观看| 日韩av不卡免费在线播放| 久久精品国产亚洲av天美| 综合色av麻豆| 国产精品亚洲一级av第二区| 麻豆av噜噜一区二区三区| 99热只有精品国产| 伊人久久精品亚洲午夜| 1024手机看黄色片| 精品久久久久久久久亚洲| 国产精品电影一区二区三区| 少妇猛男粗大的猛烈进出视频 | 欧美一区二区亚洲| 九九在线视频观看精品| 成人鲁丝片一二三区免费| 五月玫瑰六月丁香| 欧美激情久久久久久爽电影| 熟女人妻精品中文字幕| 日韩制服骚丝袜av| 色5月婷婷丁香| 国内精品宾馆在线| 少妇丰满av| 波多野结衣巨乳人妻| 在线观看午夜福利视频| 免费看a级黄色片| 99热这里只有是精品50| 两个人视频免费观看高清| 国内少妇人妻偷人精品xxx网站| 日本三级黄在线观看| 久久久精品欧美日韩精品| 亚洲国产高清在线一区二区三| 又爽又黄无遮挡网站| АⅤ资源中文在线天堂| 精品福利观看| 国产视频内射| 亚洲熟妇中文字幕五十中出| 白带黄色成豆腐渣| 国产日本99.免费观看| 黑人高潮一二区| 天天一区二区日本电影三级| 久久久色成人| 亚洲成人中文字幕在线播放| 国产激情偷乱视频一区二区| 成人无遮挡网站| 国产精品无大码| 国产精品电影一区二区三区| 一个人观看的视频www高清免费观看| 日本免费一区二区三区高清不卡| 精品久久久久久久久久久久久| 在线观看美女被高潮喷水网站| 国产女主播在线喷水免费视频网站 | 身体一侧抽搐| 成熟少妇高潮喷水视频| 久久久久久大精品| 国产视频一区二区在线看| 久久草成人影院| 国产精品日韩av在线免费观看| 三级男女做爰猛烈吃奶摸视频| 干丝袜人妻中文字幕| 亚洲精品粉嫩美女一区| 在线观看免费视频日本深夜| 国产精品久久久久久久久免| 成人特级av手机在线观看| 欧美日韩一区二区视频在线观看视频在线 | 在线免费十八禁| 国产精品久久久久久精品电影| 熟妇人妻久久中文字幕3abv| 久99久视频精品免费| 99久久中文字幕三级久久日本| 看免费成人av毛片| 午夜激情欧美在线| 天堂动漫精品| 变态另类成人亚洲欧美熟女| 久久草成人影院| or卡值多少钱| 我的老师免费观看完整版| 国产乱人偷精品视频|