• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結合Bert與Bi-LSTM的英文文本分類模型

    2023-04-26 08:21:38張衛(wèi)娜
    計算機測量與控制 2023年4期
    關鍵詞:語義向量單詞

    張衛(wèi)娜

    (西安思源學院,西安 710038)

    0 引言

    隨著互聯(lián)網(wǎng)絡的快速普及以及智能手機的風靡,英語世界中各種各樣的社交媒體上出現(xiàn)了海量的文本信息,例如日更的新聞文本、各大購物平臺上的商品評價文本、影視書籍平臺的評論文本、手機短信、各種垃圾郵件等[1-2]。其中,短文本的數(shù)量在節(jié)奏明快的互聯(lián)網(wǎng)信息時代最為龐大,可謂是數(shù)不勝數(shù),這給我們提出了一個緊迫的需求和研究課題,那就是如何從這些短文本中及時且準確地提取出富有價值的信息,協(xié)助用戶快速高效地篩選出有用的信息,滿足各種需求,譬如情感分類[3]、垃圾郵件與色情信息過濾及新聞分類等[4]。

    英文短文本主要的特征是長度稍短,其中介于100~200個單詞長度的短文本最為常見。短文本分類是自然語言處理中一個非常經(jīng)典且關注點極高的低層級任務之一,旨在為給定的文本分配預定義好的類別,其被廣泛應用在問答系統(tǒng)、對話系統(tǒng)、情感分析系統(tǒng)以及其他系統(tǒng)等等。近年來,各種各樣的神經(jīng)網(wǎng)絡模型被嘗試應用到文本分類任務當中,例如CNN卷積神經(jīng)網(wǎng)絡模型[5-7]、自注意力模型以及生成對抗式網(wǎng)絡[8]、RNN循環(huán)神經(jīng)網(wǎng)絡模型[9-11]模型。相比于支持向量機SVM模型[12]等傳統(tǒng)的統(tǒng)計學習方法,基于深度學習的模型性能更加優(yōu)越,提供了更好的分類結果。預訓練語言模型Bert(bidirectional encoder representations from transformers)是基于大規(guī)模語料庫利用多任務預訓練技術的一種自注意力模型[13]。與基于CNN/RNN模型和傳統(tǒng)模型相比,它通常在許多任務中取得優(yōu)異的性能,從命名體識別任務、文本分類到閱讀理解任務等。

    盡管深度學習模型在文本分類任務中的性能出色,但是這些模型中的大多數(shù)通常沒有做到很好地捕捉長距離的語義信息問題[14]。針對這點不足,很多研究者也提出了相應的解決方案。Yang等人的HAN模型設計了一種分層注意機制將文本分為句子和單詞兩個層次,并使用雙向RNN作為編碼器[15]。Lei等人提出的MEAN[16]模型試圖通過注意力機制將3種情感語言知識整合到深度神經(jīng)網(wǎng)絡中,從而緩解這一問題。雖然基于自注意力機制的模型在一定程度上緩解了這個問題,但依舊沒有徹底解決。究其原因,很多模型是僅僅從句子或者文檔直接對句子的表示進行建模的,并沒有顯式地將語言知識考慮進去,導致上下文的語義聯(lián)系不強。例如句子:“Though this movie is a little bit repetitive and vague,it really engages our senses through the way few current movie do”,可以發(fā)現(xiàn)句子中既包含了負面情感和正面情感。雖然句子的前半句對電影是持否定態(tài)度,然而聯(lián)合句子的上下文可以發(fā)現(xiàn)“through the way few current movie do”是強烈的表達了對電影的肯定,如果不考慮語言知識的話,最終的分類器給出的預測分類結果可能是錯誤的,將此句子判定為負類。這恰恰是自注意力模型不能夠達到的效果。

    為了更好地捕捉長距離上下文信息以及語義依賴,同時有效地將語言知識引入到文本分類任務中,本文基于Bert預訓練語言模型與Bi-LSTM模型提出了一種新穎的英文文本分類模型。首先,我們先使用Bert模型得到的嵌入來表示輸入,然后將該語義嵌入向量當做Bi-LSTM模型的輸入來做進一步的特征表示和提取。具體而言,Bert模型能夠很好地對語言知識進行建模與提取,提升網(wǎng)絡的特征表達能力。與此同時,Bi-LSTM模型能夠對輸入的前后兩個方向的長距離上下文語義特征進行建模,捕捉文本中單詞間的語義依賴關系。在多個數(shù)據(jù)集上的實驗結果表明,本文的Bert-Bi-LSTM模型能夠高效且有效地對句子中的長距離上下文依賴語義信息進行建模,同時結合語言知識,有效提升了文本分類的性能。

    1 基于深度學習的文本分類工作

    1.1 深層神經(jīng)網(wǎng)絡

    近來幾年中,深度神經(jīng)網(wǎng)絡在自然語言處理中放異彩,在不同任務中均取得了良好的效果。其中,CNN和RNN,包括長短期記憶LSTM型網(wǎng)絡(long-short term memory)[17]以及門控遞歸單元GRU(gate recurrent unit)[18]網(wǎng)絡非常適合與文本中單詞和序列的處理和特征提取。文獻[5]和[7]均利用CNN來構建文本分類模型。首先,它們使用word2vec處理輸入文本,然后將語義表示向量輸入給CNN以提取特征,最后使用softmax函數(shù)來判斷文本的類別?;贑NN的方法不僅僅能夠實現(xiàn)自動提取特征,同時長于處理高維度的文本數(shù)據(jù)。然而,CNN處理當前時間步的輸入,不能夠很好地對前一個時間步輸入和后一個時間步的輸入同時進行建模。針對此,Zhu等人于2015年設計了一種基于LSTM網(wǎng)絡的分類模型,該模型將使用詞語序列技術來對評論文本進行詞序列建模而完成特征抽取和分類,因為LSTM網(wǎng)絡具有捕捉文本句子中的長距離型上下文語義關系[19]。C-LSTM首先使用CNN捕獲文本的局部信息,然后使用LSTM網(wǎng)絡對卷積核的每個輸出進行編碼以捕獲全局信息[20]。

    1.2 預訓練語言模型

    近年來,類似于計算機視覺領域中的研究工作,預訓練模型在NLP的多個任務中均取得了非常好的結果。預訓練模型通常通過利用大量未標記語料庫來學習通用的語言表示,并在針對不同任務的預訓練模塊之后接續(xù)額外的任務特定層。例如,ELMO(embeddings from language models)模型[21]致力于從語言模型中提取上下文敏感特征,從而刷新了幾個主要NLP基準任務的SOTA性能,包括問答任務[22]、情感分析[23]和命名實體識別[24]。如圖1所示,GPT(generative pre-training)[25]是一種基于微調方法的單向預訓練語言模型。在預訓練階段,GPT使用大規(guī)模連續(xù)語料來訓練多層Transformer 編碼器。而BERT模型是基于多層雙向變換器,并在大規(guī)模語料庫上進行掩碼語言模型預訓練任務訓練和下一個句子預測預訓練任務。Bert模型通過多頭自注意力機制大大增強了對輸入數(shù)據(jù)的不同部分的上下文語義表示的關注。

    圖1 GPT模型

    2 預訓練技術和雙向長短期記憶網(wǎng)絡

    本節(jié)主要介紹文中所涉及到的相關模型和技術,分別是Bert預訓練語言模型與Bi-LSTM網(wǎng)絡。

    2.1 Bert預訓練語言模型

    圖2中所展示的模型是Transformer模型的編碼器部分,而這個編碼器恰恰是構成Bert模型的基本單位。從圖2中可以看出,編碼器主要是包含了一層多頭注意力網(wǎng)絡、兩層加法與歸一化網(wǎng)絡、一層前饋型網(wǎng)絡,以及跳躍連接機制。

    圖2 Transformer的編碼器

    圖1所示的GPT是一種基于預訓練技術的單向預訓練語言模型,其基本組成器件是Transformer模型的解碼器部分,同時只是利用了單一方向的解碼器。

    如圖3所示,Bert模型則是利用了Transformer模型的編碼器部分建立了雙向的編碼器模型。不同于GPT模型,Bert模型沒有使用Transformer模型的解碼器,主要原因是解碼器接觸到的都是不完整的句子,而編碼器則可以看到語料庫中完整的句子,有助于捕捉完整的語言信息從而提升文本分類的性能。

    圖3 BERT模型

    2.2 Bi-LSTM網(wǎng)絡模型

    如圖14所示,針對標準RNN網(wǎng)絡在訓練階段中一直存在梯度消失抑或爆炸的現(xiàn)象,HochReiter與Schmidhuber兩名學者于20世紀90年代提出了LSTM網(wǎng)絡。

    圖4 LSTM網(wǎng)絡

    LSTM網(wǎng)絡的每個單元中主要包含了3個門,分別是輸入門i、遺忘門f和輸出門o。遺忘門主要是控制遺忘上一個時間步傳來的信息類型和數(shù)量;輸入門控制當前時間步內主要接收哪些信息來更新門狀態(tài);而輸出門控制了當前時間步的信息流。在LSTM單元在第t個時間步的計算公式如下:

    X=[ht-1,xt]

    (1)

    ft=sigmoid(WfX+bf)

    (2)

    it=sigmoid(WiX+bi)

    (3)

    ct=ft*ct-1+it*tanh(WcX+bc)

    (4)

    ot=sigmoid(WoX+bo)

    (5)

    ht=ot*tanh(ct)

    (6)

    其中:*表示矩陣對應元素的乘法;xt∈Rn為輸入向量,而W∈Rm*n是各個門的參數(shù),b∈Rm是偏置向量。而上標n與m分別代表了單詞向量的維度數(shù)目與語料庫中的詞匯表尺寸。此外,[·]則表示拼接操作。

    盡管LSTM網(wǎng)絡基于門控機制和記憶單元提取了長距離的依賴信息,但是它忽略了從后往前這個方向的上下文信息,而這對于文本分類任務來說至關重要。自然而言地,我們想到了利用從前往后與從后往前兩個方向的LSTM網(wǎng)絡,即Bi-LSTM,這樣便能夠實現(xiàn)雙向的上下文依賴信息的捕捉。

    圖5 Bi-LSTM網(wǎng)絡

    圖5展示了Bi-LSTM網(wǎng)絡的基本結構。給定上一個時間步的隱藏狀態(tài)ht-1和當前時間步的輸入xt,兩個方向的LSTM的輸出可通過以下公式得到:

    (7)

    (8)

    3 結合Bert與Bi-LSTM分類模型搭建

    3.1 Bert層

    3.1.1 網(wǎng)絡的輸入

    Bert雙向編碼器預訓練語言模型,其一般是接受一個個由于多個單詞組成的英文句子作為輸入.每個句子在輸入之前需要做一些預處理,即在句首加上表示句子開始的[CLS]標識以及在句末插入表示句子結束的[SEP]標識。隨后,輸入的英文句子經(jīng)過預處理轉換為3種輸入向量嵌入,分別是單詞向量、段向量以及位置向量嵌入等,而最終的輸入是將以上3種向量嵌入相加而來。

    其中,由于預訓練的過程中需要確定兩個不同句子的順序先后,因此段向量嵌入主要是通過[CLS]標識將輸入文本的句子兩兩之間進行相連,從而達到區(qū)分的目的。位置向量嵌入主要用于區(qū)分文本序列中處于不同位置的單詞各自間的語義信息的差別。

    給定x是由k個單詞所組成的一個輸入的英文句子,該英文句子可被形式化表示為x=x1x2…xi…xk,其中xi(1≤i≤k)是第i個英文單詞。

    3.1.2 掩碼語言模型預訓練任務

    掩碼語言模型(MLM,masked language model)預訓練任務主要目的在于讓模型學習到句子的上下文特征,該任務隨機地將文本中的單詞用特殊標識[MASK]進行掩蓋,然后在輸入給模型進行預測被掩蓋掉的單詞。具體而言,我們需要對語料庫中15%的單詞進行掩蓋,然后通過softmax對掩蓋的單詞位置所輸出的最終隱藏輸出向量進行單詞預測。掩碼操作的例子如下:

    原本的句子:After watching the movie,I think it is better than the one I saw last week.

    掩蓋后的句子:After watching the movie,I think it is [MASK]than the one I saw last week.

    如果直接對語料庫中15%的單詞進行掩蓋,而如前所述輸入向量中并沒有包含[MASK]標識,因此需要想辦法解決這個小問題。針對要使用[MASK]標識隨機掩蓋的單詞,具體的策略是:1)其中的80%直接使用[MASK]去替代;2)用任意的單詞替代原有單詞的比例為10%;3)而余下另外的10%保持原樣。舉例如下:

    1)After watching the movie,I think it is [MASK]than the one I saw last week.

    2)After watching the movie,I think it is no than the one I saw last week.

    3)After watching the movie,I think it is better than the one I saw last week.

    3.1.3 下一個句子預測預訓練任務

    為了提升模型理解兩個句子之間的語義聯(lián)系,強化模型的長距離上下文語義信息的捕捉能力,需要在下一個句子預測類型的預訓練任務里面,對給定文本中的兩個句子的相鄰關系。具體而言,我們需要從文本語料庫中任意挑選兩個句子A和B構成一個訓練樣本,按照B屬于句子A下一句的語言邏輯關系的樣本的數(shù)學概率為50%(其標識為IsNext),而從數(shù)據(jù)集中隨機抽選句子B的數(shù)學概率為50%(其標識為NotNext)。

    3.1.4 Bert模型的輸出

    如圖6所示,BERT預訓練語言模型的輸出為隱藏狀態(tài)向量或隱藏狀態(tài)向量的時間步長序列,其數(shù)學表示如下:

    h=[h1,h2,…,hi,…,hk]

    (9)

    圖6 模型的整體結構

    其中:k為單詞向量的維度(一般而言k=768),i的取值范圍為1≤i≤k。需要指出的是,英文文本的最大長度取值為150,這么做是為了降低模型的計算復雜度和推理速度。

    3.2 Bi-LSTM層

    如前所述,單方向的LSTM網(wǎng)絡只能夠捕捉一個方向的序列信息,不能做到同時對從左向右和從右向左的兩個方向的上下文語義信息進行建模嗎。因此本文結合從前往后和從后往前雙方向的LSTM網(wǎng)絡,即Bi-LSTM網(wǎng)絡,來捕捉前后兩個方向的全局語義信息。

    如圖6所示,本文利用Bi-LSTM網(wǎng)絡作為深層語義特征抽取層,對Bert預訓練語言模型輸出的隱藏狀態(tài)的時間步長序列向量h進一步對文本進行全局語義特征抽取。

    具體而言,Bi-LSTM網(wǎng)絡層的真實輸入為上一個時間步的隱層向量ht-1和當前時間步輸入xt的拼接。需要注意的是,在第0個時間步中,上一個時間步的隱層向量和當前時間步的輸入是相同的。在第t個時間步,Bi-LSTM網(wǎng)絡的輸入為[ht-1,xt],那么從前往后方向的LSTM網(wǎng)絡的隱藏狀態(tài)輸出向量為:

    (10)

    而從后往前的LSTM網(wǎng)絡的隱藏狀態(tài)的輸出向量為:

    (11)

    最終,在第t個時間步,Bi-LSTM層的隱藏狀態(tài)向量為當前時間步t的由后往前和由前往后雙方向產(chǎn)生的隱層向量的拼接結果,具體為公式(12):

    經(jīng)過所有的時間步,我們可以得到一個包含長距離型上下文語義信息隱層向量的集合,即H={h1,h2,…,hi,…,ht}(1≤i≤t)。

    3.3 全連接層

    在將隱藏狀態(tài)向量輸入到分類器層之前,本文使用了一個全連接層作為線性層將句子的高級全局上下文語義信息表征向量處理為一個實值向量,其維度數(shù)目等于文本的類別總數(shù)n。上述全連接層的處理過程的數(shù)學化表示為:

    g(ht)=Wght+bg

    其中:Wg表示全連接層的權重向量矩陣,bg表示全連接層的偏置向量。

    3.4 分類器層

    一般而言,對于文本多分類任務,我們可以使用softmax函數(shù)輸出各個文本類別的條件概率值的,其中的最大值則是預測輸入文本所對應的標簽類別。Softmax層的條件概率值計算的數(shù)學公式為:

    3.5 損失函數(shù)

    為了更好地配合端到端的深度模型設計和訓練,本文主要是利用交叉熵損失函數(shù)來評估樣本的真值標簽和模型輸出的預測值之間的誤差:

    其中:N表示類別總數(shù),i與j分別表示文本索引和類別索引,yi表示的是模型輸出的預測值,而θ是模型的待優(yōu)化的參數(shù)集合,分別是各層的權重參數(shù)和偏置參數(shù)。

    4 實驗結果與分析

    4.1 實驗設置

    本文主要在英偉達3 080 ti型號的顯卡上利用PyTorch框架搭建模型,而后完成訓練和推理實驗,選用VSCode作為編程軟件,Python的版本為V3.6.8。本文主要基于Word2Vec詞向量來建立所有的詞向量,其維度數(shù)量為300,文本最大長度為150,至于Bi-LSTM網(wǎng)絡層的節(jié)點數(shù)量設置為16。訓練過程總的Epoch數(shù)量是10,數(shù)據(jù)集的批次大小設置為32。此外,所選Adam優(yōu)化器的學習率的初值被這設定陳恒0.001,而λ=0.1。為了更好地擬合模型的同時保持訓練過程的穩(wěn)定,失活概率為0.3的Dropout引入模型的訓練。此外,Bert預訓練語言模型的詞嵌入的維度默認為768維。

    4.2 數(shù)據(jù)集和評價指標

    本文主要使用下列3個常見的英文數(shù)據(jù)集來訓練和測試模型:

    1)MR數(shù)據(jù)集:該數(shù)據(jù)集是基于簡短電影評論文本構建而成的,由Pang和Lee兩人于2005年首次應用到自然語言處理中的情感分類任務中。其中,訓練集主要包含5 331條正面評論的負面樣本以及3 610條正面樣本。

    2)SST-2數(shù)據(jù)集:該數(shù)據(jù)集是MR數(shù)據(jù)集的變體。需要注意的是,非常積極和正向的評價文本被標記為正樣本,而負面積極和極度負面的評價文本則會被標記為負面樣本??傮w上,訓練集被劃分為3 310條負面樣本以及3 610條正面樣本。

    3)CoLA數(shù)據(jù)集:CoLA語料庫是一個二元單句分類任務所使用的數(shù)據(jù)集。CoLA數(shù)據(jù)集是被經(jīng)過人工標注的,主要是針對語法的接受性。本文使用該語料庫的公開獲取版本,其中包含8 551條訓練數(shù)據(jù)和1 043個測試數(shù)據(jù)5,總共有6 744個正面樣本和2 850個負面樣本。該數(shù)據(jù)集的文本平均長度為7.7個單詞。由于CoLA的測試集沒有進行標注,因此本文從訓練集中劃分出5%樣本作為驗證集,并使用原始驗證集作為測試集。

    在模型評價指標的選取上,本文主要使用準確率Accuracy去衡量和評估所設計的模型以及對比模型的有效性和性能。Accuracy可通過如下公式進行計算:

    其中:TP和TN分別代表l了輸入的英文句子被正確地預估為正樣本的數(shù)量和被錯誤地預估為正樣本的數(shù)量,而FN和TN分別代表了被錯誤地預估為負樣本的數(shù)量,以及被正確地預估為負樣本的數(shù)量。

    4.3 基準對比模型

    為了充分地評估本文所設計的Bert-Bi-LSTM分類模型是否能夠準確地提取到局部和全局的高級上下文語義信息,我們將該模型與多個基準模型進行了對比和評估實驗。除了原本的Bert預訓練語言模型直接應用于英文文本分類任務,本文還選取了幾個相關的深度學習網(wǎng)絡模型作為基準模型進行對比實驗。關于選取的基準模型的詳細信息說明如下:

    1)SVM:為體現(xiàn)對比實驗的全面性,本文特地選取了傳統(tǒng)分類模型SVM作為一個基準對比模型。

    2)MLP:傳統(tǒng)模型多層感知機的隱藏層數(shù)量為2,分別包含512和100個隱藏單元,該感知機使用了經(jīng)過TF詞頻加權的詞袋向量。

    3)CNN-non-static:該模型的輸入向量和MLP的保持一致,同時沒有改變模型原本的訓練參數(shù)。

    4)LSTM:Bert模型的隱層輸出向量是單向長短期記憶網(wǎng)絡的輸入。

    5)Bi-LSTM:雙向LSTM網(wǎng)絡的輸入和單向的保持一致。

    6)Bert:在本文的實驗中,我們使用的是原始的預訓練Bert模型。

    為了保證對比實驗是公平比較,所有的模型均是從零開始訓練。

    4.4 實驗結果

    本文在表1中提供了上述各個基準對比模型在MR數(shù)據(jù)集、SST-2數(shù)據(jù)集與CoLA數(shù)據(jù)集上的準確率結果。從表1中列出的實驗結果可以發(fā)現(xiàn),基于深度學習的分類模型在3個數(shù)據(jù)集上的性能均一致高于傳統(tǒng)的基于機器學習的分類模型。最為重要的是,經(jīng)過實驗對比可以看出,本文所提出的結合Bert與Bi-LSTM的模型的性能超越了所有的基準對比模型。特別地,本文的模型的性能同時優(yōu)于單獨利用那個Bert模型和Bi-LSTM網(wǎng)絡去實現(xiàn)分類的情況,這個結果說明結合二者構建的分類模型性能優(yōu)越,兼?zhèn)涠叩膹姶蟮纳舷挛恼Z義信息的挖掘能力和雙向長距離依賴捕捉能力。

    表1 不同模型在3個數(shù)據(jù)集上的準確率結果

    在僅僅利用到局部語義信息的模型之中,Bert模型超越了SVM、MLP與LSTM模型。此外,Bi-LSTM模型的性能相比于單向的LSTM模型有所提升,這得益于Bi-LSTM同時捕捉到了前后兩個方向的上下文信息。注意到,Bi-LSTM模型在MR數(shù)據(jù)集上的性能是略低于CNN- non-static模型的,但是在結合Bert預訓練語言模型之后,這在此證明了Bert預訓練模型強大的語義信息表達和提取能力對文本分類模型的性能提升很有幫助。

    圖7 模型的訓練曲線

    4.5 消融實驗

    為了探究不同數(shù)據(jù)集中文本的不同的最大長度對模型性能的影響,本文將所提出的Bert-Bi-LSTM模型在3個數(shù)據(jù)集上均完成了消融實驗。從表2中可以觀察到,隨著文本最大長度邊長,本文所提的模型在3個數(shù)據(jù)集上的性能提升趨勢基本一致,但是在長度越過150時,模型性能的增益變小,甚至出現(xiàn)了輕微下降的現(xiàn)象。因此為了在模型的性能與計算成本之間做出較好的權衡,本文選擇了150作為最終的文本最大長度值。

    表2 不同的最大句子長度對本文所提模型性能的影響

    5 結束語

    針對英文文本分類任務中現(xiàn)存的主要問題和不足,本文主要提出了一種新穎的基于Bert-Bi-LSTM分類模型。相比于現(xiàn)有的分類方法,該模型能夠通過Bert預訓練語言模型引入外部的語言知識提升分類的準確性,同時還能基于Bi-LSTM網(wǎng)絡對詞嵌入向量進行前后兩個方向的上下文語義依賴信息進行建模。充分的對比實驗結果表明,本文結合Bert預訓練元模型和Bi-LSTM網(wǎng)絡搭建的模型在3個公共數(shù)據(jù)集上的性能顯著勝于其他基準對比模型,其能夠借助外部的語言知識去提升分類的準確率。此外,本文提出的算法同時利用Bi-LSTM網(wǎng)絡來捕獲雙向的長距離型上下文語義依賴信息,大大提高了分類模型的特征提取與表示能力。

    猜你喜歡
    語義向量單詞
    向量的分解
    聚焦“向量與三角”創(chuàng)新題
    語言與語義
    單詞連一連
    看圖填單詞
    看完這些單詞的翻譯,整個人都不好了
    “上”與“下”語義的不對稱性及其認知闡釋
    向量垂直在解析幾何中的應用
    向量五種“變身” 玩轉圓錐曲線
    認知范疇模糊與語義模糊
    日韩欧美一区视频在线观看| 久久人人爽av亚洲精品天堂| 高清欧美精品videossex| 久久久久久久大尺度免费视频| 午夜福利一区二区在线看| 一二三四社区在线视频社区8| a级毛片在线看网站| 亚洲国产av新网站| 精品一区二区三区四区五区乱码 | 久久久久视频综合| 一级毛片女人18水好多 | 一本一本久久a久久精品综合妖精| 成人亚洲精品一区在线观看| cao死你这个sao货| 大型av网站在线播放| 亚洲一码二码三码区别大吗| 纵有疾风起免费观看全集完整版| 精品福利永久在线观看| 大话2 男鬼变身卡| 日韩大码丰满熟妇| 永久免费av网站大全| 国产精品 国内视频| videosex国产| 男女之事视频高清在线观看 | 色婷婷av一区二区三区视频| 精品久久蜜臀av无| 国产男人的电影天堂91| 精品第一国产精品| 亚洲 欧美一区二区三区| 手机成人av网站| 日韩一区二区三区影片| 三上悠亚av全集在线观看| 久久久久久免费高清国产稀缺| 曰老女人黄片| 亚洲精品中文字幕在线视频| 少妇粗大呻吟视频| av天堂在线播放| 国产亚洲精品第一综合不卡| 午夜免费男女啪啪视频观看| 熟女av电影| 岛国毛片在线播放| 国产高清不卡午夜福利| 伊人亚洲综合成人网| 青草久久国产| 亚洲免费av在线视频| 一级毛片电影观看| 中文字幕最新亚洲高清| 男人爽女人下面视频在线观看| 999久久久国产精品视频| 午夜免费观看性视频| 90打野战视频偷拍视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国产成人一区二区三区免费视频网站 | 久久国产精品大桥未久av| 十八禁人妻一区二区| 首页视频小说图片口味搜索 | www.av在线官网国产| 欧美精品一区二区大全| 99久久精品国产亚洲精品| 国产高清videossex| 久久精品亚洲熟妇少妇任你| 精品亚洲乱码少妇综合久久| 亚洲成av片中文字幕在线观看| 交换朋友夫妻互换小说| 日韩一卡2卡3卡4卡2021年| 久久久久久久久免费视频了| 亚洲欧美中文字幕日韩二区| 嫩草影视91久久| 免费在线观看完整版高清| 看免费成人av毛片| 日韩一本色道免费dvd| 最新在线观看一区二区三区 | 婷婷成人精品国产| 欧美在线黄色| 1024香蕉在线观看| 亚洲,欧美,日韩| 午夜福利在线免费观看网站| 亚洲激情五月婷婷啪啪| 亚洲天堂av无毛| 婷婷丁香在线五月| 中国国产av一级| 精品少妇久久久久久888优播| 丰满少妇做爰视频| 一级黄片播放器| av在线老鸭窝| 久久鲁丝午夜福利片| 久久久国产精品麻豆| 亚洲欧美精品自产自拍| 久久精品国产亚洲av高清一级| 日本色播在线视频| 国产精品免费大片| av在线播放精品| a级毛片黄视频| 在线观看免费视频网站a站| 久久免费观看电影| av在线播放精品| 在线观看www视频免费| 国产高清视频在线播放一区 | 国产成人91sexporn| 极品少妇高潮喷水抽搐| 国产av一区二区精品久久| 性色av乱码一区二区三区2| 日本午夜av视频| 一边亲一边摸免费视频| av国产精品久久久久影院| 在线 av 中文字幕| 国产一级毛片在线| 尾随美女入室| 久久国产精品大桥未久av| 交换朋友夫妻互换小说| 一区二区av电影网| 精品久久蜜臀av无| 伊人久久大香线蕉亚洲五| 搡老岳熟女国产| 免费观看人在逋| 国产精品秋霞免费鲁丝片| 黄色a级毛片大全视频| 麻豆乱淫一区二区| 欧美 亚洲 国产 日韩一| 欧美 日韩 精品 国产| h视频一区二区三区| 日日夜夜操网爽| 亚洲av成人不卡在线观看播放网 | 亚洲中文av在线| 久久久国产欧美日韩av| 性色av一级| 中文乱码字字幕精品一区二区三区| 国产成人啪精品午夜网站| 成年美女黄网站色视频大全免费| 男女无遮挡免费网站观看| 久久久久久人人人人人| 一级a爱视频在线免费观看| 日日爽夜夜爽网站| 亚洲国产精品一区三区| 久久久精品国产亚洲av高清涩受| 亚洲人成电影观看| 亚洲欧美一区二区三区黑人| 最近中文字幕2019免费版| 久久毛片免费看一区二区三区| 女人被躁到高潮嗷嗷叫费观| 黑丝袜美女国产一区| 一边摸一边抽搐一进一出视频| 国产精品一区二区在线不卡| 国产女主播在线喷水免费视频网站| 亚洲精品一二三| 精品视频人人做人人爽| 丝袜在线中文字幕| 亚洲五月色婷婷综合| 2021少妇久久久久久久久久久| 人人澡人人妻人| 日本vs欧美在线观看视频| 亚洲精品久久久久久婷婷小说| 久久99一区二区三区| 成年美女黄网站色视频大全免费| 视频区欧美日本亚洲| 亚洲男人天堂网一区| 国产真人三级小视频在线观看| 国产日韩欧美亚洲二区| 天天躁夜夜躁狠狠躁躁| 午夜精品国产一区二区电影| 韩国高清视频一区二区三区| 丰满少妇做爰视频| 黄色怎么调成土黄色| 男女国产视频网站| 成人三级做爰电影| 国产男人的电影天堂91| 国产欧美日韩综合在线一区二区| 母亲3免费完整高清在线观看| 性色av乱码一区二区三区2| 国产一区二区激情短视频 | 久久精品国产a三级三级三级| 久久国产精品影院| 老司机在亚洲福利影院| www日本在线高清视频| 亚洲av片天天在线观看| 一级毛片女人18水好多 | 天天躁狠狠躁夜夜躁狠狠躁| 中文字幕亚洲精品专区| 精品少妇一区二区三区视频日本电影| 亚洲午夜精品一区,二区,三区| 国产免费一区二区三区四区乱码| 高潮久久久久久久久久久不卡| 精品一区在线观看国产| 婷婷丁香在线五月| 啦啦啦在线观看免费高清www| 一区二区av电影网| 国产成人一区二区三区免费视频网站 | 一级a爱视频在线免费观看| 欧美精品啪啪一区二区三区 | 成人手机av| 老司机午夜十八禁免费视频| 91麻豆av在线| 成年女人毛片免费观看观看9 | 久久亚洲国产成人精品v| 国产欧美日韩一区二区三 | 少妇猛男粗大的猛烈进出视频| 成人影院久久| 中文字幕色久视频| 久久久久久亚洲精品国产蜜桃av| 亚洲欧美成人综合另类久久久| 国产精品久久久久久人妻精品电影 | 国产高清不卡午夜福利| 丝袜人妻中文字幕| 美女午夜性视频免费| 成人国产一区最新在线观看 | 成人亚洲欧美一区二区av| 亚洲精品美女久久av网站| 免费在线观看日本一区| 亚洲欧美日韩高清在线视频 | 亚洲三区欧美一区| 又黄又粗又硬又大视频| 一本久久精品| 在现免费观看毛片| 亚洲精品成人av观看孕妇| 亚洲欧美精品综合一区二区三区| www日本在线高清视频| 一边摸一边抽搐一进一出视频| 老司机影院成人| 9热在线视频观看99| 狂野欧美激情性bbbbbb| 麻豆乱淫一区二区| 老汉色∧v一级毛片| 女人高潮潮喷娇喘18禁视频| 国产免费又黄又爽又色| 宅男免费午夜| 亚洲中文av在线| 香蕉丝袜av| a级毛片在线看网站| 91国产中文字幕| 日韩大码丰满熟妇| 久9热在线精品视频| 波多野结衣一区麻豆| 如日韩欧美国产精品一区二区三区| 美女大奶头黄色视频| 国产黄色免费在线视频| 免费人妻精品一区二区三区视频| 久久九九热精品免费| 国产色视频综合| 69精品国产乱码久久久| av网站在线播放免费| 黄色毛片三级朝国网站| 亚洲五月色婷婷综合| 天天躁狠狠躁夜夜躁狠狠躁| 国产日韩欧美亚洲二区| 少妇被粗大的猛进出69影院| 国产精品九九99| 九草在线视频观看| 亚洲欧美一区二区三区黑人| 老鸭窝网址在线观看| 伊人亚洲综合成人网| 亚洲天堂av无毛| 一本色道久久久久久精品综合| 亚洲精品国产一区二区精华液| av国产精品久久久久影院| 9191精品国产免费久久| 精品卡一卡二卡四卡免费| 在线观看免费高清a一片| 亚洲自偷自拍图片 自拍| 亚洲精品成人av观看孕妇| 国产精品久久久av美女十八| 黄片小视频在线播放| 啦啦啦 在线观看视频| 成人亚洲精品一区在线观看| 91麻豆精品激情在线观看国产 | 97人妻天天添夜夜摸| 亚洲国产最新在线播放| 免费在线观看视频国产中文字幕亚洲 | 亚洲av综合色区一区| 97精品久久久久久久久久精品| 麻豆乱淫一区二区| 午夜福利视频在线观看免费| 免费少妇av软件| 岛国毛片在线播放| 又大又爽又粗| 精品久久久久久电影网| 久久国产精品人妻蜜桃| 国产在视频线精品| 亚洲熟女毛片儿| 在线观看免费视频网站a站| 免费观看人在逋| 精品福利永久在线观看| 18在线观看网站| 欧美成狂野欧美在线观看| 后天国语完整版免费观看| 男人操女人黄网站| 日本av免费视频播放| 99香蕉大伊视频| 国产亚洲欧美精品永久| 亚洲精品久久午夜乱码| 人妻人人澡人人爽人人| 韩国精品一区二区三区| 亚洲,欧美,日韩| 一级片免费观看大全| 性少妇av在线| 我的亚洲天堂| 一边摸一边做爽爽视频免费| 日韩视频在线欧美| 午夜福利乱码中文字幕| 国产福利在线免费观看视频| 国产免费福利视频在线观看| 别揉我奶头~嗯~啊~动态视频 | 叶爱在线成人免费视频播放| 国产黄色免费在线视频| 亚洲av电影在线观看一区二区三区| 精品国产国语对白av| 97在线人人人人妻| 夫妻性生交免费视频一级片| 人人妻人人澡人人看| 又大又爽又粗| 日本vs欧美在线观看视频| 精品少妇黑人巨大在线播放| 建设人人有责人人尽责人人享有的| 免费看不卡的av| 国产成人影院久久av| 久久久久精品国产欧美久久久 | 国产男人的电影天堂91| 欧美 亚洲 国产 日韩一| av欧美777| 中国美女看黄片| 成人影院久久| 欧美亚洲日本最大视频资源| 久久精品人人爽人人爽视色| 成年女人毛片免费观看观看9 | 老司机亚洲免费影院| 国产午夜精品一二区理论片| 最黄视频免费看| 黄色视频在线播放观看不卡| 一二三四社区在线视频社区8| 精品久久蜜臀av无| 亚洲专区国产一区二区| 亚洲精品美女久久av网站| 成人三级做爰电影| 亚洲精品一区蜜桃| 这个男人来自地球电影免费观看| 人妻人人澡人人爽人人| 国产av一区二区精品久久| 国产麻豆69| 亚洲精品日本国产第一区| 天天躁狠狠躁夜夜躁狠狠躁| 香蕉国产在线看| 不卡av一区二区三区| 欧美黑人精品巨大| 国产成人av教育| 男人爽女人下面视频在线观看| 80岁老熟妇乱子伦牲交| 久久精品亚洲av国产电影网| 热99国产精品久久久久久7| 香蕉丝袜av| 女人爽到高潮嗷嗷叫在线视频| 国产三级黄色录像| 日日摸夜夜添夜夜爱| 尾随美女入室| 黄片播放在线免费| 高清视频免费观看一区二区| 91老司机精品| 欧美日本中文国产一区发布| 真人做人爱边吃奶动态| 亚洲成av片中文字幕在线观看| 在线观看国产h片| 男女无遮挡免费网站观看| 中文精品一卡2卡3卡4更新| 一个人免费看片子| 2018国产大陆天天弄谢| 少妇精品久久久久久久| 久久久久久亚洲精品国产蜜桃av| 欧美 日韩 精品 国产| 成年人黄色毛片网站| 秋霞在线观看毛片| 一区二区三区精品91| 精品少妇一区二区三区视频日本电影| 91国产中文字幕| 久久久久久免费高清国产稀缺| 两性夫妻黄色片| 丰满饥渴人妻一区二区三| 国产精品成人在线| 性色av一级| 十八禁人妻一区二区| 一级a爱视频在线免费观看| 国产精品久久久久久人妻精品电影 | 人人妻人人澡人人看| 伊人久久大香线蕉亚洲五| 69精品国产乱码久久久| 99久久人妻综合| 99热国产这里只有精品6| 国产高清视频在线播放一区 | 中文字幕av电影在线播放| 欧美激情极品国产一区二区三区| 99久久99久久久精品蜜桃| 美女脱内裤让男人舔精品视频| 亚洲精品国产av成人精品| 免费女性裸体啪啪无遮挡网站| 99久久综合免费| 人体艺术视频欧美日本| 成年人午夜在线观看视频| 国产福利在线免费观看视频| 一级黄色大片毛片| 久久精品亚洲av国产电影网| 亚洲精品国产av蜜桃| 精品国产一区二区久久| 亚洲精品一区蜜桃| 婷婷丁香在线五月| 久热这里只有精品99| av天堂久久9| 亚洲第一青青草原| 啦啦啦视频在线资源免费观看| 九草在线视频观看| 精品国产国语对白av| 欧美日韩综合久久久久久| 高清欧美精品videossex| 你懂的网址亚洲精品在线观看| 老司机深夜福利视频在线观看 | 久久精品国产亚洲av涩爱| 国产片内射在线| 一区福利在线观看| 日本午夜av视频| 亚洲精品国产av蜜桃| 人成视频在线观看免费观看| 一级片'在线观看视频| 丰满人妻熟妇乱又伦精品不卡| 国产精品99久久99久久久不卡| 18禁国产床啪视频网站| 欧美日韩视频精品一区| 亚洲中文日韩欧美视频| 国产av一区二区精品久久| 一区二区av电影网| 亚洲欧美一区二区三区国产| 欧美日本中文国产一区发布| 国产亚洲欧美精品永久| 三上悠亚av全集在线观看| 最近最新中文字幕大全免费视频 | 国产亚洲av片在线观看秒播厂| 成人手机av| 超碰成人久久| videosex国产| 可以免费在线观看a视频的电影网站| 国产精品一二三区在线看| 免费女性裸体啪啪无遮挡网站| 免费一级毛片在线播放高清视频 | 国产私拍福利视频在线观看| 国产亚洲精品综合一区在线观看 | 精品人妻1区二区| 成年人黄色毛片网站| 两性午夜刺激爽爽歪歪视频在线观看 | 成人av一区二区三区在线看| 国产精品久久视频播放| 一本大道久久a久久精品| 琪琪午夜伦伦电影理论片6080| 男女那种视频在线观看| 国产精品香港三级国产av潘金莲| 国产精品亚洲av一区麻豆| 国产99白浆流出| av超薄肉色丝袜交足视频| 午夜激情av网站| 啪啪无遮挡十八禁网站| 亚洲一区中文字幕在线| 99国产精品一区二区蜜桃av| 两性午夜刺激爽爽歪歪视频在线观看 | 一边摸一边做爽爽视频免费| 国产高清有码在线观看视频 | 日日摸夜夜添夜夜添小说| 久久香蕉国产精品| 亚洲中文日韩欧美视频| 久久久精品欧美日韩精品| 成人精品一区二区免费| 99精品欧美一区二区三区四区| xxxwww97欧美| 亚洲精品在线美女| 狠狠狠狠99中文字幕| 色播在线永久视频| 久久久水蜜桃国产精品网| 亚洲免费av在线视频| 999久久久精品免费观看国产| 国产黄色小视频在线观看| 91九色精品人成在线观看| 欧美日韩亚洲综合一区二区三区_| 国产成人av激情在线播放| 亚洲专区中文字幕在线| 热99re8久久精品国产| 2021天堂中文幕一二区在线观 | 美女大奶头视频| 成年女人毛片免费观看观看9| 国产亚洲精品第一综合不卡| 夜夜夜夜夜久久久久| 国产在线观看jvid| 久久久久国产一级毛片高清牌| 一a级毛片在线观看| 国产精品永久免费网站| 日韩欧美三级三区| 亚洲在线自拍视频| 精品乱码久久久久久99久播| 精品第一国产精品| 日韩三级视频一区二区三区| 日日摸夜夜添夜夜添小说| 90打野战视频偷拍视频| 搡老熟女国产l中国老女人| 美女高潮到喷水免费观看| 日本一本二区三区精品| 国产精品免费一区二区三区在线| 精品第一国产精品| 啦啦啦 在线观看视频| 在线国产一区二区在线| 亚洲九九香蕉| 一本大道久久a久久精品| av视频在线观看入口| 好看av亚洲va欧美ⅴa在| 国产精品精品国产色婷婷| 男男h啪啪无遮挡| 久久人妻福利社区极品人妻图片| netflix在线观看网站| 国产精品爽爽va在线观看网站 | 嫩草影视91久久| 国产国语露脸激情在线看| 97碰自拍视频| 99精品久久久久人妻精品| 97碰自拍视频| 欧美中文日本在线观看视频| av欧美777| 观看免费一级毛片| 免费高清视频大片| 国产激情偷乱视频一区二区| 亚洲九九香蕉| 老熟妇乱子伦视频在线观看| 国产精品久久久久久人妻精品电影| 国产精品99久久99久久久不卡| 高清毛片免费观看视频网站| 精品少妇一区二区三区视频日本电影| 一本久久中文字幕| 亚洲三区欧美一区| 麻豆成人午夜福利视频| 亚洲av成人不卡在线观看播放网| 亚洲欧美激情综合另类| 丁香欧美五月| 成人18禁在线播放| 免费av毛片视频| 国产精品一区二区免费欧美| 女生性感内裤真人,穿戴方法视频| 精品国内亚洲2022精品成人| 哪里可以看免费的av片| 99国产精品99久久久久| 欧美日韩亚洲综合一区二区三区_| 老司机深夜福利视频在线观看| а√天堂www在线а√下载| 国产精品1区2区在线观看.| 在线观看午夜福利视频| 麻豆成人av在线观看| 在线观看午夜福利视频| 999久久久精品免费观看国产| 欧美人与性动交α欧美精品济南到| 成人av一区二区三区在线看| 日韩有码中文字幕| 亚洲欧美激情综合另类| 日本免费一区二区三区高清不卡| 欧美乱妇无乱码| 亚洲av电影不卡..在线观看| 国产在线观看jvid| 欧美中文综合在线视频| 国产精品,欧美在线| 亚洲人成网站高清观看| 亚洲第一青青草原| 脱女人内裤的视频| 久久中文字幕一级| 777久久人妻少妇嫩草av网站| 久久人妻福利社区极品人妻图片| 好看av亚洲va欧美ⅴa在| 母亲3免费完整高清在线观看| 侵犯人妻中文字幕一二三四区| 91国产中文字幕| 午夜视频精品福利| 18禁黄网站禁片午夜丰满| 亚洲真实伦在线观看| 国产精华一区二区三区| 久久国产精品人妻蜜桃| 哪里可以看免费的av片| 亚洲av片天天在线观看| av在线天堂中文字幕| 99国产精品一区二区三区| 99国产精品一区二区蜜桃av| 久热爱精品视频在线9| 久久性视频一级片| 亚洲五月色婷婷综合| 久久精品国产清高在天天线| 午夜久久久久精精品| 久久久久久久午夜电影| 国产伦一二天堂av在线观看| 亚洲国产精品成人综合色| 少妇 在线观看| 国产欧美日韩一区二区精品| 男人舔奶头视频| 成年免费大片在线观看| 精品国产亚洲在线| 日本精品一区二区三区蜜桃| 午夜久久久在线观看| 在线永久观看黄色视频| 成人欧美大片| 中文字幕另类日韩欧美亚洲嫩草| 手机成人av网站| 18禁裸乳无遮挡免费网站照片 | 亚洲成人精品中文字幕电影| www.精华液| 国产精品一区二区三区四区久久 | 97碰自拍视频| 亚洲欧美精品综合久久99| 精品国产美女av久久久久小说| 精品久久久久久久人妻蜜臀av| 90打野战视频偷拍视频| 日韩国内少妇激情av| 午夜免费激情av| 大型黄色视频在线免费观看| x7x7x7水蜜桃| www日本黄色视频网| 亚洲人成网站高清观看| a级毛片a级免费在线| 手机成人av网站| 久9热在线精品视频| 欧美av亚洲av综合av国产av|