• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自然語言處理預訓練模型的研究綜述

    2020-12-07 08:20:08余同瑞韓曉臻李家輝
    計算機工程與應用 2020年23期
    關鍵詞:微調(diào)向量文本

    余同瑞,金 冉 ,2,韓曉臻,李家輝,郁 婷

    1.浙江萬里學院 大數(shù)據(jù)與軟件工程學院,浙江 寧波 315100

    2.浙江大學 計算機科學與技術學院,杭州 310027

    1 概述

    自然語言處理(Natural Language Processing,NLP)是一門把語言學、計算機科學、數(shù)學等相關領域融為一體的交叉學科,該領域的相關應用如:機器翻譯、智能語音助手、文本自動分類等都取得了突破性的成就,這離不開預訓練技術的支持。預訓練技術是指預先設計網(wǎng)絡結構,并對編碼后的數(shù)據(jù)輸入到網(wǎng)絡結構中進行訓練,增加模型的泛化能力。預訓練技術最初是針對圖像領域的問題提出(如ResNET[1]、VGG[2]),因為效果良好,相關技術被應用到NLP 領域。預訓練后的模型可以直接根據(jù)下游任務需求進行微調(diào),免去了從零開始的過程。

    語言模型可以看作是一串詞序列的概率分布,因此在早期,研究人員提出了N-gram 模型[3],它是基于統(tǒng)計語言模型的算法,但是這種做法只能通過概率統(tǒng)計進行判斷,會使數(shù)據(jù)出現(xiàn)嚴重的稀疏性,無法考慮詞內(nèi)部的關聯(lián)。

    隨著深度學習技術的迅速發(fā)展,詞嵌入正式登上歷史的舞臺,Bengio 等人在 2003 年提出 NNLM 模型[4],隨后出現(xiàn)了一系列詞向量技術(如Word2Vec[5]、Glove[6]、FastTest[7]等)為文本提供了一種數(shù)值化的表示方法,但是無法解決一詞多義的問題。于是ELMo[8]應運而生,它采用雙向的長短期記憶網(wǎng)絡(Long Short-Term Memory,LSTM)進行進行預訓練,將詞向量由靜態(tài)轉化為動態(tài),使其可以結合上下文來賦予詞義。GPT[9]首次提出了無監(jiān)督的預訓練和有監(jiān)督的微調(diào),使得訓練好的模型能夠更好地適應下游任務。BERT[10]首次將雙向Transformer[11]用于語言模型,使得該模型相對GPT對語境的理解會更加深刻。自此進入了預訓練技術的新時代,為后續(xù)NLP領域的發(fā)展提供了更多可能性。

    本文將按照預訓練模型的歷史發(fā)展順序進行概述,將預訓練技術的發(fā)展主要分為兩個階段,分別是基于概率統(tǒng)計的傳統(tǒng)預訓練模型階段和基于深度學習的預訓練模型階段。

    2 傳統(tǒng)預訓練技術模型

    在NLP 領域上,其發(fā)展趨勢可以概括為三階段:規(guī)則-統(tǒng)計-深度學習。一開始,研究人員的研究的重點放在如何設定語言規(guī)則上面,但是這個階段不能處理復雜的語言問題,因此沒有太大的應用價值。20 世紀70 年代后互聯(lián)網(wǎng)高速發(fā)展,豐富的語料庫和完善的硬件系統(tǒng)極大地推動了NLP的發(fā)展,它開始由理性主義向經(jīng)驗主義過渡發(fā)展,讓實際應用更貼合人們的需求。N-gram采用的特征處理方法盡管還有很多不足,但是在NLP發(fā)展史上極具代表性。2006年后深度學習(Deep Learning,DL)[12]被應用于自然語言處理領域,出現(xiàn)了一批基于神經(jīng)網(wǎng)絡(Neural Network,NN)的預處理模型,本章主要介紹一些早期具有代表性的經(jīng)典預處理模型,并對它們進行分析比較。

    2.1 統(tǒng)計語言模型

    統(tǒng)計語言模型是基于語料庫對語句進行預處理,然后對下游任務進行基于概率的判別。N-gram是自然語言處理領域中具有顯著歷史意義的特征處理模型,基本思想是將文本內(nèi)容按照字節(jié)大小為N的滑動窗口進行操作,形成長度是N的字節(jié)片段序列,然后對所有的序列的出現(xiàn)頻度進行統(tǒng)計,并且按照實現(xiàn)設定好的閾值進行過濾,形成了這個文本的特征向量空間。然后用訓練后的模型對語句進行概率評估,來判斷組成是否合理。Brants等人[13]經(jīng)過測試發(fā)現(xiàn),N-gram模型可以使用萬億個單詞進行訓練,并且模型性能會得到很好的提升。Cavnar[14]利用N-gram進行文本分類,在測試中取得了很好的成績。

    然而若文本較長,詞匯鏈概率的計算復雜度很高,作者通過馬爾可夫的假設去減少關聯(lián)詞的數(shù)量來簡化算式。然而N-gram中n的取值對模型性能也會產(chǎn)生較為明顯的影響,所以為了平衡約束信息和數(shù)據(jù)稀疏性之間的關系,對于百萬級的數(shù)據(jù),目前一般采用二元或者三元模型,但是其局限性也很明顯,就是無法建模更遠的關系,訓練中要是有些n元組未出現(xiàn)則需要使用平滑法[15]和回退法[16]來解決。

    2.2 傳統(tǒng)預訓練模型分析

    N-gram 模型是對文本特征進行預處理,它是將相鄰的n個詞作為一組進行編碼,這就導致它過于依賴訓練語料的豐富程度,否則就很容易出現(xiàn)數(shù)據(jù)稀疏問題,并且計算復雜度會隨著n的增加而產(chǎn)生指數(shù)級的增長。NNLM模型首次采用詞向量的思想,分布式表示的低維詞向量很好地解決了詞編碼帶來的離散問題,但是對于計算復雜度過高的問題仍然難以解決。Word2Vec模型的計算復雜度和選取的窗口大小無關,而是由詞典大小和詞向量維度來決定。通過在大型語料庫上進行訓練,利用訓練后的詞向量嵌入可以明顯改善很多下游任務。研究人員通過測試證實了使用詞嵌入的好處[17-18],但是靜態(tài)的詞向量對一詞多義等問題仍然無法解決,仍然屬于淺層語言模型,因此迫切需要更有效的模型對數(shù)據(jù)集進行更靈活的處理。

    3 基于深度學習的預訓練模型

    盡管Word2Vec 極大改善了對文本的處理任務,但是難以捕獲上下文的高級概念,如多義詞消除、句法結構等問題,為了解決這些問題,Zhou 等人[19]提出的方法是通過利用子詞信息來豐富它們的語義,Neelakantan等人[20]提出為每個詞義學習單獨的向量。ELMo等動態(tài)預訓練模型的提出很好地解決了這些問題,比如ELMo中的詞向量不再是簡單的向量對應關系,而是通過前后語境對多義詞進行理解,用其內(nèi)部函數(shù)來表達。

    3.1 基于淺層詞嵌入的預訓練模型

    因為N-gram模型在詞與詞之間關系建模具有很大的局限性,2000 年,Xu 等人[21]試圖將 NN 引入到語言模型中,實驗表明基于NN的模型相較N-gram模型可以具有更好性能。于是NNLM 應運而出,它屬于淺層的預訓練模型,開創(chuàng)性地在模型中引入了詞向量的概念。如圖1所示,NNLM分為輸入層、隱藏層和輸出層三部分。

    圖1 NNLM模型的結構

    NNLM的目標是訓練出模型:

    其中,wt表示詞序列中第t個單詞,表示第1個詞到第t-1 個詞組成的子序列。

    模型需要滿足的約束條件是:

    由式(2)可知模型中詞的概率都要大于0,并且由于該語言模型是通過每個詞的輸入來預測下個詞的輸出,因此式(3)要求向量中各個分量組成|V|維的概率值一定要有一個最大概率值。

    針對之前詞袋模型中因為詞組的不規(guī)則分布帶來的數(shù)據(jù)稀疏問題,NNLM采用低維緊湊的詞向量保證詞之間完整的內(nèi)部關系不會被影響,Wallach[22]則提出了單詞二元組相結合的超越詞袋主題模型以及Blei 等人[23]提出的LDA 主題模型,也是一種解決辦法。在相似上下文的語境中,基于神經(jīng)網(wǎng)絡的模型性能顯著優(yōu)于N-gram模型[24-25],不過缺點也很明顯,比如準確度低、計算復雜度高等問題。于是Mikolov等人[26]提出了循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)語言模型,將NNLM的映射層刪去,用來解決NNLM運行效率低,對于上下文預測準確度過低的問題。

    NNLM的詞向量技術在Word2Vec模型的提出中起到了關鍵作用,詞向量為詞之間的潛在語法和語義相似性提供了很好的評價尺度,Collobert等人[18]研究表明將預訓練的詞嵌入未標記的數(shù)據(jù)中可以明顯改善許多NLP任務。

    Word2Vec提出了兩個新的模型體系結構:Skip-gram和CBOW,其中Skip-gram模型是通過輸入特定詞向量,輸出上下文對應的詞向量。CBOW 是通過輸入某一特征詞的上下文對應詞向量來輸出特定向量。兩個模型基本思想相似,都是通過訓練學習得到權重矩陣,根據(jù)矩陣得到文本中詞所對應的詞向量,節(jié)省了再次訓練的時間和資源。它們在模型結構上與NNLM 相比,隱藏層無激活函數(shù),輸入層與輸出層兩者維度相同直接相連,大大減少了模型的參數(shù)數(shù)量,更多地利用了上下文的信息。

    針對softmax操作時計算復雜度過高的問題,Word2Vec采用了負采樣和層序兩種方法來減少計算量。負采樣借鑒了C&W 模型[18]和NCE[27]的思想,在輸入訓練樣本進行NN的訓練時,它每次只按照一定概率采集K個詞當作負例,讓一個訓練樣本更新一小部分權重,降低梯度下降過程中的計算量,計算開銷由O(|V|) 下降到O(|k|)。層序利用的是二叉樹結構,把出現(xiàn)頻率高的詞放在前面的葉子節(jié)點可以減少計算量,每次迭代的計算開銷由O(|V|)下降至O(lb| |v)。

    因為詞嵌入取得較好的性能表現(xiàn),研究人員也嘗試了其他方法,比如Le等人[28]提出的段向量,Kiros等人[29]提出的Skip-Thought向量,該模型利用當時流行的序列到序列(Sequence to Sequence,Seq2seq)框架[30],實現(xiàn)了在大規(guī)模文本集下的無監(jiān)督訓練。Melamud 等人[31]提出了Context2Vec來生成上下文相關的表示。

    3.2 ELMo模型

    ELMo是基于特征的語言模型,可以結合上下文語境對詞進行建模。與Word2Vec等采用的簡單查表獲取唯一表示的詞向量不同,ELMo中詞向量表示的是內(nèi)部網(wǎng)絡狀態(tài)函數(shù),對于相同的詞它所展現(xiàn)出來的詞向量是動態(tài)變化的。

    所以它首先采用雙向LSTM進行預訓練,這個模型包括前向 LSTM 模型和后向 LSTM 模型,Jozefowicz 等人[32]的研究表明增加LSTM 的寬度和深度可以大大提高測試的準確性。ELMo 的雙向概念是通過網(wǎng)絡結構得以體現(xiàn)的,模型結構如圖2所示。

    圖2 ELMo模型的結構

    前向LSTM的模型公式:

    其中,(t1,t2,…,tN)表示組成的N個單詞、序列,對第k個詞前文中k-1 個詞進行建模,預測第k個詞的概率。

    后向LSTM的模型公式:

    其中該公式通過已知下文建模,實現(xiàn)對第k個單詞的概率預測。

    最大化對數(shù)前向和后向的似然概率:

    其中,Θx表示輸入的初始詞向量參數(shù),Θs表示softmax層的參數(shù),保證LSTM在各個方向的獨立參數(shù),兩者共享部分權重,并非完全獨立。

    這里預訓練的最終產(chǎn)物是biLM,Peters等[33]研究也表明使用biLM的重要性遠高于使用前向語言模型和進行大規(guī)模訓練語言。

    ELMo 是帶有任務屬性的,它是由biLM 中間層表示的線性組合。針對某一單詞tk,一個L層的biLM可以得到2L+1 層表示:

    將卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)獲取的原始詞向量、通過在biLM中計算獲得的兩個中間詞向量進行加權平均,獲得最終的ELMo:

    其中,stask為正則化的softmax權重,γtask則屬于標量參數(shù),根據(jù)任務模型進行合理化縮放,對于優(yōu)化過程有重要意義。

    同期提出的 ULMFit 模型[34]借鑒了 Merity 等人[35]提出的AWD-LSTM框架,也是將預訓練與微調(diào)相結合,只不過在微調(diào)階段進行了兩次,首先在數(shù)據(jù)集上利用預訓練好的模型進行微調(diào),然后把該模型作為具體任務模型上的多層,進行第二次微調(diào),經(jīng)過測試發(fā)現(xiàn)其在分類任務上性能優(yōu)異。

    ELMo和ULMFit相較之前模型有兩點改進:(1)不同于之前固定窗口的大小,加入了上下文信息,保證向量可以包含這部分信息。(2)增加模型的神經(jīng)深度,保證每一層向量都用于預測。

    ELMo在6個自然語言處理任務測試中都表現(xiàn)出了良好的性能,尤其是在閱讀理解任務上,在加入ELMo模型后提升了4.7個百分點。對于輸入原始詞向量也可以使用Word2Vec 采用的傳統(tǒng)詞向量,能夠很好地縮短訓練時間,這表明了遷移學習在NLP任務中有很好的發(fā)展前景,后續(xù)相關研究由此也得到了一種新的思路。

    3.3 GPT模型

    GPT首次無監(jiān)督的預訓練和有監(jiān)督的微調(diào)相結合,使得模型更加符合下游任務的需求。此前在進行模型訓練時,需要大量手動標記的數(shù)據(jù),這限制了它們在許多缺乏注釋資源的領域中的適應性[36]。如圖3 所示,與ELMO 相比,GPT 針對NLP 下游任務采用統(tǒng)一框架,直接在Transformer[11]上的最后一層接上softmax作為任務輸出層,減少了計算復雜度。Dai等[37]和Howard等[34]曾嘗試先對語言模進行預訓練,然后針對下游任務進行微調(diào),在文本分類相關的工作取得了很好的改善,但是LSTM 的使用限制了它們的預測局限在短范圍內(nèi)。GPT 盡管采用單向的Transformer 進行編碼,但是相較ELMo而言可以更好地捕獲長距離語言結構。

    圖3 GPT模型的結構

    GPT的訓練過程也包括兩個階段,第一階段是在大型文本語料庫上對模型進行預訓練,第二階段是微調(diào)階段,讓模型更好地適應下游任務。

    在無監(jiān)督的預訓練階段,根據(jù)語料庫u={u1,u2,…,un}來最大化似然函數(shù):

    其中,k表示上下文窗口大小,Θ表示參數(shù)進行建模。

    使用多層Transformer decoder作為語言模型,對于上文輸入進行self-attention 操作,然后結合前饋神經(jīng)網(wǎng)絡(Feedforward Neural Network,F(xiàn)NN),使用softmax輸出目標詞的分布。

    其中,U代表代表上文的詞向量,We代表詞嵌入矩陣,Wp代表位置嵌入矩陣,對于輸入的向量計算其概率分布。

    在有監(jiān)督的微調(diào)階段,線性輸出層為:

    其中,x1,x2,…,xm和標簽y組成實例,將序列輸入到預訓練的模型后得到輸出向量,然后將其輸出到具有參數(shù)Wy的附加線性輸出層中來預測標簽y。

    需要極大化的似然函數(shù)為:

    使用語言模型來輔助有監(jiān)督的微調(diào),可以改進監(jiān)督模型的泛化以及加速收斂,最終下游任務使用的監(jiān)督模型函數(shù)為:

    其中,C表示數(shù)據(jù)集,L1(C)表示基于特征訓練出的函數(shù),L2(C)表示基于特征和標簽訓練出的函數(shù),λ表示權重。

    從論文中的消除實驗來看,預訓練部分對于測試性能影響很大,除去預訓練部分模型在多個任務中的性能平均下降14.8 個百分點,并且使用Transformer 替換LSTM后,效果提升5.6個百分點。

    3.4 BERT模型

    BERT 證明了使用雙向預訓練效果更好,解決了GPT模型為了防止泄密,在進行預測時舍棄了下文信息的局限性。使用多層雙向LSTM 的ELMo 前向LSTM和后向LSTM 相互獨立,并未進行雙向信息融合,所以并不會存在泄密的問題。但是BERT 使用的雙向結構不同于ELMo 只是將兩個單向的LSTM 的最高層進行簡單的拼接。如圖4所示,它使用的是Transformer編碼器,由于self-attention機制,所以模型上下層直接全部互相連接的。

    圖4 BERT模型的結構

    在模型輸入方面,BERT輸入的編碼向量是詞向量、位置向量、句子切分向量這三個嵌入特征的單位和。

    在模型的預訓練上,BERT 利用兩個監(jiān)督任務進行預訓練。

    第一個任務是Mask LM(MLM),為了解決GPT完全舍棄下文的問題,不再進行整個句子的預測而是對某個詞去做預測,首先屏蔽一定百分比的詞,然后通過模型實現(xiàn)對屏蔽詞的預測,來進行訓練。但是會存在兩點不足:一是由于屏蔽的詞在微調(diào)期間并不會出現(xiàn),在進行微調(diào)時會出現(xiàn)與預訓練不匹配的問題。二是預測的是屏蔽掉的是詞而非句子,會使整個句子預訓練的收斂速度更慢。針對第一個不足的解決辦法是在80%時間保持屏蔽的狀態(tài),10%的時間里進行隨機詞替換,10%的時間使用詞本身。對于第二個問題,作者認為收斂速度算是對模型效果提升的妥協(xié)。

    第二個任務是Next Sentence Prediction(NSP),主要是為了實現(xiàn)基于上個句子對下個句子的預測,首先在50%的時間是拼接原始的上下句子,標簽設為正例。50%的時間里拼接原始句子與隨機的下一句,標簽設為負例,這樣做的目的是提取句子間的關系。但是這樣的隨機選擇會導致隨機性太強,很難針對句意進行建模。在隨后發(fā)布的XLNet取消了這個任務,并且RoBERTa[38]和SpanBERT[39]通過測試發(fā)現(xiàn),沒有NSP 的話模型的效果會更好。

    BERT首次將無監(jiān)督的預訓練和有監(jiān)督的微調(diào)這一模式推廣到更深層的雙向結構中,它對自然語言處理領域帶來的提升是里程碑式的。NLP 領域中存在著大量的無監(jiān)督數(shù)據(jù),通過在數(shù)據(jù)集上進行預訓練,得到較為完善的語言模型。Hewitt等[40]、Jawahar等[41]、Kim 等[42]提出了幾種從BERT中提取依存樹和成分句法樹的方法,證明了BERT 編碼語法結構的能力。在處理NLP 的相關任務時可以進行遷移學習,針對任務進行有監(jiān)督的微調(diào),節(jié)約了訓練模型所需的時間和資源。

    但BERT模型參數(shù)量眾多,預訓練時對硬件要求高并且消耗時間很長,一般難以自行完成預訓練過程。

    3.5 基于深度學習的預訓練模型分析

    目前的研究表明,在大型無標注語料庫進行預訓練,可以在NLP任務上顯著提高模型性能。由此也拉開了遷移學習的序幕,目前主要有兩種常見的遷移學習方式:特征提取和微調(diào),兩者的區(qū)別就是以ELMo 等為代表的模型使用的特征提取方法凍結了預訓練參數(shù),而以BERT 等為代表的模型采用的微調(diào)則是動態(tài)地改變參數(shù),根據(jù)下游任務進行參數(shù)上的微調(diào)。特征提取需要更復雜的任務架構,并且就綜合性能來看,微調(diào)的方法更適合下游任務。

    GLUE是多種自然語言理解任務的集合,可以用于評測模型的性能。如表1所示[10],使用Transformer編碼器進行特征抽取的GPT、BERT 模型相較使用LSTM 編碼器的ELMo 模型在情感分析、文本匹配、閱讀理解等多個測試中效果取得了大幅提升,并且由于BERT采用深度雙向Transformer 進行預訓練,可以獲取更深層次的文本表征,取得了很好的實驗結果。

    表1 BERT、ELMo、GPT在GLUE數(shù)據(jù)集上的實驗結果 %

    4 模型的相關改進工作

    近年來,隨著預訓練技術的蓬勃發(fā)展,自然語言處理領域進入了快速發(fā)展階段。但是由于語言的復雜性,目前仍存在很大挑戰(zhàn)。盡管BERT 等預訓練模型有了顯著的性能提升,但是不同方法之間進行仔細比較都有不足,目前主要任務都是針對現(xiàn)有模型進行評估改進以及對高性能深度學習架構的研究。

    4.1 處理性能改進

    BETR 雖然功能強大,但在實際應用中仍存在問題。Lan等人[43]提出了ALBERT模型來降低BERT預訓練時的內(nèi)存消耗和訓練速度。Liu等人[38]針對其訓練不足的問題,提出了RoBERTTa 模型對其進行性能改進,主要改進體現(xiàn)在:(1)對模型進行更長時間的培訓;(2)刪除下一段句預測目標;(3)長序列訓練;(4)動態(tài)改變應用于訓練數(shù)據(jù)的掩蔽模式。

    GPT-2[44]盡管與GPT 都使用的單向語言模型,但是它將Transformer 堆疊到了48 層,并且通過超大語料庫進行了訓練,生成高質量的數(shù)據(jù)集。這種不計成本地進行超大規(guī)模訓練使得模型的性能得到了大大提升。得益于海量的模型容量,GPT-2針對不同任務模型進行識別調(diào)整,而不是采用微調(diào)的方式。

    研究人員發(fā)現(xiàn)盡管目前的模型效果顯著,但是針對特定的下游任務,仍然需要基于任務的微調(diào)數(shù)據(jù)集。但是研究發(fā)現(xiàn),擴大語言模型的訓練規(guī)??梢詷O大提高與任務無關的性能,因此推出了GPT-3[45],它把模型尺寸擴大到了1 750億個參數(shù),使用45 TB數(shù)據(jù)進行訓練,通過實驗證明,針對特定下游任務無需微調(diào)就能夠有很好的性能表現(xiàn)。

    XLNet[46]可以看作是改進版的BERT,因為BERT在預訓練中采用了MASK標記,破壞了其與下游任務的一致性。因此XLNet采用了自回歸模型代替自編碼模型,盡管自回歸模型屬于單向模型,但是研究人員巧妙地利用排列語言模型保留了序列的上下文信息,并且消除了mask標記引起的負面影響。為了避免這種改變產(chǎn)生和Transformer結構引起沖突,導致模型無法實現(xiàn)目標位置感知,論文中提出了引進雙流自注意力機制,采用兩種表述來代替之前的表述,并且針對模型更新了Transformer-XL[47]兩個重要的技術點,分別是相對位置編碼和片段循環(huán)機制。如表2 所示,改進后的RoBERT 和XLNet 相較BERT在自然語言推斷、文本蘊含任務取得了較大的效果提升,在語義相似、情感分析類數(shù)據(jù)集中也有很好的性能表現(xiàn)。

    4.2 處理任務改善

    (1)多語言理解任務

    早期多語言文本表示是通過詞嵌入[48]的方式,將要處理的詞映射到相同的雙語空間中,但是這需要高質量對齊的句子或詞典。該任務的相關模型MultilingualBERT 在零樣本遷移學習上表現(xiàn)良好,但是針對語言類型的結構轉換還有待優(yōu)化。

    表2 BERT、XLNet、RoBERTa在GLUE數(shù)據(jù)集上的實驗結果 %

    針對mBERT 對于跨語言任務優(yōu)化有限,Lample 等人[49]借鑒GPT采用的生成式預訓練的方法提出了XLM模型,該模型并不是簡單地將每種語言都作為一個模型進行封裝,而是將多語語料進行采樣拼接,構建多語詞表,并且提出了三項預訓練任務:因果語言建模(Causal Language Modeling,CLM)、掩碼語言建模(Masked Language Model,MLM)、翻譯語言建模(Translation Language Modeling,TLM)。CLM用Tramsform作特征抽取,由前面的詞對下一個詞的概率進行預測。MLM與BERT的單語言模型類似,它的不同點在于使用的是任意長度的文本流進行替換;翻譯語言建模是對MLM的擴展,將并行的句子連接起來,提高跨語言訓練的效果。評估實驗基于零樣本學習的配置,使用英語的訓練集和多語言的測試集,其中train是將英語翻譯成多種語言,test 是將多種語言翻譯成英語,如表3 所示[49],在英文、西班牙文、德文、阿拉伯文、中文、烏爾都語等語料中與BERT 進行對比,實驗結果表明XLM 在跨語言任務上具有很強性能。

    表3 BERT、XML在跨語言分類的實驗結果%

    (2)生成任務

    GPT 和BERT 模型在自然語言理解類任務處理上取得了很好的效果,但是因為模型框架的限制,它們文本生成任務的問題上測試效果并不是很理想。于是Song 等人[50]提出了MASS 模型,采用編碼器-解碼器框架,編碼器輸入帶有屏蔽字段的句子,然后解碼器對屏蔽部分進行預測,通過對編碼器和解碼器的聯(lián)合訓練提高表示提取和語言建模能力,在文章中通過對英法翻譯的測試,該模型取得了最高的成績,甚至超過了早期基于注意力的監(jiān)督模型。Dong 等人[51]提出了UNILM 模型,如表4 所示,與之前模型相比UNILM 使用單向模型、雙向模型、Seq2Seq 模型進行預訓練,因此它對于自然語言理解和自然語言生成的相關任務都能夠很好地處理。

    表4 預訓練模型對比

    在自然語言生成任務上,以摘要生成和生成式問答為例。摘要生成要求模型有更強的表征、理解和生成文本的能力,如表5 所示[51],將UNILM 與一些先進的模型進行比較,選取的PGNet[52]、S2S-ELMo[53]和 Bottom-Up[54]都屬于序列對序列模型,不同點在于PGNet模型是基于指針生成器,而S2S-ELMo 是通過預先訓練的ELMo 表示進行擴充,Bottom-Up是通過自下而上的內(nèi)容選擇器來選擇突出的短語進行文本摘要,通過實驗結果可以看出UNILM的測試效果最好。

    表5 CNN/DailyMail摘要的評價結果%

    問答系統(tǒng)可以分為抽取式問答和生成式問答,然而生成式問答對系統(tǒng)要求更高?!俺槿?合成”的生成式問答系統(tǒng)模塊之間獨立性強,信息共享性差,產(chǎn)生錯誤難以解決。基于Seq2Seq 模型的問答系統(tǒng)無法準確生成命名實體,容易出現(xiàn)答非所問的情況。UNILM 采用Seq2Seq模型來完成,對于超過最大長度的段落,使用滑動窗口將文章分為幾塊,并選擇單詞重疊度最高的部分進行處理,如表6 所示[51],CoQA[55]是用于構建會話問答系統(tǒng)的數(shù)據(jù)集,用于評估模型的會話和閱讀理解能力。與該數(shù)據(jù)集中描述的生成式問答模型Seq2Seq和PGNet進行比較,其中Seq2Seq 是具有注意力機制的Seq2Seq模型,PGNet通過序列間的復制機制擴充Seq2Seq,通過實驗發(fā)現(xiàn),UNILM的測試結果表現(xiàn)突出,比PGNet高出了40個百分點。

    表6 在CoQA中的生成問答結果

    但是綜合來看的話,相比自然語言理解任務目前取得的成就而言,目前生成任務的改善工作仍然有很大的改善空間。

    (3)特定語言的處理任務

    目前研究發(fā)現(xiàn)[56],針對特定語言進行預訓練,效果明顯好于多語言訓練模型。FlauBERT[57]利用大型法語語料庫進行預訓練,在大多數(shù)任務中表現(xiàn)都優(yōu)于其他訓練方法。

    中文由于沒有明確的語言邊界,很容易導致重要語義的丟失,ZEN[58]是基于BERT 的文本編碼器,采用N-gram增強表現(xiàn),有效地集成大顆粒度文本信息,具有收斂速度快性能表現(xiàn)良好的特點。ERNIE2.0[59]引入多任務學習,實現(xiàn)對詞法、語法、語義的預訓練,如表7所示,ERNIE2.0在9個GLUE任務上實現(xiàn)了對BERT的超越。

    表7 BERT、ERNIE2.0在GLUE數(shù)據(jù)集上的實驗結果%

    如表8 所示[59],將 ERNIE2.0 和 BERT 放在 9 個常見的中文NLP處理任務中進行測試,結果表明在中文閱讀理解任務、命名實體識別、自然語言推斷、情感分析、自然語言推斷、問答匹配等任務中取得了更好的成績。

    (4)多模態(tài)處理任務

    VideoBERT[60]屬于視頻和語言表示學習的聯(lián)合模型,通過對視頻數(shù)據(jù)和語音識別的輸出數(shù)據(jù)進行訓練,實現(xiàn)高級語義特征的學習。VisualBERT[61]則是利用Transformer 圖層實現(xiàn)輸入文本元素和輸入圖像中的區(qū)域隱式對齊,實現(xiàn)視覺和語言任務的建模。SpeechBERT[62]實現(xiàn)了音頻和文本的聯(lián)合學習,通過實驗表明其在問答任務模型的潛力。

    4.3 新式模型的綜合分析

    BERT、GPT等模型的提出掀起了遷移學習的熱潮,基于深度學習的模型預訓練模型不斷涌現(xiàn),目前預訓練技術已經(jīng)成為該領域的發(fā)展重心。目前模型常見的特征抽取器可以分為LSTM、Transformer、Transformer-XL三大類,自XLNet 模型引入了自回歸模型的概念,也可以將語言模型分為以BERT 系列模模型為代表的自編碼模型和ELMo、XLNet、GPT系列模型為代表的自回歸模型兩大類。

    表8 BERT、ERNIE2.0在GLUE數(shù)據(jù)集上的實驗結果%

    NLP常見的下游任務可以分為四大類:第一類任務是序列標注,比如分詞、命名實體識別、語義標注等;第二類任務是分類任務,比如文本分類、情感分析等;第三類任務是句子關系判斷,比如句法分析、問答QA、自然語言推理等;第四類是生成式任務,比如機器翻譯、文本摘要、閱讀理解、對話系統(tǒng)等。如表9所示,歸納出各個模型的深度學習架構及其預訓練任務,按照模型特點總結出其適用的NLP相關任務。

    5 模型后續(xù)發(fā)展的展望

    預訓練模型的出現(xiàn)具有劃時代的意義,目前基于DL的各種預訓練模型已經(jīng)廣泛應用到解決下游各種自然語言處理的任務中。但是目前結合實際應用場景來看,仍有很多需要改進的地方,下面是對后續(xù)發(fā)展方向的四點看法。

    5.1 大規(guī)模的預訓練

    目前預訓練模型還有很大改善空間,需要更多的訓練場景和更大的語料庫來完善模型的準確度。Shoeybi等人[64]利用層內(nèi)模型并行方法訓練具有數(shù)十億參數(shù)的Transformer 模型,研究發(fā)現(xiàn)在 GPT-3 模型和 BERT 模型上都獲得了很好的表現(xiàn)。但是對于模型的大規(guī)模訓練也是很大的挑戰(zhàn),不但要高性能硬件上的支撐,更需要有更有效的訓練技術支持,針對BERT只對15%的詞進行學習導致的算力浪費,Clark 等人[65]提出將BERT 中MLM 進行替換,采用了replaced token dection 任務進行預訓練,經(jīng)過測試發(fā)現(xiàn),相較BERT性能有2.9個百分點的提高,并且性能和RoBRETa 相差不多但是訓練所需時間縮短了75%,這也是一種很好的發(fā)展方向。

    表9 基于深度學習的預訓練模型對比

    5.2 面向任務的預訓練

    目前的預訓練模型趨于大型化,如何針對不同的下游任務進行匹配也同樣重要,最近也出現(xiàn)了一些針對專業(yè)語料庫進行訓練的預訓練模型,如用于科學文本的SciBERT[66],用于臨床文本的 ClinicalBERT 模型[67-68],不過目前仍有很大進步空間。

    5.3 模型輕量化

    目前流行的預訓練模型大都經(jīng)過了大量預訓練,并且由于模型框架設計等方面的原因對硬件需求很高,高門檻導致研究人員難以去從頭訓練,要針對模型進行進一步研究改進,只能對模型進行微調(diào)。這種情況不利于相關研究工作的開展,使整個領域發(fā)展受到阻礙。針對這些問題,也出現(xiàn)了一些新的模型,如百度公司發(fā)布的ERNIE-Tiny 是小型化的ERNIE[63],減少了層數(shù),預測提速4.7倍,但是處理效果下降明顯。

    5.4 防止對抗性示例攻擊

    Qiu等[69]在文章中提到深層神經(jīng)網(wǎng)絡很容易受到對抗性示例的攻擊,很容易誤導模型產(chǎn)生特定的錯誤預測。在圖像處理領域,對抗性攻擊和防御已經(jīng)得到了很好的研究。但是由于自然語言處理領域中語言特有的離散型,很難進行處理。Jin等[70]通過生成自然對抗的文本,成功攻擊了BERT、CNN 和RNN 三個目標模型,這表明目前的語言處理模型針對這方面還有很高的提升空間。

    6 結束語

    本文主要按照自然語言處理相關經(jīng)典模型的改進更迭進行概述,根據(jù)模型對數(shù)據(jù)的處理特點分為以Word2Vec為代表的靜態(tài)預處理模型、ELMo為代表的動態(tài)預處理模型、新式的改進模型三部分進行介紹。并結合了同時期的相關研究通過對模型的數(shù)據(jù)處理、相關的架構設計、整體的性能評估三部分分析比較,將自然語言處理領域的相關研究梳理出來。

    盡管近兩年自然語言處理領域迎來了蓬勃的發(fā)展,但是由于語言的復雜性,目前預訓練技術還存在很大挑戰(zhàn),如何去訓練出高兼容性、高性能的自然語言處理模型仍然是需要長期努力的目標。

    猜你喜歡
    微調(diào)向量文本
    向量的分解
    聚焦“向量與三角”創(chuàng)新題
    在808DA上文本顯示的改善
    基于doc2vec和TF-IDF的相似文本識別
    電子制作(2018年18期)2018-11-14 01:48:06
    一種新型微調(diào)擠塑模具的設計及應用
    電線電纜(2018年2期)2018-05-19 02:03:44
    靈活易用,結合自動和手動微調(diào)達到好效果 StormAudio ISP 3D.16 ELITE/PA 16 ELITE
    向量垂直在解析幾何中的應用
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學隱喻
    向量五種“變身” 玩轉圓錐曲線
    全國大部省份結束2014高考 多地高考模式微調(diào)
    视频区欧美日本亚洲| 女生性感内裤真人,穿戴方法视频| 18禁观看日本| 午夜免费鲁丝| 午夜免费激情av| 欧美+亚洲+日韩+国产| 一进一出抽搐动态| 欧美一级毛片孕妇| 日韩精品免费视频一区二区三区| 日本a在线网址| 日本成人三级电影网站| 免费在线观看黄色视频的| 国产野战对白在线观看| 亚洲专区字幕在线| 午夜激情福利司机影院| 久热这里只有精品99| 欧美日韩瑟瑟在线播放| 成人国语在线视频| 亚洲aⅴ乱码一区二区在线播放 | 亚洲avbb在线观看| 亚洲精华国产精华精| 18禁黄网站禁片免费观看直播| 亚洲色图av天堂| 日本一本二区三区精品| 午夜精品久久久久久毛片777| 久久香蕉国产精品| 伊人久久大香线蕉亚洲五| 黄片播放在线免费| 国产熟女午夜一区二区三区| 美女高潮到喷水免费观看| 99久久久亚洲精品蜜臀av| 亚洲中文日韩欧美视频| 美女扒开内裤让男人捅视频| 久久精品成人免费网站| 琪琪午夜伦伦电影理论片6080| 人人妻,人人澡人人爽秒播| 精品国产国语对白av| 老司机福利观看| 在线观看午夜福利视频| 亚洲成人国产一区在线观看| 国产高清视频在线播放一区| 97碰自拍视频| 亚洲欧美日韩无卡精品| 18禁黄网站禁片免费观看直播| 久久国产精品男人的天堂亚洲| 国产在线观看jvid| 草草在线视频免费看| 久久精品aⅴ一区二区三区四区| 日韩欧美三级三区| 露出奶头的视频| 男人舔奶头视频| ponron亚洲| 免费看a级黄色片| av在线播放免费不卡| 男女床上黄色一级片免费看| 老汉色av国产亚洲站长工具| АⅤ资源中文在线天堂| 51午夜福利影视在线观看| 人成视频在线观看免费观看| 久久久久久久精品吃奶| 久久天躁狠狠躁夜夜2o2o| 91国产中文字幕| 午夜精品久久久久久毛片777| 两性夫妻黄色片| 丝袜人妻中文字幕| 99久久无色码亚洲精品果冻| cao死你这个sao货| av超薄肉色丝袜交足视频| www.www免费av| 99riav亚洲国产免费| 香蕉国产在线看| 成年人黄色毛片网站| 非洲黑人性xxxx精品又粗又长| x7x7x7水蜜桃| 精品欧美一区二区三区在线| 国产成人一区二区三区免费视频网站| 欧美黄色淫秽网站| 国产久久久一区二区三区| 欧美一级a爱片免费观看看 | 熟女少妇亚洲综合色aaa.| 国产高清videossex| 久久久久久久久免费视频了| 可以在线观看毛片的网站| 国产精品野战在线观看| 9191精品国产免费久久| 日韩国内少妇激情av| 亚洲午夜精品一区,二区,三区| 岛国在线观看网站| 午夜两性在线视频| 亚洲国产欧美日韩在线播放| 久久精品国产综合久久久| 丁香六月欧美| 看免费av毛片| 亚洲 欧美一区二区三区| 国产伦在线观看视频一区| 国产亚洲精品av在线| 无限看片的www在线观看| 免费无遮挡裸体视频| 亚洲人成网站在线播放欧美日韩| 国产亚洲精品久久久久久毛片| 久久久久久免费高清国产稀缺| 动漫黄色视频在线观看| 每晚都被弄得嗷嗷叫到高潮| 亚洲精品中文字幕在线视频| 欧美一区二区精品小视频在线| 男人舔女人的私密视频| 午夜福利高清视频| 国产午夜福利久久久久久| 成人av一区二区三区在线看| 人人妻,人人澡人人爽秒播| 巨乳人妻的诱惑在线观看| 欧美黑人精品巨大| 男女做爰动态图高潮gif福利片| 91麻豆精品激情在线观看国产| 欧美黄色片欧美黄色片| 1024香蕉在线观看| 国产欧美日韩精品亚洲av| 18禁美女被吸乳视频| 嫁个100分男人电影在线观看| 久99久视频精品免费| 人妻久久中文字幕网| 欧美大码av| av电影中文网址| 久热爱精品视频在线9| 欧美一区二区精品小视频在线| 亚洲成人精品中文字幕电影| 黄片小视频在线播放| 久久精品国产亚洲av高清一级| 国产成人影院久久av| 两人在一起打扑克的视频| 日本一区二区免费在线视频| 国产成人av教育| 精品欧美国产一区二区三| 中文字幕人妻熟女乱码| 特大巨黑吊av在线直播 | 18禁黄网站禁片免费观看直播| 免费在线观看完整版高清| 国产精品精品国产色婷婷| av福利片在线| 黑人欧美特级aaaaaa片| 美女国产高潮福利片在线看| 婷婷精品国产亚洲av在线| 久久久水蜜桃国产精品网| 十八禁人妻一区二区| 欧美另类亚洲清纯唯美| 国产成+人综合+亚洲专区| 久久精品人妻少妇| 国产成年人精品一区二区| 亚洲精品久久国产高清桃花| 国产精品久久电影中文字幕| 久久久久免费精品人妻一区二区 | 欧美日韩亚洲综合一区二区三区_| 国产欧美日韩一区二区精品| 久久久久亚洲av毛片大全| 亚洲一区二区三区不卡视频| 精品久久久久久久人妻蜜臀av| 久久久国产成人免费| 亚洲一卡2卡3卡4卡5卡精品中文| 十分钟在线观看高清视频www| 婷婷丁香在线五月| 99re在线观看精品视频| 18禁黄网站禁片午夜丰满| 午夜福利在线在线| 一本一本综合久久| 色婷婷久久久亚洲欧美| 一级作爱视频免费观看| 亚洲欧美一区二区三区黑人| 国产黄色小视频在线观看| 国内毛片毛片毛片毛片毛片| 久久中文字幕人妻熟女| 最近最新免费中文字幕在线| 俺也久久电影网| 国产精品久久视频播放| 别揉我奶头~嗯~啊~动态视频| 亚洲免费av在线视频| www.熟女人妻精品国产| 国产99久久九九免费精品| 级片在线观看| 啦啦啦韩国在线观看视频| 精品欧美一区二区三区在线| 级片在线观看| 一级毛片女人18水好多| 日日爽夜夜爽网站| 少妇熟女aⅴ在线视频| 亚洲三区欧美一区| 亚洲专区中文字幕在线| 久久久国产欧美日韩av| 国产又爽黄色视频| 岛国视频午夜一区免费看| 欧美日韩乱码在线| 国产成人影院久久av| 非洲黑人性xxxx精品又粗又长| 日韩欧美在线二视频| 美女扒开内裤让男人捅视频| 亚洲色图 男人天堂 中文字幕| 日韩一卡2卡3卡4卡2021年| 国内久久婷婷六月综合欲色啪| 亚洲精品av麻豆狂野| 窝窝影院91人妻| 99久久99久久久精品蜜桃| 侵犯人妻中文字幕一二三四区| 亚洲全国av大片| 欧美日本亚洲视频在线播放| 久久精品aⅴ一区二区三区四区| 亚洲中文av在线| 99久久无色码亚洲精品果冻| 亚洲精品久久国产高清桃花| 日韩有码中文字幕| 日韩欧美在线二视频| 成人精品一区二区免费| 欧美日韩瑟瑟在线播放| 久久香蕉精品热| 村上凉子中文字幕在线| 中文字幕人成人乱码亚洲影| 波多野结衣高清作品| 国产免费av片在线观看野外av| 久久精品国产清高在天天线| 成人av一区二区三区在线看| 男女午夜视频在线观看| 波多野结衣av一区二区av| 亚洲自拍偷在线| 在线免费观看的www视频| 久久久久久久午夜电影| 国产成人精品无人区| 欧美黄色片欧美黄色片| 精品国产乱码久久久久久男人| 1024视频免费在线观看| 后天国语完整版免费观看| 特大巨黑吊av在线直播 | 亚洲人成伊人成综合网2020| 51午夜福利影视在线观看| 欧美zozozo另类| 丝袜美腿诱惑在线| 一区二区三区精品91| 无人区码免费观看不卡| 免费一级毛片在线播放高清视频| 男人舔奶头视频| 精品国产乱码久久久久久男人| 人妻久久中文字幕网| 国产乱人伦免费视频| 岛国视频午夜一区免费看| 国产av又大| 亚洲国产欧美网| 在线视频色国产色| 亚洲aⅴ乱码一区二区在线播放 | 美女 人体艺术 gogo| 国产人伦9x9x在线观看| 老汉色∧v一级毛片| 亚洲中文av在线| 欧美中文日本在线观看视频| 国产成+人综合+亚洲专区| 久久精品国产亚洲av香蕉五月| 免费人成视频x8x8入口观看| 久久热在线av| 悠悠久久av| 中文字幕人妻丝袜一区二区| 成人手机av| 午夜久久久在线观看| 亚洲午夜精品一区,二区,三区| 国产av一区二区精品久久| 色精品久久人妻99蜜桃| 精品国内亚洲2022精品成人| 一区二区三区高清视频在线| 国产不卡一卡二| 两性夫妻黄色片| 99久久99久久久精品蜜桃| 亚洲精品久久成人aⅴ小说| 精品欧美国产一区二区三| 91在线观看av| avwww免费| 免费看十八禁软件| 日韩大尺度精品在线看网址| 自线自在国产av| 欧美成人性av电影在线观看| 精品久久久久久成人av| 国产亚洲精品av在线| 一区二区三区激情视频| 亚洲av成人不卡在线观看播放网| 精品国产美女av久久久久小说| 国产又色又爽无遮挡免费看| 啦啦啦 在线观看视频| 欧美黑人巨大hd| 欧美黄色淫秽网站| 中文字幕av电影在线播放| 欧美三级亚洲精品| 欧美日韩瑟瑟在线播放| 国产男靠女视频免费网站| 亚洲熟妇熟女久久| 视频区欧美日本亚洲| 久久中文看片网| 免费看十八禁软件| 亚洲欧美激情综合另类| 国产久久久一区二区三区| 夜夜躁狠狠躁天天躁| 精品福利观看| 又黄又粗又硬又大视频| 欧美一区二区精品小视频在线| 亚洲成av片中文字幕在线观看| 18禁裸乳无遮挡免费网站照片 | 精品熟女少妇八av免费久了| 宅男免费午夜| 丝袜人妻中文字幕| 国产精品美女特级片免费视频播放器 | 成人国产一区最新在线观看| 好男人电影高清在线观看| 精品电影一区二区在线| 91成人精品电影| 日韩免费av在线播放| 无人区码免费观看不卡| www.精华液| 香蕉久久夜色| 97碰自拍视频| 国产精品,欧美在线| 亚洲av熟女| 老司机午夜十八禁免费视频| www.熟女人妻精品国产| 午夜激情av网站| 国产av在哪里看| 1024香蕉在线观看| 亚洲国产欧美一区二区综合| 精品无人区乱码1区二区| 人人澡人人妻人| 中文亚洲av片在线观看爽| 久久亚洲精品不卡| 久久精品影院6| 亚洲九九香蕉| 精品无人区乱码1区二区| 一级毛片精品| 妹子高潮喷水视频| 亚洲片人在线观看| 母亲3免费完整高清在线观看| 久久精品国产99精品国产亚洲性色| 脱女人内裤的视频| 久久精品亚洲精品国产色婷小说| 久久国产乱子伦精品免费另类| 午夜福利免费观看在线| 男人操女人黄网站| 50天的宝宝边吃奶边哭怎么回事| 国产视频一区二区在线看| 亚洲片人在线观看| 色播亚洲综合网| 精品无人区乱码1区二区| √禁漫天堂资源中文www| 国产免费男女视频| 免费无遮挡裸体视频| 久久久久亚洲av毛片大全| 日本 欧美在线| 中出人妻视频一区二区| 色播在线永久视频| 亚洲电影在线观看av| 长腿黑丝高跟| 国产精品 国内视频| svipshipincom国产片| 中文字幕精品免费在线观看视频| 麻豆成人av在线观看| 国产伦在线观看视频一区| 精品人妻1区二区| 欧美性猛交黑人性爽| 亚洲免费av在线视频| 欧美乱色亚洲激情| 美女大奶头视频| 啦啦啦 在线观看视频| 99精品久久久久人妻精品| 国产精品野战在线观看| 国产精品99久久99久久久不卡| 午夜a级毛片| 人成视频在线观看免费观看| 久久九九热精品免费| 高潮久久久久久久久久久不卡| 欧美乱码精品一区二区三区| 好男人电影高清在线观看| a级毛片a级免费在线| 中国美女看黄片| 无人区码免费观看不卡| 久久 成人 亚洲| 亚洲成人久久性| 成人亚洲精品一区在线观看| 三级毛片av免费| 99精品在免费线老司机午夜| 久久国产亚洲av麻豆专区| 国产精品久久久久久亚洲av鲁大| 女性生殖器流出的白浆| xxxwww97欧美| 99国产精品99久久久久| 又黄又粗又硬又大视频| 国产成人系列免费观看| 中亚洲国语对白在线视频| 高清在线国产一区| 欧美三级亚洲精品| 两个人免费观看高清视频| 久久久久国内视频| 精品久久久久久久久久免费视频| 成人特级黄色片久久久久久久| 18美女黄网站色大片免费观看| 精品一区二区三区四区五区乱码| 成人精品一区二区免费| 欧美+亚洲+日韩+国产| 90打野战视频偷拍视频| av福利片在线| 亚洲欧美激情综合另类| 亚洲国产欧美网| 男女午夜视频在线观看| 亚洲国产欧洲综合997久久, | 亚洲国产看品久久| а√天堂www在线а√下载| 午夜久久久在线观看| 亚洲一区二区三区不卡视频| 亚洲精品在线观看二区| 男人舔奶头视频| 十八禁网站免费在线| 国产伦人伦偷精品视频| 国产成人欧美在线观看| av免费在线观看网站| 色综合亚洲欧美另类图片| 啪啪无遮挡十八禁网站| 亚洲avbb在线观看| 精品国内亚洲2022精品成人| 白带黄色成豆腐渣| 黄频高清免费视频| 久久精品国产亚洲av高清一级| 成年女人毛片免费观看观看9| 91九色精品人成在线观看| www.自偷自拍.com| 久久久久久大精品| 免费在线观看黄色视频的| 长腿黑丝高跟| 欧美成狂野欧美在线观看| √禁漫天堂资源中文www| 国产伦一二天堂av在线观看| 亚洲av成人不卡在线观看播放网| 欧美激情 高清一区二区三区| 国产亚洲欧美在线一区二区| 国产精品美女特级片免费视频播放器 | 亚洲国产毛片av蜜桃av| 国产精品av久久久久免费| 99久久精品国产亚洲精品| 亚洲人成网站高清观看| 一边摸一边做爽爽视频免费| 国产蜜桃级精品一区二区三区| 俺也久久电影网| 日韩大尺度精品在线看网址| 日韩欧美 国产精品| 国产一区二区激情短视频| 国产极品粉嫩免费观看在线| 免费在线观看日本一区| av天堂在线播放| 亚洲黑人精品在线| 欧美大码av| 999久久久国产精品视频| 国产欧美日韩精品亚洲av| 国产成人系列免费观看| 精品熟女少妇八av免费久了| 国产精品98久久久久久宅男小说| 久久久精品欧美日韩精品| 中文字幕最新亚洲高清| 精品久久久久久,| 黄色片一级片一级黄色片| 999精品在线视频| 男人的好看免费观看在线视频 | 女性被躁到高潮视频| 丝袜美腿诱惑在线| 男男h啪啪无遮挡| 国产91精品成人一区二区三区| 精品日产1卡2卡| 午夜福利18| aaaaa片日本免费| 日韩免费av在线播放| 国产真实乱freesex| 999久久久精品免费观看国产| 国产精品久久视频播放| 两性午夜刺激爽爽歪歪视频在线观看 | 在线播放国产精品三级| 亚洲国产精品sss在线观看| 久99久视频精品免费| 欧美日韩瑟瑟在线播放| 黄片小视频在线播放| 禁无遮挡网站| 国产亚洲精品av在线| av欧美777| 久久性视频一级片| 欧美久久黑人一区二区| 777久久人妻少妇嫩草av网站| 亚洲成人国产一区在线观看| 亚洲色图 男人天堂 中文字幕| 亚洲人成网站高清观看| 国产精品综合久久久久久久免费| 88av欧美| 亚洲人成电影免费在线| 久久国产亚洲av麻豆专区| 少妇粗大呻吟视频| 国产精品精品国产色婷婷| 99热6这里只有精品| 国产97色在线日韩免费| 国产成人精品久久二区二区免费| 国产又色又爽无遮挡免费看| 啦啦啦 在线观看视频| 欧美成人一区二区免费高清观看 | 国产在线观看jvid| 俺也久久电影网| 中文资源天堂在线| 精品国产一区二区三区四区第35| 极品教师在线免费播放| 欧美成人免费av一区二区三区| 亚洲精品国产区一区二| 精品国产一区二区三区四区第35| 国产av又大| 亚洲一区二区三区不卡视频| 午夜影院日韩av| av中文乱码字幕在线| 啪啪无遮挡十八禁网站| 久久午夜综合久久蜜桃| 老熟妇仑乱视频hdxx| 51午夜福利影视在线观看| 人妻丰满熟妇av一区二区三区| 亚洲美女黄片视频| 99riav亚洲国产免费| 色综合婷婷激情| 黄色女人牲交| 女警被强在线播放| 色老头精品视频在线观看| 波多野结衣高清无吗| 免费观看人在逋| 我的亚洲天堂| 久久精品人妻少妇| 一夜夜www| 国产精品永久免费网站| 成人av一区二区三区在线看| 性色av乱码一区二区三区2| 国产高清videossex| 国产高清视频在线播放一区| 欧美在线一区亚洲| 亚洲av电影不卡..在线观看| 亚洲欧美精品综合一区二区三区| 久久天堂一区二区三区四区| 99在线视频只有这里精品首页| 人妻丰满熟妇av一区二区三区| 国产爱豆传媒在线观看 | 成人一区二区视频在线观看| 国产精品综合久久久久久久免费| 国产亚洲精品久久久久5区| 国产高清videossex| 18禁观看日本| 国产成人精品久久二区二区91| 欧美一级a爱片免费观看看 | 久久久久国内视频| 久久 成人 亚洲| 日本五十路高清| 亚洲五月天丁香| 一区二区三区国产精品乱码| 97人妻精品一区二区三区麻豆 | 女同久久另类99精品国产91| 久久国产精品男人的天堂亚洲| 这个男人来自地球电影免费观看| 国产av一区在线观看免费| 欧美乱色亚洲激情| 久热这里只有精品99| 亚洲成人久久爱视频| 久热爱精品视频在线9| 老汉色av国产亚洲站长工具| 97超级碰碰碰精品色视频在线观看| 人人妻人人看人人澡| 国产av一区二区精品久久| 久久久精品国产亚洲av高清涩受| 成年版毛片免费区| 欧美黑人欧美精品刺激| 成年人黄色毛片网站| 亚洲成a人片在线一区二区| 岛国在线观看网站| 国产精品,欧美在线| 麻豆国产av国片精品| 在线观看免费午夜福利视频| 亚洲av五月六月丁香网| 国产精品久久久久久亚洲av鲁大| 高清毛片免费观看视频网站| 日日爽夜夜爽网站| 亚洲精品一区av在线观看| 免费搜索国产男女视频| 9191精品国产免费久久| 999精品在线视频| 满18在线观看网站| 免费在线观看亚洲国产| 亚洲午夜精品一区,二区,三区| 亚洲第一青青草原| 亚洲色图 男人天堂 中文字幕| 91在线观看av| 精品乱码久久久久久99久播| 亚洲欧美激情综合另类| 国产精品98久久久久久宅男小说| a级毛片a级免费在线| 正在播放国产对白刺激| 久久婷婷成人综合色麻豆| 国产精品久久久久久人妻精品电影| 高潮久久久久久久久久久不卡| 波多野结衣av一区二区av| 男女视频在线观看网站免费 | 色在线成人网| 中文亚洲av片在线观看爽| 亚洲国产毛片av蜜桃av| 久99久视频精品免费| 好看av亚洲va欧美ⅴa在| 天堂动漫精品| 久久香蕉激情| 两性午夜刺激爽爽歪歪视频在线观看 | 国产又黄又爽又无遮挡在线| 国产爱豆传媒在线观看 | 国产精品一区二区免费欧美| 成人国产一区最新在线观看| 日韩精品免费视频一区二区三区| 国内精品久久久久久久电影| 亚洲最大成人中文| 精品久久久久久久毛片微露脸| 成年女人毛片免费观看观看9| 久久久久久免费高清国产稀缺| 国产一区二区激情短视频| 日韩一卡2卡3卡4卡2021年|