• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    Transformer研究概述

    2022-03-12 18:19:38謝亦才
    電腦知識與技術(shù) 2022年3期

    謝亦才

    摘要:Transformer在自然語言處理、計算機視覺和音頻處理等人工智能領(lǐng)域取得了巨大的成功。學(xué)術(shù)界和產(chǎn)業(yè)界研究者設(shè)計出了各種各樣的Transformer(又稱X-formers)。然而,關(guān)于這些Transformer的系統(tǒng)全面的文獻綜述仍然缺乏。在本綜述中,首先簡要介紹了vanilla Transformer,然后提出了一種新的X-formers分類法。接下來,從架構(gòu)修改、預(yù)訓(xùn)練和應(yīng)用三個角度介紹了各種X-former。最后,概述了未來研究的一些潛在方向。

    關(guān)鍵詞:Transformer;架構(gòu)修改;預(yù)訓(xùn)練

    中圖分類號:TP311? ? 文獻標(biāo)識碼:A

    文章編號:1009-3044(2022)03-0084-03

    開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):

    1 引言

    Transformer[1]是一種著名的深度學(xué)習(xí)模型,在許多領(lǐng)域都被廣泛采用,比如自然語言處理(NLP)、計算機視覺(CV)和語音處理等領(lǐng)域。Transformer最初是作為機器翻譯的序列到序列模型提出的。后來的工作表明,基于Transformer的預(yù)訓(xùn)練模型(PTM)[2]可以在各種任務(wù)上實現(xiàn)最先進的性能。因此,Transformer成了NLP的首選體系結(jié)構(gòu),尤其是PTMs。除了與語言相關(guān)的應(yīng)用程序外,Transformer在CV[3],音頻處理[4]甚至其他學(xué)科中也被采用,比如化學(xué)和生命科學(xué)。

    在本概述中,目的是提供一個全面的回歸Transformer及其變種。雖然可以在上述觀點的基礎(chǔ)上組織X-former,但許多現(xiàn)有的X-former可以解決一個或多個問題。例如,稀疏注意變量不僅降低了計算復(fù)雜度,而且在輸入數(shù)據(jù)上引入了結(jié)構(gòu)先驗,以緩解小數(shù)據(jù)集上的過擬合問題。因此,對現(xiàn)有的各種X-former進行分類并提出一種新的分類法,主要是根據(jù)它們改進vanilla Transformer的方法:架構(gòu)修改、預(yù)培訓(xùn)和應(yīng)用進行分類。考慮到概述的對象可能來自不同的領(lǐng)域,主要關(guān)注一般的體系結(jié)構(gòu)變體,并簡要討論了預(yù)訓(xùn)練和應(yīng)用的具體變體。

    2 Transformer分類

    到目前為止,基于vanilla Transformer已經(jīng)從三個角度提出了各種各樣的變種模型:體系結(jié)構(gòu)的變種、預(yù)訓(xùn)練方法變種和應(yīng)用變種。如圖1所示。

    2.1 基于注意力機制改進的Transformer變種

    自注意力機制在Transformer中起著重要的作用,但在實際應(yīng)用中存在兩個挑戰(zhàn)。

    (1)復(fù)雜度。自注意力的復(fù)雜度是O(T2·D)。 因此,注意力模塊在處理長序列時成為瓶頸。

    (2)結(jié)構(gòu)優(yōu)先。自注意力不假定對輸入有任何結(jié)構(gòu)性偏見。甚至順序信息也需要從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)。因此,Transformer(不帶預(yù)訓(xùn)練)通常很容易對小或中等大小的數(shù)據(jù)過擬合。

    Transformer中注意力機制的改進可以分為幾個方向:

    (1)稀疏注意力。這項工作將稀疏性偏差引入注意力機制,從而降低了復(fù)雜性。

    (2)線性化注意力。這一工作解開了注意力矩陣與核心特征地圖。然后以相反的順序計算注意力,以獲得線性復(fù)雜度。

    (3)原型和內(nèi)存壓縮。這類改進方法減少了查詢或鍵值對內(nèi)存的數(shù)量,以減小注意矩陣的大小。

    (4)低級別的自注意力。這項工作抓住了自注意力的低級屬性。

    (5)先驗注意力。這項研究探索補充或取代標(biāo)準(zhǔn)注意與先前的注意分布。

    (6)改進的多頭注意力。這項研究探索了不同的替代性多頭注意力機制。

    2.2 Transformer架構(gòu)層面的變種

    2.2.1 Transformer輕量化

    除了在模塊級別上為減輕計算開銷所做的努力之外,還有一些嘗試通過在更高級別上的修改使Transformer變得輕量級。類似于低階自注意力[5]將注意分解為局部約束注意和低階全局注意,Lite Transformer建議替換每個注意具有雙分支結(jié)構(gòu)的Transformer中的模塊,其中一個分支使用注意力來捕獲遠程上下文,而另一個分支使用深度卷積和線性層來捕獲局部依賴性。該體系結(jié)構(gòu)在模型尺寸和計算方面都是輕量級的,因此更適合于移動設(shè)備。

    2.2.2 增強跨模塊的連接線

    在vanilla Transformer中,每個塊將前一個塊的輸出作為輸入,并輸出一系列隱藏表示。人們可能會創(chuàng)建更多的路徑使輸入信號可以通過網(wǎng)絡(luò)傳輸。例如realeformer和Predictive Attention Transformer,它們將注意力分布從上一個塊重用到下一個塊引導(dǎo)當(dāng)前塊的注意。這可以看作是在相鄰Transformer塊之間創(chuàng)建正向路徑。

    2.2.3 自適應(yīng)計算時間

    像大多數(shù)神經(jīng)模型一樣,Vanilla Transformer使用固定的(學(xué)習(xí)的)計算過程來處理每個輸入。一個有趣的和有希望的修改是以計算時間為輸入的一個條件,即在Transformer模型中引入自適應(yīng)計算時間(ACT)。此類修改可能產(chǎn)生以下優(yōu)點:

    (1)特征細(xì)化。對于難以處理的數(shù)據(jù),簡單的表示可能不足以應(yīng)對當(dāng)前的任務(wù)。更理想的做法是應(yīng)用更多計算以獲得更深入和更精細(xì)的表示。

    (2)提高效率。在處理簡單的示例時,一個淺層特征的表示可能就足夠了。在這種情況下,如果網(wǎng)絡(luò)能夠?qū)W習(xí)使用更少的計算時間來提取特征,這將是有益的。

    2.2.4 分而治之策略的Transformer

    序列長度上自我注意的二次方復(fù)雜性會顯著限制下游任務(wù)的性能。例如,語言建模通常需要長的上下文。處理長序列的另一種有效方法是使用分治策略,即將輸入序列分解為更細(xì)的序列可由Transformer或Transformer模塊有效處理的段。有兩類具有代表性的方法,遞歸Transformer和層次Transformer。

    遞歸Transformer。在遞歸Transformer中,維護高速緩存以合并歷史信息。當(dāng)處理一段文本時,網(wǎng)絡(luò)從緩存中讀取作為附加輸入。處理完成后,網(wǎng)絡(luò)通過簡單地復(fù)制隱藏狀態(tài)或使用更復(fù)雜的機制。

    層次Transformer。層次Transformer將輸入按層次分解為粒度更細(xì)的元素。低級特征首先被饋送到Transformer編碼器,生成輸出表示,然后進行聚合(使用池或其他操作)以形成輸出高級特征,然后由高級Transformer處理。這類方法可以理解為一個分層抽象的過程。這種方法的優(yōu)點有兩個:(1)層次化建模允許模型以有限的資源處理長輸入。(2)它有可能生成對任務(wù)有益的更豐富的表示。

    2.2.5 探索替代架構(gòu)

    盡管Transformer結(jié)構(gòu)取得了成功,但人們可能會質(zhì)疑當(dāng)前Transformer的結(jié)構(gòu)是否是最佳的。有趣的是,一些研究已經(jīng)探索了Transformer的替代架構(gòu)。

    Lu等人[6]將Transformer解釋為多粒子動力學(xué)系統(tǒng)中對流擴散方程的數(shù)值常微分方程(ODE)解算器,并設(shè)計Macaron Transformer,用FFN注意FFN變量替換每個Transformer塊。

    Sandwich Transformer[7]探索了注意力模塊和FFN模塊的重組,使得注意力模塊主要位于下層,F(xiàn)FN模塊位于上層。這個誘導(dǎo)模型在不增加參數(shù)、內(nèi)存或訓(xùn)練時間的情況下,改善了多語言建?;鶞?zhǔn)的復(fù)雜性。

    掩碼注意網(wǎng)絡(luò)(MAN)在每個變壓器塊中的自我注意模塊上預(yù)先設(shè)置一個動態(tài)面具注意模塊。掩碼是以符號表示為條件的,令牌和頭部索引之間的相對距離。結(jié)果表明,所提出的動態(tài)掩碼注意能夠有效地對文本數(shù)據(jù)中的局部性進行建模,并且誘導(dǎo)模型在機器翻譯和抽象摘要中的性能始終優(yōu)于基線模型。

    值得注意的是,有一系列工作使用神經(jīng)架構(gòu)搜索(NAS)來搜索改變的本機轉(zhuǎn)換器架構(gòu)。進化Transformer(ET)[8]采用基于進化的方法使用標(biāo)準(zhǔn)變壓器體系結(jié)構(gòu)搜索初始總體。這個搜索到的模型在幾種語言上都比Transformer有一致的改進任務(wù)。作為另一項代表性工作,DARTSformer采用了可微體系結(jié)構(gòu)搜索(DARTS)[9],結(jié)合多分裂可逆網(wǎng)絡(luò)和反向傳播重建算法,提高內(nèi)存效率。由此產(chǎn)生的模型始終優(yōu)于其他模型標(biāo)準(zhǔn)變壓器和比較有利的更大的ET模型,與一個顯著減少搜索成本。

    3 預(yù)訓(xùn)練Transformer

    Transformer與卷積網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)的一個關(guān)鍵區(qū)別在于,卷積網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)固有地包含了局部性的感應(yīng)偏差,Transformer不對數(shù)據(jù)的結(jié)構(gòu)進行任何假設(shè)。一方面,這有效地使Transformer成為一個非常通用的體系結(jié)構(gòu),具有捕獲不同范圍的依賴關(guān)系的潛力。另一方面,當(dāng)數(shù)據(jù)有限時,這使得變壓器容易過度擬合。緩解這一問題的一種方法是在模型中引入歸納偏置。

    最近的研究表明,在大型語料庫上預(yù)先訓(xùn)練的Transformer模型可以學(xué)習(xí)通用語言表示法,這對下游任務(wù)是有益的。使用各種自我監(jiān)督目標(biāo)對模型進行預(yù)訓(xùn)練,例如,根據(jù)上下文預(yù)測掩蓋掉的詞。在預(yù)先訓(xùn)練模型之后,可以簡單地在下游數(shù)據(jù)集上對其進行微調(diào),而不是從頭開始訓(xùn)練模型。為了說明在預(yù)培訓(xùn)中使用變壓器的典型方法,確定了一些預(yù)培訓(xùn)變壓器,并將其分類如下。

    (1)僅限編碼器。工作線使用Transformer編碼器作為其主干架構(gòu)。BERT是一種典型的PTM,通常用于自然語言理解任務(wù)。它采用掩膜語言建模(MLM)和下一句預(yù)測(NSP)作為自監(jiān)督訓(xùn)練目標(biāo)。RoBERTa進一步調(diào)整了BERT的培訓(xùn),并刪除了NSP目標(biāo),因為發(fā)現(xiàn)它會影響下游任務(wù)的性能。

    (2)僅限解碼器。有幾項研究側(cè)重于對Transformer解碼器進行語言建模的預(yù)訓(xùn)練。例如,生成型預(yù)訓(xùn)練Transformer(GPT)系列專用于縮放預(yù)訓(xùn)練Transformer解碼器,并且最近已經(jīng)說明,大規(guī)模PTM可以通過將任務(wù)和示例輸入到構(gòu)建的模型提示來實現(xiàn)令人印象深刻的少樣本性能。

    (3)編解碼器。還有一些PTM采用Transformer編碼器-解碼器作為總體架構(gòu)。BART將BERT的去噪目標(biāo)擴展到編碼器-解碼器架構(gòu)。使用編碼器-解碼器體系結(jié)構(gòu)的好處是,誘導(dǎo)模型具有執(zhí)行自然語言理解和生成的能力。T5采用了類似的架構(gòu),是最早在下游任務(wù)中使用任務(wù)特定文本前綴的研究之一。

    一些Transformer架構(gòu)變體也可應(yīng)用于基于Transformer的PTM。例如,BigBird是一種基于編碼器的PTM,它使用基于復(fù)合位置的稀疏注意來啟用長序列輸入。GPT-3在自我注意模塊中使用交替密集和局部帶狀稀疏注意。Switch Transformer是一種基于編碼器的PTM,它用專家混合代替FFN層層和可以增加參數(shù)計數(shù),同時保持每個示例的觸發(fā)器恒定。

    4 Transformer的應(yīng)用

    Transformer最初設(shè)計用于機器翻譯,但由于其靈活的體系結(jié)構(gòu),它已被廣泛應(yīng)用于NLP以外的各個領(lǐng)域,包括CV、音頻處理和多模態(tài)應(yīng)用。CV中包括圖像分類、目標(biāo)檢測、圖像生成和視頻處理等。音頻處理包括語音識別、語音合成、語音增強和音樂合成。多模態(tài)應(yīng)用包括視覺常識推理、視覺問答、看圖說話、音頻-文本翻譯和文本-圖像生成等。

    5 結(jié)論和未來展望

    在這項調(diào)查中,筆者對X-former進行了全面的概述,并提出了一種新的分類法?,F(xiàn)有的大多數(shù)工作都從不同的角度對Transformer進行了改進,如效率、通用化和應(yīng)用。這些改進包括加入結(jié)構(gòu)優(yōu)先、設(shè)計輕量級架構(gòu)、預(yù)訓(xùn)練等。

    盡管X-Former已經(jīng)證明了他們在各種任務(wù)中的能力,但挑戰(zhàn)仍然存在。除了當(dāng)前關(guān)注的問題(例如效率和通用性),Transformer的進一步改進可能位于以下方向:理論分析、更好的全球交互機制、多模態(tài)數(shù)據(jù)的統(tǒng)一框架。由于Transformer在文本、圖像、視頻和音頻方面取得了巨大成功,我們有機會構(gòu)建一個統(tǒng)一的框架更好地捕捉多模態(tài)數(shù)據(jù)之間的內(nèi)在聯(lián)系。然而,模態(tài)內(nèi)和模態(tài)間的注意力機制的設(shè)計仍有待改進。

    參考文獻:

    [1]Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. Attention is All you Need[C]//In Proceedings of NeurIPS, 2017, 5998–6008.

    [2] Qiu X P,Sun T X,Xu Y G,et al.Pre-trained models for natural language processing:a survey[J].Science China Technological Sciences,2020,63(10):1872-1897.

    [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, et al. End-to-End Object Detection with Transformers[C]//In Proceedings of ECCV 2020 - 2020 Europeon Conference on Computer Vision, 213–229.

    [4] Chen X,Wu Y,Wang Z H,et al.Developing real-time streaming transformer transducer for speech recognition on large-scale dataset[C]//ICASSP 2021 - 2021 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP).June 6-11,2021,Toronto,ON,Canada.IEEE,2021:5904-5908.

    [5] Guo Q P,Qiu X P,Xue X Y,et al.Low-rank and locality constrained self-attention for sequence modeling[J].ACM Transactions on Audio,Speech,and Language Processing,2019,27(12):2213-2222.

    [6] Lu Y , Li Z , He D , et al. Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View. arXiv:1906.02762 [cs.LG].

    [7] Press O,Smith N A,Levy O.Improving transformer models by reordering their sublayers[C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.Online.Stroudsburg,PA,USA:Association for Computational Linguistics,2020:2996–3005.

    [8] David R. So, Quoc V. Le, and Chen Liang. The Evolved Transformer[C]// ICML 2019 - 2019 International Conference on Machine Learning, 5877–5886.

    [9] Hanxiao Liu, Karen Simonyan, and Yiming Yang. DARTS: Differentiable Architecture Search[C]// ICLR 2019 - 2019 International Conference on Learning Representations, 1-13.

    【通聯(lián)編輯:梁書】

    国产成人系列免费观看| 亚洲欧美激情综合另类| 色尼玛亚洲综合影院| 香蕉久久夜色| 免费在线观看影片大全网站| 在线免费观看的www视频| 91成年电影在线观看| 女生性感内裤真人,穿戴方法视频| 一进一出好大好爽视频| av天堂在线播放| 久久精品人妻少妇| 老熟妇仑乱视频hdxx| 在线观看66精品国产| 国产精品一区二区精品视频观看| 在线观看免费视频日本深夜| 12—13女人毛片做爰片一| 身体一侧抽搐| 亚洲成人免费电影在线观看| 久久香蕉精品热| 超碰成人久久| 精品一区二区三区av网在线观看| 日韩欧美在线二视频| 久久久国产成人精品二区| 精品欧美一区二区三区在线| 亚洲avbb在线观看| 国产片内射在线| 国产成人啪精品午夜网站| 日本三级黄在线观看| 十八禁人妻一区二区| 亚洲五月天丁香| 久久久久国内视频| 午夜激情福利司机影院| 午夜激情福利司机影院| 国产成人精品久久二区二区91| 天天添夜夜摸| 亚洲国产欧洲综合997久久,| 亚洲熟妇熟女久久| 国产精品,欧美在线| 国产精品一区二区三区四区久久| 天天添夜夜摸| 午夜福利在线观看吧| 日韩大码丰满熟妇| 男人的好看免费观看在线视频 | 欧美中文日本在线观看视频| 免费看十八禁软件| 亚洲一码二码三码区别大吗| 欧美在线一区亚洲| 久久久久九九精品影院| 1024视频免费在线观看| 亚洲色图 男人天堂 中文字幕| 久久午夜亚洲精品久久| 亚洲一卡2卡3卡4卡5卡精品中文| 久久这里只有精品19| 亚洲一区高清亚洲精品| 精品日产1卡2卡| 国产精品 欧美亚洲| 丁香六月欧美| 丁香六月欧美| 啦啦啦韩国在线观看视频| www国产在线视频色| 久久草成人影院| 国产高清videossex| 一级毛片女人18水好多| 一本大道久久a久久精品| 亚洲欧美精品综合一区二区三区| 日韩免费av在线播放| 好男人电影高清在线观看| av中文乱码字幕在线| www日本黄色视频网| av国产免费在线观看| 亚洲片人在线观看| 国产欧美日韩精品亚洲av| 男女床上黄色一级片免费看| 久久精品影院6| 俄罗斯特黄特色一大片| 99国产精品一区二区蜜桃av| 久久精品91无色码中文字幕| 成人手机av| 别揉我奶头~嗯~啊~动态视频| 精品熟女少妇八av免费久了| 老司机午夜福利在线观看视频| 九色国产91popny在线| 亚洲中文日韩欧美视频| 一本综合久久免费| 国产午夜福利久久久久久| 一区福利在线观看| 五月玫瑰六月丁香| 国产黄a三级三级三级人| 久久久久久国产a免费观看| 99在线人妻在线中文字幕| 欧美性猛交╳xxx乱大交人| 亚洲七黄色美女视频| 国产精华一区二区三区| 免费看日本二区| 一级毛片高清免费大全| 亚洲欧美日韩东京热| 成年版毛片免费区| 一区二区三区高清视频在线| 男女午夜视频在线观看| 亚洲成人中文字幕在线播放| 91麻豆精品激情在线观看国产| 长腿黑丝高跟| 91av网站免费观看| 啪啪无遮挡十八禁网站| 制服诱惑二区| 中文字幕精品亚洲无线码一区| 女警被强在线播放| 欧美成人免费av一区二区三区| 久久人妻av系列| 久久精品亚洲精品国产色婷小说| 日韩中文字幕欧美一区二区| 亚洲自拍偷在线| 国产亚洲欧美在线一区二区| 国产精品亚洲av一区麻豆| 99国产精品一区二区三区| 久久这里只有精品中国| 18禁裸乳无遮挡免费网站照片| 国产成人av激情在线播放| 国产午夜福利久久久久久| 两个人免费观看高清视频| 国产精品,欧美在线| 一个人免费在线观看的高清视频| 91成年电影在线观看| a级毛片在线看网站| 最近在线观看免费完整版| 一卡2卡三卡四卡精品乱码亚洲| 波多野结衣巨乳人妻| 亚洲熟女毛片儿| 国产在线观看jvid| 亚洲熟妇中文字幕五十中出| 欧美日韩中文字幕国产精品一区二区三区| 叶爱在线成人免费视频播放| 免费搜索国产男女视频| 午夜免费激情av| 日韩高清综合在线| 国产成人精品久久二区二区免费| 亚洲av中文字字幕乱码综合| 亚洲色图av天堂| 亚洲一区二区三区色噜噜| 午夜福利18| 亚洲av电影在线进入| 久久精品国产亚洲av高清一级| 国内精品久久久久久久电影| 在线十欧美十亚洲十日本专区| 在线观看一区二区三区| 香蕉丝袜av| 国产黄色小视频在线观看| 99国产精品一区二区蜜桃av| 免费人成视频x8x8入口观看| 制服诱惑二区| 久久久久国产一级毛片高清牌| 可以在线观看毛片的网站| 日本黄色视频三级网站网址| av欧美777| 18禁美女被吸乳视频| 99在线视频只有这里精品首页| 校园春色视频在线观看| 真人做人爱边吃奶动态| 黑人巨大精品欧美一区二区mp4| 欧美日本亚洲视频在线播放| 黄色视频不卡| 亚洲欧美一区二区三区黑人| 又大又爽又粗| 高清在线国产一区| 日韩国内少妇激情av| 超碰成人久久| 国产精品1区2区在线观看.| 日本五十路高清| a级毛片a级免费在线| 热99re8久久精品国产| 国产探花在线观看一区二区| 久久香蕉精品热| 美女黄网站色视频| 久久午夜亚洲精品久久| 日本一本二区三区精品| 亚洲中文字幕日韩| 日韩欧美三级三区| 国产亚洲av嫩草精品影院| 成熟少妇高潮喷水视频| 久热爱精品视频在线9| 少妇人妻一区二区三区视频| 俄罗斯特黄特色一大片| 后天国语完整版免费观看| 欧美国产日韩亚洲一区| 日本熟妇午夜| 亚洲成人中文字幕在线播放| 亚洲精品中文字幕一二三四区| 亚洲欧美激情综合另类| 脱女人内裤的视频| 亚洲成人久久性| 亚洲精品美女久久av网站| 麻豆成人午夜福利视频| 人妻久久中文字幕网| 欧美性长视频在线观看| av在线播放免费不卡| 亚洲九九香蕉| 久久九九热精品免费| 最新美女视频免费是黄的| 国产午夜福利久久久久久| 一a级毛片在线观看| 亚洲黑人精品在线| 中出人妻视频一区二区| 色老头精品视频在线观看| 亚洲国产精品sss在线观看| 欧美一区二区国产精品久久精品 | 男插女下体视频免费在线播放| 精品久久久久久成人av| 免费一级毛片在线播放高清视频| 全区人妻精品视频| 久久欧美精品欧美久久欧美| 美女高潮喷水抽搐中文字幕| 亚洲精品久久国产高清桃花| 欧美日韩亚洲国产一区二区在线观看| 国产精品一区二区三区四区免费观看 | 91大片在线观看| 成人永久免费在线观看视频| 悠悠久久av| 国产高清视频在线观看网站| 麻豆av在线久日| 又爽又黄无遮挡网站| 国产片内射在线| 欧美精品亚洲一区二区| 国产又色又爽无遮挡免费看| 国产亚洲精品久久久久5区| 亚洲av电影不卡..在线观看| 女人爽到高潮嗷嗷叫在线视频| 国产av在哪里看| 19禁男女啪啪无遮挡网站| 亚洲人成电影免费在线| 久久 成人 亚洲| 日韩国内少妇激情av| 日本成人三级电影网站| 亚洲一区二区三区色噜噜| 又粗又爽又猛毛片免费看| 国产精品,欧美在线| 国产精品av久久久久免费| 国模一区二区三区四区视频 | 狠狠狠狠99中文字幕| 午夜精品在线福利| 国产成人啪精品午夜网站| netflix在线观看网站| 久久国产精品影院| 欧美日本亚洲视频在线播放| 五月伊人婷婷丁香| 精品乱码久久久久久99久播| 天天添夜夜摸| 亚洲精品久久国产高清桃花| 婷婷精品国产亚洲av在线| 一级a爱片免费观看的视频| 亚洲精品国产精品久久久不卡| 99久久无色码亚洲精品果冻| 日本一二三区视频观看| 亚洲av电影不卡..在线观看| 亚洲中文日韩欧美视频| 国产亚洲av高清不卡| 久久久国产欧美日韩av| www.999成人在线观看| 免费观看人在逋| 久9热在线精品视频| 久久久久精品国产欧美久久久| netflix在线观看网站| 999久久久精品免费观看国产| 国产一区二区在线观看日韩 | aaaaa片日本免费| 久久热在线av| 曰老女人黄片| 日韩欧美精品v在线| 亚洲中文av在线| 午夜免费激情av| 国产精品 欧美亚洲| 熟妇人妻久久中文字幕3abv| 午夜视频精品福利| 香蕉av资源在线| 国产精品自产拍在线观看55亚洲| 欧美在线一区亚洲| 久9热在线精品视频| 国产日本99.免费观看| 特大巨黑吊av在线直播| 午夜精品一区二区三区免费看| 无限看片的www在线观看| 国产精品亚洲一级av第二区| 欧美又色又爽又黄视频| 搡老岳熟女国产| 99精品欧美一区二区三区四区| 国产精品爽爽va在线观看网站| 老鸭窝网址在线观看| e午夜精品久久久久久久| 日日爽夜夜爽网站| av免费在线观看网站| 成人三级黄色视频| 听说在线观看完整版免费高清| 两性夫妻黄色片| 黄色丝袜av网址大全| 亚洲国产日韩欧美精品在线观看 | 亚洲五月婷婷丁香| 欧洲精品卡2卡3卡4卡5卡区| 欧美精品啪啪一区二区三区| 麻豆久久精品国产亚洲av| 婷婷六月久久综合丁香| 日韩三级视频一区二区三区| or卡值多少钱| a在线观看视频网站| 两性夫妻黄色片| 人妻久久中文字幕网| 黑人欧美特级aaaaaa片| 超碰成人久久| 身体一侧抽搐| 成人三级黄色视频| 久久中文看片网| 淫秽高清视频在线观看| 亚洲欧美一区二区三区黑人| 这个男人来自地球电影免费观看| 亚洲色图 男人天堂 中文字幕| 国产区一区二久久| 一本精品99久久精品77| 不卡av一区二区三区| 99久久久亚洲精品蜜臀av| 久久精品国产亚洲av香蕉五月| 黄色视频,在线免费观看| www.www免费av| 最新在线观看一区二区三区| 精品久久久久久久人妻蜜臀av| 成人特级黄色片久久久久久久| av在线播放免费不卡| 亚洲无线在线观看| 精品熟女少妇八av免费久了| 淫妇啪啪啪对白视频| 一级黄色大片毛片| 亚洲国产看品久久| 91av网站免费观看| 热99re8久久精品国产| 日本一本二区三区精品| 亚洲精品一卡2卡三卡4卡5卡| 午夜福利欧美成人| 国内毛片毛片毛片毛片毛片| 国产成人一区二区三区免费视频网站| 久久国产精品人妻蜜桃| 亚洲专区国产一区二区| 在线观看一区二区三区| 亚洲欧美一区二区三区黑人| 99热6这里只有精品| 精品国内亚洲2022精品成人| 国产亚洲精品久久久久久毛片| 日本 av在线| 久久精品国产亚洲av高清一级| 成年女人毛片免费观看观看9| 天天一区二区日本电影三级| 久久久国产欧美日韩av| a级毛片a级免费在线| 校园春色视频在线观看| 国产一区二区三区视频了| 日本免费a在线| 精品一区二区三区av网在线观看| 久久久国产欧美日韩av| 禁无遮挡网站| 熟妇人妻久久中文字幕3abv| 欧美黑人欧美精品刺激| 又爽又黄无遮挡网站| 麻豆久久精品国产亚洲av| 国产高清有码在线观看视频 | 国产爱豆传媒在线观看 | 在线观看66精品国产| 天天添夜夜摸| 丰满人妻熟妇乱又伦精品不卡| 我的老师免费观看完整版| 麻豆av在线久日| 最近最新中文字幕大全电影3| 精品电影一区二区在线| 性色av乱码一区二区三区2| 亚洲男人的天堂狠狠| 久久久久久免费高清国产稀缺| 亚洲无线在线观看| 欧美另类亚洲清纯唯美| 三级国产精品欧美在线观看 | 国产av一区二区精品久久| 十八禁人妻一区二区| 夜夜躁狠狠躁天天躁| 12—13女人毛片做爰片一| 亚洲av成人av| 国产成人av教育| 国产熟女xx| 国产一区在线观看成人免费| av超薄肉色丝袜交足视频| 两个人看的免费小视频| 国产一级毛片七仙女欲春2| 九色成人免费人妻av| 午夜老司机福利片| 无限看片的www在线观看| 国产不卡一卡二| 中国美女看黄片| 久久午夜综合久久蜜桃| 老汉色∧v一级毛片| videosex国产| 日本撒尿小便嘘嘘汇集6| 亚洲最大成人中文| 国产主播在线观看一区二区| 俺也久久电影网| 窝窝影院91人妻| 国产男靠女视频免费网站| 国产伦人伦偷精品视频| 国内久久婷婷六月综合欲色啪| 一边摸一边做爽爽视频免费| 哪里可以看免费的av片| 国产成人av教育| 少妇熟女aⅴ在线视频| 香蕉av资源在线| 欧美色视频一区免费| 丁香六月欧美| 人人妻,人人澡人人爽秒播| 久久中文字幕一级| 老司机午夜福利在线观看视频| 成人国产综合亚洲| 久久天堂一区二区三区四区| 欧美乱妇无乱码| 成人精品一区二区免费| 欧美日本亚洲视频在线播放| 国产成人精品无人区| 最近最新中文字幕大全电影3| 日本黄大片高清| 亚洲国产欧美人成| 操出白浆在线播放| 久久精品亚洲精品国产色婷小说| 国产一区在线观看成人免费| 在线观看午夜福利视频| 国内精品久久久久精免费| 午夜福利在线在线| 日韩欧美免费精品| 丰满人妻熟妇乱又伦精品不卡| 久久久久久免费高清国产稀缺| 国产黄a三级三级三级人| 国产区一区二久久| 777久久人妻少妇嫩草av网站| 国产精品一区二区三区四区久久| 狂野欧美白嫩少妇大欣赏| 又黄又粗又硬又大视频| 精品国产美女av久久久久小说| 欧美日韩福利视频一区二区| 99国产精品一区二区三区| 免费在线观看完整版高清| 精品无人区乱码1区二区| 欧美不卡视频在线免费观看 | 国产精品 欧美亚洲| 99久久久亚洲精品蜜臀av| 免费观看人在逋| xxx96com| 亚洲精品一区av在线观看| 中亚洲国语对白在线视频| 黄色毛片三级朝国网站| 国产精品久久久久久人妻精品电影| 久久久国产成人精品二区| 亚洲专区中文字幕在线| 青草久久国产| 亚洲专区国产一区二区| 久久人妻福利社区极品人妻图片| 日日摸夜夜添夜夜添小说| 丰满的人妻完整版| 在线看三级毛片| 一区二区三区激情视频| 岛国在线免费视频观看| 亚洲av成人精品一区久久| av国产免费在线观看| 中文字幕精品亚洲无线码一区| 国产午夜福利久久久久久| 精品免费久久久久久久清纯| 一级毛片高清免费大全| 国产精品一区二区三区四区久久| 精品午夜福利视频在线观看一区| 中文亚洲av片在线观看爽| 久久中文字幕一级| 精品一区二区三区av网在线观看| 人人妻人人澡欧美一区二区| 高清毛片免费观看视频网站| 国产亚洲精品综合一区在线观看 | bbb黄色大片| 国产精品98久久久久久宅男小说| 国产精品爽爽va在线观看网站| 伦理电影免费视频| 国产精品久久久久久亚洲av鲁大| www.www免费av| 一本综合久久免费| 中文字幕人妻丝袜一区二区| 午夜福利成人在线免费观看| 国产午夜福利久久久久久| 亚洲av熟女| 亚洲中文日韩欧美视频| 免费av毛片视频| 亚洲一区高清亚洲精品| 欧美日韩黄片免| 色播亚洲综合网| 在线观看舔阴道视频| 宅男免费午夜| 久久久久国产一级毛片高清牌| 成人特级黄色片久久久久久久| 精品国产乱码久久久久久男人| 欧美一级a爱片免费观看看 | 国产麻豆成人av免费视频| 亚洲av五月六月丁香网| 在线观看午夜福利视频| 国产激情偷乱视频一区二区| 国产免费av片在线观看野外av| 一进一出抽搐动态| 国产精品一区二区三区四区免费观看 | 久久久久免费精品人妻一区二区| 国产精品一及| 亚洲第一欧美日韩一区二区三区| 老汉色∧v一级毛片| 亚洲aⅴ乱码一区二区在线播放 | 色噜噜av男人的天堂激情| 午夜福利视频1000在线观看| 激情在线观看视频在线高清| 久久香蕉国产精品| 怎么达到女性高潮| 国产成年人精品一区二区| 亚洲欧洲精品一区二区精品久久久| 一a级毛片在线观看| 性欧美人与动物交配| 三级国产精品欧美在线观看 | x7x7x7水蜜桃| 麻豆成人av在线观看| 51午夜福利影视在线观看| 国产1区2区3区精品| 亚洲精品国产一区二区精华液| 国产男靠女视频免费网站| 99精品久久久久人妻精品| 夜夜看夜夜爽夜夜摸| 久久亚洲真实| 亚洲欧美日韩东京热| 国产亚洲欧美在线一区二区| 两个人看的免费小视频| 午夜a级毛片| 午夜激情福利司机影院| 国产精品影院久久| 国产97色在线日韩免费| 日韩精品青青久久久久久| 国产成人一区二区三区免费视频网站| 大型黄色视频在线免费观看| bbb黄色大片| 日韩成人在线观看一区二区三区| 狂野欧美激情性xxxx| 久久久国产欧美日韩av| 国产成人欧美在线观看| 男女午夜视频在线观看| 很黄的视频免费| 久久欧美精品欧美久久欧美| 精品无人区乱码1区二区| av天堂在线播放| 国产精品美女特级片免费视频播放器 | 男女那种视频在线观看| 国产91精品成人一区二区三区| 99热这里只有精品一区 | 成年版毛片免费区| 我要搜黄色片| 中文资源天堂在线| 亚洲国产欧美人成| 日日爽夜夜爽网站| 长腿黑丝高跟| 成人欧美大片| 亚洲中文av在线| 日日摸夜夜添夜夜添小说| 久久精品影院6| 亚洲欧美日韩高清在线视频| 天堂动漫精品| 免费在线观看日本一区| 99在线人妻在线中文字幕| 啦啦啦韩国在线观看视频| 九色成人免费人妻av| 日日摸夜夜添夜夜添小说| 久久久久久国产a免费观看| 啦啦啦韩国在线观看视频| 亚洲精品美女久久久久99蜜臀| 怎么达到女性高潮| 床上黄色一级片| 一区二区三区国产精品乱码| 久久精品综合一区二区三区| 久久久久久久久中文| 欧美性猛交黑人性爽| 国产亚洲精品av在线| 免费看美女性在线毛片视频| 成人永久免费在线观看视频| 国产伦人伦偷精品视频| 欧美精品啪啪一区二区三区| 亚洲av熟女| 国产精品一区二区精品视频观看| 色播亚洲综合网| 变态另类成人亚洲欧美熟女| www.www免费av| 日本黄大片高清| 亚洲人成电影免费在线| 日韩欧美国产一区二区入口| 亚洲成a人片在线一区二区| 亚洲欧美日韩无卡精品| 亚洲av电影不卡..在线观看| 国产精品av视频在线免费观看| 伦理电影免费视频| 亚洲,欧美精品.| 亚洲 欧美一区二区三区| 亚洲av日韩精品久久久久久密| 亚洲av成人一区二区三| 欧美日韩乱码在线| 欧美精品啪啪一区二区三区| 一级片免费观看大全| 午夜福利高清视频| 特大巨黑吊av在线直播| 久久精品国产清高在天天线| 高潮久久久久久久久久久不卡| 极品教师在线免费播放| 久久国产精品影院| 中文字幕精品亚洲无线码一区| av国产免费在线观看| 中文字幕最新亚洲高清| 十八禁网站免费在线| 免费在线观看日本一区| 琪琪午夜伦伦电影理论片6080| 一本综合久久免费| 亚洲aⅴ乱码一区二区在线播放 |