• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    BERT編碼與注意力機(jī)制結(jié)合的長文本分類研究

    2023-05-14 02:58:10陳潔
    計算機(jī)時代 2023年5期
    關(guān)鍵詞:文本分類注意力機(jī)制特征向量

    陳潔

    摘? 要: 預(yù)訓(xùn)練語言模型具有強(qiáng)大的特征表達(dá)能力但無法直接應(yīng)用于長文本。為此,提出分層特征提取方法。在BERT允許的最大序列長度范圍內(nèi)按句子的自然邊界分割文本,應(yīng)用自注意力機(jī)制獲得首塊和尾塊的增強(qiáng)特征,再利用PCA算法進(jìn)行壓縮獲取主要特征成分。在THUCNews和Sogou數(shù)據(jù)集上進(jìn)行5折交叉驗證,分類準(zhǔn)確率和加權(quán)F1-score的均值分別達(dá)到95.29%、95.28%和89.68%、89.69%。該方法能夠提取與主題最相關(guān)的特征,提高長文本分類效果,PCA壓縮特征向量能夠降低分類模型的復(fù)雜度,提高時間效率。

    關(guān)鍵詞: 文本分類; 預(yù)訓(xùn)練語言模型; 注意力機(jī)制; 特征向量; PCA

    中圖分類號:TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識碼:A? ? ?文章編號:1006-8228(2023)05-136-04

    Research on long text classification based on the combination of BERT

    feature representation and attention mechanism

    Chen Jie

    (School of Data Science and Information Technology, China Women's University, Beijing 100101, China)

    Abstract: The pre-trained language models have strong feature expression ability, but could not be applied to long text directly. A hierarchical feature extraction method is proposed for this purpose. Within the maximum sequence length allowed by BERT, the text is segmented into blocks according to the natural boundary of the sentence. The self-attention mechanism is applied to obtain the enhanced features of the first block and the last block. Then PCA algorithm is used to compress the initial feature vector to obtain the main feature components. The 5-fold cross validation is carried out on THUCNews and Sogou datasets, and the mean values of the classification accuracy and weighted F1-score on the two datasets are 95.29%, 95.28% and 89.68%, 89.69%, respectively. The proposed classification model can extract the text features most related to the topic and improve the classification effect of long text. PCA compression feature vector can reduce the model complexity and improve time efficiency.

    Key words: text classification; pre-trained language model; attention mechanism; feature vector; PCA

    0 引言

    海量文本的自動分類在知識發(fā)現(xiàn)、主題挖掘、輿情監(jiān)控等任務(wù)中發(fā)揮了巨大作用,成為自然語言處理(NLP)的重要研究內(nèi)容。文本表征對文本分類效果至關(guān)重要,長文本因其語義更加多樣化,文本蘊(yùn)含的主題不惟一且存在冗余和噪聲等問題,增加了分類難度。

    傳統(tǒng)的向量空間模型可以生成文本特征向量,但丟失詞序,不能表征全局語義。神經(jīng)網(wǎng)絡(luò)語言模型可以獲得分布式文本表示,使得文本能基于語義關(guān)聯(lián)進(jìn)行分類。目前,神經(jīng)網(wǎng)絡(luò)分類模型的文本表征有基于詞嵌入方式和基于預(yù)訓(xùn)練語言模型方式。

    以BERT[1]為代表的預(yù)訓(xùn)練模型具有強(qiáng)大的特征提取功能,但是Transformer結(jié)構(gòu)對輸入序列有一個固定的長度限制,在BERT中最大為512?;贐ERT模型,層次法成為長文本編碼的主要方式。文獻(xiàn)[2]以句子為單位進(jìn)行編碼,以首句作為主題句,采用首句拼接注意力加權(quán)句向量方式生成文檔向量,由于句子長短不一,短句通常包含較少的上下文信息,并且如果首句不是主題句則會影響文檔表征效果。文獻(xiàn)[3]以200字的文本片段分割文檔,對每個片段進(jìn)行嵌入表示,兩個連續(xù)片段之間有50字的重疊,然后利用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)組合各個片段向量獲得全局特征表示;文獻(xiàn)[4]將長文本分割為500字的重疊塊,再通過平均池化獲得全局特征表示,根據(jù)固定長度劃分序列,沒有考慮句子的自然邊界,會因分割片段在語義上的不完整而影響整體的語義理解。

    針對已有研究中存在的問題,構(gòu)建HT-ATT-CONC模型,在BERT允許的最大序列長度范圍內(nèi),將文檔分割為具有完整語義的數(shù)據(jù)塊,再結(jié)合文本分類任務(wù)的特點,利用BERT編碼并結(jié)合自注意力機(jī)制整合數(shù)據(jù)塊,有效獲取全局語義表征,在THUCNews和Sogou新聞數(shù)據(jù)集上通過5折交叉驗證模型在長文本上的分類性能。

    1 注意力機(jī)制

    BERT采用深度雙向Transformer結(jié)構(gòu),使用多頭自注意力(Self-Attention)機(jī)制對文本建模,不僅可以捕捉長距離的文本特征,而且在編碼當(dāng)前單詞的時候還關(guān)注上下文中和它有關(guān)的單詞,將注意力集中在重要的信息上,并通過深層網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)深層次的上下文關(guān)聯(lián),增強(qiáng)了模型的表達(dá)能力。注意力機(jī)制的核心邏輯就是從全局信息中挖掘重點信息,并給予更多的重視[5]。

    利用Self-Attention機(jī)制,可以通過注意力分布生成不同的權(quán)重,使得權(quán)重與數(shù)據(jù)本身的重要性相關(guān),即焦點詞語的權(quán)重大,由此得到目標(biāo)字的注意力加權(quán)值,獲取全局上下文信息[6,7]。

    2 BERT與注意力機(jī)制結(jié)合的分類模型

    利用BERT進(jìn)行長文本編碼,為了獲取全局語義特征,需要切分文本,再組合分片向量以解決文檔碎片問題。本文構(gòu)建HT-ATT-CONC模型,首先將文本分割為具有完整語義的數(shù)據(jù)塊,并對每個數(shù)據(jù)塊進(jìn)行嵌入表示;再利用自注意力機(jī)制整合塊向量,突出與分類主題最相關(guān)的內(nèi)容特征;最后通過一個全連接層和Softmax層,完成文本分類。

    2.1 分割文本塊

    從閱讀行為可知:段落比單個句子會包含更多與文本主題相關(guān)的語義;文本中存在的各種標(biāo)點符號對閱讀起著重要作用,保持這種分割可以有效保留原始文本中的語義信息;新聞首尾部分的內(nèi)容通常與新聞主題的相關(guān)性最大。

    為此,在BERT允許的最大序列長度范圍內(nèi),將文本分割為具有完整語義的文本塊。方法如下:

    ⑴ 按照句子的自然邊界,將文檔分割為不超過 510字符的數(shù)據(jù)塊,數(shù)據(jù)塊中的句子保持完整,不跨段,否則將最后一句劃分到下一個數(shù)據(jù)塊。

    ⑵ 分割后的數(shù)據(jù)塊如果超過三個,則調(diào)整最后兩塊,從后往前截取不超過510字符的內(nèi)容,數(shù)據(jù)塊中的句子保持完整。

    2.2 文檔特征表示

    ⑴ 文本塊的編碼

    在BERT模型中,“[CLS]”作為特殊字符,本身不具備任何語義,可用來代表輸入文本的綜合語義信息,本文用該字符的嵌入表示作為每個數(shù)據(jù)塊的特征向量,文檔中第i個數(shù)據(jù)塊的特征編碼為Ei。

    預(yù)訓(xùn)練語言模型利用不同領(lǐng)域的大規(guī)模語料預(yù)訓(xùn)練以學(xué)習(xí)通用的先驗語義知識,生成的向量維度通常都是上百維,而下游任務(wù)一般只涉及某個領(lǐng)域的應(yīng)用,因此可以利用PCA(Principal Component Analysis,主成分分析法)算法對分布式表示的Ei進(jìn)行壓縮,提取主要特征成分。

    ⑵ 全局語義表征

    為獲得全局語義特征,需要組合文檔中的塊向量。Self-Attention具有關(guān)注全局又聚焦重點的特性,并且新聞的首尾部分通常與主題的相關(guān)性更高,為此,將文檔中的各個塊向量分別與首塊和尾塊對齊,通過注意力權(quán)重突出與分類主題最相關(guān)的內(nèi)容特征。本文采用Scaled dot-product attention方法進(jìn)行注意力加權(quán):

    [α=softmaxQKTd] ? ⑴

    [att=α*V]? ⑵

    Q(Query)表示目標(biāo)文本、K(Key)表示上下文中的文本、V(Value)表示文本塊的原始向量,通過計算Q和K的注意力得分對V加權(quán)。[α]為注意力權(quán)值,利用Softmax函數(shù)進(jìn)行歸一化,得到(0,1)范圍的注意力分布;d是一個調(diào)節(jié)參數(shù),較小的取值可以保持指數(shù)函數(shù)的輸入盡可能大,關(guān)注最重要的文本塊;[att]為注意力加權(quán)向量,代表目標(biāo)向量Q的增強(qiáng)語義表示。

    具體過程如下:

    ⑴ 利用PCA算法來對Ei進(jìn)行主成分分析,得到降維后的特征編碼Ei。

    ⑵ 利用公式⑴計算文檔第一個塊向量E0對文檔所有塊向量Ej(j=0,1,2,…,n-1)的注意力得分(Q為E0,K、V為Ej)得到注意力加權(quán)的文檔特征向量Eatt(h),第一個數(shù)據(jù)塊的特征權(quán)重最大,其次是與第一塊關(guān)系密切的其他數(shù)據(jù)塊,由此,可以增強(qiáng)首塊的語義表示,使分類特征更加顯著。

    ⑶ 利用公式⑴計算文檔最后一個塊向量En-1對文檔所有塊向量Ej的注意力得分,得到注意力加權(quán)后的文檔特征向量Eatt(t),增強(qiáng)尾塊的語義表示。

    ⑷ 將Eatt(h)與Eatt(t)進(jìn)行拼接,得到文檔表征E,作為初始的分類特征向量。

    [E=Eatt(h)⊕Eatt(t)] ⑶

    2.3 分類性能度量

    本文采用準(zhǔn)確率(Acc)和加權(quán)F1-score(WF1)來評價模型的性能。

    準(zhǔn)確率是分類正確的樣本數(shù)占總樣本數(shù)的比例,計算公式為:

    [acc=TP+TNTP+FP+TN+FN] ⑷

    其中,TP表示正確分類的樣本數(shù),F(xiàn)P表示錯誤分類的樣本數(shù)。

    F1-score是精確率P和召回率R的調(diào)和值,是一個綜合指標(biāo)。當(dāng)數(shù)據(jù)類別不平衡時,加權(quán)F1-score(WF1)可以更準(zhǔn)確的評價分類性能,計算公式為:

    [F1=2*P*RP+R] ⑸

    [WF1=i=1kwi*F1i] ? ⑹

    其中,k是樣本類別數(shù),[wi]是數(shù)據(jù)集中第i類樣本占總樣本的比例,[F1i]是第i類樣本的F1-score。

    3 實驗與結(jié)果分析

    3.1 實驗設(shè)置

    ⑴ 實驗數(shù)據(jù)集

    實驗選擇THUCNews 和Sogou兩個公開的新聞數(shù)據(jù)集進(jìn)行測試,隨機(jī)選擇長度在100~10000之間的新聞,如表1所示。

    ⑵ 數(shù)據(jù)塊編碼與對比模型

    實驗采用BERT改進(jìn)版的Roberta(Chinese_Roberta_wwm_ext)作為編碼器,嵌入向量的維度為768,Roberta在訓(xùn)練語料和MASK方式上與BERT存在差異,編碼效果更出色。利用THUCNews數(shù)據(jù)集微調(diào)后再編碼。對比實驗有以下4種,文本特征維度均為768。

    ① Baseline模型:使用文本第一個數(shù)據(jù)塊的特征向量作為文檔的特征表示。

    ② H-ATT模型:使用注意力加權(quán)的首塊特征向量作為文檔的特征表示。

    ③ HT-CONC模型:使用PCA算法對初始塊向量進(jìn)行主成分分析,得到維度為384的新的塊向量,再將首塊與尾塊拼接,得到文檔特征向量。

    ④ HT-ATT-CONC模型:使用PCA算法對初始塊向量進(jìn)行主成分分析,得到維度為384的新的塊向量,再將注意力加權(quán)后的首塊與尾塊拼接,得到文檔特征向量。

    3.2 實驗結(jié)果

    基于Keras的bert4keras框架構(gòu)建模型,分類訓(xùn)練和預(yù)測的神經(jīng)網(wǎng)絡(luò)包含一個全連接層、Dropout層和Softmax層,使用 ADAM 優(yōu)化器。采用5折交叉驗證,用5次結(jié)果的準(zhǔn)確率(Acc)和加權(quán)F1-score(WF1)的均值作為分類性能的評估。為考查長文本特征表示方法在分類應(yīng)用上的效果,進(jìn)一步對不同長度范圍內(nèi)不同類別的文檔分別評估Acc和WF1性能。

    ⑴ THUCNews數(shù)據(jù)集的實驗結(jié)果

    全連接層的隱藏單元數(shù)為64,Softmax層的隱藏單元數(shù)為14,結(jié)果如表2所示。

    Baseline模型的ACC均值和WF1均值都超過94%,表明文檔開頭部分包含了較強(qiáng)的主題特征。三種對比模型的分類性能均超過Baseline,說明對文檔開頭和結(jié)尾部分的特征補(bǔ)充,可以增強(qiáng)主題特征,提高分類效果。其中,H-ATT模型通過注意力機(jī)制關(guān)注了文檔其他部分的相關(guān)特征;HT-CONC模型通過文檔首尾兩部分特征的拼接表達(dá)全局語義,這也表明,新聞?wù)Z料的開頭和結(jié)尾部分通常包含了更多的主題特征;HT-ATT-CONC模型不僅利用了首、尾部分的特征信息,還通過注意力機(jī)制融合了文檔其他部分特征,因此模型效果最好,與Baseline相比,ACC均值提高1.134%,WF1均值提高1.142%,

    對于長度大于1000的樣本,HT-ATT-CONC模型的WF1均值提高了1.56%,表明該模型能夠很好地提取THUCNews實驗集中長文檔的主題特征。

    ⑵ Sogou數(shù)據(jù)集的實驗結(jié)果

    全連接層的隱藏單元數(shù)為128,softmax層的隱藏單元數(shù)為10,結(jié)果如表3所示。

    Baseline模型的ACC均值和WF1均值都超過88%,三種對比模型的分類性能均超過Baseline,且HT-ATT-CONC模型效果最好,與Baseline相比,ACC均值提高1.128%,WF1均值提高1.140%。對于長度大于1000的樣本,HT-ATT-CONC比Baseline模型的WF1均值提高了1.47%。

    ⑶ 壓縮文檔特征對分類性能的影響

    上述模型采用PCA算法降維,文檔特征維度均為768。若直接使用初始特征,則文檔特征的維度為1536,使用HT-ATT-CONC模型在兩個數(shù)據(jù)集上的分類結(jié)果如表4所示。

    特征維度為1536時的分類性能并沒有明顯的改善,甚至稍有降低;而且,訓(xùn)練參數(shù)增多,也增加了模型的訓(xùn)練時間。采用PCA算法對數(shù)據(jù)塊的初始特征進(jìn)行降維,提取主要特征再進(jìn)行分類是有效的。

    4 結(jié)束語

    BERT具有強(qiáng)大的特征提取能力,注意力機(jī)制具有關(guān)注全局又聚焦重點的特性,將二者結(jié)合應(yīng)用于長文本特征表示,構(gòu)建HT-ATT-CONC分類模型,在分割文檔時保證語義的完整性、在應(yīng)用注意力時選擇合適的對齊目標(biāo),對文檔開頭部分和結(jié)尾部分進(jìn)行語義增強(qiáng)表示,再將兩者拼接起來,形成全局語義表征,能夠提高長文檔分類效果。

    HT-ATT-CONC模型在一些數(shù)據(jù)上的分類性能不太顯著,后續(xù)將進(jìn)一步改進(jìn),應(yīng)用多頭注意力使提取的語義信息特征更為全面和魯棒,以取得更好的分類效果。

    參考文獻(xiàn)(References):

    [1] DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-

    training of deep bidirectional transformers for language understanding[EB/OL].(2019-05-24)[2022-10-7].https://arxiv.org/pdf/1810.04805.pdf.

    [2] 葉瀚,孫海春,李欣等.融合注意力機(jī)制與句向量壓縮的長文

    本分類模型[J].數(shù)據(jù)分析與知識發(fā)現(xiàn),2022(6):84-94

    [3] Raghavendra Pappagari,Piotr Zelasko,Jesus Villalba etal.

    Hierarchical Transformers for Long Document Classification[EB/OL].(2019-10-23) [2022-10-07].https://arxiv.org/pdf/1910.10781.pdf.

    [4] Mandal A, Ghosh K, Ghosh S et al. Unsupervised

    approaches for measuring textual similarity between legal court case reports. Artificial Intelligence and Law[J].Springer,2021,(29):417-451

    [5] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you

    need[C]//Proceedings of the Advances in neural information processing systems.2017:5998-6008

    [6] Guo Q,Qiu X,Liu P,et al. Multi-Scale Self-Attention for

    Text Classification[J].American Association for Artificial Intelligence(AAAI),2020,34(5):7847-7854

    [7] Ran Jing.A Self-attention Based LSTM Network fffor Text

    Classification[C]//Proceedings of 2019 3rd International Conference on Control Engineering and Artificial Intelligence(CCEAI 2019).Los Angeles,USA,2019:75-79

    猜你喜歡
    文本分類注意力機(jī)制特征向量
    二年制職教本科線性代數(shù)課程的幾何化教學(xué)設(shè)計——以特征值和特征向量為例
    克羅內(nèi)克積的特征向量
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    一類特殊矩陣特征向量的求法
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    基于注意力機(jī)制的雙向LSTM模型在中文商品評論情感分類中的研究
    軟件工程(2017年11期)2018-01-05 08:06:09
    InsunKBQA:一個基于知識庫的問答系統(tǒng)
    EXCEL表格計算判斷矩陣近似特征向量在AHP法檢驗上的應(yīng)用
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    基于貝葉斯分類器的中文文本分類
    嫩草影院精品99| 午夜免费观看网址| www国产在线视频色| 啦啦啦 在线观看视频| 免费在线观看视频国产中文字幕亚洲| 18美女黄网站色大片免费观看| 天天躁夜夜躁狠狠躁躁| 欧美中文综合在线视频| or卡值多少钱| 欧美日韩精品网址| 久久久精品国产亚洲av高清涩受| 婷婷六月久久综合丁香| 色综合婷婷激情| 午夜免费激情av| 波多野结衣av一区二区av| 国产亚洲欧美98| 美女高潮喷水抽搐中文字幕| 亚洲中文日韩欧美视频| 丰满的人妻完整版| 丝袜美足系列| 午夜福利视频1000在线观看 | 91大片在线观看| 91av网站免费观看| 女人被躁到高潮嗷嗷叫费观| 精品久久久久久成人av| 成在线人永久免费视频| 欧美日韩黄片免| 亚洲第一电影网av| 制服丝袜大香蕉在线| 老熟妇仑乱视频hdxx| 美女扒开内裤让男人捅视频| 一个人免费在线观看的高清视频| 亚洲成人免费电影在线观看| 亚洲一区中文字幕在线| 极品人妻少妇av视频| 天堂√8在线中文| 夜夜看夜夜爽夜夜摸| 美女扒开内裤让男人捅视频| 日本免费a在线| 韩国精品一区二区三区| www.熟女人妻精品国产| 黄频高清免费视频| 乱人伦中国视频| 成人18禁在线播放| 母亲3免费完整高清在线观看| 18禁观看日本| 两个人看的免费小视频| 一本久久中文字幕| 美女午夜性视频免费| 国语自产精品视频在线第100页| 久久青草综合色| 嫁个100分男人电影在线观看| 欧美av亚洲av综合av国产av| 一级毛片高清免费大全| 成人手机av| 免费av毛片视频| 手机成人av网站| 老司机福利观看| 久久中文字幕一级| 日韩免费av在线播放| 成人18禁高潮啪啪吃奶动态图| 啪啪无遮挡十八禁网站| 国产精品久久久av美女十八| 夜夜躁狠狠躁天天躁| 中亚洲国语对白在线视频| 成人av一区二区三区在线看| 精品国产超薄肉色丝袜足j| 人妻久久中文字幕网| 亚洲精品中文字幕一二三四区| 波多野结衣av一区二区av| av电影中文网址| 老司机午夜十八禁免费视频| 黄色视频不卡| 老汉色∧v一级毛片| 欧美久久黑人一区二区| 在线观看午夜福利视频| 精品人妻在线不人妻| 美国免费a级毛片| 桃色一区二区三区在线观看| 一个人免费在线观看的高清视频| 欧美黑人精品巨大| 精品卡一卡二卡四卡免费| 后天国语完整版免费观看| 久久亚洲真实| 亚洲片人在线观看| 97人妻天天添夜夜摸| 嫁个100分男人电影在线观看| 欧美+亚洲+日韩+国产| 色婷婷久久久亚洲欧美| 亚洲一区高清亚洲精品| 极品教师在线免费播放| 91成人精品电影| 成人精品一区二区免费| 无人区码免费观看不卡| 视频区欧美日本亚洲| 精品人妻1区二区| 精品国内亚洲2022精品成人| 亚洲av电影在线进入| 亚洲少妇的诱惑av| 免费在线观看亚洲国产| 精品熟女少妇八av免费久了| 国产一区二区三区综合在线观看| 99精品在免费线老司机午夜| 午夜福利在线观看吧| 亚洲片人在线观看| 麻豆成人av在线观看| 精品第一国产精品| 成人手机av| 国产精品日韩av在线免费观看 | 神马国产精品三级电影在线观看 | 午夜视频精品福利| 一级毛片女人18水好多| 免费在线观看黄色视频的| 一个人免费在线观看的高清视频| 精品人妻1区二区| 久久婷婷成人综合色麻豆| 老司机深夜福利视频在线观看| 亚洲男人的天堂狠狠| 电影成人av| 18禁国产床啪视频网站| 国产精品亚洲一级av第二区| 国产成人av激情在线播放| 日韩有码中文字幕| 大陆偷拍与自拍| 免费少妇av软件| 一级黄色大片毛片| 最新美女视频免费是黄的| 日韩有码中文字幕| 国产精品av久久久久免费| 亚洲第一av免费看| 亚洲av五月六月丁香网| 国产成人啪精品午夜网站| av超薄肉色丝袜交足视频| 老汉色av国产亚洲站长工具| 精品人妻1区二区| 国产精品亚洲美女久久久| 一卡2卡三卡四卡精品乱码亚洲| 亚洲人成77777在线视频| 欧美日本亚洲视频在线播放| 一边摸一边抽搐一进一出视频| 亚洲第一电影网av| 国产欧美日韩一区二区精品| 露出奶头的视频| 亚洲国产精品sss在线观看| 精品福利观看| 高潮久久久久久久久久久不卡| 日韩有码中文字幕| 制服丝袜大香蕉在线| 国产精品久久久人人做人人爽| 亚洲精品中文字幕在线视频| 精品国内亚洲2022精品成人| 成人18禁高潮啪啪吃奶动态图| 一进一出抽搐动态| 视频区欧美日本亚洲| 中文亚洲av片在线观看爽| 免费一级毛片在线播放高清视频 | 自拍欧美九色日韩亚洲蝌蚪91| 成人手机av| 国产精品精品国产色婷婷| 国产高清激情床上av| 亚洲电影在线观看av| 法律面前人人平等表现在哪些方面| 久久天躁狠狠躁夜夜2o2o| 国产一区二区激情短视频| 亚洲第一av免费看| 亚洲电影在线观看av| 搡老熟女国产l中国老女人| 国内久久婷婷六月综合欲色啪| 99久久国产精品久久久| 亚洲精品中文字幕一二三四区| 1024香蕉在线观看| 男人舔女人的私密视频| 亚洲午夜精品一区,二区,三区| 最近最新中文字幕大全电影3 | 亚洲中文日韩欧美视频| 国产成人欧美在线观看| 久久精品成人免费网站| 国产成年人精品一区二区| 波多野结衣高清无吗| 久久香蕉国产精品| 在线观看一区二区三区| 久热爱精品视频在线9| 国产精品电影一区二区三区| 久久这里只有精品19| 欧美成人性av电影在线观看| 国产高清激情床上av| 在线免费观看的www视频| ponron亚洲| 国产伦一二天堂av在线观看| www.熟女人妻精品国产| av天堂久久9| 日韩视频一区二区在线观看| 国产成人系列免费观看| 99久久久亚洲精品蜜臀av| av免费在线观看网站| av电影中文网址| 国产成人av激情在线播放| 最新美女视频免费是黄的| 国产精品一区二区在线不卡| x7x7x7水蜜桃| 国产精品一区二区免费欧美| 精品久久久精品久久久| 韩国av一区二区三区四区| 亚洲最大成人中文| 精品国产亚洲在线| www.自偷自拍.com| 久久久久久久久中文| 又紧又爽又黄一区二区| 国产精品久久久久久亚洲av鲁大| 黑人巨大精品欧美一区二区蜜桃| 亚洲全国av大片| 99re在线观看精品视频| 国产精品,欧美在线| 亚洲av日韩精品久久久久久密| 99精品欧美一区二区三区四区| 欧美激情极品国产一区二区三区| 99在线人妻在线中文字幕| 免费人成视频x8x8入口观看| 这个男人来自地球电影免费观看| 99精品久久久久人妻精品| 欧美日本中文国产一区发布| 男女下面插进去视频免费观看| 日韩欧美免费精品| 免费看美女性在线毛片视频| 久久久久久大精品| 国产一区二区三区在线臀色熟女| 亚洲人成电影观看| 久99久视频精品免费| 欧美成人免费av一区二区三区| 9色porny在线观看| 午夜福利影视在线免费观看| 亚洲av片天天在线观看| 搞女人的毛片| 国语自产精品视频在线第100页| 每晚都被弄得嗷嗷叫到高潮| 成人三级黄色视频| www.熟女人妻精品国产| 欧美日韩亚洲综合一区二区三区_| 国产精品免费视频内射| 中文字幕最新亚洲高清| 亚洲色图 男人天堂 中文字幕| 亚洲黑人精品在线| 亚洲视频免费观看视频| 日本黄色视频三级网站网址| 亚洲国产日韩欧美精品在线观看 | 日日爽夜夜爽网站| 精品欧美国产一区二区三| 国产午夜精品久久久久久| 日本欧美视频一区| 国产精品综合久久久久久久免费 | 丝袜美足系列| 人人澡人人妻人| netflix在线观看网站| 女人爽到高潮嗷嗷叫在线视频| 窝窝影院91人妻| 黄色a级毛片大全视频| 欧美大码av| 久久国产精品人妻蜜桃| 校园春色视频在线观看| 国产成人av教育| 久久中文字幕人妻熟女| 国产精品日韩av在线免费观看 | 美女扒开内裤让男人捅视频| 久久久久国产一级毛片高清牌| 日韩一卡2卡3卡4卡2021年| 亚洲欧美一区二区三区黑人| 亚洲精品中文字幕一二三四区| 国内毛片毛片毛片毛片毛片| 国产精品爽爽va在线观看网站 | 国产亚洲欧美98| 免费在线观看亚洲国产| 首页视频小说图片口味搜索| 亚洲一区高清亚洲精品| 久久久久久亚洲精品国产蜜桃av| 非洲黑人性xxxx精品又粗又长| 精品一区二区三区四区五区乱码| 免费在线观看黄色视频的| 日本一区二区免费在线视频| or卡值多少钱| 日韩三级视频一区二区三区| 91精品三级在线观看| 国产一区二区激情短视频| 丝袜美腿诱惑在线| 欧美激情高清一区二区三区| 亚洲九九香蕉| 俄罗斯特黄特色一大片| 免费女性裸体啪啪无遮挡网站| 男女下面插进去视频免费观看| 国产精品久久久久久人妻精品电影| 国产成人精品久久二区二区91| 91精品三级在线观看| 丰满的人妻完整版| 久久国产乱子伦精品免费另类| 亚洲少妇的诱惑av| 国产精品香港三级国产av潘金莲| 久久精品国产亚洲av香蕉五月| 欧美激情 高清一区二区三区| 岛国视频午夜一区免费看| 19禁男女啪啪无遮挡网站| 亚洲自拍偷在线| 成人国产一区最新在线观看| 好男人电影高清在线观看| 91成人精品电影| 国产真人三级小视频在线观看| 久久婷婷人人爽人人干人人爱 | 亚洲精华国产精华精| 国产成年人精品一区二区| 亚洲精品在线观看二区| 老司机深夜福利视频在线观看| 亚洲精品国产色婷婷电影| 国产欧美日韩综合在线一区二区| 日韩视频一区二区在线观看| 国产xxxxx性猛交| 精品不卡国产一区二区三区| 国产99久久九九免费精品| 欧美黄色淫秽网站| 高清毛片免费观看视频网站| 亚洲精品粉嫩美女一区| 久久狼人影院| 国产亚洲av嫩草精品影院| 国产成人精品无人区| 这个男人来自地球电影免费观看| 久久性视频一级片| 亚洲五月天丁香| 91av网站免费观看| 黄片大片在线免费观看| 99香蕉大伊视频| 亚洲成a人片在线一区二区| 成年女人毛片免费观看观看9| 精品国产一区二区久久| 久久久久国产一级毛片高清牌| 91大片在线观看| 9191精品国产免费久久| 国产乱人伦免费视频| 成人av一区二区三区在线看| 亚洲成人精品中文字幕电影| 婷婷六月久久综合丁香| 黄色视频不卡| 欧美激情高清一区二区三区| 中亚洲国语对白在线视频| 精品熟女少妇八av免费久了| 亚洲第一欧美日韩一区二区三区| 黄色丝袜av网址大全| 99国产精品99久久久久| 亚洲国产精品合色在线| 国产一区二区三区视频了| 色在线成人网| 他把我摸到了高潮在线观看| 亚洲精品国产精品久久久不卡| 中文字幕另类日韩欧美亚洲嫩草| 国产精品久久久久久人妻精品电影| 国产av又大| 亚洲成国产人片在线观看| 午夜久久久久精精品| 精品卡一卡二卡四卡免费| 久热爱精品视频在线9| 国产精品久久久人人做人人爽| 国产精品久久视频播放| 国产精品一区二区在线不卡| 黄网站色视频无遮挡免费观看| 欧美黄色片欧美黄色片| 午夜精品在线福利| 可以在线观看毛片的网站| 亚洲 国产 在线| 一个人免费在线观看的高清视频| 精品一区二区三区四区五区乱码| 99久久99久久久精品蜜桃| 国产精品影院久久| 日韩欧美免费精品| 国产精品亚洲av一区麻豆| 性欧美人与动物交配| 色尼玛亚洲综合影院| 一级毛片女人18水好多| 国产免费男女视频| 精品不卡国产一区二区三区| 黑人巨大精品欧美一区二区蜜桃| 在线观看一区二区三区| 99在线人妻在线中文字幕| 丝袜美腿诱惑在线| 国产色视频综合| 国产单亲对白刺激| 精品久久久久久久久久免费视频| 亚洲 欧美一区二区三区| 咕卡用的链子| 手机成人av网站| 黄色 视频免费看| 久久婷婷成人综合色麻豆| 美女免费视频网站| 黄片小视频在线播放| 亚洲人成77777在线视频| 免费看十八禁软件| 性少妇av在线| 丰满人妻熟妇乱又伦精品不卡| 国产亚洲精品av在线| 精品少妇一区二区三区视频日本电影| 此物有八面人人有两片| 少妇被粗大的猛进出69影院| 成人免费观看视频高清| 久久天躁狠狠躁夜夜2o2o| 欧美日韩福利视频一区二区| 中出人妻视频一区二区| 免费在线观看亚洲国产| 丰满人妻熟妇乱又伦精品不卡| 国产成人精品久久二区二区免费| 免费无遮挡裸体视频| 日韩精品青青久久久久久| 88av欧美| 欧美日韩一级在线毛片| 国产亚洲欧美在线一区二区| 精品久久久久久,| 两个人免费观看高清视频| 国产又爽黄色视频| 亚洲成av片中文字幕在线观看| 丝袜美腿诱惑在线| 制服诱惑二区| 精品久久久久久成人av| 真人做人爱边吃奶动态| 日日夜夜操网爽| 搞女人的毛片| 成人三级做爰电影| 亚洲 欧美一区二区三区| 又黄又爽又免费观看的视频| 999久久久国产精品视频| 精品国产乱码久久久久久男人| 国产精品 国内视频| 美女 人体艺术 gogo| 99香蕉大伊视频| 国产激情久久老熟女| 久久国产亚洲av麻豆专区| 色综合欧美亚洲国产小说| 亚洲色图综合在线观看| 韩国精品一区二区三区| 亚洲精品在线观看二区| 日本精品一区二区三区蜜桃| 18禁美女被吸乳视频| 国产国语露脸激情在线看| 欧美国产日韩亚洲一区| 黑人操中国人逼视频| 国产成人免费无遮挡视频| 中文字幕色久视频| 成人18禁在线播放| 无限看片的www在线观看| 夜夜看夜夜爽夜夜摸| 无遮挡黄片免费观看| 久久精品aⅴ一区二区三区四区| 黄色女人牲交| 欧美日韩亚洲综合一区二区三区_| 操出白浆在线播放| 丰满人妻熟妇乱又伦精品不卡| 无限看片的www在线观看| 天天躁夜夜躁狠狠躁躁| 日本精品一区二区三区蜜桃| 午夜福利在线观看吧| 老司机午夜福利在线观看视频| 国产97色在线日韩免费| 很黄的视频免费| xxx96com| 免费无遮挡裸体视频| 亚洲国产毛片av蜜桃av| 91成年电影在线观看| 久久精品人人爽人人爽视色| 在线观看午夜福利视频| 熟女少妇亚洲综合色aaa.| 一本大道久久a久久精品| 曰老女人黄片| 亚洲国产毛片av蜜桃av| 成人亚洲精品一区在线观看| 女生性感内裤真人,穿戴方法视频| 欧美日韩一级在线毛片| 伦理电影免费视频| 亚洲午夜精品一区,二区,三区| 男女午夜视频在线观看| 天天躁夜夜躁狠狠躁躁| 国产高清激情床上av| 婷婷六月久久综合丁香| 欧美黑人欧美精品刺激| 啦啦啦 在线观看视频| 琪琪午夜伦伦电影理论片6080| 亚洲狠狠婷婷综合久久图片| 99香蕉大伊视频| 欧美色视频一区免费| 可以在线观看的亚洲视频| 人人澡人人妻人| 精品国内亚洲2022精品成人| www日本在线高清视频| 97人妻天天添夜夜摸| 亚洲精品在线美女| 午夜福利一区二区在线看| 久久久久久久精品吃奶| 色综合欧美亚洲国产小说| 在线十欧美十亚洲十日本专区| 久久婷婷人人爽人人干人人爱 | 国产高清激情床上av| 人成视频在线观看免费观看| 日本撒尿小便嘘嘘汇集6| 看黄色毛片网站| 黑人巨大精品欧美一区二区蜜桃| 国产欧美日韩精品亚洲av| 真人一进一出gif抽搐免费| 黄色a级毛片大全视频| 国产精品 欧美亚洲| 婷婷丁香在线五月| 亚洲中文日韩欧美视频| 午夜精品国产一区二区电影| 欧美激情极品国产一区二区三区| 国产午夜精品久久久久久| 国产av又大| 精品国内亚洲2022精品成人| 女人被躁到高潮嗷嗷叫费观| 久久久水蜜桃国产精品网| tocl精华| 国产成人av激情在线播放| 亚洲精品中文字幕在线视频| 人人妻人人爽人人添夜夜欢视频| 成人手机av| 精品日产1卡2卡| 一本综合久久免费| 麻豆久久精品国产亚洲av| 一二三四社区在线视频社区8| 99香蕉大伊视频| 91在线观看av| 亚洲国产毛片av蜜桃av| 色播亚洲综合网| 亚洲情色 制服丝袜| 悠悠久久av| 国产av精品麻豆| 亚洲精品国产一区二区精华液| 亚洲人成网站在线播放欧美日韩| 国产xxxxx性猛交| 电影成人av| 淫妇啪啪啪对白视频| 国产高清视频在线播放一区| 亚洲性夜色夜夜综合| 精品久久久久久成人av| 国产视频一区二区在线看| 深夜精品福利| 欧美日韩亚洲综合一区二区三区_| 亚洲免费av在线视频| 免费无遮挡裸体视频| 国产精品,欧美在线| 在线观看日韩欧美| 成人欧美大片| 欧美av亚洲av综合av国产av| 麻豆av在线久日| 午夜老司机福利片| 亚洲午夜理论影院| 久久久水蜜桃国产精品网| 人成视频在线观看免费观看| 熟妇人妻久久中文字幕3abv| 国产av精品麻豆| 国产成人精品久久二区二区免费| 美女高潮到喷水免费观看| 狂野欧美激情性xxxx| av中文乱码字幕在线| bbb黄色大片| 欧美精品亚洲一区二区| 免费人成视频x8x8入口观看| 欧美 亚洲 国产 日韩一| 国产精品二区激情视频| 中文字幕最新亚洲高清| 国产精品久久久久久亚洲av鲁大| 久久香蕉激情| 变态另类成人亚洲欧美熟女 | 久久性视频一级片| 在线观看66精品国产| 19禁男女啪啪无遮挡网站| 啦啦啦观看免费观看视频高清 | 色播亚洲综合网| 最近最新中文字幕大全电影3 | 禁无遮挡网站| 久久 成人 亚洲| 欧美日本中文国产一区发布| www国产在线视频色| 精品一区二区三区视频在线观看免费| 国产一区二区在线av高清观看| 国产区一区二久久| 久久人人精品亚洲av| 国产麻豆69| 成人特级黄色片久久久久久久| 日本 欧美在线| 9191精品国产免费久久| 大陆偷拍与自拍| 国产亚洲精品av在线| 欧美黄色片欧美黄色片| 国产aⅴ精品一区二区三区波| 久久人人97超碰香蕉20202| 国产伦人伦偷精品视频| 日日爽夜夜爽网站| 日韩欧美一区二区三区在线观看| 熟女少妇亚洲综合色aaa.| 日韩精品青青久久久久久| 午夜老司机福利片| 亚洲国产高清在线一区二区三 | 中文字幕人妻熟女乱码| 久久精品亚洲精品国产色婷小说| av天堂在线播放| 午夜福利在线观看吧| 麻豆成人av在线观看| 欧美黑人欧美精品刺激| 久久青草综合色| 久久香蕉国产精品| 欧美中文综合在线视频| 日韩欧美一区视频在线观看| 日本vs欧美在线观看视频| av中文乱码字幕在线| 亚洲五月婷婷丁香| 丝袜在线中文字幕| 中文字幕人妻熟女乱码| 黑人巨大精品欧美一区二区mp4| 亚洲精品久久国产高清桃花| 女人爽到高潮嗷嗷叫在线视频| 久久人妻熟女aⅴ| 欧美激情久久久久久爽电影 | 1024视频免费在线观看| 亚洲自偷自拍图片 自拍|