• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    BERT編碼與注意力機(jī)制結(jié)合的長文本分類研究

    2023-05-14 02:58:10陳潔
    計算機(jī)時代 2023年5期
    關(guān)鍵詞:文本分類注意力機(jī)制特征向量

    陳潔

    摘? 要: 預(yù)訓(xùn)練語言模型具有強(qiáng)大的特征表達(dá)能力但無法直接應(yīng)用于長文本。為此,提出分層特征提取方法。在BERT允許的最大序列長度范圍內(nèi)按句子的自然邊界分割文本,應(yīng)用自注意力機(jī)制獲得首塊和尾塊的增強(qiáng)特征,再利用PCA算法進(jìn)行壓縮獲取主要特征成分。在THUCNews和Sogou數(shù)據(jù)集上進(jìn)行5折交叉驗證,分類準(zhǔn)確率和加權(quán)F1-score的均值分別達(dá)到95.29%、95.28%和89.68%、89.69%。該方法能夠提取與主題最相關(guān)的特征,提高長文本分類效果,PCA壓縮特征向量能夠降低分類模型的復(fù)雜度,提高時間效率。

    關(guān)鍵詞: 文本分類; 預(yù)訓(xùn)練語言模型; 注意力機(jī)制; 特征向量; PCA

    中圖分類號:TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識碼:A? ? ?文章編號:1006-8228(2023)05-136-04

    Research on long text classification based on the combination of BERT

    feature representation and attention mechanism

    Chen Jie

    (School of Data Science and Information Technology, China Women's University, Beijing 100101, China)

    Abstract: The pre-trained language models have strong feature expression ability, but could not be applied to long text directly. A hierarchical feature extraction method is proposed for this purpose. Within the maximum sequence length allowed by BERT, the text is segmented into blocks according to the natural boundary of the sentence. The self-attention mechanism is applied to obtain the enhanced features of the first block and the last block. Then PCA algorithm is used to compress the initial feature vector to obtain the main feature components. The 5-fold cross validation is carried out on THUCNews and Sogou datasets, and the mean values of the classification accuracy and weighted F1-score on the two datasets are 95.29%, 95.28% and 89.68%, 89.69%, respectively. The proposed classification model can extract the text features most related to the topic and improve the classification effect of long text. PCA compression feature vector can reduce the model complexity and improve time efficiency.

    Key words: text classification; pre-trained language model; attention mechanism; feature vector; PCA

    0 引言

    海量文本的自動分類在知識發(fā)現(xiàn)、主題挖掘、輿情監(jiān)控等任務(wù)中發(fā)揮了巨大作用,成為自然語言處理(NLP)的重要研究內(nèi)容。文本表征對文本分類效果至關(guān)重要,長文本因其語義更加多樣化,文本蘊(yùn)含的主題不惟一且存在冗余和噪聲等問題,增加了分類難度。

    傳統(tǒng)的向量空間模型可以生成文本特征向量,但丟失詞序,不能表征全局語義。神經(jīng)網(wǎng)絡(luò)語言模型可以獲得分布式文本表示,使得文本能基于語義關(guān)聯(lián)進(jìn)行分類。目前,神經(jīng)網(wǎng)絡(luò)分類模型的文本表征有基于詞嵌入方式和基于預(yù)訓(xùn)練語言模型方式。

    以BERT[1]為代表的預(yù)訓(xùn)練模型具有強(qiáng)大的特征提取功能,但是Transformer結(jié)構(gòu)對輸入序列有一個固定的長度限制,在BERT中最大為512?;贐ERT模型,層次法成為長文本編碼的主要方式。文獻(xiàn)[2]以句子為單位進(jìn)行編碼,以首句作為主題句,采用首句拼接注意力加權(quán)句向量方式生成文檔向量,由于句子長短不一,短句通常包含較少的上下文信息,并且如果首句不是主題句則會影響文檔表征效果。文獻(xiàn)[3]以200字的文本片段分割文檔,對每個片段進(jìn)行嵌入表示,兩個連續(xù)片段之間有50字的重疊,然后利用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)組合各個片段向量獲得全局特征表示;文獻(xiàn)[4]將長文本分割為500字的重疊塊,再通過平均池化獲得全局特征表示,根據(jù)固定長度劃分序列,沒有考慮句子的自然邊界,會因分割片段在語義上的不完整而影響整體的語義理解。

    針對已有研究中存在的問題,構(gòu)建HT-ATT-CONC模型,在BERT允許的最大序列長度范圍內(nèi),將文檔分割為具有完整語義的數(shù)據(jù)塊,再結(jié)合文本分類任務(wù)的特點,利用BERT編碼并結(jié)合自注意力機(jī)制整合數(shù)據(jù)塊,有效獲取全局語義表征,在THUCNews和Sogou新聞數(shù)據(jù)集上通過5折交叉驗證模型在長文本上的分類性能。

    1 注意力機(jī)制

    BERT采用深度雙向Transformer結(jié)構(gòu),使用多頭自注意力(Self-Attention)機(jī)制對文本建模,不僅可以捕捉長距離的文本特征,而且在編碼當(dāng)前單詞的時候還關(guān)注上下文中和它有關(guān)的單詞,將注意力集中在重要的信息上,并通過深層網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)深層次的上下文關(guān)聯(lián),增強(qiáng)了模型的表達(dá)能力。注意力機(jī)制的核心邏輯就是從全局信息中挖掘重點信息,并給予更多的重視[5]。

    利用Self-Attention機(jī)制,可以通過注意力分布生成不同的權(quán)重,使得權(quán)重與數(shù)據(jù)本身的重要性相關(guān),即焦點詞語的權(quán)重大,由此得到目標(biāo)字的注意力加權(quán)值,獲取全局上下文信息[6,7]。

    2 BERT與注意力機(jī)制結(jié)合的分類模型

    利用BERT進(jìn)行長文本編碼,為了獲取全局語義特征,需要切分文本,再組合分片向量以解決文檔碎片問題。本文構(gòu)建HT-ATT-CONC模型,首先將文本分割為具有完整語義的數(shù)據(jù)塊,并對每個數(shù)據(jù)塊進(jìn)行嵌入表示;再利用自注意力機(jī)制整合塊向量,突出與分類主題最相關(guān)的內(nèi)容特征;最后通過一個全連接層和Softmax層,完成文本分類。

    2.1 分割文本塊

    從閱讀行為可知:段落比單個句子會包含更多與文本主題相關(guān)的語義;文本中存在的各種標(biāo)點符號對閱讀起著重要作用,保持這種分割可以有效保留原始文本中的語義信息;新聞首尾部分的內(nèi)容通常與新聞主題的相關(guān)性最大。

    為此,在BERT允許的最大序列長度范圍內(nèi),將文本分割為具有完整語義的文本塊。方法如下:

    ⑴ 按照句子的自然邊界,將文檔分割為不超過 510字符的數(shù)據(jù)塊,數(shù)據(jù)塊中的句子保持完整,不跨段,否則將最后一句劃分到下一個數(shù)據(jù)塊。

    ⑵ 分割后的數(shù)據(jù)塊如果超過三個,則調(diào)整最后兩塊,從后往前截取不超過510字符的內(nèi)容,數(shù)據(jù)塊中的句子保持完整。

    2.2 文檔特征表示

    ⑴ 文本塊的編碼

    在BERT模型中,“[CLS]”作為特殊字符,本身不具備任何語義,可用來代表輸入文本的綜合語義信息,本文用該字符的嵌入表示作為每個數(shù)據(jù)塊的特征向量,文檔中第i個數(shù)據(jù)塊的特征編碼為Ei。

    預(yù)訓(xùn)練語言模型利用不同領(lǐng)域的大規(guī)模語料預(yù)訓(xùn)練以學(xué)習(xí)通用的先驗語義知識,生成的向量維度通常都是上百維,而下游任務(wù)一般只涉及某個領(lǐng)域的應(yīng)用,因此可以利用PCA(Principal Component Analysis,主成分分析法)算法對分布式表示的Ei進(jìn)行壓縮,提取主要特征成分。

    ⑵ 全局語義表征

    為獲得全局語義特征,需要組合文檔中的塊向量。Self-Attention具有關(guān)注全局又聚焦重點的特性,并且新聞的首尾部分通常與主題的相關(guān)性更高,為此,將文檔中的各個塊向量分別與首塊和尾塊對齊,通過注意力權(quán)重突出與分類主題最相關(guān)的內(nèi)容特征。本文采用Scaled dot-product attention方法進(jìn)行注意力加權(quán):

    [α=softmaxQKTd] ? ⑴

    [att=α*V]? ⑵

    Q(Query)表示目標(biāo)文本、K(Key)表示上下文中的文本、V(Value)表示文本塊的原始向量,通過計算Q和K的注意力得分對V加權(quán)。[α]為注意力權(quán)值,利用Softmax函數(shù)進(jìn)行歸一化,得到(0,1)范圍的注意力分布;d是一個調(diào)節(jié)參數(shù),較小的取值可以保持指數(shù)函數(shù)的輸入盡可能大,關(guān)注最重要的文本塊;[att]為注意力加權(quán)向量,代表目標(biāo)向量Q的增強(qiáng)語義表示。

    具體過程如下:

    ⑴ 利用PCA算法來對Ei進(jìn)行主成分分析,得到降維后的特征編碼Ei。

    ⑵ 利用公式⑴計算文檔第一個塊向量E0對文檔所有塊向量Ej(j=0,1,2,…,n-1)的注意力得分(Q為E0,K、V為Ej)得到注意力加權(quán)的文檔特征向量Eatt(h),第一個數(shù)據(jù)塊的特征權(quán)重最大,其次是與第一塊關(guān)系密切的其他數(shù)據(jù)塊,由此,可以增強(qiáng)首塊的語義表示,使分類特征更加顯著。

    ⑶ 利用公式⑴計算文檔最后一個塊向量En-1對文檔所有塊向量Ej的注意力得分,得到注意力加權(quán)后的文檔特征向量Eatt(t),增強(qiáng)尾塊的語義表示。

    ⑷ 將Eatt(h)與Eatt(t)進(jìn)行拼接,得到文檔表征E,作為初始的分類特征向量。

    [E=Eatt(h)⊕Eatt(t)] ⑶

    2.3 分類性能度量

    本文采用準(zhǔn)確率(Acc)和加權(quán)F1-score(WF1)來評價模型的性能。

    準(zhǔn)確率是分類正確的樣本數(shù)占總樣本數(shù)的比例,計算公式為:

    [acc=TP+TNTP+FP+TN+FN] ⑷

    其中,TP表示正確分類的樣本數(shù),F(xiàn)P表示錯誤分類的樣本數(shù)。

    F1-score是精確率P和召回率R的調(diào)和值,是一個綜合指標(biāo)。當(dāng)數(shù)據(jù)類別不平衡時,加權(quán)F1-score(WF1)可以更準(zhǔn)確的評價分類性能,計算公式為:

    [F1=2*P*RP+R] ⑸

    [WF1=i=1kwi*F1i] ? ⑹

    其中,k是樣本類別數(shù),[wi]是數(shù)據(jù)集中第i類樣本占總樣本的比例,[F1i]是第i類樣本的F1-score。

    3 實驗與結(jié)果分析

    3.1 實驗設(shè)置

    ⑴ 實驗數(shù)據(jù)集

    實驗選擇THUCNews 和Sogou兩個公開的新聞數(shù)據(jù)集進(jìn)行測試,隨機(jī)選擇長度在100~10000之間的新聞,如表1所示。

    ⑵ 數(shù)據(jù)塊編碼與對比模型

    實驗采用BERT改進(jìn)版的Roberta(Chinese_Roberta_wwm_ext)作為編碼器,嵌入向量的維度為768,Roberta在訓(xùn)練語料和MASK方式上與BERT存在差異,編碼效果更出色。利用THUCNews數(shù)據(jù)集微調(diào)后再編碼。對比實驗有以下4種,文本特征維度均為768。

    ① Baseline模型:使用文本第一個數(shù)據(jù)塊的特征向量作為文檔的特征表示。

    ② H-ATT模型:使用注意力加權(quán)的首塊特征向量作為文檔的特征表示。

    ③ HT-CONC模型:使用PCA算法對初始塊向量進(jìn)行主成分分析,得到維度為384的新的塊向量,再將首塊與尾塊拼接,得到文檔特征向量。

    ④ HT-ATT-CONC模型:使用PCA算法對初始塊向量進(jìn)行主成分分析,得到維度為384的新的塊向量,再將注意力加權(quán)后的首塊與尾塊拼接,得到文檔特征向量。

    3.2 實驗結(jié)果

    基于Keras的bert4keras框架構(gòu)建模型,分類訓(xùn)練和預(yù)測的神經(jīng)網(wǎng)絡(luò)包含一個全連接層、Dropout層和Softmax層,使用 ADAM 優(yōu)化器。采用5折交叉驗證,用5次結(jié)果的準(zhǔn)確率(Acc)和加權(quán)F1-score(WF1)的均值作為分類性能的評估。為考查長文本特征表示方法在分類應(yīng)用上的效果,進(jìn)一步對不同長度范圍內(nèi)不同類別的文檔分別評估Acc和WF1性能。

    ⑴ THUCNews數(shù)據(jù)集的實驗結(jié)果

    全連接層的隱藏單元數(shù)為64,Softmax層的隱藏單元數(shù)為14,結(jié)果如表2所示。

    Baseline模型的ACC均值和WF1均值都超過94%,表明文檔開頭部分包含了較強(qiáng)的主題特征。三種對比模型的分類性能均超過Baseline,說明對文檔開頭和結(jié)尾部分的特征補(bǔ)充,可以增強(qiáng)主題特征,提高分類效果。其中,H-ATT模型通過注意力機(jī)制關(guān)注了文檔其他部分的相關(guān)特征;HT-CONC模型通過文檔首尾兩部分特征的拼接表達(dá)全局語義,這也表明,新聞?wù)Z料的開頭和結(jié)尾部分通常包含了更多的主題特征;HT-ATT-CONC模型不僅利用了首、尾部分的特征信息,還通過注意力機(jī)制融合了文檔其他部分特征,因此模型效果最好,與Baseline相比,ACC均值提高1.134%,WF1均值提高1.142%,

    對于長度大于1000的樣本,HT-ATT-CONC模型的WF1均值提高了1.56%,表明該模型能夠很好地提取THUCNews實驗集中長文檔的主題特征。

    ⑵ Sogou數(shù)據(jù)集的實驗結(jié)果

    全連接層的隱藏單元數(shù)為128,softmax層的隱藏單元數(shù)為10,結(jié)果如表3所示。

    Baseline模型的ACC均值和WF1均值都超過88%,三種對比模型的分類性能均超過Baseline,且HT-ATT-CONC模型效果最好,與Baseline相比,ACC均值提高1.128%,WF1均值提高1.140%。對于長度大于1000的樣本,HT-ATT-CONC比Baseline模型的WF1均值提高了1.47%。

    ⑶ 壓縮文檔特征對分類性能的影響

    上述模型采用PCA算法降維,文檔特征維度均為768。若直接使用初始特征,則文檔特征的維度為1536,使用HT-ATT-CONC模型在兩個數(shù)據(jù)集上的分類結(jié)果如表4所示。

    特征維度為1536時的分類性能并沒有明顯的改善,甚至稍有降低;而且,訓(xùn)練參數(shù)增多,也增加了模型的訓(xùn)練時間。采用PCA算法對數(shù)據(jù)塊的初始特征進(jìn)行降維,提取主要特征再進(jìn)行分類是有效的。

    4 結(jié)束語

    BERT具有強(qiáng)大的特征提取能力,注意力機(jī)制具有關(guān)注全局又聚焦重點的特性,將二者結(jié)合應(yīng)用于長文本特征表示,構(gòu)建HT-ATT-CONC分類模型,在分割文檔時保證語義的完整性、在應(yīng)用注意力時選擇合適的對齊目標(biāo),對文檔開頭部分和結(jié)尾部分進(jìn)行語義增強(qiáng)表示,再將兩者拼接起來,形成全局語義表征,能夠提高長文檔分類效果。

    HT-ATT-CONC模型在一些數(shù)據(jù)上的分類性能不太顯著,后續(xù)將進(jìn)一步改進(jìn),應(yīng)用多頭注意力使提取的語義信息特征更為全面和魯棒,以取得更好的分類效果。

    參考文獻(xiàn)(References):

    [1] DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-

    training of deep bidirectional transformers for language understanding[EB/OL].(2019-05-24)[2022-10-7].https://arxiv.org/pdf/1810.04805.pdf.

    [2] 葉瀚,孫海春,李欣等.融合注意力機(jī)制與句向量壓縮的長文

    本分類模型[J].數(shù)據(jù)分析與知識發(fā)現(xiàn),2022(6):84-94

    [3] Raghavendra Pappagari,Piotr Zelasko,Jesus Villalba etal.

    Hierarchical Transformers for Long Document Classification[EB/OL].(2019-10-23) [2022-10-07].https://arxiv.org/pdf/1910.10781.pdf.

    [4] Mandal A, Ghosh K, Ghosh S et al. Unsupervised

    approaches for measuring textual similarity between legal court case reports. Artificial Intelligence and Law[J].Springer,2021,(29):417-451

    [5] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you

    need[C]//Proceedings of the Advances in neural information processing systems.2017:5998-6008

    [6] Guo Q,Qiu X,Liu P,et al. Multi-Scale Self-Attention for

    Text Classification[J].American Association for Artificial Intelligence(AAAI),2020,34(5):7847-7854

    [7] Ran Jing.A Self-attention Based LSTM Network fffor Text

    Classification[C]//Proceedings of 2019 3rd International Conference on Control Engineering and Artificial Intelligence(CCEAI 2019).Los Angeles,USA,2019:75-79

    猜你喜歡
    文本分類注意力機(jī)制特征向量
    二年制職教本科線性代數(shù)課程的幾何化教學(xué)設(shè)計——以特征值和特征向量為例
    克羅內(nèi)克積的特征向量
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    一類特殊矩陣特征向量的求法
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    基于注意力機(jī)制的雙向LSTM模型在中文商品評論情感分類中的研究
    軟件工程(2017年11期)2018-01-05 08:06:09
    InsunKBQA:一個基于知識庫的問答系統(tǒng)
    EXCEL表格計算判斷矩陣近似特征向量在AHP法檢驗上的應(yīng)用
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    基于貝葉斯分類器的中文文本分類
    亚洲精品自拍成人| av卡一久久| 日本黄色日本黄色录像| 国产成人av激情在线播放| 三上悠亚av全集在线观看| 看免费av毛片| 国产男女超爽视频在线观看| 成年人免费黄色播放视频| 午夜av观看不卡| 国产日韩欧美视频二区| 亚洲美女黄色视频免费看| 国产一区有黄有色的免费视频| 国产精品一区二区在线不卡| 午夜福利在线免费观看网站| 嫩草影院入口| videosex国产| 久久午夜福利片| 久久久精品国产亚洲av高清涩受| 纯流量卡能插随身wifi吗| 国产精品欧美亚洲77777| 黑丝袜美女国产一区| 亚洲欧美精品综合一区二区三区 | 欧美xxⅹ黑人| 狂野欧美激情性bbbbbb| 日韩av不卡免费在线播放| 亚洲国产成人一精品久久久| 国产人伦9x9x在线观看 | 午夜激情久久久久久久| 久久久久国产网址| 精品少妇内射三级| 亚洲久久久国产精品| 色播在线永久视频| 国产国语露脸激情在线看| 狂野欧美激情性bbbbbb| 久久久精品免费免费高清| 最新中文字幕久久久久| 18禁观看日本| 国产男人的电影天堂91| 高清视频免费观看一区二区| 我的亚洲天堂| 人人妻人人澡人人爽人人夜夜| 国产免费又黄又爽又色| 国精品久久久久久国模美| 午夜日本视频在线| 天堂俺去俺来也www色官网| 自拍欧美九色日韩亚洲蝌蚪91| 午夜福利,免费看| 水蜜桃什么品种好| 亚洲国产精品一区二区三区在线| 国产乱来视频区| 七月丁香在线播放| 亚洲中文av在线| 蜜桃国产av成人99| 亚洲欧洲精品一区二区精品久久久 | 日韩视频在线欧美| 成人漫画全彩无遮挡| 熟女av电影| 一级毛片 在线播放| 成年动漫av网址| 免费观看无遮挡的男女| 天天躁夜夜躁狠狠久久av| 久久精品国产a三级三级三级| 久久影院123| 欧美激情极品国产一区二区三区| 色婷婷久久久亚洲欧美| 男人操女人黄网站| 巨乳人妻的诱惑在线观看| 人人妻人人添人人爽欧美一区卜| 电影成人av| 欧美日韩精品网址| 久久久精品国产亚洲av高清涩受| 大陆偷拍与自拍| 老女人水多毛片| 久久综合国产亚洲精品| 91aial.com中文字幕在线观看| 在线天堂中文资源库| av一本久久久久| 国产有黄有色有爽视频| 国产一区二区激情短视频 | 国产精品国产三级专区第一集| 极品少妇高潮喷水抽搐| 午夜福利一区二区在线看| 蜜桃国产av成人99| 成人二区视频| 国产成人欧美| 亚洲情色 制服丝袜| 伊人亚洲综合成人网| a级毛片在线看网站| 国产精品无大码| 99热网站在线观看| 婷婷色麻豆天堂久久| 国产成人精品久久久久久| 精品一区二区三卡| 国产日韩欧美亚洲二区| 大陆偷拍与自拍| 日本黄色日本黄色录像| 人妻系列 视频| 制服人妻中文乱码| 亚洲精品日韩在线中文字幕| 欧美精品高潮呻吟av久久| 好男人视频免费观看在线| 日韩一本色道免费dvd| 麻豆乱淫一区二区| 日本免费在线观看一区| 中国国产av一级| 岛国毛片在线播放| 亚洲婷婷狠狠爱综合网| 黄色配什么色好看| 国产亚洲av片在线观看秒播厂| 校园人妻丝袜中文字幕| 免费女性裸体啪啪无遮挡网站| 97在线人人人人妻| 毛片一级片免费看久久久久| 最黄视频免费看| 成人亚洲精品一区在线观看| 亚洲欧美精品综合一区二区三区 | 久久久久人妻精品一区果冻| 欧美日韩综合久久久久久| 国产深夜福利视频在线观看| 国产1区2区3区精品| 在线观看免费日韩欧美大片| 人人妻人人添人人爽欧美一区卜| 9热在线视频观看99| 有码 亚洲区| 韩国av在线不卡| 老鸭窝网址在线观看| 亚洲av欧美aⅴ国产| 制服诱惑二区| 久久青草综合色| 色94色欧美一区二区| 日韩中字成人| 亚洲一级一片aⅴ在线观看| 超碰成人久久| 人人妻人人澡人人爽人人夜夜| 亚洲色图 男人天堂 中文字幕| 中文字幕最新亚洲高清| 欧美成人精品欧美一级黄| 女人精品久久久久毛片| 国产精品熟女久久久久浪| 国产熟女欧美一区二区| 成人国语在线视频| 亚洲经典国产精华液单| 三上悠亚av全集在线观看| 免费在线观看视频国产中文字幕亚洲 | 精品人妻偷拍中文字幕| 婷婷成人精品国产| 亚洲精品日本国产第一区| www.精华液| 天天操日日干夜夜撸| av有码第一页| 久久久欧美国产精品| 熟妇人妻不卡中文字幕| 男女国产视频网站| 国产精品偷伦视频观看了| 老女人水多毛片| 九色亚洲精品在线播放| 丰满乱子伦码专区| 高清黄色对白视频在线免费看| 天天影视国产精品| www.精华液| 亚洲熟女精品中文字幕| 看免费成人av毛片| 精品99又大又爽又粗少妇毛片| 男男h啪啪无遮挡| 精品福利永久在线观看| 成年女人在线观看亚洲视频| 国产精品国产三级国产专区5o| 亚洲成国产人片在线观看| 国产熟女欧美一区二区| 国产精品不卡视频一区二区| 成人二区视频| 91在线精品国自产拍蜜月| 国产亚洲午夜精品一区二区久久| 久久99精品国语久久久| 最近中文字幕2019免费版| 国产成人一区二区在线| 自线自在国产av| 午夜免费鲁丝| 在线观看三级黄色| 黄片无遮挡物在线观看| 欧美激情极品国产一区二区三区| 国产亚洲精品第一综合不卡| 亚洲av综合色区一区| 一本久久精品| 男女边吃奶边做爰视频| 成人手机av| 在线看a的网站| a级片在线免费高清观看视频| 啦啦啦啦在线视频资源| 天天躁日日躁夜夜躁夜夜| 午夜av观看不卡| 久久精品人人爽人人爽视色| tube8黄色片| 久久久久网色| 黑人猛操日本美女一级片| 欧美精品人与动牲交sv欧美| 在线亚洲精品国产二区图片欧美| 在线观看美女被高潮喷水网站| 2022亚洲国产成人精品| 亚洲av欧美aⅴ国产| 国产在线视频一区二区| 视频区图区小说| 欧美激情 高清一区二区三区| 在线观看免费高清a一片| 国产国语露脸激情在线看| 亚洲人成网站在线观看播放| 国产精品久久久久成人av| 国产精品人妻久久久影院| 最近中文字幕2019免费版| 黄片小视频在线播放| 欧美精品高潮呻吟av久久| 亚洲国产欧美日韩在线播放| 91精品伊人久久大香线蕉| 成人影院久久| 制服诱惑二区| 精品人妻熟女毛片av久久网站| 精品少妇内射三级| 日本午夜av视频| 国产有黄有色有爽视频| 午夜福利,免费看| 建设人人有责人人尽责人人享有的| 男男h啪啪无遮挡| 哪个播放器可以免费观看大片| 18禁国产床啪视频网站| 女性被躁到高潮视频| 国产片内射在线| 欧美日韩视频精品一区| 欧美老熟妇乱子伦牲交| 少妇精品久久久久久久| av在线播放精品| 五月伊人婷婷丁香| 久久国产精品大桥未久av| 日韩视频在线欧美| 麻豆乱淫一区二区| 国产成人av激情在线播放| 久久久久久久久久人人人人人人| 日日啪夜夜爽| 国产 精品1| 一级毛片我不卡| 亚洲国产精品一区三区| 青草久久国产| 大陆偷拍与自拍| 18+在线观看网站| 亚洲欧美一区二区三区国产| 久久久精品国产亚洲av高清涩受| 久久亚洲国产成人精品v| 建设人人有责人人尽责人人享有的| 啦啦啦中文免费视频观看日本| 成人手机av| 五月开心婷婷网| 国产乱人偷精品视频| 热re99久久国产66热| 亚洲av.av天堂| 你懂的网址亚洲精品在线观看| 国产日韩欧美在线精品| 精品少妇一区二区三区视频日本电影 | 久久精品国产鲁丝片午夜精品| 精品久久久精品久久久| 国产精品欧美亚洲77777| 老鸭窝网址在线观看| 久久久久久久久久久免费av| 精品视频人人做人人爽| 午夜福利在线观看免费完整高清在| 美国免费a级毛片| av又黄又爽大尺度在线免费看| 久久精品国产自在天天线| 精品人妻偷拍中文字幕| 亚洲,欧美,日韩| 日本黄色日本黄色录像| 永久网站在线| 久久免费观看电影| 高清黄色对白视频在线免费看| 久久久久久久久久人人人人人人| 美女午夜性视频免费| 国产黄色视频一区二区在线观看| 日韩中文字幕视频在线看片| 一区在线观看完整版| 女性生殖器流出的白浆| 三上悠亚av全集在线观看| 国产精品久久久久成人av| 天美传媒精品一区二区| 国产激情久久老熟女| 如日韩欧美国产精品一区二区三区| 亚洲成人一二三区av| √禁漫天堂资源中文www| 91国产中文字幕| 日韩熟女老妇一区二区性免费视频| 国产亚洲精品第一综合不卡| 亚洲精品成人av观看孕妇| 日本爱情动作片www.在线观看| 亚洲伊人久久精品综合| 青草久久国产| 国产熟女欧美一区二区| 亚洲国产日韩一区二区| 伊人久久国产一区二区| 亚洲欧美清纯卡通| 丰满少妇做爰视频| 亚洲成人手机| 日日摸夜夜添夜夜爱| 看免费av毛片| 亚洲婷婷狠狠爱综合网| 国产成人免费无遮挡视频| 国产精品三级大全| 日韩中字成人| 久久久久久久久久久免费av| 国产日韩欧美亚洲二区| 国产精品久久久久久久久免| 国产成人免费无遮挡视频| 天美传媒精品一区二区| 观看美女的网站| 99热网站在线观看| 欧美日韩精品成人综合77777| 亚洲色图 男人天堂 中文字幕| 亚洲av电影在线进入| 两个人免费观看高清视频| 久久久久久久大尺度免费视频| 九色亚洲精品在线播放| 性色avwww在线观看| 两个人看的免费小视频| 夫妻午夜视频| 女人精品久久久久毛片| 国产成人精品在线电影| 国产亚洲av片在线观看秒播厂| 99热全是精品| 午夜老司机福利剧场| 亚洲,一卡二卡三卡| 久久综合国产亚洲精品| 亚洲成国产人片在线观看| 又粗又硬又长又爽又黄的视频| 日本wwww免费看| 美女脱内裤让男人舔精品视频| 亚洲一区二区三区欧美精品| 亚洲欧美清纯卡通| 人人澡人人妻人| 国产男女内射视频| 各种免费的搞黄视频| 亚洲第一区二区三区不卡| 欧美变态另类bdsm刘玥| 在线观看一区二区三区激情| 三上悠亚av全集在线观看| 国产无遮挡羞羞视频在线观看| 如何舔出高潮| 久久久久久免费高清国产稀缺| 美女视频免费永久观看网站| a 毛片基地| 一边摸一边做爽爽视频免费| 午夜福利影视在线免费观看| 成人国产av品久久久| 天美传媒精品一区二区| 免费观看av网站的网址| 亚洲视频免费观看视频| 青春草国产在线视频| 777米奇影视久久| 人人妻人人澡人人爽人人夜夜| 夫妻午夜视频| 亚洲美女黄色视频免费看| 如日韩欧美国产精品一区二区三区| 免费看不卡的av| 一个人免费看片子| 考比视频在线观看| 亚洲国产精品国产精品| 晚上一个人看的免费电影| 久久久精品区二区三区| 人妻系列 视频| 欧美日韩精品网址| 欧美日韩精品网址| 中国三级夫妇交换| 99热国产这里只有精品6| 美女视频免费永久观看网站| 在线观看免费日韩欧美大片| 交换朋友夫妻互换小说| 91精品三级在线观看| 久久人人97超碰香蕉20202| 欧美 日韩 精品 国产| a 毛片基地| av不卡在线播放| 国产精品女同一区二区软件| 91久久精品国产一区二区三区| 欧美老熟妇乱子伦牲交| 亚洲国产成人一精品久久久| 中文精品一卡2卡3卡4更新| 亚洲一区二区三区欧美精品| 街头女战士在线观看网站| 国产成人精品在线电影| 黑丝袜美女国产一区| 日本-黄色视频高清免费观看| 一级毛片黄色毛片免费观看视频| 99香蕉大伊视频| 看免费av毛片| 高清在线视频一区二区三区| 熟女av电影| 欧美日韩精品成人综合77777| 人人澡人人妻人| 中文字幕精品免费在线观看视频| 毛片一级片免费看久久久久| 大片免费播放器 马上看| 国产色婷婷99| 男人添女人高潮全过程视频| 涩涩av久久男人的天堂| 成年av动漫网址| 18+在线观看网站| 日韩,欧美,国产一区二区三区| 老汉色av国产亚洲站长工具| 国产成人精品无人区| 国产探花极品一区二区| 久久久国产欧美日韩av| 久久毛片免费看一区二区三区| www.av在线官网国产| 大香蕉久久成人网| 人人澡人人妻人| 国产精品久久久久久精品电影小说| 超碰97精品在线观看| 乱人伦中国视频| 久久久久久久久免费视频了| 亚洲一区中文字幕在线| 秋霞伦理黄片| 午夜福利网站1000一区二区三区| 美女xxoo啪啪120秒动态图| 亚洲国产欧美日韩在线播放| tube8黄色片| 日韩制服丝袜自拍偷拍| 国产精品不卡视频一区二区| 国产成人精品婷婷| 国产极品天堂在线| 欧美日韩成人在线一区二区| 亚洲熟女精品中文字幕| 人人妻人人澡人人看| 亚洲国产av影院在线观看| 成人18禁高潮啪啪吃奶动态图| xxx大片免费视频| 国产免费一区二区三区四区乱码| 日日摸夜夜添夜夜爱| av女优亚洲男人天堂| 久热这里只有精品99| 大香蕉久久成人网| 观看美女的网站| 18禁动态无遮挡网站| 亚洲成人av在线免费| 搡女人真爽免费视频火全软件| 免费观看性生交大片5| 丰满饥渴人妻一区二区三| 久久久久久久亚洲中文字幕| av有码第一页| 亚洲成色77777| 欧美激情高清一区二区三区 | 久久久国产一区二区| 丝袜人妻中文字幕| 国产成人免费观看mmmm| 青春草亚洲视频在线观看| 国产片特级美女逼逼视频| 午夜福利视频在线观看免费| 美女脱内裤让男人舔精品视频| 成人手机av| 国产成人91sexporn| 一区二区三区四区激情视频| 侵犯人妻中文字幕一二三四区| 久久久久久久国产电影| 久久久久久久久久久免费av| 久久久a久久爽久久v久久| 国产xxxxx性猛交| 免费看不卡的av| 日韩熟女老妇一区二区性免费视频| 99国产精品免费福利视频| 99国产精品免费福利视频| 大话2 男鬼变身卡| 午夜av观看不卡| 精品国产乱码久久久久久小说| 免费高清在线观看视频在线观看| 日韩制服骚丝袜av| 国产麻豆69| 精品一区二区三区四区五区乱码 | 在线观看免费高清a一片| 日本欧美国产在线视频| 水蜜桃什么品种好| 99久久精品国产国产毛片| 日日啪夜夜爽| 欧美日本中文国产一区发布| 看免费成人av毛片| 国产成人精品久久久久久| 亚洲伊人久久精品综合| av国产精品久久久久影院| 在线免费观看不下载黄p国产| 日本91视频免费播放| 大香蕉久久网| 制服诱惑二区| 黑人欧美特级aaaaaa片| 我要看黄色一级片免费的| 国产精品免费视频内射| 国产精品 欧美亚洲| 日韩精品有码人妻一区| 搡女人真爽免费视频火全软件| 人人妻人人澡人人看| √禁漫天堂资源中文www| 人人妻人人添人人爽欧美一区卜| 黄色怎么调成土黄色| 午夜日韩欧美国产| 久久久久久久大尺度免费视频| 伊人久久大香线蕉亚洲五| 久久亚洲国产成人精品v| 国产精品无大码| 久久久欧美国产精品| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 自线自在国产av| 久久人人97超碰香蕉20202| 侵犯人妻中文字幕一二三四区| 国产精品99久久99久久久不卡 | 久热久热在线精品观看| 久久久久久人妻| 国产在线视频一区二区| 欧美日韩视频精品一区| 校园人妻丝袜中文字幕| 国产欧美日韩一区二区三区在线| 国产在线视频一区二区| 欧美bdsm另类| 精品少妇内射三级| tube8黄色片| 满18在线观看网站| 国产亚洲欧美精品永久| 欧美精品亚洲一区二区| 国产精品国产av在线观看| 永久免费av网站大全| 国产精品三级大全| 亚洲欧美精品综合一区二区三区 | 岛国毛片在线播放| 成人国产麻豆网| 人妻人人澡人人爽人人| 少妇的逼水好多| 男女边摸边吃奶| 亚洲 欧美一区二区三区| av线在线观看网站| 黄频高清免费视频| 中文字幕色久视频| 国产日韩欧美视频二区| 国产免费现黄频在线看| 亚洲国产欧美在线一区| 亚洲欧美一区二区三区国产| 国产在线视频一区二区| 久久久久视频综合| 日韩 亚洲 欧美在线| 欧美变态另类bdsm刘玥| 午夜av观看不卡| 午夜91福利影院| h视频一区二区三区| 亚洲色图 男人天堂 中文字幕| 黄色毛片三级朝国网站| 伊人久久国产一区二区| 天天操日日干夜夜撸| 久久综合国产亚洲精品| 亚洲精品中文字幕在线视频| 免费高清在线观看日韩| 女人精品久久久久毛片| 黄色视频在线播放观看不卡| 亚洲第一青青草原| 人人妻人人澡人人看| 婷婷色综合www| 国产精品不卡视频一区二区| 男人操女人黄网站| av卡一久久| 久久婷婷青草| 国产熟女午夜一区二区三区| av在线播放精品| 欧美亚洲日本最大视频资源| 久久精品人人爽人人爽视色| 亚洲欧洲日产国产| 欧美 日韩 精品 国产| 午夜福利在线观看免费完整高清在| 午夜久久久在线观看| 久久久久久久国产电影| 中文字幕人妻丝袜制服| 青青草视频在线视频观看| 伊人久久大香线蕉亚洲五| 精品人妻熟女毛片av久久网站| 街头女战士在线观看网站| 性色avwww在线观看| 久久婷婷青草| 日本午夜av视频| av电影中文网址| 99re6热这里在线精品视频| 日韩制服骚丝袜av| 国产精品国产三级国产专区5o| 国产av精品麻豆| 午夜激情久久久久久久| 亚洲伊人色综图| 亚洲激情五月婷婷啪啪| 王馨瑶露胸无遮挡在线观看| 久久久久久久亚洲中文字幕| 国产一区二区三区av在线| 亚洲欧美清纯卡通| 日韩在线高清观看一区二区三区| 99热网站在线观看| 亚洲av综合色区一区| 国产女主播在线喷水免费视频网站| 看免费av毛片| 在线观看免费视频网站a站| 日韩大片免费观看网站| 啦啦啦啦在线视频资源| a级毛片在线看网站| 色婷婷久久久亚洲欧美| 在线天堂最新版资源| 午夜日韩欧美国产| 成年人免费黄色播放视频| 国产一区二区 视频在线| 国产成人午夜福利电影在线观看| 中文字幕最新亚洲高清| 在线观看免费视频网站a站| 中国三级夫妇交换| 老熟女久久久| 国产精品久久久久久精品古装| 老鸭窝网址在线观看| 日韩免费高清中文字幕av| 亚洲成人av在线免费| 两个人看的免费小视频| 欧美+日韩+精品| 最近中文字幕高清免费大全6| 国产免费现黄频在线看|