• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于平滑采樣和改進損失的不平衡文本分類

    2023-12-10 19:29:18梁健力商豪
    關(guān)鍵詞:文本分類

    梁健力 商豪

    [收稿日期]20210923

    [第一作者]梁健力(1996-),男,廣東佛山人,湖北工業(yè)大學(xué)碩士研究生,研究方向為數(shù)據(jù)挖掘

    [通信作者]商豪(1982-),女,湖北羅田人,湖北工業(yè)大學(xué)副教授,研究方向為隨機分析與算法

    [文章編號]1003-4684(2023)02-0033-07

    [摘要]在不平衡數(shù)據(jù)下,文本分類模型容易把樣本數(shù)量較少的類別錯分成數(shù)量較多的類別。在采樣層面上提出一種平滑采樣方法,在損失函數(shù)層面上根據(jù)不平衡分布改進交叉熵損失和標簽平滑。復(fù)旦文本數(shù)據(jù)集上的實驗表明,每種層面的改進都較基準模型有一定提高。當(dāng)結(jié)合使用采樣和損失函數(shù)的改進時,TextCNN、BiLSTM+Attention、TextRCNN和HAN模型在宏平均F1值上分別提高4.17%、5.13%、5.06%和6.21%,在G-mean上分別提高6.56%、3.03%、3.92%和5.32%,較好解決了不平衡數(shù)據(jù)下文本分類任務(wù)。

    [關(guān)鍵詞]文本分類; 不平衡比例; 平滑采樣; 損失函數(shù)

    [中圖分類號]TP391? [文獻標識碼]A

    文本分類是自然語言處理領(lǐng)域中一項基礎(chǔ)又重要的任務(wù),可用于情感分析、新聞分類和意圖識別等應(yīng)用場景,也可以為搜索、排序等大型的復(fù)雜系統(tǒng)提供技術(shù)支持。從傳統(tǒng)的手工特征結(jié)合分類器[1-2]的機器學(xué)習(xí)時代,再到使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)[3-5]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)[6]和大規(guī)模預(yù)訓(xùn)練語言模型(Pretrained Language Model)[7-8]對數(shù)據(jù)進行自動學(xué)習(xí)的深度學(xué)習(xí)時代,模型不斷被創(chuàng)新和優(yōu)化,文本分類效果得到了飛躍性的突破。例如,TextCNN[6]汲取N元語法(n-gram)[9]的思想,使用不同大小的卷積核來捕捉句子中的局部信息,取得了當(dāng)時文本分類最好的結(jié)果。TextRCNN[10]在雙向長短時記憶網(wǎng)絡(luò)(BiLSTM)的基礎(chǔ)上,使用1×1卷積核在通道維度上進行卷積運算,并通過時序全局最大池化獲取重要特征。帶注意力機制的雙向長短時記憶網(wǎng)絡(luò)(BiLSTM-Attention)[11]在充分利用RNNs的時序建模優(yōu)良性的同時,使用長短時記憶網(wǎng)絡(luò)(LSTM)和注意力機制來緩解梯度消失的問題,進一步提升模型的效果。HAN[12]模型利用注意力機制,從單詞層面和句子層面對文檔進行分類,從而捕捉句子中的重要詞匯以及文檔中的重要句子,獲取較好的分類效果。

    然而,文本分類性能的提升與訓(xùn)練數(shù)據(jù)的質(zhì)量、規(guī)模以及類別平衡性有著一定的關(guān)系。當(dāng)出現(xiàn)數(shù)據(jù)標簽不平衡時,由于每個訓(xùn)練樣本對目標函數(shù)的貢獻均等,模型在學(xué)習(xí)過程中會主動偏向樣本數(shù)量較多的類別標簽。一方面相當(dāng)于模型對多數(shù)類別有著更大的權(quán)重,另一方面也意味著模型對多數(shù)類別過擬合。但測試階段所采用的評價指標對多數(shù)類別與少數(shù)類別都同等看待,最終導(dǎo)致在類別不平衡的場景下,訓(xùn)練結(jié)果與實際的測試結(jié)果相差甚遠。

    由于現(xiàn)實收集的數(shù)據(jù)基本都存在類別不平衡的現(xiàn)象,需要進一步研究在類別不平衡場景下的文本分類。過去機器學(xué)習(xí)和深度學(xué)習(xí)時代,主要通過3種方式來處理類別不平衡的問題,即對原始數(shù)據(jù)進行重抽樣[13-16]、修改損失函數(shù)[17-18]以及采用集成學(xué)習(xí)算法[19]。在采樣方法上,本文利用數(shù)據(jù)的不平衡比例,基于指數(shù)平滑的思想,提出了一種降低數(shù)據(jù)不平衡度的平滑重抽樣方法;在損失函數(shù)上,以不平衡分布來改進標簽平滑以及交叉熵損失,提出了一種結(jié)合不平衡分布和標簽平滑的交叉熵損失函數(shù)以提升文本分類的效果。同時結(jié)合采樣方法和在損失函數(shù)上的改進,深度學(xué)習(xí)模型對不平衡數(shù)據(jù)的分類能力得到進一步提升。

    1??? 方法設(shè)計

    1.1??? 采樣方法

    在過去,無論是機器學(xué)習(xí)中的經(jīng)典采樣方法,還是深度學(xué)習(xí)中的數(shù)據(jù)增強方法,對不平衡數(shù)據(jù)采樣后是否配平并沒有統(tǒng)一的定論。有的學(xué)者采用完全配平的方式來完成樣本的重抽樣,有的則認為這種配平方式可能會損害最終的分類效果。所以,在采樣后保持多大的不平衡比例仍然是一個需要深入研究的問題。但總體來看,增加數(shù)據(jù)量、降低數(shù)據(jù)的不平衡度對文本分類效果有一定增益。

    指數(shù)平滑多用于時間序列,其是對歷史觀測值按時間進行加權(quán)平均作為當(dāng)前時間的預(yù)測值。雖然訓(xùn)練數(shù)據(jù)的不平衡比例序列和時間并沒有關(guān)聯(lián),但由于指數(shù)平滑具有一定的平滑數(shù)據(jù)功能,能夠在降低不平衡比例的同時,保證平滑后的類別不平衡度與平滑前有相似的分布。本文提出的平滑采樣方法的定義如下:

    假設(shè)原始數(shù)據(jù)有k個類別,記為c1,c2,…,ck。記#ci為第i個類別的樣本數(shù)量,其中i取1,2,…,k,可定義各類別的不平衡比例如下:

    θi=#cimin(#c1,#c2,…,#ck)

    對于k個類別可得到長度為k的不平衡序列{θt}kt=1,將該序列從小到大排序得到有序的不平衡序列{θ′t}kt=1,根據(jù)指數(shù)平滑思想計算不平衡序列的平滑值,其中t取1,2,…,k:

    vt=0,t=0βvt-1+(1-β)θ′t,t≥1

    修正平滑值,其中t取1,2,…,k:

    v′t=vt1-βt

    根據(jù)修正后的平滑值與原始的不平衡比例,可計算各類別中欠采樣(式(1))與過采樣(式(2))的比例,其中minv′tθ′tkt=1是指k個欠采樣比例的最小值,且t取1,2,…,k:

    dt=v′tθ′t(1)

    ot=v′tθ′t/minv′tθ′tkt=1(2)

    由于式(2)并不能保證過采樣比例大于1,因此對過采樣比例ot進行修正,使得修正后的過采樣比例恒大于1。

    o′t=ot+log1ot

    1.2??? 損失函數(shù)

    在深度學(xué)習(xí)模型訓(xùn)練中,由于需要使用損失函數(shù)根據(jù)正向傳播的結(jié)果計算出誤差,再進行反向傳播實現(xiàn)梯度更新,因此模型的效果往往跟選用何種損失函數(shù)有一定關(guān)系,好的損失函數(shù)可能會帶來性能上的提升。在文本分類問題上,一般采用交叉熵損失,其具體定義如下:

    loss=-1N∑Nn=1∑kc=1y(n)clog(n)c(3)

    假定訓(xùn)練數(shù)據(jù)中有k個類別,一個批的樣本數(shù)量為N,記類別c的獨熱編碼向量為yhot,其具體形式為[I(1=c),I(2=c),…,I(k=c)]T。使用y(n)c來代表批中第n個樣本是否屬于第c個類別,其中y(n)c∈{0,1}。而(n)c表示該樣本屬于第c個類別的預(yù)測概率。

    由于交叉熵損失對多數(shù)類樣本和少數(shù)類樣本的錯誤同等看待,為了使模型在訓(xùn)練過程中更加關(guān)注少數(shù)類別,本文根據(jù)訓(xùn)練數(shù)據(jù)的不平衡分布對交叉熵損失進行改進,記原始數(shù)據(jù)或采樣數(shù)據(jù)的類別不平衡比例為{θc}kc=1,對于改進后的帶不平衡分布的交叉熵損失

    weight_loss=-1N∑Nn=1∑kc=11θcy(n)clog(n)c

    此外,為了防止模型在訓(xùn)練過程中對標簽的預(yù)測過于自信,本文還對損失函數(shù)引入標簽平滑[20]的正則化方式。其結(jié)合均勻分布的思想來修改傳統(tǒng)的獨熱編碼向量,可以減少類內(nèi)距離,增加類間距離,從而提升模型的泛化能力[21]。記α為平滑值,標簽平滑的具體形式為:

    y(i)smooth=1-α,i=targetα/(k-1),i≠target(4)

    但在不平衡數(shù)據(jù)中,各類別標簽的分布并不均勻,因此本文使用數(shù)據(jù)不平衡比例對標簽平滑進行改進。首先利用原始的不平衡比例序列{θi}ki=1求出用于標簽平滑的不平衡比例序列θ(i)smoothki=1,其具體形式如下:

    θ(i)smooth=0,i=target1θi,i≠target

    對不平衡序列θ(i)smoothki=1進行歸一化處理,可得到改進后的標簽平滑向量y′smooth,其元素值

    y′(i)smooth=1-α,i=targetα·softmax(θsmooth)(i),i≠target(4)

    結(jié)合式(3)和式(4),可得到用帶不平衡分布的標簽平滑來改進交叉熵損失的形式:

    smooth_loss=1N∑Nn=1∑kc=1y(n)smooth,clogc(n)

    最后將帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失加權(quán)平均,得到本文最終提出的損失函數(shù),其具體形式如下:

    our_loss=βweight_loss+(1-β)smooth_loss

    其中β是需要調(diào)節(jié)的超參數(shù)。當(dāng)β等于1時,該損失函數(shù)退化為帶不平衡分布的交叉熵損失;當(dāng)β等于0時,該損失函數(shù)退化為帶改進標簽平滑的交叉熵損失。

    2??? 實驗設(shè)置

    2.1??? 實驗數(shù)據(jù)集

    實驗數(shù)據(jù)集主要采用復(fù)旦大學(xué)的文本分類語料庫,其包含9804個訓(xùn)練文檔與9833個測試文檔,并涵蓋了20個主題類別。其中,原始數(shù)據(jù)中各類別的樣本數(shù)量和文檔長度差異較大,數(shù)量不平衡比例高達64∶1。此外,數(shù)據(jù)集中有大量的重復(fù)數(shù)據(jù),且部分文檔并沒有包含實質(zhì)性的內(nèi)容。因此,本文先對原始數(shù)據(jù)集進行數(shù)據(jù)清洗,并提取文檔中的正文部分進行分析。清洗后的訓(xùn)練集和測試集包含8184和8197個文檔,訓(xùn)練數(shù)據(jù)的不平衡比例降為54.84∶1。訓(xùn)練集清洗前后的數(shù)量和文檔字符長度分布如圖1所示。

    (a)原始訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (b)清洗訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (c)原始訓(xùn)練數(shù)據(jù)集的字符長度分布

    (d)清洗訓(xùn)練數(shù)據(jù)集的字符長度分布圖 1??? 訓(xùn)練集清洗前后數(shù)量和字符長度分布

    此外,在模型訓(xùn)練和測試前,還需要對文本進行分詞和去除停用詞。本文使用jieba分詞工具對清洗后的訓(xùn)練集和測試集進行分詞,并引入停詞表對其進行去停詞處理。

    2.2??? 評價指標

    準確率(accuracy)是衡量模型好壞的標準之一。但當(dāng)數(shù)據(jù)是類別不平衡或者不同類別的錯誤所造成的后果不同的時候,準確率這一指標實際并不適用。通常來說,模型的分類性能應(yīng)綜合使用查全率和查準率進行度量。此外,也有學(xué)者建議使用G-mean來度量模型在不平衡數(shù)據(jù)中的表現(xiàn)。因此,本文將把宏F1和G-mean作為主要的性能評價指標,多分類情況下的性能指標定義如下:

    假設(shè)數(shù)據(jù)集中有k個類別,Ck×k為分類的混淆矩陣,Cij為該矩陣中的第i行第j列的元素,其中i,j∈{1,2,…,k}。記Ci.=[Ci1,Ci2,…,Cik]T,C.j=[C1j,C2j,…,Ckj]T,可計算各類別中真正例(TPv)、假正例(FPv)、真反例(TNv)、假反例(FNv)向量:

    TPv=diag(Ck×k)=[C11,C22,…,Ckk]T

    FPv=∑ki=1Ci.-diag(Ck×k)

    FNv=∑kj=1C.j-diag(Ck×k)

    TNv=[∑i∑jCk×k,…,∑i∑jCk×k]k×1-(TPv+FPv+FNv)

    根據(jù)TPv、FPv、TNv和FNv可計算宏查準率(macro-Pv)、宏查全率(macro-Rv)和宏特異度(macro-Sv)向量為:

    macro-Pv=TPvTPv+FPv

    macro-Rv=TPvTPv+FNv

    macro-Sv=TNvTNv+FPv

    根據(jù)向量macro-Pv、macro-Rv和macro-Sv可計算得到本文使用的宏F1和G-mean:

    macro-F1=1k∑2×macro-Pv⊙macro-Rvmacro-Pv+macro-Rv

    G-mean=1k∑macro-Rv⊙macro-Sv

    2.3??? 文本分類模型

    為了呈現(xiàn)改進方法的效果,本文將使用BiLSTM-Attention、TextCNN、TextRCNN和HAN等幾個較先進的深度學(xué)習(xí)模型來進行實驗。

    1)設(shè)置BiLSTM-Attention模型的輸入序列長度、詞向量維度、隱藏層單元數(shù)和隱藏層數(shù)量分別為2000、200、200和2。

    2)對于TextCNN模型,本文使用窗寬為3、4、5的卷積核來提取特征,每組不同卷積核的輸出維度都為200。此外,設(shè)置模型輸入的序列長度為3000,詞向量維度為200,模型的輸入維度為400。其中,模型的輸入由兩組序列詞向量合并而成,一組為固定的詞向量,一組隨著模型的訓(xùn)練而更新。

    3)本文設(shè)置TextRCNN模型的輸入序列長度為3000,詞向量維度為200,BiLSTM模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為100和1,卷積模塊的輸出維度為300。其中將BiLSTM模塊的輸出和原始序列的詞向量在通道維度上進行連接,作為卷積模塊的輸入。

    4)本文設(shè)置HAN模型的單個文檔中的最大句子數(shù)和句子中的最大單詞數(shù)分別為20、80,雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)(BiGRU)模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為200和1。

    由于復(fù)旦文本數(shù)據(jù)集中的文檔字符長度不一,因此,本文對較短的文檔進行補0,對較長的文檔從中間進行截取。在將文本轉(zhuǎn)化成詞向量的過程中,采用預(yù)訓(xùn)練的騰訊詞向量,其詞向量維度為200。在訓(xùn)練過程中,采用學(xué)習(xí)率衰減的方法,每更新1000步時進行一次衰減。此外,各種模型的輸出節(jié)點數(shù)都為20,Dropout的概率采用0.5,激活函數(shù)皆采用ReLU。

    3??? 實驗結(jié)果和分析

    為了單獨呈現(xiàn)采樣方法的效果,本文還將利用BOW、TFIDF、LDA和Fasttext來進行特征提取,并在經(jīng)過不同采樣處理的數(shù)據(jù)集上建模。在采樣方式上,本文分別進行隨機欠采樣、隨機過采樣和回譯過采樣三種實驗;在采樣比例上,本文采用0.44、0.74、0.86、0.9、0.96和0.98等6種采樣平滑值,并與原始比例以及完全配平的數(shù)據(jù)集實驗結(jié)果進行對照。為了避免其他數(shù)據(jù)增強方法對實驗結(jié)果的干擾,表1僅展示9種模型在不同隨機過采樣比例上的具體表現(xiàn),其余采樣方式的實驗結(jié)果如圖2所示。其中,9種模型對比系統(tǒng)如下。

    1)BOW:使用詞袋模型表示文本,特征維度為20 000,并用邏輯回歸(LR)和隨機森林(RF)對文本進行分類。

    2)TFIDF:使用詞頻逆詞頻表示文本,特征維度為20 000,并用支持向量機(SVM)和極端梯度提升樹(Xgboost)對進行文本分類。

    3)LDA:使用概率主題模型將文本映射到低維空間向量,再用RF和SVM進行分類,其中主題個數(shù)為130。

    4)Fasttext:先采用有監(jiān)督方式直接進行文本分類,再使用無監(jiān)督的方法生成文本詞向量,并用LR和SVM進行分類。

    由表1可以看出,9種模型系統(tǒng)的最佳結(jié)果皆在非原始比例數(shù)據(jù)集上取得。其中,完全配平的采樣方式更傾向于在BOW、TFIDF等稀疏的向量表示空間上取得更好的效果,但在LDA、Fasttext等稠密的低維空間上的表現(xiàn)甚至比原始比例數(shù)據(jù)集的效果差。這表明雖然不平衡比例的降低和樣本數(shù)量的增加會對模型效果有一定增益,但完全配平的方式會極大改變原始數(shù)據(jù)分布,可能會導(dǎo)致模型性能下降。此外,隨著采樣比例的調(diào)整,本文提出的采樣方法在9種模型系統(tǒng)上均取得比原始比例更好的效果。在BOW、LDA和Fasttext三種模型系統(tǒng)中,對比采樣平滑值0.74和0.98的結(jié)果,可發(fā)現(xiàn)后者都有一定的提升,但其不平衡比例從41.66下降到17.71,數(shù)據(jù)量卻基本保持不變,表明適當(dāng)降低不平衡比例可能會給模型帶來提升,尤其是在低維稠密的向量空間中。

    圖2a顯示不同采樣平滑值下各類別不平衡比例的變化情況。相比于完全配平,該采樣方式在降低不平衡比例的同時,仍保持與原始數(shù)據(jù)相似的分布。從圖2b可以看出,在絕大部分實驗?zāi)P椭?,欠采樣會極大地損害模型的性能,這是由于樣本數(shù)量的銳減使得文本中的重要信息缺失,從而導(dǎo)致分類效果的下降。而圖2c和d則表明,在過采樣時,采用回譯等其他增強方式可能會降低直接隨機復(fù)制樣本帶來的過擬合風(fēng)險,從而進一步提升分類的效果。

    圖 2??? 不同改進采樣方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了進一步說明平滑采樣方法和帶不平衡分布與標簽平滑的損失函數(shù)的有效性,本文以TextCNN為基準,開展一系列的對比工作。表2和表3分別呈現(xiàn)使用預(yù)訓(xùn)練的騰訊詞向量前后,改進的采樣方法和損失函數(shù)較基準方法的提升。其中,CE和Smooth分別表示僅使用交叉熵損失和帶標簽平滑的交叉熵損失的情況;Weight_CE和Weight_Smooth分別代表利用不平衡分布改進的交叉熵損失和標簽平滑的情況;Weight_CE_Smooth是指結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失的結(jié)果,其中超參數(shù)選取0.9;+0.98是指TextCNN模型在利用0.98采樣平滑率得到的數(shù)據(jù)集下的建模效果,其中采樣方式默認為隨機過采樣,而trans表示使用回譯的方式來進行過采樣。表3呈現(xiàn)了本文實驗的最佳效果。

    從表2和表3可以看出,無論是單獨使用本文提出的采樣方法,還是單獨使用損失函數(shù)上的改進,其在宏F1和G-mean上都較基準模型上有一定的提升。而當(dāng)結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失時,文本分類效果能夠得到進一步改善。此外,當(dāng)融合采樣方法以及損失函數(shù)的改進時,模型在宏F1上會有進一步的提升,但相比只使用損失函數(shù)改進時,G-mean會有輕微下降。

    當(dāng)未使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型分別在準確率、宏查全率、宏F1和G-mean上提升1.18%、10.12%、8.73%和7.49%,但在宏查準率上輕微損失了0.53%;當(dāng)使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型在宏查全率上提升了10.21%,在宏F1上提升了4.17%,在G-mean上提升了6.56%,但在準確率和宏查準率上分別損失了0.23%和3.95%。

    圖3a展示了在使用預(yù)訓(xùn)練詞向量的情況下,本文使用的改進方法與基準模型在20個主題類別中的宏F1值對比。可以看出,改進方法在多數(shù)類別中保持與基準模型一致的分類效果,而其區(qū)分少數(shù)類別的性能有了較大的改善,從而提升了整體的分類效果。

    (a)改進方法和基準模型在各個主題上的實驗結(jié)果

    圖3b呈現(xiàn)了在不同采樣平滑率下聯(lián)合采樣方法和損失函數(shù)改進的模型效果??梢钥闯觯褂没刈g代替簡單隨機復(fù)制的過采樣方法,可以進一步提升模型的效果。

    (b)不同采樣比例下的方法結(jié)果對比圖 3??? 聯(lián)合改進方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了表明改進方法的適用性,表4還顯示了BiLSTM+Attention、TextRCNN和HAN等3種模型在改進前后的效果對比。改進后的這3種深度學(xué)習(xí)模型都在宏F1和G-mean上有著較大的提升,且在準確率、宏查準率和宏查全率都沒有性能的損失。其中BiLSTM+Attention模型在宏F1上提升了5.31%、在G-mean上提升了3.03%;TextRCNN模型在宏F1和G-mean分別提升了5.06%和3.92%;HAN模型獲得了6.21%的宏F1和5.32%的G-mean性能提升。

    通過上述實驗結(jié)果可以看出,適當(dāng)降低不平衡比例,以及利用不平衡分布改進交叉熵損失和標簽平滑,可以提高少數(shù)類別的分類性能。此外,融合采樣方法和損失函數(shù)的改進能夠為整體的分類效果帶來進一步的提升。雖然本文的改進方法可能會犧牲部分宏查準率的性能,但其能大幅提升宏查全率,且保持準確率基本不變,從而獲得模型在宏F1和G-mean等綜合指標的改善。

    4??? 結(jié)論

    本文從采樣方法和損失函數(shù)上進行改進,并在復(fù)旦文本數(shù)據(jù)上進行驗證。實驗表明,單獨使用本文提出的平滑采樣方法、帶不平衡分布的改進交叉熵損失和改進標簽平滑時,都較基準模型有一定提升。而當(dāng)聯(lián)合使用采樣方法和損失函數(shù)的改進時,以宏F1和G-mean作為性能評判標準,其在4種深度學(xué)習(xí)模型中都取得較大的性能提高。因此,本文提出的算法可以較好地解決不平衡數(shù)據(jù)的分類問題,在大量數(shù)據(jù)中能夠更好地檢測出少數(shù)類別的數(shù)據(jù)。

    [參考文獻]

    [1]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994,161175.

    [2]SALTON G, BUCKLEY C. Term-weighting approaches in automatic text retrieval[J]. Information processing & management, 1988, 24(05):513-523.

    [3]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(08):1735-1780.

    [4]Chung J,Gulcehre C,Cho K H,et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[C].∥NIPS 2014 Workshop on Deep Learning,2014.

    [5]LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [6]KIM Y. Convolutional neural networks for sentence classification[J]. EMNLP, 2014.

    [7]VASWANI A, Shazeer N, Parmar N, et al. Attention is all you need[C].∥Advances in neural information processing systems,2017:5998-6008.

    [8]DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C].∥Proceedings of NAACL-HLT,2018.

    [9]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994:161 175.

    [10] LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [11] ZHOU P, SHI W, TIAN J, et al. Attention-based bidirectional long short-term memory networks for relation classification[C].∥Proceedings of the 54th annual meeting of the association for computational linguistics (volume 2: Short papers),2016:207-212.

    [12] YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification[C].∥Proceedings of the 2016 conference of the North American chapter of the association for computational linguistics: human language technologies,2016:1480-1489.

    [13] KUBAT M, MATWIN S. Addressing the curse of imbalanced training sets: one-sided selection[J].Icml, 1997, 97:179-186.

    [14] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16:321-357.

    [15] WEI J, ZOU K. EDA: Easy data augmentation techniques for boosting performance on text classification tasks[C].∥Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019:6382-6388.

    [16] YU A W, DOHAN D, LUONG M T, et al. QANet: Combining local convolution with global self-attention for reading comprehension[C].∥International Conference on Learning Representations,2018.

    [17] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C].∥Proceedings of the IEEE international conference on computer vision, 2017:2980-2988.

    [18] LI X, SUN X, MENG Y, et al. Dice loss for data-imbalanced NLP tasks[C].∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020:465-476.

    [19] SUN Y, KAMEL M S, Wong A K C, et al. Cost-sensitive boosting for classification of imbalanced data[J]. Pattern Recognition, 2007, 40(12):3358-3378.

    [20] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C].∥Proceedings of the IEEE conference on computer vision and pattern recognition, 2016:2818-2826.

    [21] MLLER R, KORNBLITH S, HINTON G.When doeslabelsmoothinghelp? [C].∥NeurIPS,2019.

    Unbalanced Text Classification Based on SmoothSampling and Improved Loss

    LIANG Jianli, SHANG Hao

    (School of Science, Hubei Univ. of Tech., Wuhan 430068, China)

    Abstract:When data are imbalanced, text classification models are easy to misclassify minority class to majority class. This paper proposes a smooth sampling method at the sampling level, and improves the cross entropy loss and label smoothing based on the imbalanced distribution at the loss function level. Experiments on the Fudan text corpus show that the improved method in each level outperforms the benchmark method. With the combination of the improved method in sampling level and loss function level, the TextCNN, BiLSTM+Attention, TextRCNN and HAN models can obtain 4.17%, 5.31%, 5.06%, and 6.21% macro? F1 improvement and increase 6.56%, 3.03%, 3.92%, and 5.32% on G mean respectively. The methods proposed in this paper have been verified the effectiveness on imbalanced corpora.

    Keywords: text classification; unbalanced percent; sampling; loss function

    [責(zé)任編校: 張眾]

    猜你喜歡
    文本分類
    基于樸素貝葉斯的Web文本分類及其應(yīng)用
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    基于貝葉斯分類器的中文文本分類
    基于蟻群智能算法的研究文本分類
    基于樸素貝葉斯分類的Java課程網(wǎng)絡(luò)答疑反饋系統(tǒng)
    基于K—means算法的文本分類技術(shù)研究
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    不同情境下中文文本分類模型的表現(xiàn)及選擇
    基于內(nèi)容的英語錄音教材標注研究與應(yīng)用
    多核SVM文本分類研究
    軟件(2015年5期)2015-08-22 08:02:45
    久久精品国产综合久久久| 精品国产一区二区三区久久久樱花| 黑人操中国人逼视频| 黄色毛片三级朝国网站| 亚洲精品国产色婷婷电影| 2018国产大陆天天弄谢| 国产男人的电影天堂91| 亚洲国产av影院在线观看| 国产一区二区在线观看av| 精品久久久久久电影网| 婷婷丁香在线五月| 正在播放国产对白刺激| 色视频在线一区二区三区| 亚洲精品第二区| 一区福利在线观看| 一级片免费观看大全| 亚洲国产欧美在线一区| 黄色视频在线播放观看不卡| 久热这里只有精品99| 亚洲国产精品一区二区三区在线| 国产激情久久老熟女| 99九九在线精品视频| 亚洲国产成人一精品久久久| 91成年电影在线观看| 国产欧美日韩综合在线一区二区| 亚洲av成人一区二区三| videos熟女内射| 国产精品一区二区在线观看99| 久久精品亚洲av国产电影网| 日本wwww免费看| 午夜激情久久久久久久| 各种免费的搞黄视频| 日韩中文字幕视频在线看片| 桃花免费在线播放| 日韩有码中文字幕| 99热国产这里只有精品6| 日韩制服骚丝袜av| 老司机福利观看| 国产男女内射视频| 国产片内射在线| 久久人人爽av亚洲精品天堂| 男人舔女人的私密视频| 国产一区有黄有色的免费视频| 亚洲精品久久成人aⅴ小说| 狠狠婷婷综合久久久久久88av| 日本vs欧美在线观看视频| 国产成人a∨麻豆精品| 久久久久久久国产电影| 欧美日本中文国产一区发布| 成人黄色视频免费在线看| 9色porny在线观看| 自线自在国产av| 久久久水蜜桃国产精品网| 制服诱惑二区| 亚洲欧洲精品一区二区精品久久久| av又黄又爽大尺度在线免费看| 亚洲三区欧美一区| 啦啦啦在线免费观看视频4| 精品高清国产在线一区| 亚洲专区字幕在线| 欧美成人午夜精品| 黄色视频在线播放观看不卡| 每晚都被弄得嗷嗷叫到高潮| 好男人电影高清在线观看| av在线app专区| 国产精品久久久av美女十八| 两个人免费观看高清视频| 久久亚洲国产成人精品v| 性高湖久久久久久久久免费观看| 交换朋友夫妻互换小说| 美女主播在线视频| 精品久久久精品久久久| 国产主播在线观看一区二区| 国产av又大| 久久久久久久精品精品| 12—13女人毛片做爰片一| 欧美激情极品国产一区二区三区| av片东京热男人的天堂| 手机成人av网站| av欧美777| 久久天躁狠狠躁夜夜2o2o| svipshipincom国产片| 精品少妇一区二区三区视频日本电影| 精品少妇黑人巨大在线播放| 国产一区二区在线观看av| 精品久久久精品久久久| 国产av一区二区精品久久| 免费高清在线观看视频在线观看| 欧美久久黑人一区二区| 亚洲全国av大片| 人人妻人人澡人人爽人人夜夜| 夜夜夜夜夜久久久久| 无限看片的www在线观看| 国产成人系列免费观看| 亚洲国产欧美一区二区综合| 青青草视频在线视频观看| 婷婷成人精品国产| 欧美日韩亚洲综合一区二区三区_| 精品一区二区三区四区五区乱码| 老熟妇乱子伦视频在线观看 | 亚洲黑人精品在线| av一本久久久久| 国产亚洲一区二区精品| www.av在线官网国产| 久久精品久久久久久噜噜老黄| 亚洲国产欧美网| 丁香六月天网| 色精品久久人妻99蜜桃| 国产免费视频播放在线视频| 丝袜喷水一区| 最新的欧美精品一区二区| 人人澡人人妻人| 亚洲专区中文字幕在线| 香蕉丝袜av| 国产男人的电影天堂91| 韩国高清视频一区二区三区| 国产精品av久久久久免费| 亚洲第一欧美日韩一区二区三区 | 动漫黄色视频在线观看| 国产一区二区三区综合在线观看| 成人国语在线视频| 午夜两性在线视频| 俄罗斯特黄特色一大片| 午夜久久久在线观看| 亚洲欧美激情在线| 国产精品自产拍在线观看55亚洲 | 一区二区av电影网| 美女国产高潮福利片在线看| 十八禁网站网址无遮挡| 婷婷丁香在线五月| 成人av一区二区三区在线看 | 亚洲专区国产一区二区| 欧美日韩中文字幕国产精品一区二区三区 | 永久免费av网站大全| 欧美精品av麻豆av| 国产欧美日韩一区二区三区在线| 人成视频在线观看免费观看| av国产精品久久久久影院| 亚洲少妇的诱惑av| 最新的欧美精品一区二区| 日韩大码丰满熟妇| 欧美精品av麻豆av| 男女午夜视频在线观看| 亚洲精品日韩在线中文字幕| 日日爽夜夜爽网站| 80岁老熟妇乱子伦牲交| 日本wwww免费看| 久久久久网色| 五月开心婷婷网| 亚洲精品乱久久久久久| 中文字幕高清在线视频| 婷婷色av中文字幕| 好男人电影高清在线观看| 成人三级做爰电影| 丰满人妻熟妇乱又伦精品不卡| 中文字幕高清在线视频| 老司机在亚洲福利影院| 激情视频va一区二区三区| 亚洲av成人不卡在线观看播放网 | 日本vs欧美在线观看视频| 人人妻人人添人人爽欧美一区卜| 国产在视频线精品| tube8黄色片| www.999成人在线观看| 香蕉丝袜av| 女警被强在线播放| 成人影院久久| 青青草视频在线视频观看| 欧美激情久久久久久爽电影 | 在线观看一区二区三区激情| 国产真人三级小视频在线观看| 女性生殖器流出的白浆| 最新的欧美精品一区二区| 午夜久久久在线观看| 十分钟在线观看高清视频www| 成人国产av品久久久| 久久精品成人免费网站| bbb黄色大片| 午夜成年电影在线免费观看| 大片免费播放器 马上看| 成年人午夜在线观看视频| 日韩制服丝袜自拍偷拍| 国产av一区二区精品久久| 叶爱在线成人免费视频播放| 国产av又大| 高清在线国产一区| 高清欧美精品videossex| 精品福利永久在线观看| 首页视频小说图片口味搜索| 悠悠久久av| 亚洲人成77777在线视频| 亚洲熟女精品中文字幕| 老司机午夜十八禁免费视频| 日本av手机在线免费观看| 国产精品一区二区在线观看99| 99国产精品免费福利视频| 国产一区二区三区在线臀色熟女 | 亚洲综合色网址| 黄色怎么调成土黄色| 国产精品1区2区在线观看. | 99香蕉大伊视频| 男女高潮啪啪啪动态图| 在线 av 中文字幕| av欧美777| 欧美日韩福利视频一区二区| 国产视频一区二区在线看| 国产成人精品在线电影| 91老司机精品| 精品一品国产午夜福利视频| 色婷婷av一区二区三区视频| 在线观看www视频免费| 叶爱在线成人免费视频播放| 一区二区三区四区激情视频| 宅男免费午夜| 国产97色在线日韩免费| 成年av动漫网址| 精品福利永久在线观看| 亚洲av成人一区二区三| 欧美日本中文国产一区发布| 亚洲avbb在线观看| 国产日韩欧美亚洲二区| 国产一区二区三区av在线| 夜夜骑夜夜射夜夜干| 亚洲第一青青草原| 午夜久久久在线观看| 自线自在国产av| 久久久久国内视频| 成年人午夜在线观看视频| 精品人妻在线不人妻| 精品乱码久久久久久99久播| 纯流量卡能插随身wifi吗| 国产不卡av网站在线观看| 精品福利永久在线观看| 菩萨蛮人人尽说江南好唐韦庄| 一级毛片女人18水好多| 在线 av 中文字幕| 欧美av亚洲av综合av国产av| 亚洲精品美女久久av网站| tocl精华| 淫妇啪啪啪对白视频 | 丝袜喷水一区| 90打野战视频偷拍视频| 久久香蕉激情| 日日夜夜操网爽| 少妇粗大呻吟视频| 欧美黄色片欧美黄色片| 亚洲人成电影观看| 两个人看的免费小视频| 国产精品国产三级国产专区5o| 久久狼人影院| 亚洲精品自拍成人| 久久热在线av| 欧美日韩亚洲高清精品| 色94色欧美一区二区| 色婷婷av一区二区三区视频| 一本大道久久a久久精品| 亚洲国产毛片av蜜桃av| 亚洲精华国产精华精| 欧美大码av| 亚洲精品第二区| 十八禁网站免费在线| 99香蕉大伊视频| 99久久99久久久精品蜜桃| 女人高潮潮喷娇喘18禁视频| 久久中文字幕一级| 国产男女内射视频| 夫妻午夜视频| 国产区一区二久久| 国产成人精品久久二区二区免费| 亚洲欧美精品综合一区二区三区| 少妇的丰满在线观看| 亚洲国产欧美在线一区| 日韩免费高清中文字幕av| 精品国产超薄肉色丝袜足j| www.熟女人妻精品国产| 成人亚洲精品一区在线观看| 亚洲综合色网址| 国产成人精品在线电影| 亚洲欧美成人综合另类久久久| 亚洲欧美一区二区三区久久| 男人添女人高潮全过程视频| 久久精品成人免费网站| 久久久久久久精品精品| 国产在线一区二区三区精| 狠狠婷婷综合久久久久久88av| 熟女少妇亚洲综合色aaa.| 国产精品国产三级国产专区5o| 国产av一区二区精品久久| 亚洲五月婷婷丁香| 在线观看免费高清a一片| 天天躁狠狠躁夜夜躁狠狠躁| 日韩人妻精品一区2区三区| 久久人人爽av亚洲精品天堂| 91字幕亚洲| 免费女性裸体啪啪无遮挡网站| 夫妻午夜视频| 丝袜在线中文字幕| 91成年电影在线观看| 久久香蕉激情| 国产成人av激情在线播放| 三上悠亚av全集在线观看| 99国产综合亚洲精品| 日本猛色少妇xxxxx猛交久久| 亚洲中文字幕日韩| 日韩制服骚丝袜av| 国产精品国产三级国产专区5o| 电影成人av| 日韩熟女老妇一区二区性免费视频| 国产又爽黄色视频| 国产精品久久久av美女十八| 中文字幕人妻丝袜一区二区| 狠狠狠狠99中文字幕| av福利片在线| 国产av国产精品国产| 一二三四在线观看免费中文在| 一区二区日韩欧美中文字幕| 男女边摸边吃奶| 爱豆传媒免费全集在线观看| 欧美 亚洲 国产 日韩一| 999精品在线视频| 日本精品一区二区三区蜜桃| 亚洲一区二区三区欧美精品| 免费av中文字幕在线| 美女国产高潮福利片在线看| 亚洲第一av免费看| 久久国产精品大桥未久av| 国产成人av教育| 亚洲av成人一区二区三| 嫩草影视91久久| 19禁男女啪啪无遮挡网站| 欧美人与性动交α欧美精品济南到| 中文字幕最新亚洲高清| 一区二区三区激情视频| 久久久欧美国产精品| 91av网站免费观看| 日本vs欧美在线观看视频| xxxhd国产人妻xxx| 飞空精品影院首页| 亚洲国产精品999| 满18在线观看网站| 婷婷丁香在线五月| 丝袜脚勾引网站| 天天影视国产精品| 欧美日韩中文字幕国产精品一区二区三区 | 韩国精品一区二区三区| 亚洲男人天堂网一区| 亚洲美女黄色视频免费看| 亚洲欧美日韩高清在线视频 | 在线十欧美十亚洲十日本专区| 精品亚洲成国产av| 精品国产一区二区三区久久久樱花| 18禁黄网站禁片午夜丰满| 窝窝影院91人妻| 丝袜在线中文字幕| 黄色视频不卡| 老鸭窝网址在线观看| 最新在线观看一区二区三区| 正在播放国产对白刺激| 日日爽夜夜爽网站| 欧美 日韩 精品 国产| 热99久久久久精品小说推荐| 老鸭窝网址在线观看| 国产成人啪精品午夜网站| 欧美乱码精品一区二区三区| www.自偷自拍.com| 91精品三级在线观看| 视频区图区小说| xxxhd国产人妻xxx| 久久久久国产精品人妻一区二区| 欧美+亚洲+日韩+国产| 亚洲国产日韩一区二区| 国产成人影院久久av| av国产精品久久久久影院| 久久久久久久国产电影| 黄片小视频在线播放| 汤姆久久久久久久影院中文字幕| 色视频在线一区二区三区| 在线亚洲精品国产二区图片欧美| 国产精品一区二区在线观看99| 日韩制服骚丝袜av| 岛国在线观看网站| 精品视频人人做人人爽| 久久九九热精品免费| 亚洲 欧美一区二区三区| 黑人巨大精品欧美一区二区蜜桃| 老司机影院毛片| 国产成人啪精品午夜网站| 黄网站色视频无遮挡免费观看| 十八禁网站网址无遮挡| 性少妇av在线| 亚洲国产精品成人久久小说| 精品乱码久久久久久99久播| 操出白浆在线播放| 夜夜骑夜夜射夜夜干| 日韩精品免费视频一区二区三区| 午夜福利在线观看吧| 91精品国产国语对白视频| 亚洲成人免费av在线播放| 国产精品av久久久久免费| 777米奇影视久久| 久久久久网色| 久久久精品免费免费高清| 国产一区二区在线观看av| 五月天丁香电影| 久久亚洲国产成人精品v| 中文字幕人妻熟女乱码| 我要看黄色一级片免费的| 18禁国产床啪视频网站| 欧美日韩福利视频一区二区| 免费在线观看视频国产中文字幕亚洲 | 一个人免费看片子| 伊人亚洲综合成人网| 久久国产精品人妻蜜桃| 亚洲 国产 在线| 国产精品av久久久久免费| www.精华液| 黄色 视频免费看| 成在线人永久免费视频| 欧美国产精品一级二级三级| 丰满饥渴人妻一区二区三| 国产亚洲欧美在线一区二区| av片东京热男人的天堂| 亚洲va日本ⅴa欧美va伊人久久 | 新久久久久国产一级毛片| 欧美xxⅹ黑人| 91大片在线观看| 国产深夜福利视频在线观看| 国产亚洲精品久久久久5区| 一级毛片电影观看| 乱人伦中国视频| 一级,二级,三级黄色视频| 国产99久久九九免费精品| 亚洲第一av免费看| 这个男人来自地球电影免费观看| 亚洲色图综合在线观看| 精品视频人人做人人爽| 99香蕉大伊视频| 欧美 亚洲 国产 日韩一| 亚洲精品美女久久久久99蜜臀| 老司机午夜十八禁免费视频| a 毛片基地| 久久久水蜜桃国产精品网| 国产精品亚洲av一区麻豆| 亚洲三区欧美一区| 国产有黄有色有爽视频| 免费av中文字幕在线| 日韩欧美国产一区二区入口| 亚洲精华国产精华精| 国产99久久九九免费精品| 男人添女人高潮全过程视频| 国产熟女午夜一区二区三区| 午夜福利影视在线免费观看| 美女高潮喷水抽搐中文字幕| 波多野结衣av一区二区av| 在线天堂中文资源库| 久久久久视频综合| 丝袜在线中文字幕| 大型av网站在线播放| 一级毛片精品| 99国产精品免费福利视频| 青春草亚洲视频在线观看| 精品人妻在线不人妻| 色综合欧美亚洲国产小说| 国产在线观看jvid| 久久久国产成人免费| 高清欧美精品videossex| 欧美黑人欧美精品刺激| 国产成人免费观看mmmm| 久久人人爽人人片av| 狠狠婷婷综合久久久久久88av| 中国国产av一级| 涩涩av久久男人的天堂| 在线观看免费日韩欧美大片| 午夜91福利影院| 亚洲视频免费观看视频| 国产精品秋霞免费鲁丝片| 日韩 亚洲 欧美在线| 成人亚洲精品一区在线观看| √禁漫天堂资源中文www| 乱人伦中国视频| 国产成人影院久久av| 欧美乱码精品一区二区三区| 免费在线观看完整版高清| 成人国语在线视频| 婷婷色av中文字幕| 成年美女黄网站色视频大全免费| 日本av手机在线免费观看| 国产又爽黄色视频| 日韩有码中文字幕| 黄色视频在线播放观看不卡| 日韩熟女老妇一区二区性免费视频| 国产精品 欧美亚洲| 嫩草影视91久久| 亚洲五月婷婷丁香| 久久久久网色| 色94色欧美一区二区| av天堂久久9| 欧美精品高潮呻吟av久久| 精品熟女少妇八av免费久了| 少妇 在线观看| 成年美女黄网站色视频大全免费| 日日摸夜夜添夜夜添小说| 考比视频在线观看| 爱豆传媒免费全集在线观看| 亚洲全国av大片| 在线观看免费日韩欧美大片| 在线 av 中文字幕| 91成年电影在线观看| 人人妻人人添人人爽欧美一区卜| 日韩视频在线欧美| 午夜老司机福利片| 不卡一级毛片| 亚洲精品自拍成人| 亚洲自偷自拍图片 自拍| 五月开心婷婷网| 国产精品一区二区在线不卡| 在线观看一区二区三区激情| 日韩有码中文字幕| 亚洲熟女毛片儿| 亚洲一码二码三码区别大吗| 色播在线永久视频| 国产伦理片在线播放av一区| 一级片'在线观看视频| 精品人妻1区二区| 国产熟女午夜一区二区三区| 国产亚洲av高清不卡| 啪啪无遮挡十八禁网站| 亚洲专区字幕在线| 国产精品一区二区在线观看99| 我的亚洲天堂| 一区二区日韩欧美中文字幕| 亚洲欧洲日产国产| 久久久精品免费免费高清| 少妇的丰满在线观看| 丝瓜视频免费看黄片| 一区在线观看完整版| 亚洲中文字幕日韩| 国产精品久久久久久人妻精品电影 | 久久中文字幕一级| 国产免费视频播放在线视频| 捣出白浆h1v1| 久久综合国产亚洲精品| avwww免费| 少妇的丰满在线观看| 精品人妻1区二区| 亚洲国产av新网站| 老熟女久久久| 夜夜夜夜夜久久久久| 亚洲国产毛片av蜜桃av| 两人在一起打扑克的视频| 久久久久久久国产电影| 麻豆国产av国片精品| 超碰97精品在线观看| 亚洲av国产av综合av卡| 老司机在亚洲福利影院| 狠狠狠狠99中文字幕| 又黄又粗又硬又大视频| 天天添夜夜摸| 国精品久久久久久国模美| 亚洲成人国产一区在线观看| 国产亚洲欧美精品永久| 亚洲欧美色中文字幕在线| 色婷婷av一区二区三区视频| 日韩制服丝袜自拍偷拍| 后天国语完整版免费观看| 精品少妇一区二区三区视频日本电影| 高清黄色对白视频在线免费看| 国产精品久久久久成人av| 操美女的视频在线观看| 不卡一级毛片| 亚洲色图 男人天堂 中文字幕| 婷婷色av中文字幕| 国产av又大| 亚洲中文字幕日韩| 桃红色精品国产亚洲av| 久久人人爽人人片av| 亚洲激情五月婷婷啪啪| 亚洲欧美激情在线| 麻豆av在线久日| 亚洲精品第二区| 亚洲精品日韩在线中文字幕| 亚洲专区国产一区二区| 最近最新免费中文字幕在线| 久热爱精品视频在线9| 亚洲精品自拍成人| 久久国产精品影院| 午夜福利在线观看吧| 国产精品免费视频内射| 免费看十八禁软件| 亚洲成人免费电影在线观看| 视频在线观看一区二区三区| 丰满饥渴人妻一区二区三| 欧美成狂野欧美在线观看| 不卡一级毛片| 成人黄色视频免费在线看| 亚洲精品国产区一区二| 午夜精品久久久久久毛片777| 老司机靠b影院| 亚洲人成电影免费在线| 日韩欧美国产一区二区入口| 操美女的视频在线观看| 无遮挡黄片免费观看| 老司机福利观看| 男女无遮挡免费网站观看| 男女高潮啪啪啪动态图| 国产精品国产av在线观看| 久久影院123| 91精品三级在线观看| 日日摸夜夜添夜夜添小说| videosex国产| 超碰成人久久| 亚洲av欧美aⅴ国产| 又紧又爽又黄一区二区| 桃红色精品国产亚洲av| 老司机靠b影院|