• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于平滑采樣和改進損失的不平衡文本分類

    2023-12-10 19:29:18梁健力商豪
    關(guān)鍵詞:文本分類

    梁健力 商豪

    [收稿日期]20210923

    [第一作者]梁健力(1996-),男,廣東佛山人,湖北工業(yè)大學(xué)碩士研究生,研究方向為數(shù)據(jù)挖掘

    [通信作者]商豪(1982-),女,湖北羅田人,湖北工業(yè)大學(xué)副教授,研究方向為隨機分析與算法

    [文章編號]1003-4684(2023)02-0033-07

    [摘要]在不平衡數(shù)據(jù)下,文本分類模型容易把樣本數(shù)量較少的類別錯分成數(shù)量較多的類別。在采樣層面上提出一種平滑采樣方法,在損失函數(shù)層面上根據(jù)不平衡分布改進交叉熵損失和標簽平滑。復(fù)旦文本數(shù)據(jù)集上的實驗表明,每種層面的改進都較基準模型有一定提高。當(dāng)結(jié)合使用采樣和損失函數(shù)的改進時,TextCNN、BiLSTM+Attention、TextRCNN和HAN模型在宏平均F1值上分別提高4.17%、5.13%、5.06%和6.21%,在G-mean上分別提高6.56%、3.03%、3.92%和5.32%,較好解決了不平衡數(shù)據(jù)下文本分類任務(wù)。

    [關(guān)鍵詞]文本分類; 不平衡比例; 平滑采樣; 損失函數(shù)

    [中圖分類號]TP391? [文獻標識碼]A

    文本分類是自然語言處理領(lǐng)域中一項基礎(chǔ)又重要的任務(wù),可用于情感分析、新聞分類和意圖識別等應(yīng)用場景,也可以為搜索、排序等大型的復(fù)雜系統(tǒng)提供技術(shù)支持。從傳統(tǒng)的手工特征結(jié)合分類器[1-2]的機器學(xué)習(xí)時代,再到使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)[3-5]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)[6]和大規(guī)模預(yù)訓(xùn)練語言模型(Pretrained Language Model)[7-8]對數(shù)據(jù)進行自動學(xué)習(xí)的深度學(xué)習(xí)時代,模型不斷被創(chuàng)新和優(yōu)化,文本分類效果得到了飛躍性的突破。例如,TextCNN[6]汲取N元語法(n-gram)[9]的思想,使用不同大小的卷積核來捕捉句子中的局部信息,取得了當(dāng)時文本分類最好的結(jié)果。TextRCNN[10]在雙向長短時記憶網(wǎng)絡(luò)(BiLSTM)的基礎(chǔ)上,使用1×1卷積核在通道維度上進行卷積運算,并通過時序全局最大池化獲取重要特征。帶注意力機制的雙向長短時記憶網(wǎng)絡(luò)(BiLSTM-Attention)[11]在充分利用RNNs的時序建模優(yōu)良性的同時,使用長短時記憶網(wǎng)絡(luò)(LSTM)和注意力機制來緩解梯度消失的問題,進一步提升模型的效果。HAN[12]模型利用注意力機制,從單詞層面和句子層面對文檔進行分類,從而捕捉句子中的重要詞匯以及文檔中的重要句子,獲取較好的分類效果。

    然而,文本分類性能的提升與訓(xùn)練數(shù)據(jù)的質(zhì)量、規(guī)模以及類別平衡性有著一定的關(guān)系。當(dāng)出現(xiàn)數(shù)據(jù)標簽不平衡時,由于每個訓(xùn)練樣本對目標函數(shù)的貢獻均等,模型在學(xué)習(xí)過程中會主動偏向樣本數(shù)量較多的類別標簽。一方面相當(dāng)于模型對多數(shù)類別有著更大的權(quán)重,另一方面也意味著模型對多數(shù)類別過擬合。但測試階段所采用的評價指標對多數(shù)類別與少數(shù)類別都同等看待,最終導(dǎo)致在類別不平衡的場景下,訓(xùn)練結(jié)果與實際的測試結(jié)果相差甚遠。

    由于現(xiàn)實收集的數(shù)據(jù)基本都存在類別不平衡的現(xiàn)象,需要進一步研究在類別不平衡場景下的文本分類。過去機器學(xué)習(xí)和深度學(xué)習(xí)時代,主要通過3種方式來處理類別不平衡的問題,即對原始數(shù)據(jù)進行重抽樣[13-16]、修改損失函數(shù)[17-18]以及采用集成學(xué)習(xí)算法[19]。在采樣方法上,本文利用數(shù)據(jù)的不平衡比例,基于指數(shù)平滑的思想,提出了一種降低數(shù)據(jù)不平衡度的平滑重抽樣方法;在損失函數(shù)上,以不平衡分布來改進標簽平滑以及交叉熵損失,提出了一種結(jié)合不平衡分布和標簽平滑的交叉熵損失函數(shù)以提升文本分類的效果。同時結(jié)合采樣方法和在損失函數(shù)上的改進,深度學(xué)習(xí)模型對不平衡數(shù)據(jù)的分類能力得到進一步提升。

    1??? 方法設(shè)計

    1.1??? 采樣方法

    在過去,無論是機器學(xué)習(xí)中的經(jīng)典采樣方法,還是深度學(xué)習(xí)中的數(shù)據(jù)增強方法,對不平衡數(shù)據(jù)采樣后是否配平并沒有統(tǒng)一的定論。有的學(xué)者采用完全配平的方式來完成樣本的重抽樣,有的則認為這種配平方式可能會損害最終的分類效果。所以,在采樣后保持多大的不平衡比例仍然是一個需要深入研究的問題。但總體來看,增加數(shù)據(jù)量、降低數(shù)據(jù)的不平衡度對文本分類效果有一定增益。

    指數(shù)平滑多用于時間序列,其是對歷史觀測值按時間進行加權(quán)平均作為當(dāng)前時間的預(yù)測值。雖然訓(xùn)練數(shù)據(jù)的不平衡比例序列和時間并沒有關(guān)聯(lián),但由于指數(shù)平滑具有一定的平滑數(shù)據(jù)功能,能夠在降低不平衡比例的同時,保證平滑后的類別不平衡度與平滑前有相似的分布。本文提出的平滑采樣方法的定義如下:

    假設(shè)原始數(shù)據(jù)有k個類別,記為c1,c2,…,ck。記#ci為第i個類別的樣本數(shù)量,其中i取1,2,…,k,可定義各類別的不平衡比例如下:

    θi=#cimin(#c1,#c2,…,#ck)

    對于k個類別可得到長度為k的不平衡序列{θt}kt=1,將該序列從小到大排序得到有序的不平衡序列{θ′t}kt=1,根據(jù)指數(shù)平滑思想計算不平衡序列的平滑值,其中t取1,2,…,k:

    vt=0,t=0βvt-1+(1-β)θ′t,t≥1

    修正平滑值,其中t取1,2,…,k:

    v′t=vt1-βt

    根據(jù)修正后的平滑值與原始的不平衡比例,可計算各類別中欠采樣(式(1))與過采樣(式(2))的比例,其中minv′tθ′tkt=1是指k個欠采樣比例的最小值,且t取1,2,…,k:

    dt=v′tθ′t(1)

    ot=v′tθ′t/minv′tθ′tkt=1(2)

    由于式(2)并不能保證過采樣比例大于1,因此對過采樣比例ot進行修正,使得修正后的過采樣比例恒大于1。

    o′t=ot+log1ot

    1.2??? 損失函數(shù)

    在深度學(xué)習(xí)模型訓(xùn)練中,由于需要使用損失函數(shù)根據(jù)正向傳播的結(jié)果計算出誤差,再進行反向傳播實現(xiàn)梯度更新,因此模型的效果往往跟選用何種損失函數(shù)有一定關(guān)系,好的損失函數(shù)可能會帶來性能上的提升。在文本分類問題上,一般采用交叉熵損失,其具體定義如下:

    loss=-1N∑Nn=1∑kc=1y(n)clog(n)c(3)

    假定訓(xùn)練數(shù)據(jù)中有k個類別,一個批的樣本數(shù)量為N,記類別c的獨熱編碼向量為yhot,其具體形式為[I(1=c),I(2=c),…,I(k=c)]T。使用y(n)c來代表批中第n個樣本是否屬于第c個類別,其中y(n)c∈{0,1}。而(n)c表示該樣本屬于第c個類別的預(yù)測概率。

    由于交叉熵損失對多數(shù)類樣本和少數(shù)類樣本的錯誤同等看待,為了使模型在訓(xùn)練過程中更加關(guān)注少數(shù)類別,本文根據(jù)訓(xùn)練數(shù)據(jù)的不平衡分布對交叉熵損失進行改進,記原始數(shù)據(jù)或采樣數(shù)據(jù)的類別不平衡比例為{θc}kc=1,對于改進后的帶不平衡分布的交叉熵損失

    weight_loss=-1N∑Nn=1∑kc=11θcy(n)clog(n)c

    此外,為了防止模型在訓(xùn)練過程中對標簽的預(yù)測過于自信,本文還對損失函數(shù)引入標簽平滑[20]的正則化方式。其結(jié)合均勻分布的思想來修改傳統(tǒng)的獨熱編碼向量,可以減少類內(nèi)距離,增加類間距離,從而提升模型的泛化能力[21]。記α為平滑值,標簽平滑的具體形式為:

    y(i)smooth=1-α,i=targetα/(k-1),i≠target(4)

    但在不平衡數(shù)據(jù)中,各類別標簽的分布并不均勻,因此本文使用數(shù)據(jù)不平衡比例對標簽平滑進行改進。首先利用原始的不平衡比例序列{θi}ki=1求出用于標簽平滑的不平衡比例序列θ(i)smoothki=1,其具體形式如下:

    θ(i)smooth=0,i=target1θi,i≠target

    對不平衡序列θ(i)smoothki=1進行歸一化處理,可得到改進后的標簽平滑向量y′smooth,其元素值

    y′(i)smooth=1-α,i=targetα·softmax(θsmooth)(i),i≠target(4)

    結(jié)合式(3)和式(4),可得到用帶不平衡分布的標簽平滑來改進交叉熵損失的形式:

    smooth_loss=1N∑Nn=1∑kc=1y(n)smooth,clogc(n)

    最后將帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失加權(quán)平均,得到本文最終提出的損失函數(shù),其具體形式如下:

    our_loss=βweight_loss+(1-β)smooth_loss

    其中β是需要調(diào)節(jié)的超參數(shù)。當(dāng)β等于1時,該損失函數(shù)退化為帶不平衡分布的交叉熵損失;當(dāng)β等于0時,該損失函數(shù)退化為帶改進標簽平滑的交叉熵損失。

    2??? 實驗設(shè)置

    2.1??? 實驗數(shù)據(jù)集

    實驗數(shù)據(jù)集主要采用復(fù)旦大學(xué)的文本分類語料庫,其包含9804個訓(xùn)練文檔與9833個測試文檔,并涵蓋了20個主題類別。其中,原始數(shù)據(jù)中各類別的樣本數(shù)量和文檔長度差異較大,數(shù)量不平衡比例高達64∶1。此外,數(shù)據(jù)集中有大量的重復(fù)數(shù)據(jù),且部分文檔并沒有包含實質(zhì)性的內(nèi)容。因此,本文先對原始數(shù)據(jù)集進行數(shù)據(jù)清洗,并提取文檔中的正文部分進行分析。清洗后的訓(xùn)練集和測試集包含8184和8197個文檔,訓(xùn)練數(shù)據(jù)的不平衡比例降為54.84∶1。訓(xùn)練集清洗前后的數(shù)量和文檔字符長度分布如圖1所示。

    (a)原始訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (b)清洗訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (c)原始訓(xùn)練數(shù)據(jù)集的字符長度分布

    (d)清洗訓(xùn)練數(shù)據(jù)集的字符長度分布圖 1??? 訓(xùn)練集清洗前后數(shù)量和字符長度分布

    此外,在模型訓(xùn)練和測試前,還需要對文本進行分詞和去除停用詞。本文使用jieba分詞工具對清洗后的訓(xùn)練集和測試集進行分詞,并引入停詞表對其進行去停詞處理。

    2.2??? 評價指標

    準確率(accuracy)是衡量模型好壞的標準之一。但當(dāng)數(shù)據(jù)是類別不平衡或者不同類別的錯誤所造成的后果不同的時候,準確率這一指標實際并不適用。通常來說,模型的分類性能應(yīng)綜合使用查全率和查準率進行度量。此外,也有學(xué)者建議使用G-mean來度量模型在不平衡數(shù)據(jù)中的表現(xiàn)。因此,本文將把宏F1和G-mean作為主要的性能評價指標,多分類情況下的性能指標定義如下:

    假設(shè)數(shù)據(jù)集中有k個類別,Ck×k為分類的混淆矩陣,Cij為該矩陣中的第i行第j列的元素,其中i,j∈{1,2,…,k}。記Ci.=[Ci1,Ci2,…,Cik]T,C.j=[C1j,C2j,…,Ckj]T,可計算各類別中真正例(TPv)、假正例(FPv)、真反例(TNv)、假反例(FNv)向量:

    TPv=diag(Ck×k)=[C11,C22,…,Ckk]T

    FPv=∑ki=1Ci.-diag(Ck×k)

    FNv=∑kj=1C.j-diag(Ck×k)

    TNv=[∑i∑jCk×k,…,∑i∑jCk×k]k×1-(TPv+FPv+FNv)

    根據(jù)TPv、FPv、TNv和FNv可計算宏查準率(macro-Pv)、宏查全率(macro-Rv)和宏特異度(macro-Sv)向量為:

    macro-Pv=TPvTPv+FPv

    macro-Rv=TPvTPv+FNv

    macro-Sv=TNvTNv+FPv

    根據(jù)向量macro-Pv、macro-Rv和macro-Sv可計算得到本文使用的宏F1和G-mean:

    macro-F1=1k∑2×macro-Pv⊙macro-Rvmacro-Pv+macro-Rv

    G-mean=1k∑macro-Rv⊙macro-Sv

    2.3??? 文本分類模型

    為了呈現(xiàn)改進方法的效果,本文將使用BiLSTM-Attention、TextCNN、TextRCNN和HAN等幾個較先進的深度學(xué)習(xí)模型來進行實驗。

    1)設(shè)置BiLSTM-Attention模型的輸入序列長度、詞向量維度、隱藏層單元數(shù)和隱藏層數(shù)量分別為2000、200、200和2。

    2)對于TextCNN模型,本文使用窗寬為3、4、5的卷積核來提取特征,每組不同卷積核的輸出維度都為200。此外,設(shè)置模型輸入的序列長度為3000,詞向量維度為200,模型的輸入維度為400。其中,模型的輸入由兩組序列詞向量合并而成,一組為固定的詞向量,一組隨著模型的訓(xùn)練而更新。

    3)本文設(shè)置TextRCNN模型的輸入序列長度為3000,詞向量維度為200,BiLSTM模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為100和1,卷積模塊的輸出維度為300。其中將BiLSTM模塊的輸出和原始序列的詞向量在通道維度上進行連接,作為卷積模塊的輸入。

    4)本文設(shè)置HAN模型的單個文檔中的最大句子數(shù)和句子中的最大單詞數(shù)分別為20、80,雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)(BiGRU)模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為200和1。

    由于復(fù)旦文本數(shù)據(jù)集中的文檔字符長度不一,因此,本文對較短的文檔進行補0,對較長的文檔從中間進行截取。在將文本轉(zhuǎn)化成詞向量的過程中,采用預(yù)訓(xùn)練的騰訊詞向量,其詞向量維度為200。在訓(xùn)練過程中,采用學(xué)習(xí)率衰減的方法,每更新1000步時進行一次衰減。此外,各種模型的輸出節(jié)點數(shù)都為20,Dropout的概率采用0.5,激活函數(shù)皆采用ReLU。

    3??? 實驗結(jié)果和分析

    為了單獨呈現(xiàn)采樣方法的效果,本文還將利用BOW、TFIDF、LDA和Fasttext來進行特征提取,并在經(jīng)過不同采樣處理的數(shù)據(jù)集上建模。在采樣方式上,本文分別進行隨機欠采樣、隨機過采樣和回譯過采樣三種實驗;在采樣比例上,本文采用0.44、0.74、0.86、0.9、0.96和0.98等6種采樣平滑值,并與原始比例以及完全配平的數(shù)據(jù)集實驗結(jié)果進行對照。為了避免其他數(shù)據(jù)增強方法對實驗結(jié)果的干擾,表1僅展示9種模型在不同隨機過采樣比例上的具體表現(xiàn),其余采樣方式的實驗結(jié)果如圖2所示。其中,9種模型對比系統(tǒng)如下。

    1)BOW:使用詞袋模型表示文本,特征維度為20 000,并用邏輯回歸(LR)和隨機森林(RF)對文本進行分類。

    2)TFIDF:使用詞頻逆詞頻表示文本,特征維度為20 000,并用支持向量機(SVM)和極端梯度提升樹(Xgboost)對進行文本分類。

    3)LDA:使用概率主題模型將文本映射到低維空間向量,再用RF和SVM進行分類,其中主題個數(shù)為130。

    4)Fasttext:先采用有監(jiān)督方式直接進行文本分類,再使用無監(jiān)督的方法生成文本詞向量,并用LR和SVM進行分類。

    由表1可以看出,9種模型系統(tǒng)的最佳結(jié)果皆在非原始比例數(shù)據(jù)集上取得。其中,完全配平的采樣方式更傾向于在BOW、TFIDF等稀疏的向量表示空間上取得更好的效果,但在LDA、Fasttext等稠密的低維空間上的表現(xiàn)甚至比原始比例數(shù)據(jù)集的效果差。這表明雖然不平衡比例的降低和樣本數(shù)量的增加會對模型效果有一定增益,但完全配平的方式會極大改變原始數(shù)據(jù)分布,可能會導(dǎo)致模型性能下降。此外,隨著采樣比例的調(diào)整,本文提出的采樣方法在9種模型系統(tǒng)上均取得比原始比例更好的效果。在BOW、LDA和Fasttext三種模型系統(tǒng)中,對比采樣平滑值0.74和0.98的結(jié)果,可發(fā)現(xiàn)后者都有一定的提升,但其不平衡比例從41.66下降到17.71,數(shù)據(jù)量卻基本保持不變,表明適當(dāng)降低不平衡比例可能會給模型帶來提升,尤其是在低維稠密的向量空間中。

    圖2a顯示不同采樣平滑值下各類別不平衡比例的變化情況。相比于完全配平,該采樣方式在降低不平衡比例的同時,仍保持與原始數(shù)據(jù)相似的分布。從圖2b可以看出,在絕大部分實驗?zāi)P椭?,欠采樣會極大地損害模型的性能,這是由于樣本數(shù)量的銳減使得文本中的重要信息缺失,從而導(dǎo)致分類效果的下降。而圖2c和d則表明,在過采樣時,采用回譯等其他增強方式可能會降低直接隨機復(fù)制樣本帶來的過擬合風(fēng)險,從而進一步提升分類的效果。

    圖 2??? 不同改進采樣方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了進一步說明平滑采樣方法和帶不平衡分布與標簽平滑的損失函數(shù)的有效性,本文以TextCNN為基準,開展一系列的對比工作。表2和表3分別呈現(xiàn)使用預(yù)訓(xùn)練的騰訊詞向量前后,改進的采樣方法和損失函數(shù)較基準方法的提升。其中,CE和Smooth分別表示僅使用交叉熵損失和帶標簽平滑的交叉熵損失的情況;Weight_CE和Weight_Smooth分別代表利用不平衡分布改進的交叉熵損失和標簽平滑的情況;Weight_CE_Smooth是指結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失的結(jié)果,其中超參數(shù)選取0.9;+0.98是指TextCNN模型在利用0.98采樣平滑率得到的數(shù)據(jù)集下的建模效果,其中采樣方式默認為隨機過采樣,而trans表示使用回譯的方式來進行過采樣。表3呈現(xiàn)了本文實驗的最佳效果。

    從表2和表3可以看出,無論是單獨使用本文提出的采樣方法,還是單獨使用損失函數(shù)上的改進,其在宏F1和G-mean上都較基準模型上有一定的提升。而當(dāng)結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失時,文本分類效果能夠得到進一步改善。此外,當(dāng)融合采樣方法以及損失函數(shù)的改進時,模型在宏F1上會有進一步的提升,但相比只使用損失函數(shù)改進時,G-mean會有輕微下降。

    當(dāng)未使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型分別在準確率、宏查全率、宏F1和G-mean上提升1.18%、10.12%、8.73%和7.49%,但在宏查準率上輕微損失了0.53%;當(dāng)使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型在宏查全率上提升了10.21%,在宏F1上提升了4.17%,在G-mean上提升了6.56%,但在準確率和宏查準率上分別損失了0.23%和3.95%。

    圖3a展示了在使用預(yù)訓(xùn)練詞向量的情況下,本文使用的改進方法與基準模型在20個主題類別中的宏F1值對比。可以看出,改進方法在多數(shù)類別中保持與基準模型一致的分類效果,而其區(qū)分少數(shù)類別的性能有了較大的改善,從而提升了整體的分類效果。

    (a)改進方法和基準模型在各個主題上的實驗結(jié)果

    圖3b呈現(xiàn)了在不同采樣平滑率下聯(lián)合采樣方法和損失函數(shù)改進的模型效果??梢钥闯觯褂没刈g代替簡單隨機復(fù)制的過采樣方法,可以進一步提升模型的效果。

    (b)不同采樣比例下的方法結(jié)果對比圖 3??? 聯(lián)合改進方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了表明改進方法的適用性,表4還顯示了BiLSTM+Attention、TextRCNN和HAN等3種模型在改進前后的效果對比。改進后的這3種深度學(xué)習(xí)模型都在宏F1和G-mean上有著較大的提升,且在準確率、宏查準率和宏查全率都沒有性能的損失。其中BiLSTM+Attention模型在宏F1上提升了5.31%、在G-mean上提升了3.03%;TextRCNN模型在宏F1和G-mean分別提升了5.06%和3.92%;HAN模型獲得了6.21%的宏F1和5.32%的G-mean性能提升。

    通過上述實驗結(jié)果可以看出,適當(dāng)降低不平衡比例,以及利用不平衡分布改進交叉熵損失和標簽平滑,可以提高少數(shù)類別的分類性能。此外,融合采樣方法和損失函數(shù)的改進能夠為整體的分類效果帶來進一步的提升。雖然本文的改進方法可能會犧牲部分宏查準率的性能,但其能大幅提升宏查全率,且保持準確率基本不變,從而獲得模型在宏F1和G-mean等綜合指標的改善。

    4??? 結(jié)論

    本文從采樣方法和損失函數(shù)上進行改進,并在復(fù)旦文本數(shù)據(jù)上進行驗證。實驗表明,單獨使用本文提出的平滑采樣方法、帶不平衡分布的改進交叉熵損失和改進標簽平滑時,都較基準模型有一定提升。而當(dāng)聯(lián)合使用采樣方法和損失函數(shù)的改進時,以宏F1和G-mean作為性能評判標準,其在4種深度學(xué)習(xí)模型中都取得較大的性能提高。因此,本文提出的算法可以較好地解決不平衡數(shù)據(jù)的分類問題,在大量數(shù)據(jù)中能夠更好地檢測出少數(shù)類別的數(shù)據(jù)。

    [參考文獻]

    [1]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994,161175.

    [2]SALTON G, BUCKLEY C. Term-weighting approaches in automatic text retrieval[J]. Information processing & management, 1988, 24(05):513-523.

    [3]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(08):1735-1780.

    [4]Chung J,Gulcehre C,Cho K H,et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[C].∥NIPS 2014 Workshop on Deep Learning,2014.

    [5]LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [6]KIM Y. Convolutional neural networks for sentence classification[J]. EMNLP, 2014.

    [7]VASWANI A, Shazeer N, Parmar N, et al. Attention is all you need[C].∥Advances in neural information processing systems,2017:5998-6008.

    [8]DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C].∥Proceedings of NAACL-HLT,2018.

    [9]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994:161 175.

    [10] LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [11] ZHOU P, SHI W, TIAN J, et al. Attention-based bidirectional long short-term memory networks for relation classification[C].∥Proceedings of the 54th annual meeting of the association for computational linguistics (volume 2: Short papers),2016:207-212.

    [12] YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification[C].∥Proceedings of the 2016 conference of the North American chapter of the association for computational linguistics: human language technologies,2016:1480-1489.

    [13] KUBAT M, MATWIN S. Addressing the curse of imbalanced training sets: one-sided selection[J].Icml, 1997, 97:179-186.

    [14] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16:321-357.

    [15] WEI J, ZOU K. EDA: Easy data augmentation techniques for boosting performance on text classification tasks[C].∥Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019:6382-6388.

    [16] YU A W, DOHAN D, LUONG M T, et al. QANet: Combining local convolution with global self-attention for reading comprehension[C].∥International Conference on Learning Representations,2018.

    [17] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C].∥Proceedings of the IEEE international conference on computer vision, 2017:2980-2988.

    [18] LI X, SUN X, MENG Y, et al. Dice loss for data-imbalanced NLP tasks[C].∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020:465-476.

    [19] SUN Y, KAMEL M S, Wong A K C, et al. Cost-sensitive boosting for classification of imbalanced data[J]. Pattern Recognition, 2007, 40(12):3358-3378.

    [20] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C].∥Proceedings of the IEEE conference on computer vision and pattern recognition, 2016:2818-2826.

    [21] MLLER R, KORNBLITH S, HINTON G.When doeslabelsmoothinghelp? [C].∥NeurIPS,2019.

    Unbalanced Text Classification Based on SmoothSampling and Improved Loss

    LIANG Jianli, SHANG Hao

    (School of Science, Hubei Univ. of Tech., Wuhan 430068, China)

    Abstract:When data are imbalanced, text classification models are easy to misclassify minority class to majority class. This paper proposes a smooth sampling method at the sampling level, and improves the cross entropy loss and label smoothing based on the imbalanced distribution at the loss function level. Experiments on the Fudan text corpus show that the improved method in each level outperforms the benchmark method. With the combination of the improved method in sampling level and loss function level, the TextCNN, BiLSTM+Attention, TextRCNN and HAN models can obtain 4.17%, 5.31%, 5.06%, and 6.21% macro? F1 improvement and increase 6.56%, 3.03%, 3.92%, and 5.32% on G mean respectively. The methods proposed in this paper have been verified the effectiveness on imbalanced corpora.

    Keywords: text classification; unbalanced percent; sampling; loss function

    [責(zé)任編校: 張眾]

    猜你喜歡
    文本分類
    基于樸素貝葉斯的Web文本分類及其應(yīng)用
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    基于貝葉斯分類器的中文文本分類
    基于蟻群智能算法的研究文本分類
    基于樸素貝葉斯分類的Java課程網(wǎng)絡(luò)答疑反饋系統(tǒng)
    基于K—means算法的文本分類技術(shù)研究
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    不同情境下中文文本分類模型的表現(xiàn)及選擇
    基于內(nèi)容的英語錄音教材標注研究與應(yīng)用
    多核SVM文本分類研究
    軟件(2015年5期)2015-08-22 08:02:45
    菩萨蛮人人尽说江南好唐韦庄 | 伊人久久精品亚洲午夜| 男人舔奶头视频| 婷婷六月久久综合丁香| 日日干狠狠操夜夜爽| 麻豆国产av国片精品| 亚洲不卡免费看| 中文资源天堂在线| 亚洲av中文av极速乱| 十八禁网站免费在线| 亚洲五月天丁香| 久久精品国产99精品国产亚洲性色| 亚洲人成网站在线观看播放| 国产女主播在线喷水免费视频网站 | 18禁在线播放成人免费| 午夜激情欧美在线| 国产亚洲精品av在线| 国产高清视频在线播放一区| 女生性感内裤真人,穿戴方法视频| 久久午夜亚洲精品久久| 99精品在免费线老司机午夜| 国内少妇人妻偷人精品xxx网站| 久久久久久久久大av| 99久久无色码亚洲精品果冻| 亚洲不卡免费看| 欧美激情久久久久久爽电影| 久久精品久久久久久噜噜老黄 | 色综合站精品国产| 久久99热6这里只有精品| 赤兔流量卡办理| 12—13女人毛片做爰片一| 97超视频在线观看视频| 男女视频在线观看网站免费| 欧美成人免费av一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 亚洲专区国产一区二区| 大型黄色视频在线免费观看| 国产一区二区亚洲精品在线观看| 能在线免费观看的黄片| 久久久欧美国产精品| 久久热精品热| 乱人视频在线观看| 久久久国产成人精品二区| 日韩成人伦理影院| 五月伊人婷婷丁香| 观看美女的网站| 桃色一区二区三区在线观看| 亚洲国产精品合色在线| 亚洲综合色惰| 一区二区三区免费毛片| 天堂影院成人在线观看| 变态另类成人亚洲欧美熟女| 国产成年人精品一区二区| 亚洲精品国产av成人精品 | 久久久精品94久久精品| 成人鲁丝片一二三区免费| 亚洲无线观看免费| 在线观看一区二区三区| 在线观看午夜福利视频| 精品一区二区三区av网在线观看| 欧美区成人在线视频| 国产成人91sexporn| 性插视频无遮挡在线免费观看| 校园春色视频在线观看| 变态另类成人亚洲欧美熟女| 九色成人免费人妻av| 麻豆成人午夜福利视频| 午夜日韩欧美国产| 午夜影院日韩av| 一级毛片久久久久久久久女| 亚洲不卡免费看| 在线观看66精品国产| 国产成人91sexporn| 俺也久久电影网| 一本精品99久久精品77| 色哟哟哟哟哟哟| 亚洲自偷自拍三级| 99热全是精品| 国产精品一区二区三区四区免费观看 | 午夜爱爱视频在线播放| 色5月婷婷丁香| 欧美日韩在线观看h| 免费观看人在逋| 国产v大片淫在线免费观看| 成人高潮视频无遮挡免费网站| 久久精品久久久久久噜噜老黄 | а√天堂www在线а√下载| 精品午夜福利视频在线观看一区| 日韩精品中文字幕看吧| 亚洲av美国av| 在线看三级毛片| 美女免费视频网站| 国模一区二区三区四区视频| 国产激情偷乱视频一区二区| 亚洲乱码一区二区免费版| 我要看日韩黄色一级片| 精品日产1卡2卡| 熟妇人妻久久中文字幕3abv| 香蕉av资源在线| 插阴视频在线观看视频| 亚洲在线自拍视频| 国产午夜福利久久久久久| 国产欧美日韩精品亚洲av| 最近在线观看免费完整版| 亚洲av成人精品一区久久| 三级国产精品欧美在线观看| 我要搜黄色片| 最近最新中文字幕大全电影3| 亚洲国产高清在线一区二区三| 变态另类丝袜制服| 99热全是精品| 在线a可以看的网站| av免费在线看不卡| 一本一本综合久久| 国产在线男女| 成人三级黄色视频| 日本一二三区视频观看| 中文资源天堂在线| www日本黄色视频网| 99久久无色码亚洲精品果冻| 成人一区二区视频在线观看| 神马国产精品三级电影在线观看| 欧美日韩乱码在线| 级片在线观看| 成人av一区二区三区在线看| 日本a在线网址| 欧洲精品卡2卡3卡4卡5卡区| 天天躁夜夜躁狠狠久久av| 免费看美女性在线毛片视频| 乱码一卡2卡4卡精品| 我的老师免费观看完整版| 97在线视频观看| 成人鲁丝片一二三区免费| 人人妻人人澡人人爽人人夜夜 | 内地一区二区视频在线| 在线天堂最新版资源| 亚洲18禁久久av| 三级毛片av免费| 欧美日韩国产亚洲二区| 色综合亚洲欧美另类图片| 亚洲高清免费不卡视频| 人人妻人人看人人澡| 欧美日韩在线观看h| 亚洲五月天丁香| 日韩大尺度精品在线看网址| 97人妻精品一区二区三区麻豆| videossex国产| 国产成人a区在线观看| 国产乱人视频| 天天躁日日操中文字幕| 亚洲av中文字字幕乱码综合| 日产精品乱码卡一卡2卡三| 亚洲av熟女| 免费黄网站久久成人精品| 在线天堂最新版资源| 色综合站精品国产| 国产乱人偷精品视频| 亚洲成人久久性| 偷拍熟女少妇极品色| 精品久久久久久成人av| 国产精品久久久久久久电影| 一级毛片久久久久久久久女| 天堂网av新在线| 人人妻,人人澡人人爽秒播| 一区二区三区四区激情视频 | 成人特级黄色片久久久久久久| 亚洲国产欧美人成| 免费黄网站久久成人精品| 身体一侧抽搐| 卡戴珊不雅视频在线播放| 日本一本二区三区精品| 国产一区二区三区av在线 | 国产色爽女视频免费观看| 又粗又爽又猛毛片免费看| 日本免费a在线| 日本在线视频免费播放| 亚洲电影在线观看av| 我要看日韩黄色一级片| 国产成人a区在线观看| 人人妻人人澡欧美一区二区| 给我免费播放毛片高清在线观看| 少妇的逼水好多| 日本色播在线视频| 久99久视频精品免费| 日韩,欧美,国产一区二区三区 | 黄片wwwwww| 国产亚洲av嫩草精品影院| 久久久欧美国产精品| 国产伦精品一区二区三区视频9| 老司机影院成人| 欧美绝顶高潮抽搐喷水| 女生性感内裤真人,穿戴方法视频| 中出人妻视频一区二区| 在线观看av片永久免费下载| 午夜老司机福利剧场| 亚洲中文日韩欧美视频| 香蕉av资源在线| 久久人人爽人人片av| 白带黄色成豆腐渣| 久久久久久国产a免费观看| 极品教师在线视频| 又粗又爽又猛毛片免费看| 69av精品久久久久久| 黄色欧美视频在线观看| 精品国产三级普通话版| aaaaa片日本免费| 在线观看66精品国产| 日韩强制内射视频| av黄色大香蕉| 色噜噜av男人的天堂激情| 一区二区三区免费毛片| 精品少妇黑人巨大在线播放 | 男人舔女人下体高潮全视频| 秋霞在线观看毛片| 亚洲欧美精品自产自拍| 夜夜爽天天搞| 欧美日韩国产亚洲二区| 亚洲国产欧美人成| 亚洲在线自拍视频| 日韩制服骚丝袜av| 特大巨黑吊av在线直播| 日韩一本色道免费dvd| 99国产精品一区二区蜜桃av| 久久亚洲国产成人精品v| 丰满人妻一区二区三区视频av| 麻豆av噜噜一区二区三区| 波野结衣二区三区在线| 搡老妇女老女人老熟妇| 真人做人爱边吃奶动态| 国产三级在线视频| 日韩亚洲欧美综合| 在线观看66精品国产| 99九九线精品视频在线观看视频| 成人欧美大片| 香蕉av资源在线| 欧美丝袜亚洲另类| 亚洲国产高清在线一区二区三| 日韩成人av中文字幕在线观看 | 神马国产精品三级电影在线观看| 亚洲欧美日韩高清专用| 亚洲成人av在线免费| 一级毛片久久久久久久久女| 人人妻人人看人人澡| 美女黄网站色视频| 国产精品永久免费网站| 亚洲成人精品中文字幕电影| 国产成人aa在线观看| 国产伦在线观看视频一区| 五月玫瑰六月丁香| 精品日产1卡2卡| 此物有八面人人有两片| 一本一本综合久久| 你懂的网址亚洲精品在线观看 | 日韩欧美三级三区| 国内久久婷婷六月综合欲色啪| 国产三级在线视频| 秋霞在线观看毛片| 大型黄色视频在线免费观看| 国产淫片久久久久久久久| 亚洲经典国产精华液单| 狠狠狠狠99中文字幕| a级一级毛片免费在线观看| 国产伦精品一区二区三区视频9| 97超级碰碰碰精品色视频在线观看| av福利片在线观看| 69av精品久久久久久| 日韩在线高清观看一区二区三区| 变态另类丝袜制服| 日韩大尺度精品在线看网址| 亚洲av免费在线观看| 色av中文字幕| 成人三级黄色视频| 性欧美人与动物交配| 一进一出抽搐gif免费好疼| 一个人观看的视频www高清免费观看| 欧美日本视频| 国产精品日韩av在线免费观看| 级片在线观看| www.色视频.com| 如何舔出高潮| 91av网一区二区| 亚洲人与动物交配视频| 成人毛片a级毛片在线播放| videossex国产| 两性午夜刺激爽爽歪歪视频在线观看| 久久久精品欧美日韩精品| 亚洲三级黄色毛片| 国产一区亚洲一区在线观看| 中文在线观看免费www的网站| 美女免费视频网站| 蜜桃亚洲精品一区二区三区| 免费看a级黄色片| 亚洲国产精品成人久久小说 | 99热只有精品国产| 国产乱人偷精品视频| 3wmmmm亚洲av在线观看| 成年免费大片在线观看| 国产男靠女视频免费网站| av女优亚洲男人天堂| 成人亚洲欧美一区二区av| 午夜亚洲福利在线播放| 中文资源天堂在线| 欧美性感艳星| 久久久久免费精品人妻一区二区| 国产一区二区三区在线臀色熟女| 看黄色毛片网站| 黑人高潮一二区| 国产乱人偷精品视频| 少妇被粗大猛烈的视频| 欧美极品一区二区三区四区| 搡老岳熟女国产| 久久99热6这里只有精品| 日韩av不卡免费在线播放| 亚洲最大成人手机在线| 亚洲国产高清在线一区二区三| 六月丁香七月| .国产精品久久| 一区二区三区四区激情视频 | 精品久久久久久久久亚洲| 99热6这里只有精品| 亚洲一区二区三区色噜噜| 国产成人影院久久av| 免费无遮挡裸体视频| 69人妻影院| 日韩成人伦理影院| 国产精品女同一区二区软件| 日韩欧美在线乱码| 国产精品爽爽va在线观看网站| 啦啦啦韩国在线观看视频| 深夜精品福利| 亚洲人成网站在线播| 国产成人精品久久久久久| 亚洲av成人av| 精品午夜福利视频在线观看一区| eeuss影院久久| 蜜桃亚洲精品一区二区三区| av国产免费在线观看| 少妇人妻精品综合一区二区 | 看非洲黑人一级黄片| 干丝袜人妻中文字幕| 大型黄色视频在线免费观看| 在线免费观看不下载黄p国产| 在线观看av片永久免费下载| 在线免费十八禁| 两个人的视频大全免费| 亚洲av第一区精品v没综合| 一级毛片aaaaaa免费看小| 色噜噜av男人的天堂激情| 热99re8久久精品国产| 国产高潮美女av| 麻豆国产av国片精品| 不卡一级毛片| 国产人妻一区二区三区在| 身体一侧抽搐| 亚洲成人久久爱视频| 日本免费一区二区三区高清不卡| 精品人妻熟女av久视频| 97碰自拍视频| 少妇熟女欧美另类| 亚洲欧美日韩无卡精品| 老司机午夜福利在线观看视频| 久久国产乱子免费精品| 国产91av在线免费观看| 色综合亚洲欧美另类图片| 亚洲第一电影网av| 国产精品,欧美在线| 国产色爽女视频免费观看| 精品乱码久久久久久99久播| 久久人妻av系列| 我的女老师完整版在线观看| 天堂网av新在线| 长腿黑丝高跟| 天堂av国产一区二区熟女人妻| 久久精品影院6| 亚洲在线自拍视频| 久久久久久国产a免费观看| 麻豆一二三区av精品| 成年女人永久免费观看视频| 真人做人爱边吃奶动态| 深爱激情五月婷婷| 国产精品国产高清国产av| 岛国在线免费视频观看| 不卡视频在线观看欧美| 欧美zozozo另类| 亚洲av五月六月丁香网| 国模一区二区三区四区视频| 国产一级毛片七仙女欲春2| 国产精品嫩草影院av在线观看| 亚洲第一区二区三区不卡| 国产成人影院久久av| 精品熟女少妇av免费看| 久久久国产成人免费| 国产高清视频在线播放一区| 一级黄片播放器| 国产av在哪里看| 国产亚洲欧美98| 蜜臀久久99精品久久宅男| 麻豆精品久久久久久蜜桃| 日本与韩国留学比较| 97超级碰碰碰精品色视频在线观看| 日本与韩国留学比较| 国产精品久久久久久久久免| 搡女人真爽免费视频火全软件 | 亚洲精品成人久久久久久| 又爽又黄无遮挡网站| 国产一区二区在线观看日韩| 级片在线观看| 少妇的逼好多水| 国产精品野战在线观看| 免费大片18禁| 欧美不卡视频在线免费观看| 午夜亚洲福利在线播放| 国产在线男女| 国产国拍精品亚洲av在线观看| 啦啦啦观看免费观看视频高清| 女生性感内裤真人,穿戴方法视频| 午夜免费男女啪啪视频观看 | 黄色配什么色好看| 女人十人毛片免费观看3o分钟| h日本视频在线播放| 一区二区三区免费毛片| 免费在线观看影片大全网站| 秋霞在线观看毛片| 3wmmmm亚洲av在线观看| 亚洲久久久久久中文字幕| 香蕉av资源在线| 人妻丰满熟妇av一区二区三区| 国产亚洲91精品色在线| 中国美白少妇内射xxxbb| 一夜夜www| 黄色日韩在线| 一本一本综合久久| 亚洲精品在线观看二区| 精品99又大又爽又粗少妇毛片| 99热网站在线观看| 日韩一区二区视频免费看| 激情 狠狠 欧美| 久久久久久久久久成人| 六月丁香七月| 日韩欧美 国产精品| 在线看三级毛片| 91av网一区二区| 精品午夜福利视频在线观看一区| 我的女老师完整版在线观看| 看片在线看免费视频| 日韩欧美免费精品| 亚洲专区国产一区二区| 亚洲欧美中文字幕日韩二区| 午夜影院日韩av| 欧美另类亚洲清纯唯美| 国产精品人妻久久久影院| 国产av麻豆久久久久久久| 久久久久久国产a免费观看| 日韩欧美在线乱码| 免费搜索国产男女视频| 午夜福利在线观看免费完整高清在 | 欧美色欧美亚洲另类二区| 91av网一区二区| 综合色丁香网| 亚洲最大成人中文| 国产精品久久视频播放| 悠悠久久av| 99热这里只有是精品在线观看| 一a级毛片在线观看| 国产大屁股一区二区在线视频| 色哟哟·www| 91狼人影院| 国产成人a∨麻豆精品| 日本黄大片高清| 一级黄片播放器| 男人舔女人下体高潮全视频| 午夜精品一区二区三区免费看| a级毛片免费高清观看在线播放| 欧美日韩国产亚洲二区| 亚洲精品久久国产高清桃花| 久久精品人妻少妇| 亚洲av不卡在线观看| 久久久久久久久大av| 日日摸夜夜添夜夜添小说| 日韩欧美免费精品| 熟女电影av网| 在线看三级毛片| 婷婷六月久久综合丁香| 99久久精品一区二区三区| 日本免费a在线| 亚洲人成网站在线播放欧美日韩| 非洲黑人性xxxx精品又粗又长| 少妇被粗大猛烈的视频| 亚洲三级黄色毛片| 精品免费久久久久久久清纯| 白带黄色成豆腐渣| 亚洲av免费高清在线观看| 国产av在哪里看| 直男gayav资源| 国产一区二区激情短视频| 久久亚洲国产成人精品v| 亚洲婷婷狠狠爱综合网| 日本免费一区二区三区高清不卡| 人妻久久中文字幕网| 亚洲精品色激情综合| 亚洲欧美成人精品一区二区| 欧美xxxx黑人xx丫x性爽| 国产女主播在线喷水免费视频网站 | 91久久精品电影网| 性欧美人与动物交配| 免费电影在线观看免费观看| 久久久欧美国产精品| 毛片一级片免费看久久久久| 国产乱人视频| 日本三级黄在线观看| 国产一区二区激情短视频| 黄色一级大片看看| 人妻少妇偷人精品九色| 看非洲黑人一级黄片| 免费观看精品视频网站| 一区二区三区四区激情视频 | 有码 亚洲区| 又黄又爽又免费观看的视频| 国产片特级美女逼逼视频| 美女免费视频网站| 亚洲三级黄色毛片| 亚洲欧美日韩卡通动漫| 亚洲一区二区三区色噜噜| 国产精品伦人一区二区| 深夜精品福利| 免费看光身美女| 亚洲四区av| 欧美日韩在线观看h| 日本一本二区三区精品| 天美传媒精品一区二区| 国产精品一区二区性色av| 91精品国产九色| 长腿黑丝高跟| 大香蕉久久网| 国产精品美女特级片免费视频播放器| 久久亚洲精品不卡| 在线国产一区二区在线| videossex国产| 99国产极品粉嫩在线观看| 国内久久婷婷六月综合欲色啪| 淫秽高清视频在线观看| 插逼视频在线观看| 免费看av在线观看网站| 欧美精品国产亚洲| 日韩,欧美,国产一区二区三区 | 久久久久九九精品影院| 国产午夜精品久久久久久一区二区三区 | av天堂中文字幕网| 日本撒尿小便嘘嘘汇集6| 免费电影在线观看免费观看| 国产精品99久久久久久久久| 日本一二三区视频观看| 美女免费视频网站| 国产伦精品一区二区三区四那| 一个人观看的视频www高清免费观看| 国产高潮美女av| 欧洲精品卡2卡3卡4卡5卡区| or卡值多少钱| 欧美三级亚洲精品| 国产单亲对白刺激| 亚洲av成人av| 网址你懂的国产日韩在线| 国产麻豆成人av免费视频| 国产伦精品一区二区三区视频9| 午夜日韩欧美国产| 最近手机中文字幕大全| 美女免费视频网站| 看片在线看免费视频| 国模一区二区三区四区视频| 村上凉子中文字幕在线| 精品一区二区三区av网在线观看| 一区二区三区四区激情视频 | 舔av片在线| 成年女人看的毛片在线观看| 欧美3d第一页| 床上黄色一级片| 精品福利观看| 免费在线观看成人毛片| 色吧在线观看| 久久鲁丝午夜福利片| 国产麻豆成人av免费视频| 香蕉av资源在线| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲欧美中文字幕日韩二区| www.色视频.com| 搞女人的毛片| 春色校园在线视频观看| 亚洲欧美日韩无卡精品| 日日摸夜夜添夜夜添小说| 一边摸一边抽搐一进一小说| 午夜福利18| 国产av麻豆久久久久久久| 在线观看午夜福利视频| 久久国产乱子免费精品| 亚洲av中文字字幕乱码综合| 午夜免费激情av| 蜜臀久久99精品久久宅男| 黄色欧美视频在线观看| 亚洲精品影视一区二区三区av| 午夜福利18| av专区在线播放| 日韩欧美精品免费久久| av国产免费在线观看| 午夜日韩欧美国产| 在现免费观看毛片| 久久婷婷人人爽人人干人人爱| 亚洲无线观看免费| 午夜爱爱视频在线播放| 色吧在线观看| 婷婷亚洲欧美| 狂野欧美白嫩少妇大欣赏| 黑人高潮一二区| 人人妻人人澡人人爽人人夜夜 | 人人妻,人人澡人人爽秒播| 午夜精品一区二区三区免费看|