• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合后驗概率和密度的不平衡數(shù)據(jù)欠采樣方法

    2022-12-06 10:37:22任艷平江一飛嚴遠亭張燕平
    計算機工程與應(yīng)用 2022年23期
    關(guān)鍵詞:后驗分類器分類

    任艷平,鄭 重,江一飛,嚴遠亭,張燕平

    安徽大學 計算機科學與技術(shù)學院,合肥 230601

    近年來,隨著機器學習和數(shù)據(jù)挖掘等技術(shù)快速發(fā)展,越來越多的機器學習算法從學術(shù)界走向工業(yè)界。然而這一過程也面臨許多實際問題的挑戰(zhàn)。數(shù)據(jù)不平衡問題就是一個典型的例子。對一個二分類問題,樣本數(shù)量相對較少稱為少數(shù)類,樣本數(shù)量較多的稱為多數(shù)類。數(shù)據(jù)的不平衡分布對傳統(tǒng)機器學習方法提出了挑戰(zhàn),這些算法在構(gòu)建和訓練模型時都有一個基本假設(shè):類間樣本呈均勻分布。將這些算法直接用于不平衡數(shù)據(jù)時,最終得到的結(jié)果往往不是很理想。這是因為以最小化總體誤差為學習目標的傳統(tǒng)分類算法會忽視少數(shù)類而過多地關(guān)注多數(shù)類。但在很多實際應(yīng)用場景中少數(shù)類更值得關(guān)注。如醫(yī)學診斷[1]、欺詐檢測[2]、破產(chǎn)預(yù)測[3]、文本識別[4]、漏油檢測[5]等。

    針對不平衡數(shù)據(jù)的學習問題,學者們從不同角度提出了大量解決方法,這些方法大致可以分為三類:數(shù)據(jù)層面的方法[6-8]、算法層面的方法[9-10]和集成方法[11]。數(shù)據(jù)層面的方法通過對不平衡數(shù)據(jù)重采樣,使不平衡的樣本分布變得相對平衡,從而提高分類器對少數(shù)類的識別率。重采樣包括過采樣、欠采樣和混合采樣。算法層面方法通過修改現(xiàn)有算法或提出新算法來解決類不平衡問題。如代價敏感方法,對不同的類別分配不同的誤分類代價,通常賦予少數(shù)類樣本更高的誤分類代價,從而增強分類器對少數(shù)類樣本的識別能力。集成方法通常結(jié)合前面兩類方法構(gòu)建多個學習器,并采用集成策略將這些學習器組合成一個多分類系統(tǒng),以此來提升模型的分類性能[12-13]。數(shù)據(jù)層面的方法是目前解決類不平衡問題的主流方法,它的主要優(yōu)勢在于其實現(xiàn)簡單且能夠直接應(yīng)用于傳統(tǒng)機器學習算法。

    過采樣和欠采樣是目前使用最多的兩種數(shù)據(jù)層面的方法。過采樣方法主要通過生成合成新樣本來平衡數(shù)據(jù)分布。其典型代表有SMOTE[14]、Borderline-SMOTE[15]、ADASYN[16]等。但是如何合理地生成新樣本避免引入額外異常樣本和可能的過擬合問題仍然是過采樣的一大難點[17]。欠采樣方法則是通過選取多數(shù)類樣本的子集來緩解類別不平衡現(xiàn)象。相較于過采樣而言,欠采樣方法訓練時間更少,訓練過程中采用的數(shù)據(jù)都是來自原數(shù)據(jù)集中的樣本,使得模型更加真實可靠[18]。當前關(guān)于欠采樣的研究大多認為不適當?shù)臉颖具x擇策略所導致的關(guān)鍵樣本的信息丟失是影響欠采樣方法性能的主要原因,為此,研究者從不同角度提出了一系列的針對性的方法[19-22]。

    與此同時,近年來有研究[23-25]表明,相較于類別不平衡,數(shù)據(jù)復(fù)雜因子如類重疊、子概念、噪聲等對不平衡學習的性能具有更為直接和重要的影響。已有一些研究表明,高效地處理類別重疊能夠有效提升過采樣方法的性能[26-27]。但是,對欠采樣方法中處理類別重疊的相關(guān)研究并不多見。欠采樣處理重疊問題主要是為了避免選擇高重疊的樣本。過采樣方法處理重疊問題主要是避免生成的樣本進一步造成重疊,加重采樣之后的重疊程度。這兩種方法處理類別重疊的目的都是為了使平衡后的數(shù)據(jù)集中的樣本重疊度低,它們的區(qū)別主要在于實現(xiàn)途徑不同。為此,本文針對欠采樣過程中的類重疊問題,提出了一種基于后驗概率和分布密度的欠采樣(BPDDUS)方法。該方法的主要思路是先通過樣本的近鄰信息,實現(xiàn)重疊區(qū)域樣本的檢測并提出了相應(yīng)的重疊樣本清洗策略,其次通過樣本的分布信息對清洗后的樣本進行欠采樣,提升不平衡學習的性能。本文的主要貢獻如下:

    (1)提出了一種能夠有效處理類別重疊的欠采樣方法。該方法提出了一種基于貝葉斯后驗概率的先清洗后欠采樣的策略。

    (2)提出一種融合多數(shù)類全局密度信息和局部分布信息的樣本選擇方法,引入集成學習強化不平衡學習的性能。

    (3)在43個不平衡數(shù)據(jù)集上和13種采樣方法的對比實驗,驗證了本文所提的考慮避免重疊的欠采樣思路的有效性。

    1 相關(guān)工作

    自SMOTE被提出以來,不平衡數(shù)據(jù)學習受到廣泛關(guān)注,涌現(xiàn)了大量基于SMOTE的衍生算法。如Han等人[15]提出的專注處于邊界區(qū)域的少數(shù)類樣本的Borderline-SMOTE策略;He等人[16]提出的專注于困難樣本的ADASYN策略;Bunkhumpornpat等人[28]提出的專注于安全區(qū)域樣本的Safe-Level-SMOTE策略;以及結(jié)合聚類技術(shù)來避免采樣過程中生成噪聲樣本或重疊樣本的LR-SMOTE[29]、GDDSYN[30]方法;引入過濾或清洗技術(shù)的混合采樣方法SMOTE-IPF[31]、SMOTE-Tomek和SMOTE-ENN[32]等。

    與過采樣策略相對應(yīng)的方法為欠采樣方法,它包括隨機欠采樣和有監(jiān)督欠采樣。隨機欠采樣方法(RUS)是從多數(shù)類中隨機抽樣,被選中的樣本將被刪除直到數(shù)據(jù)集達到平衡為止。然而,該方法未考慮數(shù)據(jù)的實際分布情況,采樣具有隨機性,容易丟失樣本的重要信息。有監(jiān)督欠采樣方法則需要預(yù)先設(shè)定好選擇標準,有目的地刪除多數(shù)類樣本來平衡數(shù)據(jù)分布。如何根據(jù)不平衡數(shù)據(jù)的分布信息選取多數(shù)類樣本來構(gòu)建分類決策面成為此類方法的研究重點。

    近年來,研究者們提出了許多智能的欠采樣方法。Wilson[33]提出的ENN根據(jù)K近鄰分類原則將錯分的多數(shù)類刪除,但由于大部分多數(shù)類樣本的局部區(qū)域分布的樣本多為同類樣本,導致ENN所能刪除的樣本十分有限。Ivan[34]提出的Tomek Links通過清洗數(shù)據(jù)來降低類間重疊,其主要思路是找到兩個類標簽不同且最近鄰互為對方的樣本,然后移除屬于多數(shù)類的樣本或兩者。Hart[19]提出使用1-NN的方法壓縮多數(shù)類的CNN方法。此外,Mani等人[35]提出了Near Miss利用多數(shù)類和少數(shù)類之間的距離關(guān)系剔除多數(shù)類樣本的一類方法。Smith等人[23]提出IHT方法,它是在訓練數(shù)據(jù)集上應(yīng)用分類器,然后篩選掉概率低于閾值的多數(shù)類樣本。

    然而,上述方法大多都是基于近鄰信息和隨機欠采樣的簡單規(guī)則,在處理復(fù)雜的數(shù)據(jù)時得到的分類效果往往不佳?;诰垲惒呗缘那凡蓸臃椒ㄖ饕肒-means算法將訓練數(shù)據(jù)集劃分為多個簇,然后從這些簇中挑選信息多數(shù)類樣本子集。如Lin等人[20]介紹了兩種聚類欠采樣策略。該方法先將所有的多數(shù)類樣本聚類為與少數(shù)類樣本等量的簇,然后提出利用簇中心來表示多數(shù)類和使用簇中心的最近鄰樣本代表多數(shù)類的兩種樣本選擇策略。然而,基于K-means的聚類方法容易受到噪聲和離群點的影響,當數(shù)據(jù)分布比較復(fù)雜時,這類方法并不可靠。

    近年來,集成技術(shù)在欠采樣中得到了廣泛的應(yīng)用,相關(guān)研究[13,36]表明欠采樣算法更適用于構(gòu)建集成學習分類系統(tǒng)?;诩傻那凡蓸臃椒ㄍㄟ^在多個欠采樣數(shù)據(jù)集上訓練一組分類器,能夠在一定程度上減少多數(shù)類樣本的信息丟失問題,提高模型性能。集成欠采樣方法的典型代表有Seiffert等人[11]提出的RUSBoost及Liu等人[13]提出的EasyEnsemble和BalanceCascade等。

    此外,現(xiàn)有研究表明當數(shù)據(jù)樣本單純在數(shù)量上不平衡時并不意味著這個數(shù)據(jù)就難以分類,而是在不平衡之外的其他因素[37],比如噪聲、離群點、類重疊等也會影響模型的分類性能,而類的不平衡會進一步加劇這一問題。為此,出現(xiàn)一些針對不平衡數(shù)據(jù)中類重疊問題的相關(guān)研究[38-39]。

    2 融合后驗概率和密度的不平衡數(shù)據(jù)欠采樣方法

    本章主要介紹基于貝葉斯后驗概率的欠采樣方法BPDDUS。BPDDUS的工作原理主要由以下三部分組成:首先,清洗多數(shù)類中的噪聲和重疊樣本;然后,對處理后的多數(shù)類樣本分配權(quán)重;最后,根據(jù)多數(shù)類樣本的采樣權(quán)重隨機采樣并構(gòu)造多個基分類器,集成訓練。

    為描述方便,這里先給出一些形式化的描述:Dtrain=Dmaj∪Dmin,Dtrain表示給定的不平衡訓練集,Dmaj表示多數(shù)類樣本集,Dmin表示少數(shù)類樣本集。N=Nmaj+Nmin,N為訓練集樣本數(shù)量,Nmaj為多數(shù)類樣本數(shù)量,Nmin為少數(shù)類樣本數(shù)量。X∈Dtrain∧X=(x1,x2,…,xm),X表示一個m維的樣本,xi表示樣本的第i個特征值。Y={y1,y2},Y表示樣本的標簽,其中y1為多數(shù)類標簽,y2為少數(shù)類標簽。

    2.1 多數(shù)類樣本的清洗

    對重疊區(qū)域的多數(shù)類樣本進行處理能夠有效提升不平衡數(shù)據(jù)的分類效果,本文提出的方法通過對樣本局部信息學習,根據(jù)樣本局部分布特征對多數(shù)類樣本進行清洗,避免選擇的多數(shù)類樣本子集中還存在高重疊樣本。目前,挖掘局部信息的方法有很多,最經(jīng)典的是基于KNN的方法,已經(jīng)廣泛應(yīng)用于許多學習算法中,比如SMOTE、MWMOTE等。

    此外,分類決策實質(zhì)上是通過將待識別樣本的特征空間劃分成多個決策區(qū)域,然后根據(jù)樣本的特征向量位于哪個決策區(qū)域來判斷它屬于哪一類別。貝葉斯決策論是概率框架下實施決策的基本方法。對分類任務(wù)來說,在所有相關(guān)概念都已知的理想情形下,貝葉斯決策論考慮如何基于這些概率和誤判損失來選擇最優(yōu)的類別標記[40]。在這里,利用貝葉斯后驗概率的KNN估計來獲取多數(shù)類樣本的局部信息,并依據(jù)樣本的局部信息來識別多數(shù)類樣本中的噪聲、重疊樣本以及信息樣本。其中,貝葉斯后驗概率的K近鄰估計公式如下:

    其中,BPi表示待測樣本Xi屬于Y的概率,K表示Xi的最近鄰樣本數(shù)量,NK_Y表示Xi的K個近鄰中同類樣本的數(shù)量?;谑剑?)來計算訓練集中每個多數(shù)類樣本屬于多數(shù)類的后驗概率,得到式(2),且Xi∈Dmaj,1≤i≤Nmaj。

    本文提出的方法首先利用式(2)計算每個多數(shù)類樣本屬于多數(shù)類的后驗概率,然后根據(jù)概率值大小篩選信息多數(shù)類樣本。

    從總體上來看,隨著BPi的增大,樣本的安全水平也在增大。然而,對于BPi<1 2的樣本,它們的重疊程度較高,周圍分布了較多的異類樣本。這些樣本大概率為噪聲或重疊樣本,對后續(xù)的模型訓練會產(chǎn)生不利影響。相反,對于BPi≥1 2的樣本,這些樣本是靠近決策邊界或位于多數(shù)類樣本的密集區(qū)域或邊緣區(qū)域的信息樣本,相對比較安全。尤其是那些靠近邊界的邊緣樣本,它們攜帶了分類的重要信息,這類樣本有助于提升模型的分類性能。為了增強分類邊界的可分性,提升后續(xù)不平衡數(shù)據(jù)的學習性能,將BPi<1 2的多數(shù)類的采樣權(quán)重設(shè)置為0,以避免噪聲樣本或高度重疊區(qū)域中的多數(shù)類樣本參與后續(xù)的模型訓練。

    如圖1,圓圈表示多數(shù)類樣本,四角星表示少數(shù)類樣本。為了更好地描述多數(shù)類樣本的局部情況,以圖1(a)~(b)中多數(shù)類樣本A、B、C分別描述噪聲樣本、重疊樣本以及信息樣本(最近鄰數(shù)量為5)。其中,圖1(a)中樣本A深入少數(shù)類內(nèi)部,其周圍分布的全為少數(shù)類樣本,后驗概率BPA=0;圖1(b)中的樣本B靠近少數(shù)類群,其后驗概率BPB=2 5,這類樣本的類別不確定性最大,不僅會影響其周圍少數(shù)類樣本的識別,還會模糊類決策邊界,增加類不平衡問題的學習難度。圖1(c)中的樣本C遠離少數(shù)類群,其后驗概率BPC=1,這類樣本對于不平衡數(shù)據(jù)的分類模型有著重要的作用。

    圖1 不同類型的多數(shù)類樣本示意圖Fig.1 Different types of majority samples in imbalanced data

    2.2 多數(shù)類樣本的加權(quán)

    在2.1節(jié)中,本文利用貝葉斯后驗概率的K近鄰估計剔除不平衡訓練集中潛在的噪聲點和重疊度較高的多數(shù)類樣本,如圖2(a)黑色實心圓為被剔除的樣本,空心圓為信息樣本。接下來,將對剩余的信息多數(shù)類樣本做進一步分析,根據(jù)不平衡數(shù)據(jù)的分布特征來評估不同樣本對分類的重要程度并依此為其分配相應(yīng)的采樣權(quán)重。

    根據(jù)信息多數(shù)類樣本在輸入空間的初始分布情況可以把樣本劃分為三種類型:第一種為靠近分類邊界的邊緣樣本,即內(nèi)邊緣樣本;第二種為處于多數(shù)類內(nèi)部區(qū)域的高密度樣本,即中間樣本;第三種為遠離分類決策邊界、遠離中間樣本的外邊緣樣本。如圖2(b),黃色實心圓為內(nèi)邊緣樣本,紅色實心圓為中間樣本,藍色實心圓為外邊緣樣本。在這三類樣本中,中間樣本的密度最大,內(nèi)邊緣樣本和外邊緣樣本的密度相對較小。另外,遠離邊界的中間樣本和外邊緣樣本冗余度較大,能夠提供的信息比較有限,它們所攜帶的信息分類器可以從其他樣本中獲得。相比之下,內(nèi)邊緣樣本能夠提供更多的有用信息,對提升模型的學習性能有著重要的作用。如果僅考慮樣本的密度進行采樣,那么中間樣本就會采得多,其他樣本少。雖然當前已有基于密度的采樣方法[30],但是單用密度在某些情況下并不能很好地度量樣本之間的差異性。如圖2(b)中的Part1和Part2區(qū)域中的樣本,這些樣本的密度雖然相同,但是它們距離分類決策面的距離是不一樣的。Part2區(qū)域中的樣本比Part1區(qū)域中的樣本距離決策面更近,對分類的貢獻程度更大,得到的采樣權(quán)應(yīng)該更大。因此,為了更好地度量樣本對不平衡學習的重要程度,引入了信息熵來進一步刻畫樣本之間的差異。其中,樣本離分類決策面越近,熵值就越大。綜合考慮樣本的全局密度和樣本的信息熵來評估樣本對分類的重要性。這里給出以下公式來計算樣本的全局密度、信息熵以及多數(shù)類樣本的采樣權(quán)重:

    圖2 信息多數(shù)類樣本的空間分布圖Fig.2 Spatial distribution of informative majority samples

    式(3)為基于高斯核的全局密度計算公式,?Xi,Xj∈Dmaj,i≠j,Di表示樣本Xi的全局密度,dc表示截斷距離表示樣本Xi和Xj之間的歐氏距離,ω為比例因子。式(4)為伯努利分布熵計算公式,Ei表示多數(shù)類樣本的信息熵值。式(5)為樣本的權(quán)重wi計算公式。為了消除量綱的影響,在獲得樣本的采樣權(quán)重后對其進行規(guī)范化處理。

    2.3 集成學習模型的構(gòu)建

    通過2.1節(jié)和2.2節(jié)對訓練數(shù)據(jù)集進行預(yù)處理并按采樣權(quán)重無放回地隨機抽取Nmin個信息多數(shù)類樣本,結(jié)合少數(shù)類樣本以獲取一個平衡分布的數(shù)據(jù)集。這雖然在一定程度上能夠減少關(guān)鍵多數(shù)類樣本的信息丟失,但若數(shù)據(jù)中少數(shù)類的絕對數(shù)量很少時,欠采樣很容易由于訓練數(shù)據(jù)不足,出現(xiàn)欠擬合現(xiàn)象,導致分類性能變差,同時樣本的信息丟失問題仍無法有效解決。為此,集成學習策略被廣泛應(yīng)用于不平衡數(shù)據(jù)集的欠采樣中,通過構(gòu)建集成學習系統(tǒng)能夠有效地緩解多數(shù)類樣本的信息丟失問題,同時提升后續(xù)模型的泛化能力。

    本文結(jié)合加權(quán)隨機采樣和并行集成方法來構(gòu)造不平衡數(shù)據(jù)的集成分類學習模型。其中,并行集成方法的主要原理是利用不同基分類器之間的差異性,通過各分類器的投票結(jié)果來降低分類錯誤。具體實現(xiàn)過程如下:

    (1)構(gòu)建單個基分類器:對多數(shù)類樣本按權(quán)重無放回地隨機抽取與少數(shù)類等量的樣本,并結(jié)合所有少數(shù)類樣本構(gòu)建基分類器。

    (2)形成集成學習系統(tǒng):對訓練集重復(fù)執(zhí)行步驟(1)來構(gòu)建一組基分類器,并將獲取的基分類器用于bagging集成學習。

    (3)結(jié)合所有基分類器的預(yù)測值,由相對多數(shù)投票決定最終的分類結(jié)果。

    本文方法先通過貝葉斯后驗概率來清洗重疊樣本,然后根據(jù)全局分布密度和信息熵為信息樣本設(shè)置權(quán)重,并依此按權(quán)隨機欠采樣,最后構(gòu)建集成學習系統(tǒng).算法的具體步驟如下:

    算法1融合后驗概率和密度的不平衡數(shù)據(jù)欠采樣方法(BPDDUS)

    輸入:不平衡訓練集Dtrain,近鄰數(shù)量K,比例因子ω,基分類器數(shù)T。

    3 實驗設(shè)計與分析

    為了驗證所提算法的有效性,本文采用KEEL數(shù)據(jù)庫(http://www.keel.es)中的二分類不平衡數(shù)據(jù)集進行對比實驗。

    3.1 數(shù)據(jù)集

    本文基于KEEL數(shù)據(jù)集庫中的100個不平衡數(shù)據(jù)集進行實驗研究??紤]到KEEL中的一些數(shù)據(jù)集都是來自同一原始數(shù)據(jù)的分解變換,為此對數(shù)據(jù)集進行了篩選。首先,選擇所有未重復(fù)的數(shù)據(jù)集;然后,對于重復(fù)的數(shù)據(jù)集選擇不平衡率最高和次高的數(shù)據(jù)集;最后,對剩余的數(shù)據(jù)集,選擇少數(shù)類樣本數(shù)量少于10個的數(shù)據(jù)集。通過上述的方法得到43個數(shù)據(jù)集。表1給出了選定數(shù)據(jù)集的詳細信息。其中,IR表示數(shù)據(jù)的不平衡率,OR表示類間的重疊程度[41],m表示樣本的屬性個數(shù),N表示訓練集樣本的數(shù)量,Nmaj表示多數(shù)類樣本的數(shù)量,Nmin表示少數(shù)類樣本的數(shù)量。數(shù)據(jù)集按IR從小到大排列,這些數(shù)據(jù)集的IR范圍為1.86~129.44,OR范圍為0~0.99。

    表1 43個KEEL數(shù)據(jù)集的詳細信息Table 1 Details of 43 KEEL datasets

    3.2 性能指標

    目前比較常用的分類器的評價指標主要有準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score、G-mean以及AUC。其中,準確率為分類正確的樣本占總體樣本的百分比,它是分類問題中最簡單、直觀的評估指標,但存在著明顯的缺陷。當處理不平衡數(shù)據(jù)的問題時,準確率不能客觀評價學習算法的好壞;Precision又稱查準率,針對樣本最終的分類結(jié)果而言,在所有被分類為少數(shù)類的樣本中實際為少數(shù)類的樣本的概率,表示對少數(shù)類樣本的預(yù)測準確程度;Recall又叫查全率,針對實際樣本而言,在實際為少數(shù)類的樣本中被分類為少數(shù)類樣本的概率。F1-score是Precision和Recall的加權(quán)調(diào)和平均值,是Precision和Recall的綜合指標,F(xiàn)1-score越高,學習模型就越穩(wěn)??;G-mean是反映了分類器對整體分類性能的評估指標,只有當少數(shù)類和多數(shù)類的識別率都比較高時,G-mean就較高;AUC則是ROC曲線[42]下的面積,AUC值越大,模型的分類效果越好。因此,本文以AUC、G-mean和F1-score作為性能的評估指標。

    3.3 參數(shù)分析

    BPDDUS算法主要參數(shù):(1)K用于挖掘多數(shù)類樣本局部信息的最近鄰數(shù)量;(2)ω用于計算多數(shù)類樣本全局密度的比例因子;(3)T集成訓練的基分類器數(shù)量。對于KNN近鄰估計K參數(shù),如果取值過小容易產(chǎn)生方差較大的估計,然而K值過大則會產(chǎn)生偏移估計,所以在這里將K設(shè)置與SMOTE算法中近鄰參數(shù)相同,即K=5。在本節(jié)中進行了兩組實驗分別研究ω和T對BPDDUS算法的分類性能影響,由于高斯徑向基核函數(shù)具有較強的局部性,參數(shù)ω決定了該函數(shù)的作用范圍,隨著ω的增大其局部感知能力會減弱。在這里,將ω的域值設(shè)定在[1%,2%,3%,4%,5%]。為了節(jié)省空間,從表1中隨機選取5個IR不同級別的數(shù)據(jù)集替代選定的所有數(shù)據(jù)集進行實驗,它們分別為wisconsin、flare-F、yeast6、poker-8_vs_6和abalone19,對應(yīng)的IR分別為1.86、23.79、41.40、85.88、129.44。如表2為不同ω下BPDDUS在三個指標下的性能值。

    表2 不同ω下BPDDUS的性能值Table 2 Performance values of different ω on BPDDUS

    根據(jù)表2中的對比結(jié)果可知:(1)同一數(shù)據(jù)集在不同ω下BPDDUS的性能差距不明顯,說明BPDDUS算法對參數(shù)ω的敏感度比較小,分類性能比較穩(wěn)定。(2)較小的數(shù)據(jù)集在ω為1%~2%分類效果相對更好,較大的數(shù)據(jù)集在ω為4%~5%效果更好。對于集成訓練參T,研究T分別在[1,5,10,20,30,40,50]下與BPDDUS算法性能的關(guān)系。如圖3為BPDDUS隨T的改變下的AUC值。從圖中可以看出,隨著T的增大,模型的分類性能逐漸升高,特別是在基分類器從1~5時效果明顯。同時,對IR較小的數(shù)據(jù)集wisconsin,T值的改變對BPDDUS算法性能變化不明顯,而對IR較大的數(shù)據(jù)集poker-8_vs_6和abalone19在T由1增大到20這一階段,BPDDUS算法性能提升比較明顯,在T為30~50時BPDDUS在這5個數(shù)據(jù)集上的性能較穩(wěn)定。從上述實驗結(jié)果可以進一步說明集成學習的重要性,對于不平衡率較高的數(shù)據(jù)集,可以通過增加基礎(chǔ)學習器來提升模型的分類性能。

    圖3 不同T下BPDDUS的AUC值Fig.3 AUC values of BPDDUS at different T values

    3.4 結(jié)果分析

    為了防止在訓練過程中出現(xiàn)過擬合問題,同時確保訓練集和測試集的類間比例與原始數(shù)據(jù)一致,本文采用5折分層交叉驗證法進行實驗。每次實驗運行10次,實驗結(jié)果取10次5交叉的AUC、G-mean和F1-score均值以避免實驗的隨機性對結(jié)果產(chǎn)生影響。本文將BPDDUS(簡寫為BPUS)算法與13種采樣方法進行比較,分別為:ClusterCentroids(CC)、NearMiss(NM)、ENN、TomekLinks(TL)、SMOTE+Tomek(ST)、SMOTE-IPF(SI)、RUS、EasyEnsemble(EE)、RUSBoost(RB)、CNN、AdaCost(AC)、IHT、RBU。這13種算法均來源于imblearn庫。為了保證實驗的公正性,所有實驗均以CART決策樹為基分類器,對比算法的所有參數(shù)均為默認參數(shù)。

    同時,為了更直觀地分析實驗結(jié)果,將BPUS與不同算法在43個不平衡數(shù)據(jù)集上的AUC、G-mean和F1-score的對比結(jié)果整理為圖4~6。圖中深藍色的部分“DN+”表示在當前性能指標上,BPUS性能值大于其他對比方法的數(shù)據(jù)集數(shù)量,淺藍色部分“DN=”表示BPUS與其他方法的性能值相同的數(shù)據(jù)集數(shù)量,黃色部分“DN-”表示其他方法性能值大于BPUS的數(shù)據(jù)集數(shù)量。從圖4和圖5可以看出在指標AUC、G-mean上BPUS與其他方法相比至少有20個數(shù)據(jù)集表現(xiàn)更優(yōu),尤其是與CC、NM、RUS、RBU相比本文的BPUS算法優(yōu)勢更加明顯。由圖6可知,本文所提方法盡管在F1-score上超過了5種算法,但整體而言,相對表現(xiàn)不佳。尤其是和SMOTE+Tomek、SMOTE-IPF的表現(xiàn)差距較大,這一結(jié)果與文獻[18]的結(jié)果一致,其可能的原因是:一方面過采樣方法能夠提供更多的安全樣本和更低比例的危險樣本;另一方面,當數(shù)據(jù)集中少數(shù)類樣本較少時,在交叉驗證的訓練過程中訓練集由于缺乏少數(shù)類數(shù)據(jù)的支撐,而導致對少數(shù)類樣本的識別精度偏低,這可能是另一個方面的原因。

    圖4 對比實驗指標AUC結(jié)果Fig.4 AUC results of comparative experiment

    圖5 對比實驗指標G-mean結(jié)果Fig.5 G-mean results of comparative experiment

    圖6 對比實驗指標F1-score結(jié)果Fig.6 F1-score results of comparative experiment

    為了進一步驗證BPUS算法的有效性,本文對上述13種對比算法和BPUS算法進行無參的顯著性統(tǒng)計假設(shè)檢驗,在這里使用雙因素秩方差分析(Friedman檢驗),表3為所有算法在選定的不平衡數(shù)據(jù)集上Friedman檢驗的統(tǒng)計量結(jié)果,其顯著性水平α=0.05,檢驗服從統(tǒng)計量為22.36,F(xiàn)F(1 3,546)為1.74。從表中可以看出AUC、G-mean和F1-score下和FF均大于和FF(1 3,546),p值遠遠小于0.05,這說明在0.05的水平上應(yīng)該拒絕原假設(shè),認為這14種算法的分類效果不一樣。

    表3 14種算法在43個數(shù)據(jù)集上的Friedman檢驗統(tǒng)計值Table 3 Friedman test statistics of 14 algorithms on 43 data sets

    同時利用Friedman檢驗得到了不同算法在43個數(shù)據(jù)集上三個指標的平均優(yōu)劣排名次序,見圖7~9。其中,算法的性能越好,排名就越靠前。在圖7~9中離圓的中心點越近表明算法表現(xiàn)就越好,反之,離圓的中心點越遠或者離圓的邊界越近算法性能就越差。從圖7~9中可以看出本文提出的方法在AUC和G-mean上明顯優(yōu)于其他算法。具體來說,在AUC上表現(xiàn)最好的三個算法為BPUS、EasyEnsemble和IHT,其平均排名次序分別為4.3、5.38、5.78,較差的為平均排名為10.6、10.2、9.23的NM、RBU和CNN算法。同理,在G-mean上可以得出相似的結(jié)論,性能最好的三個算法仍然為BPUS、EasyEnsemble和IHT,較差的為NM、AdaCost、CNN算法。在F1-score上表現(xiàn)較優(yōu)的為SMOTE+Tomek、SMOTE-IPF、ENN和TomekLinks,IHT、AdaCost和BPUS表現(xiàn)居中,RBU、CC和NM表現(xiàn)最差。

    圖7 14種算法的AUC平均排名次序Fig.7 Average AUC ranking of 14 algorithms

    圖8 14種算法的G-mean平均排名次序Fig.8 Average G-mean ranking of 14 algorithms

    圖9 14種算法的F1-score平均排名次序Fig.9 Average F1-score ranking of 14 algorithms

    綜上所述,本文提出的方法在43個KEEL不平衡數(shù)據(jù)上總體分類效果較好,尤其是在指標AUC和G-mean表現(xiàn)優(yōu)異,這說明BPDDUS算法能夠有效地加強分類器對關(guān)鍵多數(shù)類樣本的重視,減少了重要信息的丟失。同時也證實了在進行欠采樣時考慮樣本的空間分布及局部信息的必要性和重要性。

    4 結(jié)語

    本文提出了一種基于貝葉斯后驗概率的多數(shù)類集成欠采樣方法,該方法利用貝葉斯后驗K近鄰估計充分挖掘多數(shù)類樣本的局部信息,根據(jù)樣本的空間分布盡可能準確地選取能夠映射分類信息的重要樣本,以提高后續(xù)模型訓練的質(zhì)量。通過與13種算法在43個數(shù)據(jù)集上的對比實驗結(jié)果表明,BPDDUS是一種有效的不平衡數(shù)據(jù)預(yù)處理方法。另外,F(xiàn)riedman檢驗也證明了BPDDUS與13種經(jīng)典采樣方法存在顯著性的差異,尤其在AUC和G-mean指標上,本文方法明顯優(yōu)于其他方法。

    盡管如此,BPDDUS也存在一定的局限性。當數(shù)據(jù)集中少數(shù)類樣本較少時,有限的少數(shù)類樣本能夠提供的信息十分有限,此時僅靠增加集成訓練次數(shù)無法有效地提升性能。因此,如何在此類少數(shù)類樣本極少的情況下,提升不平衡數(shù)據(jù)的學習性能值得進一步的研究。

    猜你喜歡
    后驗分類器分類
    分類算一算
    基于對偶理論的橢圓變分不等式的后驗誤差分析(英)
    貝葉斯統(tǒng)計中單參數(shù)后驗分布的精確計算方法
    分類討論求坐標
    數(shù)據(jù)分析中的分類討論
    BP-GA光照分類器在車道線識別中的應(yīng)用
    電子測試(2018年1期)2018-04-18 11:52:35
    教你一招:數(shù)的分類
    一種基于最大后驗框架的聚類分析多基線干涉SAR高度重建算法
    雷達學報(2017年6期)2017-03-26 07:53:04
    加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
    結(jié)合模糊(C+P)均值聚類和SP-V-支持向量機的TSK分類器
    精品一区二区三区视频在线| av在线观看视频网站免费| 少妇的逼水好多| 精品99又大又爽又粗少妇毛片| 下体分泌物呈黄色| 精品久久久久久久末码| 啦啦啦视频在线资源免费观看| 九色成人免费人妻av| 亚州av有码| 日本午夜av视频| 亚洲真实伦在线观看| 91久久精品电影网| 夜夜看夜夜爽夜夜摸| 成人免费观看视频高清| 欧美变态另类bdsm刘玥| 一级爰片在线观看| 内地一区二区视频在线| 亚洲精品日本国产第一区| av女优亚洲男人天堂| 亚洲精品国产av成人精品| 亚洲高清免费不卡视频| 日韩强制内射视频| 2022亚洲国产成人精品| 国产成人精品久久久久久| 日本欧美视频一区| 国产精品国产三级国产专区5o| 久久久久精品性色| 国产精品人妻久久久影院| 深夜a级毛片| 看十八女毛片水多多多| 国产在线视频一区二区| kizo精华| 伊人久久国产一区二区| 国产深夜福利视频在线观看| 亚洲精品乱码久久久v下载方式| 国产精品国产三级国产专区5o| 免费观看的影片在线观看| 久久午夜福利片| 免费观看性生交大片5| 久久久久人妻精品一区果冻| 激情 狠狠 欧美| 久久久精品94久久精品| 国产精品欧美亚洲77777| 九色成人免费人妻av| 丰满乱子伦码专区| 丰满乱子伦码专区| 久久久精品94久久精品| 欧美性感艳星| 青春草亚洲视频在线观看| 久久ye,这里只有精品| 男女国产视频网站| 亚洲av男天堂| 亚洲经典国产精华液单| 精品久久久噜噜| 久久韩国三级中文字幕| 婷婷色综合大香蕉| 边亲边吃奶的免费视频| 亚洲欧美一区二区三区黑人 | 18禁在线无遮挡免费观看视频| 我要看日韩黄色一级片| 精品久久久久久久久av| 一边亲一边摸免费视频| 国产欧美另类精品又又久久亚洲欧美| 国产成人91sexporn| 大码成人一级视频| 国产成人精品婷婷| 亚洲精品乱久久久久久| 久久久成人免费电影| 日韩伦理黄色片| 精品国产三级普通话版| 免费观看a级毛片全部| 日本av免费视频播放| 在线观看免费日韩欧美大片 | 欧美xxxx黑人xx丫x性爽| 国产在视频线精品| 国产精品久久久久成人av| 2021少妇久久久久久久久久久| 国产片特级美女逼逼视频| 大香蕉97超碰在线| 日韩亚洲欧美综合| 天天躁日日操中文字幕| 久久国产亚洲av麻豆专区| 日本av手机在线免费观看| 在线观看美女被高潮喷水网站| 久久99热这里只频精品6学生| 噜噜噜噜噜久久久久久91| 成人特级av手机在线观看| 中国国产av一级| 亚洲,一卡二卡三卡| 亚洲成人手机| 国产免费视频播放在线视频| 高清不卡的av网站| 日韩欧美精品免费久久| 午夜老司机福利剧场| 老司机影院成人| 日本欧美国产在线视频| 2021少妇久久久久久久久久久| 欧美成人a在线观看| 亚洲国产最新在线播放| 亚洲综合精品二区| 国产淫片久久久久久久久| 好男人视频免费观看在线| 性色avwww在线观看| 99热6这里只有精品| 国产 精品1| 婷婷色av中文字幕| 亚洲av在线观看美女高潮| 新久久久久国产一级毛片| 一个人免费看片子| 99热这里只有是精品50| 久久久精品免费免费高清| 99re6热这里在线精品视频| 国产在线视频一区二区| 亚洲成色77777| 国产男女超爽视频在线观看| 亚洲色图av天堂| 亚洲色图av天堂| 大陆偷拍与自拍| 大话2 男鬼变身卡| 久久久亚洲精品成人影院| 国产黄色免费在线视频| 国产精品福利在线免费观看| 午夜日本视频在线| 欧美bdsm另类| 日本vs欧美在线观看视频 | 少妇丰满av| 亚洲欧洲国产日韩| xxx大片免费视频| 亚洲国产精品一区三区| 日本爱情动作片www.在线观看| 欧美zozozo另类| 国产免费一区二区三区四区乱码| 一区二区三区免费毛片| 亚洲国产色片| 天堂俺去俺来也www色官网| 亚洲人与动物交配视频| 免费看av在线观看网站| 丝瓜视频免费看黄片| 中文字幕人妻熟人妻熟丝袜美| 男女无遮挡免费网站观看| 内射极品少妇av片p| 精品酒店卫生间| 日韩亚洲欧美综合| 欧美一区二区亚洲| 青青草视频在线视频观看| 国产成人免费无遮挡视频| 丰满少妇做爰视频| 日韩 亚洲 欧美在线| 国产视频内射| 亚洲人成网站在线播| 国产色爽女视频免费观看| 国产伦精品一区二区三区四那| 小蜜桃在线观看免费完整版高清| 亚洲最大成人中文| 在线天堂最新版资源| av网站免费在线观看视频| 亚洲一区二区三区欧美精品| 深夜a级毛片| 最近最新中文字幕免费大全7| 在线观看三级黄色| 国产av国产精品国产| 毛片女人毛片| 欧美丝袜亚洲另类| 精品亚洲乱码少妇综合久久| 又爽又黄a免费视频| 99久久精品一区二区三区| 免费看光身美女| 插逼视频在线观看| av在线观看视频网站免费| 亚洲国产av新网站| 一边亲一边摸免费视频| 精品少妇久久久久久888优播| 97热精品久久久久久| 一本久久精品| 2021少妇久久久久久久久久久| 亚洲欧美日韩卡通动漫| 亚洲四区av| 成人二区视频| 精品久久久噜噜| 久久鲁丝午夜福利片| 国产精品一区二区在线观看99| 男女边摸边吃奶| www.色视频.com| 狂野欧美激情性xxxx在线观看| 亚洲,一卡二卡三卡| 丝袜脚勾引网站| 高清毛片免费看| a级一级毛片免费在线观看| 岛国毛片在线播放| 亚洲激情五月婷婷啪啪| 国产成人91sexporn| 在线观看美女被高潮喷水网站| 精品久久久精品久久久| 水蜜桃什么品种好| 欧美极品一区二区三区四区| 国产成人精品一,二区| 国产成人freesex在线| 日本免费在线观看一区| 亚洲精品亚洲一区二区| 亚洲综合色惰| 舔av片在线| 能在线免费看毛片的网站| 熟女人妻精品中文字幕| 亚洲不卡免费看| 成人午夜精彩视频在线观看| 色网站视频免费| 亚洲精品久久久久久婷婷小说| 国产伦精品一区二区三区视频9| 狂野欧美激情性xxxx在线观看| 欧美成人a在线观看| 在线亚洲精品国产二区图片欧美 | 交换朋友夫妻互换小说| 一区在线观看完整版| 多毛熟女@视频| 91精品伊人久久大香线蕉| 下体分泌物呈黄色| 老熟女久久久| 少妇的逼水好多| 久久国产精品大桥未久av | 在线观看av片永久免费下载| 国产伦精品一区二区三区视频9| 免费观看性生交大片5| 日韩 亚洲 欧美在线| 国产日韩欧美亚洲二区| 蜜桃在线观看..| 人妻夜夜爽99麻豆av| 亚洲一级一片aⅴ在线观看| 亚洲,一卡二卡三卡| 亚洲精品日本国产第一区| 能在线免费看毛片的网站| 久久精品夜色国产| 乱码一卡2卡4卡精品| 午夜免费观看性视频| 日韩欧美一区视频在线观看 | 天堂俺去俺来也www色官网| 精品一区二区三卡| 黄色一级大片看看| 久久精品人妻少妇| 七月丁香在线播放| av卡一久久| 在线亚洲精品国产二区图片欧美 | 久久99热这里只有精品18| 亚洲av电影在线观看一区二区三区| 亚洲欧美清纯卡通| 一级av片app| 国产av一区二区精品久久 | 高清日韩中文字幕在线| 天美传媒精品一区二区| 国产毛片在线视频| 日韩,欧美,国产一区二区三区| 日韩人妻高清精品专区| 欧美日韩视频精品一区| 国产综合精华液| 国产精品熟女久久久久浪| 极品教师在线视频| 国产淫语在线视频| 欧美最新免费一区二区三区| 欧美bdsm另类| 黄色怎么调成土黄色| 下体分泌物呈黄色| 欧美极品一区二区三区四区| 国产伦理片在线播放av一区| 久久精品人妻少妇| 2018国产大陆天天弄谢| 日本欧美国产在线视频| 亚洲国产毛片av蜜桃av| 国产熟女欧美一区二区| 国产成人91sexporn| 久久国产亚洲av麻豆专区| 精品99又大又爽又粗少妇毛片| 国产在线视频一区二区| freevideosex欧美| 精品一区在线观看国产| 亚洲av免费高清在线观看| 新久久久久国产一级毛片| 一个人看的www免费观看视频| 精品国产三级普通话版| 一区二区三区四区激情视频| 成年av动漫网址| 国产精品.久久久| 国产精品偷伦视频观看了| 成人特级av手机在线观看| 男人和女人高潮做爰伦理| 尤物成人国产欧美一区二区三区| 欧美激情极品国产一区二区三区 | 亚洲欧洲国产日韩| 毛片一级片免费看久久久久| 三级国产精品片| 91狼人影院| 午夜福利在线在线| 亚洲精品国产成人久久av| 国产精品一区www在线观看| 久久这里有精品视频免费| 全区人妻精品视频| 美女国产视频在线观看| 欧美成人一区二区免费高清观看| 亚洲精品国产av蜜桃| 人人妻人人澡人人爽人人夜夜| 亚洲av成人精品一二三区| 王馨瑶露胸无遮挡在线观看| 亚洲av在线观看美女高潮| 成人亚洲欧美一区二区av| 色吧在线观看| 性色avwww在线观看| 国产日韩欧美在线精品| 天堂中文最新版在线下载| 亚州av有码| 五月天丁香电影| 成人一区二区视频在线观看| 欧美三级亚洲精品| 在线观看三级黄色| 在线免费十八禁| 夜夜爽夜夜爽视频| 免费观看av网站的网址| 五月玫瑰六月丁香| 99热全是精品| 97超碰精品成人国产| 欧美日韩在线观看h| 国产精品女同一区二区软件| 免费看日本二区| 亚洲经典国产精华液单| 18禁裸乳无遮挡动漫免费视频| 国产淫片久久久久久久久| 人人妻人人看人人澡| 国产极品天堂在线| 日日摸夜夜添夜夜爱| 午夜激情福利司机影院| 在线播放无遮挡| 2022亚洲国产成人精品| 丰满迷人的少妇在线观看| 嘟嘟电影网在线观看| 久久精品国产亚洲av涩爱| 久久久久久久久久人人人人人人| 日韩伦理黄色片| 免费观看的影片在线观看| 久久婷婷青草| 亚洲精品,欧美精品| 久久国产亚洲av麻豆专区| 中文在线观看免费www的网站| 国产免费一级a男人的天堂| 精品久久久久久久久av| 三级国产精品片| 国产在线视频一区二区| 97超视频在线观看视频| 狂野欧美激情性bbbbbb| 在线精品无人区一区二区三 | 免费在线观看成人毛片| 国产在线免费精品| av免费在线看不卡| 国产精品一区www在线观看| 国产精品不卡视频一区二区| 婷婷色综合大香蕉| 大香蕉97超碰在线| 色5月婷婷丁香| 日韩制服骚丝袜av| 国产精品久久久久久精品电影小说 | 美女福利国产在线 | 亚洲第一区二区三区不卡| 2018国产大陆天天弄谢| 亚洲欧美一区二区三区国产| 亚洲在久久综合| 我的女老师完整版在线观看| 狂野欧美白嫩少妇大欣赏| 九草在线视频观看| 十分钟在线观看高清视频www | 网址你懂的国产日韩在线| 精品国产三级普通话版| 亚洲va在线va天堂va国产| 亚洲人成网站高清观看| 美女脱内裤让男人舔精品视频| 一本色道久久久久久精品综合| 国内精品宾馆在线| av线在线观看网站| 性高湖久久久久久久久免费观看| 欧美xxⅹ黑人| 男女下面进入的视频免费午夜| 亚洲,一卡二卡三卡| 最近最新中文字幕大全电影3| 午夜日本视频在线| 国产黄片视频在线免费观看| 亚洲不卡免费看| 国产免费福利视频在线观看| 成人影院久久| 欧美丝袜亚洲另类| 男人添女人高潮全过程视频| 午夜日本视频在线| 一二三四中文在线观看免费高清| 直男gayav资源| 亚洲欧美一区二区三区黑人 | 日韩成人av中文字幕在线观看| 国产一级毛片在线| 国产精品一区二区三区四区免费观看| 又大又黄又爽视频免费| 亚洲欧美清纯卡通| 另类亚洲欧美激情| 亚洲天堂av无毛| 日本一二三区视频观看| 久久久精品免费免费高清| av播播在线观看一区| 国精品久久久久久国模美| 中文字幕人妻熟人妻熟丝袜美| 亚洲欧美精品自产自拍| 日韩av免费高清视频| 亚洲欧美日韩另类电影网站 | 成人免费观看视频高清| 亚洲国产精品专区欧美| 国产人妻一区二区三区在| 久久av网站| 美女国产视频在线观看| 黄色视频在线播放观看不卡| 人妻一区二区av| www.色视频.com| 国产精品久久久久久精品电影小说 | 日韩一区二区视频免费看| 国内少妇人妻偷人精品xxx网站| 国产综合精华液| 久久精品国产a三级三级三级| 日本黄大片高清| 最近中文字幕高清免费大全6| 亚洲av成人精品一区久久| av在线观看视频网站免费| av卡一久久| 亚洲精品一二三| 18禁裸乳无遮挡动漫免费视频| 久久久久久久大尺度免费视频| 天天躁夜夜躁狠狠久久av| 精品久久久久久久末码| 亚洲性久久影院| 国产男人的电影天堂91| 亚洲精品中文字幕在线视频 | 在线播放无遮挡| 黑人高潮一二区| 亚洲人成网站在线播| 天天躁夜夜躁狠狠久久av| 卡戴珊不雅视频在线播放| 久久久欧美国产精品| 欧美精品国产亚洲| 久久精品国产亚洲av天美| 久久精品人妻少妇| 18禁裸乳无遮挡免费网站照片| 亚洲性久久影院| 一边亲一边摸免费视频| 精品亚洲乱码少妇综合久久| av免费观看日本| 久久人人爽人人片av| 欧美日韩综合久久久久久| 青青草视频在线视频观看| 日韩视频在线欧美| 日韩不卡一区二区三区视频在线| 国产精品久久久久久精品电影小说 | 国产熟女欧美一区二区| 最近中文字幕高清免费大全6| 亚洲丝袜综合中文字幕| 少妇人妻久久综合中文| 中文字幕免费在线视频6| av播播在线观看一区| 国产精品一区www在线观看| 精品国产一区二区三区久久久樱花 | 国产亚洲午夜精品一区二区久久| 尤物成人国产欧美一区二区三区| 一区在线观看完整版| 国产美女午夜福利| 久久人妻熟女aⅴ| 丰满少妇做爰视频| 欧美激情极品国产一区二区三区 | 国产精品熟女久久久久浪| 国产成人精品福利久久| 一级二级三级毛片免费看| 男人添女人高潮全过程视频| 亚洲综合色惰| 亚洲国产成人一精品久久久| 久久精品人妻少妇| 国国产精品蜜臀av免费| 亚洲精品国产av成人精品| 国产精品一区二区三区四区免费观看| 久久久精品94久久精品| 久久国产精品男人的天堂亚洲 | 99九九线精品视频在线观看视频| 精品一品国产午夜福利视频| 久久久久久久久大av| 久久久久性生活片| 国产乱人视频| 男人爽女人下面视频在线观看| 最近中文字幕2019免费版| 一二三四中文在线观看免费高清| 国产成人freesex在线| 色视频在线一区二区三区| 在线播放无遮挡| 91久久精品国产一区二区三区| 亚洲国产毛片av蜜桃av| 97热精品久久久久久| 亚洲精华国产精华液的使用体验| 国产精品人妻久久久影院| 老熟女久久久| 日韩精品有码人妻一区| 美女视频免费永久观看网站| 亚洲精品亚洲一区二区| 久久久久精品性色| 亚洲欧美一区二区三区黑人 | 九九久久精品国产亚洲av麻豆| 纯流量卡能插随身wifi吗| 91aial.com中文字幕在线观看| 99热6这里只有精品| 成人毛片60女人毛片免费| 丰满少妇做爰视频| 亚洲经典国产精华液单| 黄色怎么调成土黄色| 国产精品不卡视频一区二区| 亚洲欧洲日产国产| 精品视频人人做人人爽| 亚洲精品色激情综合| 新久久久久国产一级毛片| 久久久成人免费电影| 亚洲精品国产av蜜桃| 最黄视频免费看| 国产乱来视频区| 日日啪夜夜撸| 最近的中文字幕免费完整| 日韩欧美 国产精品| 中文字幕精品免费在线观看视频 | 91久久精品电影网| 毛片女人毛片| 亚洲第一区二区三区不卡| 99久久精品国产国产毛片| 老司机影院毛片| 嫩草影院入口| 亚洲经典国产精华液单| 午夜福利视频精品| 一个人看的www免费观看视频| 天天躁日日操中文字幕| 黄色日韩在线| 一区二区三区免费毛片| av福利片在线观看| 男男h啪啪无遮挡| 伦理电影大哥的女人| 亚洲,一卡二卡三卡| www.av在线官网国产| 国产高清有码在线观看视频| 亚洲最大成人中文| 国产黄片视频在线免费观看| 麻豆成人av视频| 亚洲精品久久午夜乱码| 亚洲无线观看免费| 国产综合精华液| 不卡视频在线观看欧美| 久久人人爽av亚洲精品天堂 | 舔av片在线| 国产毛片在线视频| 免费大片18禁| 亚洲无线观看免费| 天美传媒精品一区二区| 岛国毛片在线播放| 一二三四中文在线观看免费高清| 国产成人精品福利久久| 亚洲色图综合在线观看| 波野结衣二区三区在线| 一区二区三区免费毛片| 日本免费在线观看一区| 亚洲国产最新在线播放| 亚洲成人av在线免费| 中文字幕精品免费在线观看视频 | 精品国产乱码久久久久久小说| 亚洲精品乱码久久久v下载方式| 美女国产视频在线观看| 少妇精品久久久久久久| 自拍欧美九色日韩亚洲蝌蚪91 | 久久国产精品男人的天堂亚洲 | 久久午夜福利片| 最近中文字幕2019免费版| 国产在视频线精品| 午夜福利网站1000一区二区三区| 国产成人aa在线观看| 2022亚洲国产成人精品| 久久久久性生活片| 亚洲熟女精品中文字幕| 久久精品国产a三级三级三级| 色吧在线观看| 国产色婷婷99| 亚洲欧洲日产国产| 亚洲欧美成人精品一区二区| 偷拍熟女少妇极品色| www.av在线官网国产| 国产免费一区二区三区四区乱码| 高清午夜精品一区二区三区| 热99国产精品久久久久久7| 纵有疾风起免费观看全集完整版| 国产黄色视频一区二区在线观看| 国产精品偷伦视频观看了| 欧美日韩亚洲高清精品| 色婷婷av一区二区三区视频| 在线观看一区二区三区激情| 777米奇影视久久| 国产av一区二区精品久久 | 水蜜桃什么品种好| 中文字幕av成人在线电影| 免费在线观看成人毛片| 亚洲成人中文字幕在线播放| 亚洲av在线观看美女高潮| 国产欧美另类精品又又久久亚洲欧美| av专区在线播放| 国产综合精华液| 黄色日韩在线| 国产精品嫩草影院av在线观看| 久久精品人妻少妇| 婷婷色av中文字幕| 色婷婷av一区二区三区视频| 亚洲三级黄色毛片| 青春草亚洲视频在线观看| 亚洲久久久国产精品| 国产av国产精品国产| 99视频精品全部免费 在线| 中文乱码字字幕精品一区二区三区| 国产黄色免费在线视频| 特大巨黑吊av在线直播| 久久久久久久久大av|