• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于文本分類的Fisher Score 快速多標(biāo)記特征選擇算法

    2022-02-24 05:11:46汪正凱沈東升王晨曦
    計(jì)算機(jī)工程 2022年2期
    關(guān)鍵詞:特征選擇半徑分類

    汪正凱,沈東升,王晨曦

    (1.福建省粒計(jì)算及其應(yīng)用重點(diǎn)實(shí)驗(yàn)室,福建 漳州 363000;2.閩南師范大學(xué) 計(jì)算機(jī)學(xué)院,福建 漳州 363000)

    0 概述

    在傳統(tǒng)的單標(biāo)記監(jiān)督學(xué)習(xí)中,樣本僅由一個(gè)標(biāo)記屬性描述,這種假設(shè)常違背現(xiàn)實(shí)生活的真實(shí)情況。在一類非互斥屬性中,樣本的標(biāo)記屬性可能同時(shí)包含多個(gè)語義信息,例如,一部電影可能是喜劇電影的同時(shí)也是愛情電影,在這種情況下,單一屬性標(biāo)記無法有效地對(duì)樣本進(jìn)行類別劃分,因此一種多標(biāo)記學(xué)習(xí)框架[1-3]被提出。相對(duì)于單標(biāo)記學(xué)習(xí),在多標(biāo)記學(xué)習(xí)中,每一個(gè)樣本具有多個(gè)以上的屬性標(biāo)記,在非分層任務(wù)中,樣本在屬性標(biāo)記下僅有二值取值,即為正或負(fù),將樣本所有標(biāo)記中具有正值的標(biāo)記稱為標(biāo)記集合,樣本的標(biāo)記集合即構(gòu)成了對(duì)樣本屬性的完整描述。隨著數(shù)據(jù)挖掘技術(shù)與移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)據(jù)的規(guī)模不斷增長,描述樣本屬性的標(biāo)記集合的規(guī)模也隨之增長,而豐富的標(biāo)記集合往往需要高維的特征空間描述[4]。但過高的特征維度會(huì)使得學(xué)習(xí)器的消耗提升,同時(shí)一些噪聲特征也會(huì)對(duì)分類結(jié)果產(chǎn)生影響,最終降低分類精度[5]。因此,高維特征帶來的維度災(zāi)難[6]已經(jīng)成為多標(biāo)記學(xué)習(xí)面臨的重要挑戰(zhàn)之一。

    作為一種有效的特征降維技術(shù),特征選擇[7]的目的是在保持學(xué)習(xí)器性能不改變太多的前提下能夠有效地約簡數(shù)據(jù)集的維度。目前,針對(duì)多標(biāo)記學(xué)習(xí)任務(wù)的特征選擇算法已有很多,這些算法按照與學(xué)習(xí)器的關(guān)系可以分為過濾式[7-9]、包裝式[10]和嵌入式3 種。其中過濾式不依賴于學(xué)習(xí)器,而是尋找獨(dú)立指標(biāo)來評(píng)價(jià)每個(gè)特征對(duì)分類能力的貢獻(xiàn)大小,以此過濾出含有更豐富信息的特征子集[11-12],或以某個(gè)評(píng)價(jià)指標(biāo)結(jié)合搜索算法來搜索特征子集[13-14],前者需要預(yù)設(shè)閾值,而后者可根據(jù)搜索策略自動(dòng)結(jié)束算法;相對(duì)于過濾式特征選擇算法,包裝式特征選擇算法以特征子集在分類器上的分類性能作為搜索指標(biāo)指導(dǎo)搜索方向,嵌入式特征選擇算法在進(jìn)行特征選擇的過程中即同時(shí)進(jìn)行了學(xué)習(xí)器的訓(xùn)練。因此,在算法運(yùn)行時(shí)間和計(jì)算資源的消耗以及模型的普適性上,過濾式特征選擇算法具有更大的優(yōu)勢(shì)。

    Fisher Score(FS)作為一種基于距離度量的特征評(píng)價(jià)指標(biāo),通過計(jì)算類間散度與類內(nèi)聚度的關(guān)系度量特征分類能力的強(qiáng)弱,在單標(biāo)記監(jiān)督學(xué)習(xí)中已有了較多的研究與應(yīng)用。XIE 等[15]提出一種基于改進(jìn)的F-score 和支持向量機(jī)的包裝式特征選擇方法,以SVM 分類器的分類結(jié)果指導(dǎo)搜索方向;SONG 等[16]提出了不均勻分布下的FS 特征選擇算法,以兩兩類別之間的距離代替類與總體中心的距離作為類間散度的計(jì)算方式;MUHAMMED[17]等提出一種結(jié)合FS評(píng)價(jià)準(zhǔn)則和貪心搜索的特征選擇算法,在阿爾茨海默病的分類上取得了較好的結(jié)果;SONG[16]等提出一種基于Fisher 判別分析(FDA)和F-score 的特征排序方法用以多類樣本分類,BEHESHTI[18]提出一種集合FS 評(píng)價(jià)準(zhǔn)則和T 檢驗(yàn)分?jǐn)?shù)來尋找最優(yōu)的特征集的特征選擇算法。

    然而,以上的算法都忽略了樣本極值對(duì)類中心帶來的偏差影響,以距離度量的類中心的意義僅在統(tǒng)計(jì)學(xué)上得以體現(xiàn),在實(shí)際應(yīng)用中很容易被異常值影響,當(dāng)方差很小的一類樣本中加入一個(gè)相對(duì)量綱較大的樣本時(shí),會(huì)使得該類樣本的中心發(fā)生偏移,此時(shí)需要對(duì)該異常值進(jìn)行處理以避免最終FS 得分產(chǎn)生誤差。同時(shí),上述算法都僅能應(yīng)用于單標(biāo)記特征選擇,而多標(biāo)記任務(wù)更能體現(xiàn)生活中的實(shí)際情況,因此將單標(biāo)記任務(wù)下的FS 算法應(yīng)用于多標(biāo)記任務(wù)具有一定的實(shí)際研究意義?;诖耍疚奶岢鲆环N多標(biāo)記FS 特征選擇算法,計(jì)算每個(gè)樣本在各個(gè)標(biāo)記下經(jīng)過去極值后的特征集合的FS 得分,若多標(biāo)記任務(wù)中標(biāo)記包含信息對(duì)分類的貢獻(xiàn),則根據(jù)樣本具有的標(biāo)記數(shù)量可以得到該樣本標(biāo)記集合的標(biāo)記權(quán)值,以此更新樣本在特征空間下的FS 得分。

    1 相關(guān)知識(shí)

    FS 是一種經(jīng)典的評(píng)價(jià)特征對(duì)分類貢獻(xiàn)能力的指標(biāo),特征的FS 得分越高,表明在該特征下類內(nèi)樣本間間距盡可能得小,類間樣本間距盡可能得大,即類間樣本間距與類內(nèi)樣本間距的比值越大。在傳統(tǒng)單標(biāo)記學(xué)習(xí)中FS 的相關(guān)描述如下:

    disinner和disouter分別表示在特征fj下所有類別的類內(nèi)距離與所有類與樣本中心類間距離的和,可分別稱為特征fj下的類內(nèi)聚度與類間散度。當(dāng)類內(nèi)聚度越小時(shí),樣本類內(nèi)分布越稠密,類間散度越大,樣本類間分布越稀疏,由于特征辨識(shí)類別的能力與該特征下的類間散度和類內(nèi)聚度比值成正相關(guān),則定義特征fj對(duì)類別辨識(shí)的能力評(píng)價(jià)指標(biāo)FS 如下:

    式(3)為單個(gè)特征下的FS 得分計(jì)算公式,若以單個(gè)特征的FS 得分作為評(píng)價(jià)指標(biāo),則可計(jì)算出所有特征的FS 得分,通過設(shè)置閾值篩選出特征子集。若采用啟發(fā)式搜索的方式篩選特征子集,則需要設(shè)置合適的搜索策略,不斷迭代搜索當(dāng)前候選子集中的最優(yōu)特征,直至滿足搜索終止條件,得到最終的特征子集。相對(duì)于啟發(fā)式搜索,前者的時(shí)間復(fù)雜度更低,算法性能消耗更少。

    2 基于多標(biāo)記FS 的特征選擇模型

    式(3)給出了在單標(biāo)記學(xué)習(xí)下任意特征的FS 得分的計(jì)算公式,但都是直接對(duì)一類樣本計(jì)算其均值作為類中心,并沒考慮到極值帶來的方差增大的影響,假設(shè)某一特征下所有樣本的劃分情況如圖1 所示。其中,直線兩邊表示各自不同的一類樣本,圓圈選中的樣本代表多數(shù)真實(shí)樣本的分布,圓圈的圓心代表這些樣本的中心點(diǎn),而圓圈外樣本會(huì)使得類樣本的中心點(diǎn)發(fā)生偏移,極端值樣本距離多數(shù)樣本越遠(yuǎn),偏移程度越大,而在理想狀況下是同類樣本盡可能分布在一起,因此,需要根據(jù)類別樣本的分布情況對(duì)已劃分的樣本進(jìn)行處理,去除其中距離多數(shù)樣本較遠(yuǎn)的樣本,再對(duì)剩下的樣本進(jìn)行FS 得分計(jì)算。

    圖1 類中心偏差示意圖Fig.1 Schematic diagram of class center deviation

    同時(shí)式(3)僅能應(yīng)用于單標(biāo)記特征選擇,但在更復(fù)雜的多標(biāo)記學(xué)習(xí)中,式(3)無法直接應(yīng)用,若將多標(biāo)記任務(wù)簡單地分解為多個(gè)單標(biāo)記任務(wù)再應(yīng)用式(3),則會(huì)損失多標(biāo)記任務(wù)中標(biāo)記集合之間的關(guān)聯(lián)信息,基于此,考慮從樣本角度對(duì)標(biāo)記集合進(jìn)行遍歷,且針對(duì)各個(gè)標(biāo)記對(duì)整體標(biāo)記集合的貢獻(xiàn)值,將樣本的標(biāo)記集合下的全體特征的FS 得分與根據(jù)樣本本身具有的標(biāo)記集合所得出的標(biāo)記權(quán)值系數(shù)相乘,以此更新FS 的計(jì)算公式。

    下文將給出相關(guān)定義來描述本文算法模型。假設(shè)存在一個(gè)決策系統(tǒng)其中論域U={x1,x2,…,xn}∈?n×m為全體樣 本組成的 非空有限 集合,xi∈U是維度為1×m的一維向量,表示論域U中的第i個(gè)樣本,A={f1,f2,…,fm}為全體特征組成的集合,fj∈A表示特征集合中第j個(gè)特征,為論域U中的一個(gè)實(shí)值,表示樣本xi在特征fj下的取值,D={y1,y2,…,yn}∈?n×l為樣本的標(biāo)記集合,yi∈D是維度為1×l的一維向量,表示標(biāo)記集合D中第i個(gè)樣本xi在全體決策屬性上的標(biāo)記結(jié)果為xi在第k個(gè)標(biāo)記上的標(biāo)記結(jié)果,在多標(biāo)記學(xué)習(xí)中,xi在標(biāo)記k下被標(biāo)記時(shí),反之=0,且對(duì)任意 一個(gè)樣本xi,有≥1。綜合上述條件,有如下定義:

    定義1假設(shè)存在一個(gè)隨機(jī)樣本xi∈U,xi的標(biāo)記集合為yi,定義xi在標(biāo)記空間上的真實(shí)標(biāo)記集合y_truei如下:

    定義2假設(shè)存在一個(gè)隨機(jī)樣本xi∈U,xi的真實(shí)標(biāo)記集合為y_truei,對(duì)任意標(biāo)記k∈y_truei,則標(biāo)記k將論域U劃分如下:

    其中:c表示樣本xr在標(biāo)記k下的值表示論域U中在標(biāo)記k下具有值為c的樣本組成的集合。

    xi的真實(shí)標(biāo)記集合y_truei對(duì)論域U的劃分結(jié)果分布如下:

    定義3假設(shè)存在一個(gè)隨機(jī)樣本xi∈U,有一個(gè)劃分情況Uk∈Ui,Uk中的任意一類樣本集合在特征fj下的均值如下:

    定義4假設(shè)存在一個(gè)隨機(jī)樣本xi∈U,在標(biāo)記k劃分的論域空間中存在一個(gè)樣本類別集合,其中距離該類中心點(diǎn)最遠(yuǎn)的一個(gè)樣本為xmax,則定義該類中心點(diǎn)的有效樣本集合如下:

    其中:dis_xmax表示xmax距離中心點(diǎn)的距離;δ∈(0,1]表示半徑系數(shù),且δ和樣本數(shù)量正相關(guān),當(dāng)δ=1 時(shí),即相當(dāng)于不做中心偏移操作。

    定義5假設(shè)存在一個(gè)隨機(jī)樣本xi∈U,有劃分情況Uk∈Ui,Uk中任一類樣本集合在特征fj上經(jīng)過中心偏移之后的樣本集合為,則特征fj在隨機(jī)樣本xi的標(biāo)記k劃分論域U加中心偏移處理之后的FS 得分如下:

    其中:分子表示類間散度,相對(duì)于原始的每一類減去總體中心,在類別之間計(jì)算距離可以避免不均勻分布情況下的類間散度差異表示隨機(jī)樣本xi的標(biāo)記k的權(quán)值系數(shù),為k與xi的真實(shí)標(biāo)記集合y_truei中的其余標(biāo)記的余弦系數(shù)的和再加1,如果樣本只具有1 個(gè)標(biāo)記,則為1,可以理解為標(biāo)記k與其余標(biāo)記的額外信息,顯然隨機(jī)樣本的真實(shí)標(biāo)記數(shù)量越多,任一標(biāo)記k的權(quán)值系數(shù)越大,因?yàn)闃?biāo)記數(shù)量越大,其中包含的分類信息應(yīng)當(dāng)更多,所以FS 分?jǐn)?shù)計(jì)算更加重視具有更多標(biāo)記的情況。

    定義6假設(shè)存在一個(gè)隨機(jī)樣本xi∈U,xi的真實(shí)標(biāo)記集合為y_truei,根據(jù)式(11)得出特征fj在xi的標(biāo)記k上的FS 得分,則定義fj在整體標(biāo)記集合y_truei上的FS 得分如下:

    根據(jù)式(12)可得出特征fj在全體樣本上的FS得分如下:

    式(13)是單個(gè)特征的FS 得分,則最終全體特征集合A的FS 得分為:

    式(14)為全體特征的FS 得分分布,對(duì)FS 進(jìn)行降序可以得到分類能力更強(qiáng)的特征,從而實(shí)現(xiàn)特征選擇的目標(biāo)。

    上述定義中之所以采用全體采樣,是因?yàn)閷?duì)全體樣本的遍歷使得所提算法的結(jié)果具有較強(qiáng)的魯棒性,避免隨機(jī)采樣所導(dǎo)致結(jié)果產(chǎn)生不確定性。定義3和定義4 對(duì)一類樣本進(jìn)行了中心偏移操作,前提是該類樣本數(shù)量較多,因?yàn)閿?shù)量較少時(shí),并不足以準(zhǔn)確地決定多數(shù)樣本的類中心,但并不是全部數(shù)據(jù)集中每個(gè)標(biāo)記下每類的樣本數(shù)量都足夠多,基于此在后續(xù)實(shí)驗(yàn)中進(jìn)行到中心偏移操作前都會(huì)對(duì)該類樣本數(shù)量進(jìn)行檢測(cè),當(dāng)該類樣本數(shù)量占總體樣本數(shù)量比例小于0.05 時(shí),即不進(jìn)行中心偏移操作。式(11)中類間散度計(jì)算沒有采用原始FS 計(jì)算類間散度的方式,而是改用了文獻(xiàn)[18]中提出的方式,該計(jì)算方式如式(15)所示:

    其中:D(fi)表示特征fi的類間散度;p、q分別表示類別p和類別q;np表示類別p的數(shù)量;N為全體樣本數(shù)量;表示類別p在特征fi上的均值。可以看出,式(15)是采用類別間的序關(guān)系來實(shí)現(xiàn)類別間的兩兩距離計(jì)算,以避免類間重復(fù)計(jì)算。本文模型的算法流程如算法1 所示。

    算法1MLFS 算法

    在算法MLFS 中,主要的計(jì)算消耗在于對(duì)每個(gè)標(biāo)記k計(jì)算其FS 得分,若假設(shè)某數(shù)據(jù)集有n個(gè)樣本、m個(gè)特征和l個(gè)標(biāo)記,平均每個(gè)樣本在標(biāo)記空間上的標(biāo)記數(shù)量為LC,則計(jì)算全體特征的FS 得分的代價(jià)為O(m),步驟3 計(jì)算全體標(biāo)記下的FS 得分的代價(jià)為O(m·l),步驟4~步驟6 并沒有太多計(jì)算消耗,計(jì)算代價(jià)為O(n·LC),步驟7 的排序代價(jià)為O(mlogam),算法MLFS 的主要計(jì)算消耗在于計(jì)算每個(gè)標(biāo)記下的FS 得分,且并不依賴于任何分類器。

    3 實(shí)驗(yàn)與結(jié)果分析

    3.1 實(shí)驗(yàn)數(shù)據(jù)集

    為驗(yàn)證本文算法的有效性,選取MuLan 庫中的8 個(gè)公開多標(biāo)記數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。由于數(shù)據(jù)集在MuLan 庫中已經(jīng)分好,訓(xùn)練集和測(cè)試集會(huì)直接采用已經(jīng)分好的結(jié)果,在訓(xùn)練集中對(duì)所提算法進(jìn)行特征選擇,再將特征選擇結(jié)果應(yīng)用于測(cè)試集進(jìn)行分類測(cè)試,數(shù)據(jù)集的詳細(xì)信息如表1 所示。

    表1 多標(biāo)記數(shù)據(jù)集Table 1 Multi-label datasets

    3.2 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

    實(shí)驗(yàn)運(yùn)行環(huán)境為Pycharm Professional 2019.2.3+Python 3.7.1 64 位,硬件環(huán)境 為Inter?Xeon?CPU E5-26xx series 2.49 Hz,16 GB內(nèi)存,操作系統(tǒng) 為Windows10 64 位。實(shí)驗(yàn)采用5 種評(píng)價(jià)指標(biāo)[14]:Average Precision,Hamming Loss,One Error,Ranking Loss,Coverage,分別簡寫為AP、HL、OE、RL、Cov,其中,HL、OE 的計(jì)算基于標(biāo)記預(yù)測(cè),AP、RL、Cov 基于標(biāo)記排序,AP 指標(biāo)表示數(shù)值越高,分類性能越好,其余指標(biāo)表示數(shù)值越低,分類性能越好。

    3.3 相關(guān)參數(shù)設(shè)置及算法選擇

    本文算法是通過設(shè)置半徑系數(shù)δ來選擇有效樣本集合的,因此不同大小的半徑系數(shù)會(huì)選取不同規(guī)模的樣本集合,實(shí)驗(yàn)會(huì)首先比較不同大小的半徑系數(shù)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生的影響。

    為比較本文算法的有效性,選擇了各類型的多標(biāo)記特征選擇算法作為對(duì)比算法,分別為基于蟻群優(yōu)化的多標(biāo)簽特征選擇算法(MLACO)[19]、多標(biāo)記ReliefF 特征選擇算法(MLRF)[8]、基于多變量互信息的多標(biāo)記特征選擇算法(PMU)[9]和多標(biāo)簽樸素貝葉斯分類的特征選擇算法(MLNB)[14],其中MLACO為PANIRI 等提出的一種基于蟻群算法(ACO)的多標(biāo)記特征選擇算法,通過同時(shí)引入計(jì)算標(biāo)記相關(guān)性的有監(jiān)督啟發(fā)式函數(shù)與計(jì)算特征空間冗余性的無監(jiān)督啟發(fā)式函數(shù)在特征空間迭代搜索最優(yōu)子集,是一種最新的性能優(yōu)異的多標(biāo)記特征選擇算法;MLRF算法是基于距離度量的多標(biāo)記ReliefF 算法,通過引入漢明距離在標(biāo)記集合上尋找樣本的同類與異類近鄰;PMU 算法是LEE 等提出的基于互信息度量的特征選擇算法,通過三元互信息度量特征子集與標(biāo)記集合間的相關(guān)性;MLNB 是ZHOU 等提出的基于主成分提取PCA 和遺傳算法(GA)的混合型特征降維算法。

    上述算法兼顧各種類型,便于本文所提算法與各類型算法進(jìn)行比較。在對(duì)比算法的參數(shù)設(shè)置上,MLACO 算法參數(shù)與原文保持不變;MLRF 采用全體采樣方式,近鄰個(gè)數(shù)設(shè)為5;PMU 算法需要先進(jìn)行離散化,以PMU 算法離散化方式為標(biāo)準(zhǔn)對(duì)實(shí)驗(yàn)數(shù)據(jù)預(yù)先進(jìn)行了兩折離散化;MLNB 設(shè)置一階段預(yù)留特征比例ratio 為0.7,平滑因子默認(rèn)為1。在特征數(shù)量的選擇上,由于MLNB 算法可以直接得到一個(gè)特征子集,而其他算法得到排序后的特征集,則按照MLNB算法得到的特征子集數(shù)量,在其他算法排序后的特征子集上取相同數(shù)量的特征子集進(jìn)行對(duì)比。

    此外,實(shí)驗(yàn)所采用的分類器為MLKNN[20]分類器,默認(rèn)近鄰個(gè)數(shù)為10,平滑因子為1。

    3.4 實(shí)驗(yàn)結(jié)果

    本文首先比較所提算法中參數(shù)δ對(duì)實(shí)驗(yàn)結(jié)果的影響,由于δ是一類樣本中心點(diǎn)選擇樣本的距離范圍占一類樣本中距離該類樣本中心點(diǎn)最遠(yuǎn)的樣本到中心點(diǎn)的距離的比例,實(shí)驗(yàn)設(shè)置3 個(gè)數(shù)據(jù)集在δ∈(0,]1 上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖2 所示。

    圖2 各數(shù)據(jù)集上不同半徑系數(shù)隨著特征比例變化的情況Fig.2 Variation of different radius coefficients with feature proportion on each datasets

    圖2 中選擇 了Computer、Health、Recreation 3 個(gè)數(shù)據(jù)集,在每一類數(shù)據(jù)集中,橫線表示不做中心偏移的算法取全部特征的分類結(jié)果??梢钥闯?,在文本類數(shù)據(jù)集中,基本符合半徑系數(shù)越大分類性能越好的預(yù)期,這是由于文本類數(shù)據(jù)集中特征空間較為稀疏,在半徑系數(shù)較小時(shí)會(huì)損失多數(shù)樣本,而期望效果是僅去除小部分極端值樣本,因此分類結(jié)果較差。隨著半徑系數(shù)的增大,Computer 數(shù)據(jù)集中分類性能逐漸提升,而其余數(shù)據(jù)集中并沒有很明顯的變化,這是由于半徑系數(shù)是基于離類中心點(diǎn)最遠(yuǎn)樣本的比例確定的,可能存在一種情況,當(dāng)該樣本離類中心點(diǎn)足夠遠(yuǎn)時(shí),此時(shí)半徑系數(shù)選擇0.5 或者0.9,而篩選的樣本數(shù)量是一樣的,對(duì)于這種情況,可以選擇加入數(shù)量判定,當(dāng)不同比例下半徑系數(shù)篩選的樣本數(shù)量不變時(shí),選擇原有類別樣本數(shù)量的80%或者90%作為新的一類樣本。但所提的算法模型是基于全體樣本遍歷的,且在多標(biāo)記任務(wù)下每個(gè)標(biāo)記的劃分情況不同,盡管上述異常情況可能出現(xiàn),但在全體樣本數(shù)量n×LC(LC 為每個(gè)樣本的平均標(biāo)記數(shù)量)個(gè)標(biāo)記的平均下,異常情況的影響會(huì)盡可能地被降低,因此所提算法沒有加入數(shù)量篩選這一步驟。

    綜合以上分析可以得出,半徑系數(shù)的確定需要預(yù)先知道平均類樣本的分布情況,而在多數(shù)文本數(shù)據(jù)集中,特征空間是較為稀疏的,這使得在文本數(shù)據(jù)集中可以預(yù)先設(shè)定較大的半徑系數(shù),基于此,在后續(xù)實(shí)驗(yàn)中,將所有實(shí)驗(yàn)數(shù)據(jù)集的半徑系數(shù)設(shè)定為0.9。

    為了更加詳細(xì)地驗(yàn)證所提算法的有效性,將所提算法與4 種對(duì)比算法在所有數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2~表7 所示,其中加粗字體為結(jié)果最優(yōu)。

    表2 各數(shù)據(jù)集選擇特征數(shù)Table 2 Numbers of selected features of each datasets

    表3 AP 評(píng)價(jià)指標(biāo)下各算法的性能比較Table 3 Performance comparison of each algorithms under AP evaluation index

    表4 HL 評(píng)價(jià)指標(biāo)下各算法的性能比較Table 4 Performance comparison of each algorithms under HL evaluation index

    表5 Cov 評(píng)價(jià)指標(biāo)下各算法的性能比較Table 5 Performance comparison of each algorithms under Cov evaluation index

    表6 OE 評(píng)價(jià)指標(biāo)下各算法的性能比較Table 6 Performance comparison of each algorithms under OE evaluation index

    表7 RL 評(píng)價(jià)指標(biāo)下各算法的性能比較Table 7 Performance comparison of each algorithms under RL evaluation index

    由以上實(shí)驗(yàn)結(jié)果可以看出,本文MLFS 算法在Art、Business、Computer、Education、Enter、Health、Recreation、Reference 等8 個(gè)數(shù)據(jù)集中的各項(xiàng)指標(biāo)的平均值都為最優(yōu),表明所提算法在整體上相對(duì)其余算法具有一定優(yōu)勢(shì),對(duì)比各個(gè)指標(biāo)可以發(fā)現(xiàn):

    1)在AP 指標(biāo)上,MLFS算法僅在Reference 數(shù)據(jù)集中排名第2,在其余數(shù)據(jù)集中都是排名第1,且平均排序結(jié)果排名第1。綜合比較4 種對(duì)比算法,MLFS 算法選擇的特征子集分類性能達(dá)到最優(yōu)。

    2)在HL 指標(biāo)上,MLFS 算法僅 在Computer 數(shù)據(jù)集中排名第2,在其余數(shù)據(jù)集中都是排名第1,且平均排序結(jié)果排名第1。綜合比較4 種對(duì)比算法,MLFS 算法選擇的特征子集分類性能達(dá)到最優(yōu)。

    3)在Cov 指標(biāo)上,MLFS 算法僅在Art、Health 數(shù)據(jù)集中排名第2,在其余數(shù)據(jù)集中都是排名第1,且平均排序結(jié)果排名第1。綜合比較4 種對(duì)比算法,MLFS 算法選擇的特征子集分類性能達(dá)到最優(yōu)。

    4)在OE 指標(biāo)上,MLFS 算法僅在Reference 數(shù)據(jù)集中排名第2,在其余數(shù)據(jù)集中都是排名第1,且平均排序結(jié)果排名第1。綜合比較4 種對(duì)比算法,MLFS 算法選擇的特征子集分類性能達(dá)到最優(yōu)。

    5)在RL 指標(biāo)上,MLFS 算法在Art、Computer、Health 數(shù)據(jù)集中排名第2,在其余數(shù)據(jù)集中都是排名第1,且平均排序結(jié)果排名第1。綜合比較4 種對(duì)比算法,MLFS 算法選擇的特征子集分類性能達(dá)到最優(yōu)。

    6)在約簡特征數(shù)量上,MLFS 算法相對(duì)于原始特征空間約簡了70%以上的特征比例仍具有較好的效果,表明所提算法實(shí)現(xiàn)了特征選擇的降維目標(biāo)。

    7)綜合比較8 個(gè)數(shù)據(jù)集在5 個(gè)指標(biāo)上的40 種分類情況,所提算法MLFS 具有最優(yōu)結(jié)果的有32 種,占比80%,表明所提算法具有較好的穩(wěn)定性。

    上述實(shí)驗(yàn)結(jié)果表明,所提算法選擇的特征子集在后續(xù)的分類結(jié)果的各個(gè)指標(biāo)上相比其余4 種算法具有領(lǐng)先優(yōu)勢(shì),同時(shí)具有較高的約簡比例,驗(yàn)證了所提算法的有效性和魯棒性。

    為避免出現(xiàn)局部優(yōu)勢(shì)帶來的誤差影響,下文將給出部分?jǐn)?shù)據(jù)集各特征選擇算法在不同特征比例下的分類情況,由于所選數(shù)據(jù)集較多,且針對(duì)每一種指標(biāo)共有40 種對(duì)比情況,限于篇幅,只選擇了其中6 個(gè)數(shù)據(jù)集在5 種指標(biāo)上的結(jié)果進(jìn)行展示,其中,MLNB算法因?yàn)橹荒艿玫揭粋€(gè)特征子集,并不能與其他算法一起比較特征比例上的分類性能,所以未給出變化情況。變化趨勢(shì)如圖3~圖7 所示。

    圖3 AP 評(píng)價(jià)指標(biāo)下各算法分類性能的變化情況Fig.3 Change situation of classification performance of each algorithms under AP evaluation index

    圖4 HL 評(píng)價(jià)指標(biāo)下各算法分類性能的變化情況Fig.4 Change situation of classification performance of each algorithms under HL evaluation index

    圖5 Cov 評(píng)價(jià)指標(biāo)下各算法分類性能的變化情況Fig.5 Change situation of classification performance of each algorithms under Cov evaluation index

    圖6 OE 評(píng)價(jià)指標(biāo)下各算法分類性能的變化情況Fig.6 Change situation of classification performance of each algorithms under OE evaluation index

    圖7 RL 評(píng)價(jià)指標(biāo)下各算法分類性能的變化情況Fig.7 Change situation of classification performance of each algorithms under RL evaluation index

    從圖3~圖7 的變化趨勢(shì)可以看出:本文算法MLFS在各個(gè)指標(biāo)上均優(yōu)于其余算法,且在AP、HL 指標(biāo)中的優(yōu)勢(shì)較為明顯,在其余指標(biāo)中除MLACO 算法外,均大幅優(yōu)于其余算法。在選取的特征比例上,本文算法在特征比例較小時(shí)即能達(dá)到較好的分類性能,表明本文算法基本能夠?qū)崿F(xiàn)特征選擇的目標(biāo)。

    為從統(tǒng)計(jì)學(xué)意義上進(jìn)一步檢測(cè)所提算法與4種對(duì)比算法在各項(xiàng)指標(biāo)上是否存在顯著差異,將采用顯著 性水平為10% 的Nemenyi test[18]對(duì)所提算法和其余算法進(jìn)行比較。根據(jù)表3~表7 獲得各個(gè)算法在所有數(shù)據(jù)上的平均排序,排序結(jié)果如表8所示。

    表8 各算法在不同評(píng)價(jià)指標(biāo)下的平均排序Table 8 Average ranking of each algorithm under different evaluation indexes

    在表8 中,若2 個(gè)算法在所有數(shù)據(jù)集上的平均排序的差值小于臨界差值(Critical Difference,CD),則認(rèn)為2 個(gè)算法并沒有性能上的顯著性差異,由于實(shí)驗(yàn)所采用數(shù)據(jù)集個(gè)數(shù)為8,總算法個(gè)數(shù)為5,根據(jù)臨界差值計(jì)算公式可以得出CD 為1.944,則根據(jù)臨界差值給出各算法在不同指標(biāo)上的臨界差值圖,其中算法根據(jù)平均排名在坐標(biāo)軸中由左向右排列,且與所提算法沒有明顯性能差異的算法用一根加粗的實(shí)線相連,臨界差值如圖8 所示。從圖8 可以看出,本文算法在5 種評(píng)價(jià)指標(biāo)中性能均排名第1,在除RL指標(biāo)外的其余指標(biāo)中,本文算法與MLNB、PMU、MLRF 算法具有顯著的性能差異,與MLACO 算法沒有顯著差異,在RL 指標(biāo)中,本文算法與MLNB、MLRF 算法具有顯著的性能差異,與PMU、MLACO算法沒有顯著的性能差異。綜合上述情況,本文算法與4 種對(duì)比算法的統(tǒng)計(jì)結(jié)果中,性能處于最優(yōu),表明所提算法的有效性和魯棒性。

    圖8 各算法綜合性能比較Fig.8 Comprehensive performance comparison of each algorithms

    此外,由于不同的特征選擇算法應(yīng)有其適用的學(xué)習(xí)任務(wù),在實(shí)際應(yīng)用中應(yīng)根據(jù)不同的情況選擇適合的算法。在上述實(shí)驗(yàn)中,本文算法與其他算法均是在Yahoo網(wǎng)頁文本數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),數(shù)據(jù)類型較為單一,為驗(yàn)證所提算法的普適性,本文選擇2 個(gè)不同類型的數(shù)據(jù)集Scene 和Yeast 進(jìn)行實(shí)驗(yàn)。Scene 數(shù)據(jù)集是一類語義索引類圖像數(shù)據(jù)集,樣本數(shù)為2 407,特征數(shù)為294,標(biāo)記數(shù)為6,Yeast是一類關(guān)于酵母菌基因的生物數(shù)據(jù)集,樣本數(shù)量為2 417,特征數(shù)為103,標(biāo)記數(shù)為14。由于未知數(shù)據(jù)集特征空間的密集程度,因此無法事先確定所提算法中的半徑系數(shù)δ,基于此,測(cè)試3 個(gè)不同尺度的半徑系數(shù),分別為0.1、0.5、0.9,將3 種不同的半徑系數(shù)作為算法的參數(shù)與4 種對(duì)比算法在Scene 和Yeast 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖9 所示。從圖9 可以看出:并不是半徑系數(shù)越大越好,因?yàn)橄鄬?duì)于特征空間較為稀疏的文本類數(shù)據(jù)集,Scene 數(shù)據(jù)集上的樣本分布更為密集,較小的半徑系數(shù)已足以覆蓋類別中多數(shù)樣本。半徑系數(shù)越大,整體類別中心點(diǎn)產(chǎn)生的偏移越大,分類結(jié)果就越差,而Yeast 數(shù)據(jù)集上半徑系數(shù)為0.5 時(shí)分類性能相對(duì)最優(yōu),這與數(shù)據(jù)集本身樣本的分布有關(guān),當(dāng)半徑系數(shù)為0.5 時(shí)篩選的樣本集合的類中心與預(yù)期樣本的類中心距離最近,此時(shí)半徑系數(shù)過小或過大都會(huì)影響最終的分類性能。在與對(duì)比算法比較中可以發(fā)現(xiàn),當(dāng)特征數(shù)量較少時(shí),PMU 算法性能最優(yōu),而在文本類數(shù)據(jù)集中表現(xiàn)優(yōu)異的MLFS 和MLACO 算法性能反而較差,這說明不同的特征算法應(yīng)該選擇其適用的學(xué)習(xí)任務(wù),對(duì)于所提算法應(yīng)更適用于文本類數(shù)據(jù)集,而對(duì)于非文本類數(shù)據(jù)集,則需要預(yù)先分析其數(shù)據(jù),獲取標(biāo)記劃分下樣本的分布情況,然后根據(jù)確定的半徑系數(shù)進(jìn)行特征選擇。

    圖9 非文本數(shù)據(jù)集的AP 指標(biāo)比較Fig.9 Comparison of AP index in non text datasets

    此外,對(duì)于非文本類數(shù)據(jù)集,可以使用基于距離排序的方式去除極值樣本,以此避免未知樣本分布情況下的半徑系數(shù)的確定問題。距離排序是指對(duì)某一類樣本中每一個(gè)樣本到該類樣本中心點(diǎn)的距離進(jìn)行排序,然后去除恒定數(shù)量的樣本。相對(duì)于半徑系數(shù)的方式,距離排序的計(jì)算復(fù)雜度較高。假設(shè)現(xiàn)在存在某一類樣本,該類樣本數(shù)量是n個(gè),經(jīng)過計(jì)算存在一個(gè)極值點(diǎn)樣本距離該類樣本中心點(diǎn)最遠(yuǎn),那么以該極值點(diǎn)到類樣本中心點(diǎn)的距離乘以某一比例δ得到距離r,并以類樣本中心點(diǎn)為圓心,以r為半徑去構(gòu)造圓,顯然在圓外的是需要去除的樣本,這里的計(jì)算復(fù)雜度主要在于找到最大距離的樣本以及遍歷該類樣本集合中的每個(gè)樣本,判斷每個(gè)樣本的距離與r的關(guān)系,前者最壞情況下的時(shí)間復(fù)雜度為O(n),后者的時(shí)間復(fù)雜度也為O(n),則總的時(shí)間復(fù)雜度為2O(n)。對(duì)于距離排序的方式,假設(shè)條件不變,則需要對(duì)樣本集合中所有樣本進(jìn)行距離排序,再根據(jù)給定的去除樣本的數(shù)量去除距離最大的一些樣本,則最壞情況下的時(shí)間復(fù)雜度為O(n2),顯然半徑系數(shù)的方式在計(jì)算復(fù)雜度上要優(yōu)于距離排序的方式,所以在比較好確定半徑系數(shù)的稀疏類文本數(shù)據(jù)集中采用半徑系數(shù)的方式去去除極值樣本來減少計(jì)算消耗,而在不好確定半徑系數(shù)的非文本類數(shù)據(jù)集中采用距離排序的方式。為了驗(yàn)證距離排序的效果,選擇了兩個(gè)較小的非文本類數(shù)據(jù)集Birds、Emotion 數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)。其中Birds 數(shù)據(jù)集是記錄鳥的叫聲的數(shù)據(jù)集,有645 個(gè)樣本、260 個(gè)特征、20 個(gè)標(biāo)記;Emotion 數(shù)據(jù)集是音樂情感類數(shù)據(jù)集,有593 個(gè)樣本、72 個(gè)特征、6 個(gè)標(biāo)記。實(shí)驗(yàn)中設(shè)去除樣本的比例占該類樣本集合的10%,實(shí)驗(yàn)結(jié)果如圖10 所示。

    圖10 基于距離排序的模型與對(duì)比算法的AP 指標(biāo)比較Fig.10 AP index comparison between model based on distance ranking and comparison algorithms

    從圖10 可以看出,本文算法在特征比例較少時(shí)并沒有顯著優(yōu)勢(shì),但是隨著特征比例逐漸提升,分類性能逐漸提高。在Birds 數(shù)據(jù)集中當(dāng)特征比例超過0.45 時(shí)即超過原始特征下的分類性能,且在特征比例為0.6 時(shí)達(dá)到最優(yōu),同時(shí)領(lǐng)先其余算法;在Emotion數(shù)據(jù)集中當(dāng)特征比例超過0.35 時(shí)即超過原始特征下的分類性能,且在特征比例為0.9 時(shí)達(dá)到最優(yōu),同時(shí)領(lǐng)先其余算法。這表明所提算法在使用距離排序去除極值樣本上具有一定效果,能夠一定程度應(yīng)用在非文本數(shù)據(jù)集上。

    綜上實(shí)驗(yàn)可以得出,本文算法主要適用在樣本分布較為稀疏的文本類數(shù)據(jù)集上,在此類數(shù)據(jù)集上,每一維特征的重要度都較小,但是卻可能與標(biāo)記集合中某一個(gè)標(biāo)記有關(guān)聯(lián)信息,所以無法輕易去除特征。而本文算法能夠有效計(jì)算每一維特征下樣本被標(biāo)記劃分后的兩類樣本的區(qū)分程度,根據(jù)區(qū)分程度可以過濾出對(duì)整體分類貢獻(xiàn)能力弱的特征,但本文算法的局限性在于無法去除特征子集中的冗余特征,當(dāng)數(shù)據(jù)集中存在大量冗余特征時(shí),本文算法將無法有效地應(yīng)對(duì)這種情況。

    4 結(jié)束語

    本文通過改進(jìn)單標(biāo)記下的FS 計(jì)算方式,去除一類樣本中的極端值,使得在統(tǒng)計(jì)意義上的樣本中心更符合實(shí)際生活中的樣本集合,即通過原始數(shù)據(jù)的中心偏移完成樣本的過濾,并結(jié)合標(biāo)記的權(quán)值系數(shù),將其應(yīng)用于多標(biāo)記任務(wù)。實(shí)驗(yàn)結(jié)果證明了所提算法具有一定的有效性和魯棒性。但本文在實(shí)驗(yàn)過程中還存在算法難以適用較密集數(shù)據(jù)集,以及對(duì)于多標(biāo)記權(quán)值系數(shù)的確定較為簡單等問題,這將是下一步需要完善的工作。

    猜你喜歡
    特征選擇半徑分類
    分類算一算
    連續(xù)展成磨削小半徑齒頂圓角的多刀逼近法
    分類討論求坐標(biāo)
    數(shù)據(jù)分析中的分類討論
    教你一招:數(shù)的分類
    一些圖的無符號(hào)拉普拉斯譜半徑
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    熱采水平井加熱半徑計(jì)算新模型
    基于特征選擇和RRVPMCD的滾動(dòng)軸承故障診斷方法
    91久久精品国产一区二区成人 | 亚洲狠狠婷婷综合久久图片| 美女免费视频网站| 亚洲国产高清在线一区二区三| 亚洲无线观看免费| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 一级a爱片免费观看的视频| 午夜福利在线观看免费完整高清在 | 老司机深夜福利视频在线观看| 久久国产精品人妻蜜桃| 国产视频内射| 国产成人影院久久av| 欧美一区二区亚洲| 日韩 欧美 亚洲 中文字幕| 在线观看av片永久免费下载| 黄色成人免费大全| 高潮久久久久久久久久久不卡| 99久国产av精品| 午夜精品久久久久久毛片777| 久久亚洲真实| or卡值多少钱| 中文字幕人妻丝袜一区二区| 3wmmmm亚洲av在线观看| 12—13女人毛片做爰片一| 国产精品98久久久久久宅男小说| 色综合婷婷激情| 国产精品一区二区免费欧美| 亚洲第一欧美日韩一区二区三区| 在线观看免费午夜福利视频| 精品久久久久久久末码| 超碰av人人做人人爽久久 | 一区二区三区免费毛片| 国产精品女同一区二区软件 | 国产aⅴ精品一区二区三区波| 欧美黄色淫秽网站| 一进一出抽搐动态| 久久久久九九精品影院| 亚洲欧美一区二区三区黑人| 亚洲国产欧美人成| 在线免费观看的www视频| 在线观看一区二区三区| 日韩欧美国产一区二区入口| 国产免费一级a男人的天堂| 欧美日韩精品网址| 亚洲欧美日韩东京热| 中文字幕高清在线视频| 午夜日韩欧美国产| 亚洲在线观看片| 亚洲精品456在线播放app | av在线蜜桃| 国产老妇女一区| 久久精品国产亚洲av涩爱 | 国产精品爽爽va在线观看网站| 88av欧美| 久久精品国产清高在天天线| av国产免费在线观看| 日本五十路高清| 亚洲成人久久性| 国产午夜福利久久久久久| 国产精品99久久99久久久不卡| 欧美绝顶高潮抽搐喷水| 一级毛片高清免费大全| 两个人看的免费小视频| 欧美日韩亚洲国产一区二区在线观看| 国内精品久久久久久久电影| 午夜精品久久久久久毛片777| 亚洲熟妇中文字幕五十中出| 草草在线视频免费看| 国产一区二区在线观看日韩 | 亚洲国产欧美人成| 老汉色av国产亚洲站长工具| 精品乱码久久久久久99久播| 99久久精品热视频| 久久精品国产自在天天线| 啦啦啦免费观看视频1| 亚洲欧美日韩无卡精品| 亚洲乱码一区二区免费版| 欧美又色又爽又黄视频| ponron亚洲| 麻豆久久精品国产亚洲av| 亚洲 欧美 日韩 在线 免费| 三级男女做爰猛烈吃奶摸视频| 少妇熟女aⅴ在线视频| 亚洲无线观看免费| 日日摸夜夜添夜夜添小说| 看免费av毛片| 免费在线观看日本一区| 天堂网av新在线| 真实男女啪啪啪动态图| 国产综合懂色| 国产aⅴ精品一区二区三区波| 亚洲第一电影网av| 久久伊人香网站| 欧美国产日韩亚洲一区| 校园春色视频在线观看| 国产精品久久电影中文字幕| 婷婷丁香在线五月| 首页视频小说图片口味搜索| 色视频www国产| 桃色一区二区三区在线观看| e午夜精品久久久久久久| 久久久久性生活片| 夜夜夜夜夜久久久久| 成年免费大片在线观看| e午夜精品久久久久久久| 国产97色在线日韩免费| 亚洲一区高清亚洲精品| 国产亚洲欧美98| www国产在线视频色| 国产精品亚洲av一区麻豆| 欧美中文日本在线观看视频| 欧美丝袜亚洲另类 | 亚洲专区中文字幕在线| 成人国产一区最新在线观看| 亚洲av成人不卡在线观看播放网| 日韩精品青青久久久久久| 神马国产精品三级电影在线观看| 大型黄色视频在线免费观看| 国内少妇人妻偷人精品xxx网站| 国产99白浆流出| 日韩欧美 国产精品| 伊人久久大香线蕉亚洲五| 99国产极品粉嫩在线观看| 日韩精品青青久久久久久| 男女午夜视频在线观看| 午夜免费成人在线视频| 午夜福利18| 国产成人系列免费观看| 国产一区在线观看成人免费| 男女下面进入的视频免费午夜| 亚洲片人在线观看| 色综合亚洲欧美另类图片| 色综合亚洲欧美另类图片| 亚洲,欧美精品.| 99在线人妻在线中文字幕| 亚洲无线在线观看| 亚洲av日韩精品久久久久久密| 乱人视频在线观看| 欧美一区二区亚洲| 欧美成狂野欧美在线观看| 狠狠狠狠99中文字幕| 国产精品精品国产色婷婷| 最近视频中文字幕2019在线8| 国产伦人伦偷精品视频| 母亲3免费完整高清在线观看| 国产精品久久视频播放| 亚洲最大成人手机在线| 亚洲国产色片| 在线看三级毛片| 亚洲第一欧美日韩一区二区三区| 欧美中文综合在线视频| xxx96com| 丁香六月欧美| 成人永久免费在线观看视频| 又黄又爽又免费观看的视频| av福利片在线观看| 精品国产超薄肉色丝袜足j| 大型黄色视频在线免费观看| 午夜影院日韩av| 国产主播在线观看一区二区| 美女高潮喷水抽搐中文字幕| 亚洲熟妇熟女久久| 最近视频中文字幕2019在线8| а√天堂www在线а√下载| 黄色视频,在线免费观看| 日日夜夜操网爽| 免费在线观看日本一区| 看黄色毛片网站| 国产伦一二天堂av在线观看| 国产黄片美女视频| 手机成人av网站| 国产一级毛片七仙女欲春2| 男人舔奶头视频| 91av网一区二区| 宅男免费午夜| 丰满乱子伦码专区| 亚洲欧美一区二区三区黑人| 中国美女看黄片| av女优亚洲男人天堂| 成年免费大片在线观看| 亚洲不卡免费看| 精品国内亚洲2022精品成人| 国产午夜精品论理片| 三级男女做爰猛烈吃奶摸视频| 亚洲一区二区三区不卡视频| 亚洲成av人片在线播放无| 高清在线国产一区| 免费观看精品视频网站| 亚洲无线观看免费| 国产黄片美女视频| 一进一出抽搐gif免费好疼| 最好的美女福利视频网| 丰满的人妻完整版| 久久久久久国产a免费观看| 一个人免费在线观看电影| 成人无遮挡网站| 狂野欧美白嫩少妇大欣赏| 亚洲人成网站在线播| 精品久久久久久久久久免费视频| 亚洲国产日韩欧美精品在线观看 | 舔av片在线| 午夜福利在线观看吧| 在线观看免费午夜福利视频| 欧美一级毛片孕妇| 精品久久久久久久久久免费视频| 亚洲午夜理论影院| 欧美日韩精品网址| 日本免费一区二区三区高清不卡| 亚洲精品成人久久久久久| 国产成年人精品一区二区| 偷拍熟女少妇极品色| 久久久久九九精品影院| 欧美色欧美亚洲另类二区| 日本在线视频免费播放| 波多野结衣巨乳人妻| 亚洲国产精品合色在线| 国产高潮美女av| www日本黄色视频网| 免费高清视频大片| 亚洲av一区综合| 日本一二三区视频观看| 国产97色在线日韩免费| 观看免费一级毛片| 无限看片的www在线观看| 午夜福利在线观看免费完整高清在 | 亚洲无线在线观看| 欧美成人一区二区免费高清观看| 在线免费观看不下载黄p国产 | 免费看a级黄色片| 国产精品免费一区二区三区在线| 久久久国产精品麻豆| 夜夜爽天天搞| 亚洲成人久久爱视频| www.熟女人妻精品国产| 亚洲国产日韩欧美精品在线观看 | 母亲3免费完整高清在线观看| 狂野欧美白嫩少妇大欣赏| 精品人妻一区二区三区麻豆 | 日本黄色片子视频| 精品一区二区三区av网在线观看| 久久精品国产综合久久久| 中文字幕av成人在线电影| 亚洲精品日韩av片在线观看 | 一本久久中文字幕| 欧美中文日本在线观看视频| 看免费av毛片| 国语自产精品视频在线第100页| 欧美一区二区精品小视频在线| 一区福利在线观看| 色综合站精品国产| 桃红色精品国产亚洲av| 国产69精品久久久久777片| 国内精品久久久久精免费| 国产毛片a区久久久久| 又粗又爽又猛毛片免费看| 国产91精品成人一区二区三区| 观看美女的网站| 熟女人妻精品中文字幕| 中文字幕人妻熟人妻熟丝袜美 | 女生性感内裤真人,穿戴方法视频| 亚洲黑人精品在线| 黄色片一级片一级黄色片| 国产高清videossex| 欧美乱色亚洲激情| 日本免费一区二区三区高清不卡| 他把我摸到了高潮在线观看| 搡老妇女老女人老熟妇| 国产成人aa在线观看| 免费观看的影片在线观看| 美女cb高潮喷水在线观看| 欧美成人免费av一区二区三区| 成人欧美大片| 成人特级黄色片久久久久久久| 丁香欧美五月| 欧美日韩中文字幕国产精品一区二区三区| www.www免费av| 午夜福利成人在线免费观看| netflix在线观看网站| 人妻夜夜爽99麻豆av| 国产伦精品一区二区三区视频9 | 最近在线观看免费完整版| www.熟女人妻精品国产| 亚洲最大成人中文| 国产三级中文精品| 一二三四社区在线视频社区8| 免费搜索国产男女视频| 美女高潮的动态| 看片在线看免费视频| 九九在线视频观看精品| 美女大奶头视频| 天天添夜夜摸| 可以在线观看的亚洲视频| 制服人妻中文乱码| 一个人看的www免费观看视频| 国产午夜精品久久久久久一区二区三区 | 久久人妻av系列| 岛国在线观看网站| 亚洲乱码一区二区免费版| 亚洲成人免费电影在线观看| 村上凉子中文字幕在线| 亚洲国产欧美人成| 男人和女人高潮做爰伦理| 国产久久久一区二区三区| 老司机深夜福利视频在线观看| 人人妻,人人澡人人爽秒播| 19禁男女啪啪无遮挡网站| 亚洲成av人片免费观看| 中文在线观看免费www的网站| www日本在线高清视频| 波多野结衣高清无吗| 有码 亚洲区| av女优亚洲男人天堂| 天堂网av新在线| 精品国产超薄肉色丝袜足j| 91麻豆精品激情在线观看国产| 99久久无色码亚洲精品果冻| 蜜桃亚洲精品一区二区三区| 在线观看舔阴道视频| 神马国产精品三级电影在线观看| 亚洲内射少妇av| 日韩亚洲欧美综合| 久久久久久久亚洲中文字幕 | 成人国产综合亚洲| 日韩成人在线观看一区二区三区| av在线天堂中文字幕| 99热6这里只有精品| 成人一区二区视频在线观看| 亚洲一区二区三区色噜噜| 深夜精品福利| 禁无遮挡网站| 国产成人a区在线观看| 久久精品91蜜桃| 丰满人妻一区二区三区视频av | 亚洲精品456在线播放app | 深爱激情五月婷婷| xxxwww97欧美| 韩国av一区二区三区四区| 精品人妻1区二区| 欧美性猛交╳xxx乱大交人| av片东京热男人的天堂| 在线观看舔阴道视频| 久久人人精品亚洲av| 乱人视频在线观看| 亚洲成a人片在线一区二区| 欧美日本视频| 亚洲乱码一区二区免费版| 国内毛片毛片毛片毛片毛片| 日本撒尿小便嘘嘘汇集6| 亚洲无线观看免费| 午夜福利18| 国产黄色小视频在线观看| www国产在线视频色| 757午夜福利合集在线观看| 在线免费观看的www视频| 热99re8久久精品国产| 国产激情偷乱视频一区二区| 日韩免费av在线播放| 欧美性猛交黑人性爽| 欧美色欧美亚洲另类二区| 欧美+日韩+精品| 搡老岳熟女国产| 久久久久久久精品吃奶| 亚洲精品乱码久久久v下载方式 | 深爱激情五月婷婷| 狂野欧美激情性xxxx| 国内精品一区二区在线观看| 一区福利在线观看| 久久久久国内视频| 久久国产精品人妻蜜桃| 亚洲一区二区三区色噜噜| 亚洲精品粉嫩美女一区| 99热6这里只有精品| 国产伦在线观看视频一区| 精华霜和精华液先用哪个| 欧美zozozo另类| 亚洲第一电影网av| 国产精品久久久久久久电影 | 成人18禁在线播放| 日韩中文字幕欧美一区二区| 亚洲18禁久久av| 给我免费播放毛片高清在线观看| 脱女人内裤的视频| 又粗又爽又猛毛片免费看| av在线天堂中文字幕| 精品日产1卡2卡| 白带黄色成豆腐渣| 最新中文字幕久久久久| 男女视频在线观看网站免费| 中文字幕人妻熟人妻熟丝袜美 | 欧美日韩中文字幕国产精品一区二区三区| 亚洲av免费高清在线观看| 窝窝影院91人妻| av中文乱码字幕在线| 18禁美女被吸乳视频| 内地一区二区视频在线| 国产精品亚洲一级av第二区| 中文字幕人妻丝袜一区二区| 18禁黄网站禁片午夜丰满| 在线观看舔阴道视频| 一a级毛片在线观看| 嫁个100分男人电影在线观看| 亚洲欧美日韩高清在线视频| 日韩精品青青久久久久久| 18禁美女被吸乳视频| 级片在线观看| 久久久久久九九精品二区国产| 深爱激情五月婷婷| 国产成人啪精品午夜网站| 国产午夜福利久久久久久| 色综合站精品国产| 国产精品久久久久久久久免 | 亚洲不卡免费看| 亚洲一区二区三区色噜噜| 淫秽高清视频在线观看| 亚洲欧美精品综合久久99| 欧美日韩综合久久久久久 | 国产麻豆成人av免费视频| 熟妇人妻久久中文字幕3abv| 一a级毛片在线观看| 成年人黄色毛片网站| 亚洲国产日韩欧美精品在线观看 | 国产单亲对白刺激| 日本成人三级电影网站| 国产一区二区激情短视频| 国产精品久久久久久久久免 | 色视频www国产| 亚洲av二区三区四区| 老汉色av国产亚洲站长工具| 日本撒尿小便嘘嘘汇集6| 国语自产精品视频在线第100页| 亚洲内射少妇av| 热99re8久久精品国产| 国产精品国产高清国产av| 五月玫瑰六月丁香| 日本黄色片子视频| 一级黄色大片毛片| 亚洲无线在线观看| 内地一区二区视频在线| 国产免费一级a男人的天堂| 少妇裸体淫交视频免费看高清| 在线播放国产精品三级| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 首页视频小说图片口味搜索| 日本成人三级电影网站| 亚洲精品国产精品久久久不卡| 成年女人毛片免费观看观看9| 小说图片视频综合网站| 欧美一区二区国产精品久久精品| 色综合欧美亚洲国产小说| 亚洲电影在线观看av| 俄罗斯特黄特色一大片| 国产高清videossex| 亚洲av成人不卡在线观看播放网| 免费人成视频x8x8入口观看| 国产探花在线观看一区二区| 村上凉子中文字幕在线| 男人的好看免费观看在线视频| 久久精品国产综合久久久| 免费av毛片视频| 99热6这里只有精品| 国产精品98久久久久久宅男小说| 琪琪午夜伦伦电影理论片6080| 蜜桃久久精品国产亚洲av| 久久久久久九九精品二区国产| 欧美激情在线99| 窝窝影院91人妻| av欧美777| 热99re8久久精品国产| av福利片在线观看| 亚洲狠狠婷婷综合久久图片| 精品久久久久久久久久久久久| 婷婷精品国产亚洲av在线| 久久久久国内视频| 91九色精品人成在线观看| 精品乱码久久久久久99久播| 欧美3d第一页| 老汉色∧v一级毛片| 欧美zozozo另类| 日韩欧美在线乱码| 少妇的逼好多水| 国产av一区在线观看免费| 亚洲成人精品中文字幕电影| 99riav亚洲国产免费| 国产精品亚洲美女久久久| 国产高清视频在线观看网站| 欧美一级毛片孕妇| 久久久久久九九精品二区国产| 老鸭窝网址在线观看| 色综合婷婷激情| 日韩欧美三级三区| 精品日产1卡2卡| 亚洲精品亚洲一区二区| 99riav亚洲国产免费| 欧美绝顶高潮抽搐喷水| 99在线人妻在线中文字幕| 国产成人啪精品午夜网站| 久久欧美精品欧美久久欧美| 桃红色精品国产亚洲av| 伊人久久精品亚洲午夜| 九色成人免费人妻av| 亚洲不卡免费看| 午夜福利18| 日韩有码中文字幕| 三级男女做爰猛烈吃奶摸视频| 叶爱在线成人免费视频播放| 国内精品久久久久精免费| 国产高清激情床上av| 欧美丝袜亚洲另类 | 男插女下体视频免费在线播放| 伊人久久精品亚洲午夜| 国产精品日韩av在线免费观看| 级片在线观看| 3wmmmm亚洲av在线观看| 很黄的视频免费| 精品一区二区三区人妻视频| 国产精品 国内视频| 无限看片的www在线观看| 两人在一起打扑克的视频| 夜夜看夜夜爽夜夜摸| 日韩av在线大香蕉| 好看av亚洲va欧美ⅴa在| 亚洲精品粉嫩美女一区| 尤物成人国产欧美一区二区三区| 日韩成人在线观看一区二区三区| 可以在线观看的亚洲视频| 一区二区三区激情视频| 啪啪无遮挡十八禁网站| 国产午夜精品论理片| 亚洲精品国产精品久久久不卡| 午夜福利免费观看在线| 久久人妻av系列| 久久这里只有精品中国| 一个人免费在线观看的高清视频| 观看免费一级毛片| 日本 av在线| 国产精品亚洲av一区麻豆| 中文字幕av成人在线电影| 国产精华一区二区三区| 欧美激情久久久久久爽电影| 18禁在线播放成人免费| 脱女人内裤的视频| 精品乱码久久久久久99久播| 日韩欧美在线二视频| av国产免费在线观看| 夜夜夜夜夜久久久久| 亚洲精品亚洲一区二区| 精品一区二区三区视频在线 | 亚洲av第一区精品v没综合| 亚洲成av人片在线播放无| 麻豆国产97在线/欧美| 亚洲在线观看片| 丰满人妻一区二区三区视频av | 欧美精品啪啪一区二区三区| 叶爱在线成人免费视频播放| 一级毛片高清免费大全| 亚洲熟妇熟女久久| 国产又黄又爽又无遮挡在线| 九九久久精品国产亚洲av麻豆| 亚洲av不卡在线观看| 美女大奶头视频| 女人被狂操c到高潮| 2021天堂中文幕一二区在线观| 美女 人体艺术 gogo| 国产精品综合久久久久久久免费| 成年人黄色毛片网站| 动漫黄色视频在线观看| 亚洲精品久久国产高清桃花| 一个人看的www免费观看视频| 国产高清有码在线观看视频| 国产探花极品一区二区| 观看美女的网站| 国产成+人综合+亚洲专区| 舔av片在线| 9191精品国产免费久久| 午夜福利免费观看在线| 一区二区三区国产精品乱码| 女生性感内裤真人,穿戴方法视频| 啦啦啦观看免费观看视频高清| 校园春色视频在线观看| 3wmmmm亚洲av在线观看| 成人18禁在线播放| 久久婷婷人人爽人人干人人爱| 精品99又大又爽又粗少妇毛片 | 狂野欧美激情性xxxx| 精品久久久久久,| 成人鲁丝片一二三区免费| 国产午夜精品久久久久久一区二区三区 | 久久精品人妻少妇| 亚洲人与动物交配视频| 大型黄色视频在线免费观看| 国产精品美女特级片免费视频播放器| 一区二区三区高清视频在线| 一级作爱视频免费观看| 亚洲专区中文字幕在线| 黄色片一级片一级黄色片| 好男人电影高清在线观看| 国产成人av教育| 99国产极品粉嫩在线观看| aaaaa片日本免费| 色在线成人网| 免费看日本二区| 国产一区在线观看成人免费| 成熟少妇高潮喷水视频| 一区福利在线观看| 国内久久婷婷六月综合欲色啪| 国产精品久久久人人做人人爽| 久久久久精品国产欧美久久久| 久久精品国产清高在天天线| 黑人欧美特级aaaaaa片| 精品乱码久久久久久99久播| 国产高清三级在线| 国产精品一区二区三区四区久久| 99热这里只有是精品50| 天堂√8在线中文| 成人精品一区二区免费|