結(jié)合流形學(xué)習(xí)與邏輯回歸的多標(biāo)簽特征選擇

張 要，馬盈倉(cāng)，朱恒東，李 恒，陳 程

（西安工程大學(xué) 理學(xué)院，西安 710600）

0 概述

特征選擇作為處理高維數(shù)據(jù)分類(lèi)的主要方法，在算法學(xué)習(xí)過(guò)程中不僅能夠減少訓(xùn)練時(shí)間，而且能避免維度災(zāi)難與過(guò)擬合等問(wèn)題［1-3］，同時(shí)是近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一。與單標(biāo)簽數(shù)據(jù)一樣，多標(biāo)簽數(shù)據(jù)存在多個(gè)特征［4］，在分類(lèi)問(wèn)題中同樣面臨維度災(zāi)難問(wèn)題，但與傳統(tǒng)單標(biāo)簽特征選擇不同，多標(biāo)簽特征選擇不僅要考慮樣本與標(biāo)簽間的關(guān)系，而且要考慮標(biāo)簽與標(biāo)簽間的關(guān)系?，F(xiàn)有多標(biāo)簽特征選擇方法大致可分為過(guò)濾式、封裝式、嵌入式［5］等3 類(lèi)，其中嵌入式方法是將特征選擇過(guò)程嵌入學(xué)習(xí)過(guò)程中，綜合了過(guò)濾式與封裝式的優(yōu)勢(shì)。

由于多標(biāo)簽分類(lèi)數(shù)據(jù)的連續(xù)性與標(biāo)簽的離散性，因此一些學(xué)者認(rèn)為多標(biāo)簽數(shù)據(jù)中，數(shù)據(jù)與標(biāo)簽的關(guān)系可以用logistic 回歸模型來(lái)學(xué)習(xí)，并通過(guò)不同正則項(xiàng)的約束來(lái)改進(jìn)算法的性能，從而進(jìn)行多標(biāo)簽特征選擇。文獻(xiàn)［6］提出一種用于多標(biāo)簽圖像分類(lèi)的相關(guān)logistic 回歸模型（CorrLog），將傳統(tǒng)的logistic回歸模型擴(kuò)展到多標(biāo)簽情況。文獻(xiàn)［7］提出混合整數(shù)優(yōu)化logistic 回歸的特征子集選擇算法，給出一個(gè)混合整數(shù)線性優(yōu)化問(wèn)題，使用標(biāo)準(zhǔn)的整數(shù)優(yōu)化軟件求解，并對(duì)logistic 回歸的損失函數(shù)進(jìn)行分段線性逼近。文獻(xiàn)［8］提出一種基于Lq(0

近年來(lái)，流形學(xué)習(xí)快速發(fā)展，并逐漸滲透到人們生活以及工業(yè)生產(chǎn)等各個(gè)領(lǐng)域。為了能夠?qū)W習(xí)到數(shù)據(jù)特征的基層流形結(jié)構(gòu)，文獻(xiàn)［9-10］提出流形學(xué)習(xí)方法，發(fā)現(xiàn)在特征選擇的過(guò)程中，特征流形結(jié)構(gòu)能夠促使特征選擇學(xué)習(xí)到更優(yōu)的回歸系數(shù)矩陣。文獻(xiàn)［11］提出一個(gè)圖形學(xué)習(xí)框架來(lái)保持?jǐn)?shù)據(jù)的局部和全局結(jié)構(gòu)，該方法利用樣本的自表達(dá)性來(lái)捕獲全局結(jié)構(gòu)，使用自適應(yīng)鄰域方法來(lái)保持局部結(jié)構(gòu)。文獻(xiàn)［12］提出一種新的魯棒圖學(xué)習(xí)方法，該方法通過(guò)自適應(yīng)地去除原始數(shù)據(jù)中的噪聲和錯(cuò)誤，從真實(shí)的噪聲數(shù)據(jù)中學(xué)習(xí)出可靠的圖。文獻(xiàn)［13］通過(guò)數(shù)據(jù)的自表示性質(zhì)構(gòu)建相似矩陣，并運(yùn)用流形結(jié)構(gòu)和稀疏正則項(xiàng)來(lái)約束相似矩陣，從而構(gòu)建無(wú)監(jiān)督特征選擇模型。文獻(xiàn)［14］通過(guò)將其定義的代價(jià)距離代入現(xiàn)有的特征選擇模型中，并使用流形結(jié)構(gòu)約束得到一個(gè)新的代價(jià)敏感特征選擇方法。文獻(xiàn)［15］使用logistic回歸模型，并利用標(biāo)簽流形結(jié)構(gòu)與L1-范數(shù)約束回歸系數(shù)矩陣，構(gòu)造半監(jiān)督多標(biāo)簽特征選擇模型。可見(jiàn)，流形學(xué)習(xí)不一定作為正則項(xiàng)來(lái)約束回歸系數(shù)，標(biāo)簽流形學(xué)習(xí)也是一種學(xué)習(xí)數(shù)據(jù)與標(biāo)簽間關(guān)系的方法。為找出數(shù)據(jù)與標(biāo)簽間的關(guān)系，準(zhǔn)確去除不相關(guān)的特征和冗余特征，本文融合logistic 回歸模型學(xué)習(xí)到的系數(shù)矩陣和標(biāo)簽流形模型學(xué)習(xí)到的權(quán)重矩陣，基于L2，1-范數(shù)提出一種高效的柔性結(jié)合標(biāo)簽流形結(jié)構(gòu)與logistic 回歸模型的多標(biāo)簽特征選擇算法（FSML）。

1 模型建立

1.1 logistic 回歸模型

樣本xi不屬于第j類(lèi)的后驗(yàn)概率如下：

其中：wj是系數(shù)矩陣W∈Rd×m的第j列向量。

使用極大似然估計(jì)法對(duì)系數(shù)矩陣進(jìn)行估計(jì)，則logistic 回歸關(guān)于多標(biāo)簽數(shù)據(jù)集的似然函數(shù)（聯(lián)合概率分布）如下：

由于求解式（3）較為困難，因此可以將式（3）轉(zhuǎn)化為利用求解logistic 回歸的負(fù)對(duì)數(shù)似然函數(shù)式（4）的極小值來(lái)求解W。

又因?yàn)閘ogistic 回歸模型可能會(huì)出現(xiàn)過(guò)擬合、多重共線性、無(wú)限解等不適定問(wèn)題，所以導(dǎo)致系數(shù)矩陣估計(jì)不正確［16］。為了解決這一問(wèn)題，一種廣泛使用的策略是在式（4）中引入稀疏懲罰項(xiàng)，因此帶有懲罰項(xiàng)的logistic 回歸模型的表達(dá)式如下：

其中：β是懲罰因子；R(*)是懲罰函數(shù)，表示對(duì)*的相應(yīng)約束懲罰。

1.2 流形學(xué)習(xí)

近年來(lái)，流形學(xué)習(xí)被廣泛應(yīng)用于協(xié)同聚類(lèi)［17］、特征選擇、維數(shù)約簡(jiǎn)［18］等任務(wù)中。在特征選擇算法中，流形學(xué)習(xí)通常是被用作正則項(xiàng)來(lái)約束回歸系數(shù)矩陣，以便回歸系數(shù)矩陣擬合數(shù)據(jù)特征的基層流形結(jié)構(gòu)，但流形學(xué)習(xí)在特征選擇算法中的使用方式并不局限于此。

在本文研究中，將使用流形學(xué)習(xí)來(lái)擬合數(shù)據(jù)特征的權(quán)重矩陣，為學(xué)習(xí)得到更好的特征權(quán)重矩陣并更有效地利用標(biāo)簽信息，進(jìn)行如下假設(shè)：

1）通過(guò)學(xué)習(xí)數(shù)據(jù)間的相似矩陣Z來(lái)探究數(shù)據(jù)基層結(jié)構(gòu)。例如，標(biāo)簽相似矩陣Z可以通過(guò)核函數(shù)學(xué)習(xí)，如式（6）所示：

其中：Zij是Z的第i行、第j列的元素，表示yi和yj之間的相似度。

2）通過(guò)學(xué)習(xí)得到標(biāo)簽F。因?yàn)镕需要擬合原始標(biāo)簽Y的基層結(jié)構(gòu)，所以

3）理論上認(rèn)為：F=XU，其中U∈Rd×m是數(shù)據(jù)特征的權(quán)重矩陣。

根據(jù)以上假設(shè)構(gòu)建標(biāo)簽流形學(xué)習(xí)模型，其表達(dá)式如下：

同樣地，引入相應(yīng)的懲罰項(xiàng)，以便在學(xué)習(xí)過(guò)程中約束特征權(quán)重矩陣，使其能夠很好地?cái)M合標(biāo)簽的基層流形結(jié)構(gòu)。因此，標(biāo)簽流形學(xué)習(xí)模型也可寫(xiě)成以下形式：

1.3 柔性嵌入

通過(guò)式（5）和式（8）可以看出，針對(duì)特征選擇中的懲罰函數(shù)R(*)，具有如下要求：

1）懲罰函數(shù)R(*)能夠約束稀疏矩陣W和權(quán)重矩陣U的稀疏性。

2）懲罰函數(shù)R(*)能夠根據(jù)特性結(jié)合稀疏矩陣W和權(quán)重矩陣U，且能使兩者相互促進(jìn)，相輔相成。

3）在一般情況下，在特征選擇的過(guò)程中要能夠清晰地區(qū)分特征的好壞，通常要求能夠代表特征的矩陣要行內(nèi)穩(wěn)定、行間稀疏。因此，懲罰函數(shù)R(*)也要有這種約束性。

選取L2，1-范數(shù)作為懲罰函數(shù)，即R(*)=‖ * ‖2，1，不僅可以滿足要求1和要求3，而且對(duì)奇異值比較敏感［19］。

根據(jù)要求2，考慮到稀疏矩陣W和權(quán)重矩陣U較為相似，且都能用于進(jìn)行特征選擇，初步認(rèn)為*=W-U，但*=W-U表示兩者幾乎完全相同，而實(shí)際上兩者還是有一定的差別，僅基于不同的模型，W與U就會(huì)出現(xiàn)差別。引入偏置矩陣1dbT∈Rn×m來(lái)使模型變得更為合理，其中，1d∈Rd為使元素全為1 的列向量，b∈Rm為偏置向量。進(jìn)一步認(rèn)為*=W+1dbTU，因此R(*)=‖W+1dbT-U‖2，1。

綜上，本文設(shè)計(jì)柔性結(jié)合標(biāo)簽流形結(jié)構(gòu)與logistic 回歸模型的多標(biāo)簽特征選擇算法FSML，其目標(biāo)優(yōu)化問(wèn)題可以改寫(xiě)如下：

其中：α為標(biāo)簽流形參數(shù)。

2 問(wèn)題求解

2.1 問(wèn)題優(yōu)化

針對(duì)L2，1-范數(shù)的求解，根據(jù)文獻(xiàn)［20］，當(dāng)(W+1dbTU)i≠0時(shí)，其中i=1，2，…，d?！琖+1dbT-U‖2，1對(duì)W或?qū)的求導(dǎo)也可以看作Tr((W+1dbT-U)TH(W+1dbTU))對(duì)W或?qū)的求導(dǎo)，其中H∈Rd×d是對(duì)角矩陣，H的第i個(gè)對(duì)角元素如下：

因此，可以利用上述優(yōu)化問(wèn)題來(lái)求出式（9）的近似解，從而將目標(biāo)函數(shù)轉(zhuǎn)變?nèi)缦拢?/p>

對(duì)于該問(wèn)題，可給定一個(gè)H，將W、U與當(dāng)前的H進(jìn)行計(jì)算，然后根據(jù)當(dāng)前計(jì)算出的W、U對(duì)H進(jìn)行更新。

2.2 給定H、W 的U 求解

根據(jù)式（11），當(dāng)固定H和W時(shí)，關(guān)于U和b的目標(biāo)函數(shù)可改寫(xiě)如下：

2.3 給定H、U 的W 求解

根據(jù)式（11），當(dāng)固定H和U時(shí)，關(guān)于W的目標(biāo)函數(shù)可改寫(xiě)如下：

由于式（17）是可微的，因此可以通過(guò)Newton-Raphson 算法進(jìn)行求解，式（17）對(duì)W的一階導(dǎo)如下：

W更新公式如下：

通過(guò)以上問(wèn)題的優(yōu)化與求解，柔性結(jié)合標(biāo)簽流形結(jié)構(gòu)與logistic 回歸模型的多標(biāo)簽特征選擇算法FSML 具體描述如下：

算法1FSML 算法

FSML 算法的目的主要是計(jì)算并更新W與U，每次迭代的時(shí)間復(fù)雜度為O(2d2n)，共迭代t次，因此總的時(shí)間復(fù)雜度為O(2td2n)。由于t值一般不大，因此FSML 算法處理數(shù)據(jù)的運(yùn)行時(shí)間受數(shù)據(jù)維數(shù)d和數(shù)據(jù)集樣本個(gè)數(shù)n的影響較大。

FSML 算法的收斂性分析類(lèi)似于L2，1-范數(shù)的收斂性分析，圖1 給出了參數(shù)α=1、β=1、K=5 時(shí)，F(xiàn)SML 算法在生物數(shù)據(jù)集Yeast、文本數(shù)據(jù)集Health和Computers、音樂(lè)數(shù)據(jù)集Emotion、圖像數(shù)據(jù)集Scene 等5 個(gè)經(jīng)典數(shù)據(jù)集上的收斂性結(jié)果。

圖1 FSML 算法在不同數(shù)據(jù)集上的收斂性結(jié)果Fig.1 Convergence results of FSML algorithm on different datasets

3 實(shí)驗(yàn)與結(jié)果分析

采用5 個(gè)經(jīng)典數(shù)據(jù)集進(jìn)行FSML 算法有效性驗(yàn)證，并將其與SCLS［21］、MDMR［22］、PMU［23］、FIMF［24］、CMLS［25］算法以及Baseline（選擇所有特征）進(jìn)行性能比較，同時(shí)選擇ML-KNN［26］算法作為代表性的多標(biāo)簽分類(lèi)算法進(jìn)行實(shí)驗(yàn)。

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中采用的5 個(gè)經(jīng)典數(shù)據(jù)集來(lái)自木蘭圖書(shū)館（http：//mulan.sourceforge.net/datasets.html），具體信息如表1 所示。

表1 數(shù)據(jù)集信息Table 1 Dataset information

實(shí)驗(yàn)操作系統(tǒng)環(huán)境為Microsoft Windows 7，處理器為I ntel?CoreTMi5-4210U CPU@1.70 GHz 2.40 GHz，內(nèi)存為4.00 GB，編程軟件為Matlab R2016a。

實(shí)驗(yàn)參數(shù)設(shè)置如下（設(shè)置1 和設(shè)置2 均為對(duì)應(yīng)算法的默認(rèn)設(shè)置）：

1）在ML-KNN 算法中，設(shè)置平滑參數(shù)S=1，近鄰參數(shù)K=10。

2）在FIMF、MDMR 和PMU 算法中，利用等寬區(qū)間對(duì)數(shù)據(jù)集進(jìn)行離散化處理［27］，并且在FIMF 算法中，設(shè)置Q=10、b=2。

3）將所有特征選擇算法（除ML-KNN 算法以外）的最近鄰參數(shù)設(shè)為K=5，最大迭代次數(shù)設(shè)為50。

4）所有算法的正則化參數(shù)通過(guò)網(wǎng)格搜索策略進(jìn)行調(diào)整，搜索范圍設(shè)置為[0.001，0.01，0.1，1，10，100，1 000 ]，并將選擇的功能數(shù)量設(shè)置為[10，15，20，25，30，35，40，45，50 ]。

3.2 評(píng)價(jià)指標(biāo)

與單標(biāo)簽學(xué)習(xí)系統(tǒng)的性能評(píng)價(jià)不同，多標(biāo)簽學(xué)習(xí)系統(tǒng)的評(píng)價(jià)指標(biāo)更為復(fù)雜。假設(shè)一個(gè)測(cè)試數(shù)據(jù)集，給定測(cè)試樣本di，多標(biāo)簽分類(lèi)器預(yù)測(cè)的二進(jìn)制標(biāo)簽向量記為h(di)，第l個(gè)標(biāo)簽預(yù)測(cè)的秩記為ranki(l)。

1）漢明損失（Hamming Loss）。度量的是錯(cuò)分的標(biāo)簽比例，即正確標(biāo)簽沒(méi)有被預(yù)測(cè)以及錯(cuò)誤標(biāo)簽被預(yù)測(cè)的標(biāo)簽占比。值越小，表現(xiàn)越好。Hamming Loss 計(jì)算公式如下：

其中：Δ 表示兩個(gè)集合的對(duì)稱差，返回只在其中一個(gè)集合中出現(xiàn)的那些值；HHammingLoss(D) ∈[0，1]。

2）排名損失（Ranking Loss）。度量的是反序標(biāo)簽對(duì)的占比，即不相關(guān)標(biāo)簽比相關(guān)標(biāo)簽的相關(guān)性還要大的情況。值越小，表現(xiàn)越好。Ranking Loss 計(jì)算公式如下：

3）1-錯(cuò)誤率（One-Error）。度量的是預(yù)測(cè)到的最相關(guān)的標(biāo)簽不在真實(shí)標(biāo)簽中的樣本占比。值越小，表現(xiàn)越好。One-Error 計(jì)算公式如下：

4）覆蓋率（Coverage）。度量的是排序好的標(biāo)簽列表平均需要移動(dòng)多少步才能覆蓋真實(shí)的相關(guān)標(biāo)簽集。值越小，表現(xiàn)越好。Coverage 計(jì)算公式如下：

其中：CCoverage(D) ∈[0，m-1]。

5）平均精度（Average Precision）。度量的是比特定標(biāo)簽更相關(guān)的那些標(biāo)簽的排名占比。值越大，表現(xiàn)越好。平均精度計(jì)算公式如下：

3.3 實(shí)驗(yàn)結(jié)果

本文提出的FSML 算法在5 個(gè)經(jīng)典數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并考慮Hamming Loss、Ranking Loss、One-Error、Coverage、Average Precision 評(píng)價(jià)指標(biāo)對(duì)FSML 算法與對(duì)比算法的性能進(jìn)行比較。表2～表6 給出了所有特征選擇算法在最優(yōu)參數(shù)時(shí)的最優(yōu)結(jié)果，其中，最優(yōu)結(jié)果用粗體標(biāo)出，次優(yōu)結(jié)果用下劃線標(biāo)出。從表2～表6 可以看出：大多數(shù)的最優(yōu)結(jié)果出現(xiàn)在FSML 算法上，從而證明FSML 算法的可行性；具體而言，F(xiàn)SML 算法雖然在Scene數(shù)據(jù)集上的所有指標(biāo)相對(duì)于Baseline均略有不足，但在Computers、Health、Scene 數(shù)據(jù)集上的所有指標(biāo)，以及Yeast數(shù)據(jù)集上的Ranking Loss、One-Error、Coverage、Average Precision 均優(yōu)于對(duì)比算法，并且在Emotion、Computers、Health、Yeast 數(shù)據(jù)集上的所有指標(biāo)甚至優(yōu)于Baseline。

表2 各數(shù)據(jù)集上不同算法的Hamming Loss 數(shù)據(jù)對(duì)比Table 2 Data comparison of Hamming Loss among different algorithms on various datasets

表3 各數(shù)據(jù)集上不同算法的Ranking Loss 數(shù)據(jù)對(duì)比Table 3 Data comparison of Ranking Loss among different algorithms on various datasets

表4 各數(shù)據(jù)集上不同算法的One-Error 數(shù)據(jù)對(duì)比Table 4 Data comparison of One-Error among different algorithms under various datasets

表5 各數(shù)據(jù)集上不同算法的Coverage 數(shù)據(jù)對(duì)比Table 5 Data comparison of Coverage among different algorithms on various datasets

表6 各數(shù)據(jù)集上不同算法的Average Precision 數(shù)據(jù)對(duì)比Table 6 Data comparison of Average Precision among different algorithms on various datasets

綜上，F(xiàn)SML 算法在各種實(shí)驗(yàn)指標(biāo)上的性能均明顯優(yōu)于FIMF 算法、PMU 算法、MDMR 算法和SCLS 算法，在Computers、Health、Scene 數(shù)據(jù)集上明顯優(yōu)于CMLS 算法，在Emotion 數(shù)據(jù)集上略優(yōu)于CMLS 算法，并在除Scene 數(shù)據(jù)集以外的其他實(shí)驗(yàn)數(shù)據(jù)集上的指標(biāo)均優(yōu)于Baseline。

為能更直觀地展示FSML 算法與對(duì)比算法以及Baseline 的性能對(duì)比，圖2～圖6 給出了所有算法在各種數(shù)據(jù)集上的性能評(píng)價(jià)指標(biāo)。從圖2～圖6 可以看出：FSML 算法在Scene 數(shù)據(jù)集上的性能表現(xiàn)雖然略次于Baseline，但在其他數(shù)據(jù)集上的性能表現(xiàn)很好，尤其是在Health 數(shù)據(jù)集上的性能表現(xiàn)最好，明顯優(yōu)于對(duì)比算法和Baseline。通過(guò)FSML 算法與對(duì)比算法的比較結(jié)果可以看出，F(xiàn)SML 算法的實(shí)驗(yàn)結(jié)果通常優(yōu)于對(duì)比算法，可見(jiàn)將logistic 回歸模型與流形結(jié)構(gòu)柔性結(jié)合，能更準(zhǔn)確地學(xué)習(xí)到數(shù)據(jù)與標(biāo)簽間的關(guān)系；通過(guò)與Baseline 的比較結(jié)果可以看出，F(xiàn)SML 算法在大多數(shù)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果都優(yōu)于Baseline，能夠有效去除不相關(guān)的特征和冗余特征。

圖2 各數(shù)據(jù)集上不同算法的Hamming Loss 曲線對(duì)比Fig.2 Curve comparison of Hamming Loss among different algorithms on various datasets

圖3 各數(shù)據(jù)集上不同算法的Ranking Loss 曲線對(duì)比Fig.3 Curve comparison of Ranking Loss among different algorithms on various datasets

圖4 各數(shù)據(jù)集上不同算法的One-Error 曲線對(duì)比Fig.4 Curve comparison of One-Error among different algorithms on various datasets

圖5 各數(shù)據(jù)集上不同算法的Coverage 曲線對(duì)比Fig.5 Curve comparison of Coverage among different algorithms on various datasets

圖6 各數(shù)據(jù)集上不同算法的Average Precision 曲線對(duì)比Fig.6 Curve comparison of Average Precision among different algorithms on various datasets

為研究FSML 算法對(duì)參數(shù)的敏感程度：一方面，設(shè)置近鄰參數(shù)K=5，通過(guò)網(wǎng)格搜索策略來(lái)調(diào)整α與β的數(shù)值，探究FSML 算法在取不同參數(shù)時(shí)，Average Precision 評(píng)價(jià)指標(biāo)的變化情況，如圖7 所示，可以看出在一定范圍內(nèi)Average Precision 評(píng)價(jià)指標(biāo)值會(huì)隨參數(shù)的變化而變化，并且不同的實(shí)驗(yàn)數(shù)據(jù)對(duì)參數(shù)的敏感程度不同，當(dāng)α<1、β<1 時(shí)FSML 算法性能對(duì)參數(shù)的變化不是很敏感；另一方面，設(shè)置參數(shù)α=10、β=100，在[5，6，7，8，9，10]內(nèi)調(diào)整近鄰參數(shù)K的值，探究近鄰參數(shù)K的變化對(duì)FSML 算法性能的影響，如圖8 所示，可以看出在Yeast、Scene 數(shù)據(jù)集上FSML 算法對(duì)近鄰參數(shù)K的變化不太敏感，而在其他數(shù)據(jù)集上則較為敏感，可見(jiàn)FSML 算法對(duì)近鄰參數(shù)K的變化是否敏感與數(shù)據(jù)本身的基層結(jié)構(gòu)特征有關(guān)。

圖7 參數(shù)α、β 對(duì)FSML 算法的影響Fig.7 Influence of parameters α and β on FSML algorithm

圖8 近鄰參數(shù)K 對(duì)FSML 算法的影響Fig.8 Influence of parameter K on FSML algorithm

如圖9 所示，橫坐標(biāo)軸表示在各評(píng)價(jià)指標(biāo)下各多標(biāo)簽特征選擇算法的排序，從左到右，算法的性能越來(lái)越好，同時(shí)還給出了Bonferroni-Dunn 測(cè)試結(jié)果的平均秩圖，并將無(wú)顯著差異(p<0.1)的算法組連接，如果平均排名達(dá)到差異的臨界值（Critical Distance），則有顯著差異［28］。在One-Error 指標(biāo)下，F(xiàn)SML 算法性能明顯優(yōu)于對(duì)比算法，并具有顯著性差異；在其他指標(biāo)下，F(xiàn)SML 算法的性能明顯優(yōu)于SCLS、FIMF、MDMR 和PMU 算法，并具有顯著性差異，雖然與CMLS 算法之間沒(méi)有顯著性差異，但FSML 算法的排序始終在第一位。因此，與其他算法相比，F(xiàn)SML 算法具有更好的性能。

圖9 Bonferroni-Dunn 檢驗(yàn)結(jié)果的平均秩圖Fig.9 Average rank graph of Bonferroni-Dunn test results

4 結(jié)束語(yǔ)

本文基于L2，1-范數(shù)將標(biāo)簽流形結(jié)構(gòu)與logistic 回歸模型柔性結(jié)合，構(gòu)建多標(biāo)簽特征選擇算法FSML，并在多個(gè)經(jīng)典多標(biāo)簽數(shù)據(jù)集上與現(xiàn)有多標(biāo)簽特征選擇算法進(jìn)行性能對(duì)比。實(shí)驗(yàn)結(jié)果證明了FSML算法的有效性。但由于近鄰參數(shù)K不能自適應(yīng)學(xué)習(xí)，導(dǎo)致同一個(gè)K值不一定能夠較好地學(xué)習(xí)到每個(gè)數(shù)據(jù)標(biāo)簽的基層流形結(jié)構(gòu)，從而限制了FSML 算法的應(yīng)用范圍。下一步將對(duì)相似矩陣學(xué)習(xí)進(jìn)行研究，使近鄰參數(shù)K能夠?qū)崿F(xiàn)自適應(yīng)學(xué)習(xí)，并擴(kuò)展該自適應(yīng)學(xué)習(xí)方法在半監(jiān)督多標(biāo)簽特征選擇中的應(yīng)用與研究。