基于RSM的判別分析集成方法

周中俠，王正群，徐春林，李 峰，薛 巍

（1.揚州大學 信息工程學院，江蘇 揚州225127；2.北方激光科技集團有限公司激光應用技術部，江蘇 揚州225009）

0 引 言

非 監(jiān) 督 鑒 別 投 影 UDP[1，2]（unsupervised discriminant projection）是一種保留局部信息和非局部信息的降維方法，在降維過程中能較好地保持流行特性，相比于局部保持投影 LPP （locality preserving projection），Yang 等 認 為，LPP只考慮了數(shù)據(jù)的局部特征而忽略了數(shù)據(jù)的非局部特征，而這2種特征對分類識別都很重要，所以理論上其應具有較好的分類能力。與線性鑒別分析LDA[3]（1inear discriminant analysis）一樣，UDP也會出現(xiàn)小樣本問題[4]，即局部散布矩陣會出現(xiàn)奇異的情況，導致UDP性能不穩(wěn)定，即不同的訓練數(shù)據(jù)集，UDP分類精度不同，其它線性判別分析方法LDA、LPP等也有類似問題。

與LDA、LPP相比較，UDP具有更好的分類能力，正如上述說明的那樣，UDP性能不穩(wěn)定，對于不同的模式類，由不同訓練樣本集獲得的低維空間分類能力也不同，即利用UDP在不同訓練樣本集獲得的低維空間具有差異性。

實驗與理論都已證明集成學習具有很好的泛化能力，本文利用集成學習的思想提高UDP的分類和泛化能力。首先利用隨機子空間方法RSM[5]（random subspace method）由原始訓練樣本集產(chǎn)生多個訓練樣本集，再基于每個訓練樣本集利用UDP獲得數(shù)據(jù)低維空間表示方法，由測試樣本分析每個低維空間各模式類的分類精度，由分類精度構造集成判別分析的權重集成[6]，獲得集成分類方法 （DAC＿EL，discrimination analysis classification based on ensemble learning）。在標準人臉數(shù)據(jù)庫ORL和YALE上實驗結果表明，DAC＿EL能夠取得更好的分類效果。

1 基于RSM的集成UDP分類系統(tǒng)設計

隨機子空間方法通過對訓練樣本的特征向量進行隨機采樣[7－9]，從而形成新的訓練樣本集。通過對訓練樣本的特征屬性隨機采樣，獲得了多個具有差異性的訓練樣本集[10]。對不同的訓練樣本集進行訓練生成基分類器，由于各基分類器的分類性能差異，為分類器集成的實現(xiàn)提供了可能。

集成分類器要比集成中個體分類器具有更高的精度必須滿足兩個條件。首先，個體分類器具有較高的精度。其次，個體分類器具有差異性。由隨機子空間方法RSM獲得多個不同的樣本訓練集，利用UDP構造多個投影子空間，在不同的子空間設計分類器，UDP具有較好的性能，個體分類器精度能夠滿足分類集成設計要求，不同的子空間中設計的個體分類器，能夠滿足差異性要求。

1.1 基分類器的生成

設Rn空間中的原始訓練數(shù)據(jù)集為｛X1，X2，…，XN｝，數(shù)據(jù)集中的數(shù)據(jù)X＝（x1，x2，…，xn）T，對數(shù)組｛1，2，...，n｝進 行 隨 機 采 樣 得 到 數(shù) 組｛j1，j2，...，jn｝， 則X′＝（xj1，xj2，…，xjn）T為由隨機子空間方法得到X的新的表示。一次隨機抽樣后，由｛X1，X2，…，XN｝得到的新數(shù)據(jù)集為｛X′1，X′2，…，X′N｝。

設M為隨機采樣矩陣，其中第ji行，第i列為1，第i列其余元素為0。因此

UDP考慮樣本點在低維表示后的局部散度和非局部散度，并讓局部散度盡可能小，同時讓非局部散度盡可能大，即使非局部散度與局部散度的比值盡可能大[1]。設高維空間樣本為X′，它的低維表示為Y，則它們之間的關系表示為

其中W為變換矩陣，由下列目標函數(shù)優(yōu)化得到。

UDP的最優(yōu)化目標準則函數(shù)為

SL為局部散度矩陣

其中，H＝[Hij]為鄰接權重矩陣，定義為:Hij＝

SN為非局部的散度矩陣

結合式 （1）、（2）得到

原始數(shù)據(jù)集采用RSM方法，經(jīng)過一次特征向量隨機采樣得到新的數(shù)據(jù)集，利用UDP得到由W描述的投影子空間。設原始訓練樣本集｛X1，X2，…，XN｝，由式 （6）得到的投影子空間表示為｛Y1，Y2，…，YN｝，在子空間中設計最小歐氏距離分類器，這就得到了集成中一個基分類器。

1.2 基分類器集成

對集成中基分類器采用線性權重集成得到集成分類器。利用測試樣本集，分析基分類器性能，可以得到它們性能描述見表1。

表1 基分類器對各模式類的分類精度

其中，f1，f2，…，fL為集成中L個基分類器，ω1，ω2，…，ωC為C個模式類。Accuij為第i個基分類器在第j個模式類上的分類精度。Accui為第i個基分類器的總體分類精度。

根據(jù)集成中基分類器的性能，設計集成分類器分類方法如下:

設fi（X）為用1.1節(jié)方法得到的集成中第i個最小歐氏距離分類器得到的對X的分類結果，可表示為（0，0，…，0，1，0，…，0）。如果fi判定X屬于第i類，則第i位為0，其余位為0。

綜合起來，DAC＿EL算法可以概括為:

訓練階段

輸入:原 始 訓 練 數(shù) 據(jù) 集 為｛X1，X2，…，XN｝，X＝（x1，x2，…，xn）T

輸出:K個隨機UDP子空間和訓練樣本集在UDP投影空間的投影｛Y1，Y2，…，YN｝，K 個分類器的分類精度Accui（i＝1，2，…，K）。

（1）對訓練數(shù)據(jù)集進行隨機采樣，采樣矩陣為M，獲取不同的特征信息，X′＝（xj1，xj2，…，xjn）T＝MTX，X′＝（xj1，xj2，…，xjn）T，生成 K個訓練集｛X′1，X′2，…，X′N｝。

（2）對K個訓練集分別訓練，生成K個UDP子空間，每個UDP子空間有p個特征向量構成 （p＜N－1）。

（3）將訓練樣本分別在K個隨機UDP子空間進行投影，｛Y1，Y2，…，YN｝，Y＝WTMTX。

（4）由測試樣本計算K個分類器的分類精度Accui（i＝1，2，…，K）。

識別階段

輸入:訓練階段的輸出和待識別樣本X

輸出:待識別樣本X的所屬類別

（1）將X在K個隨機UDP子空間上進行投影，并利用最近鄰分類器進行分類，獲得每個分類器分類結果fi（X）。

（2）根據(jù)集成中分類器分類精度Accui計算F（X）。

DAC＿EL算法用圖表示如圖1所示。

圖1 基于RSM的判別分析集成執(zhí)行過程

2 實 驗

為了驗證本文方法對提高UDP識別性能的有效性和泛化能力，在標準人臉數(shù)據(jù)集ORL和YALE人臉圖像庫上進行了實驗，比較了DAC＿EL算法、UDP＿EL算法和UDP算法分類識別性能，UDP＿EL在UDP投影空間采用多數(shù)投票法的集成方法，DAC＿EL表示本文基于RSM的線性權重的集成方法，如圖2所示。

圖2 ORL庫中一個人的10幅圖像

2.1 實驗數(shù)據(jù)

實驗采用ORL和YALE人臉庫，ORL庫共有人臉圖像400幅，共40人，每人10幅圖像，人臉圖像的大小為112×92。為了獲取更加有用的特征信息，并減少計算的復雜性，我們對原圖像進行了行列壓縮。壓縮系數(shù)為1／4，圖像變換為28×23。在YALE庫中，共15人，每人11幅圖像，人臉圖像的大小為80×100，壓縮系數(shù)為1／4，圖像變換為20×25。

設定隨機采樣率為0.5，生成5個分類器形成集成。

2.2 實驗結果與分析

F實驗選取投影向量個數(shù)為5到40進行分析比較，選取的最低投影向量個數(shù)時，分類器的分類精度為68%，正確率大于50%，符合分類器集成所需的條件。在ORL庫實驗中對每一個人的10幅圖像按4:6、5:5劃分成訓練集和測試集。在YALE庫實驗中對每一個人的11幅圖像按4:7劃分訓練集和測試集。從圖3、4可以看出，在不同的投影維數(shù)下，本文的DAC＿EL方法都獲得了優(yōu)于的UDP算法的分類效果。線性集成方法 （UDP＿EL）是通過多數(shù)投票法集成個體分類器的方法，它獲得了比單個分類器獲得更好的分類效果。為了進一步說明本文集成方法的有效性，采用線性判別分析（LDA）方法生成投影空間，以該投影空間的分類器作為集成中基分類器，圖5給出了實驗結果。圖6為DAC＿EL方法在YALE庫上的實驗，實驗表明本文方法具有較好的泛化能力，同樣可以獲得較好的效果。

圖3 實驗結果比較 （訓練集與測試集的比例為4:6）

圖4 實驗結果比較 （訓練集與測試集的比例為5:5）

圖6 實驗結果比較 （在YALE庫中，訓練集與測試集的比例為4:7）

3 結束語

本文提出的DAC＿EL方法是通過對訓練樣本集特征向量進行多次采樣，獲取不同的特征信息，從而產(chǎn)生多個新的樣本集，在每個新樣本集上利用UDP算法，生成投影子空間，投影子空間上的分類器作為集成的基分類器。由測試樣本測試集成中各基分類器的精度作為分類器的分類權重，采用線性要重集成方法給出集成分類器的分類結果。該方法利用各個分類器之間的信息互補性，分配權值以彌補分類器之間的缺陷，提高UDP的分類能力和泛化能力。在ORL和YALE人臉圖像庫上的實驗結果表明，人臉識別精度提高了10%左右，DAC＿EL方法優(yōu)于UDP＿EL、UDP等算法?？梢?，DAC＿EL算法可以有效地提高人臉識別的分類性能。

[1]YIN Jun，JIN Zhong.Complete unsupervised discriminant projection and face image analysis[J].Journal of Computer－Aided Design ＆ Computer Graphics，2010 （11）.1912－1917 （in Chinese）.[殷俊，金忠.完備非監(jiān)督鑒別投影與人臉圖像分析[J].計算機輔助設計與圖形學學報，2010 （11）:1912－1917.]

[2]Enmin S，Huang Dongshan，Ma Guangzhi，et al.Semi－supervised multi－class AdaBoost by exploiting unlabeled data[J].Expert Systems with Applications:An International Journal，2011，38 （6）:6720－6726.

[3]Zhang X，Jia Y.A linear discriminant analysis framework based on random subspace for face recognition[J].Pattern Recognition，2007，40 （9）:2585－2591.

[4]Yang J，Zhang D，Yang J Y，et a1.Globally maximizing，locally minimizing:Unsupervised discriminant projection with applications to face and palm biometrics[J].IEEE Transactions on Pattern Anaiysis and Machine Intelligence，2007，29 （4）:650－664.

[5] Nicolás García－Pedrajas.Supervised projection approach for boosting classifiers[J].Pattern Recognition，2009 （12）:1742－1760.

[6]Li Xiaoye，Zhao Hongyu.Weighted random subspace method for high dimensional data classification[J].Statistics and Its Interface，2009 （2）:153－159.

[7]WANG X G，TANG X O.Random sampling for subspace face recognition[J].International J Computer Vision，2006，70（1）:91－104.

[8]Nicolas G P.Boosting random subspace method[J].Neural Networks，2008，21 （9）:1344－1362.

[9]Sun Shiliang，Zhang Chunxia.Subspace ensembles for classification[J].Physica A:Statistical Mechanics and Its Application，2007，385 （1）:199－207.

[10]Yang Liping，Gong Weiguo.Bagging null space locality preserving discriminant classifiers for face recognition[C]／／Pattern Recognition，2008:1－6.