基于主成分分析和支持向量機(jī)的魯棒稀疏線性判別分析方法

鞠廈軼, 呂開云,2*, 龔循強(qiáng),2, 魯鐵定,2

(1.東華理工大學(xué)測(cè)繪工程學(xué)院, 南昌 330013； 2.自然資源部環(huán)鄱陽湖區(qū)域礦山環(huán)境監(jiān)測(cè)與治理重點(diǎn)實(shí)驗(yàn)室, 南昌 330013)

特征選擇是從原始高維圖像中提取有用信息，通過低維特征高效地表示圖像的主要信息，在人臉識(shí)別、基因檢測(cè)、圖像檢索以及文本分類等領(lǐng)域中應(yīng)用廣泛[1-2]。在線性判別分析中，輸入端需將高度相關(guān)的圖像矩陣變?yōu)閳D像向量進(jìn)行識(shí)別，在量化過程中會(huì)造成數(shù)據(jù)冗余性，直接對(duì)高維圖像向量提取特征，既耗時(shí)又降低識(shí)別率。因此如何從高維圖像中提取具有代表性的特征成為當(dāng)下研究的熱點(diǎn)[3]。

最近幾十年，中外學(xué)者針對(duì)特征提取提出了各種各樣的方法，其中線性判別分析(linear discriminant analysis，LDA)被廣泛使用。LDA的基本原理是通過建立最小化類內(nèi)散度矩陣同時(shí)最大化類間散度矩陣模型來獲得投影矩陣，基于LDA的模型多種多樣[3-5]。Li等[6]提出的魯棒線性判別分析(robust linear discriminant analysis，RLDA)通過使用L1范數(shù)在解決小樣本的同時(shí)對(duì)受污染的圖像具有魯棒性。Li等[7]提出的基于L1范數(shù)和巴氏距離的魯棒線性判別分析(robust linear discriminant analysis based on the bhattacharyya error bound and L1-norm，L1BLDA)通過使用巴氏距離能夠避免類內(nèi)散度矩陣出現(xiàn)奇異值并且采用L1范數(shù)能提高對(duì)異常值的魯棒性。Guo等[8]提出的魯棒自適應(yīng)線性判別分析(robust adaptive linear discriminant analysis，RALDA)通過使用L21范數(shù)正則化來選擇更佳的特征矩陣。Wen等[9]提出了魯棒稀疏線性判別分析(robust sparse linear discriminant analysis，RSLDA)通過正交矩陣保留高維圖像的主要特征，利用稀疏矩陣擬合噪聲所引起負(fù)面影響，提高LDA的魯棒性。

然而上述涉及的方法通常是直接對(duì)高維圖像向量直接處理，考慮到基于LDA模型的方法提取特征時(shí)需將圖像矩陣變?yōu)閳D像向量，這樣做既會(huì)耗時(shí)，增加電腦算力，降低識(shí)別效率，同時(shí)在向量化過程中，噪聲圖像會(huì)降低識(shí)別率。為此，現(xiàn)提出一種基于主成分分析(principal component analysis，PCA)和支持向量機(jī)(support vector machine，SVM)的魯棒稀疏線性判別分析方法。利用PCA對(duì)高維圖像向量進(jìn)行降維處理，這樣做不但能夠提高識(shí)別率而且能夠提高方法的魯棒性，采用RSLDA對(duì)降維后的圖像向量提取特征，RSLDA可以看作是將PCA和LDA聯(lián)合到一個(gè)框架中，該方法不但可以提取最具代表性的特征，而且可以保留降維后圖像特征的主要特征，最后利用SVM對(duì)提取后的圖像進(jìn)行分類。通過ORL人臉庫、YaleB人臉庫、COIL20物體庫和UCI機(jī)器學(xué)習(xí)庫中的部分圖像集，將本文方法與LDA、RLDA、L1BLDA、RALDA和RSLDA進(jìn)行比較。

1 基本原理

通過PCA對(duì)高維圖像向量降維，利用RSLDA對(duì)降維后的圖像提取特征，利用SVM進(jìn)行分類。因此，了解一下PCA的基本原理。

1.1 主成分分析方法

主成分分析(PCA)是使用較為廣泛的降維方法[10-12]。其基本原理是依按照特征值從大到小的順序，選擇前K個(gè)特征值對(duì)應(yīng)的特征向量，組成低維子空間，不但減少樣本間的相關(guān)性，而且最大程度地保留高維圖像的主要特征信息。

(1)

第i類的樣本標(biāo)準(zhǔn)差σi為

(2)

(3)

協(xié)方差矩陣M為

(4)

計(jì)算協(xié)方差矩陣的特征值和特征向量，將特征值按照從大到小的順序排列，選擇前K個(gè)特征值對(duì)應(yīng)的特征向量組成降維矩陣W=[w1,w2,…,wr]∈RK×r，從而降維后的圖像為

(5)

1.2 本文方法

LDA是利用標(biāo)簽信息，最大化類間距離的同時(shí)最小化類內(nèi)距離，獲得投影向量g為

(6)

式(6)中：Sw和Sb分別為類內(nèi)散度矩陣和類間散度矩陣，表示為

(7)

(8)

(9)

式(9)中：β為很小的正調(diào)諧參數(shù)，本文取β=10-5。

考慮到同類別間差異較小，不同類別間差別較大，為了獲得更具有鑒定性的特征矩陣，同類間使用L2范數(shù)，不同類別間使用L1范數(shù)，稱為L21范數(shù)，計(jì)算公式為

(10)

(11)

式(11)中：Tr(·)為矩陣的跡；G∈Rr×l

(l

(12)

式(12)中：Q∈Rr×l為正交重構(gòu)矩陣，根據(jù)文獻(xiàn)[14]，通過奇異值分解可以獲得。在現(xiàn)實(shí)世界中，圖像很容易受光照條件、傳輸通道以及傳感器等噪聲的影響，會(huì)影響識(shí)別率，引入稀疏矩陣來減少噪聲的負(fù)面影響，因此，式(12)改進(jìn)為

(13)

1.3 本文方法步驟

基于主成分分析和支持向量機(jī)的魯棒稀疏線性判別分析方法在處理高維圖像時(shí)，通過PCA對(duì)高維圖像向量進(jìn)行降維處理，采用RSLDA對(duì)降維后的圖像提取特征，使用SVM進(jìn)行分類，基本實(shí)現(xiàn)步驟如下。

(2)對(duì)訓(xùn)練集利用PCA進(jìn)行降維，通過訓(xùn)練集獲得降維矩陣W，則有Xpca=WTX,其中Xpca表示降維后的訓(xùn)練集，對(duì)訓(xùn)練集進(jìn)行歸一化，利用PCA對(duì)測(cè)試集進(jìn)行降維，有Ypca=WTY,其中Ypca表示降維后的測(cè)試集，對(duì)測(cè)試集進(jìn)行歸一化。

(3)利用降維后測(cè)試集相關(guān)信息，通過RSLDA提取有效信息，獲得特征矩陣G，使用交替方向乘子法(alternating direction method of multipliers，ADMM)讓變量在每一次迭代中逐步收斂，使子空間矩陣G達(dá)到最優(yōu)解。

(4)通過特征矩陣G和降維后的訓(xùn)練集Xpca，有Xlow=GTXpca，其中Xlow表示特征提取后的訓(xùn)練集，并對(duì)其進(jìn)行歸一化處理。利用特征矩陣G和降維后的測(cè)試集Ypca，有Ylow=GTYpca，其中Ylow表示特征提取后的測(cè)試樣本，并對(duì)其進(jìn)行歸一化處理。

(5)利用Xlow和Ylow的相關(guān)信息，利用SVM進(jìn)行分類。

2 實(shí)驗(yàn)數(shù)據(jù)

2.1 原始圖像

ORL人臉庫是由40位受試者，每位受試者有10張圖像組成。每張圖像像素大小為112×92，其中人臉圖像是拍攝于不同的時(shí)期，改變了燈光、面部表情和面部細(xì)節(jié)。所有圖像都是在黑暗均勻背景下拍攝的，受試者一般處于正面位置[9]。圖1展示了ORL人臉庫中部分圖像。

圖1 ORL人臉庫中部分圖像Fig.1 Some images of the ORL face database

COIL20物體庫有20個(gè)物體對(duì)象，這20個(gè)物體拋棄了背景信息，每個(gè)物體在水平上旋轉(zhuǎn)360°，每隔5°拍攝一張照片，有72張圖像，每張圖像像素大小為32×32[9]。圖2展示了COIL20物體庫中部分圖像。

圖2 COIL20物體庫中部分圖像Fig.2 Some images of the COIL20 object database

在UCI機(jī)器學(xué)習(xí)庫中選擇Breast、Congress、Heart、Tic-tac-toe、Vote 5個(gè)數(shù)據(jù)集中的子集。

2.2 添加噪聲的圖像

YaleB人臉庫包含了28歲以下，9種姿態(tài)，64種光照條件下的16 128張人臉圖像。本次實(shí)驗(yàn)中，從YaleB人臉庫選擇一個(gè)子集，子集庫中受試者38位，每位受試者有64張圖像，每張圖像像素大小為32×32[9]。圖3分別展示了YaleB人臉庫中原始圖像和加入噪聲密度為5%的椒鹽噪聲部分對(duì)比圖像。

圖3 YaleB人臉庫部分原始圖像和噪聲圖像Fig.3 Some original and image samples with noise of the YaleB face database

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本方法的識(shí)別率、識(shí)別效率以及魯棒性，利用ORL人臉庫、YaleB人臉庫、COIL20物體庫和UCI機(jī)器學(xué)習(xí)庫中的部分圖像集對(duì)LDA、RLDA、L1BLDA、RALDA、RSLDA和本文方法進(jìn)行比較。在本次實(shí)驗(yàn)中，考慮到是隨機(jī)選擇的訓(xùn)練樣本和測(cè)試樣本組成訓(xùn)練集和測(cè)試集，存在隨機(jī)性和差異性，使得識(shí)別率存在偏差，因此，在本次實(shí)驗(yàn)中，每種方法對(duì)每個(gè)圖像集重復(fù)實(shí)驗(yàn)20次，取實(shí)驗(yàn)的平均值和標(biāo)準(zhǔn)差作為最終的結(jié)果，使結(jié)果更為合理，更有說服性[16]。所有實(shí)驗(yàn)都是在軟件MATLAB2020a上實(shí)現(xiàn)的，采用i7-10875H處理器，內(nèi)存為16 GB。

3.1 原始圖像的結(jié)果與分析

在ORL人臉庫中有40位受試者，每位受試者10張樣本。訓(xùn)練樣本從2～9進(jìn)行均勻變化，剩余的圖像為相應(yīng)的測(cè)試樣本?？紤]到在使用PCA時(shí)，維數(shù)不同，保留的主要信息也是不一樣的，識(shí)別率也會(huì)不同，因此，在本次實(shí)驗(yàn)中，盡可能選擇最佳維數(shù)下對(duì)應(yīng)的識(shí)別率均值和標(biāo)準(zhǔn)差作為結(jié)果。LDA、RLDA、L1BLDA、RALDA、RSLDA和本文方法在ORL人臉庫中的結(jié)果如圖4所示。分析可知，這6種方法隨著訓(xùn)練樣本的增加識(shí)別率也在不斷地提高，但不管訓(xùn)練樣本為多少，本文方法的識(shí)別率在這6種方法中是最高的，充分說明本文方法的穩(wěn)定性。

圖4 ORL人臉庫識(shí)別率隨訓(xùn)練樣本增減的變化Fig.4 Classification accuracy versus the training samples on the ORL face database

具體分析，當(dāng)訓(xùn)練樣本從2到9均勻增加時(shí)，本文方法的識(shí)別率依次為78.91%、86.75%、91.46%、94.35%、96.31%、97.29%、98.19%和99.13%，均值為92.80%。而LDA識(shí)別率的均值為67.10%，RLDA識(shí)別率的均值為89.33%，L1BLDA識(shí)別率的均值為91.34%，RALDA識(shí)別率的均值為91.43%，RSLDA識(shí)別率的均值為92.03%，本文方法識(shí)別率的均值是最高的，其中本文方法識(shí)別率的均值比LDA識(shí)別率的均值高25.00%以上，實(shí)驗(yàn)具體結(jié)果如表1所示。究其原因，建模過程中，LDA使用的是L2范數(shù)，RLDA和L1BLDA使用的是L1范數(shù)，RSLDA和RALDA使用的是L21范數(shù)。相比于L1范數(shù)和L2范數(shù)，本文方法利用L21范數(shù)使得同類樣本的距離盡可能近而不同類別樣本的距離盡可能遠(yuǎn)，因此，RSLDA、RALDA和本文方法的識(shí)別率明顯高于LDA、RLDA和L1BLDA的識(shí)別率。利用稀疏矩陣N彌補(bǔ)噪聲帶來的影響，而RALDA方法中并沒有該模塊，因此，整體上RSLDA和本文方法的識(shí)別率高于RALDA。相比于RSLDA直接對(duì)高維圖像向量進(jìn)行特征提取，然后利用K最近鄰(K-nearest neighbor， KNN)進(jìn)行分類，本文方法通過PCA對(duì)高維圖像向量進(jìn)行降維，從高維圖像中保留樣本的主要特征信息，然后利用RSLDA對(duì)降維后的圖像向量提取特征，最后通過SVM進(jìn)行分類，本文方法先對(duì)高維圖像向量通過PCA進(jìn)行預(yù)處理，SVM的分類效果一般要好于KNN，因此，本文方法的識(shí)別率要高于RSLDA的識(shí)別率。從識(shí)別效率即識(shí)別所需時(shí)間分析，以秒作為計(jì)量單位，識(shí)別所需時(shí)間如表2所示。對(duì)比前提以識(shí)別率為主要參考因素，識(shí)別效率為次要因素。分析可知，相比于其他5種方法，LDA的識(shí)別效率雖然很快，但是根據(jù)表1所示，LDA的識(shí)別率相對(duì)較差，因此，不做比較。與余下的4種方法相比，本文方法的識(shí)別率和識(shí)別效率都提高不少，特別是與RSLDA的識(shí)別效率相比，本文方法的識(shí)別所需時(shí)間為其所需時(shí)間的1/1 000左右，更能說明本文方法的實(shí)用性。究其緣由，本文方法通過PCA對(duì)高維人臉圖像進(jìn)行降維處理，將高維圖像投影到低維子空間中，在盡可能保留高維圖像向量主要特征信息的同時(shí)減少計(jì)算的復(fù)雜程度，極大提高了識(shí)別效率。

表1 ORL人臉庫中原始圖像的識(shí)別率Table 1 The recognition rate of the original image on the ORL face database

表2 ORL人臉庫中識(shí)別時(shí)間Table 2 Time of recognition on the ORL face database

在COIL20物體庫中，每個(gè)物體對(duì)象有72張圖像，訓(xùn)練樣本從9均勻變化到54，間隔為9，剩余的樣本為測(cè)試樣本。本文方法識(shí)別率的均值為97.76%。LDA識(shí)別率的均值為89.91%，RLDA識(shí)別率的均值為96.96%，L1BLDA識(shí)別率的均值為96.84%，RALDA識(shí)別率的均值為97.54%，RSLDA識(shí)別率的均值為96.48%。具體實(shí)驗(yàn)結(jié)果如表3所示。當(dāng)訓(xùn)練樣本為18，維數(shù)從50均勻變化到120，間隔為10時(shí)，排除LDA，剩余5種方法識(shí)別率整體呈緩慢下降趨勢(shì)，相比于其他4種方法，本文方法識(shí)別率受到維數(shù)變化的影響相對(duì)有限，識(shí)別率仍是最高的，6種方法識(shí)別率隨維數(shù)變化情況如圖5所示。本文方法通過PCA進(jìn)行降維保留了高維圖像的主要特征信息，同時(shí)RSLDA模型中又利用了PCA的變體即正交矩陣Q保留了降維后圖像的主要特征信息，因此，本文方法受維數(shù)的影響不大。表4為6種方法在COIL20物體庫中的識(shí)別所需時(shí)間，分析可知，LDA雖然識(shí)別效率高，但是識(shí)別率差，因此不做比較，相比于剩余4種方法識(shí)別效率，本文方法識(shí)別效率是最高的。

表3 COIL20庫中原始圖像的識(shí)別率Table 3 The recognition rate of the original image on the COIL20 database

表4 COIL20人臉庫中識(shí)別時(shí)間Table 4 Time of recognition on the COIL20 database

圖5 COIL20中識(shí)別率隨著維數(shù)的變化Fig.5 Classification accuracy versus the number of dimensions on the COIL20 object database

在UCI機(jī)器學(xué)習(xí)庫中選擇Breast、Congress、Heart、Tic-tac-toe、Vote 5個(gè)數(shù)據(jù)集，由于所選擇的類別為2個(gè)，數(shù)據(jù)量相對(duì)較少，且每一類別樣本相對(duì)相似，不同類別的樣本差異較大，因此，訓(xùn)練樣本占總樣本的比例對(duì)最終實(shí)驗(yàn)結(jié)果影響相對(duì)較低，實(shí)驗(yàn)具體結(jié)果如圖6所示。

圖6 Breast、Congress、Heart、Tic-tac-toe、Vote 5個(gè)庫中識(shí)別率隨著訓(xùn)練樣本占比的變化Fig.6 Classification accuracy of Breast、Congress、Heart database changes with the proportion of training samples

在本實(shí)驗(yàn)中，將訓(xùn)練樣本占總樣本的比例從40%提高到90%的識(shí)別率作為實(shí)驗(yàn)結(jié)果。在Breast數(shù)據(jù)集中，本文方法的識(shí)別率為96.31%，高于其他五種方法，在Congress數(shù)據(jù)集中，本文方法的識(shí)別率為95.71%，比RSLDA高0.24%，在Heart數(shù)據(jù)集中，本文方法的識(shí)別率為80.08%，比LDA高1.48%，在Tic-tac-toe數(shù)據(jù)集中，本文方法的識(shí)別率為82.95%，比RLDA高10.1%，在Vote數(shù)據(jù)集中，本文方法的識(shí)別率為92.91%，比LDA高1.06%，實(shí)驗(yàn)結(jié)果如表5所示。

表5 Breast、Congress、Heart Tictac-toe和Vote 5個(gè)庫中原始圖像的識(shí)別率Table 5 The recognition rate of the original image on the Breast、Congress、Heart Tictac-toe and Vote database

3.2 添加椒鹽噪聲圖像的結(jié)果與分析

在YaleB子集人臉庫中，受試者38人，每位受試者有64個(gè)樣本，隨機(jī)選擇8、16、24、32、40、48和56作為訓(xùn)練樣本，剩余的樣本作為測(cè)試樣本，加入密度為5%的椒鹽噪聲的結(jié)果如表6所示。當(dāng)訓(xùn)練樣本從8均勻地變化到56時(shí)，本文方法的識(shí)別率依次為59.54%、75.92%、82.06%、85.25%、87.24%、89.08%和89.95%，均值為81.35%。比LDA識(shí)別率的均值高38.43%，比RLDA識(shí)別率的均值高26.83%，比L1BLDA識(shí)別率的均值高21.70%，比RALDA識(shí)別率1.37%，比RSLDA識(shí)別率的均值高15.32%，本文方法識(shí)別率的均值是唯一超過80%的。當(dāng)圖像存在噪聲時(shí)，本文方法識(shí)別率的均值高于RSLDA識(shí)別率的均值，主要原因是RSLDA是直接對(duì)存在噪聲的圖像向量提取特征，而本文方法通過PCA對(duì)高維數(shù)據(jù)進(jìn)行降維，在降維過程中利用PCA處理丟棄了大部分噪聲信息，具體分析結(jié)果如圖7和圖8所示。圖7模擬的是有噪聲的圖像，圖8展示了經(jīng)過PCA降維再回到原始圖像。分析圖8可知，在降維的過程中舍棄了大部分的噪聲信息同時(shí)又保留了圖像的主要特征。與LDA、RLDA、L1BLDA和RALDA相比，本文方法在每一次迭代中利用ADMM使得變量逐漸收斂，達(dá)到同類樣本之間的距離較近，不同種類別之間的樣本距離較遠(yuǎn)的目的，通過正交重構(gòu)矩陣Q可以保留經(jīng)過PCA預(yù)處理后的圖像的主要有效信息，同時(shí)稀疏矩陣N擬合經(jīng)過PCA降噪后少量噪聲所帶來的誤差。

圖7 噪聲圖像Fig.7 Noise image

圖8 經(jīng)PCA處理后的圖像Fig.8 The image after PCA processing

表6 YaleB人臉庫加椒鹽噪聲5%的識(shí)別率Table 6 The recognition rate of YaleB database with 5% salt-and-pepper noise

4 結(jié)論

在圖像識(shí)別中，本文方法使用PCA對(duì)高維圖像進(jìn)行降維。在特征提取過程中，使用L21范數(shù)使得同類樣本之間的距離盡可能近，不同類別樣本之間的距離盡可能遠(yuǎn)，使用正交矩陣Q保留降維后圖像的主要特征信息，通過稀疏矩陣N彌補(bǔ)噪聲造成的誤差，最后利用SVM進(jìn)行分類。將本文的方法和LDA、RLDA、L1BLDA、RALDA和RSLDA進(jìn)行比較，得出如下結(jié)論。

(1)在ORL人臉庫中，當(dāng)訓(xùn)練樣本從2到9均勻變化時(shí)，本文方法識(shí)別率的均值為92.80%，在COIL20庫中，當(dāng)訓(xùn)練樣本從8到56均勻變化時(shí)，本文方法識(shí)別率的均值在91.83%以上，不管是人臉圖像還是物體圖像，本文方法識(shí)別率都高于其他5種方法識(shí)別率。

(2)在YaleB人臉庫中添加5%的椒鹽噪聲時(shí)，本文方法識(shí)別率的均值為81.35%，本文方法的識(shí)別率均高于其他5種方法，說明本文方法的魯棒性優(yōu)于其他5種方法。

然而在復(fù)雜環(huán)境下獲取的圖像，但訓(xùn)練樣本占總樣本比例較少的情況下，本文方法的識(shí)別率較低，因此，后期考慮使用更好去噪的方法，這是以后研究的一個(gè)方向。