不同累計貢獻(xiàn)率下PDEs對CCA的影響

雷田田 王 振 范麗亞 楊 靜

(聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山東 聊城 252059)

0 引言

圖像特征抽取作為模式識別研究的核心問題之一,在機器學(xué)習(xí)、圖像處理以及計算機視覺等相關(guān)領(lǐng)域有著廣泛的應(yīng)用背景[1,2].特征抽取在本質(zhì)上就是尋找一種映射方式,利用這種方式將數(shù)據(jù)從高維原始空間映射到低維子空間中,使得降維后的數(shù)據(jù)仍保持盡可能多的識別特征,以便做進(jìn)一步處理.對于高維噪聲圖像(光暗、有遮擋)的分類與識別任務(wù),清洗圖像以及抽取圖像的有效特征是完成任務(wù)的關(guān)鍵.近年來,有關(guān)特征抽取方法的研究成果頗豐,其中線性判別分析(Linear Discriminant Analysis,LDA)[3,4]和主成分分析(Principal Component Analysis,PCA)[5,6]是最具代表性的兩種方法.但是,這兩種方法主要是針對數(shù)據(jù)的一組特征進(jìn)行降維處理的.

隨著信息時代的來臨,相同的模式不可避免地會出現(xiàn)多個不同的特征表示方式,每個特征表示都反映了同一模式的不同特性.可以將多個特征表示首尾相連形成一個新的高維特征表示[7],也可以利用復(fù)向量將兩組特征合并在一起[8],然后利用PCA,LDA等方法進(jìn)行特征抽取.這樣做在一定程度上可以提高圖像的分類或識別質(zhì)量,但卻忽略了特征表示間的內(nèi)在聯(lián)系以及表示的多樣性.為了改進(jìn)這一點,本文選用典型相關(guān)分析(Canonical Correlation Analysis,CCA)[9,10]作為圖像降維工具,其優(yōu)勢是考慮了多組特征間的線性相關(guān)性,但也出現(xiàn)了累計貢獻(xiàn)率如何選取的問題.累計貢獻(xiàn)率決定了降維子空間的維度,貢獻(xiàn)率越高,維度越大,計算成本也越高,但分類精度并不一定越好.目前,針對累計貢獻(xiàn)率還沒有一個行之有效的選擇方法,習(xí)慣上選為100%,這樣一來很多時候起不到降維作用.

另一方面,盡管CCA通過考慮多組特征間的線性相關(guān)性,提高了特征表示的鑒別性與魯棒性,但其在特征抽取過程中并沒有考慮光照、遮擋對圖像質(zhì)量的影響,這限定了CCA處理高維噪聲圖像(光暗、有遮擋)的能力.2010年和2013年,Liu等人分別提出了將偏微分方程組(Partial Differential Equations,PDEs)應(yīng)用于圖像恢復(fù)和計算機視覺的方法[11,12].2017年,Fang等人[13]提出了一種基于PDEs的圖像特征提取方法,所提方法既考慮了圖像的判別信息,也考慮了圖像在平移、旋轉(zhuǎn)下的不變性以及對光照的魯棒性,但沒有考慮圖像維數(shù)約減問題.2018年和2019年,江等人分別研究了PDEs的進(jìn)化次數(shù)對圖像特征質(zhì)量的影響[14]以及對正則化SVM模型參數(shù)的影響[15].

為了彌補CCA的不足,本文選用文獻(xiàn)[13]中提出的方法作為圖像降噪方法,并借助于文獻(xiàn)[14，15]的成果,研究了PDEs的進(jìn)化對累計貢獻(xiàn)率的影響.針對85%,90%,95%,100%四個累積貢獻(xiàn)率,分別以支持向量機(Support Vector Machine,SVM)[16,17]和一對余多類SVM (One-versus-Rest Multi-class SVM,OVR- MSVM)[18,19]為分類器,在Extended Yale B數(shù)據(jù)集和Palm-print數(shù)據(jù)集上進(jìn)行了大量的實驗.

1 支持向量機

本節(jié)簡要回顧文中要用到的二類分類器SVM和多類分類器OVR-MSVM.在本文中,分別用em=(1,…,1)T∈Rm和Im∈Rm×m表示m維1向量和m×m階單位矩陣.

1.1 二類支持向量機

線性SVM通過構(gòu)建下面的二次規(guī)劃模型

(1)

(2)

算法1(SVM)

步5 構(gòu)造分類決策函數(shù)f(x)=+b*.

1.2 多類支持向量機

(3)

(4)

算法2(OVR-MSVM)

步2 令Xi為正類,X-i為負(fù)類,選擇適當(dāng)?shù)哪Ｐ蛥?shù)Ci>0.

步6 構(gòu)造分類決策函數(shù)fi(x)=+bi.

步7 若i

從算法2中可以看出,OVR-MSVM需要學(xué)習(xí)K個SVM，相比于其他多類分類器,OVR-MSVM的學(xué)習(xí)時間短,速度快,但會產(chǎn)生數(shù)據(jù)不平衡的問題.

2 基于PDEs的圖像降噪方法

(5)

(6)

其中η>0是迭代步長,

(7)

Z(i,m,n)=[Z(i,m,n)(p,q)]∈Rd1×d2,i=0,1,…,5,n=0,1,…,N-1,m=0,1,…,M.

下面給出具體算法.

算法3(基于PDEs的圖像降噪方法)

步1 初始化.設(shè)k=0,ε>0,ρ=0.95,N=5,η=1,Δt=0.5.在[-1,1]中均勻采樣得矩陣Ak∈RN×6.

步3 求解模型(5),得Wk,其中UN=(UN)k.

步6 更新η←ρη,并利用(6)式更新Ak至Ak+1.

步8 求解模型(5),得Wk+1,其中UN=(UN)k+1.

步10 若‖Ek+1-Ek‖F(xiàn)<ε,停止迭代,置A*←Ak+1,W*←Wk+1;否則,置k←k+1,轉(zhuǎn)步5.

在文獻(xiàn)[15]中,江等人研究發(fā)現(xiàn)通過PDEs的進(jìn)化可以弱化模型參數(shù)的影響,甚至不需要考慮調(diào)參.為此,本文在實驗中選取了固定參數(shù).

3 基于PDEs的CCA

作為數(shù)據(jù)降維工具,CCA考慮了多組特征間的線性相關(guān)性,提高了特征表示的鑒別性與魯棒性,但其在特征抽取過程中并沒有考慮光照、遮擋等噪聲對圖像質(zhì)量的影響,同時還出現(xiàn)了累計貢獻(xiàn)率如何選取的問題.為了提高圖像的分類精度,本節(jié)將PDEs融入CCA中,提出了基于PDEs的CCA作為圖像的降噪降維方法.

3.1 CCA與累計貢獻(xiàn)率

(8)

記

(9)

(10)

考慮模型(10)的Lagrange函數(shù),并令其對wx,wy的偏導(dǎo)數(shù)為0,可將模型(10)轉(zhuǎn)化為廣義特征方程

(11)

算法4(CCA)

步2 為了避免矩陣的奇異性,置Cxx←Cxx+tIp,Cyy←Cyy+tIq,其中t>0是正則化參數(shù).

步3 對Cxx做特征值分解:Cxx=U∑zUT,其中U∈Rp×p是正交矩陣,σ1≥…≥σp>0是Cxx的全部非零特征值且∑x=diag(σ1,1,…,σp).

步5 對矩陣B做奇異值分解:B=[P1∑B,0]QT,其中P1=[p1,p2,…,prB]∈Rp×rB是列正交陣,∑B=diag(λ1,…,λrB),λ1≥…≥λrB>0是B的全部非零奇異值.

步7 利用典型方向矩陣Wx=[wx1,…,wxd]∈Rp×d,Wy=[wy1,wy2,…,wyd]∈Rq×d進(jìn)行降維,得降維數(shù)據(jù)集

從算法4中可以看出,累積貢獻(xiàn)率取的不同,低維子空間的維度d也會不同.習(xí)慣上將累積貢獻(xiàn)率選為100%,這樣一來很多時候起不到降維的作用.若累積貢獻(xiàn)率取的過低,將會導(dǎo)致數(shù)據(jù)判別信息的丟失,影響數(shù)據(jù)的分類精度.目前還沒有一個行之有效的方法選擇累積貢獻(xiàn)率.

3.2 基于PDEs的CCA

算法5(CCAPDEs)

步1利用PDEs的進(jìn)化對原始圖像Im∈Rd1×d2進(jìn)行降噪處理,得特征矩陣um∈Rd1×d2.

步5通過調(diào)整PDEs的進(jìn)化次數(shù),得最佳分類精度.

4 PDEs的進(jìn)化對累積貢獻(xiàn)率的影響

本節(jié)針對c(c≥2)類高維噪聲(光暗、有遮擋)圖像集,以分類精度為標(biāo)準(zhǔn),通過實驗研究PDEs的進(jìn)化對累計貢獻(xiàn)率的影響.對二類圖像集,選用SVM作為分類器;對多類圖像集(以三類圖像集為例),選用OVR-MSVM作為分類器.分類器均采用五折交叉驗證法.借助文獻(xiàn)[14，15]的研究成果,分類器的模型參數(shù)取為0.5或0.01且PDEs的進(jìn)化不超過7次.所有試驗都在Extended Yale B人臉數(shù)據(jù)集和Palm-print掌紋數(shù)據(jù)集上進(jìn)行,且考慮累積貢獻(xiàn)率為85%,90%,95%,100%四種情況.

4.1 數(shù)據(jù)集描述

Palm-print掌紋數(shù)據(jù)集包含400個人的8000個掌紋,每人20個,前10個和后10個分別在不同時間獲取,每個掌紋尺寸為32×32.隨機選取12人的掌紋(見圖1)組成6個二類圖像集以及隨機選取18人的掌紋(見圖2)組成6個三類圖像集進(jìn)行試驗

Extended Yale B人臉數(shù)據(jù)集包含38個人分別在12°,25°,50°,77°,90°的不同光照角度下的2414張面部圖像,每張尺寸為32×28.隨機選取8人(見圖3),每人受光照影響較大的30張面部圖像組成四個二類圖像集(從左至右編號分別為1至8)以及隨機選取12人(見圖4),每人受光照影響較大的30張面部圖像組成四個三類圖像集進(jìn)行試驗.

4.2 PDEs對累積貢獻(xiàn)率的影響

本節(jié)只考慮PDEs的進(jìn)化對累積貢獻(xiàn)率的影響,不考慮壓縮函數(shù)的影響,故取g(x)=x.用λ表示累積貢獻(xiàn)率,n表示PDEs的進(jìn)化次數(shù).n=0表示只是利用CCA進(jìn)行降維處理,n=1，2,…，7表示利用CCAPDEs同時進(jìn)行降噪降維處理,只是PDEs的進(jìn)化次數(shù)不同.表1和表2給出了對二類圖像集的影響,表3和表4給出了對三類圖像集的影響.

表1 Palm-print數(shù)據(jù)集下PDEs對累積貢獻(xiàn)率的影響 (二類,C=0.5)

表2 Extended Yale B數(shù)據(jù)集下PDEs對累積貢獻(xiàn)率的影響(二類圖像,C=0.5)

表3 在Palm-print數(shù)據(jù)集下PDEs對累積貢獻(xiàn)率的影響(三類,Ci=0.01)

表4 在Extended Yale B數(shù)據(jù)集下PDEs對累積貢獻(xiàn)率的影響(三類,Ci=0.5)

為直觀起見,以每組實驗中的最后一組數(shù)據(jù)為例,給出了影響柱形圖(見圖5)

從表1和表2中可以看出: 針對二類圖像集,不論累積貢獻(xiàn)率取為多少,最多經(jīng)過4次PDEs進(jìn)化就可達(dá)到同等條件下的最佳分類精度.對Palm-print數(shù)據(jù)集,分類精度至少提高了15%,尤其對85%的累積貢獻(xiàn)率,至少提高了30%.對Extended Yale B數(shù)據(jù)集,除極個別情況外,分類精度至少提高了3.3%.從表3和表4中可以看出: 針對三類圖像集,不論累積貢獻(xiàn)率取為多少,最多經(jīng)過5次PDEs進(jìn)化就可達(dá)到同等條件下的最佳分類精度.對Palm-print數(shù)據(jù)集,分類精度至少提高了5%,對85%的累積貢獻(xiàn)率,影響更為明顯,分類精度至少提高了21.7%.對Extended Yale B數(shù)據(jù)集,分類精度最少提高了1.1%,對100%的累積貢獻(xiàn)率,精度至少提高了2.2%.

綜上所述,針對高維噪聲圖像(光暗、有遮擋)的分類問題,本文所提的CCAPDEs是一個有效和高效的降噪降維方法,且通過PDEs的進(jìn)化可以弱化累計貢獻(xiàn)率的影響,甚至不用調(diào)優(yōu)累積貢獻(xiàn)率,只需進(jìn)行不超過5次的PDEs進(jìn)化即可達(dá)到同等條件下的最佳分類精度.

5 結(jié)論

眾所周知,對高維噪聲圖像(光暗、有遮擋)的分類問題來說,分類精度的高低嚴(yán)重依賴于圖像降噪方法和降維方法的選擇.目前,大部分的降噪方法不具備降維作用,同樣地,大部分的降維方法也不具備降噪作用.本文提出的CCAPDEs算法可以同時降噪降維,但出現(xiàn)的問題是如何選擇CCA中的累計貢獻(xiàn)率.累計貢獻(xiàn)率的大小不僅決定著降維子空間的維度,而且還影響著圖像的分類精度,一般常選為100%,但這樣一來很多時候起不到降維的作用.為此,本文研究了PDEs的進(jìn)化對累計貢獻(xiàn)率的影響.通過在Extended Yale B人臉數(shù)據(jù)集和Palm-print掌紋數(shù)據(jù)集上的實驗表明,PDEs的進(jìn)化可以弱化累計貢獻(xiàn)率的影響,甚至不用調(diào)優(yōu)累積貢獻(xiàn)率,通過不超過5次的PDEs進(jìn)化即可達(dá)到同等條件下的最佳分類精度.下一步我們將研究CCAPDEs算法對分類器的影響,尤其是對分類器模型參數(shù)的影響.