PDEs對四種圖像降噪降維方法的影響

王 振 雷田田 范麗亞 楊 靜

(聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山東 聊城 252059)

0 引言

噪聲圖像的特征提取是模式識別和機器學(xué)習(xí)的重要組成部分,也是模式識別領(lǐng)域的研究熱點之一.特征提取的本質(zhì)就是降維,主要目標(biāo)是利用線性或非線性變換,在保持原始圖像蘊含的有效信息下,將處于高維空間中的圖像壓縮到一個低維子空間中,進而對圖像做進一步識別.主成分分析(Principal Component Analysis,PCA)[1]和線性判別分析(Linear Discriminant Analysis,LDA)[2,3]是特征提取中兩個最經(jīng)典的方法.PCA的基本思想是通過極大化數(shù)據(jù)方差來尋找一組最優(yōu)的低維子空間的正交基向量.LDA則是通過極大化Fisher準(zhǔn)則來尋找降維變換陣,使得降維后的數(shù)據(jù)具有極大的類間散度和極小的類內(nèi)散度,即降維后的同類數(shù)據(jù)盡可能靠近,不同類數(shù)據(jù)盡可能遠離.PCA和LDA主要是針對圖像的一組特征進行降維處理的,并不適用于多特征圖像的維數(shù)約減.為了處理多特征圖像的維數(shù)約減問題,H.Hotelling[4]于1936年提出了典型相關(guān)分析(Canonical Correlation Analysis,CCA).經(jīng)典CCA主要是研究圖像兩組特征間的相關(guān)性,屬無監(jiān)督學(xué)習(xí)方法,為了引入監(jiān)督信息,提高低維數(shù)據(jù)的鑒別能力,Sun等人[5]借助于類內(nèi)信息提出了監(jiān)督CCA(Supervised CCA,SCCA).楊等人[6]進一步提出了邊界監(jiān)督多重集典型相關(guān)分析.

不論是LDA還是SCCA都只是考慮了圖像的判別信息,并沒有考慮光照、遮擋、平移、旋轉(zhuǎn)等對圖像的影響,這限定了上述所提方法的推廣能力.也有一些方法考慮了圖像在平移、旋轉(zhuǎn)和光照的影響,如SIFT (Scale-Invariant Feature Transform)[7]、HOG (Histogram of Oriented Gradient)[8]、Invariant Scattering Convolution Network[9]等,但沒有考慮圖像的判別信息.2013年和2015年,Liu等人分別提出了將PDEs應(yīng)用于計算機視覺的方法[10,11].2017年,Fang等人[12]提出了一種基于PDEs的圖像特征提取方法,所提方法既考慮了圖像的判別信息,也考慮了圖像在平移、旋轉(zhuǎn)下的不變性以及對光照的魯棒性,但沒有考慮圖像維數(shù)約減問題.2018年和2019年,江等人分別研究了PDEs的進化次數(shù)對圖像特征質(zhì)量的影響[13]以及對正則化SVM模型參數(shù)的影響[14].

本文借助于上述研究成果,著重考慮將PDEs融入到圖像降維方法中,以期提高對高維噪聲圖像(光暗、有遮擋)的分類精度.為此,提出了基于PDEs的PCA (PCA/ PDEs)、基于PDEs的LDA (LDA/ PDEs)、基于PDEs的CCA (CCA/PDEs)以及基于PDEs的SCCA (SCCA/PDEs)四種圖像降噪降維方法,并研究了PDEs的進化對四種所提算法的影響.為了驗證所提算法的有效性和可競爭性,分別以支持向量機(Support Vector Machine,SVM,針對二分類問題)[15,16]和一對一多類SVM (One-versus- One Multi-class SVM,OVO-MSVM,針對多分類問題)[17,18]為分類器,在Extended Yale B數(shù)據(jù)集和Palm-print數(shù)據(jù)集上進行了大量的比較實驗.

1 預(yù)備知識

本節(jié)簡要回顧文中要用到的SVM和OVO-MSVM,以及一些基本概念.

1.1 二類支持向量機

線性SVM是通過構(gòu)建下面的二次規(guī)劃模型

(1)

來尋找分類決策函數(shù)f(x)=w,x+b,其中w∈Rd和b∈R分別是決策函數(shù)的法向量和閾值,C>0是模型參數(shù),是松弛變量,‖·‖和·,·分別表示向量的歐氏范數(shù)和內(nèi)積.通過求解模型(1)的Wolfe對偶模型

(2)

算法1(SVM)

步5 構(gòu)造分類決策函數(shù)f(x)=w*,x+b*.

1.2 多類支持向量機

(3)

(4)

下面給出具體算法.

算法2(OVO-MSVM)

1.3 類間、類內(nèi)及總體散陣

并稱c和ci分別為總體均值和類均值.令

顯然Sb,Sw,St均為對稱非負定陣.稱Sb,Sw,St分別為類間散陣(between-class scatter matrix)、類內(nèi)散陣(within-class scatter matrix)和總體散陣(total scatter matrix).

2 基于PDEs的圖像降噪方法

(5)

表1直至2階的基本微分不變量

階數(shù)i基本微分不變量invi(u)0,1,21,u,‖?u‖2=u2x+u2y3tr(Hu)=uxx+uyy4(?u)THu?u=u2xuxx+2uxuyuxy+u2yuyy5tr(H2u)=u2xx+2u2xy+u2yy

是直到二階的基本微分不變量(見表1,其中u表示進化后的特征矩陣,u表示矩陣u的梯度,Hu表示u的Hessian陣,tr(Hu)表示矩陣Hu的跡,ux表示u對矩陣x求偏導(dǎo)),控制系數(shù)ai(t)與空間變量無關(guān),其保證了圖像的平移和旋轉(zhuǎn)不變性.

為了求解模型(5),需先求解約束中的PDEs,為此離散化時間變量ti=i·Δt,i=0,1,…,N,并用前向差分離散時間偏導(dǎo)數(shù),用中心差分離散空間偏導(dǎo)數(shù),將PDEs轉(zhuǎn)化為下面的迭代公式(具體推導(dǎo)見文獻[11])

(6)

(7)

n=0,1,…,N-1,m=1,2,…,M,

(8)

其中η>0是搜索步長.

3 基于PDEs的四種降噪降維方法

對高維圖像來說,如果不降維,可能會導(dǎo)致分類器學(xué)習(xí)時間過長甚至失效;如果維度降得過低,往往會導(dǎo)致分類精度的損失.為了在降噪降維的同時還能保持良好的分類精度,本節(jié)提出了基于PDEs的PCA(PCA PDEs)、基于PDEs的LDA(LDAPDEs)、基于PDEs的CCA(CCAPDEs)以及基于PDEs的SCCA(SCCAPDEs)四種圖像降噪降維方法.

3.1 PCAPDEs

PCA/PDEs的基本思想是

首先,利用PDEs的進化對原始圖像Im∈Rd1×d2進行降噪處理,得到特征矩陣um∈Rd1×d2.

最后,調(diào)整PDEs的進化次數(shù),得最佳分類精度.

PCAPDEs的基本思想可直觀地表述為

↑調(diào)整進化次數(shù)|

PCA的基本思想是在Rl中尋找一組標(biāo)準(zhǔn)正交基,使得降維后數(shù)據(jù)間的方差越大越好,即滿足如下準(zhǔn)則

(9)

其中c為樣本均值.由于

所以模型(9)可等價地表示為

(10)

又因為對稱非負定陣GTStG的跡等于其全部特征值之和,故可用矩陣的特征值分解求解模型(10),具體算法如下

算法3(PCAPDEs)

步5 若累計貢獻率滿足(λ1+…+λl)/(λ1+…+λt)≥85%(l≤t),取降維變換陣G*=U1∈Rd1d2×l.

步7 選擇分類器對低維向量集進行分類.

步8 調(diào)整PDEs的進化次數(shù),得最佳分類精度.

3.2 LDAPDEs

LDAPDEs的基本思想類似于PCAPDEs的基本思想,只是在第2步中利用LDA進行降維處理.

不同于PCA考慮的是降維后數(shù)據(jù)間的方差越大越好,LDA考慮的是降維后的類內(nèi)樣本越凝聚越好,類間樣本越分離越好,故滿足下面的Fisher準(zhǔn)則

(11)

所以準(zhǔn)則(11)可表示為

(12)

可以分兩種情況求解準(zhǔn)則(12),一是Tr(GTSwG)=0的情況,另一是Tr(GTSwG)≠0的情況,本文只考慮第一種情況.下面給出具體算法.

算法4(LDAPDEs)

步8 取降維變換陣G*=U2V1∈Rd1d2×l.

步10 選擇分類器對低維向量集進行分類.

步11 調(diào)整PDEs的進化次數(shù),得最佳分類精度.

3.3 CCAPDEs和SCCAPDEs

CCAPDEs和SCCAPDEs的基本思想是一樣的,只是在降維環(huán)節(jié)采取的方法不一致.

首先,利用PDEs的進化對原始圖像Im∈Rd1×d2進行降噪處理,得特征矩陣um∈Rd1×d2.

最后,調(diào)整PDEs的進化次數(shù),得最佳分類精度.

(13)

于是,模型(13)可表示為

(14)

其中

(15)

(16)

考慮模型(16)的Lagrange函數(shù)并令其關(guān)于決策變量的偏導(dǎo)數(shù)為0,可將模型(16)轉(zhuǎn)化為廣義特征方程

下面給出求解算法.

算法5(CCAPDEs)

步3 利用(15)式計算矩陣Cxx,Cyy,Cxy.

步4 為了避免奇異性,置Cxx←Cxx+tId1d3,Cyy←Cyy+tId1(d2-d3),其中t>0是正則化參數(shù).

步5 對Cxx做特征值分解(EVD):Cxx=UΣxUT,其中U∈Rd1d3×d1d3是正交矩陣,Σx=diag(σ1,σ2,…,σd1d3),σ1≥…≥σd1d3>0是Cxx的全部非零特征值.

步7 對矩陣B做奇異值分解(SVD):B=[P1ΣB,0]QT,其中P1∈Rd1d3×rB是列正交陣,ΣB=diag(λ1,λ2,…,λrB),λ1≥…≥λrB>0是B的全部非零奇異值.

步10 調(diào)整PDEs的進化次數(shù),得最佳分類精度.

(17)

進而得到如下算法.

算法6(SCCAPDEs)

步1-2 同算法5中的步1-2.

步6-9 同算法5中的步7-10.

4 PDEs的進化對四種算法的影響

本節(jié)針對K(K≥2)類高維噪聲(光暗、有遮擋)圖像集,以分類精度為標(biāo)準(zhǔn),通過實驗研究PDEs的進化對四種算法的影響.對二類圖像集,選用SVM作為分類器;對多類圖像集(以三類圖像集為例),選用OVO-MSVM作為分類器.分類器均采用五折交叉驗證法.借助文獻[13,14]的研究成果,PDEs的進化不超過10次.所有試驗都在Extended Yale B人臉數(shù)據(jù)集和Palm-print掌紋數(shù)據(jù)集上進行,且分類器的模型參數(shù)通過網(wǎng)格搜索選擇.為了直觀驗證PDEs的進化作用,選取了Extended Yale B人臉數(shù)據(jù)集中前5個人的第1張照片經(jīng)過PDEs進化1-10后的圖像(見圖5).

4.1 數(shù)據(jù)集的選取

Extended Yale B人臉數(shù)據(jù)集包含38個人分別在12°,25°,50°,77°,90°的不同光照角度下的2414張面部圖像,每張尺寸為48×42,向量化后的維度是2016維.隨機選取10人(從左至右依次編號為1至10,見圖1),每人前30張面部圖像組成5個二類圖像集以及隨機選取15人(從左至右依次編號為1至15,見圖2),每人前30張面部圖像組成5個三類圖像集進行實驗

Palm-print掌紋數(shù)據(jù)集包含400個人的8000個掌紋,每人20個,前10個和后10個分別在不同時間獲取,每個掌紋尺寸為n,向量化后的維度是1024維.隨機選取10人(從左至右依次編號為1至10,見圖3)組成5個二類掌紋集以及隨機選取15人(從左至右依次編號為1至15,見圖4)組成5個三類掌紋集進行實驗

4.2 累計貢獻率的選取

本節(jié)只考慮PDEs的進化對四種算法的影響,不考慮壓縮函數(shù)的影響,故取g(x)=x.利用LDA降維后的數(shù)據(jù)維度只與數(shù)據(jù)類數(shù)有關(guān),而利用PCA、CCA或SCCA降維后的數(shù)據(jù)維度均與累計貢獻率的選擇有關(guān).累計貢獻率的大小不僅決定著降維子空間的維度,而且還影響著圖像的分類精度,一般常選為100%,但這樣一來很多時候起不到降維的作用.本節(jié)以85%,90%,95%,100%四個累計貢獻率為例,通過一系列實驗發(fā)現(xiàn),當(dāng)累計貢獻率為95%時,無論是對二類還是多類問題,降維后數(shù)據(jù)的分類精度都沒有太大的損失,且在此貢獻率下維度下降最快.為此,在下面的實驗中累計貢獻率均取為95%.

4.3 PDEs的進化對四種降噪降維算法的影響

在下面所有實驗中(見表2至表17),每個表的第二列表示只是利用PCA、LDA、CCA或SCCA降維后的圖像分類結(jié)果,第三至第十二列表示利用PCAPDEs、LDAPDEs、CCAPDEs或SCCAPDEs進行降噪降維后的分類結(jié)果,n表示PDEs的進化次數(shù).

4.3.1 PDEs的進化對PCAPDEs的影響.表2和表3是10個二類圖像集上的實驗結(jié)果,表4和表5是10個三類圖像集上的實驗結(jié)果.對Extended Yale B中的10個圖像集(5個二類,5個三類,下同),利用PCA可從2016維降到2-10維(不同的圖像集略有不同,下同).對Palm-print中的10個圖像集,利用PCA可從1024維降到2-15維.

表2 Extended Yale B中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=10)

表3 Palm-print中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

表4 Extended Yale B中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.1)

表5 Palm-print中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

從表2-表5中可以看出,利用PCAPDEs進行降噪降維,最多經(jīng)過2次PDEs進化,其降噪降維后的分類精度明顯高于只利用PCA降維后的分類精度.對Palm-print圖像集,最多經(jīng)過8次PDEs進化,精度可達100%;對Extended Yale B圖像集,最多經(jīng)過6次PDEs進化,精度可達93%以上(除一種情況外).

4.3.2 PDEs的進化對LDAPDEs的影響.表6和表7是在二類圖像集上的實驗結(jié)果,表8和表9是在三類圖像集上的實驗結(jié)果.不同于PCA、CCA和SCCA,LDA降維后的維度是類數(shù)-1,即對二類圖像集,LDA降至1維,對三類圖像集,LDA降至2維.

表6 Extended Yale B中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=1)

表7 Palm-print中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

表8 Extended Yale B中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.1)

表9 Palm-print中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

從表6-表9中可以看出,利用LDAPDEs進行降噪降維,最多經(jīng)過5次PDEs進化,其降噪降維后的分類精度明顯高于只利用LDA降維后的分類精度或保持不變.對Palm-print圖像集,最多經(jīng)過8次PDEs進化即可達到最佳精度,甚至達到100%;對Extended Yale B圖像集,最多經(jīng)過10次PDEs進化可達到最佳精度.

4.3.3 PDEs的進化對CCAPDEs的影響.表10和表11是在二類圖像集上的實驗結(jié)果,表12和表13是在三類圖像集上的實驗結(jié)果.對Extended Yale B圖像集,利用CCA可從2016維降至72-80維;對Palm-print圖像集,可從1024維降至4-24維.

表10 Extended Yale B中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.1)

表11 Palm-print中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.1)

表12 Extended Yale B中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=1)

表13 Palm-print中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

從表10-表13中可以看出,除兩種情況精度下降、兩種情況精度保持不變外,利用CCAPDEs進行降噪降維,最多經(jīng)過7次PDEs進化,其降噪降維后的分類精度明顯高于只利用CCA降維后的分類精度,最多可提高66.67%的精度.

4.3.4 PDEs的進化對SCCAPDEs的影響.表14和表15是在二類圖像集上的實驗結(jié)果,表16和表17是在三類圖像集上的實驗結(jié)果.對Extended Yale B圖像集,利用SCCA可從2016維降到46-80維;對Palm-print圖像集,利用SCCA可從1024維降到2-4維.

表14 Extended Yale B中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

表15 Palm-print中5個二類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

表16 Extended Yale B中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

表17 Palm-print中5個三類圖像數(shù)據(jù)集上的實驗結(jié)果(C=0.01)

從表14-表17中可以看出,利用SCCAPDEs進行降噪降維,對Palm-print圖像集,最多經(jīng)過3次PDEs進化,其分類精度可達100%;對Extended Yale B數(shù)據(jù)集,最多經(jīng)過9次(大多數(shù)情況下最多經(jīng)過7次)PDEs進化,其精度可達100%.明顯好于只利用SCCA降維后的分類精度.

綜上所述,本文提出的四種降噪降維算法明顯好于PCA、LDA、CCA和SCCA四種降維方法,且通過PDEs的進化可以提高降維所帶來的低分類精度.這對處理高維噪聲數(shù)據(jù)的分類任務(wù)很有幫助.

5 結(jié)論

面對高維噪聲圖像(光暗、有遮擋)的分類任務(wù),首先需要考慮的是對圖像進行降噪、降維處理.現(xiàn)有的降噪方法大多不具備降維功能,同樣地,現(xiàn)有的降維方法也大多不具備降噪功能.為了能夠一體化進行降噪降維,且還能保持良好的分類精度,本文提出了PCAPDEs、LDAPDEs、CCAPDEs以及 SCCAPDEs四種降噪降維算法.通過在Extended Yale B人臉數(shù)據(jù)集和Palm-print掌紋數(shù)據(jù)集中選取的20個(二類和三類)數(shù)據(jù)集上進行的80組實驗,可以看出所提的四種降噪降維算法明顯好于PCA、LDA、CCA和SCCA四種降維方法,且通過不超過10次的PDEs進化可明顯改善降維所帶來的低分類精度.接下來將在本文的基礎(chǔ)上進一步拓展PDEs的應(yīng)用范圍,并將其使用在更為復(fù)雜的應(yīng)用場景中.