面向多模態(tài)圖像的柯西相關(guān)特征學(xué)習(xí)方法

蘇樹(shù)智,謝 軍,高鵬連,鄧瀛灝,鄭 蘋

(安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 安徽 淮南 232001)

根據(jù)圖像數(shù)據(jù)來(lái)源的數(shù)量，圖像可以分為單模態(tài)圖像和多模態(tài)圖像[1]。單模態(tài)圖像是同一目標(biāo)僅有一類圖像進(jìn)行描述。目前，面向圖像的特征學(xué)習(xí)方法主要集中在單模態(tài)圖像，其中主成分分析[2]、線性鑒別分析[3]和局部保持投影[4]是最具代表性的單模態(tài)特征學(xué)習(xí)方法，這些方法在遙感圖像處理、機(jī)器人定位、基因數(shù)據(jù)分析、核磁共振數(shù)據(jù)分析等實(shí)際應(yīng)用中已經(jīng)取得成功。多模態(tài)圖像的本質(zhì)是同一目標(biāo)擁有兩類或兩類以上的圖像[5]，比如借助不同的圖像采集設(shè)備能夠同時(shí)獲得某個(gè)人的可見(jiàn)光圖像、近紅外圖像以及熱紅外圖像等等。這些圖像可以從不同的角度描述同一個(gè)人的多種統(tǒng)計(jì)信息，并且具有互補(bǔ)性，通常被稱為這個(gè)人的多模態(tài)圖像。多模態(tài)圖像可視為描述同一目標(biāo)的單模態(tài)圖像的集合，比單模態(tài)數(shù)據(jù)擁有更加豐富的信息，然而如何從多模態(tài)圖像中學(xué)習(xí)有效特征仍然是一個(gè)亟待解決的問(wèn)題。

從多模態(tài)圖像中學(xué)習(xí)低維特征的常用方法[6]是利用串聯(lián)策略，將多模態(tài)圖像數(shù)據(jù)轉(zhuǎn)化為單模態(tài)圖像數(shù)據(jù)，然后再借助單模態(tài)特征學(xué)習(xí)方法進(jìn)行低維特征的學(xué)習(xí)。盡管這種方法經(jīng)常能夠有效增強(qiáng)識(shí)別或分類的性能，然而同樣也擁有明顯的缺點(diǎn)，比如數(shù)據(jù)的維數(shù)會(huì)急劇增加，使計(jì)算時(shí)間和存儲(chǔ)空間大幅提高，甚至?xí)斐刹杉臄?shù)據(jù)量遠(yuǎn)小于數(shù)據(jù)的維數(shù)，進(jìn)而嚴(yán)重影響分類器的泛化能力[7]。針對(duì)該問(wèn)題，很多學(xué)者從不同模態(tài)間的互補(bǔ)性和相關(guān)性出發(fā)，提出了一些多模態(tài)特征學(xué)習(xí)方法。局部排列的多模態(tài)特征方法[8]能夠從多模態(tài)圖像中學(xué)習(xí)一種鑒別潛在子空間，該子空間盡量保留了原始高維數(shù)據(jù)的局部幾何結(jié)構(gòu)，使子空間投影后的低維特征更具鑒別力。借助廣義模態(tài)均值，多視圖鑒別分析方法[9]能夠從多模態(tài)數(shù)據(jù)中學(xué)習(xí)低維鑒別特征，該特征盡量保留了模態(tài)間和模態(tài)內(nèi)的鑒別散布信息，具有良好的鑒別力，并在圖像識(shí)別中驗(yàn)證了方法的有效性。為了掌握多模態(tài)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，Zhao等[10]構(gòu)建了一種最大粒度結(jié)構(gòu)描述因子，能夠抽取多模態(tài)數(shù)據(jù)的局部顯著特征，并在此基礎(chǔ)上形成基于數(shù)據(jù)一致性的廣義多模態(tài)特征學(xué)習(xí)方法。

典型相關(guān)分析(canonical correlation analysis，CCA)[11]是一種重要的多模態(tài)特征學(xué)習(xí)方法。該方法旨在學(xué)習(xí)兩模態(tài)數(shù)據(jù)的一致子空間，使原始高維數(shù)據(jù)投影到一致子空間后，模態(tài)間擁有最大的相關(guān)性。目前，CCA在很多實(shí)際應(yīng)用中已經(jīng)廣泛應(yīng)用，比如故障檢測(cè)[12]、多模態(tài)生物分析[13]以及過(guò)程監(jiān)控[14]。CCA本身是一種線性方法，這使其難以很好地掌握數(shù)據(jù)中隱含的非線性結(jié)構(gòu)信息。局部保持CCA(LPCCA)[15]構(gòu)建了局部模態(tài)間相關(guān)優(yōu)化問(wèn)題，通過(guò)求解該優(yōu)化問(wèn)題，能夠進(jìn)一步獲得非線性相關(guān)特征，并在人臉的姿態(tài)估計(jì)中驗(yàn)證了方法的有效性。核技術(shù)是一類常見(jiàn)的非線性輔助技術(shù)，將核技術(shù)與CCA有效融合，進(jìn)一步形成了核CCA(KCCA)[16]方法。該方法首先利用高斯核函數(shù)將原始高維數(shù)據(jù)映射到更高維的核空間，使原始高維數(shù)據(jù)具有高維可分性，然后再在核空間中執(zhí)行相關(guān)特征的學(xué)習(xí)。CCA學(xué)習(xí)的相關(guān)投影方向不具有正交性，因此CCA的相關(guān)特征難以最大限度地消除冗余。為此，正交CCA(OCCA)方法[17]通過(guò)在CCA的目標(biāo)函數(shù)中添加正交約束，構(gòu)建了正交相關(guān)優(yōu)化問(wèn)題，學(xué)習(xí)了正交的相關(guān)投影方向，進(jìn)一步獲得了“稠密”的相關(guān)特征。CCA的無(wú)監(jiān)督性在很大程度上限制了相關(guān)特征的鑒別力。為此，Gao等[18]學(xué)習(xí)了鑒別相關(guān)特征，并在圖像表情識(shí)別中驗(yàn)證了方法的有效性。

上述所有方法都涉及基于樣本數(shù)據(jù)的協(xié)方差矩陣，即樣本協(xié)方差矩陣。由于實(shí)際應(yīng)用中采集的樣本往往包含大量的冗余和噪聲信息，樣本協(xié)方差矩陣通常偏離真實(shí)協(xié)方差矩陣。對(duì)于特征學(xué)習(xí)方法，樣本協(xié)方差矩陣越接近真實(shí)協(xié)方差矩陣，特征學(xué)習(xí)方法獲得的特征往往具有越好的鑒別力[7]。為了解決樣本協(xié)方差矩陣偏離的問(wèn)題，本文利用柯西估計(jì)對(duì)協(xié)方差矩陣的奇異值進(jìn)行糾正，進(jìn)而形成一種更加接近真實(shí)協(xié)方差矩陣的柯西協(xié)方差矩陣，然后在相關(guān)分析理論的基礎(chǔ)上，進(jìn)一步提出面型多模態(tài)圖像的柯西相關(guān)特征學(xué)習(xí)方法，即柯西典型相關(guān)分析(Cauchy canonical correlation，簡(jiǎn)寫為CauCCA)。該方法能夠同時(shí)從不同的模態(tài)學(xué)習(xí)具有強(qiáng)鑒別力的相關(guān)特征。為了分析方法的有效性，在3個(gè)常用的圖像數(shù)據(jù)上設(shè)計(jì)了針對(duì)性實(shí)驗(yàn)，良好的實(shí)驗(yàn)結(jié)果已經(jīng)顯示該方法是一種有效的多模態(tài)圖像識(shí)別方法。

1 柯西典型相關(guān)分析方法

1.1 協(xié)方差矩陣的討論

協(xié)方差矩陣對(duì)于特征學(xué)習(xí)的方法性能至關(guān)重要。由于在實(shí)際應(yīng)用中難以獲得真實(shí)協(xié)方差矩陣，通常利用樣本協(xié)方差矩陣來(lái)逼近真實(shí)協(xié)方差矩陣，然而樣本的冗余和噪聲信息會(huì)導(dǎo)致樣本協(xié)方差矩陣的偏離。為了衡量樣本協(xié)方差矩陣和真實(shí)協(xié)方差矩陣的偏離，定義了協(xié)方差矩陣的偏離度θ:

(1)

圖1 不同樣本數(shù)量對(duì)應(yīng)的偏離度

圖2 不同樣本維數(shù)對(duì)應(yīng)的偏離度

1.2 柯西協(xié)方差矩陣

假設(shè)X=[x1,x2,…,xN,]∈Rdx×N和Y=[y1,y2,…,yN]∈Rdy×N是對(duì)應(yīng)相同目標(biāo)的兩個(gè)模態(tài)數(shù)據(jù)集。其中(xk,yk)是對(duì)應(yīng)同一目標(biāo)的第k(k=1,2,…,N)對(duì)樣本，N為樣本數(shù)量，dx和dy分別表示模態(tài)數(shù)據(jù)集X和Y的樣本維數(shù)。

對(duì)于模態(tài)數(shù)據(jù)集X和Y，模態(tài)內(nèi)樣本協(xié)方差矩陣的定義是相同的。下面以模態(tài)數(shù)據(jù)X為例，描述如何糾正模態(tài)內(nèi)樣本協(xié)方差矩陣的奇異值，進(jìn)而形成更接近真實(shí)協(xié)方差矩陣的柯西協(xié)方差矩陣。模態(tài)內(nèi)樣本協(xié)方差Rxx的定義為

(2)

R(xx)=P(xx)Λ(xx)Q(xx)T

(3)

(4)

(5)

利用柯西估計(jì)對(duì)樣本協(xié)方差矩陣的奇異值進(jìn)行糾正是一種減少樣本協(xié)方差矩陣偏離度的全新思路，能夠有效提升很多特征學(xué)習(xí)方法的鑒別力。

1.3 柯西協(xié)方差矩陣的分析

圖1和圖2除了展示樣本協(xié)方差矩陣的偏離度以外，還直觀地展示了柯西協(xié)方差矩陣隨樣本數(shù)量和樣本維數(shù)增加的變化趨勢(shì)。從圖1和圖2可以看出：隨著樣本數(shù)量的增加和樣本維數(shù)的減少，柯西協(xié)方差矩陣的偏離度呈現(xiàn)減小的趨勢(shì)，并且和樣本協(xié)方差矩陣相比，柯西協(xié)方差矩陣總是更接近真實(shí)協(xié)方差矩陣。

為了深入分析柯西協(xié)方差矩陣更接近真實(shí)協(xié)方差矩陣的原因，將真實(shí)協(xié)方差矩陣、樣本協(xié)方差矩陣以及柯西協(xié)方差矩陣進(jìn)行奇異值分解，然后將奇異值分別進(jìn)行從大到小的排列，并在圖3中展示了排序后的奇異值。從圖3可以看出：柯西協(xié)方差矩陣對(duì)奇異值進(jìn)行了糾正，糾正的奇異值更接近真實(shí)協(xié)方差矩陣的奇異值，這是柯西協(xié)方差矩陣更接近真實(shí)協(xié)方差矩陣的重要原因。

圖3 真實(shí)協(xié)方差矩陣、樣本協(xié)方差矩陣和柯西協(xié)方差矩陣的奇異值

1.4 柯西典型相關(guān)分析

假設(shè)α∈Rdx×1和β∈Rdy×1分別是模態(tài)數(shù)據(jù)X和Y對(duì)應(yīng)的相關(guān)投影方向，αTX和βTY為投影后的相關(guān)特征?？挛鞯湫拖嚓P(guān)分析(CauCCA)旨在學(xué)習(xí)使模態(tài)間相關(guān)性最大的相關(guān)投影方向，因此，借助相關(guān)準(zhǔn)則[11]，CauCCA的相關(guān)優(yōu)化函數(shù)能夠表述為

(6)

由于α和β具有尺度不變性[17]，式(6)能等價(jià)地轉(zhuǎn)化為下面的優(yōu)化問(wèn)題：

(7)

借助Lagrange乘子法[19]，可以構(gòu)建式(7)的Lagrange乘子函數(shù)L(α,β):

(8)

其中η1和η2是Lagrange乘子。通過(guò)將L(α,β)對(duì)α和β的偏導(dǎo)數(shù)設(shè)為零，可得：

(9)

(10)

式(9)左乘αT和式(10)左乘βT，可得：

(11)

(12)

(13)

(14)

經(jīng)過(guò)簡(jiǎn)單的推導(dǎo)，式(13)和式(14)能等價(jià)地轉(zhuǎn)化為下面的廣義特征值問(wèn)題：

(15)

(16)

(17)

CauCCA方法輸入:模態(tài)數(shù)據(jù)集X=[x1,x2,…,xN]∈Rdx×N;模態(tài)數(shù)據(jù)集Y=[y1,y2,…,yN)]∈Rdy×N輸出:相關(guān)投影矩陣A和B1. 利用式(4)構(gòu)建模態(tài)內(nèi)柯西協(xié)方差矩陣R(xx)Cau和R(yy)Cau;2. 利用式(5)構(gòu)建模態(tài)間柯西協(xié)方差矩陣R(xy)Cau;3. 求解式(15)和式(16)即可獲得相關(guān)投影矩陣A和B

對(duì)于最終的識(shí)別任務(wù)，不同模態(tài)的相關(guān)特征需要進(jìn)行融合。假設(shè){x,y}為對(duì)應(yīng)同一目標(biāo)的訓(xùn)練樣本或測(cè)試樣本，則可以借助簡(jiǎn)單的融合策略[6]獲得{x,y}的融合相關(guān)特征z：

z=ATx+BTy

(18)

2 實(shí)驗(yàn)結(jié)果及其分析

為了評(píng)估提出方法的有效性，在GT圖像數(shù)據(jù)集(http://www.anefian.com/research/face_reco.htm)、AT&T圖像數(shù)據(jù)集(http://www.cad.zju.edu.cn/home/dengcai/Data/FaceData.htm)以及IRIS熱紅外/可見(jiàn)光圖像數(shù)據(jù)集(http://vcipl-okstate.org/pbvs/bench/)上進(jìn)行了實(shí)驗(yàn)。GT數(shù)據(jù)集和AT&T數(shù)據(jù)集屬于單模態(tài)圖像數(shù)集，為此借助模態(tài)策略[19]獲取每幅圖像的兩種模態(tài)數(shù)據(jù)。具體而言，利用Coiflets和Daubechies小波變換方法來(lái)獲取每幅圖像的兩個(gè)模態(tài)數(shù)據(jù)，隨后使用主成分分析將模態(tài)數(shù)據(jù)的維數(shù)約減到100維，以減少小樣本問(wèn)題。IRIS數(shù)據(jù)集利用不同的圖像設(shè)備采集了同一目標(biāo)的熱紅外圖像和可見(jiàn)光圖像，是常用的兩模態(tài)圖像數(shù)集。借助模態(tài)策略中小樣本問(wèn)題的處理方法，IRIS數(shù)據(jù)集同樣也利用主成分分析將模態(tài)數(shù)據(jù)的維數(shù)約減到100維。

表1 在GT圖像數(shù)據(jù)集上的平均識(shí)別率 %

參數(shù)4Train5Train6Train7TrainCauCCA67.8071.9073.6077.00OCCA65.9169.1670.8473.88KCCA66.2270.8872.5374.93CCA52.8059.0861.7866.22

表2 在AT&T圖像數(shù)據(jù)集上的平均識(shí)別率 %

參數(shù)4Train5Train6Train7TrainCauCCA93.6795.6597.7597.75OCCA93.6296.3097.4497.50KCCA78.3890.3593.1993.83CCA92.2994.7596.5097.17

表3 在IRIS熱紅外/可見(jiàn)光圖像數(shù)據(jù)集上的平均識(shí)別率 %

參數(shù)4Train5Train6Train7TrainCauCCA63.0576.5083.6788.50OCCA61.2975.1182.7388.08KCCA60.1075.0081.0786.92CCA35.9559.8380.6786.00

在實(shí)驗(yàn)部分，將CauCCA與OCCA、KCCA以及CCA進(jìn)行了對(duì)比分析。該方法中的參數(shù)c從數(shù)據(jù)間隔為0.1的[0.1,1]區(qū)間內(nèi)以及數(shù)據(jù)間隔為1的[2,10]區(qū)間內(nèi)，利用交叉驗(yàn)證尋找最優(yōu)參數(shù)。在最終的識(shí)別任務(wù)中，分類器使用的是基于歐式距離的最近鄰分類器，并且展示了所有可能維數(shù)下的最優(yōu)識(shí)別率。在3個(gè)圖像數(shù)據(jù)集上，隨機(jī)從每類中選擇u(u=4,5,6,7)幅圖像作為訓(xùn)練圖像，剩余圖像用于測(cè)試，獨(dú)立運(yùn)行10次樣本隨機(jī)實(shí)驗(yàn)，在表1～3中分別展示了平均識(shí)別率。

圖像數(shù)據(jù)是一種常見(jiàn)的高維小樣本數(shù)據(jù)，即數(shù)據(jù)維數(shù)高，樣本數(shù)量相對(duì)較少。從圖1、2可以看出，基于圖像數(shù)據(jù)的樣本協(xié)方差矩陣往往嚴(yán)重偏離真實(shí)協(xié)方差矩陣，這是CCA在3個(gè)圖像數(shù)集上擁有較差識(shí)別性能的重要原因。然而CauCCA利用柯西估計(jì)對(duì)樣本協(xié)方差矩陣的奇異值進(jìn)行了糾正，構(gòu)建了更接近真實(shí)協(xié)方差矩陣的柯西協(xié)方差矩陣，進(jìn)而有效增強(qiáng)了相關(guān)特征的鑒別力，并在表1～3中分別顯示出了良好的識(shí)別性能。CauCCA在識(shí)別率上明顯優(yōu)于CCA，這進(jìn)一步驗(yàn)證了對(duì)柯西協(xié)方差矩陣分析的正確性。OCCA在相關(guān)投影的優(yōu)化問(wèn)題中添加了正交約束，并在理論上提升了數(shù)據(jù)壓縮的緊湊性，最大限度地減少了相關(guān)特征的冗余信息。該方法在圖像識(shí)別中也顯示了相對(duì)較好的識(shí)別性能，在一定程度上改善了相關(guān)特征的鑒別力。KCCA利用經(jīng)驗(yàn)核函數(shù)探索了原始高維數(shù)據(jù)中隱含的非線性結(jié)構(gòu)信息，然而由于經(jīng)驗(yàn)核函數(shù)不具有數(shù)據(jù)適應(yīng)性，KCCA難以在各類數(shù)據(jù)集上很好地揭示數(shù)據(jù)的非線性結(jié)構(gòu)，這是KCCA在3個(gè)不同數(shù)據(jù)集上相對(duì)識(shí)別性能相差較大的重要原因。OCCA和KCCA是相關(guān)特征學(xué)習(xí)中的兩類代表性方法，該方法在大多數(shù)情況下?lián)碛斜萇CCA和KCCA更高的識(shí)別率，這在一定程度上也顯示了CauCCA在圖像識(shí)別中的有效性。此外，OCCA和KCCA也是基于協(xié)方差矩陣的相關(guān)特征學(xué)習(xí)方法，利用CauCCA構(gòu)建的柯西協(xié)方差矩陣，同樣能夠進(jìn)一步增強(qiáng)OCCA和KCCA的識(shí)別性能。

3 結(jié)束語(yǔ)

在實(shí)際應(yīng)用中難以直接獲得真實(shí)協(xié)方差矩陣，基于協(xié)方差矩陣的特征學(xué)習(xí)方法通常是利用樣本協(xié)方差矩陣來(lái)逼近真實(shí)協(xié)方差矩陣，然而由于實(shí)際采集的樣本包含大量的冗余和噪聲信息，樣本協(xié)方差矩陣往往嚴(yán)重偏離真實(shí)協(xié)方差矩陣，進(jìn)而影響特征學(xué)習(xí)的方法性能。為了從樣本數(shù)據(jù)獲得更加真實(shí)的協(xié)方差矩陣，首先對(duì)樣本協(xié)方差矩陣進(jìn)行奇異值分解，并利用柯西估計(jì)糾正樣本協(xié)方差矩陣的奇異值，進(jìn)而獲得更接近真實(shí)協(xié)方差矩陣的柯西協(xié)方差矩陣，然后結(jié)合相關(guān)分析理論，提出面向多模態(tài)圖像的CauCCA方法，該方法能夠從少量圖像中學(xué)習(xí)強(qiáng)鑒別力的相關(guān)特征。在3個(gè)常用的圖像數(shù)據(jù)集上設(shè)計(jì)了針對(duì)性實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示CauCCA是一種有效的圖像識(shí)別方法。在理論上，基于協(xié)方差矩陣的特征學(xué)習(xí)方法能夠借助柯西協(xié)方差矩陣的優(yōu)勢(shì)進(jìn)一步提升方法性能。如何將柯西協(xié)方差矩陣有效嵌入其他特征學(xué)習(xí)方法，以及嵌入柯西協(xié)方差矩陣后特征學(xué)習(xí)性能的改善程度將是進(jìn)一步研究的重點(diǎn)。