標(biāo)簽敏感的多重集正交相關(guān)特征融合方法

趙前進(jìn) 平昕瑞 蘇樹(shù)智 謝 軍

①(安徽理工大學(xué)數(shù)學(xué)與大數(shù)據(jù)學(xué)院 淮南 232001)

②(安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 淮南 232001)

1 引言

近年來(lái)，隨著大數(shù)據(jù)技術(shù)的發(fā)展，人們對(duì)不同屬性不同種信息的有效融合有很大的需求。特征融合[1]是一類重要信息融合方法，受到了廣泛的關(guān)注。從同一樣本中提取的多重特征能反映出該樣本的不同特性。特征融合目的是對(duì)不同的特征進(jìn)行優(yōu)化和組合，以達(dá)到更好的分類性能。特征融合方法的優(yōu)點(diǎn)在于能夠組合不同特征，既保留多特征的有效判別信息，又在一定程度上消除冗余信息。在特征融合中，直接連接或集成不同類型的特征是早期主要的特征融合方法。后來(lái)一種新的融合策略是將兩組特征向量重構(gòu)為一個(gè)新的向量，分別稱為串行融合方法和并行融合方法。這兩種特征融合方法都能在特定范圍內(nèi)提高識(shí)別能力。但是上述方法都忽略了兩特征集之間的內(nèi)在相關(guān)性，無(wú)法實(shí)現(xiàn)有效的特征融合。為了獲取能反映兩組特征內(nèi)在相關(guān)性的特征對(duì)，典型相關(guān)分析(Canonical Correlation Analysis,CCA)[2]同時(shí)學(xué)習(xí)了兩組特征向量的相關(guān)投影方向，使投影后的典型特征組之間具有最大的相關(guān)性。

基于CCA的方法首先從同一模式下提取兩個(gè)不同的特征向量，然后建立相關(guān)準(zhǔn)則函數(shù)，從兩組特征向量中提取典型相關(guān)特征，最后形成有效的判別特征向量，用于模式識(shí)別。CCA方法早期是用于多元數(shù)理統(tǒng)計(jì)分析。目前已經(jīng)廣泛用于神經(jīng)科學(xué)[3]、情感識(shí)別[4]、故障檢測(cè)[5,6]、過(guò)程監(jiān)控[7]、遙感圖像[8]等領(lǐng)域。CCA方法能很好地獲取兩樣本之間的相關(guān)性，但是這種相關(guān)性并不能體現(xiàn)樣本類的關(guān)系，即沒(méi)有使用樣本的類標(biāo)簽信息。通過(guò)引入類標(biāo)簽信息，Gao等人[9]又提出一種新的多模態(tài)融合方法稱為鑒別典型相關(guān)分析，該方法同時(shí)最大化類內(nèi)相關(guān)性及最小化類間相關(guān)性，使用鑒別信息進(jìn)行特征融合，更適合于圖像識(shí)別任務(wù)。

CCA作為一種線性的特征融合子空間方法，難以發(fā)現(xiàn)兩組特征間的非線性關(guān)系。目前處理非線性關(guān)系的方法主要有基于核函數(shù)的方法和基于深度準(zhǔn)則的方法。核典型相關(guān)分析[10]運(yùn)用核技巧將數(shù)據(jù)非線性地轉(zhuǎn)換到一個(gè)更高維的核空間，在核空間中原始的非線性數(shù)據(jù)具有高維線性可分的性質(zhì)，在盲源分離[11]中核典型相關(guān)分析已經(jīng)被廣泛應(yīng)用。類似核典型相關(guān)分析，深度典型相關(guān)分析方法[12]是一種兩視圖非線性數(shù)據(jù)轉(zhuǎn)換到高度線性相關(guān)的方法，在前饋神經(jīng)網(wǎng)絡(luò)[13]中普遍使用，同樣能夠?qū)崿F(xiàn)非線性數(shù)據(jù)的融合。在模式識(shí)別領(lǐng)域，正交性[14]是一種常用的投影方向的冗余判別標(biāo)準(zhǔn)。正交投影方法的優(yōu)勢(shì)在于對(duì)數(shù)據(jù)分布和噪聲的影響不敏感，在特征提取融合過(guò)程中盡量保持樣本間的歐氏距離。Wang等人[15]在CCA中加入正交約束，提出一種新的正交典型相關(guān)分析方法。這是一種通過(guò)雙特征分解獲取正交典型投影向量的方法，在訓(xùn)練樣本較小且維數(shù)高的情況下會(huì)有更高的識(shí)別率和魯棒性。

經(jīng)典CCA局限于描述雙重特征數(shù)據(jù)集合間的一般線性關(guān)系，通常情況下，一組目標(biāo)如果用多重特征數(shù)據(jù)集來(lái)表示，能更加全面展現(xiàn)出這組目標(biāo)的特征關(guān)系，多重集典型相關(guān)分析[16]是CCA由兩組特征數(shù)據(jù)向多組特征數(shù)據(jù)的自然推廣，能夠同時(shí)融合兩組或兩組以上的特征數(shù)據(jù)，具有更廣泛的應(yīng)用基礎(chǔ)。通過(guò)多重集典型相關(guān)分析能夠?qū)崿F(xiàn)多組數(shù)據(jù)的特征融合，用來(lái)分析多變量間的線性關(guān)系。結(jié)合標(biāo)簽信息，Gao等人[17]提出基于標(biāo)簽的多重集典型相關(guān)分析方法，該方法利用訓(xùn)練樣本的類內(nèi)散布矩陣和多變量相關(guān)矩陣來(lái)提取鑒別信息，提高了最終識(shí)別能力。結(jié)合圖結(jié)構(gòu)信息，Chen等人[18]提出圖多視角典型相關(guān)分析(Graph Multiview Canonical Correlation Analysis, GMCCA)方法，通過(guò)圖嵌入方法捕捉每個(gè)視角的低維表示，分析數(shù)據(jù)間的內(nèi)在關(guān)系。

本文結(jié)合正交約束準(zhǔn)則和監(jiān)督散布結(jié)構(gòu)提出一種標(biāo)簽敏感的多重集正交相關(guān)特征融合方法，即多重集鑒別正交典型相關(guān)分析(Multi-set Discriminant Orthogonal Canonical Correlation Analysis,MDOCCA)。本方法在典型相關(guān)分析理論基礎(chǔ)上，將監(jiān)督散布結(jié)構(gòu)和正交投影約束嵌入到相關(guān)特征融合框架，實(shí)現(xiàn)了兩組或兩組以上特征的鑒別融合，并且融合后的特征不僅擁有更好的的鑒別力，而且又能一定程度上減少信息的冗余。為了驗(yàn)證提出算法的有效性，在佐治亞理工大學(xué)(Georgia Tech, GT)圖像數(shù)據(jù)集、英國(guó)劍橋奧利維蒂研究實(shí)驗(yàn)室(Olivetti Research Laboratory, ORL)圖像數(shù)據(jù)集、西班牙計(jì)算機(jī)視覺(jué)中心(Aleix martinez, Robert benavente,AR)圖像數(shù)據(jù)集和美國(guó)卡耐基梅隆大學(xué) (Pose, Illumination, Expression, PIE)圖像數(shù)據(jù)集上的良好實(shí)驗(yàn)結(jié)果表明提出的方法是有效的特征融合方法。

本文其余內(nèi)容分布如下：第2節(jié)是對(duì)CCA的方法進(jìn)行回顧；第3節(jié)是詳細(xì)描述MDOCCA方法的模型構(gòu)建和優(yōu)化求解；實(shí)驗(yàn)和總結(jié)分別在第4節(jié)和第5節(jié)。

2 CCA方法回顧

CCA的目的是找到兩組變量的成對(duì)基向量，這兩組變量在這些基向量方向上的投影最大相關(guān)。因此，所有的有效信息都通過(guò)投影得到最大限度的保留。

3 多重集鑒別正交典型相關(guān)分析

CCA方法本質(zhì)上是一種線性無(wú)監(jiān)督的特征融合方法。能夠?qū)崿F(xiàn)兩組特征的線性融合，然而由于CCA忽略了樣本的類信息，導(dǎo)致了識(shí)別性能的局限性，并且CCA方法構(gòu)造的子空間是共軛正交的，受樣本個(gè)數(shù)和維數(shù)的影響較大，對(duì)數(shù)據(jù)分布和噪聲的影響較為敏感。為了使融合后的特征具有更好的鑒別力，本文將監(jiān)督散布結(jié)構(gòu)和正交投影約束嵌入到相關(guān)特征融合框架，以提取更多的判別特征和降低數(shù)據(jù)分布和噪聲的影響，從而提出一種新的MDOCCA方法，實(shí)現(xiàn)了兩組或兩組以上特征的鑒別融合。MDOCCA的優(yōu)勢(shì)在于：(1)降低數(shù)據(jù)分布和噪聲的影響，受個(gè)體和維數(shù)的影響較?。?2)保持樣本間的歐氏距離，消除冗余信息；(3)加入樣本類信息，提高判別力；(4)能夠同時(shí)融合兩組或兩組以上的特征，提高方法的適用范圍。

該優(yōu)化模型最大化不同組間變量間的相關(guān)差異，最小化同組變量?jī)?nèi)的相互差異。下一步對(duì)上述模型加入正交準(zhǔn)則，正交性可以更好地保留特征空間的度量結(jié)構(gòu)，使提取的投影方向盡可能不相關(guān)，減少特征中存在的冗余?？梢詫⒃撃Ｐ椭貙?xiě)為

式(6)的模型不僅可以保留其中最大化不同組間關(guān)系，最小化組內(nèi)關(guān)系的性質(zhì)，還具有正交性，能減少數(shù)據(jù)分布和噪聲的影響，保持樣本間的歐氏距離。

類標(biāo)簽信息可以反映樣本類之間的關(guān)系，如果忽略這種關(guān)系，則會(huì)導(dǎo)致得到的特征不是最優(yōu)分類，損失識(shí)別性能。本文模型為了增強(qiáng)鑒別力，通過(guò)構(gòu)建視圖內(nèi)類內(nèi)散布矩陣，將類標(biāo)簽嵌入模型中。具體模型為

此模型既包含樣本組間相關(guān)關(guān)系，又含有類標(biāo)簽信息和正交約束，有助于提高鑒別力。式(7)是一個(gè)典型的帶有約束的多元函數(shù)極值問(wèn)題，拉格朗日乘數(shù)法是解決這類問(wèn)題的常用方法。

利用拉格朗日法對(duì)方程式(7)進(jìn)行求解得到

4 實(shí)驗(yàn)結(jié)果和分析

為了驗(yàn)證所提方法的有效性，在GT圖像數(shù)據(jù)集、ORL圖像數(shù)據(jù)集、AR圖像數(shù)據(jù)集和PIE圖像數(shù)據(jù)集上設(shè)計(jì)了一些針對(duì)性實(shí)驗(yàn)來(lái)評(píng)估本文所提方法的圖像識(shí)別性能。對(duì)每幅圖像經(jīng)過(guò)模態(tài)策略處理獲取不同的模態(tài)數(shù)據(jù)。使用Coiflets, Daubechies和Symlets正交小波變換分解技術(shù)獲取每幅圖像的3個(gè)低頻子圖像，并且為了減輕小樣本問(wèn)題影響，采用主成分分析(Principal Component Analysis, PCA)[21]方法將子圖像的維數(shù)約簡(jiǎn)到100維。對(duì)于兩變量集方法，本文將前兩個(gè)低頻子圖像數(shù)據(jù)首尾相連組合在一起構(gòu)成一個(gè)新的圖像數(shù)據(jù)，與第3個(gè)低頻子圖像數(shù)據(jù)組合成兩組變量。在實(shí)驗(yàn)部分，MDOCCA分別和圖正則化多集典型相關(guān)(Graph regularized Multiset Canonical Correlations, GrMCC)[22]、判別多重典型相關(guān)分析(Discriminative Multiple Canonical Correlation Analysis, DMCCA)[9]、GMCCA, CCA進(jìn)行對(duì)比分析。

4.1 在GT圖像數(shù)據(jù)集上的實(shí)驗(yàn)

GT圖像數(shù)據(jù)集采集共50個(gè)人的圖像，每人15張不同角度、不同表情的正面照片，像素為640×480，圖像表示格式為JPG。本實(shí)驗(yàn)分析方法如下，在圖像數(shù)據(jù)集中每人分別選擇n(n=5,6,7,8)幅圖像作為訓(xùn)練樣本，其余作為測(cè)試樣本，總共進(jìn)行10次隨機(jī)試驗(yàn)。表1展示了在此數(shù)據(jù)集下不同訓(xùn)練樣本在不同方法下對(duì)應(yīng)的平均識(shí)別率。本文方法在不同訓(xùn)練樣本數(shù)下對(duì)測(cè)試樣本的平均識(shí)別率均是最高的，這體現(xiàn)了本文所提方法在人臉圖像識(shí)別任務(wù)中表現(xiàn)更佳。

表1 在GT圖像數(shù)據(jù)集上的識(shí)別率變化結(jié)果(%)

CCA對(duì)所有數(shù)據(jù)進(jìn)行同等考慮，只是將投影結(jié)果相關(guān)性最大化，沒(méi)有掌握數(shù)據(jù)中結(jié)構(gòu)信息和類別信息，在圖像識(shí)別中表現(xiàn)一般。DMCCA將監(jiān)督信息加入到在相關(guān)性分析框架中進(jìn)行特征學(xué)習(xí)，具有較好的識(shí)別率。GrMCC不僅最大化數(shù)據(jù)集間累積相關(guān)性，而且通過(guò)在集內(nèi)數(shù)據(jù)上使用最近鄰圖來(lái)最小化局部類內(nèi)分散，同時(shí)最大化局部類間可分離性，在一定程度上優(yōu)于CCA。MDOCCA在引入類信息的同時(shí)加入正交約束，既能增加鑒別力，又能減少信息冗余，從而使融合的相關(guān)特征更具鑒別力。從圖1不難看出，在不同訓(xùn)練樣本數(shù)下，MDOCCA方法在10次隨機(jī)實(shí)驗(yàn)中均展示出最佳識(shí)別率，與其他方法相比均保持穩(wěn)定的優(yōu)越性，說(shuō)明MDOCCA方法提取的特征鑒別力更強(qiáng)。

4.2 在ORL圖像數(shù)據(jù)集上的實(shí)驗(yàn)

ORL圖像數(shù)據(jù)集共有400幅灰度圖像，分別是在40個(gè)不同的對(duì)象里，每人采集10幅不同圖像，像素為92×112。這些圖像是在不同時(shí)間、光照遮擋、表情特征和面部細(xì)節(jié)條件下獲取的。如表2所示，ORL數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與GT數(shù)據(jù)集上的結(jié)果類似，CCA顯示了較差的識(shí)別率， DMCCA在一定程度上有所提升，而本文所提MDOCCA算法仍然保持了最高的識(shí)別率，并且隨著訓(xùn)練次數(shù)的增加，識(shí)別率變化平緩，這說(shuō)明了本文所提方法具有良好的魯棒性，同時(shí)也證明了正交性能的優(yōu)勢(shì)。這進(jìn)一步表明，類信息的嵌入，能夠有效提高低訓(xùn)練樣本數(shù)下的識(shí)別率。

表2 在ORL圖像數(shù)據(jù)集上的識(shí)別率變化結(jié)果(%)

4.3 在AR圖像數(shù)據(jù)集上的實(shí)驗(yàn)

AR數(shù)據(jù)集包含120個(gè)不同人的一些圖像，每個(gè)人14幅圖像。表3中，本文所提MDOCCA方法仍然保持了最高的識(shí)別率。與GT和ORL類似，MDOCCA的識(shí)別率隨訓(xùn)練樣本數(shù)的變化更加順滑平緩，同時(shí)擁有較小的標(biāo)準(zhǔn)差，正交約束帶來(lái)的魯棒性優(yōu)勢(shì)更加明顯。

表3 在AR圖像數(shù)據(jù)集上的識(shí)別率變化結(jié)果(%)

4.4 在PIE圖像數(shù)據(jù)集上的實(shí)驗(yàn)

CMU PIE數(shù)據(jù)集包含68人在不同姿勢(shì)、光照條件和面部表情下的41368張圖像，在實(shí)驗(yàn)中選擇了每人前70張圖像，最終共有4760張圖像。在圖像數(shù)據(jù)集中每人分別選擇n(n=10,15,20,25,30)幅圖像作為訓(xùn)練樣本，其余作為測(cè)試樣本，進(jìn)行10次隨機(jī)試驗(yàn)。從表4可以看出，MDOCCA方法的識(shí)別率總是高于其他方法。MDOCCA和DMCCA將標(biāo)簽結(jié)構(gòu)信息加入到相關(guān)性分析框架中進(jìn)行特征學(xué)習(xí)，具有較好識(shí)別率，均在一定程度上優(yōu)于其他方法，這說(shuō)明標(biāo)簽結(jié)構(gòu)的引入可以有效提高鑒別力。另外，MDOCCA在不同訓(xùn)練樣本下均好于DMCCA，MDOCCA在引入類信息的同時(shí)加入正交約束，既能增加鑒別力，又能減少信息冗余，從而使融合的相關(guān)特征更具鑒別力。從表4不難看出，在不同訓(xùn)練樣本數(shù)下，MDOCCA方法均展示出最佳平均識(shí)別率，說(shuō)明MDOCCA方法提取的特征鑒別力更強(qiáng)。

表4 在PIE圖像數(shù)據(jù)集上的識(shí)別率變化結(jié)果(%)

5 結(jié)論

CCA作為一種經(jīng)典的多模態(tài)特征融合方法，沒(méi)有考慮樣本的類信息，無(wú)法發(fā)現(xiàn)嵌入在數(shù)據(jù)樣本中判別信息，同時(shí)它構(gòu)建的共軛正交投影系統(tǒng)，難以剔除隱藏在樣本特征中的冗余信息，受樣本個(gè)數(shù)和維數(shù)的影響較大。為此，本文在將經(jīng)典CCA方法從兩組數(shù)據(jù)擴(kuò)展到多重?cái)?shù)據(jù)基礎(chǔ)上，提出了一種新的MDOCCA方法。本方法通過(guò)在目標(biāo)函數(shù)加入類標(biāo)簽敏感信息，同時(shí)構(gòu)造正交約束，嵌入到CCA的相關(guān)理論中去，進(jìn)而得到了MDOCCA的優(yōu)化模型。正交性可以保證融合的特征盡可能不相關(guān)，更具鑒別力。在GT圖像數(shù)據(jù)集、ORL圖像數(shù)據(jù)集、AR圖像數(shù)據(jù)集和PIE圖像數(shù)據(jù)集上設(shè)計(jì)針對(duì)性實(shí)驗(yàn)，良好的實(shí)驗(yàn)結(jié)果表明MDOCCA是一種有效的特征融合方法。