彈性跨模態(tài)特征學習在圖像識別中的應用分析

摘 要 典型相關(guān)分析（CCA）是一種經(jīng)典的特征學習方法，廣泛應用于圖像識別、信息融合、情感計算等領(lǐng)域。然而CCA難以發(fā)現(xiàn)隱藏在原始樣本空間中的非線性局部子流形結(jié)構(gòu)。為了解決該問題，本文在典型相關(guān)分析基礎(chǔ)上提出了一種彈性跨模態(tài)特征學習方法，該方法同時保留了隱藏在原始樣本空間中的局部幾何結(jié)構(gòu)和全局歐幾里得結(jié)構(gòu)。實驗結(jié)果顯示了該方法在圖像識別方面的有效性。

關(guān)鍵詞 典型相關(guān)分析;流形結(jié)構(gòu);彈性;局部幾何;全局歐幾里得

引言

最近幾年，模態(tài)學習廣泛應用于圖像識別[1]、圖像分割[2]、姿態(tài)估計[3]、基因分析[4]等領(lǐng)域。尤其在圖像識別領(lǐng)域，如何從高維的模態(tài)數(shù)據(jù)中學習具有強鑒別力的低維特征已經(jīng)成為一項挑戰(zhàn)性的課題。

CCA[5]旨在尋找一對投影方向，用以最大化兩模態(tài)數(shù)據(jù)之間的相關(guān)性。然而，CCA本質(zhì)上是一種線性維數(shù)約簡技術(shù)，因此它只能全局地揭示兩組特征之間的線性相關(guān)關(guān)系，這種線性模型不足以評估特征之間的非線性相關(guān)關(guān)系。為此孫權(quán)森[6]提出了局部保持CCA（Locality Preserving CCA）方法，該方法將局部結(jié)構(gòu)信息嵌入到CCA中，在局部鄰域中利用線性CCA來處理問題，從而解決全局問題。LPCCA既保留了局部幾何結(jié)構(gòu)又獲得了兩模態(tài)數(shù)據(jù)集之間的典型相關(guān)性。受彈性保持投影（EPP）[7]方法的啟發(fā)，本文提出了一種彈性跨模態(tài)特征學習方法，即彈性典型相關(guān)分析方法（Elastic CCA），該方法不僅保留了原始樣本集的局部幾何結(jié)構(gòu)同時也考慮到了全局歐幾里得結(jié)構(gòu)，保持了局部和全局的彈性關(guān)系，獲得了最大相關(guān)性的典型相關(guān)特征。

文章其余部分安排如下，第二節(jié)簡要介紹了CCA方法，第三節(jié)詳細介紹和分析了ECCA方法并在第四節(jié)中給出了該方法在一些數(shù)據(jù)集上的識別性能，第五節(jié)給出了本文的結(jié)論。

1彈性相關(guān)分析方法

假設(shè)和為兩個模態(tài)樣本集，其中和分別為樣本維度，為樣本總數(shù)，樣本均以均值歸一化。具體的優(yōu)化模型為：

（1）

其中，，

，，（or ）是一個對角矩陣，對角線上的元素為（or）矩陣每一行或列累加后的結(jié)果。

中：

（2）

中：

（3）

其中，是類內(nèi)局部相似矩陣中第個元素，是一個核參數(shù)，表示的前k個最近鄰樣本集合。

為了進一步求解優(yōu)化模型，利用拉格朗日乘子法可以將上式等價地轉(zhuǎn)化為以下的廣義特征值問題：

（4）

其中是特征值，通過求解公式（4）可以分別獲得樣本集X和樣本集Y的前個最大特征值對應的特征向量和。通過構(gòu)建投影矩陣和進一步得到樣本集X和樣本集Y的低維相關(guān)特征和。

2實驗結(jié)果分析

在本節(jié)中，我們分別在GT圖像數(shù)據(jù)集和ORL圖像數(shù)據(jù)集上設(shè)計了一些實驗來說明ECCA方法的識別性能。

2.1 在GT圖像數(shù)據(jù)集上的實驗

A±B：A表示平均識別率（%），B表示相應的識別率標準差

GT圖像數(shù)據(jù)集共有50個對象分別對應15副彩色背景的面部圖像，共750副面部圖像，每幅圖像具有不同的表情，照明和傾斜比例變化。在實驗部分，分別從每類對象中選取q（q=5，6，7，8）個樣本作為訓練樣本，其余樣本作為測試樣本，權(quán)重 統(tǒng)一為0.05，近鄰參數(shù)k為2。

CCA僅保證了兩模態(tài)數(shù)據(jù)集之間的最大相關(guān)性而忽略了模態(tài)內(nèi)的非線性子流形結(jié)構(gòu)和全局歐幾里得結(jié)構(gòu)結(jié)構(gòu)，在表1中也表現(xiàn)出了較差的識別性能。LPCCA在CCA的基礎(chǔ)上保留了模態(tài)內(nèi)的局部子流形結(jié)構(gòu)，但在高維的數(shù)據(jù)中，大量的噪聲和冗余信息會導致LPCCA難以真實的反映局部子流形結(jié)構(gòu)，這仍然會影響它的識別性能。ECCA在LPCCA的基礎(chǔ)上通過保留全局歐幾里得結(jié)構(gòu)獲得了更具魯棒性的彈性結(jié)構(gòu)，學習到更具有鑒別力的相關(guān)特征，因此在表1中展現(xiàn)了較為優(yōu)秀的識別性能。

3結(jié)束語

特征學習的核心任務是從高維的模態(tài)數(shù)據(jù)中學習到能夠保存原始模態(tài)數(shù)據(jù)中有效信息的低維特征?；谶@種思想，本文提出了一種ECCA方法，在CCA中嵌入局部幾何結(jié)構(gòu)信息和全局歐幾里得結(jié)構(gòu)信息來達到保留彈性結(jié)構(gòu)的目的。相比于LPCCA，ECCA利用了全局信息來發(fā)現(xiàn)原始模態(tài)數(shù)據(jù)中的歐幾里得結(jié)構(gòu)，更全面地保留了原始模態(tài)數(shù)據(jù)的結(jié)構(gòu)信息。在兩個真實的圖像數(shù)據(jù)集上，實驗結(jié)果揭示了ECCA方法在圖像識別中的良好性能。

參考文獻

[1] Han D，Nie H，Chen J，et al. Multi-modal haptic image recognition based on deep learning[J]. Sensor Review，2018，38（4）：486-493.

[2] Dolz J，Gopinath K，Yuan J，et al. HyperDense-Net： a hyper-densely connected CNN for multi-modal image segmentation[J]. IEEE Transactions on Medical Imaging，2018，38（5）：1116-1126.

[3] Hong C，Yu J，Zhang J，et al. Multi-modal face pose estimation with multi-task manifold deep learning[J]. IEEE Transactions on Industrial Informatics，2018，15（7）：3952-3961.

[4] Chaudhary K，Poirion O B，Lu L，et al. Multimodal meta-analysis of 1，494 hepatocellular carcinoma samples reveals significant impact of consensus driver genes on phenotypes[J]. Clinical Cancer Research，2019，25（2）：463-472.

[5] Sun Q S，Zeng S G，Liu Y，et al. A new method of feature fusion and its application in image recognition[J]. Pattern Recognition，2005，38（12）：2437-2448.

[6] Sun T，Chen S. Locality preserving CCA with applications to data visualization and pose estimation[J]. Image and Vision Computing，2007，25（5）：531-543.

[7] Zang F，Zhang J，Pan J. Face recognition using Elasticfaces[J]. Pattern Recognition，2012，45（11）：3866-3876.

作者簡介

鄧瀛灝（1994-），男，安徽亳州人;現(xiàn)就讀學校：安徽理工大學，在讀碩士，研究方向：多視圖特征學習。