融合圖嵌入的光滑主成分分析網(wǎng)絡(luò)圖像識別算法

陳飛玥,朱玉蓮,田甲略,蔣 珂

(1. 南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 江蘇 南京 211106; 2. 南京航空航天大學(xué) 公共實驗教學(xué)部， 江蘇 南京 211106)

圖像識別是計算機視覺的重要分支，在安全驗證[1-2]、電子商業(yè)[3]、醫(yī)學(xué)影像[4]、目標(biāo)檢測[5-6]等領(lǐng)域均有廣泛的應(yīng)用。通常，圖像識別分為四個步驟，即圖像采集、圖像預(yù)處理、特征提取和分類。圖像采集是指通過成像設(shè)備獲取圖像的過程；圖像預(yù)處理是將圖像信息轉(zhuǎn)換為計算機可以操作的數(shù)字信息，并進(jìn)行簡單的編輯；特征提取是從圖像中提取出利于樣本類別判別分析的信息；而分類則是對提取的特征進(jìn)行判斷，以確定該樣本所屬的類別。所以，特征提取是圖像識別的關(guān)鍵步驟之一。特征提取方法主要包括兩類：基于手工設(shè)計的特征提取方法和基于學(xué)習(xí)(數(shù)據(jù)驅(qū)動)的特征提取方法。其中，基于人工設(shè)計的特征提取方法主要有尺度不變特征變換[7](scale-invariant feature transform, SIFT)、方向梯度直方圖[8](histogram of oriented gradient, HOG)等；基于學(xué)習(xí)的特征提取包括基于子空間學(xué)習(xí)的特征提取(如主成分分析[9](principal components analysis, PCA)、線性判別分析[10](linear discriminant analysis, LDA)等)和基于深度學(xué)習(xí)的特征提取(如LeNet[11]、AlexNet[12]、VGG[13]等)。

以卷積神經(jīng)網(wǎng)絡(luò)[11](convolutional neural networks, CNN)為代表的基于深度學(xué)習(xí)的特征提取方法得到迅速發(fā)展，并在圖像識別領(lǐng)域得到了廣泛的應(yīng)用。CNN通常由多層網(wǎng)絡(luò)組成，而每一層網(wǎng)絡(luò)又由卷積層、非線性處理層和池化層構(gòu)成。其中，卷積層是CNN的核心，訓(xùn)練CNN的過程實際上就是學(xué)習(xí)各層卷積核參數(shù)的過程。為了學(xué)習(xí)卷積核，CNN一般使用反向傳播(back propagation, BP)算法進(jìn)行訓(xùn)練。BP算法是一個迭代算法，它包含數(shù)據(jù)的正向傳播和梯度的反向傳播。正向傳播是根據(jù)已有參數(shù)從輸入層開始依次計算每個隱含層直至輸出層的過程；而反向傳播則是利用梯度下降法從輸出層到輸入層依次更新參數(shù)的過程。兩個過程交替進(jìn)行，直至滿足停止條件(如誤差最小值)。由于CNN網(wǎng)絡(luò)結(jié)構(gòu)通常非常復(fù)雜，有大量的參數(shù)需要學(xué)習(xí)，所以一方面，需要有大量的訓(xùn)練樣本進(jìn)行訓(xùn)練以避免過擬合現(xiàn)象出現(xiàn)；另一方面，采用BP迭代求解參數(shù)的過程是非常耗時的。此外，復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)通常需要一些額外的訓(xùn)練技巧才能獲得良好的性能。

為了解決這些問題， Chan等提出了一種簡化的深度網(wǎng)絡(luò)——主成分分析網(wǎng)絡(luò)PCANet[14]。PCANet由輸入層、兩層卷積層和輸出層組成。由于PCANet的卷積核直接通過PCA方法獲得，有效避免了CNN中調(diào)參的過程，因此不僅大大降低了計算代價而且也避免了過擬合問題。大量的實驗證實PCANet在很多方面取得了接近于CNN的性能[14-16]。鑒于PCANet的成功，人們基于PCANet提出了一些新的算法，如Low等通過引入池化層實現(xiàn)了PCANet中兩個卷積層之間的非線性映射進(jìn)而提出了stacking PCANet+[16]；Xi等使用局部二值模式(local binary patterns, LBP)描述符替換了CNN卷積核，從而提出了局部二值模式網(wǎng)絡(luò)(LBPNet)[17]；Ng等則利用二維離散余弦變換(two-dimensional discrete cosine transform, 2D-DCT)與PCA高度近似這一特點，使用2D-DCT基作為卷積核提出了二維離散余弦變換網(wǎng)絡(luò)(DCTNet)[15]。

然而，PCANet算法也存在不足。由于在訓(xùn)練過程中將所有局部塊[14]視為彼此獨立的，該算法忽略了局部塊的中心像素點之間隱含的位置關(guān)系。設(shè)pi、pj是輸入圖像中相鄰的兩個像素點，以pi、pj為中心的局部塊分別為xi、xj。由于圖像中相鄰像素pi、pj之間通常具有很高的相似性，因此局部塊xi、xj之間也應(yīng)具有較高的相似性，但是PCANet在利用PCA獲得卷積核時卻忽略了這一重要信息，致使最終所學(xué)習(xí)的特征未能很好地保持其空間特性。通常，一個較好的空間變換應(yīng)該能有效地保持原空間樣本點之間的近鄰關(guān)系及相似性。亦即，在原空間位置數(shù)據(jù)值相近的兩個近鄰樣本點投影至目標(biāo)空間后，仍然應(yīng)滿足位置相鄰且數(shù)據(jù)值接近的空間特性?；诖耍岢隽烁鞣N圖嵌入方法[18-21]。圖嵌入方法一般首先根據(jù)原空間樣本建立一個圖G=(Q,E)，其中Q是圖節(jié)點的集合，每個圖節(jié)點對應(yīng)著每個樣本；E是圖節(jié)點之間帶有權(quán)值的邊的集合，而邊的權(quán)值表示兩個圖節(jié)點之間的鄰接關(guān)系。根據(jù)鄰接關(guān)系求得一空間變化矩陣，使得圖中的節(jié)點映射至目標(biāo)空間后，樣本間的位置關(guān)系與原空間盡可能一致。在圖嵌入方法中，圖節(jié)點既可以是整幅圖像也可以是圖像中的一個像素點。傳統(tǒng)的流形學(xué)習(xí)方法如局部保持投影[18](locality preserving projections, LPP)、局部線性嵌入[19](locally linear embedding, LLE)等均以整幅圖像為圖節(jié)點。其中，LPP通過尋找樣本點間拉普拉斯特征映射的最優(yōu)線性逼近實現(xiàn)圖嵌入的目標(biāo)；LLE采用保持近鄰樣本點之間線性關(guān)系的思想保持樣本點間的位置關(guān)系。而空間光滑的子空間學(xué)習(xí)方法[20](spatially smooth subspace learning, SSSL)則以一幅圖像的像素點作為圖節(jié)點。SSSL方法通過對子空間的基向量做光滑約束，使基向量中相鄰位置元素值的變化趨于平緩進(jìn)而獲取圖像的位置關(guān)系。在SSSL的基礎(chǔ)上，通過變換約束函數(shù)提出了基于高斯拉普拉斯算子(Laplacian of Gaussian, LOG)和高斯導(dǎo)數(shù)(derivative of Gaussian, DOG)懲罰的空間光滑子空間學(xué)習(xí)[21]等方法。大量的實驗結(jié)果證實，在特征提取過程中保持局部位置信息，有利于后續(xù)圖像識別性能的提升。

為了充分利用圖像的位置信息，本文將圖嵌入的思想融入PCANet中，提出基于圖嵌入的光滑PCANet(Smooth-PCANet)。在求解PCANet卷積核時，除了保證各個局部塊在新空間的特征(向量化操作后)具有最大的協(xié)方差，同時還要保證新特征之間的光滑性，即相鄰的局部塊在新空間的特征應(yīng)該具有相似的特征值。因此，相比于PCANet，Smooth-PCANet利用了更多的位置信息。為驗證Smooth-PCANet的有效性，分別在人臉數(shù)據(jù)集(以AR和Extended Yale B數(shù)據(jù)集為例)、手寫體文字?jǐn)?shù)據(jù)集(以MNIST數(shù)據(jù)集為例)和圖片數(shù)據(jù)集(以CIFAR 10數(shù)據(jù)集為例)上進(jìn)行了實驗。實驗結(jié)果表明， Smooth-PCANet獲得了比PCANet更好的性能；同時，和一些經(jīng)典的神經(jīng)網(wǎng)絡(luò)算法相比，當(dāng)訓(xùn)練樣本數(shù)量相對較少時Smooth-PCANet表現(xiàn)更為出色。

1 融合圖嵌入的Smooth-PCANet

1.1 PCANet

PCANet為簡易的深度學(xué)習(xí)網(wǎng)絡(luò)，由輸入層、兩個卷積層和輸出層組成。對各層進(jìn)行簡要介紹。

輸出層：經(jīng)過兩層卷積層的操作后，每個輸入圖像Ii都能得到L1×L2個特征圖像，隨后在輸出層進(jìn)行非線性處理、分塊直方圖和特征拼接等一系列操作后，最終得到圖像Ii的特征向量表示。由于本文算法只涉及卷積核的構(gòu)建，并不涉及輸出層的改進(jìn)，因此關(guān)于輸出層的操作此處不做詳細(xì)介紹，具體操作參見文獻(xiàn)[14]。

1.2 Smooth-PCANet

在PCANet 的基礎(chǔ)上，通過引入像素點之間的近鄰信息，本文提出了Smooth-PCANet。Smooth-PCANet和PCANet算法的流程對比如圖1所示。從圖1可以看出，相對于PCANet，Smooth-PCANet在計算卷積核時融入了拉普拉斯矩陣信息。下面，本文將從構(gòu)建拉普拉斯矩陣及求解卷積核兩方面對Smooth-PCANet進(jìn)行詳細(xì)介紹。

(a) PCANet

(b) Smooth-PCANet圖1 PCANet和Smooth-PCANet算法的流程對比示意Fig.1 Flow charts comparison of PCANet and Smooth-PCANet

1.2.1 構(gòu)建拉普拉斯矩陣

1.2.2 求卷積核

(1)

(2)

其中，I為L1階單位矩陣，λ∈(0,1]為超參數(shù)。

因為式(1)～(2)是(廣義)特征值問題，因此很容易得到閉解。在求解卷積核后，Smooth-PCANet采用和PCANet完全一樣的操作進(jìn)行特征提取。

2 實驗結(jié)果與分析

2.1 人臉識別任務(wù)

在人臉識別任務(wù)中，本文使用AR數(shù)據(jù)集和Extended Yale B數(shù)據(jù)集進(jìn)行了實驗。在實驗中，PCANet和Smooth-PCANet的基本參數(shù)設(shè)置如下：卷積核的大小和數(shù)目分別設(shè)置為k1=k2=5、L1=L2=8、直方圖塊重疊率為0.5，直方圖塊大小為8×8。

2.1.1 AR 數(shù)據(jù)集

AR人臉數(shù)據(jù)庫由126個人(70個男性和56個女性)，每人至少26幅共計4 000多幅正面圖像組成。本文中采用AR的一個子集，包含100個人(50個男性、50個女性)每人26幅共2 600幅圖像，并將圖像分辨率調(diào)整為66×48。某個人的26幅人臉圖像如圖2所示。在圖2中，時間1和時間2分別表示圖片拍攝時間在第一周內(nèi)和第二周內(nèi)，下標(biāo)1～13代表圖像的序號。實驗將時間1和時間2的人臉圖像劃分為6個數(shù)據(jù)子集，即s1:Illum & Exps(時間1的1～7)、s1:Sunglass(時間1的8～10)、s1:Scarf(時間1的11～13)s2:Illum & Exps(時間2的1～7)、s2:Sunglass(時間2的8～10)、s2:Scarf(時間2的11～13)，使用s1:Illum & Exps學(xué)習(xí)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練，其余子集作為測試集評估各算法的性能。

圖2 AR數(shù)據(jù)庫上某個人的樣本Fig.2 Samples of one person from AR database

實驗結(jié)果如表1所示。由表1數(shù)據(jù)可以看出：①從平均準(zhǔn)確率上看，只有PCANet及Smooth-PCANet算法能達(dá)到90.00%以上的準(zhǔn)確率，尤其是Smooth-PCANet(m)取得了最高結(jié)果91.53%，而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率均低于50%。這是因為實驗中僅以700幅無明顯噪聲的人臉圖像作為訓(xùn)練集，致使傳統(tǒng)神經(jīng)網(wǎng)絡(luò)出現(xiàn)了不同程度的過擬合；而PCANet和本文提出的Smooth-PCANet均是淺層網(wǎng)絡(luò)，有效避免了過擬合，因此性能更為穩(wěn)定。②從各個子集的實驗結(jié)果來看，含遮擋的人臉圖像嚴(yán)重影響了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的分類性能，例如LeNet在無遮擋的s2:Illum & Exps上準(zhǔn)確率約為73.86%，但在s2:Scarf上準(zhǔn)確率僅有約6.33%。值得注意的是，雖然PCANet及Smooth-PCANet在遮擋人臉圖像上亦有性能下降，但是比起其他算法明顯降幅最小，比如在s1: Scarf上，與s2：IIlum & Exps的識別結(jié)果相比，PCANet及Smooth-PCANet算法的性能降幅未超過6.86%，遠(yuǎn)低于LeNet在該子集上的性能降幅59.85%。③Smooth-PCANet(d)和Smooth-PCANet(m)針對不同類型的人臉圖像遮擋噪聲分別表現(xiàn)出了最佳性能。其中，Smooth-PCANet(d)在墨鏡遮擋人臉的性能具有明顯優(yōu)勢，Smooth-PCANet(m)則在圍巾遮擋圖像上表現(xiàn)更優(yōu)。綜上所述，Smooth-PCANet不僅提升了PCANet在含遮擋人臉識別的準(zhǔn)確性和魯棒性，還在小樣本訓(xùn)練集上發(fā)揮出比PCANet更大的優(yōu)勢。

表1 AR數(shù)據(jù)集上各算法的性能

2.1.2 Extended Yale B數(shù)據(jù)集

圖3 Extended Yale B數(shù)據(jù)集的各子集示例Fig.3 Overview of each subset of Extended Yale B datasets

Extended Yale B數(shù)據(jù)集包含38個個體的2 414幅人臉圖像，每個個體拍攝約64幅不同光照下的照片[22]。實驗采用了該數(shù)據(jù)庫的一個子集，包含30個個體的1 920幅人臉圖像，分辨率為96×84，并依照光照條件劃分為5個子集(子集1～子集5)[23]，使用子集1進(jìn)行學(xué)習(xí)和訓(xùn)練，其余子集作為測試子集。某個個體的圖像部分劃分如圖3所示。實驗所得結(jié)果見圖4。從圖4中可以看出：①從子集2～子集5，所有算法都出現(xiàn)了性能降低，說明光照是影響圖像識別性能的重要因素。②PCANet和Smooth-PCANet的性能在所有子集上都超越了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，且在子集4和子集5上該優(yōu)勢尤為明顯，例如在子集4上Smooth-PCANet(d)和Smooth-PCANet(m)準(zhǔn)確率分別為68.57%和68.1%，而AlexNet僅有9.05%。這是因為小樣本訓(xùn)練集時神經(jīng)網(wǎng)絡(luò)再次出現(xiàn)過擬合問題。③在子集5上，Smooth-PCANet(m)表現(xiàn)出更顯著的光照魯棒性，識別準(zhǔn)確率比起第二名的Smooth-PCANet(d)亦至少高出1.9%。因此，Smooth-PCANet(m)更適用于光照條件極差的人臉識別場景。

2.2 手寫體識別任務(wù)

本文使用MNIST數(shù)據(jù)集進(jìn)行手寫體識別。MNIST是數(shù)字0～9手寫體圖像庫，共包含60 000幅訓(xùn)練圖像和10 000幅測試圖像[11,14, 24]，圖像分辨率為28×28。實驗設(shè)置PCANet與Smooth-PCANet的參數(shù)如下：k1=k2=7、L1=L2=8。在實驗中發(fā)現(xiàn)在不同網(wǎng)絡(luò)上將60 000幅訓(xùn)練圖像全部用于訓(xùn)練所得的結(jié)果幾乎無差異，所以本文分別使用2 000和20 000幅訓(xùn)練樣本做實驗。實驗結(jié)果如表2所示。從表2中可以看出：①訓(xùn)練樣本為20 000幅時，所有的算法都達(dá)到了93%以上的準(zhǔn)確率，VGG-19和LeNet達(dá)到了最高準(zhǔn)確率98.72%；Smooth-PCANet(d)略低于前二者，結(jié)果為98.55%；PCANet和Smooth-PCANet(m)達(dá)到97.90%的準(zhǔn)確率，與第一名差別不超過1%。當(dāng)訓(xùn)練樣本僅為2 000幅時，各算法出現(xiàn)了不同程度的性能降低，如AlexNet性能下降了約1.52%，VGG-19下降了5.52%，PCANet亦出現(xiàn)4.2%的降幅，僅有Smooth-PCANet(d)的性能具有最小降幅0.9%，并且獲得最高準(zhǔn)確率97.65%。②從整體上來說，在手寫體字符識別任務(wù)中Smooth-PCANet比PCANet獲得了更好的性能；同其他算法相比，Smooth-PCANet(d)在小樣本訓(xùn)練時具有更出色的表現(xiàn)。

圖4 在Extended Yale B所有子集上各算法識別準(zhǔn)確率柱狀圖Fig.4 Histogram of recognition accuracy of each algorithm on all subsets of Extended Yale B

表2 各算法在不同訓(xùn)練樣本規(guī)模的MNIST數(shù)據(jù)集上的性能Tab.2 Performance of each algorithm on MNIST datasets with different training sample sizes %

2.3 圖片識別任務(wù)

本文在CIFAR 10數(shù)據(jù)集進(jìn)行了圖片識別實驗。CIFAR 10數(shù)據(jù)集由10個類共60 000幅彩色RGB圖像組成，圖像分辨率為32×32。在實驗中，將這彩色圖像轉(zhuǎn)為灰度圖，以50 000幅圖像為訓(xùn)練集、10 000幅圖像為測試集進(jìn)行實驗。實驗中PCANet以及Smooth-PCANet(d)、Smooth-PCANet(m)的參數(shù)統(tǒng)一設(shè)置為k1=k2=5、L1=20，L2=8。所得結(jié)果如圖5所示。從圖5中可以看出，在CIFAR 10數(shù)據(jù)集上所有的算法都無法達(dá)到較高的準(zhǔn)確率，這是因為經(jīng)過灰度處理后圖像的特征變得更難分辨與提取。故在圖片集上提出的Smooth-PCANet與一般的神經(jīng)網(wǎng)絡(luò)相比并未展現(xiàn)出結(jié)果優(yōu)勢。值得關(guān)注的是，PCANet和本文算法的實驗結(jié)果與LeNet十分接近，但是LeNet是較深層的神經(jīng)網(wǎng)絡(luò)，除去輸入輸出層還包含了3個卷積層、2個下采樣層和1個全連接層。其他的神經(jīng)網(wǎng)絡(luò)層數(shù)更高。所以實驗中傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法花費了遠(yuǎn)多于PCANet及Smooth-PCA的時間和硬件資源。如文獻(xiàn)[25]所指出的，在一定范圍內(nèi)深度學(xué)習(xí)網(wǎng)絡(luò)的隱含層越多，其分類性能越好。基于PCANet和Smooth-PCANet在實驗中以最淺的網(wǎng)絡(luò)層數(shù)達(dá)到圖中所示性能水平的這一事實，本文認(rèn)為，若對Smooth-PCANet進(jìn)行合理的層數(shù)擴充，其有望在圖片識別任務(wù)上表現(xiàn)出更好的性能，且在資源使用上仍具有較大優(yōu)勢。

圖5 在CIFAR 10上各算法的識別準(zhǔn)確率Fig.5 Recognition accuracy of each algorithm on CIFAR 10

3 結(jié)論

目前大多數(shù)深度學(xué)習(xí)存在著網(wǎng)絡(luò)復(fù)雜訓(xùn)練難度大、硬件條件要求高、訓(xùn)練樣本少時容易陷入過擬合等問題。本文在一種簡易的深度學(xué)習(xí)網(wǎng)絡(luò)PCANet上，通過融合圖嵌入的光滑思想，提出了Smooth-PCANet圖像識別算法，并分別在不同數(shù)據(jù)集上與其他方法進(jìn)行對比實驗。實驗結(jié)果表明，Smooth-PCANet實現(xiàn)了對PCANet的有效改進(jìn)，對光照、遮擋等人臉圖像噪聲的魯棒性更強，對手寫字符的識別性能也更高；同PCANet一樣，Smooth-PCANet在小樣本訓(xùn)練集上可以有效避免過擬合，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比更有優(yōu)勢。