非線性二維主成分分析方法

高宇,夏志明,劉歡

(1.西北大學(xué)數(shù)學(xué)學(xué)院,陜西 西安 710127;2.西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,陜西 西安 710049)

1 引言

隨著社會的快速發(fā)展和信息的加速流動(dòng),數(shù)據(jù)這一生產(chǎn)要素正在迅速擴(kuò)大.自2012年以來,“大數(shù)據(jù)”一詞被越來越多地提及,各行各業(yè)產(chǎn)生的海量數(shù)據(jù)已經(jīng)成為經(jīng)濟(jì)社會的新石油.學(xué)術(shù)研究者及商業(yè)締造者通過對數(shù)據(jù)的共享和交叉互用,實(shí)現(xiàn)其學(xué)術(shù)及經(jīng)濟(jì)價(jià)值的最大化.然而這些數(shù)據(jù)數(shù)量眾多,種類繁雜,因此如何以最小的成本對其進(jìn)行傳輸和存儲是社會各大領(lǐng)域需要思考的問題.在這種背景下,“數(shù)據(jù)壓縮”再一次吸引了廣大研究者們的目光.它是指在有損或無損壓縮的前提下,刪減數(shù)據(jù)中包含的冗余信息,進(jìn)而提高有效信息的占比,減少同等信息量下數(shù)據(jù)的存儲空間.早在19世紀(jì),就有相關(guān)研究者做了大量工作,特別是在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和信息檢索領(lǐng)域[1-6].因此,用于“數(shù)據(jù)壓縮”的手段和工具有很多,但這些方法難易程度不一,其中有一類操作簡單且應(yīng)用廣泛的方法是主成分分析類方法.這類方法的基本思想是在保證數(shù)據(jù)投影變異性最大的前提下,沿著特定方向?qū)?shù)據(jù)投影到一個(gè)低維空間中,而方差則作為度量投影變異性的指標(biāo),以此達(dá)到用較少空間存儲較多信息的目的.前輩們一直在該領(lǐng)域探索前進(jìn),這類方法也在逐漸發(fā)展完善.

主成分分析(Principal Component Analysis,PCA)是該類方法中最原始、最經(jīng)典的一種.文獻(xiàn)[7]最先引入這一概念,隨后文獻(xiàn)[8]將這一情形推廣到隨機(jī)向量.其數(shù)據(jù)壓縮能力在文獻(xiàn)[9]中得以展示.簡單的結(jié)構(gòu)及有效的壓縮能力使得主成分分析得到了眾多領(lǐng)域的普遍認(rèn)可,其中值得一提的是其在計(jì)算機(jī)視覺領(lǐng)域做出的貢獻(xiàn).在該領(lǐng)域,研究者們關(guān)注如何處理圖像,致力于挖掘PCA應(yīng)用于人臉識別的潛能.在文獻(xiàn)[10-11]中,PCA首次被用于人臉識別.文獻(xiàn)[12]提出了著名的特征臉方法.自此,PCA在人臉識別領(lǐng)域引起了廣泛關(guān)注,并逐漸發(fā)展成為該領(lǐng)域最成功的方法之一.同樣被用于人臉識別的還有主成分分析的一些變種,包括獨(dú)立分量分析(Independent Component Analysis,ICA)和核主成分分析(kernel Principal Component Analysis)[13-15].尋找投影變異性最大的方向并沿著這些方向進(jìn)行投影是PCA的核心目標(biāo),可以借助“K-L變換”或“Hotelling變換”構(gòu)造一組標(biāo)準(zhǔn)正交的方向,而這組方向恰好是樣本協(xié)方差矩陣的特征向量,詳見文獻(xiàn)[16],文獻(xiàn)[17]詳述了張量數(shù)據(jù)的主成分分析方法.具體來說,對于給定的樣本X∈Rm,PCA往往被定義為Z=UX[18-19],其中U為正交投影矩陣,Z為投影后所得向量.

PCA是一種基于向量數(shù)據(jù)構(gòu)造的壓縮方法,但在現(xiàn)實(shí)生活中很多數(shù)據(jù)以矩陣形式存在.將矩陣?yán)睘橄蛄渴且环N普遍的做法,但不可否認(rèn)的是,在拉直過程中原有數(shù)據(jù)結(jié)構(gòu)會被割裂,這可能會導(dǎo)致結(jié)構(gòu)中隱含信息的丟失.除此之外,拉直后向量維數(shù)的增加會導(dǎo)致“維數(shù)詛咒”(Curse of dimension).文獻(xiàn)[20]也曾表示PCA無法捕捉投影方向的不變性.針對PCA的這些局限,文獻(xiàn)[21]提出了一種基于矩陣數(shù)據(jù)建立的數(shù)據(jù)壓縮方法—二維主成分分析(Two-dimensional PCA,2DPCA).該方法在投影前無需將矩陣轉(zhuǎn)化為向量,從而規(guī)避了矩陣向量化導(dǎo)致的信息損失及“維數(shù)詛咒”.與PCA類似,對于給定的樣本A∈Rm×n,2DPCA被表示為Z2D=AU2D,其中U2D為投影矩陣,Z2D為投影后所得矩陣.

2DPCA彌補(bǔ)了PCA的不足,有著深刻的應(yīng)用場景,如掌紋識別[22]、圖像去噪[23]及圖像降維[24]等.其通過對原始數(shù)據(jù)做單側(cè)投影實(shí)現(xiàn)了數(shù)據(jù)壓縮的目的,但同時(shí)卻忽視了數(shù)據(jù)沿另一側(cè)壓縮的可能性.譬如,矩陣數(shù)據(jù)右乘投影矩陣,則列結(jié)構(gòu)得以壓縮,但行結(jié)構(gòu)卻并未發(fā)生改變.這樣的壓縮方式一方面會限制模型的壓縮性能,另一方面會造成壓縮后行列信息之間的不平衡.文獻(xiàn)[25]發(fā)表廣義主成分分析方法(GPCA)解決了這一問題并在次年提出了對應(yīng)的改進(jìn)算法—矩陣的廣義低秩近似(GLRAM)[26].對于給定的樣本A∈Rm×n,GPCA通過雙邊投影矩陣UL∈Rr×l1和UR∈Rc×l2實(shí)現(xiàn)對數(shù)據(jù)兩個(gè)方向的同時(shí)壓縮,并記壓縮后的樣本ZG=UTLAUR.

如果從優(yōu)化視角出發(fā)考慮PCA、2DPCA及GPCA,這些方法均屬于“平方損失最小”準(zhǔn)則下的擬合問題[16].而在相同復(fù)雜度下,非線性方法相比于線性壓縮方法而言,具有更強(qiáng)的擬合能力.盡管主成分分析類方法從未停止發(fā)展的腳步,但不論是PCA,2DPCA還是GPCA,都屬于線性壓縮方法.為此,也曾有專家、學(xué)者提出了一系列非線性主成分分析方法,如多層感知器、核主成分分析方法[27]以及自編碼器[28]等.多層感知器最初是為了克服感知機(jī)無法解決線性不可分問題而提出的一種設(shè)想,隨著反向傳播算法的提出,該方法突破了發(fā)展瓶頸,解決了隱層的權(quán)值訓(xùn)練問題,但該方法解釋性不強(qiáng);核主成分分析方法則是先將數(shù)據(jù)映射到高維特征空間中,再對數(shù)據(jù)進(jìn)行主成分分析以實(shí)現(xiàn)降維,無疑在高維特征空間中,數(shù)據(jù)更容易被劃分,但在這個(gè)過程中,核函數(shù)沒有顯式表達(dá)式;自編碼器是在1985年,由 David H.等人在玻爾茲曼機(jī)上進(jìn)行了首次嘗試,與大多數(shù)神經(jīng)網(wǎng)絡(luò)模型一樣,該方法可解釋性弱,編碼與解碼過程類似于黑箱操作.因此,本文將基于二維主成分分析方法,探索一種可以自由變換壓縮方向且具有顯式表達(dá)式的非線性數(shù)據(jù)壓縮方法—非線性二維主成分分析(Two-Dimensional Nonlinear Principal Component Analysis,2DNPCA),并從網(wǎng)絡(luò)模型角度對方法進(jìn)行直觀地解釋.

本文剩余部分的結(jié)構(gòu)組織如下:第二節(jié)中首先描述了非線性二維主成分分析的核心思想,緊接著建立了該方法所對應(yīng)的可解釋網(wǎng)絡(luò)模型;第三節(jié)中推導(dǎo)了基于梯度下降法所設(shè)計(jì)的形變反向傳播算法并證明了其收斂性;第四節(jié)中呈現(xiàn)了基于ORL數(shù)據(jù)庫公開數(shù)據(jù)集進(jìn)行的數(shù)值實(shí)驗(yàn)結(jié)果;第五節(jié)則在總結(jié)全文的基礎(chǔ)上,提出了方法可改進(jìn)之處及未來的工作重心.本文所涉及的所有證明均在附錄中給出.

2 非線性二維主成分分析方法

2.1 核心思想

該方法延續(xù)了主成分分析類方法的一般做法,即通過特定的投影矩陣對數(shù)據(jù)進(jìn)行壓縮.在此基礎(chǔ)上,每次投影之后通過引入激活函數(shù)對數(shù)據(jù)進(jìn)行二次變換,在盡可能保留有效信息的原則下提高模型的壓縮能力.而引入什么樣的激活函數(shù),需要根據(jù)數(shù)據(jù)特征而定.比如,對于一張像素值位于0-255之間的黑白照片而言,假設(shè)出現(xiàn)了像素值為負(fù)的異常點(diǎn),想要將其就近修正,此時(shí)可以選擇Sigmoid函數(shù),將負(fù)值點(diǎn)賦為一個(gè)無限接近于0的正數(shù);另外,由于Sigmoid函數(shù)值域的特殊性,此文中省略數(shù)據(jù)歸一化的步驟.

因此,對于一個(gè)給定的黑白圖片樣本A∈Rr×c,非線性二維主成分被定義為

其中,f(i)(·),i=1,2為被選擇的激活函數(shù).在深度學(xué)習(xí)領(lǐng)域,Sigmoid函數(shù)是一個(gè)被廣泛使用的激活函數(shù),該函數(shù)可以將變量映射到(0,1)之間,呈現(xiàn)為S型曲線,具有單調(diào)遞增性和可微性.鑒于Sigmoid函數(shù)的優(yōu)越性與普適性,本文取

當(dāng)然,根據(jù)具體需求不同,也可以選擇其他類型的激活函數(shù),比如Sgn函數(shù),ReLU函數(shù)等.U(1)∈Rr×l1為行維度所對應(yīng)的投影矩陣,實(shí)現(xiàn)行方向信息的壓縮;類似地,U(2)∈Rc×l2為實(shí)現(xiàn)列方向壓縮所對應(yīng)的列投影矩陣.為了達(dá)到數(shù)據(jù)壓縮的目的,往往令l1＜r,l2＜c.對于給定的n個(gè)大小為r×c的樣本,原始情況下n*r*c的存儲空間需要被占用,按照上述方式壓縮后所需的存儲空間則變?yōu)閚*l1*l2+r*l1+c*l2.衡量數(shù)據(jù)壓縮成功與否的重要標(biāo)志之一為數(shù)據(jù)是否可以在一個(gè)誤差可接受的范圍內(nèi)被重構(gòu),若U(1),U(2)為正交矩陣,f(1),f(2)為可逆函數(shù),則原始數(shù)據(jù)可以按照如下步驟被完全復(fù)原:

但如果對模型加入過多假設(shè),則會增加模型的計(jì)算復(fù)雜度,削弱模型的可推廣性.因此,考慮如下過程:

不妨直接令g(1),g(2)與f(1),f(2)保持一致,設(shè)為Sigmoid函數(shù),使用過程中根據(jù)任務(wù)的不同,g(1),g(2)也可以被替換為其他激活函數(shù).上述整個(gè)過程稱為前向傳播,執(zhí)行前向傳播過程便得到重構(gòu)數(shù)據(jù)?A,而?A與A之間的差異將被作為衡量方法壓縮性能的重要指標(biāo)之一.

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

提及非線性數(shù)據(jù)壓縮方法,自編碼器是極具代表性的一種.而非線性二維主成分分析作為一種非線性數(shù)據(jù)壓縮方法,是否可以從網(wǎng)絡(luò)的角度去理解？答案是肯定的.在這一節(jié)中,將建立一個(gè)特殊的網(wǎng)絡(luò)模型以詮釋該方法,也將指出其與自編碼器的不同之處.根據(jù)前向傳播過程,本文得到一個(gè)包含三個(gè)隱層的網(wǎng)絡(luò)模型,圖1展示了最終的模型結(jié)構(gòu).按照自編碼器的定義方式,該結(jié)構(gòu)可以視為由編碼器及解碼器兩部分組成,其中輸入層及第一、二隱層構(gòu)成編碼器;第二、三隱層及輸出層構(gòu)成解碼器.觀察模型不難發(fā)現(xiàn),一個(gè)基于形變的子隱層在第一、三隱層的內(nèi)部被引入,稱之為形變子層,它的引入使得網(wǎng)絡(luò)可以靈活改變數(shù)據(jù)的壓縮維度.除此之外,不同于一般網(wǎng)絡(luò)的黑箱性,該網(wǎng)絡(luò)是基于非線性二維主成分分析所構(gòu)建,因此網(wǎng)絡(luò)中的各隱層各節(jié)點(diǎn)都有其存在的實(shí)際意義及顯示表達(dá).

圖1 非線性二維主成分分析的網(wǎng)絡(luò)結(jié)構(gòu)

接下來將對參數(shù)進(jìn)行求解.

3 參數(shù)估計(jì)及其形變反向傳播算法

問題(11)是一個(gè)無約束最優(yōu)化問題,通常使用最優(yōu)化方法來求解,梯度下降法是其中極具代表性的一種.該方法的思想是沿著當(dāng)前點(diǎn)的梯度反方向?qū)ふ倚碌牡c(diǎn),直到抵達(dá)某個(gè)局部最小值.對于凸優(yōu)化問題而言,局部最優(yōu)即為全局最優(yōu),這一結(jié)論的成立已經(jīng)得到證明;然而對于如問題(11)的非凸優(yōu)化問題,會出現(xiàn)多個(gè)局部最優(yōu)解的情況.目前包含梯度下降法在內(nèi)的大多數(shù)優(yōu)化算法都無法保證一定能使得計(jì)算結(jié)果收斂到全局最優(yōu),但實(shí)驗(yàn)部分的結(jié)果表明本文所設(shè)計(jì)的算法能夠得到一個(gè)較優(yōu)的解.另外,梯度下降法雖適用于大多數(shù)情境,但它的一些變種,比如:批量梯度下降法、小批量梯度下降法及隨機(jī)梯度下降法等在數(shù)據(jù)集較大的情況下能夠取得優(yōu)異的表現(xiàn).因此,根據(jù)數(shù)據(jù)集的大小以及實(shí)際需要可以選擇恰當(dāng)?shù)乃惴ㄒ匀〉酶鼉?yōu)的性能.考慮到本文所用數(shù)據(jù)集較小,故選用梯度下降法.

根據(jù)梯度下降法的步驟,對于一個(gè)包含有n個(gè)樣本點(diǎn)A(1),···,A(n)的數(shù)據(jù)集,在每一個(gè)樣本點(diǎn)上按照如下方式更新參數(shù):

其中f(·)為目標(biāo)函數(shù),η為學(xué)習(xí)率,也被稱為步長.結(jié)合(11)式易得

在第二節(jié)所建立的網(wǎng)絡(luò)結(jié)構(gòu)中,直接計(jì)算損失函數(shù)關(guān)于投影矩陣的導(dǎo)數(shù)是非常困難的,而根據(jù)(1)-(10)式,利用復(fù)合函數(shù)求導(dǎo)的鏈?zhǔn)椒▌t有

因此,可以將問題轉(zhuǎn)化為損失函數(shù)關(guān)于節(jié)點(diǎn)向量的求導(dǎo).若記

表1 形變反向傳播算法

其中k為任意正數(shù).

根據(jù)定理結(jié)果可知:當(dāng)學(xué)習(xí)率充分小時(shí),參數(shù)序列會無限靠近最優(yōu)解,且在歐幾里得度量(Euclidean Metric)下,收斂速率為參數(shù)估計(jì)值與最優(yōu)解之間距離平方的倒數(shù).

注:由于證明過于繁瑣,因此該定理涉及的證明及引理均在附錄中給出.

4 數(shù)值實(shí)驗(yàn)

4.1 數(shù)據(jù)集簡介

數(shù)值實(shí)驗(yàn)將基于Olivetti Research Laboratory(ORL)人臉數(shù)據(jù)庫展開,該數(shù)據(jù)庫于1992年 4月至1994年4月由英國劍橋Olivetti實(shí)驗(yàn)室創(chuàng)建,是一個(gè)在人臉識別領(lǐng)域非常著名的公開數(shù)據(jù)集.數(shù)據(jù)集共包含40個(gè)文件夾,每個(gè)文件夾對應(yīng)一個(gè)人,每個(gè)人有10張人臉圖像,共400張.這些照片是在不同時(shí)間、不同光照條件以及不同的面部表情(睜眼或閉眼,微笑或不微笑)及面部細(xì)節(jié)(是否佩戴眼鏡)下拍攝的,所有圖像均在較暗的均勻背景下采集,且為正面拍攝,只有極少數(shù)存在稍微的側(cè)偏.這些圖像以PGM格式儲存,是高為112,寬為92的灰度圖像.在后續(xù)實(shí)驗(yàn)中,所有圖像被縮放為高、寬均為90的灰度圖作為樣本參與實(shí)驗(yàn).實(shí)驗(yàn)共分為兩個(gè)部分:第一部分驗(yàn)證算法的收斂性;第二部分檢驗(yàn)方法的壓縮性能.

4.2 算法收斂性實(shí)驗(yàn)

在實(shí)驗(yàn)開始前,需確定壓縮后行、列各自的尺寸.為了敘述簡潔,在下文中用基底對來稱呼每一個(gè)給定的行、列組合,比如壓縮后的行尺寸為a,列尺寸為b,則稱(a,b)為一個(gè)基底對.希望算法在所有的基底對上都能快速收斂,一個(gè)穩(wěn)妥的檢驗(yàn)辦法是遍歷所有基底對,觀察RMSRE是否能最終平穩(wěn).對于90×90的矩陣數(shù)據(jù)而言,共需遍歷8100組基底對,這無疑會耗費(fèi)大量的時(shí)間,并且在實(shí)際壓縮過程中,壓縮后的尺寸應(yīng)盡可能小,因此考慮以下選取方式:每個(gè)方向在3到50之間每間隔2取1個(gè)值,即按照3,6,9,···的方式等間距取值.如此每個(gè)方向上有16種選擇,僅需遍歷256組基底對即可.這樣的選擇方式大大減少了實(shí)驗(yàn)的總次數(shù)且能保證所選擇的基底對是具有代表性的.

最終實(shí)驗(yàn)結(jié)果如圖2所示,其中橫坐標(biāo)表示迭代次數(shù),縱坐標(biāo)表示RMSRE的值,每一條不同顏色的曲線對應(yīng)一組不同的基底對,共256條曲線.觀察圖形不難看出,大部分曲線都能在20次迭代前出現(xiàn)拐點(diǎn)并穩(wěn)定于某個(gè)值附近,剩余的曲線也最終趨于平穩(wěn),此實(shí)驗(yàn)結(jié)果表明形變反向傳播算法是收斂的.

圖2 不同基底對下RMSRE的變化情況

4.3 壓縮性能對比實(shí)驗(yàn)

該實(shí)驗(yàn)將通過對比非線性二維主成分分析與PCA,2DPCA及GPCA在ORL數(shù)據(jù)集上的壓縮效果來說明模型的壓縮性能,而壓縮性能的比較通常會涉及重構(gòu)誤差及壓縮程度這兩個(gè)對立的指標(biāo),關(guān)于度量重構(gòu)誤差的指標(biāo)在算法收斂性實(shí)驗(yàn)部分已經(jīng)給出,在此再引入一個(gè)用于衡量壓縮程度大小的指標(biāo):壓縮率(compression ratio,CR).通俗來講,壓縮率被定義為

接下來將分別給出上述四種方法所對應(yīng)壓縮率的具體表達(dá)式.通過引言可知,PCA及2DPCA對矩陣數(shù)據(jù)進(jìn)行單側(cè)投影,而GPCA及本文方法執(zhí)行雙側(cè)投影,因此這些方法壓縮率的表達(dá)式在形式上不同.

在第一個(gè)子實(shí)驗(yàn)中,隨機(jī)抽選10組不同的基底對展開實(shí)驗(yàn),以各自的CR值作為橫坐標(biāo),對應(yīng)的RMSRE值作為縱坐標(biāo)得到圖3所示實(shí)驗(yàn)結(jié)果,圖例中用2DNPCA表示非線性二維主成分分析.觀察圖形可以看出黑色實(shí)線始終位于黑色虛線下方,這意味著在同等壓縮程度下,非線性二維主成分分析方法所對應(yīng)的RMSRE始終小于GPCA所對應(yīng)的RMSRE,也就是說本文方法的壓縮性能優(yōu)于GPCA.另外可以看出,在壓縮率小于160時(shí),兩條曲線都呈現(xiàn)出上升趨勢,即誤差隨著壓縮率的逐漸增大而增大,這是符合認(rèn)知的;但在160之后兩條曲線的變化則不再規(guī)律,并且呈現(xiàn)出大致相似的變化趨勢,因此有充足的理由認(rèn)為這種變化是壓縮本身而非某一種方法所擁有的屬性.對此進(jìn)行深入思考后,認(rèn)為這種變化是由于矩陣數(shù)據(jù)的“各向異性”[16]所造成的,所謂“各向異性”就是高階數(shù)據(jù)在不同方向上所包含的信息量不同.在同一壓縮率下,對于矩陣數(shù)據(jù)而言對應(yīng)著不止一種壓縮方案,如果沿著數(shù)據(jù)信息量較大的方向進(jìn)行過度壓縮,則會導(dǎo)致重構(gòu)誤差的增大,反之誤差則會變小.因此,沿著數(shù)據(jù)的哪個(gè)方向進(jìn)行多大程度的壓縮是一個(gè)值得思考的問題,作者正在進(jìn)行相關(guān)方面的研究工作并且已經(jīng)有實(shí)驗(yàn)證明在不同方向上確實(shí)存在相對應(yīng)的較優(yōu)壓縮程度.

圖3 GPCA及2DNPCA的壓縮性能對比

在第二個(gè)子實(shí)驗(yàn)中將展示由四種方法重構(gòu)所得的人臉圖像.與算法收斂性實(shí)驗(yàn)類似,在每次實(shí)驗(yàn)前都需預(yù)先確定基底對.為了保證對其他方法的公平,先設(shè)定 PCA及2DPCA選取的特征數(shù)為m,將m設(shè)置為GPCA及2DNPCA壓縮后其中一個(gè)方向的尺寸,再將另一個(gè)方向的尺寸壓縮為d,如此可以保證本文方法是在同等或較為苛刻的條件下與其他方法進(jìn)行比較.實(shí)驗(yàn)發(fā)現(xiàn):不同基底對下,實(shí)驗(yàn)結(jié)果非常相似,出于文章篇幅的考慮,本文只挑選一組作為展示,所挑選的這組對比圖(圖4)是在m=8,d=26的情況下所得到的.

圖4 重構(gòu)人臉圖像對比

圖4中第一行為原始圖像,接下來依次為由PCA,2DPCA,GPCA及2DNPCA所對應(yīng)的重構(gòu)人臉圖.觀察圖像可以發(fā)現(xiàn),由PCA重構(gòu)所得圖像的清晰度顯著差于其他三種方法,而另外三種方法對應(yīng)圖像的清晰度則沒有明顯差異.為了得到一個(gè)確切的結(jié)論,計(jì)算三種方法對應(yīng)的重構(gòu)誤差依次為:5.9850,5.9221以及5.7681.重構(gòu)誤差越小,則意味著與原始圖像之間的差異越小,這就說明除了原始圖像所在行,剩余四行的清晰度依次遞增.基于此,得出本文方法的壓縮性能優(yōu)于PCA,2DPCA及GPCA的結(jié)論.

5 結(jié)論

本文基于二維主成分分析提出一種非線性矩陣壓縮方法—非線性二維主成分分析法,該方法通過引入激活函數(shù)對投影后數(shù)據(jù)進(jìn)行變換,從而實(shí)現(xiàn)數(shù)據(jù)的非線性壓縮;同時(shí),本文從網(wǎng)絡(luò)角度出發(fā)建立了對應(yīng)的可解釋網(wǎng)絡(luò)模型,模型通過在特定位置加入形變子層對壓縮方向進(jìn)行改變,進(jìn)而實(shí)現(xiàn)矩陣數(shù)據(jù)兩個(gè)維度的同時(shí)壓縮,PCA,2DPCA及GPCA等方法也可從該角度獲得直觀解釋;除此之外,本文設(shè)計(jì)了模型的“形變反向傳播算法”并給出了收斂性證明.數(shù)值實(shí)驗(yàn)則基于ORL數(shù)據(jù)庫的公開數(shù)據(jù)集展開,實(shí)驗(yàn)結(jié)果表明:非線性二維主成分分析的壓縮性能優(yōu)于線性主成分分析類方法PCA,2DPCA及GPCA.

在數(shù)值實(shí)驗(yàn)中,本文采取遍歷的方式確定每個(gè)方向上數(shù)據(jù)被壓縮后的尺寸,但這樣的方式不夠簡潔,因此作者致力于開展相關(guān)方面的研究工作且已經(jīng)取得不錯(cuò)的實(shí)驗(yàn)結(jié)果;另外“形變反向傳播算法”是基于梯度下降法而設(shè)計(jì)的,但在樣本量非常大的情況下,小批量梯度下降法及隨機(jī)梯度下降法都是更佳的選擇.

附錄A

定理 A.1對于損失函數(shù)(11)及網(wǎng)絡(luò)模型圖1,有以下結(jié)論成立:

對于第三隱層而言,由于形變子層的引入,需再次使用鏈?zhǔn)椒▌t,最終得

重復(fù)上述過程易得

證畢.

附錄B

下述內(nèi)容將考慮更一般情形下算法的收斂性.在原有模型(11)的基礎(chǔ)上引入L2正則項(xiàng),即令

其中,λ≥0為一個(gè)超參數(shù),它是調(diào)節(jié)懲罰項(xiàng)及損失項(xiàng)之間比重的懲罰因子.若取λ為0,則模型(13)退化為模型(11).因此,該附錄為形變反向傳播算法收斂的充分條件.附錄將參考文獻(xiàn)[29]的證明思路,首先回顧算法收斂的定義.

定義 B.1算法收斂:稱算法以速度μ收斂至θ*,當(dāng)且僅當(dāng)由該算法產(chǎn)生的序列 {θt}滿足

接下來引入兩個(gè)引理作為鋪墊.

引理 B.1假設(shè) λ≥0,則對于任意 θ∈Rm×n有

其中θ*是目標(biāo)函數(shù)的駐點(diǎn),L(θ)是(13)式中定義的依賴于參數(shù)θ的平方損失項(xiàng).

由于θ*為目標(biāo)函數(shù)的駐點(diǎn),函數(shù)在這一點(diǎn)處的導(dǎo)數(shù)值為0.因此,

結(jié)合(14)式與(15)式可得

結(jié)論得證.

結(jié)合三角不等式可得

證畢.

最后給出主要定理內(nèi)容并加以證明.在下述證明過程中,用〈·,·〉l2表示矩陣的內(nèi)積運(yùn)算.

由引理B.1,(17)式滿足

故

結(jié)合引理B.2可得

聯(lián)立(16)式,(18)式及(19)式易得

證畢.