基于近端凸差分方法的多層卷積變換學(xué)習(xí)算法

郭泳澄 ,唐健浩 ,李珍妮?,呂 俊

(1.廣東工業(yè)大學(xué)自動(dòng)化學(xué)院,廣東廣州 510006;2.廣東省物聯(lián)網(wǎng)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東廣州 510006)

1 引言

近年來,稀疏表示受到越來越多學(xué)者的關(guān)注與研究,并在信號處理、機(jī)器學(xué)習(xí)、人工智能等領(lǐng)域成功得到了廣泛的應(yīng)用[1–5].稀疏表示模型主要有兩大類,一種是字典學(xué)習(xí)(dictionary learning,DL)[6–8],通過從信號學(xué)習(xí)一個(gè)過完備字典,并用字典中盡可能少的原子的線性組合表示原始信號,達(dá)到對原始信號稀疏表示的目的.然而,字典學(xué)習(xí)模型的稀疏編碼問題是一個(gè)NP-hard難題[9],通常需要采用貪婪算法等方法近似求解[10–11],需要付出較大的計(jì)算代價(jià);另一種是變換學(xué)習(xí)(transform learning,TL)[12–14],通過從信號學(xué)習(xí)得到的變換基直接作用于信號提取特征,并對特征進(jìn)行稀疏約束完成對信號的稀疏表示.字典學(xué)習(xí)與變換學(xué)習(xí)都屬于傳統(tǒng)的基于塊的稀疏表示模型,即受限于字典或變換基的大小在處理信號時(shí)需先將一完整信號提取為多個(gè)小尺寸的重疊信號塊,然后對這些信號塊分別進(jìn)行稀疏表示,最后再將得到的稀疏特征重新合成得到完整信號的稀疏特征.這種分塊處理的方法導(dǎo)致在稀疏編碼過程中忽視了塊與塊之間的相關(guān)性與連續(xù)性,并且在處理大規(guī)模數(shù)據(jù)時(shí),需要大量的內(nèi)存空間用于存儲(chǔ)大量的信號塊,導(dǎo)致算法的使用受限.

近期,隨著卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的快速發(fā)展以及在各種類型數(shù)據(jù)分析取得的成功,同時(shí)為了解決傳統(tǒng)變換學(xué)習(xí)模型的缺陷,研究者將卷積神經(jīng)網(wǎng)絡(luò)與變換學(xué)習(xí)相結(jié)合,提出了卷積變換學(xué)習(xí)(convolutional TL,CTL)[15–18].CTL將卷積神經(jīng)網(wǎng)絡(luò)的卷積操作融入了變換學(xué)習(xí)模型,通過學(xué)習(xí)一組平移不變的卷積核代替原來的變換基,直接對原始信號進(jìn)行卷積提取特征.與傳統(tǒng)基于塊的變換學(xué)習(xí)模型相比,CTL體現(xiàn)出以下幾大優(yōu)勢: 1)解決了傳統(tǒng)變換學(xué)習(xí)對信號塊之間相關(guān)性與連續(xù)性的忽視問題,在信號處理過程中充分保留了原始信號的完整內(nèi)部結(jié)構(gòu);2)通過對信號整體特征的稀疏約束,避免了稀疏編碼的高度冗余;3)直接處理原始信號而不需要截取和存儲(chǔ)大量的信號塊,適合用于處理大規(guī)模數(shù)據(jù),拓展了傳統(tǒng)變換學(xué)習(xí)的應(yīng)用場景.

目前,與傳統(tǒng)稀疏表示模型相比兼具高性能與高效率特點(diǎn)的CTL開始逐漸吸引學(xué)者們的研究.已有的CTL稀疏表示方法有基于?0范數(shù)與基于?1范數(shù)稀疏約束的CTL兩種,2018年,Maggu 等[15]首次將卷積操作融合進(jìn)了變換學(xué)習(xí),提出了基于?1范數(shù)的CTL,應(yīng)用于人臉圖像的稀疏特征提取與分類任務(wù),并與傳統(tǒng)稀疏表示方法進(jìn)行實(shí)驗(yàn)對比,驗(yàn)證了CTL算法的優(yōu)越性.Chun等[16–17]使用?0范數(shù)作為稀疏約束,提出了卷積解析算子學(xué)習(xí)(convolutional analysis operator learning,CAOL),在CT圖像的重構(gòu)任務(wù)上取得了優(yōu)秀的效果.隨后,Gupta等[18]用無稀疏約束的CTL訓(xùn)練一維卷積核,搭建了處理股票回歸預(yù)測任務(wù)的多層框架.

然而,在圖像稀疏特征的提取方面,目前僅有文獻(xiàn)[15]提出的基于?1范數(shù)的CTL稀疏特征提取模型.?0范數(shù)與?1范數(shù)是稀疏表示領(lǐng)域常用的稀疏約束方法,其中?0范數(shù)是最直接的稀疏約束方法,通過約束特征中的非零元素?cái)?shù)量來達(dá)到稀疏約束的效果,然而?0范數(shù)的求解是一個(gè)NP-hard優(yōu)化難題,隨著矩陣維度的增加求解計(jì)算量呈指數(shù)級增長,在多項(xiàng)式時(shí)間內(nèi)只能找到次優(yōu)解[19].因此,常用的一種解決方法是通過采用貪婪算法(如正交匹配追蹤[20]、硬閾值法[21]等)選擇局部最優(yōu)值對?0范數(shù)求近似解,但是此類求取近似解的方法通常難以使稀疏表示模型得到精確度足夠理想的稀疏特征.另一種常用的方法則是使用?1范數(shù)代替?0范數(shù)的方法來求取?0范數(shù)的凸松弛解[22],因?yàn)?1范數(shù)的求解是一個(gè)凸優(yōu)化問題,求解計(jì)算量與矩陣維度為線性關(guān)系,通過采用軟閾值法可以簡單求得封閉解,雖然相比于直接對?0范數(shù)求解有效降低了計(jì)算復(fù)雜度[20],但是?1范數(shù)存在稀疏度不足和大元素過度懲罰的缺陷[23–24],同樣容易導(dǎo)致模型獲得的稀疏解精確度不足的問題.近年,有研究者提出使用非凸log正則化函數(shù)作為稀疏約束[25],并且證明了相較于?1范數(shù),log正則化在獲取強(qiáng)稀疏解的同時(shí)可以有效緩解大參數(shù)過度懲罰的問題,有效減小稀疏解的誤差.然而,目前還沒有關(guān)于使用log正則化作為卷積變換學(xué)習(xí)特征提取稀疏約束方法的研究.根據(jù)以往的稀疏表示理論與文獻(xiàn)研究表明,稀疏特征的稀疏性與精確性是影響稀疏特征質(zhì)量的重要因素,在獲取高稀疏解的同時(shí)減小稀疏特征與原始信號的偏差,是提取高質(zhì)量高精度稀疏特征的關(guān)鍵,也是提升稀疏表示模型性能的關(guān)鍵.而對于信息豐富復(fù)雜的輸入信號,單層的稀疏表示模型難以有效提取信號的深層語義信息,獲取更具鑒別性的深層稀疏特征的能力受限.因此,研究稀疏性更強(qiáng)、精確度更高的多層CTL稀疏表示方法是其進(jìn)一步提升和開發(fā)的一個(gè)關(guān)鍵的研究點(diǎn).

針對上述問題,本文提出了一種基于log正則化函數(shù)的多層CTL稀疏表示模型.通過搭建多層的CTL稀疏特征提取框架,對單層的CTL稀疏特征進(jìn)行進(jìn)一步深層次的稀疏編碼,從而從輸入信號提取更具鑒別性與深層語義信息的稀疏特征.同時(shí),針對現(xiàn)有的基于?0范數(shù)與基于?1范數(shù)的CTL算法所使用的稀疏約束方法難以有效獲取具有高精確度的稀疏特征問題,本文使用稀疏度強(qiáng),同時(shí)偏差性小的非凸log正則化方法[25]作為CTL的稀疏約束,提升CTL模型的稀疏特征提取的精確度.針對log正則化函數(shù)的非凸優(yōu)化問題,本文通過使用近端凸差分算法(proximal difference of convex algorithm,PDCA)[26]對模型進(jìn)行求解優(yōu)化,開發(fā)出基于近端凸差分方法的多層CTL算法稀疏表示算法.

歸納而言,本文的主要貢獻(xiàn)有以下幾點(diǎn):

1)為了提取深層的稀疏特征,提升稀疏特征的提取質(zhì)量,將單層的CTL模型進(jìn)行多層次拓展,通過對單層模型的稀疏特征進(jìn)行進(jìn)一步稀疏編碼,實(shí)現(xiàn)對輸入信號提取更具豐富語義與鑒別性的深層稀疏特征.

2)針對已有的基于?0范數(shù)與基于?1范數(shù)CTL模型提取稀疏特征存在精確度不足的缺陷,使用稀疏強(qiáng)、偏差小的log正則化方法作為CTL模型的稀疏約束方法,提升CTL模型稀疏特征的提取質(zhì)量.

3)針對log正則化函數(shù)的非凸優(yōu)化問題,使用近端凸差分算法對模型目標(biāo)函數(shù)的非凸優(yōu)化問題進(jìn)行求解優(yōu)化,開發(fā)基于近端凸差分方法的多層CTL算法.

2 相關(guān)工作

2.1 變換學(xué)習(xí)

給定一輸入信號x∈Rn,變換學(xué)習(xí)通過學(xué)習(xí)一組變換基T∈Rm×n對信號進(jìn)行解析,得到信號的解析特征,如圖1(a)所示,其數(shù)學(xué)過程表示為Tx ≈z,其中z∈Rm為信號x對應(yīng)的解析特征.具體地,變換學(xué)習(xí)模型算法可用如下函數(shù)表示:

圖1 變換學(xué)習(xí)與字典學(xué)習(xí)Fig.1 Transform learning and dictionary learning

與傳統(tǒng)的字典學(xué)習(xí)算法將信號表示為字典D與其對應(yīng)的權(quán)重向量或矩陣的線性組合x ≈Dz不同,如圖1(b)所示,變換學(xué)習(xí)使用變換基組直接對信號進(jìn)行解析得到信號的解析特征,并且在解析過程中,所有的變換基都以均等的權(quán)重和使用率參與信號的解析變換過程.因此變換學(xué)習(xí)具有更靈活豐富的表示能力.此外,在稀疏編碼方面,變換學(xué)習(xí)的稀疏正則化只需通過對解析特征進(jìn)行一次簡單的閾值操作來求解得到信號的稀疏特征,是一種更高效的稀疏表示算法.

雖然變換學(xué)習(xí)相對于字典學(xué)習(xí)是一種更為高效的稀疏表示模型,但是它與字典學(xué)習(xí)都屬于基于塊的傳統(tǒng)稀疏表示模型,如文章前言所論述,傳統(tǒng)的變換學(xué)習(xí)模型與字典學(xué)習(xí)模型也都存在稀疏編碼冗余、忽視信號的整體性、丟失特征間的關(guān)聯(lián)性等問題,因此對變換學(xué)習(xí)模型的開發(fā)與應(yīng)用也受到了這些模型缺陷的限制.

2.2 卷積變換學(xué)習(xí)

卷積變換學(xué)習(xí)將卷積神經(jīng)網(wǎng)絡(luò)的卷積特征提取操作引入了變換學(xué)習(xí),如圖2所示,通過學(xué)習(xí)具有平移不變性的卷積核組(卷積變換基組)直接對原始信號進(jìn)行卷積提取特征,克服了第2.1小節(jié)所述傳統(tǒng)基于塊的變換學(xué)習(xí)算法的缺陷,卷積變換學(xué)習(xí)模型算法可由如下函數(shù)表示:

圖2 多層卷積變換學(xué)習(xí)模型Fig.2 Multi-layer convolutional transformation learning model

其中:{xl∈CN,l=1,···,L}為一組包含L個(gè)輸入信號的數(shù)據(jù)集,D:=[d1···dK]為由K個(gè)卷積核{(lán)dk∈CR,k=1,···,K}組成的卷積核組,每個(gè)卷積核都作用于所有輸入數(shù)據(jù)進(jìn)行卷積特征提取,即每個(gè)輸入信號都產(chǎn)生相應(yīng)的K個(gè)特征,{zl,k∈CN,l=1,···,L,k=1,···,K}為稀疏特征集合;Jz(z)為稀疏正則化函數(shù);JD(D)為卷積核組的多樣性正則化函數(shù).

CTL通過學(xué)習(xí)卷積核組直接從原始信號提取特征的方式與CNN一致,可以將其視為一個(gè)通過無監(jiān)督學(xué)習(xí)的單層結(jié)構(gòu)CNN特征提取模型,因此,與深度神經(jīng)網(wǎng)絡(luò)相比,CTL 具有如下優(yōu)勢: 1)在模型學(xué)習(xí)方面,CTL 通過無監(jiān)督的方式從數(shù)據(jù)的特征與內(nèi)部結(jié)構(gòu)學(xué)習(xí)卷積核組,在模型的學(xué)習(xí)過程中不依賴于數(shù)據(jù)的標(biāo)簽,而深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)需要大量的標(biāo)簽數(shù)據(jù)反向傳播學(xué)習(xí)神經(jīng)元,導(dǎo)致了當(dāng)處理數(shù)據(jù)標(biāo)簽稀少或者沒有標(biāo)簽時(shí)深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用受限;2)在數(shù)據(jù)特征提取方面,與CNN相比,CTL可以通過對卷積核組實(shí)施正則化約束的方式約束卷積核的多樣性,從而減小特征提取的重復(fù)冗余,提升模型提取數(shù)據(jù)特征的豐富性.

3 基于近端凸差分方法的多層卷變換學(xué)習(xí)算法

本文通過搭建具有多層稀疏結(jié)構(gòu)的卷積變換學(xué)習(xí)特征提取框架,并使用稀疏度強(qiáng),同時(shí)偏差性小的非凸log正則化函數(shù)作為模型的稀疏約束,提出了一種基于log正則化稀疏約束的多層卷積變換學(xué)習(xí)模型(多層CTL-log),如圖2所示.首先使用log正則化稀疏約束提升模型提取稀疏特征的精確性,其次,通過構(gòu)建多層稀疏結(jié)構(gòu)提取更具鑒別性與豐富語義的稀疏特征.最后,采用近端凸差分方法優(yōu)化求解log正則化函數(shù)的非凸非光滑優(yōu)化問題,開發(fā)基于近端凸差分方法的多層卷變換學(xué)習(xí)算法.

3.1 基于log正則化的多層卷積變換學(xué)習(xí)模型

上式中,Jz(z)是log稀疏正則化函數(shù),其中參數(shù)λ是稀疏系數(shù);α為log函數(shù)常系數(shù),通過調(diào)整稀疏系數(shù)λ平衡稀疏正則化項(xiàng)與近似誤差項(xiàng)之間的大小關(guān)系;δζ(D)是一個(gè)關(guān)于到緊集ζ投影的指示函數(shù),通過到這個(gè)集合的投影來對卷積核組施加正交性約束[17].

3.2 近端凸差分方法優(yōu)化求解

因?yàn)閘og正則化函數(shù)具有非凸性和非光滑性,所以對模型目標(biāo)函數(shù)的求解也是一個(gè)非凸非光滑的優(yōu)化問題.本小節(jié)通過使用近端凸差分分解算法[23]對模型進(jìn)行分層求解.PDCA的思想首先通過凸差分分解方法(DCA)將優(yōu)化函數(shù)中的非凸部分分解為凸函數(shù)的組合,將非凸非光滑優(yōu)化問題轉(zhuǎn)換為凸非光滑的優(yōu)化問題,繼而使用近端梯度下降法繼續(xù)求解,達(dá)到對原始非凸非光滑優(yōu)化問題的優(yōu)化求解.

如前文所述,在多層卷積變換學(xué)習(xí)模型中,每一層得到的稀疏特征即為下一層的輸入,整個(gè)模型目標(biāo)函數(shù)的優(yōu)化問題可以分解為多個(gè)單層的逐層優(yōu)化問題,即

每一層的優(yōu)化問題都是一個(gè)非凸非光滑優(yōu)化問題,因此使用PDCA對模型每一層的目標(biāo)函數(shù)Fm進(jìn)行逐層優(yōu)化.如式(8)所示,目標(biāo)函數(shù)的優(yōu)化包含了兩個(gè)變量的求解,采用交替更新的策略,即交替固定一個(gè)變量,更新另一個(gè)變量的方式,對目標(biāo)函數(shù)進(jìn)行迭代優(yōu)化,從而將式(8)的優(yōu)化轉(zhuǎn)換為式(9)與式(10)的交替迭代優(yōu)化.

3.2.1 變量的更新

3.2.2 變量的更新

3.2.3 模型整體優(yōu)化訓(xùn)練步驟

綜上小節(jié)所述,基于log稀疏約束的多層卷積變換學(xué)習(xí)模型訓(xùn)練優(yōu)化的算法過程具體步驟如表1所示.

表1 基于log正則化的多層卷積變換學(xué)習(xí)算法Table 1 Mutil-layer convolutional transform learning based on log regularizer algorithm

算法的計(jì)算復(fù)雜度主要取決于輸入信號維度N與個(gè)數(shù)L、卷積核維度R與個(gè)數(shù)K.在算法的每次迭代中,更新稀疏特征的復(fù)雜度主要由d ?x決定,即O(RKNL);更新卷積核組的復(fù)雜度主要由(d?x)H?x決定,即O(RKN2L).所以,算法每次迭代的主要復(fù)雜度為O(RKN2L).

4 實(shí)驗(yàn)分析

本節(jié)對本文提出的算法進(jìn)行實(shí)驗(yàn)分析.首先,在第4.1節(jié)介紹實(shí)驗(yàn)所使用的公開數(shù)據(jù)集的詳細(xì)信息,然后,在第4.2節(jié)實(shí)驗(yàn)設(shè)置介紹實(shí)驗(yàn)的流程、對比方法，以及評估指標(biāo),最后,在第4.3節(jié)呈現(xiàn)實(shí)驗(yàn)數(shù)據(jù)并對結(jié)果進(jìn)行分析討論.

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本文所提算法的有效性,筆者在YALE[27],Extended Yale B[28]和AR-Face[29]3 個(gè)公開人臉數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),數(shù)據(jù)集的具體信息及其處理與劃分方法如下:

1)YALE數(shù)據(jù)集: YALE人臉數(shù)據(jù)集包含15個(gè)人,每個(gè)人在不同表情、姿態(tài)和光照下的11張人臉圖像,共165張圖片,每張圖片原始大小為64×64像素.實(shí)驗(yàn)中,將圖片裁剪縮小為32×32像素,首先,打亂所有圖片,隨機(jī)劃分70%作為訓(xùn)練集,30%作為測試集,作為一組數(shù)據(jù)劃分.此外,在每個(gè)人的11張圖像中隨機(jī)選擇p張劃分到訓(xùn)練集,剩下的11-p張劃分為測試集,即訓(xùn)練集的圖像數(shù)為15p張,測試集的圖像數(shù)為15(11-p)張,作為一組YALE-p數(shù)據(jù)劃分,通過此規(guī)則,生成新的YALE-2,···,YALE-8共7組數(shù)據(jù).

2)E-YALE-B 數(shù)據(jù)集: Extended Yale B 數(shù)據(jù)集包含38個(gè)人,每人包含64張?jiān)诓煌庹涨闆r下拍攝的人臉圖像,共有2432張圖像,去除其在官方采樣過程被損壞的18張圖像,每張圖像被裁剪為192×168像素.實(shí)驗(yàn)中,將圖片裁剪縮小為48×42像素,并打亂所有圖片,隨機(jī)劃分70%作為訓(xùn)練集,30%作為測試集.

3)AR-Face數(shù)據(jù)集: AR-Face 數(shù)據(jù)庫包含4000 多張人臉圖像,來自126個(gè)不同的對象(70名男性和56名女性)在不同的面部表情、照明和遮擋(太陽眼鏡和圍巾)條件下拍攝的正面圖像.實(shí)驗(yàn)中,隨機(jī)選擇其中100名對象(50名男性和50名女性),每人26張圖像,共2600張圖像進(jìn)行實(shí)驗(yàn),每張圖像裁剪為540像素(27×20),并隨機(jī)選擇2000張圖像作為訓(xùn)練集,其余600張圖像作為測試集.

4.2 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證基于log正則化卷積變換學(xué)習(xí)相較于已有基于?0范數(shù)卷積變換學(xué)習(xí)[16–17]與基于?1范數(shù)卷積變換學(xué)習(xí)[15]對于提取稀疏特征質(zhì)量的提升,以及多層CTL-log特征提取相較于單層CTL-log的有效性,本文對于在以上數(shù)據(jù)集的實(shí)驗(yàn)進(jìn)行了以下設(shè)置:

1)首先進(jìn)行單層的CTL實(shí)驗(yàn)對比,在相同的模型結(jié)構(gòu)下比較CTL-log,CTL-?0,CTL-?1的特征提取效果,驗(yàn)證log 正則化對于提升CTL 模型稀疏特征提取的效果;然后將單層CTL-log 拓展為雙層,驗(yàn)證雙層CTL-log相對于單層的效果.

2)實(shí)驗(yàn)數(shù)據(jù)集劃分為訓(xùn)練集和測試集,訓(xùn)練集用于訓(xùn)練CTL模型的卷積核組完成CTL模型的訓(xùn)練,并提取訓(xùn)練集稀疏特征;再通過訓(xùn)練完成的CTL模型提取測試集的稀疏特征.

3)實(shí)驗(yàn)的評估指標(biāo)為分類精度,將訓(xùn)練集的稀疏特征輸入分類器進(jìn)行訓(xùn)練學(xué)習(xí),再輸入測試集稀疏特征進(jìn)行分類測試,從分類精度高低體現(xiàn)模型提取的稀疏特征質(zhì)量優(yōu)劣,即模型稀疏特征提取效果的好壞.使用的分類器為支持向量機(jī)(support vector machine,SVM).

4.3 實(shí)驗(yàn)結(jié)果

如上一小節(jié)實(shí)驗(yàn)設(shè)置所述,本小節(jié)首先進(jìn)行單層實(shí)驗(yàn)不同稀疏約束方法的對比,然后進(jìn)行單層模型與雙層模型的對比,驗(yàn)證多層模型的有效性.

4.3.1 單層對比

如上一節(jié)實(shí)驗(yàn)設(shè)置所述,此小節(jié)首先在單層模型結(jié)構(gòu)下,對比不同的稀疏約束下CTL模型(CTL-log,CTL-?0,CTL-?1)的特征提取效果.為了保證實(shí)驗(yàn)對比合理公平,3種CTL模型除了稀疏約束項(xiàng)以外,模型的其它結(jié)構(gòu)均保持一致.卷積核數(shù)K=5,卷積核尺寸R=5×5,即卷積核規(guī)模為5×5×5.

第3.2.3節(jié)中算法表的輸入?yún)?shù)λ,ηd,ηz設(shè)置如下:在數(shù)據(jù)集YALE,YALE-2～YALE-8 的實(shí)驗(yàn)中,梯度步長ηd=4e-13,ηz=3e-2,稀疏參數(shù)λ的最終尋優(yōu)區(qū)間為(1e-5,3e-4);在數(shù)據(jù)集AR-Face的實(shí)驗(yàn)中,梯度步長ηd=5e-14,ηz=8e-2,稀疏參數(shù)λ的最終尋優(yōu)區(qū)間為(0.05,0.2);在數(shù)據(jù)集E-YALE-B的實(shí)驗(yàn)中,梯度步長ηd=4e-12,ηz=6e-2,稀疏參數(shù)λ的最終尋優(yōu)區(qū)間為(0.01,0.02).

實(shí)驗(yàn)中,通過改變模型的稀疏約束項(xiàng)系數(shù)調(diào)整模型進(jìn)行多次實(shí)驗(yàn),分別得到模型在各個(gè)實(shí)驗(yàn)數(shù)據(jù)集下的最優(yōu)分類結(jié)果進(jìn)行比較,實(shí)驗(yàn)結(jié)果如表2所示.

表2 單層提取特征分類結(jié)果Table 2 Classification results of single layer extraction features

根據(jù)表2實(shí)驗(yàn)結(jié)果顯示,在所有10項(xiàng)數(shù)據(jù)集的分類對比實(shí)驗(yàn)中,CTL-log在其中8項(xiàng)上取得了最高或并列最高的分類準(zhǔn)確率,表明了對于輸入信號稀疏特征的提取,CTL-log的效果顯然優(yōu)于CTL-?0與CTL-?1,驗(yàn)證了與已有的CTL-?0與CTL-?1相比,引入了具有誤差小且稀疏性強(qiáng)的log稀疏正則化的CTL-log模型具有從輸入信號數(shù)據(jù)提取更高質(zhì)量稀疏特征的能力.突出使用log正則化函數(shù)作為CTL模型的稀疏約束的優(yōu)勢.

在運(yùn)行時(shí)間方面,以YALE數(shù)據(jù)集的實(shí)驗(yàn)為例進(jìn)行分析,在實(shí)驗(yàn)中CTL-?0,CTL-?1與CTL-log在相同的迭代次數(shù)條件下的運(yùn)行時(shí)間分別為110 s,82 s,87 s,CTL-?1與CTL-log 的運(yùn)行時(shí)間明顯快于CTL-?0,而CTL-log 相比于CTL-?1要略微慢一些,這是因?yàn)橄啾扔贑TL-?1,CTL-log在每次迭代中都要進(jìn)行一次凸差分(difference of convex,DC)分解.

4.3.2 雙層拓展

本小節(jié)筆者將上一小節(jié)在稀疏特征提取效果的優(yōu)勢得到充分驗(yàn)證的CTL-log拓展為雙層: 將單層稀疏編碼得到稀疏特征進(jìn)一步進(jìn)行深一層稀疏編碼,在保持上一小節(jié)的單層CTL-log模型結(jié)構(gòu)不變的條件下,將其作為雙層CTL-log的首層,進(jìn)行相同的實(shí)驗(yàn)策略,對比在第2層不同的卷積核組規(guī)模下(3×3×3,5×5×5,7×7×7與9×9×9)稀疏特征的提取效果,尋找確定模型第2層的最佳結(jié)構(gòu),并與單層結(jié)構(gòu)CTLlog對比,驗(yàn)證雙層CTL-log稀疏編碼得到的稀疏特征質(zhì)量相比于單層的提升效果.其中,第3.2.3節(jié)中算法表的最終輸入?yún)?shù)在第1層的設(shè)置與第4.3.1節(jié)保持一致,第2層的參數(shù)設(shè)置具體如下: 在數(shù)據(jù)集YALE,YALE-2～YALE-8的實(shí)驗(yàn)中,梯度步長ηd=6e-18,ηz=1.7e-2,稀疏參數(shù)λ的最終尋優(yōu)區(qū)間為(5e-6,3e-5);在數(shù)據(jù)集AR-Face 的實(shí)驗(yàn)中,梯度步長ηd=4e-12,ηz=5e-2,稀疏參數(shù)λ的最終尋優(yōu)區(qū)間為(5e-3,1e-2);在數(shù)據(jù)集E-YALE-B的實(shí)驗(yàn)中,梯度步長ηd=3e-11,ηz=3e-2,稀疏參數(shù)λ的最終尋優(yōu)區(qū)間為(0.01,0.02).實(shí)驗(yàn)結(jié)果如表3所示.

表3 雙層拓展實(shí)驗(yàn)結(jié)果_Table 3 Experimental results of two-layer expansion of CTL-log

表3實(shí)驗(yàn)結(jié)果表明,在單層結(jié)構(gòu)與雙層結(jié)構(gòu)的方面,在10項(xiàng)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對比中,所有最優(yōu)的結(jié)果(包含并列最優(yōu))全部在雙層CTL-log中產(chǎn)生,表明通過對單層CTL-log稀疏編碼得到的稀疏特征的進(jìn)一步稀疏編碼提升了稀疏特征的提取質(zhì)量;在不同雙層結(jié)構(gòu)的內(nèi)部對比方面,在第2層的卷積核組規(guī)模分別為3×3×3×3,5×5×5,7×7×7,9×9×9這4種不同結(jié)構(gòu)下的雙層CTL-log在10項(xiàng)數(shù)據(jù)集實(shí)驗(yàn)中得到最優(yōu)結(jié)果的次數(shù)分別為2,6,4,2,從取得最優(yōu)結(jié)果次數(shù)的角度看,第2層卷積核組規(guī)模為5×5×5時(shí)雙層CTL-log的效果最好.

此外,通過計(jì)算10項(xiàng)實(shí)驗(yàn)結(jié)果準(zhǔn)確率的整體平均值,從平均準(zhǔn)確率角度對比各模型結(jié)構(gòu)的效果,如圖3所示,同樣可以看出雙層CTL-log的平均準(zhǔn)確率也都高于單層CTL-log,并且雙層CTL-log卷積核組規(guī)模為5×5×5+5×5×5時(shí)平均準(zhǔn)確率與最優(yōu)次數(shù)均為最高,說明通過對CTL-log的雙層拓展,提取得到了輸入信號更具鑒別性與豐富語義的稀疏特征,提升了模型的稀疏特征提取質(zhì)量,且當(dāng)?shù)? 層卷積核規(guī)模為5×5×5時(shí)提升效果最好.

圖3 不同CTL結(jié)構(gòu)的分類平均準(zhǔn)確率與最優(yōu)次數(shù)對比Fig.3 Comparison of average accuracy and optimal times of different CTL structures

綜上分析,可以得出在保持第1層結(jié)構(gòu)不變的情況下,雙層CTL-log 第2 層卷積核組規(guī)模設(shè)置為5×5×5時(shí),模型對于稀疏特征的提取整體效果是最好的,因此將第2 層的卷積核規(guī)模設(shè)定為5×5×5.CTL-?0,CTL-?1,CTL-log與雙層CTL-log的最終對比如表4所示.

表4 不同CTL模型及DPRC分類結(jié)果對比Table 4 Comparison of classification results of different CTL models and DPRC algorithm

如前文所述,與已有的CTL-?0,CTL-?1相比,引入log正則化函數(shù)稀疏約束的CTL-log能夠提取得到具有更高精確度,質(zhì)量更高的稀疏特征,并且通過將CTL-log拓展為雙層CTL-log對輸入信號進(jìn)一步的稀疏編碼提取了輸入信號更具鑒別性與豐富語義的深層次稀疏特征,進(jìn)而提升了模型提取稀疏特征的質(zhì)量.

此外,為了驗(yàn)證本文提出算法當(dāng)下的有效性,除了與CTL模型的實(shí)驗(yàn)對比外,還與當(dāng)下最新的人臉識別算法之一,基于判別投影和表征的分類(discriminative projection and representation-based classification,DPRC)[30]算法進(jìn)行對比,實(shí)驗(yàn)結(jié)果如表4所示.從DPRC與雙層CTL-log的實(shí)驗(yàn)結(jié)果對比可以看出,在10項(xiàng)分類數(shù)據(jù)集分類結(jié)果的對比中,雙層CTL-log除了在YALE,YALE-8與DPRC 持平,AR-Face略低于DPRC外,在其余的7項(xiàng)結(jié)果都要明顯優(yōu)于DPRC,表明了與DPRC算法相比,本文的雙層CTL-log算法具有更好人臉識別分類效果,驗(yàn)證了本文提出算法在當(dāng)下的有效性.

5 結(jié)論

針對已有的卷積變換學(xué)習(xí)模型存在的問題,本文提出了基于近端凸差分方法的多層卷變換學(xué)習(xí)算法,該算法通過對單層卷積變換學(xué)習(xí)模型的稀疏特征進(jìn)行進(jìn)一步的稀疏編碼,提取輸入信號更具豐富語義與鑒別性的深層稀疏特征,并且使用稀疏度強(qiáng),偏差性小的非凸log正則化函數(shù)作為卷積變換學(xué)習(xí)模型的稀疏約束方法,通過使用近端凸差分算法對模型的非凸優(yōu)化問題進(jìn)行優(yōu)化求解,構(gòu)建基于log正則化函數(shù)稀疏約束的多層卷積變換學(xué)習(xí)特征提取框架.

在公開的人臉圖像數(shù)據(jù)集的特征提取實(shí)驗(yàn)結(jié)果表明,本文提出的多層log稀疏約束卷積變換學(xué)習(xí)模型的人臉圖像稀疏特征提取質(zhì)量優(yōu)于已有的基于?0范數(shù)與基于?1范數(shù)的卷積變化學(xué)習(xí)算法,并且基于log正則化函數(shù)的多層卷積變換學(xué)習(xí)通過層次的拓展有效提升了稀疏特征的提取質(zhì)量,取得了更高的分類精度.

在未來的工作中,筆者將對提出的算法進(jìn)行進(jìn)一步深度層次的開發(fā),并拓展應(yīng)用到心電信號數(shù)據(jù)的分類.