基于CNN提取特征進(jìn)行標(biāo)簽傳播

劉新偉，陳楷哲，張振宇，姜賀云

(溫州大學(xué)數(shù)理與電子信息工程學(xué)院，浙江溫州 325035)

圖像分類是計(jì)算機(jī)視覺(jué)的核心任務(wù)，比如對(duì)象識(shí)別、圖像標(biāo)注、行為識(shí)別等均可轉(zhuǎn)換為圖像分類問(wèn)題[1]．本文考慮RGB圖像，它通常被表示為三維數(shù)組，其數(shù)據(jù)類型為uint8．對(duì)于圖1，圖案是狗還是熊，對(duì)于人類來(lái)說(shuō)，這是一個(gè)十分簡(jiǎn)單的問(wèn)題，但計(jì)算機(jī)無(wú)法直接給出判斷，因?yàn)橛?jì)算機(jī)僅僅可以識(shí)別像素級(jí)別的數(shù)字特征，無(wú)法直接解讀圖片的具體語(yǔ)義，即使是頂級(jí)的程序員也無(wú)法直接編寫(xiě)出判定所給圖片是貓還是熊的程序．為此，人們逆向思考，借助人類自己的判別能力優(yōu)選出大量圖片并對(duì)其手工標(biāo)注，然后，設(shè)法去擬合圖片的像素級(jí)別的特征與其標(biāo)簽的關(guān)系，由此而產(chǎn)生了許許多多的用數(shù)據(jù)去編程的優(yōu)秀算法．

圖1 人類和計(jì)算機(jī)對(duì)圖像辨別的差異

近幾年來(lái)，以卷積神經(jīng)網(wǎng)絡(luò)[1]（CNN）為代表的深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)方面取得了許多遠(yuǎn)遠(yuǎn)超出普通的機(jī)器學(xué)習(xí)算法的傲人成績(jī)，更甚者，部分使用CNN進(jìn)行圖片分類的精度也超出了手工標(biāo)注獲得的精度[2]．卷積神經(jīng)網(wǎng)絡(luò)經(jīng)歷了 LeNet[3]、AlexNet[4]、VGG[5]、GoogleNet[6]（Inception）、ResNet[7]、Densnet[8]等變革，變得越來(lái)越深，同時(shí)訓(xùn)練難度也不斷變大．考慮到計(jì)算設(shè)備、數(shù)據(jù)集的規(guī)模等的制約，遷移學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中扮演的角色也越來(lái)越重要，同時(shí)半監(jiān)督學(xué)習(xí)對(duì)于圖片分類任務(wù)也是至關(guān)重要的，但是僅僅使用淺層機(jī)器學(xué)習(xí)進(jìn)行標(biāo)簽傳播遠(yuǎn)遠(yuǎn)無(wú)法滿足當(dāng)今社會(huì)的需求，由于傳統(tǒng)方法通過(guò)手工提取的特征泛化性不好，本文將采用深度學(xué)習(xí)技術(shù)提取高級(jí)特征，然后再利用高級(jí)特征去改進(jìn)標(biāo)簽傳播算法．

1 相關(guān)工作

1.1 深度學(xué)習(xí)模型

從技術(shù)角度來(lái)看，CNN是一種至少包含一個(gè)卷積層（有濾波器的作用）的神經(jīng)網(wǎng)絡(luò)．一般地，一個(gè)神經(jīng)元可以看作是線性映射與非線性映射的組合，而多層神經(jīng)網(wǎng)絡(luò)是由多個(gè)神經(jīng)元按照分層結(jié)構(gòu)組合而成的．神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化大都是基于反向傳播算法完成的．本文使用了He等人[7]提出的殘差網(wǎng)絡(luò)（ResNet），ResNet網(wǎng)絡(luò)的基本單元是殘差塊，見(jiàn)圖2．

圖2 殘差模塊示意圖

ResNet中指出神經(jīng)網(wǎng)絡(luò)的訓(xùn)練存在退化問(wèn)題，即層數(shù)加深到一定深度之后，越深的網(wǎng)絡(luò)訓(xùn)練效果越差，但這并不是梯度消失和梯度爆炸引起的問(wèn)題（因?yàn)橐呀?jīng)有許多方法來(lái)解決梯度傳播的問(wèn)題）．?dāng)?shù)據(jù)經(jīng)過(guò)兩條路線，一條與普通神經(jīng)網(wǎng)絡(luò)類似，另一條實(shí)現(xiàn)了單位映射的路線（被稱為shortcut），這兩條路線一般被稱為“殘差塊”，在網(wǎng)絡(luò)中使用殘差塊的神經(jīng)網(wǎng)絡(luò)被稱為ResNet．ResNet很好地應(yīng)對(duì)了網(wǎng)絡(luò)退化問(wèn)題，可以使網(wǎng)絡(luò)變得很深．

1.2 降 維

降維是指提取高維空間的關(guān)鍵信息，并將高維空間的問(wèn)題轉(zhuǎn)換到易于計(jì)算的低維空間進(jìn)行求解的過(guò)程．降維是十分必要的，因?yàn)樗徑饬艘韵氯N問(wèn)題．

1）多重共線性．預(yù)測(cè)變量之間相互關(guān)聯(lián)，這樣會(huì)導(dǎo)致模型解空間的不穩(wěn)定性．

2）高維空間的稀疏性．高維空間的數(shù)據(jù)往往是稀疏的，增加了模型求解的難度．

3）過(guò)高的維度可能含有大量的冗余信息，妨礙人們找到變量之間真正的隱含信息．

本文主要涉及兩種降維方法，無(wú)監(jiān)督的PCA[8]和有監(jiān)督的LDA[9]．下面逐一介紹．

1.2.1 主成分分析法（PCA）

主成分分析法（Principal Components Analysis, PCA）[9]將輸入數(shù)據(jù)x正交投影表示為z，目的是學(xué)習(xí)該正交投影，使得降維后的數(shù)據(jù)盡可能地保留原數(shù)據(jù)空間的信息，通常A被稱為解碼矩陣，且TA 被稱為投影矩陣．為了保留原始信息，需要保證最近重構(gòu)性或者最大可分性，這樣原問(wèn)題可以轉(zhuǎn)換為：

其中，λ是拉格朗日乘子．這樣將X進(jìn)行標(biāo)準(zhǔn)化處理，那么 XTX可以看作是樣本的協(xié)方差矩陣；再對(duì) XTX進(jìn)行特征值分解，并求得最大的p個(gè)特征值所對(duì)應(yīng)的特征向量（在 PCA算法中，一般稱為主成分）則便可得到A*= ( a1, a2,… ,ap)．因而，對(duì)于任意的 xi，便可得到其低維表示

1.2.2 線性判別分析（LDA）

線性判別分析（Linear Discriminant Analysis, LDA）[10]的核心思想是設(shè)法將樣本投影到一個(gè)子空間上，且使得同類樣本投影后盡可能地接近而不同類樣本投影后盡可能地分開(kāi)．LDA與PCA十分相似，PCA試圖找到方差最大的幾個(gè)主成分，LDA的目標(biāo)是發(fā)現(xiàn)可以最優(yōu)化分類的特征子空間．

與PCA類似，LDA需要將X進(jìn)行標(biāo)準(zhǔn)化處理，然后將數(shù)據(jù)集按其類別劃分為c個(gè)子集，并計(jì)算各個(gè)子集類所在集合的均值向量 uj, j = 1 ,2,… , c ．構(gòu)造類間散度矩陣以及類內(nèi)散度矩陣．不同類之間的樣本盡可能分離等價(jià)于同類之間盡可能接近等價(jià)故而原問(wèn)題便轉(zhuǎn)換為優(yōu)化問(wèn)題因而，取的按照從大到小排列后的前p個(gè)特征值所對(duì)應(yīng)的特征向量組成A，最后使用A將樣本投影到新的特征子空間中．

1.3 標(biāo)簽傳播

半監(jiān)督學(xué)習(xí)的算法有很多，本文僅僅考慮標(biāo)簽傳播算法．下面構(gòu)建一個(gè)圖 G = ( V,E)，其中，邊集為可表示為一個(gè)相似度矩陣[11]（，對(duì)角矩陣 D = d iag(d1,… ,dm)被稱為度矩陣，且稱 Δ = D - W 為拉普拉斯矩陣．假定從圖G中學(xué)得一個(gè)映射該映射對(duì)應(yīng)的是分類規(guī)則，其中被稱為標(biāo)記矩陣．要實(shí)現(xiàn)相似的樣本有相似的標(biāo)記，只需要最小化 E (f ) = T r(FTΔ F )即可．下面公式（2）中分別是按照文[12]對(duì) Δ , F,W ,Y進(jìn)行分塊得到的矩陣，下標(biāo) u,l分別代表無(wú)標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)．

2 基于預(yù)訓(xùn)練的深度模型提取特征的半監(jiān)督學(xué)習(xí)圖像分類方法

本文先將 ImageNet（http://www.image-net.org/）數(shù)據(jù)集上學(xué)習(xí)的深度模型遷移到 Cifar10（http://www.cs.toronto.edu/～kriz/cifar.html）數(shù)據(jù)集上，利用深度網(wǎng)絡(luò)模型提取 Cifar10的深度特征，然后對(duì)原深度特征進(jìn)行降維處理，去除里面的噪聲和冗余信息，最后使用降維后的特征來(lái)進(jìn)行半監(jiān)督學(xué)習(xí)或者說(shuō)是標(biāo)簽傳播．這樣既考慮到了使用深度學(xué)習(xí)技術(shù)提取到的比較好的特征，提高了特征提取的質(zhì)量，同時(shí)也考慮到了無(wú)標(biāo)簽數(shù)據(jù)之間的相似性，且通過(guò)降維去除了冗余的特征．具體算法流程如下（對(duì)于任意的1im≤≤）．

1）找到一個(gè)在ImageNet數(shù)據(jù)集已經(jīng)訓(xùn)練好的模型，記作Net（本文使用ResNet50），為遷移學(xué)習(xí)做準(zhǔn)備．一般情況下模型Net分為features和output兩個(gè)部分，分別代表特征提取層和輸出層．

2）對(duì)于每個(gè)樣本 xi提取其特征即Net.features為了方便我們?nèi)匀粚⑵溆涀?xi．

3）本文得到的ix的特征維度仍然是比較高的，其中存在著冗余和噪聲特征，對(duì)其進(jìn)行降維處理（本文對(duì)無(wú)標(biāo)簽數(shù)據(jù)采用PCA，對(duì)有標(biāo)簽數(shù)據(jù)采用LDA），降維后的X記作Z．

4）依據(jù)公式（2）對(duì)Z進(jìn)行標(biāo)簽傳播獲得 Yu，得到無(wú)標(biāo)簽樣本的預(yù)測(cè)類別標(biāo)簽，實(shí)現(xiàn)無(wú)標(biāo)簽圖像數(shù)據(jù)的半監(jiān)督分類．

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集簡(jiǎn)介

Cifar10是圖像分類問(wèn)題的基準(zhǔn)數(shù)據(jù)集．Cifar10分為訓(xùn)練集和測(cè)試集，它有10個(gè)類別，其中訓(xùn)練集包含50 000個(gè)樣本，測(cè)試集包含10 000個(gè)樣本，且是尺寸為32 × 32的彩色圖片，因而數(shù)據(jù)集足以應(yīng)對(duì)一些中小型模型的需求．類的標(biāo)記為：airplane、automobile、bird、cat、deer、dog、frog、horse、ship、truck，這些類是完全互斥的，相互之間沒(méi)有重疊．

3.2 通過(guò)CNN提取特征做標(biāo)簽傳播的實(shí)驗(yàn)與結(jié)果

針對(duì)Cifar10數(shù)據(jù)集中的訓(xùn)練集，隨機(jī)選取由6 000個(gè)圖像的樣本構(gòu)成的子集作為本論文中的圖像分類數(shù)據(jù)集．在這6 000個(gè)樣本中，假設(shè)部分?jǐn)?shù)據(jù)存在類別標(biāo)簽，其它數(shù)據(jù)無(wú)類別標(biāo)簽，構(gòu)成半監(jiān)督學(xué)習(xí)數(shù)據(jù)集．以分類精確度作為性能度量，并且做一些對(duì)比實(shí)驗(yàn)．參與比較的方法有作為基準(zhǔn)的近鄰分類法、基于原始圖像像素特征的半監(jiān)督學(xué)習(xí)方法以及基于深度特征的半監(jiān)督學(xué)習(xí)方法．固定6 000個(gè)樣本構(gòu)成的實(shí)驗(yàn)集后，每次隨機(jī)選擇有標(biāo)簽的樣本，在下面每次實(shí)驗(yàn)設(shè)置中都要重復(fù)10次實(shí)驗(yàn)，所得結(jié)果的均值和方差在圖中均有體現(xiàn)．下面各圖中的LGC[12]指的是半監(jiān)督分類，即使用標(biāo)簽傳播做半監(jiān)督分類，1NN為最近鄰分類，GRF[13]指的是高斯條件隨機(jī)場(chǎng)．

首先固定每類數(shù)據(jù)中有標(biāo)簽樣本數(shù)目為50，讓半監(jiān)督學(xué)習(xí)算法的參數(shù)——最近鄰數(shù)k，從3變化到50，來(lái)測(cè)試所提出方法對(duì)該參數(shù)的魯棒性．圖3給出了該實(shí)驗(yàn)的結(jié)果．從圖3可以看出，深度特征數(shù)據(jù)上的模型的泛化性能顯著地好于利用圖像的原始像素特征的模型．無(wú)論是對(duì)數(shù)據(jù)的原始特征還是深度特征，半監(jiān)督學(xué)習(xí)方法的效果都好于有監(jiān)督的近鄰分類方法，較好的最近鄰參數(shù)選擇范圍也較廣，比如20就是一個(gè)不錯(cuò)的選擇．

然后，固定鄰域范圍k = 18，讓每類有標(biāo)簽樣本的數(shù)目從10變化到250，來(lái)觀察有標(biāo)簽樣本數(shù)目的變化對(duì)分類效果的影響．如圖4所示，當(dāng)每類有標(biāo)簽樣本數(shù)目為10個(gè)時(shí)，半監(jiān)督分類準(zhǔn)確率達(dá)到50%，當(dāng)每類有標(biāo)簽樣本數(shù)目為250個(gè)時(shí)，半監(jiān)督分類準(zhǔn)確率接近70%，這充分說(shuō)明了標(biāo)簽數(shù)量對(duì)圖像分類效果的重要性．

總的來(lái)說(shuō)，從圖3和圖4可以看出，深度學(xué)習(xí)技術(shù)提取特征后再進(jìn)行半監(jiān)督學(xué)習(xí)得到的準(zhǔn)確度明顯比直接使用原始圖像進(jìn)行半監(jiān)督學(xué)習(xí)的準(zhǔn)確度要高20% – 30%．更具體是，不管是深度特征還是原始特征，使用1NN（最近鄰分類）的分類準(zhǔn)確度總是低于LGC[13]（半監(jiān)督分類）和GRF[14]（高斯隨機(jī)場(chǎng)）的分類準(zhǔn)確度．總體看來(lái)，隨著近鄰的尺寸（size）或者有標(biāo)簽數(shù)據(jù)的樣本數(shù)的增加，分類的準(zhǔn)確度均有一定的增幅．

圖 3 鄰域范圍變化的實(shí)驗(yàn)結(jié)果

圖4 有標(biāo)簽樣本的數(shù)目從10變化到250的實(shí)驗(yàn)效果

接著測(cè)試降維方法在去除特征噪聲、提高識(shí)別效果方面的性能．固定每類數(shù)據(jù)中有標(biāo)簽樣本數(shù)目為50，最近鄰范圍k= 18，圖5給出了當(dāng)PCA降維范圍在10到2 000時(shí)，半監(jiān)督分類在深度特征上的效果，圖6是圖5的局部放大版．可以看出，當(dāng)PCA維數(shù)為200左右的時(shí)候，半監(jiān)督算法給出比較高的準(zhǔn)確率，而隨著降維維數(shù)的升高，算法的性能反而開(kāi)始下降，直到穩(wěn)定在和不對(duì)深度特征降維的準(zhǔn)確率相同．圖7給出的是基于有監(jiān)督數(shù)據(jù)用LDA方法進(jìn)行降維的效果．注意LDA方法在9維時(shí)能夠?qū)崿F(xiàn)最高的準(zhǔn)確率．從圖5和圖7可以看出，使用降維技術(shù)可以使模型分類的準(zhǔn)確度提升10%左右．從圖7可以看出，有監(jiān)督降維得到更低的維度空間，可以更加有效地去除信息的冗余，獲得更高的分類準(zhǔn)確度．

圖 5 PCA降維對(duì)基于深度特征的半監(jiān)督算法效果

圖 6 圖5的局部放大圖

4 總結(jié)與展望

實(shí)驗(yàn)結(jié)果表明，與直接利用原始像素特征的模型相比，本文提出的算法的性能更高，這說(shuō)明了深度學(xué)習(xí)技術(shù)相對(duì)于淺層機(jī)器學(xué)習(xí)有著很大的優(yōu)越性．通過(guò)上面實(shí)驗(yàn)還可以看出，在半監(jiān)督學(xué)習(xí)任務(wù)中，深度學(xué)習(xí)技術(shù)的使用可以很好地提升分類的準(zhǔn)確度，同時(shí)，降維技術(shù)可以進(jìn)一步提升深度學(xué)習(xí)技術(shù)的泛化能力．

雖然本文使用深度特征對(duì)半監(jiān)督學(xué)習(xí)算法——標(biāo)簽傳播算法提出了一些改進(jìn)，但是，由于標(biāo)簽傳播本身的計(jì)算復(fù)雜度是O(m3)，這極大地限制了本文算法的進(jìn)一步改進(jìn)．進(jìn)一步拓展本文算法可以從小樣本的訓(xùn)練著手．小樣本的訓(xùn)練方法有很多，如 One-Shot[15]．這樣就可以很好地將無(wú)標(biāo)簽數(shù)據(jù)與有標(biāo)簽數(shù)據(jù)建立聯(lián)系，從而實(shí)現(xiàn)端到端的半監(jiān)督學(xué)習(xí)方法．

圖 7 基于LDA方法降維的深度特征半監(jiān)督學(xué)習(xí)效果圖