一種基于深度學(xué)習(xí)的半監(jiān)督分層模型

王江晴，張 蕾，孫 翀，帖 軍，周瑋瑜，孟 凱

（1.中南民族大學(xué)計算機科學(xué)學(xué)院，武漢，430074；2.湖北省制造企業(yè)智能管理工程技術(shù)研究中心，武漢，430074）

引 言

圖像集分類是計算機視覺領(lǐng)域的研究熱點之一。實際應(yīng)用中，圖像集中圖像數(shù)量大、類別多且不同類別的圖像間也可能存在相似性[1]。扁平化的圖像集分類方法不足以刻畫圖像間的相似關(guān)系，利用層次結(jié)構(gòu)可以解決該問題。在層次結(jié)構(gòu)中，自頂向下對圖像集中的圖像進(jìn)行從粗到細(xì)的分類。如圖1 所示，每個節(jié)點代表一個圖像類別集合，根節(jié)點包含所有的圖像類別，每個葉節(jié)點只包含一個特定的圖像類別。對于一個給定的內(nèi)節(jié)點，只包含父節(jié)點圖像類別的一個子集，這些圖像類別可能在某方面具有一定的相似性[2]?，F(xiàn)有圖像集層次結(jié)構(gòu)分類研究局限于對標(biāo)簽已知的圖像集，當(dāng)出現(xiàn)標(biāo)簽未知圖像時，這些方法都可能存在重新學(xué)習(xí)層次結(jié)構(gòu)的問題，針對標(biāo)簽未知圖像在層次結(jié)構(gòu)中分類的研究目前很少。

圖1 圖像集分類層次結(jié)構(gòu)Fig.1 Image set classification hierarchy

為了解決標(biāo)簽未知圖像在樹結(jié)構(gòu)中的無法定位及標(biāo)簽已知新圖像在樹結(jié)構(gòu)添加的問題，本文提出了一種半監(jiān)督分層模型（Semi-supervised layer-wise model，SLM）。該模型實現(xiàn)對標(biāo)簽已知數(shù)據(jù)集進(jìn)行分類，并有效地學(xué)習(xí)標(biāo)簽未知圖像特征，找到其在樹節(jié)點中的相應(yīng)位置，更新層次結(jié)構(gòu)。SLM 具有3 方面的特點。（1）圖像集編碼。即在層次結(jié)構(gòu)中，圖像的分類是在特征空間而不是在語義標(biāo)簽空間中實現(xiàn)的。對比傳統(tǒng)圖像處理算法，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network, CNN）優(yōu)點是其可以直接對1 張輸入圖像進(jìn)行處理。另一方面，深度學(xué)習(xí)強大的建模能力允許通過特征表示來處理復(fù)雜的高維數(shù)據(jù)集[3]；（2）層次結(jié)構(gòu)。根據(jù)圖像集中各個類別的圖像編碼，聚類得到層次結(jié)構(gòu)，自底向上地將標(biāo)簽已知圖像集劃分出不同的組，實現(xiàn)在層次結(jié)構(gòu)圖像自動化分類；（3）針對標(biāo)簽未知圖像更新層次結(jié)構(gòu)。將標(biāo)簽未知的圖像編碼與預(yù)訓(xùn)練層次結(jié)構(gòu)的節(jié)點編碼自底向上進(jìn)行相似性比較，將匹配圖像歸入層次結(jié)構(gòu)。實驗表明該方法能有效地更新層次結(jié)構(gòu)，在較小訓(xùn)練集中取得好的效果。

1 相關(guān)工作

圖像集層次分類研究工作主要涉及到3 個方面：圖像特征提取、層次結(jié)構(gòu)學(xué)習(xí)以及針對標(biāo)簽未知圖像更新的問題。利用深度學(xué)習(xí)方法提取圖像特征能夠更抽象、更深層次描述圖像的屬性和特征；根據(jù)圖像之間的相關(guān)性進(jìn)行層次結(jié)構(gòu)的構(gòu)建，在圖像集應(yīng)用中前景巨大；隨著圖像集中動態(tài)出現(xiàn)新圖像，層次結(jié)構(gòu)更新也出現(xiàn)新的解決方案。

近年來，深度學(xué)習(xí)[4-6]在圖像特征提取應(yīng)用上發(fā)展迅速。文獻(xiàn)[7]通過引入卷積神經(jīng)網(wǎng)絡(luò)，研究網(wǎng)絡(luò)深度對效果的影響，當(dāng)增加到16 層與19 層時，效果最好。VGG-16 與VGG-19 兩種網(wǎng)絡(luò)提高神經(jīng)網(wǎng)絡(luò)在圖像分類中的準(zhǔn)確性。VGGNet 卷積核大小只有3×3，兩層的卷積核可以達(dá)到7×7 卷積核的效果，使得模型參數(shù)更少。深度學(xué)習(xí)展示了學(xué)習(xí)圖像特征、提高識別正確率等方面的突出能力。扁平化的圖像分類方法忽略了圖像類別之間存在的關(guān)聯(lián)性，將對象類分層組織成層次結(jié)構(gòu)可以解決這個問題。文獻(xiàn)[8]提出將圖像集合組織成樹形層次結(jié)構(gòu)，利用層次樹對對象類進(jìn)行分組；文獻(xiàn)[9]提出一種用于學(xué)習(xí)大規(guī)模分類的標(biāo)簽樹，同時確定了樹結(jié)構(gòu)分類器；文獻(xiàn)[10]提出了一種支持大規(guī)模植物物種識別的層次學(xué)習(xí)算法，利用多任務(wù)結(jié)構(gòu)學(xué)習(xí)算法聯(lián)合訓(xùn)練相關(guān)分類器，以提高識別能力；文獻(xiàn)[11]提出支持大規(guī)模視覺識別的分層深度多任務(wù)學(xué)習(xí)（Hierarchical deep multi-task learning,HD-MTL）算法，從神經(jīng)網(wǎng)絡(luò)中不同層提取多組多級深度特征，利用類間相似性來學(xué)習(xí)分組的深度表示法，從而有效地區(qū)分視覺上相似的對象類。文獻(xiàn)[12]提出針對新類別檢測的基于支持向量機（Support vector machine,SVM）多任務(wù)分類器，將給定的測試圖像示例找到一個最匹配的父節(jié)點，如果測試圖像屬于某個子節(jié)點，將其分配到對應(yīng)子節(jié)點，否則在父節(jié)點下插入一個新的子節(jié)點。該方法為監(jiān)督學(xué)習(xí)算法，每個節(jié)點都有一個分類器，出現(xiàn)新類別圖像時，訓(xùn)練成本高。并且還可能會層間錯誤傳播的影響，即父節(jié)點的錯誤將傳遞到其子節(jié)點，直到葉節(jié)點?；谏鲜龃嬖诘膯栴}，本文提出基于半監(jiān)督學(xué)習(xí)的算法，利用帶標(biāo)簽圖像聚類構(gòu)建層次結(jié)構(gòu)，利用不帶標(biāo)簽圖像自底向上更新層次結(jié)構(gòu)。

2 半監(jiān)督分層模型

每個對象類是包含相同對象的1 組圖像的集合。標(biāo)簽不同的同一細(xì)粒度對象類之間由于具有相似性，會歸屬于同一個粗粒度標(biāo)簽中。SLM 主要可以分為3 個部分（圖2），首先是對標(biāo)簽已知圖像集進(jìn)行編碼，利用CNN 的卷積層實現(xiàn)對圖像的特征提取；其次是利用圖像編碼進(jìn)行聚類構(gòu)建圖像集分類的層次結(jié)構(gòu)；最后根據(jù)動態(tài)出現(xiàn)的標(biāo)簽未知圖像，更新層次結(jié)構(gòu)。

圖2 SLM 框架Fig.2 SLM framework

2.1 CNN 編碼

給定圖像集，選擇預(yù)訓(xùn)練的VGG 網(wǎng)絡(luò)中全連接層前的卷積層作為特征提取層，提取圖像特征得到圖像編碼集。其中，標(biāo)簽已知圖像編碼集包含N個對象類；標(biāo)簽未知圖像編碼集為U={u1,u2,…},其中第i張標(biāo)簽未知圖像編碼為ui。

2.2 SLM 層次結(jié)構(gòu)

深度為H的層次結(jié)構(gòu)包含3 種節(jié)點：根節(jié)點、內(nèi)節(jié)點和葉節(jié)點。其中，根節(jié)點包括所有的對象類；每個內(nèi)節(jié)點僅包含其子節(jié)點中所有的對象類；每個葉節(jié)點都包含一個特定的對象類。層次結(jié)構(gòu)構(gòu)建過程如下。

（2）根據(jù)圖像集構(gòu)建先驗知識樹，引入收縮因子α，β，計算每層中內(nèi)節(jié)點的個數(shù)，即每次聚類中k值，具體計算公式為

（3）層次結(jié)構(gòu)中節(jié)點與節(jié)點間的邊由對應(yīng)圖像集的隸屬關(guān)系決定，計算每個后輩節(jié)點與上一層所有先輩節(jié)點對應(yīng)的圖像集交集，以交集最大的集合為主。對于每一個后輩節(jié)點，節(jié)點間隸屬關(guān)系概率值p計算公式為

式中：Count(·)代表圖像數(shù)量；PA代表先輩節(jié)點圖像集合，PD代表某個后輩節(jié)點圖像集合。當(dāng)p值最大時，對應(yīng)p值最大的先輩節(jié)點作為該節(jié)點的父節(jié)點，連接形成一條新邊。同理，對圖像集自底向上分層連接形成層次結(jié)構(gòu)。

2.3 SLM 更新算法及分析

在更新樹的過程中需要對新圖像進(jìn)行預(yù)分類，預(yù)分類的圖像包含標(biāo)簽已知（已存在于樹中的標(biāo)簽）圖像以及標(biāo)簽未知圖像，將預(yù)分類的圖像編碼與各個節(jié)點自底向上進(jìn)行相似性比較。如果找到相似節(jié)點，將其分配給對應(yīng)節(jié)點；如果圖像不屬于其中任意節(jié)點，則在層次結(jié)構(gòu)中增加新節(jié)點，更新層次結(jié)構(gòu)。具體過程如下。

（1）設(shè)置相似度閾值θ。

（4）當(dāng)輸入圖像達(dá)到一定規(guī)模時，對層次結(jié)構(gòu)中新增加的子節(jié)點池進(jìn)行聚類，更新層次結(jié)構(gòu)。

算法1 SLM 更新算法

該算法描述了SLM 更新算法流程。在比較階段，將標(biāo)簽未知圖像編碼從葉節(jié)點開始，自底向上的進(jìn)行比較，直到根節(jié)點為止。層次結(jié)構(gòu)中父節(jié)點描述的是所有兄弟子節(jié)點之間共享的公共特征，并且相似性總是自底向上進(jìn)行比較，標(biāo)簽未知圖像總是可以在層次結(jié)構(gòu)中找到一個最佳匹配節(jié)點。

3 實驗環(huán)境與結(jié)果

3.1 數(shù)據(jù)集

本文選取兩個真實公開數(shù)據(jù)集對提出的SLM 算法進(jìn)行評價，數(shù)據(jù)集簡介如下。

CIFAR-10：該數(shù)據(jù)集由10 個類的60 000 個32×32 彩色圖像組成，每個類有6 000 個圖像。其中有50 000 個訓(xùn)練圖像和10 000 個測試圖像。數(shù)據(jù)集分為5 個訓(xùn)練批次和1 個測試批次，每個批次有10 000個圖像。測試批次包含來自每個類別的恰好1 000 個隨機選擇的圖像。

CIFAR-100：該數(shù)據(jù)集包含100 個類，每個類包含600 個圖像。每類各有500 個訓(xùn)練圖像和100 個測試圖像。CIFAR-100 中的100 個類被分成20 個超類。每個圖像都帶有一個“精細(xì)”標(biāo)簽（它所屬的類）和一個“粗糙”標(biāo)簽（它所屬的超類）。

CIFAR-10 數(shù)據(jù)集與CIFAR-100 數(shù)據(jù)集中圖像的種類不重復(fù)。本文隨機選取CIFAR-10 中每一類的3 000 張圖像構(gòu)建層次結(jié)構(gòu)，選取CIFAR-100 中6 類圖像（蘋果、火車、皮卡車、老虎、牛和坦克）每一類的600 張圖像作為類標(biāo)簽未知的圖像，與CIFAR-10 剩余圖像結(jié)合，70%更新層次結(jié)構(gòu)，30%測試更新后層次結(jié)構(gòu)對圖像分類的準(zhǔn)確性。

3.2 實驗環(huán)境設(shè)置

本文使用VGG-16 網(wǎng)絡(luò)提取圖像的全局特征，其特征維度為512 維，為了提高計算效率，使用主成分分析（Principal component analysis,PCA）對其進(jìn)行降維，降維后維度為20 維。實驗在Python 3.4.2 環(huán)境下進(jìn)行，采用TensorFlow 框架，實驗計算機配置為主頻3.40 GHz 4 核CPU，8 GB 內(nèi)存。

3.3 實驗結(jié)果分析

層次結(jié)構(gòu)的深度H對圖像分類結(jié)果影響較大，如圖3 所示。分層過小，圖像對象類之間相似性不能清楚表達(dá)，層次結(jié)構(gòu)的分類效果不明顯；分層過多會導(dǎo)致分類過細(xì)，增加模型的復(fù)雜度，找到最優(yōu)的深度H對分類結(jié)果至關(guān)重要[13]。為了控制模型的復(fù)雜度，假設(shè)層次結(jié)構(gòu)有4 層（包含根節(jié)點）。在SLM 模型構(gòu)建中，參數(shù)的設(shè)定對層次結(jié)構(gòu)的更新影響非常大。在進(jìn)行相似性比較時，需要確定閾值θ，閾值的選取對準(zhǔn)確率的影響如圖4 所示。從實驗結(jié)果中可知，當(dāng)閾值取值為2.5 時，準(zhǔn)確率最高。

圖3 層次結(jié)構(gòu)深度H 對分類準(zhǔn)確率的影響Fig.3 Effect of hierarchical structure depth H on classification accuracy

圖4 閾值θ 選取對分類準(zhǔn)確率的影響Fig.4 Effect of threshold θ selection on classification accuracy

將CIFAR-10 數(shù)據(jù)集根據(jù)圖像形態(tài)構(gòu)建先驗知識樹，如圖5 所示，再將CIFAR-10 數(shù)據(jù)集中選取的圖像進(jìn)行K-means 聚類構(gòu)建層次結(jié)構(gòu)，如圖6 所示。層次結(jié)構(gòu)中葉節(jié)點包含一個對象類，每個對象類是圖像集中該類別所有圖像的集合，內(nèi)節(jié)點表示聚類后對象類的分組，根節(jié)點包含所有對象類。

圖5 先驗知識層次結(jié)構(gòu)Fig.5 Prior knowledge hierarchy

圖6 K-means 聚類構(gòu)建的層次結(jié)構(gòu)Fig.6 Hierarchical structure of K-means cluster construction

式中：NT代表測試集中正確分類的圖像數(shù)量。更新后的層次結(jié)構(gòu)對新類別圖像分類的準(zhǔn)確率定義為

式中：NT1代表新類別圖像正確分類的個數(shù)，NTotal1代表新類別圖像的總個數(shù)。更新后的層次結(jié)構(gòu)對標(biāo)簽已知新圖像分類的準(zhǔn)確率定義為

式中：NT2代表標(biāo)簽已知新圖像正確分類的個數(shù)，NTotal2代表標(biāo)簽已知新圖像的總個數(shù)。SLM 算法的準(zhǔn)確性同時參考以上兩個標(biāo)準(zhǔn)，它的聯(lián)合準(zhǔn)確率為

式中：λ∈(0,1)，考慮到選擇圖像的平衡性，λ的取值為0.5。針對新圖像的檢測，存在幾種傳統(tǒng)方法：一種是基于層次分類樹的方法[14]；另一種是支持向量機的方法[15]。SLM 模型的性能與傳統(tǒng)的幾種方法相比準(zhǔn)確率略高，準(zhǔn)確率比較結(jié)果如表1 所示。傳統(tǒng)方法選擇自頂向下進(jìn)行分類，一旦高層節(jié)點分類錯誤，則下層節(jié)點一定會分類錯誤。SLM 算法通過從葉節(jié)點開始比較，可以準(zhǔn)確地對細(xì)粒度對象類進(jìn)行分類，從而進(jìn)一步提高了圖像集分類性能。

表1 不同方法下的分類準(zhǔn)確率對比結(jié)果Table 1 Classification accuracy under different methods %

4 結(jié)束語

本文主要提出了半監(jiān)督分層模型，以支持動態(tài)擴展圖像層次結(jié)構(gòu)。SLM 模型通過學(xué)習(xí)VGGNet，利用標(biāo)簽已知圖像集構(gòu)建的圖像層次結(jié)構(gòu)，通過相似性比較與聚類，動態(tài)更新圖像層次結(jié)構(gòu)，提升層次結(jié)構(gòu)的魯棒性。本文選取的數(shù)據(jù)集均采用真實公開數(shù)據(jù)集，結(jié)果顯示在小規(guī)模圖像集中，SLM 模型更具有優(yōu)勢。在標(biāo)簽已知圖像層次結(jié)構(gòu)中，主要參考了前期研究者的相關(guān)經(jīng)驗，實驗采用的數(shù)據(jù)集范圍還不廣泛，在面對大型數(shù)據(jù)集時，各個參數(shù)的選取還有待改進(jìn)。實驗在相似性比較過程中，方式單一，后期將會繼續(xù)研究。