基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽飛機(jī)識(shí)別算法

孫振華 李新德

(東南大學(xué)自動(dòng)化學(xué)院 江蘇 南京 210000)

0 引 言

目標(biāo)識(shí)別是計(jì)算機(jī)視覺、模式識(shí)別和圖像處理領(lǐng)域的研究熱點(diǎn)之一，而飛機(jī)識(shí)別作為目標(biāo)識(shí)別的重要部分，在現(xiàn)代戰(zhàn)爭(zhēng)中的空中偵察和敵我身份識(shí)別等方面都有著重要的應(yīng)用。尤其隨著圖像處理和人工智能的迅速發(fā)展，飛機(jī)識(shí)別系統(tǒng)會(huì)成為未來(lái)武器的主要組成部分，而飛機(jī)識(shí)別的準(zhǔn)確率一直是影響該技術(shù)應(yīng)用的重要因素。因此，如何充分利用已有信息設(shè)計(jì)出更為準(zhǔn)確的飛機(jī)識(shí)別系統(tǒng)，是當(dāng)前該領(lǐng)域的重點(diǎn)研究方向。

多標(biāo)簽飛機(jī)識(shí)別問題目前主要是分成單個(gè)標(biāo)簽分開處理。一種是基于傳統(tǒng)圖像處理的方法，如:朱旭鋒等[1]提出基于多不變量和多分類器融合的識(shí)別方法；李新德等[2]提出基于Hu矩、PNN和DSmT融合的方法；Hussein等[3]提出轉(zhuǎn)換特征和模糊聚類的飛機(jī)識(shí)別方法；Zhu等[4]提出基于優(yōu)化的BoW模型識(shí)別方法；Molchanov等[5]提出融合多普勒相干特征進(jìn)行飛機(jī)識(shí)別的方法。另一種是基于深度學(xué)習(xí)的方法，主要采用的基礎(chǔ)網(wǎng)絡(luò)模型是CNN，如：Chevalier等[6]提出基于深度學(xué)習(xí)的LR-CNN方法；Li等[7]提出PCNN模型用于飛機(jī)識(shí)別；Malekzadeh等[8]提出采用DNN模型提取飛機(jī)特征的方法；Xu等[9]提出“端到端”的FCN用于飛機(jī)的快速識(shí)別方法。

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在處理多標(biāo)簽識(shí)別問題時(shí)，是根據(jù)每個(gè)標(biāo)簽分別訓(xùn)練獨(dú)立的網(wǎng)絡(luò)，然后通過(guò)每個(gè)獨(dú)立的網(wǎng)絡(luò)，分別對(duì)每個(gè)標(biāo)簽進(jìn)行分類預(yù)測(cè)。經(jīng)分析得知，該方法主要有兩個(gè)問題：(1) 由于采用的網(wǎng)絡(luò)數(shù)目過(guò)多，且相互無(wú)關(guān)聯(lián)，從而增加了網(wǎng)絡(luò)訓(xùn)練的成本，造成信息冗余，以致時(shí)間效率低下；(2) 忽略了不同標(biāo)簽之間固有的關(guān)系，丟棄了一部分有用的先驗(yàn)知識(shí)，限制了識(shí)別效果的提升。

鑒于此，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽飛機(jī)識(shí)別算法，并在多標(biāo)簽飛機(jī)圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試。

1 問題建模

多標(biāo)簽飛機(jī)識(shí)別問題和單個(gè)標(biāo)簽的飛機(jī)識(shí)別問題實(shí)質(zhì)上是相同的，都是要對(duì)飛機(jī)圖像進(jìn)行圖像預(yù)處理，再輸入到特征提取器中提取適當(dāng)?shù)奶卣?。然后將提取到的特征輸入到特定的分類器中，以獲取標(biāo)簽的預(yù)測(cè)值。

本文將飛機(jī)識(shí)別問題建模為一個(gè)可以用卷積神經(jīng)網(wǎng)絡(luò)求解的一個(gè)多標(biāo)簽分類問題，并基于Softmax回歸構(gòu)建分類概率模型。借助于卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力和對(duì)非線性關(guān)系的回歸能力，獲得更準(zhǔn)確的識(shí)別效果。

Softmax回歸是邏輯斯蒂回歸在多類別分類問題上的推廣，其分類目標(biāo)損失函數(shù)為：

(1)

式中：ω為網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，xl為第l個(gè)樣本的輸入，N為訓(xùn)練樣本數(shù)目，C為單個(gè)標(biāo)簽所包含的類別數(shù)，1{yl=i}在滿足yl=i時(shí)為1，否則為0。

由于直接代數(shù)求得目標(biāo)函數(shù)顯式的解析解是難以實(shí)現(xiàn)的，因此采用梯度下降法逼近代價(jià)函數(shù)的極小值點(diǎn)，并將所求極小值點(diǎn)對(duì)應(yīng)的參數(shù)作為網(wǎng)絡(luò)的系統(tǒng)參數(shù)估計(jì)值，其梯度公式如下：

(2)

將式(2)代入梯度下降算法中，在每一次迭代時(shí)進(jìn)行如下的權(quán)重更新，直到目標(biāo)損失或訓(xùn)練步數(shù)達(dá)到要求為止。

(3)

2 多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋人工神經(jīng)網(wǎng)絡(luò)，區(qū)別于其他人工神經(jīng)網(wǎng)絡(luò)模型，其最主要的特點(diǎn)為卷積運(yùn)算操作。因此，相比傳統(tǒng)方法甚至其他深度網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別任務(wù)上具有更為優(yōu)異的表現(xiàn)。

對(duì)多標(biāo)簽飛機(jī)識(shí)別任務(wù)而言，由于不同型號(hào)飛機(jī)在結(jié)構(gòu)和紋理上具有較高的相似性，尤其是同一廠商的不同型號(hào)飛機(jī)之間(如圖1中Boeing 737-600與Boeing 737-300，Airbus 320與Airbus 321)，除了結(jié)構(gòu)設(shè)計(jì)上的微小差異，其他方面基本相同，具有極大的類間相似度，因此相比一般物體識(shí)別具有更大難度。

圖1 不同型號(hào)飛機(jī)對(duì)比圖

針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在處理多標(biāo)簽識(shí)別時(shí)存在的問題，采用如圖2所示的MLCNN網(wǎng)絡(luò)結(jié)構(gòu)，利用各標(biāo)簽之間的關(guān)系，將多個(gè)標(biāo)簽的特征提取和分類融合到一個(gè)完整的網(wǎng)絡(luò)。

圖2 MLCNN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

如圖2所示，MLCNN網(wǎng)絡(luò)主要包括三大部分：數(shù)據(jù)輸入部分、CNN特征提取部分Ci(i=1,2,…,n)和分類器部分Li(i=1,2,…,n)。每個(gè)標(biāo)簽Li的分類器都有與之相對(duì)應(yīng)的特征提取器Ci。其中n為采用該網(wǎng)絡(luò)的分類問題所具有的標(biāo)簽數(shù)目，且各標(biāo)簽之間具有如下的包含關(guān)系：

L1?L2?…?Li…?Ln

(4)

式中：Li?Lj表明標(biāo)簽Li中的任意一個(gè)類包含標(biāo)簽Lj中的一個(gè)或多個(gè)類，也就是說(shuō)標(biāo)簽Lj具有比標(biāo)簽Li更多、更細(xì)分的類別。可以看出，從屬于標(biāo)簽Lj的不同類之間的相似性更大，具有更高的識(shí)別難度，因此需要比標(biāo)簽Li更加抽象的特征，也就需要構(gòu)建更深層的卷積網(wǎng)絡(luò)來(lái)進(jìn)一步進(jìn)行特征提取。

因此，在網(wǎng)絡(luò)MLCNN中位于最低層的特征提取部分C1，主要負(fù)責(zé)對(duì)圖像的特征進(jìn)行初步提取，所得特征被用作L1標(biāo)簽分類器和更深層網(wǎng)絡(luò)C2的輸入。然后，特征提取部分C2對(duì)特征圖進(jìn)行更高層的語(yǔ)義抽象，所得特征被用作L2標(biāo)簽分類器和更深層網(wǎng)絡(luò)C3的輸入。依次向下直到最細(xì)分的標(biāo)簽Ln和最高語(yǔ)義的特征提取部分Cn。

就多標(biāo)簽飛機(jī)識(shí)別問題而言，所采用的數(shù)據(jù)集具有多個(gè)標(biāo)簽，且每個(gè)標(biāo)簽之間又具有一定的邏輯關(guān)系。每一級(jí)標(biāo)簽都具有一定的先驗(yàn)信息，在下一層次的標(biāo)簽分類中，可以利用這些先驗(yàn)知識(shí)，減少冗余的干擾信息，引導(dǎo)特征提取向更深層的標(biāo)簽靠攏，提高最高層次標(biāo)簽的識(shí)別準(zhǔn)確率。

同時(shí)，將n層標(biāo)簽的識(shí)別放到一個(gè)網(wǎng)絡(luò)當(dāng)中，比起傳統(tǒng)上每個(gè)標(biāo)簽設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，極大地減少了網(wǎng)絡(luò)的復(fù)雜程度。使用一個(gè)網(wǎng)絡(luò)就可以完成原本多個(gè)網(wǎng)絡(luò)的分類任務(wù)，提高了卷積神經(jīng)網(wǎng)絡(luò)的特征提取效率，整體上減少了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間，也避免了特征重復(fù)提取和抽象。

2.1 數(shù)據(jù)輸入層

數(shù)據(jù)輸入層主要負(fù)責(zé)對(duì)初始數(shù)據(jù)集進(jìn)行擴(kuò)充和數(shù)據(jù)預(yù)處理，從而增強(qiáng)數(shù)據(jù)的多樣性，防止模型過(guò)擬合。該層實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充的方法，主要包括水平翻轉(zhuǎn)、尺度變換、旋轉(zhuǎn)變換和Fancy PCA[10]等。

在對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充以后，需要對(duì)輸入圖像進(jìn)行中心式歸一化操作，即對(duì)每個(gè)特征減去訓(xùn)練集圖像的平均值，以凸顯圖像個(gè)體差異。

2.2 CNN特征提取

如圖3所示，“CNN特征提取”部分主要采用CNN的核心算法思想——卷積對(duì)輸入特征圖進(jìn)行局部特征提取。為了能夠更高效地控制網(wǎng)絡(luò)的深度和調(diào)整參數(shù)，卷積核大小固定為3×3。由于該多標(biāo)簽網(wǎng)絡(luò)整體結(jié)構(gòu)較深，為減少梯度彌散的發(fā)生，同時(shí)避免ReLU函數(shù)常見的“死區(qū)”問題，故該部分采用指數(shù)化線性單元ELU(Exponential Linear Unit)函數(shù)[11]作為卷積后特征值的激活函數(shù)，其函數(shù)公式如下所示：

(5)

圖3 CNN特征提取部分結(jié)構(gòu)

在多次卷積之后，采用最大值池化的方式對(duì)卷積后的特征圖進(jìn)行降采樣，以減小特征圖的大小，并保證一定程度的特征不變性和防止過(guò)擬合。

2.3 分類器

MLCNN網(wǎng)絡(luò)的分類器部分共包含n個(gè)結(jié)構(gòu)相似的分類器，分別對(duì)應(yīng)于n個(gè)層級(jí)的標(biāo)簽。該分類器的基本結(jié)構(gòu)如圖4所示。

圖4 分類器結(jié)構(gòu)

特征提取部分獲取的特征圖，需要首先經(jīng)過(guò)卷積核尺寸為1×1的卷積操作降維后，再輸入到采取dropout策略進(jìn)行訓(xùn)練的全連接神經(jīng)元。然后將神經(jīng)元輸出的特征向量輸入到Softmax層進(jìn)行回歸分析。最終根據(jù)回歸所得的概率值，判斷出當(dāng)前標(biāo)簽下的類別。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了保證實(shí)驗(yàn)結(jié)果的可靠性和針對(duì)多標(biāo)簽分類問題的適用性，使得實(shí)驗(yàn)?zāi)軌驕?zhǔn)確測(cè)試出本文算法的有效性，在數(shù)據(jù)集構(gòu)建時(shí)主要選擇Boeing和Airbus兩個(gè)具有多種型號(hào)飛機(jī)的廠商，同時(shí)針對(duì)不同標(biāo)簽數(shù)據(jù)的數(shù)量進(jìn)行了適當(dāng)平衡。

本文數(shù)據(jù)集所采用的圖像和標(biāo)簽，主要采集自FGVC-Aircraft數(shù)據(jù)集。同時(shí)根據(jù)需要按飛機(jī)型號(hào)標(biāo)簽采用爬蟲的方式從網(wǎng)絡(luò)爬取圖片，對(duì)相應(yīng)標(biāo)簽數(shù)據(jù)進(jìn)行擴(kuò)充，共包含1萬(wàn)幅飛機(jī)圖像。如圖5所示，其主要包含三級(jí)標(biāo)簽：“廠商”、“系列”、“型號(hào)”，且三者具有如下的包含關(guān)系：一個(gè)廠商包含一個(gè)或多個(gè)系列，一個(gè)系列包含一個(gè)或多個(gè)型號(hào)。“廠商”共包含2類，“系列”共包含14類，“型號(hào)”包含35類，每幅飛機(jī)圖像都具有唯一的“廠商”、“系列”、“型號(hào)”標(biāo)注。

圖5 飛機(jī)數(shù)據(jù)集標(biāo)簽層級(jí)結(jié)構(gòu)示意圖

3.2 實(shí)驗(yàn)結(jié)果與分析

數(shù)據(jù)集采集構(gòu)建完成后，將數(shù)據(jù)集的2/3分割出來(lái)作為訓(xùn)練集，剩余1/3作為測(cè)試集。其中訓(xùn)練集被用作訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)在式(1)中目標(biāo)函數(shù)的監(jiān)督下能夠更新自身權(quán)重，以實(shí)現(xiàn)自我學(xué)習(xí)，而測(cè)試集被用作驗(yàn)證算法的有效性。

由于本文采用的數(shù)據(jù)集具有3個(gè)標(biāo)簽，所以第2節(jié)中MLCNN結(jié)構(gòu)中所對(duì)應(yīng)的n=3，也就是說(shuō)實(shí)驗(yàn)所采用的MLCNN共包含3個(gè)CNN特征提取部分(C1,C2,C3)和3個(gè)對(duì)應(yīng)標(biāo)簽(L1,L2,L3)的分類器。因?yàn)榫矸e層的層數(shù)直接決定了CNN特征提取的能力，而影響分類器的識(shí)別效果，所以在該MLCNN網(wǎng)絡(luò)中，3個(gè)CNN特征提取部分(C1,C2,C3)各自卷積層的層數(shù)，是影響其識(shí)別效果的主要結(jié)構(gòu)參數(shù)。

為了在本文數(shù)據(jù)集上，選擇識(shí)別效果較好的MLCNN網(wǎng)絡(luò)。針對(duì)C1、C2、C3層數(shù)的不同比例分布，分別對(duì)不同的MLCNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。同時(shí)為了保證各組網(wǎng)絡(luò)之間可以進(jìn)行比較，固定每組MLCNN網(wǎng)絡(luò)的總層數(shù)均為15層。

該實(shí)驗(yàn)共選取7組層數(shù)分布不同的MLCNN網(wǎng)絡(luò)。其中：第1組網(wǎng)絡(luò)對(duì)應(yīng)包含5個(gè)卷積層的C1、5個(gè)卷積層的C2和5個(gè)卷積層的C3；第2組網(wǎng)絡(luò)對(duì)應(yīng)包含6個(gè)卷積層的C1、6個(gè)卷積層的C2和3個(gè)卷積層的C3。同樣，后5組網(wǎng)絡(luò)C1、C2、C3所包含卷積層的數(shù)目，依次為：6層、3層、6層，3層、6層、6層，3層、3層、9層，3層、9層、3層，9層、3層、3層。所得的實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同特征提取層數(shù)分布的測(cè)試結(jié)果

從表1可以看出，當(dāng)最細(xì)分標(biāo)簽L3的識(shí)別率較高時(shí)，標(biāo)簽L1和L2的識(shí)別率也較高；只比較最終標(biāo)簽L3的識(shí)別率，發(fā)現(xiàn)第2組和第7組的識(shí)別率高于其他各組，此時(shí)C1+C2=12為幾組實(shí)驗(yàn)中最高；只比較標(biāo)簽L2的識(shí)別率，發(fā)現(xiàn)也是第2組和第7組的識(shí)別率最高，此時(shí)C1層數(shù)分別為6和9，不低于其他各組；只比較標(biāo)簽L1的識(shí)別率，同樣是第2組和第7組的識(shí)別率最高。

由該實(shí)驗(yàn)可以總結(jié)如下特征提取部分的層數(shù)選擇經(jīng)驗(yàn)：

(1) 當(dāng)總卷積層數(shù)不限時(shí)，適當(dāng)增加MLCNN的總層數(shù)可以提高最細(xì)分標(biāo)簽的準(zhǔn)確率。

(2) 當(dāng)總卷積層數(shù)受限時(shí)，適當(dāng)減小最后一個(gè)特征提取層C3的層數(shù)，增加C1和C2的層數(shù)，可以提高標(biāo)簽L3的識(shí)別率；適當(dāng)減小C2的層數(shù)，增加C1的層數(shù)，可以提高標(biāo)簽L2的識(shí)別率。將其歸納為MLCNN特征提取層數(shù)選取的漸減策略：

C1≥C2≥C3≥…≥Cn

從實(shí)驗(yàn)結(jié)果看出，當(dāng)“CNN特征提取”層數(shù)采用漸減策略時(shí)，更能保證準(zhǔn)確地提取出各層標(biāo)簽分類器所需要的特征，從而總體上提高各個(gè)標(biāo)簽的分類準(zhǔn)確度。

綜合考慮多個(gè)標(biāo)簽的識(shí)別效果，選用上述實(shí)驗(yàn)第7組方案的結(jié)果作為MLCNN針對(duì)本文數(shù)據(jù)集的最優(yōu)實(shí)驗(yàn)結(jié)果。同時(shí)，采用另外兩種傳統(tǒng)方案，分別對(duì)相同數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。一種是SIFT特征提取，再用SVM進(jìn)行分類的方式；另一種是針對(duì)各個(gè)標(biāo)簽分別訓(xùn)練獨(dú)立的CNN。為了便于比較，各個(gè)CNN的層數(shù)與MLCNN中特征提取層數(shù)相對(duì)應(yīng)，分別為：9層、12層和15層。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同方法在本文數(shù)據(jù)集的測(cè)試結(jié)果

從表2可以看出，本文所提出的MLCNN在三個(gè)標(biāo)簽的識(shí)別率均高于相互獨(dú)立的單標(biāo)簽CNN，尤其在最高層級(jí)標(biāo)簽“型號(hào)”上相比單獨(dú)的15層“型號(hào)”CNN分類網(wǎng)絡(luò)，在測(cè)試集上的識(shí)別率提高了7.54%。這表明，本文提出的MLCNN可以利用不同層級(jí)標(biāo)簽之間的關(guān)系信息，將其作為特征提取的依據(jù)，從而減少干擾信息，優(yōu)化網(wǎng)絡(luò)的識(shí)別效果。

為了測(cè)試MLCNN在訓(xùn)練上的時(shí)間效率，在網(wǎng)絡(luò)訓(xùn)練的同時(shí)進(jìn)行了計(jì)時(shí)。實(shí)驗(yàn)所使用的計(jì)算機(jī)配置為：GPU(TITAN XP)、CPU(E5-2650)和內(nèi)存(64 GB)。對(duì)應(yīng)于三個(gè)標(biāo)簽的獨(dú)立CNN訓(xùn)練用時(shí)分別為5、6.5和7 h，而MLCNN的訓(xùn)練用時(shí)為7.5 h?？梢钥闯?，訓(xùn)練一個(gè)MLCNN比起訓(xùn)練三個(gè)獨(dú)立的CNN，在時(shí)間上節(jié)約了一半多。因此，MLCNN在時(shí)間效率上也有了較大的提高。

4 結(jié) 語(yǔ)

本文提出一種采用卷積神經(jīng)網(wǎng)絡(luò)解決多標(biāo)簽飛機(jī)識(shí)別問題的方法，并構(gòu)建了多標(biāo)簽飛機(jī)數(shù)據(jù)集，訓(xùn)練和測(cè)試網(wǎng)絡(luò)模型。實(shí)驗(yàn)結(jié)果證明，該方法明顯優(yōu)于同深度的單標(biāo)簽CNN和傳統(tǒng)的SIFT+SVM模型，能夠更好地利用不同標(biāo)簽之間的層級(jí)關(guān)系，縮短了網(wǎng)絡(luò)總體的訓(xùn)練和測(cè)試時(shí)間，并在測(cè)試集上取得了更高的識(shí)別率。如何在保證網(wǎng)絡(luò)深度的同時(shí)，調(diào)整網(wǎng)絡(luò)優(yōu)化算法的網(wǎng)絡(luò)參數(shù)和計(jì)算復(fù)雜度是我們下一步的研究方向。