基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見(jiàn)光艦船目標(biāo)識(shí)別系統(tǒng)?

（中國(guó)航天科工二院七○六所 北京 100854）

1 引言

隨著海面艦船、民船以及其他干擾目標(biāo)的種類(lèi)、數(shù)量的日益增多，海面環(huán)境的復(fù)雜性越來(lái)越高，艦船和民船形態(tài)的高速更新?lián)Q代，目前的艦船目標(biāo)識(shí)別系統(tǒng)面臨諸多難題，其識(shí)別正確率和可用性已經(jīng)難以滿(mǎn)足要求。目前我國(guó)海軍武器裝備的艦船目標(biāo)能力不高，智能化程度較低，主要表現(xiàn)在以下幾個(gè)方面。

艦船目標(biāo)識(shí)別正確率不高。目前應(yīng)用廣泛的恒虛警率算法[1～2]、小波變換[3～4]等艦船目標(biāo)識(shí)別算法對(duì)于艦船目標(biāo)識(shí)別的正確率為80%～85%，隨著海面軍艦、民船以及其他干擾目標(biāo)的種類(lèi)、數(shù)量的日益增多，海面環(huán)境變得越來(lái)越復(fù)雜，這對(duì)于海面目標(biāo)識(shí)別算法的識(shí)別準(zhǔn)確率提出了新的挑戰(zhàn)。

艦船目標(biāo)識(shí)別實(shí)時(shí)性較差。目前國(guó)內(nèi)艦船目標(biāo)識(shí)別大多基于SAR、IR等衛(wèi)星遙感圖像數(shù)據(jù)[5～9]，由于與地面的距離過(guò)長(zhǎng)，衛(wèi)星數(shù)據(jù)傳輸速度慢、易受干擾，無(wú)法及時(shí)發(fā)現(xiàn)并識(shí)別指定海域上出現(xiàn)的船只，并且在惡劣天氣環(huán)境下海面圖像很差。

艦船目標(biāo)識(shí)別系統(tǒng)智能化程度較低。目前國(guó)內(nèi)艦船目標(biāo)識(shí)別主要依靠人工判讀，隨著戰(zhàn)場(chǎng)環(huán)境日益復(fù)雜，海面目標(biāo)成倍增長(zhǎng)，傳統(tǒng)的目標(biāo)識(shí)別方法耗費(fèi)人力、效率低，難以滿(mǎn)足未來(lái)海面作戰(zhàn)的發(fā)展需求。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見(jiàn)光艦船目標(biāo)識(shí)別系統(tǒng)方案

基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見(jiàn)光艦船目標(biāo)識(shí)別系統(tǒng)主要分為兩部分：一部分是部署在數(shù)據(jù)中心的艦船圖像離線訓(xùn)練平臺(tái)，主要進(jìn)行PB級(jí)艦船圖像、視頻數(shù)據(jù)樣本的存儲(chǔ)，以及離線艦船目標(biāo)識(shí)別模型的訓(xùn)練；另一部分是在艦船、無(wú)人機(jī)、指揮所等武器裝備終端上運(yùn)行的艦船圖像采集預(yù)處理平臺(tái)和艦船目標(biāo)在線識(shí)別平臺(tái)，負(fù)責(zé)艦船目標(biāo)圖像采集、檢測(cè)、分類(lèi)和識(shí)別，具體如圖1所示。

可見(jiàn)光艦船目標(biāo)識(shí)別系統(tǒng)各模塊的具體功能如下。

1）艦船圖像數(shù)據(jù)庫(kù)采用已有的圖像、參數(shù)和模型數(shù)據(jù)構(gòu)建，并在使用過(guò)程中，通過(guò)檢測(cè)目標(biāo)數(shù)據(jù)采集不斷的進(jìn)行豐富；

圖1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見(jiàn)光艦船目標(biāo)識(shí)別系統(tǒng)框圖

2）艦船目標(biāo)特征訓(xùn)練是在卷積神經(jīng)網(wǎng)絡(luò)的框架下，通過(guò)對(duì)艦船樣本庫(kù)的識(shí)別訓(xùn)練，形成可見(jiàn)光/紅外和二維/三維融合的艦船特征知識(shí)庫(kù)，用于進(jìn)行艦船目標(biāo)分類(lèi)識(shí)別；

3）艦船目標(biāo)數(shù)據(jù)采集用于對(duì)海上艦船目標(biāo)的可見(jiàn)光或紅外視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)高分辨率的采集；

4）艦船目標(biāo)檢測(cè)是對(duì)海上艦船目標(biāo)進(jìn)行檢測(cè)，在檢測(cè)到存在艦船目標(biāo)后，開(kāi)展后續(xù)的圖像預(yù)處理和分類(lèi)識(shí)別工作；

5）艦船目標(biāo)圖像預(yù)處理包括海陸背景圖像分離、艦船目標(biāo)分割等圖像預(yù)處理工作，為艦船目標(biāo)的分類(lèi)識(shí)別做好準(zhǔn)備；

6）艦船目標(biāo)圖像粗分類(lèi)在本地進(jìn)行，針對(duì)艦船的大類(lèi)進(jìn)行簡(jiǎn)單的分類(lèi)，降低后續(xù)艦船目標(biāo)細(xì)分類(lèi)識(shí)別的工作量；

7）最后，在艦船目標(biāo)在線識(shí)別平臺(tái)開(kāi)展艦船目標(biāo)的識(shí)別工作，準(zhǔn)確地識(shí)別出艦船的類(lèi)型。

2.1 艦船圖像采集預(yù)處理平臺(tái)

本方案基于可見(jiàn)光/紅外圖像進(jìn)行艦船目標(biāo)識(shí)別，艦船圖像采集預(yù)處理平臺(tái)部署在艦船上。

2.1.1 艦船目標(biāo)圖像采集

艦船目標(biāo)圖像采集硬件架構(gòu)如圖2所示，包括艦船目標(biāo)圖像采集傳感模塊、艦船目標(biāo)圖像采集預(yù)處理模塊、多碼流圖像編碼模塊和圖像傳輸模塊。其中，艦船目標(biāo)圖像采集傳感模塊通過(guò)可見(jiàn)光/紅外傳感器采集海面目標(biāo)圖像，主要包括全高清CMOS圖像傳感器和紅外激光云臺(tái)；艦船目標(biāo)圖像采集預(yù)處理模塊對(duì)采集到的圖像進(jìn)行初步的濾波、圖像增強(qiáng)等；多碼流圖像編碼模塊基于FPGA實(shí)現(xiàn)視頻壓縮、編碼和碼流生成三部分功能；圖像傳輸模塊實(shí)現(xiàn)視頻信號(hào)的電/光轉(zhuǎn)換，通過(guò)光纜進(jìn)行遠(yuǎn)距離傳輸，主要包括光端機(jī)、光交換機(jī)等。

圖2 艦船目標(biāo)圖像采集硬件架構(gòu)

2.1.2 艦船目標(biāo)檢測(cè)

艦船動(dòng)態(tài)目標(biāo)檢測(cè)是整個(gè)系統(tǒng)的基礎(chǔ)，只有及時(shí)、準(zhǔn)確地檢測(cè)和定位到場(chǎng)景中出現(xiàn)的目標(biāo)，才能保證后續(xù)的目標(biāo)識(shí)別。艦船目標(biāo)檢測(cè)既要保證實(shí)時(shí)性，因?yàn)閼?zhàn)場(chǎng)瞬息萬(wàn)變，不及時(shí)捕捉變化就會(huì)貽誤戰(zhàn)機(jī)；又要保證目標(biāo)檢測(cè)與分割的準(zhǔn)確率，因?yàn)槟繕?biāo)的精確識(shí)別才是整個(gè)系統(tǒng)的核心[10]。

本方案首先通過(guò)SLIC算法對(duì)艦船圖像進(jìn)行分割，然后利用方向梯度直方圖和支持向量機(jī)，基于圖像中船、天空和海洋的紋理特征差異實(shí)現(xiàn)艦船目標(biāo)檢測(cè)。

SLIC（簡(jiǎn)單線性迭代聚類(lèi)）算法[11]是一個(gè)基于聚類(lèi)算法的超像素分割算法，由LAB空間以及x、y像素坐標(biāo)共5維空間來(lái)計(jì)算。該算法提出了一種全新的距離計(jì)算方法加強(qiáng)了超像素形狀的整齊性，不僅可以分割彩色圖，也可以兼容分割灰度圖，另外還可以設(shè)置需要分割的超像素的數(shù)量。SLIC在產(chǎn)生相似或更好的分割時(shí)效率可以大幅度提高。如圖3所示，SLIC算法產(chǎn)生的分割片段，大小均勻，可指定塊的個(gè)數(shù)，較為靈活。

圖3 艦船目標(biāo)檢測(cè)示例

方向梯度直方圖（HOG）特征的核心思想是一幅圖像中的物體的表象和形狀可以被梯度或邊緣的方向密度分布很好地描述。其實(shí)現(xiàn)方法是先將圖像分成小的叫做方格單元連通區(qū)域；然后采集方格單元中各像素點(diǎn)的梯度方向或邊緣方向直方圖；最后把這些直方圖組合起來(lái)就可以構(gòu)成特征描述子。為了提高精確度，還可以把這些局部直方圖在圖像的更大的區(qū)間（block）中進(jìn)行對(duì)比度歸一化，此方法通過(guò)先計(jì)算各直方圖在這個(gè)區(qū)間（block）中的密度，然后根據(jù)這個(gè)密度值對(duì)區(qū)間中的各個(gè)方格單元做歸一化。通過(guò)這個(gè)歸一化后，能對(duì)光照變化和陰影獲得更好的穩(wěn)定性。

在對(duì)圖像的各區(qū)域提取特征后，訓(xùn)練出合適的分類(lèi)器來(lái)完成區(qū)域的分類(lèi)，以實(shí)現(xiàn)排除海面、天空的大塊區(qū)域，定位到感興趣區(qū)域的目標(biāo)。支持向量機(jī)（Support Vector Machine，SVM）在有監(jiān)督的分類(lèi)器中性能突出，可以有效解決小樣本下的機(jī)器學(xué)習(xí)問(wèn)題，有效解決泛化問(wèn)題和非線性分類(lèi)問(wèn)題。結(jié)合SVM與提取的特征，可以得到如下的可見(jiàn)光目標(biāo)初步定位示例如下。

2.1.3 艦船目標(biāo)圖像預(yù)處理

艦船目標(biāo)圖像預(yù)處理包括圖像降噪、海陸分離等，常見(jiàn)的海陸分離方法包括灰度閾值法、區(qū)域紋理分析法和區(qū)域生長(zhǎng)法等。

1）灰度閾值法包括直方圖谷底法、OTSU算法、活動(dòng)輪廓法、最大熵法、最小誤差法、迭代最優(yōu)閾值法、局部閾值法等。OTSU算法以最佳門(mén)限將灰度直方圖分割成兩部分，使兩部分類(lèi)間方差取最大值，即分離性最大；活動(dòng)輪廓分割方法通過(guò)有約束地最小化分割結(jié)果中海水區(qū)域的類(lèi)內(nèi)方差來(lái)降低分割閾值，能夠得到較為理想的海陸分割結(jié)果，保證了后續(xù)船頭檢測(cè)、船身定位的準(zhǔn)確度。

2）區(qū)域紋理法是通過(guò)利用海域與陸地背景的紋理差異進(jìn)行海陸分割，如用區(qū)域方差、區(qū)域直方圖來(lái)刻畫(huà)區(qū)域紋理的相似性。

3）區(qū)域生長(zhǎng)法利用先驗(yàn)的地理信息得到位于海域的點(diǎn)作為種子點(diǎn)，進(jìn)行區(qū)域生長(zhǎng)提取海域。

2.1.4 艦船目標(biāo)粗分類(lèi)

海面環(huán)境中會(huì)有若干的干擾因素，如民用船只、礁石、海島等，所以在進(jìn)行識(shí)別時(shí)也必須將這些干擾類(lèi)別進(jìn)行甄別，以降低識(shí)別的虛警率。如果將各型號(hào)軍用艦船與干擾類(lèi)別（如各種民用船只、燈塔、小島）進(jìn)行一同分類(lèi)，這樣特征空間的類(lèi)間距離會(huì)各異。軍用艦船、民用船只、干擾目標(biāo)之間的類(lèi)間距離會(huì)較大，而作為同一個(gè)大類(lèi)下的各型號(hào)軍用艦船之間的類(lèi)間距離會(huì)較小，將這些類(lèi)混合在一起進(jìn)行分類(lèi)識(shí)別，會(huì)影響到特征空間中各類(lèi)劃分的準(zhǔn)確性，即影響到最終分類(lèi)的準(zhǔn)確率。所以，綜合考慮，需要對(duì)已經(jīng)定位的可見(jiàn)光目標(biāo)進(jìn)行粗分類(lèi)，完成大類(lèi)的識(shí)別，在此基礎(chǔ)上再進(jìn)行精細(xì)類(lèi)別的劃分。

本方案應(yīng)用SIFT[12]描述子進(jìn)行艦船目標(biāo)粗分類(lèi)包括以下幾個(gè)基本步驟：

1）構(gòu)建尺度空間并進(jìn)行極值檢測(cè)；

2）對(duì)關(guān)鍵點(diǎn)進(jìn)行精確定位；

3）確定關(guān)鍵點(diǎn)的方向；

4）生成特征點(diǎn)描述子。

艦船目標(biāo)粗分類(lèi)流程如圖4所示。

圖4 目標(biāo)粗分類(lèi)流程

2.2 艦船圖像離線訓(xùn)練平臺(tái)

2.2.1 艦船樣本數(shù)據(jù)庫(kù)

艦船樣本數(shù)據(jù)庫(kù)包括用于訓(xùn)練深度學(xué)習(xí)模型的PB級(jí)圖像數(shù)據(jù)訓(xùn)練集、驗(yàn)證集以及測(cè)試集，其中驗(yàn)證集可以從訓(xùn)練集中分離一部分得到。用于艦船目標(biāo)檢測(cè)識(shí)別模型的訓(xùn)練和測(cè)試圖像數(shù)據(jù)集，與用于軍艦和民船分類(lèi)模型的訓(xùn)練和測(cè)試圖像數(shù)據(jù)存在很大差異：用于艦船目標(biāo)檢測(cè)識(shí)別的訓(xùn)練和測(cè)試圖像數(shù)據(jù)需要在其上對(duì)艦船目標(biāo)進(jìn)行標(biāo)簽框定并給予艦船類(lèi)別的標(biāo)記，而用于軍艦與民船分類(lèi)的訓(xùn)練和測(cè)試圖像數(shù)據(jù)只需要對(duì)軍艦圖像以及民船圖像給予對(duì)應(yīng)的類(lèi)別標(biāo)記。

數(shù)據(jù)庫(kù)中艦船圖像的獲取有以下幾種方法：

1）艦船圖像采集預(yù)處理平臺(tái)得到的圖像數(shù)據(jù)；

2）互聯(lián)網(wǎng)開(kāi)源圖像數(shù)據(jù)庫(kù)，如 ImageNet[13]、VOC2012[14]、Fleetmoom[15]等；

3）艦船三維模型降維映射得到的二維圖像。

2.2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)特征訓(xùn)練

基于深度卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)特征訓(xùn)練架構(gòu)包括特征共享CNN層、可微調(diào)CNN層、區(qū)域提取模型、ROI池化層以及分類(lèi)回歸全連接層等，詳見(jiàn)圖5所示。

圖5 基于深度卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)特征訓(xùn)練架構(gòu)

共享特征CNN層可以是現(xiàn)存的深度卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)模型去掉最后全連接層的部分，該部分在進(jìn)行艦船目標(biāo)識(shí)別模型訓(xùn)練前，一般需要在VOC分類(lèi)數(shù)據(jù)集或是ImageNet分類(lèi)數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練來(lái)提高對(duì)圖像特征的提取能力，然后再利用此訓(xùn)練好的分類(lèi)模型去掉全連接層部分的參數(shù)對(duì)共享特征CNN層進(jìn)行參數(shù)初始化。常用的共享特征CNN層的分類(lèi)模型包括AlexNet、GoogleNet、VGG16、VGG19以及ResNet[16]等。

可微調(diào)CNN層主要用于在線增量學(xué)習(xí)。具體過(guò)程為：當(dāng)在線進(jìn)行艦船目標(biāo)檢測(cè)時(shí)，如果被檢測(cè)到的艦船目標(biāo)滿(mǎn)足標(biāo)注條件，則需要對(duì)目標(biāo)檢測(cè)模型進(jìn)行在線增量學(xué)習(xí)。在線增量學(xué)習(xí)過(guò)程中需要將共享特征CNN層、區(qū)域提取模型以及可微調(diào)CNN層后續(xù)的ROI池化層、全連接層參數(shù)進(jìn)行固定，然后通過(guò)分類(lèi)誤差對(duì)可微調(diào)CNN層進(jìn)行參數(shù)微調(diào)，從而達(dá)到從新圖像數(shù)據(jù)中學(xué)習(xí)新知識(shí)并盡可能保留以前學(xué)習(xí)到知識(shí)的能力。在線增量學(xué)習(xí)保證可見(jiàn)光艦船目標(biāo)識(shí)別系統(tǒng)能夠在使用過(guò)程中進(jìn)行系統(tǒng)模型參數(shù)優(yōu)化和升級(jí)，可持續(xù)不斷地提高目標(biāo)識(shí)別的準(zhǔn)確率。

區(qū)域提取模型是卷積神經(jīng)網(wǎng)絡(luò)，在共享CNN層和可微調(diào)CNN層后，構(gòu)造了一個(gè)卷積層和兩個(gè)并列的全連接層的神經(jīng)網(wǎng)絡(luò)。該模型的作用是通過(guò)共享CNN層特征以及可微調(diào)CNN層特征來(lái)實(shí)現(xiàn)可能存在待檢艦船目標(biāo)區(qū)域的提取。在該模型的基礎(chǔ)上，為了解決小目標(biāo)難檢測(cè)難題，可以加入圖像上下文Context的信息，從而有效解決該問(wèn)題。目前，比較常用的區(qū)域提取模型包括Faster RCNN基于Attention機(jī)制提出的RPN區(qū)域提取模型、基于鄰域信息及自適應(yīng)縮放Anchors策略的AZ-Net模型以及能自動(dòng)適應(yīng)對(duì)象及其組成部分尺度的HAZN模型，這些區(qū)域提取模型通過(guò)提高區(qū)域提取的質(zhì)量，解決了圖片解析度較低、小尺寸目標(biāo)難檢測(cè)的問(wèn)題[17]。

ROI池化層的設(shè)計(jì)思路來(lái)源于Faster RCNN，該設(shè)計(jì)是為了解決檢測(cè)目標(biāo)檢測(cè)識(shí)別模型能夠接受任意尺度輸入圖像的問(wèn)題。經(jīng)過(guò)ROI池化后，模型會(huì)輸出一個(gè)固定維度的特征向量，其后可以連接Softmax或是相關(guān)能進(jìn)行分類(lèi)的算法，如支持向量機(jī)SVM，進(jìn)行是否為艦船目標(biāo)的分類(lèi)。

2.3 艦船目標(biāo)在線識(shí)別平臺(tái)

艦船目標(biāo)在線識(shí)別平臺(tái)部署在艦船上，基于選擇性負(fù)相關(guān)集成學(xué)習(xí)的深度CNN艦船分類(lèi)識(shí)別方法實(shí)現(xiàn)。負(fù)相關(guān)學(xué)習(xí)是一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)集成的方法，記訓(xùn)練集為{(x1,t1),……,(xN,tN) }，其中xi是輸入，ti是目標(biāo)輸出，N是訓(xùn)練集的樣本數(shù)。在負(fù)相關(guān)學(xué)習(xí)里，深度神經(jīng)網(wǎng)絡(luò)集成的輸出定義為其中m為神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù)，F(xiàn)i(n)是第i個(gè)深度神經(jīng)網(wǎng)絡(luò)在第n個(gè)樣本上的輸出，而F(n)則是深度神經(jīng)網(wǎng)絡(luò)集成在第n個(gè)樣本上的輸出。本方案使用的ResNet深度神經(jīng)網(wǎng)絡(luò)用于集成學(xué)習(xí)，從而達(dá)到對(duì)新來(lái)圖像數(shù)據(jù)集的增量學(xué)習(xí)。圖6基于選擇性負(fù)相關(guān)學(xué)習(xí)的深度ResNet集成學(xué)習(xí)框架，主要包括四個(gè)模塊：初始ResNet深度神經(jīng)網(wǎng)絡(luò)集成、當(dāng)前ResNet深度神經(jīng)網(wǎng)絡(luò)集成、復(fù)制ResNet深度神經(jīng)網(wǎng)絡(luò)集成以及新ResNet深度神經(jīng)網(wǎng)絡(luò)集成。

它們之間的交互關(guān)系為：首先利用第一個(gè)軍艦和民船圖像數(shù)據(jù)集對(duì)初始ResNet深度神經(jīng)網(wǎng)絡(luò)集成進(jìn)行訓(xùn)練得到當(dāng)前ResNet深度神經(jīng)網(wǎng)絡(luò)集成；然后，將當(dāng)前ResNet深度神經(jīng)網(wǎng)絡(luò)集成進(jìn)行復(fù)制得到復(fù)制ResNet深度神經(jīng)網(wǎng)絡(luò)集成；接下來(lái)，當(dāng)?shù)诙€(gè)軍艦和民船圖像數(shù)據(jù)集到來(lái)時(shí)，利用該數(shù)據(jù)集對(duì)復(fù)制ResNet深度神經(jīng)網(wǎng)絡(luò)集成進(jìn)行訓(xùn)練，得到新ResNet深度神經(jīng)網(wǎng)絡(luò)集成；最后，為了使ResNet深度神經(jīng)網(wǎng)絡(luò)集成能夠在學(xué)習(xí)新圖像數(shù)據(jù)知識(shí)的同時(shí)能夠較大程度保留已經(jīng)學(xué)習(xí)過(guò)的知識(shí)，同時(shí)保持深度集成模型的大小不變，因此需要應(yīng)用選擇性負(fù)相關(guān)學(xué)習(xí)方法進(jìn)行選擇。

圖6 基于選擇性負(fù)相關(guān)的深度ResNet集成學(xué)習(xí)框架

3 結(jié)語(yǔ)

本文基于深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了艦船目標(biāo)識(shí)別系統(tǒng)的方案設(shè)計(jì)，該系統(tǒng)基于可見(jiàn)光/紅外圖像進(jìn)行艦船目標(biāo)識(shí)別，實(shí)時(shí)性高；該系統(tǒng)可離線地對(duì)目標(biāo)識(shí)別模型進(jìn)行訓(xùn)練，相比于傳統(tǒng)基于恒虛警率算法、小波變換等算法，基于深度卷積神經(jīng)網(wǎng)絡(luò)的方案具有更高的識(shí)別準(zhǔn)確率；該系統(tǒng)可進(jìn)行在線增量學(xué)習(xí)，在使用過(guò)程中可不斷進(jìn)行模型參數(shù)的優(yōu)化，不斷提高識(shí)別準(zhǔn)確率。