結(jié)合目標提取和深度學習的紅外艦船檢測*

白 玉，遲文愷，謝寶蓉，張 雷，鄭蓮玉，穆文濤

(1.沈陽航空航天大學 電子信息工程學院，沈陽110136；2.上海航天電子研究所，上海 201109；3.上海衛(wèi)星工程研究所，上海 201109)

0 引 言

海域作戰(zhàn)技術水平是國防能力的一個重要方面，星上紅外監(jiān)測系統(tǒng)具有能晝夜偵測、監(jiān)控面積廣、隱蔽性強等優(yōu)點，已經(jīng)成為了海域安全監(jiān)測研究的重點。在軍事領域，紅外監(jiān)測系統(tǒng)的應用主要包括目標捕捉、跟蹤、全天候監(jiān)控等；在非軍事領域，主要應用為公共安全監(jiān)控、應急救援、環(huán)境監(jiān)控等。紅外成像方式是通過捕獲目標的紅外輻射波來形成圖像，可以不受光線、天氣以及大型煙霧等影響因素，因為紅外成像的高度穩(wěn)定性和良好隱蔽性等因素，對其成像的處理與研究就顯得尤為重要。

美國國防高級研究計劃局在2010年進行了MOIRE實驗項目，實驗結(jié)果表明目標在靜止軌道分辨率能夠達到l m，并且更進一步地研究出了可以連續(xù)監(jiān)視敵方目標的系統(tǒng)，大大提高了對動態(tài)艦船目標的監(jiān)控能力。美國研發(fā)的低軌電子偵察衛(wèi)星“宇宙神-5”在2015年搭載著“海軍海洋監(jiān)視系統(tǒng)”進入太空，可以為海軍部隊提供海上船隊的航行方向、速度和周圍環(huán)境等重要信息。我國在2016年和2018年分別發(fā)射了雷達衛(wèi)星“高分三號”、靜止軌道衛(wèi)星“高分四號”等，標志著我國在高分辨率遙感技術領域已經(jīng)達到世界領先水平。

2014年提出的R-CNN(Region Proposals with Convolution Neural Network)檢測方法，使卷積神經(jīng)網(wǎng)絡在圖像識別和處理領域?qū)崿F(xiàn)了重大突破，開啟了深度學習方法應用于目標檢測領域的研究熱潮。向濤[1]提出了一種傳統(tǒng)的顯著區(qū)域提取和目標精確分割相結(jié)合的紅外艦船目標檢測方法，平均準確率達到了75.6%。顧佼佼等[2]提出了一種基于改進 Faster R-CNN 的紅外艦船目標檢測算法，準確率達到了83.98%?；诖?，本文提出一種新型紅外船艦檢測方法，結(jié)合了傳統(tǒng)方法與深度學習方法的優(yōu)勢，使得改進后的算法更加適用于紅外艦船目標檢測。

1 深度學習算法

基于學習的目標識別方法的處理過程分為兩個模塊。第一個模塊是學習模塊，在此模塊中，第一步為正樣本和負樣本通過特征提取算子得到特征圖[3]；第二步是將特征圖進入分類器[4]進行訓練，當達到約束條件后訓練完成。第二個模塊是目標檢測識別模塊，將準備檢測的圖像進行特征提取，獲得特征圖后，再將特征圖輸入到分類器得到檢測的結(jié)果。算法流程如圖1所示。

圖1 深度學習目標檢測算法結(jié)構(gòu)圖

2 Faster-R-CNN 算法原理

Faster-R-CNN算法[5]在檢測精度和運算速度上都達到了很高水平，是目標檢測和分類的代表性算法。Faster-R-CNN算法[6]總結(jié)了R-CNN[7]和Fast-R-CNN 的不足和缺點，通過區(qū)域提取網(wǎng)絡(Region Proposal Network，RPN)來代替選擇性搜索(Selective Search，SS)算法[8]，并且引入了Andchor box概念[9]，成功解決了R-CNN和Fast-R-CNN的不足，更使得訓練集能夠優(yōu)化整個過程，訓練效率和算法效果得到了提升。算法網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 Faster R-CNN 算法流程圖

算法核心主要由三個步驟構(gòu)成，即CNN 目標特征提取、區(qū)域候選網(wǎng)絡的搭建、分類和回歸：第一步，使用深度卷積網(wǎng)絡對輸入的圖像進行目標特征提??；第二步，特征圖像經(jīng)過 RPN 網(wǎng)絡，得到候選框所在位置，再使用 ROI pooling[10]將目標對應到特征圖像上；第三步，將結(jié)果輸入到全連接層進行最終的分類和檢測框回歸[11]。

特征層依然選用卷積、激活和池化組成的結(jié)構(gòu)，在網(wǎng)絡深度上對比CNN算法有所增加。區(qū)域候選網(wǎng)絡和全連接層會應用到提取的特征圖。特征圖像在 RPN 網(wǎng)絡結(jié)構(gòu)中第一步先通過卷積層，之后會馬上經(jīng)過兩個卷積層，卷積層大小為1×1。得到結(jié)果后，Softmax 分類器需要其中一個結(jié)果進行分類，候選區(qū)域的定位則使用另一個結(jié)果。候選框的定位，以特征圖像的像元為此框的中心點生成一個框，然后再經(jīng)過對比特征圖像和原始圖像就能夠得到候選框的具體位置。分類器的作用是將所有的候選框分為前景和背景，然后每個候選框?qū)⒌玫絻深惙謹?shù)，再進行回歸分析計算，計算后能夠得到[x,y,w,h] 4 個偏移量。由每個候選框得到的參數(shù)作為 RPN 的輸出，再將候選框的特征圖像和參數(shù)輸入到候選框池化層。

交并比(Intersection over Union,IoU)代表了兩個數(shù)據(jù)的重疊程度，在進行RPN 訓練時，使用 IoU 指標對樣本進行分類。公式如下：

(1)

式中：I(X)代表數(shù)據(jù)交集；U(X)代表數(shù)據(jù)并集。將IoU小于0.3的作為負樣本，將標注框與候選框的指標大于0.7作為正樣本。 RPN的損失函數(shù)定義如下：

(2)

Faster-R-CNN最大的改進就是棄用了SS網(wǎng)絡[12]，改用 RPN 網(wǎng)絡[13]來代替，使得候選框的個數(shù)大大降低，并且質(zhì)量也進一步提高。

3 基于深度學習與傳統(tǒng)方法相結(jié)合的紅外艦船檢測算法

3.1 本文算法流程

本算法分為兩個部分：第一部分是傳統(tǒng)算法部分，對紅外圖像進行處理，主要目的提取出候選區(qū)域，因為傳統(tǒng)算法相較于深度學習算法速度快，所以第一部分會大量節(jié)省檢測的時間；第二部分是利用深度學習網(wǎng)絡對候選區(qū)域進行目標的分類提取，通過兩次精準的深度學習網(wǎng)絡的檢測，得出對目標的判斷。本文算法流程如圖3所示。

圖3 算法流程圖

3.2 算法部分

3.2.1 高低帽變換

圖像進行預處理，首先對圖像進行切割，輸出512×512的圖像，使圖像縮小為以前的1/4。進行中值濾波降低條紋噪聲的影響，同時可以濾掉一些點狀海雜波。

分別利用高帽變換(TOP-HAT)和低帽變換(Bottom-HAT)[14]提取暗背景下亮目標和亮背景下暗目標：

TH(x,y)=f(x,y)-(f°B)(x,y) ，

(3)

BH(x,y)=(f·B)(x,y)-f(x,y) 。

(4)

圖4為經(jīng)過低帽變換后的結(jié)果，圖5為經(jīng)過高帽變換后的結(jié)果。

圖4 低帽變換

圖5 高帽變換

3.2.2 閾值分割

因為紅外圖像為灰度圖像，設置灰度閾值將疑似艦船目標分割出來，閾值的選取分別利用了圖像中的max/2、(均值+max)/2和預先設置的經(jīng)驗值三個參數(shù)進行目標分割。因為紅外圖像背景與艦船目標的灰度值相差較大，為了將疑似目標全部提取出來防止漏檢，所以選取三個值中的最小值作為閾值。目標經(jīng)過分割后，對連通區(qū)進行標注。將這些連通區(qū)的重心坐標標記到數(shù)組中，并保存目標，圖6為經(jīng)過閾值分割后得出來的暗極性目標，圖7為經(jīng)過閾值分割后得出的亮極性目標結(jié)果圖。

圖6 通過閾值分割后的暗極性目標

圖7 通過閾值分割后的亮極性目標

3.2.3 候選區(qū)域合并算法

針對傳統(tǒng)的 ROI 提取算法容易受到噪聲的影響，難以準確地提取出前景目標感性區(qū)域的問題，本文算法對候選目標進行合并，并且裁選出候選區(qū)域。將通過閾值分割后的得到的目標進行歸并處理。歸并算法的核心是遍歷候選每個重心點，在一個64×64的范圍以重心點為中心，比較在這個范圍內(nèi)重心坐標。選擇重心最多的那個點，這些重心點就合并為一個候選框，依次將全部重心點遍歷。合并之后的候選區(qū)會大大減少。如果候選區(qū)域超過64，就將圖像分為64個均勻塊。經(jīng)過此步驟，不僅預防了噪聲對檢測到影響，更降低了虛警率。圖8為經(jīng)過歸并算法后的目標檢測，圖9為檢測陸地后的結(jié)果，圖10為候選區(qū)域超過64的檢測結(jié)果。

圖8 經(jīng)過歸并算法后的目標檢測結(jié)果

圖9 檢測陸地后的結(jié)果

圖10 候選區(qū)域超過64對圖片進行平均切塊

3.2.4 快速深度學習網(wǎng)絡排序

經(jīng)過歸并后，會有提取出很多候選區(qū)域，利用較為簡單的快速網(wǎng)絡先進行第一次粗檢，為第二次精細的檢測做準備，不僅減小了計算量，同時該網(wǎng)絡也更適用于硬件平臺實現(xiàn)，更適用于載荷目標檢測系統(tǒng)。快速網(wǎng)絡由4個卷積層+1個 FC層搭建，如圖11所示，輸入是將64×64縮小1/4，為32×32，神經(jīng)元分別是16、16、32、32。

圖11 快速深度學習網(wǎng)絡參數(shù)表

3.2.5 精細深度學習最后的判斷

精細網(wǎng)絡共由7個卷積層+FC 構(gòu)成，如圖12所示，輸入的大小為64×64，神經(jīng)元的個數(shù)分別為32、32、64、64、96、96、16，經(jīng)過精細深度學習網(wǎng)絡判斷，對候選區(qū)域做最終判定，如圖13所示。

圖12 精細深度學習網(wǎng)絡參數(shù)表

圖13 各個候選區(qū)進行判別

4 檢測結(jié)果及性能分析

4.1 仿真平臺介紹

此仿真平臺操作系統(tǒng)為64位Windows 7，采用Matlab深度學習框架搭建，在硬件方面 CPU 使用了 Intel Pentium G2030，GPU采用了GeForce 30RTX 3090。

4.2 測試結(jié)果

測試使用了7 000張訓練集，其中選用的紅外圖像大部份來自于網(wǎng)絡，其他還包括從工廠搜集的包含艦船目標的紅外圖像等。選用了696 張包含各種不同的紅外艦船目標的圖片為測試集，艦船大多散布在海洋、港口等各種各樣的背景下。對檢測算法的精準度進行評估的度量指標為 mAP(Mean Average Precision)，對檢測算法的速度評估指標為檢測一張圖片所用的時間，單位為s。圖14為紅外艦船圖像檢測前后的結(jié)果。

圖14 紅外艦船圖像檢測結(jié)果

4.3 結(jié)果分析

統(tǒng)計和對比了傳統(tǒng)的紅外艦船檢測算法、基于深度學習的紅外艦船檢測算法和改進后傳統(tǒng)與深度學習相結(jié)合的算法的性能，結(jié)果如表1所示。

表1 各種算法性能對比分析

通過對圖表的對比分析可知，傳統(tǒng)算法檢測到艦船的平均準確率為75.60%，目標提取與深度學習結(jié)合算法平均準確率為83.69%,提高了8.09%。深度學習算法檢測一張圖片的時間為0.316 s，傳統(tǒng)與深度學習結(jié)合的算法檢測一張圖片的時間為0.296 s，提升了0.02 s。統(tǒng)計結(jié)果表明，與傳統(tǒng)的顯著區(qū)域提取和目標精確分割相結(jié)合算法相比目標提取與深度學習結(jié)合算法的準確率得到了大幅度的提升，同時也沒有耗費過多的時間；與改進的Faster-R-CNN算法相比，在準確率僅僅降低0.29%的情況下，檢測速度得到了大幅度的提高。

5 結(jié) 論

本文提出一種結(jié)合傳統(tǒng)的目標區(qū)域提取方法與深度學習中分類的思想的紅外艦船目標檢測算法，既提高了檢測的準確率，也提升了檢測的速度。仿真和統(tǒng)計結(jié)果驗證了本文算法的可行性。本文算法可用于海上監(jiān)測、海上救援、碼頭船舶檢測， 還可用于武裝系統(tǒng)提升海軍戰(zhàn)斗力。