基于改進(jìn)快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的視頻SAR運動目標(biāo)檢測算法研究

閆 賀 黃 佳 李睿安 王旭東 張勁東 朱岱寅

(南京航空航天大學(xué)電子信息工程學(xué)院 南京 210000)

1 引言

視頻合成孔徑雷達(dá)(Video Synthetic Aperture Radar, ViSAR)具備高幀率分辨率的成像能力[1]，可在云層、沙塵、煙霧等惡劣作戰(zhàn)環(huán)境下，實現(xiàn)對地面運動目標(biāo)全天時全天候的持續(xù)觀測，并獲取目標(biāo)的運動參數(shù)等重要信息[2]。因此，視頻SAR一經(jīng)提出就成為研究熱點。美國桑迪亞實驗室利用重疊模式下的回波信息，實現(xiàn)了Ku頻段視頻SAR的實時高分辨率成像[3]。美國國防部高級研究計劃局也已經(jīng)研制出了235 GHz的視頻SAR成像系統(tǒng)。此外，美國噴氣推進(jìn)實驗室、德國Fraunhofer研究所等研究機(jī)構(gòu)，近年也研制出了不同頻率、不同體制的太赫茲雷達(dá)成像系統(tǒng)[2]。目前，國內(nèi)視頻SAR系統(tǒng)的研制與國外仍具有較大差距。

由于視頻SAR一般工作于太赫茲波段，運動目標(biāo)極易產(chǎn)生多普勒頻移，從而在目標(biāo)真實位置處留下陰影[4]。國內(nèi)外學(xué)者對視頻SAR中出現(xiàn)的陰影現(xiàn)象，提出了很多處理方法。文獻(xiàn)[5]利用Hough變換，檢測在SAR圖像中呈現(xiàn)條紋形狀的運動目標(biāo)陰影。文獻(xiàn)[6]通過對序列圖像進(jìn)行背景補(bǔ)償，利用混合高斯背景模型提取運動目標(biāo)陰影。文獻(xiàn)[7]將相干變換檢測方法拓展到視頻SAR中，通過實測數(shù)據(jù)驗證了此方法在處理視頻SAR數(shù)據(jù)上的優(yōu)勢。上述研究方法大多是建立在視頻SAR幀間圖像高度配準(zhǔn)情況下的，如果未得到有效配準(zhǔn)，則會帶來較多的虛警。文獻(xiàn)[8]借助美國桑迪亞實驗室獲取的對地視頻SAR數(shù)據(jù)，采用了深度神經(jīng)網(wǎng)絡(luò)對運動目標(biāo)陰影進(jìn)行檢測，并結(jié)合滑動密度聚類算法和雙向長短期記憶網(wǎng)絡(luò)減少漏警，取得了較好的效果。但是，對于快速運動目標(biāo)，由于其合成孔徑內(nèi)陰影脈沖比例太小，成像后目標(biāo)陰影并不明顯。此外，當(dāng)視頻SAR工作于對海模式時，由于海面后向散射強(qiáng)度較弱，更加難以區(qū)分海面背景雜波和艦船陰影。

因此，本文重點對視頻SAR下的運動目標(biāo)“亮線”特征進(jìn)行檢測。借助課題組的MiniSAR系統(tǒng)獲得的視頻SAR圖像，將改進(jìn)的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region-based Convolutional Neural Networks, Faster R-CNN)算法與K-means聚類相結(jié)合，利用殘差網(wǎng)絡(luò)提取原始SAR圖像的高維特征，并引入特征金字塔網(wǎng)絡(luò)，通過組合池化層前后不同尺度的特征圖為后續(xù)的算法提供多尺度組合的圖像特征，有效降低了視頻SAR的虛警率，實現(xiàn)視頻SAR模式下的運動目標(biāo)檢測。

2 視頻SAR工作原理

根據(jù)軌跡的不同，視頻SAR一般分為圓跡模式和直線模式。雷達(dá)平臺在一定高度上，沿著一定軌跡持續(xù)飛行，通過調(diào)整波束指向，保證雷達(dá)波束始終覆蓋目標(biāo)區(qū)域，然后利用子孔徑后向投影等算法進(jìn)行處理，合理分割后實現(xiàn)視頻成像[9]。視頻SAR成像對雷達(dá)工作頻率有很高的要求，而高頻率視頻SAR系統(tǒng)目前國內(nèi)也較難實現(xiàn)，因此成像時，可根據(jù)實際情況使用幀間重疊復(fù)用技術(shù)。

由于太赫茲頻段相關(guān)器件的硬件研制難度大、費用高，課題組研制的X波段MiniSAR系統(tǒng)，借助聚束SAR模式、幀間復(fù)用技術(shù)、PFA成像技術(shù)，實現(xiàn)了觀察場景的視頻SAR成像[10]。圖1為MiniSAR成像系統(tǒng)的飛行圖。由于該MiniSAR系統(tǒng)工作于X波段，相比于太赫茲波段相差較大，相應(yīng)的多普勒敏感度也要遠(yuǎn)低于正常的太赫茲視頻SAR系統(tǒng)，因此在本課題組實現(xiàn)的視頻SAR成像中難以觀察到有效的運動目標(biāo)陰影，也無法利用陰影檢測相關(guān)技術(shù)實現(xiàn)視頻SAR運動目標(biāo)檢測。圖2所示為觀察場景的視頻SAR成像結(jié)果(分別是第90幀、第640幀和第960幀)及合作運動目標(biāo)的標(biāo)注結(jié)果(黃色圓圈標(biāo)注)，可以看出不同幀數(shù)的運動目標(biāo)有明顯差異。表1為部分MiniSAR成像系統(tǒng)參數(shù)。

3 基于改進(jìn)Faster R-CNN的視頻SAR運動目標(biāo)檢測

深度學(xué)習(xí)目標(biāo)檢測算法[11]一般分為1階段和2階段兩類算法，1階段以YOLO系列算法為典型代表，2階段以R-CNN系列算法為典型代表[12]。其中，2階段算法對目標(biāo)檢測率更高，根據(jù)課題組研制的MiniSAR成像系統(tǒng)采集到的視頻SAR中多小目標(biāo)且難以檢測的特點，本文選用Faster R-CNN算法。圖3為設(shè)計的基于改進(jìn)Faster R-CNN的視頻SAR運動目標(biāo)檢測流程圖。

3.1 數(shù)據(jù)集的構(gòu)建

利用視頻SAR構(gòu)造數(shù)據(jù)集。首先對視頻分幀，取出靜態(tài)SAR圖像并進(jìn)行存儲。本文使用的特征提取網(wǎng)絡(luò)為卷積殘差網(wǎng)絡(luò)ResNet101[13]。由于ResNet101網(wǎng)絡(luò)對輸入圖像的分辨率沒有固定要求，因此得到的SAR圖像可直接輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試。然后，為提高模型的泛化能力和魯棒性，對視頻SAR數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，并以一定比例劃分訓(xùn)練集和測試集。

圖1 自制MiniSAR系統(tǒng)飛行圖

圖2 觀察場景的部分視頻SAR成像結(jié)果及合作目標(biāo)分布情況(黃色圓圈標(biāo)注)

表1 部分MiniSAR系統(tǒng)參數(shù)

3.2 基于改進(jìn)Faster R-CNN的視頻SAR運動目標(biāo)檢測

圖3 基于改進(jìn)的Faster R-CNN的視頻SAR運動目標(biāo)檢測流程圖

圖4 改進(jìn)的Faster R-CNN算法流程圖

圖4為本文改進(jìn)的Faster R-CNN算法流程圖。WILD TRACK公開數(shù)據(jù)集上已證明殘差網(wǎng)絡(luò)Res-Net101檢測性能優(yōu)于VGG16。因此，本文采用ResNet101殘差網(wǎng)絡(luò)提取視頻SAR目標(biāo)特征，以達(dá)到加深網(wǎng)絡(luò)層數(shù)，高維特征較好提取的效果。

3.2.1 K-means聚類算法

K-means聚類算法作為一種無監(jiān)督學(xué)習(xí)，在1967年由Macqueen提出，該算法是聚類分析中應(yīng)用最廣泛的算法[14]。使用該算法對視頻SAR數(shù)據(jù)中大大小小的運動目標(biāo)矩形框按相似度劃分成n組，先隨機(jī)選擇n個數(shù)據(jù)點作為初始質(zhì)心，然后通過計算兩點距離和設(shè)置閾值不斷更新質(zhì)心來得出最終結(jié)果。

傳統(tǒng)Faster R-CNN算法中的anchor box人為設(shè)置。然而針對不同的數(shù)據(jù)集，待檢測目標(biāo)有所不同，因此修改anchor box的大小和數(shù)量是很有必要的。Faster R-CNN算法的原始訓(xùn)練集是Pascal VOC數(shù)據(jù)集，與視頻SAR中的運動目標(biāo)大小分布不同，因此本文對視頻SAR目標(biāo)進(jìn)行聚類，然后將結(jié)果作為anchor box的設(shè)置依據(jù)，以達(dá)到加快網(wǎng)絡(luò)收斂和提高檢測精度的效果。

3.2.2 區(qū)域生成網(wǎng)絡(luò)

區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network,RPN)由一個全卷積網(wǎng)絡(luò)實現(xiàn)。RPN用于判斷視頻SAR區(qū)域建議是否包含目標(biāo)，若包含則輸入后續(xù)網(wǎng)絡(luò)。同時，RPN也將輸出目標(biāo)可能的候選區(qū)域。其中，定義目標(biāo)的候選框和真實框的邊框重疊度為交并比(Intersection Over Union, IOU)。通常定義IOU>0.7時，預(yù)測結(jié)果為正樣本(目標(biāo))，否則為負(fù)樣本(背景)。非極大值抑制(Non-Maximum Suppression, NMS)算法[15]廣泛應(yīng)用在邊緣檢測和目標(biāo)檢測中，解決了分類時候選區(qū)域框的重疊現(xiàn)象，除去冗余框，提高了檢測效率。

將FPN結(jié)構(gòu)與ResNet101網(wǎng)絡(luò)結(jié)合，可以對不同特征的視頻SAR目標(biāo)根據(jù)RPN產(chǎn)生的區(qū)域建議進(jìn)行動態(tài)調(diào)整，并在不同深度的特征圖上進(jìn)行特征提取，從而達(dá)到更好的預(yù)測結(jié)果。圖5為特征金字塔結(jié)構(gòu)，圖5中放大的區(qū)域使用1×1卷積核，將處理過的低層特征和高層特征進(jìn)行累加，這樣更加準(zhǔn)確的視頻SAR“亮線”位置信息和高維特征可以在一張?zhí)卣鲌D上顯示，既減少了特征圖數(shù)量又不改變特征圖大小。

3.2.3 ROI Align

原Faster R-CNN中ROI Pooling層，將不同大小的視頻SAR預(yù)選框裁剪成固定尺度的特征圖，在整個網(wǎng)絡(luò)框架中含有兩次取整過程，那么降采樣之后的結(jié)果框會與視頻SAR原圖產(chǎn)生偏差，對視頻SAR較小運動目標(biāo)的影響較為突出。而ROI Align將對每個候選區(qū)域保持浮點數(shù)邊界，解決了上述偏差問題。然后，利用雙線性插值法將區(qū)域固定到特征圖大小為14×14。最后，所有結(jié)果輸入分類層和回歸層，分類層判斷候選區(qū)域運動目標(biāo)陰影的概率，回歸層將給出運動目標(biāo)的坐標(biāo)。

4 基于實測數(shù)據(jù)的驗證與分析

本文實驗在Window10系統(tǒng)下進(jìn)行，利用深度學(xué)習(xí)框架Tensorflow，硬件環(huán)境配置：GPU為GeForce GTX 1080Ti, CUDA 8.0，顯存11 GB。

4.1 數(shù)據(jù)集的構(gòu)建

深度學(xué)習(xí)需要大量的數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，利用本課題組研制的MiniSAR系統(tǒng)實測得到的34 s視頻SAR數(shù)據(jù)進(jìn)行運動目標(biāo)檢測。通過對視頻SAR進(jìn)行分幀，共得到1021幀SAR圖像，其中包含運動目標(biāo)的有效SAR圖像為806幀。一般情況下，訓(xùn)練集與測試集按7:3比例劃分，由于視頻SAR運動目標(biāo)特征較少，因此按2:1劃分訓(xùn)練集與測試集，將536幀原始圖片用于訓(xùn)練，余下270幀作為測試集。

對536幀的原始圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理以達(dá)到擴(kuò)充數(shù)據(jù)集的目的，常用方法有平移、旋轉(zhuǎn)、加噪等。通過對原始圖片進(jìn)行45°, 90°, 135°, 180°,225°和270°的隨機(jī)旋轉(zhuǎn)和加噪處理，使得訓(xùn)練集擴(kuò)充為原訓(xùn)練集的4倍，部分?jǐn)?shù)據(jù)強(qiáng)化如圖6(a)—圖6(f)所示。

圖5 FPN結(jié)構(gòu)

4.2 特征金字塔結(jié)構(gòu)對Faster R-CNN算法的影響

特征金字塔結(jié)構(gòu)將不同深度的特征圖進(jìn)行融合，提高了對視頻SAR圖片特征的利用。本文使用的數(shù)據(jù)集目標(biāo)尺寸大小不一，其中較小目標(biāo)不占少數(shù)，而Faster R-CNN在最后一層進(jìn)行卷積池化時，許多小目標(biāo)信息將大幅度減少甚至被遺漏。因此，引入FPN結(jié)構(gòu)可以大大提高對小目標(biāo)的檢測率。針對測試集的270幀SAR圖像的小目標(biāo)進(jìn)行統(tǒng)計，共含83個小目標(biāo)。準(zhǔn)確率為檢測出的正確目標(biāo)個數(shù)與真實總個數(shù)之比，漏檢率為未被檢測出的目標(biāo)個數(shù)與真實總個數(shù)之比，誤檢率為錯誤檢測出的目標(biāo)個數(shù)與真實總個數(shù)之比。表2統(tǒng)計了特征金字塔結(jié)構(gòu)對Faster R-CNN算法的影響?？梢钥闯鲈?3個小目標(biāo)的檢測中，結(jié)合了FPN結(jié)構(gòu)的算法檢測率提高了38.8%，同時誤檢率也有所下降。

圖6 數(shù)據(jù)集的構(gòu)建

4.3 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對訓(xùn)練結(jié)果的影響

分辨不同網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對訓(xùn)練結(jié)果的影響，要采用控制變量的方法訓(xùn)練網(wǎng)絡(luò)。為了抑制模型復(fù)雜度，避免過擬合，本文保持權(quán)重衰減率0.0001，動量0.9不變。通過改變訓(xùn)練次數(shù)、學(xué)習(xí)率和激活函數(shù)，研究這些參數(shù)對訓(xùn)練結(jié)果的影響。

首先，為減小局部最小值概率，采用warm-up分階段學(xué)習(xí)率方法訓(xùn)練網(wǎng)絡(luò)。即設(shè)初始學(xué)習(xí)率(Learning Rate, LR)為loss1，當(dāng)訓(xùn)練次數(shù)達(dá)到N1和N2時，學(xué)習(xí)率下降為0.1×loss1和0.01×loss1。本文設(shè)置N1為20000步，N2為40000步。其次，傳統(tǒng)Faster R-CNN算法使用默認(rèn)激活函數(shù)ReLU。ReLU函數(shù)實現(xiàn)了單側(cè)抑制的效果，當(dāng)輸入為正時，導(dǎo)數(shù)為1，允許基于梯度的學(xué)習(xí)；當(dāng)輸入為負(fù)時，導(dǎo)數(shù)為0，從而無法更新權(quán)重，導(dǎo)致神經(jīng)元“壞死”。對于本文使用的視頻SAR數(shù)據(jù)集中較小目標(biāo)的檢測，為了解決這個缺點，可以在ReLU函數(shù)的負(fù)半軸引入一個極小的泄露(leaky)值，使得負(fù)半軸的信息不至于全部丟失。具體參數(shù)對訓(xùn)練結(jié)果的影響如表3所示。

表2 有無FPN 結(jié)構(gòu)的性能對比

表3 具體參數(shù)對訓(xùn)練結(jié)果的影響

可以看出網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對檢測結(jié)果的影響各不相同。隨著訓(xùn)練次數(shù)的增加，網(wǎng)絡(luò)Loss值逐步下降至收斂。不難看出，訓(xùn)練次數(shù)設(shè)置在50000步最佳。激活函數(shù)選擇使用Leaky-ReLU對檢測結(jié)果的提升有一定的好處，但影響不是很大。學(xué)習(xí)率作為深度學(xué)習(xí)的主要參數(shù)，決定目標(biāo)函數(shù)能否收斂到局部最小值以及何時收斂到最小值。一般范圍內(nèi)，學(xué)習(xí)率越小，收斂速度越慢。當(dāng)學(xué)習(xí)率由0.010變?yōu)?.001時，運動目標(biāo)檢測的準(zhǔn)確率提高了5.5%。

圖7(a)—圖7(f)分別是第54幀、第78幀、第120幀、第150幀、第191幀和第210幀的傳統(tǒng)Faster R-CNN算法在單幀SAR圖像上完成運動目標(biāo)的初步檢測結(jié)果。紅色矩形框是正確檢測出的運動目標(biāo)，黃色橢圓框是漏檢的運動目標(biāo)，綠色橢圓框是誤檢的目標(biāo)信息。其中，第54幀檢測結(jié)果雖然檢測出了運動目標(biāo)，但是可以看出檢測出的框大小與實際目標(biāo)的大小有所出入；第150幀運動目標(biāo)圖像出現(xiàn)一定程度的間斷，檢測結(jié)果出現(xiàn)了結(jié)果不匹配情況；第191幀由于運動目標(biāo)的信息較弱，發(fā)生了漏檢和誤檢情況。由此可以看出傳統(tǒng)Faster R-CNN算法的準(zhǔn)確性低，漏檢率和誤檢率高。

通過FPN充分利用目標(biāo)信息，減少了運動目標(biāo)的漏檢情況。然后采用K-means聚類算法對算法進(jìn)行預(yù)處理，得到一組合理的anchor box的設(shè)置，這樣使得檢測出來的框更加接近運動目標(biāo)的真實框。通過以上方法的處理和網(wǎng)絡(luò)參數(shù)的調(diào)整，大大降低了運動目標(biāo)的漏檢，實現(xiàn)了對虛警的抑制。圖8(a)—圖8(f)分別是第54幀、第78幀、第120幀、第150幀、第191幀和第210幀為改進(jìn)后的Faster R-CNN算法的運動目標(biāo)檢測結(jié)果。

4.4 K-means聚類預(yù)處理

首先對運動目標(biāo)的長寬進(jìn)行K-means聚類，得到5個不同的長寬尺寸，分別為[124, 45], [518, 119],[830, 199], [226, 63]和[336, 120]。然后對運動目標(biāo)的長寬比進(jìn)行K-means聚類，得到5個聚類中心：2,4, 7, 11, 25。因此設(shè)置anchor box寬高比為{2, 4,7, 11, 25}，面積為{4×4, 8×8, 16×16, 32×32,64×64}。在保持其余參數(shù)不變的情況下，anchor box的設(shè)置分為憑經(jīng)驗設(shè)置和利用K-means聚類結(jié)果設(shè)置兩種。表4可以看出anchor box的設(shè)置通過K-means聚類，在算法準(zhǔn)確率上得到了一定的提高。

為了更好地對比傳統(tǒng)Faster R-CNN算法與改進(jìn)后的Faster R-CNN算法的性能，表5為測試集270幀視頻SAR圖像共279個運動目標(biāo)的統(tǒng)計結(jié)果。改進(jìn)后的Faster R-CNN算法較傳統(tǒng)Faster R-CNN準(zhǔn)確率上提高了9.8%，誤檢率減小了3.6%。

5 結(jié)束語

本文提出了一種結(jié)合FPN的Faster R-CNN算法的視頻SAR的動目標(biāo)檢測方法。對Faster R-CNN算法中的部分參數(shù)進(jìn)行了定量分析，并利用K-means聚類方法對改進(jìn)的Faster R-CNN算法進(jìn)行優(yōu)化，提高了該算法針對視頻SAR運動目標(biāo)的檢測率，該方法同樣適用于其他參數(shù)形式的視頻SAR系統(tǒng)。將深度學(xué)習(xí)方法用于雷達(dá)領(lǐng)域，實現(xiàn)了針對視頻SAR中多尺度目標(biāo)的高精度端對端的目標(biāo)檢測，為視頻SAR運動目標(biāo)軌跡跟蹤奠定基礎(chǔ)。

圖7 傳統(tǒng)Faster R-CNN檢測結(jié)果

圖8 改進(jìn)的Faster R-CNN檢測結(jié)果

表4 anchor box設(shè)置對訓(xùn)練結(jié)果的影響

表5 不同模型下運動目標(biāo)檢測性能對比