張濤,楊小岡,盧孝強,盧瑞濤,張勝修
1.火箭軍工程大學 導彈工程學院,西安710025;
2.中國科學院西安光學精密機械研究所,西安710068
近年來,隨著遙感、航天以及計算機視覺技術的發(fā)展,基于光學遙感圖像艦船目標的檢測引起了眾多學者的廣泛關注。光學遙感圖像艦船目標檢測問題作為光學遙感圖像分析領域的基礎問題,在海運交通、漁業(yè)管理、監(jiān)視重點港口部署等領域發(fā)揮著重要作用(郭威,2019)。吉林1號和高分系列遙感衛(wèi)星的發(fā)射為高分遙感圖像數(shù)據(jù)的獲取提供了數(shù)據(jù)來源(史文旭等,2020a)。在遙感圖像艦船目標檢測中,存在遙感圖像艦船目標尺度變化范圍大、背景復雜、目標密集分布形狀差異大等問題(于野等,2020),因此針對遙感圖像艦船目標檢測的研究仍然具有很大的挑戰(zhàn)(朱煜等,2020)。
傳統(tǒng)的遙感圖像艦船目標檢測方法有(張財廣 等,2020):基于灰度信息的方法(Zhu等,2019)、基于模板匹配的方法(王倫文等,2019)、基于傳統(tǒng)機器學習的方法及基于視覺顯著性等方法(周暉等,2010)?;诨叶刃畔⒌姆椒ㄔ谟龅皆茖?、霧氣等自然環(huán)境亮度值較大時,容易產(chǎn)生虛警;基于模板匹配的方法需要建立先驗知識和規(guī)則;由于遙感圖像易受光照和云層的影響,因此在進行遙感圖像艦船目標檢測時,需要掌握一定的遙感圖像的先驗知識;基于傳統(tǒng)機器學習的方法使用滑動窗口提取手工設計特征,傳統(tǒng)方法人工設計的特征選擇,不適合復雜的場景,對于目標檢測的泛化能力比較差,區(qū)域建議框的設定沒有針對性,造成冗余,導致計算量過大(董超,2020)。以上傳統(tǒng)方法在部分遙感艦船目標檢測中都取得了一些成果,但是也存在很多不足。
隨著AlexNet網(wǎng)絡(Krizhevsky等,2017)在ImageNet圖像分類比賽中獲得成功,深度學習在目標檢測領域得到了廣泛的應用。目前基于深度學習目標檢測方法研究分為從RCNN到Faster RCNN(Ren等,2017)的two-stage模型檢測方法和以YOLO(Redmon等,2016)、SSD(Liu等,2016)、FSSD(Cao等,2018)和RetinaNet(Lin等,2020)密集目標檢測算法等為代表的onestage模型檢測方法。以上基于深度學習的目標檢測方法不僅可以將人工設計特征的任務通過搭建神經(jīng)網(wǎng)絡結(jié)構(gòu)自動從數(shù)據(jù)中提取,而且卷積神經(jīng)網(wǎng)絡可以獲取更深層次的結(jié)構(gòu)特征,獲取語義抽象信息,使檢測效果更佳。深度學習目標檢測方法在自然場景目標檢測中取得了很大的進步,一些專家學者開始嘗試用卷積神經(jīng)網(wǎng)絡的方法對遙感圖像艦船目標進行檢測:李暉暉等(2020)提出一種基于CReLU和FPN改進的SSD艦船目標檢測,很好適應于小目標數(shù)據(jù)集,實現(xiàn)艦船目標的有效檢測;王璽坤等(2020)基于改進YoLov3算法的遙感圖像艦船目標的檢測,針對可見光遙感圖像的特點,在YoLov3基礎上增加了特征映射模塊,為預測層提供豐富的語義信息,選取殘差網(wǎng)絡為主干網(wǎng)絡,提高了艦船目標的檢測準確率;史文旭等(2020b)基于特征融合的SSD遙感圖像艦船目標檢測算法,檢測復雜場景中多尺度的艦船目標,設計損失函數(shù)解決正負樣本問題,有效地增強了復雜場景下艦船目標的檢測精度。
雖然深度學習的方法在遙感圖像艦船目標檢測中取得了很大的進步,但仍有不足:一是鑒于遙感圖像本身的特性,遙感圖像目標多尺度、多樣性,尤其對于任意密集排列的艦船目標,現(xiàn)有的檢測網(wǎng)絡缺乏高低層特征的聯(lián)系,忽略上下文語義信息,故檢測效果不佳;二是遙感圖像背景復雜,且容易受到光照、云層等自然因素影響,導致正負樣本失衡。
為解決目前遙感圖像艦船目標檢測中所面臨的問題,本文在SSD算法基礎上,提出一種基于Dense RFB和LSTM的多尺度艦船目標檢測算法,主要工作內(nèi)容:(1)設計Dense RFB淺層特征增強模塊Dense RFB-FE(Dense RFB Feature Enhance Module),基于人眼視點圖通過采用特征復用和膨脹卷積在不增加計算量的前提下增大感受野,增強淺層網(wǎng)絡細節(jié)特征提取能力;(2)設計深層多尺度特征金字塔融合模塊MFPF(Multi-scale Feature Pyramid Fusion Module)采用FPN和LSTM思想,基于反卷積和殘差對深層多尺度特征進行融合,過濾無效特征信息,有效提取深層語義信息,增強網(wǎng)絡特征層的表達能力;(3)設計新的損失函數(shù),加入聚焦分類損失函數(shù),有效解決正負樣本特征不平衡問題,提升艦船目標檢測的精度。
SSD網(wǎng)絡算法如圖1所示,將VGG16全卷積層轉(zhuǎn)換為卷積層,同時添加4個不同尺度的特征層conv8_2、conv9_2、conv10_2、conv11_2。SSD網(wǎng)絡借鑒Faster R-CNN算法的anchor機制,產(chǎn)生多個不同長寬比的候選框,在特征圖上密集采樣提取候選框預測,在一定程度上減少訓練難度,增強目標的定位準確度。SSD結(jié)合多尺度檢測思想(羅會蘭和陳鴻坤,2020),分別提取6個不同尺度的特征層進行目標檢測,淺層特征層conv4_3和conv6更多地提取細節(jié)信息,有利于檢測較小目標;深層特征層conv8_2、conv9_2、conv10_2、conv11_2有效表征目標抽象的語義信息。圖1中SSD提取特征的不同卷積層檢測分支是獨立的,因此不同層、不同尺度之間目標檢測沒有關聯(lián)性、忽略了上下文特征信息。
SSD算法淺層特征層對應的感受野大小為92×92不能覆蓋全圖,以及6個檢測分支相互獨立,每層提取的特征缺乏上下文信息聯(lián)系,淺層特征層缺乏深層抽象的語義信息,深層特征層缺乏淺層細節(jié)定位信息,同時由于遙感圖像自身背景復雜的特性,極易造成目標的漏檢和復雜環(huán)境下目標的誤檢,為解決目前存在的這些問題,本文在SSD算法基礎上改進如圖2所示,提出一種基于Dense RFB和LSTM的多尺度艦船目標檢測算法,主要對SSD算法改進如下:一是設計Dense RFB淺層特征增強模塊(Dense RFB-FE)增強網(wǎng)絡淺層細節(jié)信息;二是深層多尺度特征金字塔融合模塊(MFPF)有效提取深層語義信息;三是設計損失函數(shù),加入聚焦分類損失函數(shù)解決正負樣本失衡。
圖2 Dense RFB艦船目標檢測網(wǎng)絡框架Fig.2 Structure of ship target detection network based on Dense RFB
本文提出的基于Dense RFB的多尺度艦船目標檢測網(wǎng)絡結(jié)構(gòu),設計了2個Dense RFB淺層特征增強模塊和4個MFPF深層特征金字塔融合模塊。
人類神經(jīng)科學儀器觀察發(fā)現(xiàn)(Liu等,2018),在人類視覺皮層中,人類視覺感受野大小在視網(wǎng)膜視點圖中的偏心率函數(shù),隨著偏心率成正比,如圖3(a),通過模仿人類視覺特性,將感受野大小和偏心率聯(lián)系起來,設計特征增強模塊來增大感受野,關注中心的信息,即在卷積網(wǎng)絡中設計膨脹率越大卷積核越大。借鑒Inception-Resnet思想在每個分支加入不同膨脹率的膨脹卷積構(gòu)建RFB(Receptive Field Block Network)模塊,不增加計算量同時有效的增大感受野(張敏桐等,
2019)。
圖3(b)為RFB結(jié)構(gòu)的示意圖,第1個分支為一個膨脹率為1的3×3膨脹卷積,第2個分支先經(jīng)過一個3×3的普通卷積,再經(jīng)過一個膨脹率為3的3×3膨脹卷積,第3個分支首先經(jīng)過兩個3×3的卷積,其效果等于一個5×5的卷積,之后經(jīng)過膨脹率為5的3×3膨脹卷積,最后經(jīng)過通道級聯(lián)。
圖3 RFB網(wǎng)絡結(jié)構(gòu)圖Fig.3 Structure of RFB Network
如圖4可知,3個分支的膨脹卷積經(jīng)過通道級聯(lián)后,得到了3、9、15共3種不同尺度感受野,即RFB網(wǎng)絡結(jié)構(gòu)感受野。雖然不同膨脹率會增大感受野,但是連續(xù)增大膨脹率,相應卷積核尺度增大,會出現(xiàn)不參與卷積計算的空洞,導致提取特征信息不完整。
圖4 RFB網(wǎng)絡結(jié)構(gòu)感受野Fig.4 Receptive field of RFB
借鑒Dense連接思想(張為和魏晶晶,2020)本文設計了Dense RFB-FE模塊,通過特征復用把每一個分支的輸出和下一個分支的輸入相連,提取目標特征,豐富感受野的尺度種類,進一步增大感受野,適應多尺度目標的特征提取和有效檢測。如圖5,以19×19×1024的檢測分支為例,經(jīng)過Dense RFB-FE模塊,不再局限增加分支數(shù)、膨脹率、卷積核,通過特征復用,將第1個分支的輸出接入第2個輸入為19×19×256+1024,再把第一、第二分支的輸出都加入第三分支為19×19×256+1024+256,即前面分支的輸出特征圖又經(jīng)過后面分支的空洞卷積,進一步擴大了感受野,增強了細節(jié)特征提取和定位。
圖5 Dense RFB-FE模塊結(jié)構(gòu)圖(19×19×1024為例)Fig.5 Structure of Dense RFB-FE module(19×19×1024)
SSD網(wǎng)絡基礎上加入Dense RFB-FE模塊,感受野尺度和參與運算參數(shù)的變化情況,如表1所示,同時與RFB模塊進行對比。
表1 加入Dense RFB段模塊后網(wǎng)絡變化表Table 1 Chances of adding Dense ERFB-FE module
由表1可知,加入Dense RFB-FE模塊級聯(lián)后感受野尺度變化依次是3、9、11、15、17、23、25,RFB模塊級聯(lián)后感受野尺度變化為3、9、15,相比于RFB模塊,本文提出的Dense RFB-FE模塊級聯(lián)后感受野尺度更大;并且從RFB模塊到Dense RFBFE模塊級聯(lián)后感受野尺度從3種增加到了7種,有效提取不同尺度特征信息。同時相比RFB模塊,Dense RFB-FE模塊在參與級聯(lián)運算后計算量僅增加了3.7%??傊跍\層加入Dense RFB-FE密集連接模塊后不僅保證了計算量變化略小,而且高效增大感受野,有效地增強細節(jié)特征,便于定位和檢測。
其中加入Dense RFB-FE模塊后感受野尺度的計算公式為
式中,RF為感受野尺度,d為膨脹率,k為卷即核大小。加入Dense RFB-FE模塊后浮點運算次數(shù)FLOPs(Floating Point Operations)計算公式為
式中,ci為輸入通道數(shù),co為卷積核通道數(shù),Ho為輸出高度,Wo為輸出寬度,kw和kh分別為卷積核寬和高。
為了增強深層特征信息,增加深層不同尺度特征上下文聯(lián)系,設計一種深層多尺度特征金字塔融合模塊MFPF,基于反卷積(Zeiler和Fergus,2014)和殘差(He等,2016)對conv8_2、conv9_2、conv10_2、conv11_2分別進行融合,不斷增加不同特征層之間的聯(lián)系,增強網(wǎng)絡表達能力。MFPF模塊 采 用FPN思 想(Lin等,2017),conv8_2、conv9_2、conv10_2、conv11_2之間自下而上連接,利用反卷積對深層特征進行重建,獲得上采樣參數(shù),保留特征層信息。為避免上采樣時圖像信息受到噪聲干擾,增加LSTM網(wǎng)絡的門控結(jié)構(gòu),過濾特征層中的無效信息;同時通過1×1conv卷積層整合不同維度信息,增加了模型的深度和非線性。
上采樣前加入LSTM網(wǎng)絡的門結(jié)構(gòu),在過濾上下文無效特征信息中效果良好。采用Sigmoid函數(shù)生成激勵信號:
式中,x為輸入信號,即為特征信息。Sigmoid函數(shù)輸出為0—1,其中1為信息全部輸出,0為信息被過濾不傳遞。
首先在conv11_2上分別進行1×1和3×3的卷積運算,在3×3卷積后分支上加入LSTM網(wǎng)絡的門結(jié)構(gòu)過濾無效信息,所得特征層與1×1卷積運算后的特征層進行通道級聯(lián),得到新的檢測分支conv11_2′;conv10_2進行1×1和3×3卷積,3×3卷積后分支加入LSTM網(wǎng)絡的門結(jié)構(gòu),conv11_2進行反卷積操作,將所得3個特征層進行通道級聯(lián),得到新的檢測分支conv10_2′;conv9_2、conv8_2依次經(jīng)過MFPF模塊,生成新的分支conv9_2′、conv8_2′。如圖6所示,將深層具備抽象語義信息特征和較淺層定位細節(jié)信息特征進行融合,增加上下文特征之間關聯(lián)性,同時過濾無效信息,增強目標檢測的準確性。
圖6 多尺度特征金字塔融合模塊MFPF結(jié)構(gòu)圖Fig.6 Structure of multi-scale feature pyramid fusion module MFPF
鑒于遙感圖像艦船目標自身特性,多尺度、多樣性目標密集排列,背景復雜,易受自然因素光照等影響,因此常常出現(xiàn)正負樣本特征失衡問題。正樣本Pos表示候選框與真實框匹配大于閾值,負樣本Neg表示候選框與真實框標簽匹配小于閾值。本文引入聚焦分類損失函數(shù)(focal loss),解決目標檢測中正負樣本比例嚴重失衡問題,既能調(diào)整正負樣本權重,又控制難易分類樣本的權重。式(4)為本文訓練過程中設計的損失函數(shù):
式中,N為與真實框正匹配的候選框個數(shù),α是兩個任務的側(cè)重比,本文經(jīng)驗證設置α=1。Lfl(x,c)為分類損失函數(shù),Lloc(x,l,g)為位置損失函數(shù),x為輸入圖像,c為目標類別,l為預測邊框,g為真實框。
式(5)為回歸任務Lfl(x,c)損失函數(shù),采用實際偏移和預測偏移的Smooth L1函數(shù),其中l(wèi)和g包含物體位置的4個要素
本文基于公開的光學遙感數(shù)據(jù)集LEVIR和Kaggle艦船識別比賽圖像組成了STAR艦船數(shù)據(jù)集,數(shù)據(jù)集由800×600像素的高分辨率遙感圖像組成(Zou和Shi,2018)。數(shù)據(jù)集涵蓋了人類居住環(huán)境的大多數(shù)類型地面特征,例如城市、鄉(xiāng)村、山區(qū)和海洋。本文采用STAR數(shù)據(jù)集中目標類型為輪船(包括近海艦船和向海艦船),其中包含1491張圖像,3025個艦船目標。采用開源軟件LabelImg對數(shù)據(jù)進行標注,標注為PASCAL VOC數(shù)據(jù)集格式,相比于其本身20類9000張數(shù)據(jù),本文制作數(shù)據(jù)集滿足檢測需求,同時按8∶1∶1例將數(shù)據(jù)集分為訓練集、測試集、驗證集。本文數(shù)據(jù)集樣本示例如圖7。
STAR數(shù)據(jù)集中艦船(包括近海輪船和向海輪船)目標分布較均勻,在遙感圖像數(shù)據(jù)中包含多種因素干擾,如圖7(a)中目標的背景復雜目標排列雜亂無章、圖7(b)中目標被云霧遮擋以及圖7(c)出現(xiàn)海雜波及目標被分割等情況。圖8統(tǒng)計了圖像艦船目標尺度分布的特性,以艦船目標框面積的開方框為度量(謝學立等,2020),由圖8可知面積小于32×32的艦船小目標,以及面積小于96×96的艦船中等目標居多,故在本文中檢測艦船小目標尤為關鍵;同時艦船面積分布在不同的尺度,包含多種因素干擾,體現(xiàn)了目標多尺度性和目標樣本分布均衡性。
圖7 構(gòu)建光學遙感圖像艦船數(shù)據(jù)集樣本示例Fig.7 Ship data samples in optical remote sensing image
圖8 圖像艦船目標尺度分布圖Fig.8 Distribution of the image target scale
目標檢測中常用網(wǎng)絡模型檢測精度的評價指標為精度均值AP(Average Precision),如式(8)每個類別可以根據(jù)準確率(Precision)和召回率(Recall)繪制一條PR曲線(Zhu,2004):
式中,AP是用Precision值為縱軸和Recall值為橫軸的點畫出來的PR曲線下面的面積,即類別的平均精度。其中準確率和召回率的定義分別為:
式中,TP(True Positive)為檢測結(jié)果中提取正確的艦船數(shù),F(xiàn)P(False Positive)為提取錯誤的艦船數(shù),F(xiàn)N(False Negative)為沒有被提取的艦船數(shù);Precision表示在艦船預測結(jié)果中正確識別的結(jié)果,Recall表示在艦船的所有真實標記框中正確識別的結(jié)果。
常用檢測速度評價指標是每秒幀數(shù)FPS(Frame Per Second)(馬健 等,2019),本文使用每秒識別圖像的數(shù)量多少(FPS)來評估目標檢測速度,即每秒幀數(shù),每秒內(nèi)可以處理的圖片數(shù)量或者處理一張圖片所需時間,單位為幀/s,數(shù)值越大,代表模型檢測速度越快。
本文基于Ubuntu18.04系統(tǒng)和深度學習Pytorch框架進行實驗,環(huán)境配置為Intel(R)Core(TM)i7-10750HCPU@2.59GHz,顯卡為NVIDIA GeForce RTX2080 Super,32G內(nèi)存。數(shù)據(jù)集劃分為訓練集1193張對改進后網(wǎng)絡模型進行訓練,采用隨機梯度下降SGD(Stochastic Gradient Descent)不斷優(yōu)化損失函數(shù),其中輸入圖片大小為300×300像素,批處理大小為8,最大迭代次數(shù)為120000,初始學習率為0.001,迭代分別至80000和100000時學習率下降10倍,動量因子為0.9,權重衰減系數(shù)為5E-4。
本文所提檢測方法與SSD(VGG16,ResNet50)、Faster R-CNN、YOLOV2、DSSD、FSSD等幾種經(jīng)典方法進行對比,訓練過程中損失函(分類損失和回歸損失之和)曲線如圖9所示,主要分析SSD(VGG16)和本文改進方法的損失函數(shù)曲線變化過程。表2是幾種典型方法訓練迭代120000次所需時間,結(jié)合圖9可知,隨著迭代次數(shù)不斷增大,所有算法的訓練過程趨于穩(wěn)定并收斂,本文算法收斂速度最快。
圖9 損失變化曲線Fig.9 Change curves of loss
表2 訓練時間對比Table 2 Comparison of training time
為驗證本文所提算法檢測的速度和精度,與SSD算法以及幾種經(jīng)典檢測方法進行對比,并進行精度驗證,分別在驗證集和測試集得出檢測結(jié)果,對比結(jié)果如表3所示。
由表3可知,本文基于Dense RFB和LSTM的多尺度艦船目標檢測算法對光學遙感圖像艦船目標檢測的精度均值(AP)指標明顯優(yōu)于其他檢測算法,當匹配閾值設為0.5,輸入圖片尺寸設定為300×300像素時,精度均值達到81.98%,比原有基于VGG16的SSD網(wǎng)絡提升9%,比FSSD網(wǎng)絡提升5.6%,相比于其他不同輸入的算法,本文所提基于Dense RFB和LSTM的多尺度艦船目標檢測算法由于加入Dense RFB-FE淺層特征增強模塊和深層多尺度特征金字塔融合模塊,使得檢測精度提升明顯,加入淺層特征增強模塊,增大感受野,有效提升對遙感圖像的艦船小目標檢測,同時計算量增加,檢測速度為29.6幀/s,相比于原SSD算法速度略微所有損失,但仍能滿足光學遙感圖像的實時檢測。
表3 各算法在遙感圖像目標檢測的檢測結(jié)果Table 3 Results of different algorithms on the ship target data set
在不同場景中,SSD算法、Faster R-CNN算法、DSSD算法以及本文基于Dense RFB和LSTM的多尺度艦船目標檢測算法對光學遙感圖像部分場景目標檢測結(jié)果所圖10所示。
如圖10(a)、10(b)和10(c)所示,對密集分布艦船目標、小尺度艦船目標及背景復雜艦船目標,SSD、Faster R-CNN及DSSD算法檢測都存在一定的漏檢和誤檢,尤其對于背景復雜目標檢測效果不佳。本文基于Dense RFB和LSTM的多尺度艦船目標檢測算法一定程度減少誤檢和漏檢,均可以較精確檢測出相關的目標物體,體現(xiàn)了基于Dense RFB和LSTM的多尺度艦船目標檢測算法對光學遙感圖像目標檢測的有效性。
圖10 各算法在遙感圖像目標檢測結(jié)果示例Fig.10 Results of different algorithms in the remote sensing image
為驗證加入淺層特征增強模塊Dense RFBFE、深層多尺度特征金字塔融合模塊MFPF,以及引入聚焦分類損失函數(shù)的有效性,依次加入Dense RFB-FE模 塊、MFPF模 塊 和focal loss函 數(shù) 進 行 檢測結(jié)果對比實驗,如表4所示。
表4 加入不同模塊在遙感圖像目標檢測的精度Table 4 Adding different modules to improve the accuracy of remote sensing image target detection
由表4可知,加入淺層特征增強模塊Dense RFB-FE時 精 度 均 值(AP)由70.67%提 升 到73.52%,淺層特征增強模塊增大感受野的種類和尺度,有效增強對光學遙感圖像小目標檢測精度,在此基礎上加入深層多尺度特征金字塔融合模塊MFPF,精度均值再次提升到79.26%,深層特征金字塔融合模塊增加不同特征層之間的聯(lián)系,增強網(wǎng)絡的表達能力。引入聚焦分類損失函數(shù),避免了正負樣本分布不均導致模型訓練退化問題。
通過添加各模塊進行消融實驗,可知本文所提基于Dense RFB和LSTM的多尺度艦船目標檢測算法在背景復雜,目標任意密集排列場景中實現(xiàn)有效檢測,說明基于Dense RFB和LSTM的多尺度艦船目標檢測算法對復雜場景下對光學遙感圖像目標的檢測適應性強,舉例部分檢測結(jié)果如圖11所示。
圖11(b)為不加模塊的檢測結(jié)果(SSD網(wǎng)絡檢測),由于缺乏深淺層特征的有效增強和融合,對部分艦船小目標的檢測效果較差;圖11(c)為加入淺層特征增強模塊(Dense RFB-FE),增強淺層細節(jié)定位能力,對艦船小目標的檢測所有改善;進一步添加深層多尺度特征金字塔融合模塊(MFPF),有效融合了淺層細節(jié)和深層語義的信息,對艦船小目標檢測效果更佳,如圖11(d)。
圖11 加入不同模塊檢測結(jié)果示例Fig.11 Detection results of adding different modules
為了進一步驗證所提基于Dense RFB和LSTM的多尺度艦船目標檢測算法在光學遙感圖像檢測中的有效性和適應性,以及考慮到遙感圖像本身易受云層、大氣顆粒等自然因素影響,對于成像模糊、目標被遮擋、目標部分被裁剪等遙感圖像進行檢測,結(jié)果如圖12所示。
圖12 本文算法與其他算法對模糊目標檢測結(jié)果示例Fig.12 Detection results of fuzzy ship target by different method
通過與其他經(jīng)典算法比對,圖12直觀地表明本文基于Dense RFB和LSTM的多尺度艦船目標檢測算法在光學遙感圖像檢測中有較強的適應性。在大氣顆粒和云霧影響下,SSD和Faster R-CNN算法檢測存在小目標漏檢,DSSD算法檢測出現(xiàn)艦船目標誤檢(島嶼被誤檢為艦船目標)等現(xiàn)象,但本文基于Dense RFB和LSTM的多尺度艦船目標檢測算法對海面云霧遮擋的艦船目標(圖12(a))、部分被裁剪的艦船目標(圖12(b))和復雜環(huán)境中模糊艦船目標(圖12(c))檢測較為精確。這是由于不同特征層進行融合,融合了語義信息和細節(jié)定位信息,提升特征的泛化能力和表征能力,增強網(wǎng)絡對復雜場景目標的檢測能力。
艦船作為重要的海上軍事力量,及時準確地感知和分析海上艦船目標的態(tài)勢,對鞏固我國國防、維護海洋權益具有重要意義??紤]到遙感圖像自身背景復雜、遙感目標檢測效果不佳等問題,本文提出一種基于Dense RFB和LSTM的多尺度艦船目標檢測算法。主要創(chuàng)新點如下:
(1)由于遙感圖像艦船目標多尺度、多樣性特性,直接應用深度學習方法檢測遙感艦船目標效果不佳,尤其對于較小目標,本文借鑒RFB網(wǎng)絡思想(模仿人眼視點圖),進一步采用Dense連接思想,設計Dense RFB特征增強模塊,通過特征復用,豐富感受野的尺度和種類,有效提升淺層網(wǎng)絡細節(jié)特征的提取能力。
(2)采用FPN和LSTM思想,設計深度多尺度特征金字塔融合模塊,基于反卷積對深層特征進行重建,保留特征層的空間層級化信息;增加LSTM門控結(jié)構(gòu),過濾特征層中的無效信息;同時與殘差網(wǎng)絡進行多尺度特征融合,增加上下文特征之間關聯(lián)性,增強檢測的魯棒性和準確性。
(3)鑒于遙感圖像背景復雜,易受自然因素光照云層等影響,引入聚焦分類損失函數(shù)不斷優(yōu)化模型,解決正負樣本失衡問題,增強了網(wǎng)絡泛化能力,提升了對光學遙感圖像背景復雜和模糊艦船目標的檢測效果。
未來將進一步優(yōu)化算法,針對遙感圖像艦船目標自身多尺度、排列密集等問題,結(jié)合相應的旋轉(zhuǎn)框進行精確定位,降低復雜背景干擾,減少冗余計算量,兼顧速度和精度,同時擴充遙感圖像艦船目標數(shù)據(jù)集,以提升對光學遙感圖像艦船目標檢測能力。