關(guān)鍵詞:圖像處理;合成孔徑雷達;深度學習;目標檢測
中圖分類號:TP391 文獻標志碼:A DOI:10.12305/j.issn.1001-506X.2024.12.09
0引言
雷達是一種通過電磁波束來探測目標參數(shù)并可以對目標進行定位的電子設(shè)備,具有全天候、全天時、距離遠和觀測帶寬廣的特點[14]。合成孔徑雷達(syntheticaperturera-dar,SAR)利用電磁回波主動進行成像,在多個領(lǐng)域都有十分顯著的應用價值[58]。但是,由于碼頭背景雜波和雷達成像時設(shè)備內(nèi)部噪聲的影響,檢測算法在面對近岸船舶目標和遠洋強干擾船舶目標時,往往容易造成漏警及虛警。因此,需要使用精確度較高的檢測方法,才能保證在實際應用中達到較好的檢測精度。
計算機硬件技術(shù)的發(fā)展,使得機器學習技術(shù)[913]飛速發(fā)展,讓SAR圖像的目標檢測技術(shù)有了廣闊的發(fā)展空間,在很大程度上彌補了傳統(tǒng)的基于恒虛警率(constantfalsealarmrate,CFAR)算法[1416]在檢測準確性和實時性方面的不足。在SAR圖像艦船目標檢測任務(wù)中,由于灰度特性的極大差異,圖像中的艦船目標與海面背景之間的區(qū)分較為明顯,且實際情況中待檢測的船舶目標大小差異較大,需要多尺度的檢測算法對其進行檢測。但就現(xiàn)有目標檢測技術(shù)[1719]的發(fā)展而言,這些算法均是基于光學圖像所開發(fā),其網(wǎng)絡(luò)的特征提取模式主要用于提取光學圖像中的紋理和語義信息,而SAR圖像依靠雷達天線對目標回波(微波或者毫米波)進行相干積累成像的結(jié)果,并且現(xiàn)有諸多SAR 圖像[2024]中的三通道圖像的每個通道的數(shù)據(jù)都是相同的,這對于專門為三通道圖像設(shè)計的檢測算法而言,無疑存在一定的計算資源浪費,并且造成一定的信息冗余,對提高檢測精度無益。
針對以上問題,國內(nèi)外部分學者通過設(shè)計濾波算法對現(xiàn)有的開源SAR 圖像數(shù)據(jù)集中的圖像進行預處理,得到一個新的數(shù)據(jù)集,以此來對目標檢測網(wǎng)絡(luò)進行訓練,以起到提高識別準確率的作用。文獻[25]提出一種充分利用多通道融合SAR 圖像的處理方法,通過基于高斯濾波的非下采樣連續(xù)變換算法,對訓練數(shù)據(jù)集中的SAR 圖像進行預處理。該圖像預處理方法將原始數(shù)據(jù)集中的單通道SAR 圖像利用基于高斯金字塔[26]的非下采樣連續(xù)變換方法擴展到3個通道,構(gòu)成一個新的數(shù)據(jù)集,并用其對YOLO(youonlylookonce)v4[2728]目標檢測算法進行訓練和測試。但是,該算法仍然存在船舶目標紋理信息提取不夠充分的問題,導致其對檢測準確性的提升效果有限。
經(jīng)過對各類開源數(shù)據(jù)集中SAR 圖像的船舶目標區(qū)域的觀察分析發(fā)現(xiàn),船舶目標在圖像中呈現(xiàn)出大長寬比、兩頭較尖或較圓的特點。相比之下,其他的近岸物體輪廓呈現(xiàn)出不規(guī)則的形狀,噪聲點呈現(xiàn)出較小的斑點狀,與圖像中的艦船目標在形狀、輪廓上存在較大差異。本文利用這一特點,設(shè)計一種基于二維圖像平滑和銳化的圖像預處理模塊,并將其命名為ORLM (Original,Roberts,Laplace,Mean)模塊。該預處理模塊利用平滑濾波對原SAR 圖像進行噪聲消除處理,利用銳化濾波對原SAR 圖像進行目標輪廓提取操作,得到一組適用于現(xiàn)有SAR 圖像數(shù)據(jù)集的通道擴展預處理模塊。最后,通過在SAR 艦船檢測數(shù)據(jù)集(SARshipdetectiondataset,SSDD)[21]和大規(guī)模SSDD(lowgescaleSSDD,LSSSDD)數(shù)據(jù)集[22]上的實驗,驗證了本文算法被應用于YOLOv5中型(YOLOv5medium,YOLOv5m)模型等各類目標檢測網(wǎng)絡(luò)上時,對提高檢測準確性的作用。
1犛犃犚圖像通道擴展預處理算法
1.1犛犃犚圖像預處理模塊設(shè)計思路
SAR 圖像中的船舶目標有著和其他物體不同的輪廓特征。背景噪聲在圖像中呈現(xiàn)出椒鹽斑點形,而碼頭集裝箱呈現(xiàn)出規(guī)則的矩形,碼頭上的其他物體則呈現(xiàn)出不規(guī)則的多邊形,只有船舶目標呈現(xiàn)出兩頭較尖或較圓且長寬比較大的形狀。而現(xiàn)有的開源SAR 圖像數(shù)據(jù)集中,雖然圖像都是三通道的,但其每一個通道的數(shù)據(jù)均是相同的,而現(xiàn)有絕大多數(shù)基于深度學習的目標檢測器均基于三通道RGB(red,green,blue)圖像開發(fā)。因此,當輸入圖像的3個通道數(shù)據(jù)均相同時,難免會在通道維度上存在計算資源的浪費。與此同時,船舶獨特的輪廓特征是相對海面上其他地物非常有辨識度的特征,值得重點利用。平滑算法可以通過鄰域處理的思想抹去一部分椒鹽噪聲,而銳化濾波可以利用梯度信息增強圖像中的目標邊界。
因此,本文設(shè)計的預處理模塊,利用平滑和銳化的算法,對SAR 圖像中單個通道的數(shù)據(jù)進行處理,得到平滑子圖和銳化子圖,并將其再次融合形成三通道圖像,起到減少噪聲并且增強船舶輪廓特征的作用,該過程如圖1所示。
1.2犗犚犔犕預處理模塊
為了在避免噪聲干擾的情況下更好地增強輪廓信息,同時對原始SAR 圖像中的細節(jié)信息予以充分保留,將一張三通道的SAR 圖像取出一個通道的數(shù)據(jù),以ord表示,并利用Roberts銳化算法對其進行銳化濾波,得到輪廓特征子圖Roberts(ord)。再將原始單通道數(shù)據(jù)ord進行均值平滑濾波,得到去噪特征子圖Means(ord),并將得到的去噪特征子圖再進行Laplace銳化,得到輪廓特征子圖Laplace(Means(ord))。以上操作可以充分保留原圖中的所有信息、原圖中所有物體的輪廓特征信息,以及原圖經(jīng)過去噪后其中所有目標物體的輪廓特征信息。通過以上預處理算法的處理,可以較好地避免噪聲對圖中物體輪廓信息的干擾,并且避免了去噪處理將圖像中較小的目標信息去除的過程。
Roberts銳化算法是基于交叉差分的梯度算法,采用對角相差的差分方法代替微分,利用局部差分的方式計算檢測邊緣線條。該算子的模板分為水平方向模板dx和垂直方向模板Dy,分別如下所示:
2仿真實驗與性能分析
2.1實驗平臺及實驗參數(shù)
本文所有實驗均在Pytorch深度學習框架上開展。實驗中使用的硬件設(shè)備情況如下:
CPU:Intel(R)Xeon(R)Silver4214CPU@2.20GHz2.20GHz(兩個處理器)。
GPU:NVIDIA GeForceRTX3090,24G。
操作系統(tǒng):Windows10-企業(yè)版。
軟件配置:Python語言和Pytorch框架的開發(fā)環(huán)境為Pycharm,采用CUDA11.5 加速。在本文涉及到的實驗訓練過程中,訓練迭代輪次數(shù)為300;warmup_epochs 和warmup_momentum 分別設(shè)置為3和0.8;訓練和測試過程中的batch_size大小分別設(shè)置為16 和32。輸入圖像大小統(tǒng)一為640×640。該優(yōu)化算法為隨機梯度下降法,初始學習率為0.01;動量因子和權(quán)重衰減因子分別設(shè)置為0.937和0.0005。在以上設(shè)置下,本文中的所有算法均可實現(xiàn)收斂。
2.2實驗數(shù)據(jù)集情況
本文實驗中采用的數(shù)據(jù)集為SSDD 數(shù)據(jù)集[21]和LS-SSDD 數(shù)據(jù)集[22]。
SSDD 數(shù)據(jù)集中的圖片采用jpg 格式,標簽文件采用txt格式,其中包含1160張SAR 圖像,目標類別數(shù)為1,即船舶目標。目標共計包含2456 艘船,每張圖像的平均船舶數(shù)為2.12艘,圖像邊長約為300~500 像素。將數(shù)據(jù)集分成兩個部分(訓練集和測試集),其比例為8∶2。該數(shù)據(jù)集的基本情況如表1 所示[23],極化模式包含HH(horizontal-horizontal)、VV(vertical-vertical)、VH(vertical-horizontal)和HV(horizontal-vertical)。
LS-SSDD數(shù)據(jù)集中包含15 幅大型SAR 圖像,極化模式包含VV 和VH 兩種模式,成像模式為干涉測寬(inter-ferometricwide,IW)模式,SAR 專家通過自動識別系統(tǒng)和谷歌地球的支持,正確標記了這些圖像的目標位置。為了便于網(wǎng)絡(luò)訓練,將大規(guī)模圖像直接切割成9000 個大小為800×800 的子圖像。LS-SSDD-v1.0 數(shù)據(jù)集具有以下優(yōu)點:① 背景規(guī)模較大;② 包含豐富的小目標;③ 包含很多純背景圖片。在驗證預處理模塊應用于由不同骨干特征提取的網(wǎng)絡(luò)中的效果時,本文將采用SSDD 數(shù)據(jù)集和LS-SSDD數(shù)據(jù)集分別進行驗證。
2.3評價指標
本文主要研究的是將預處理模塊應用于網(wǎng)絡(luò)后對檢測準確率和實時性的影響。
在檢測精度方面,主要通過以下兩個指標進行度量:F1分數(shù)(F1_score),平均準確率(meanaverageprecision,mAP),而F1_score是精準率(precision,P)和召回率(recall,R)的調(diào)和平均值。這兩個指標的定義公式分別如下所示:
式中:TP表示分類器識別正確;FP表示分類器識別結(jié)果錯誤,將負樣本誤認為正樣本;FN 表示分類器識別結(jié)果錯誤,將正樣本誤認為負樣本。
F1_score可以看作是對檢測模型犘和犚的調(diào)和平均,取值范圍為[0,1]。而mAP代表各個類別目標對應的犘犚曲線與橫縱坐標軸圍成的區(qū)域面積的均值,計算公式如式(9)所示,其中狀表示數(shù)據(jù)集中的目標類別數(shù),Pi(Ri)表示第犻個類別對應的PR 曲線。mAP這一指標,可根據(jù)區(qū)域重疊與合并比例(intersectionoverunion,IoU)閾值的不同設(shè)定分為兩種:mAP@0.5 和mAP@0.5:0.95。其中,mAP@0.5表示在非極大值抑制過程中,將IoU 閾值設(shè)置為0.5時,得到的各類別對應的P-R 曲線與坐標軸圍成的面積的均值。mAP@0.5:0.95表示將IoU 閾值在[0.5,0.95]這個區(qū)間內(nèi)以0.05 為步長取不同值的情況下,得到的mAP平均值。
實時性是指檢測算法的運行速度,可以反映算法的實際部署難度和檢測實時性。由于本文并不會引入待優(yōu)化參數(shù),因此并不會影響檢測網(wǎng)絡(luò)的每秒浮點運算次數(shù)(floatingpointoperationspersecond,FLOPs)。但是,由于數(shù)據(jù)讀取過程中造成的時間開銷并不可忽略[29],因此本文主要通過直接速度指標檢測幀率(framespersecond,FPS),來度量預處理模塊對檢測實時性的影響。
2.4實驗方案及分析
實驗主要分為3個部分。
(1)預處理算法設(shè)計。主要通過使用不同的平滑和銳化濾波算法構(gòu)建預處理模塊,并將該預處理模塊應用于YOLOv5目標檢測器的數(shù)據(jù)讀取模塊中,對比其檢測性能,進而驗證本文的組合是其中最好的。
(2)不同骨干特征提取網(wǎng)絡(luò)在使用ORLM 模塊前后的檢測性能對比。分別使用深度殘差網(wǎng)絡(luò)跨階段部分(crossstagepartial,CSP)DarkNet和CSPDarkNet53,以及輕量化骨干網(wǎng)絡(luò)ShuffleNetV2 和MobileNetV3 作為檢測器的骨干網(wǎng)絡(luò),對比加入ORLM 預處理模塊前后的準確性和實時性。
(3)本文預處理算法ORLM 模塊和其他預處理算法的性能對比。分別使用非子采樣Laplacian金字塔(non-sub-samplingLaplacianpyramid,NSLP)預處理算法和ORLM 模塊預處理算法作為YOLOv5 目標檢測器對應的預處理算法,對比兩者帶來的準確性和實時性增益。
2.4.1預處理算法設(shè)計驗證
平滑濾波和銳化濾波算法有很多種,本節(jié)選取應用較為普遍的Sobel銳化,結(jié)合Laplace銳化和Roberts銳化,以及應用更加普遍的高斯平滑和中值平滑,并結(jié)合均值平滑進行組合,構(gòu)成“銳化+ 平滑+ 銳化”或“銳化+ 平滑”兩大類預處理算法,與本文設(shè)計的ORLM 模塊進行性能對比,將其都應用在YOLOv5m 目標檢測算法的數(shù)據(jù)讀取端,對比其對目標檢測算法檢測準確性的改善作用。由于Ro-berts銳化對富含噪聲的原圖銳化效果最好,因此只利用Roberts銳化算法對原圖進行銳化。得到的實驗結(jié)果如表2所示,其中ord表示原始SAR 圖像中的一個通道數(shù)據(jù),表格最后一行表示不經(jīng)過任何預處理算法的結(jié)果。Sobel(·)表示對圖像進行Sobel銳化處理,Gaussian(·)表示對圖像進行高斯平滑處理,Median(·)表示對圖像進行中值平滑處理,Mean(·)表示對圖像進行均值平滑處理。
通過進一步的對比發(fā)現(xiàn),除了ord+Roberts(ord)+Roberts(Median(ord))的預處理算法外,預處理模塊的加入使得網(wǎng)絡(luò)在mAP@0.5:0.95這個指標上有了不同程度的提升,而在F1_score和mAP@0.5這兩個指標上的提升并不明顯。相比之下,ord+Roberts(ord)+Laplace(Mean(ord))預處理算法(即本文設(shè)計的ORLM 模塊)得到的檢測性能最佳,并且在mAP@0.5上提高了0.3%,而在mAP@0.5:0.95這個指標上提升了1%,在F1_score上提高了0.4%。
將經(jīng)過上述預處理后的圖片對原始YOLOv5 算法進行訓練和測試,得到的檢測結(jié)果如圖5所示。
經(jīng)過對比圖5中的檢測結(jié)果發(fā)現(xiàn),在加入預處理算法之后,圖片的每個通道數(shù)據(jù)和原來相比發(fā)生了變化。在視覺上,目標的辨識度更低,但是經(jīng)過實際檢測結(jié)果的對比發(fā)現(xiàn),如圖5(c)中的綠框所示,預處理算法的加入使得網(wǎng)絡(luò)對遠洋小目標的漏檢情況減少。雖然目標檢測算法本身沒有做任何的修改,但是由于圖像預處理算法中ORLM 模塊的加入,網(wǎng)絡(luò)會學習到更多SAR 圖像中各類目標的輪廓信息,從而達到提升對目標區(qū)域信息提取能力的目的,實現(xiàn)了提高識別準確率的目的。
以上實驗結(jié)果充分說明,本文提出的ORLM 模塊預處理算法可以充分利用并增強SAR 圖像中的目標輪廓特征,減少噪聲干擾,是非常有效的預處理算法。
2.4.2ORLM 模塊在不同骨干網(wǎng)絡(luò)中的應用
在本節(jié)實驗中,以ORLM 模塊作為檢測器的數(shù)據(jù)預處理模塊,并以YOLOv5的骨干網(wǎng)絡(luò)CSPDarkNet、YOLOv4的骨干網(wǎng)絡(luò)CSPDarkNet53,以及輕量化網(wǎng)絡(luò)ShuffleNetV2[29]、MobileNetV3[3031]作為骨干特征提取網(wǎng)絡(luò),以路徑聚合網(wǎng)絡(luò)(pathaggregationnetwork,PANet)為特征融合網(wǎng)絡(luò)搭建目標檢測器,對比加入該預處理模塊前后目標檢測器的綜合檢測性能,從而確定該模塊是否可以適用于各種骨干網(wǎng)絡(luò)。為了驗證該預處理模塊的有效性,本文在SSDD 數(shù)據(jù)集和LS-SSDD 數(shù)據(jù)集上都進行了實驗,分別比較mAP@0.5、mAP@0.5:0.95、F1_score、FLOPs、FPS這5個指標,其結(jié)果如表3和表4所示。
從實驗結(jié)果可以看出,本文提出的預處理算法在被應用于不同的骨干特征提取網(wǎng)絡(luò)中時,都能取得準確性的提升。在使用CSPDarkNet和CSPDarkNet53 作為骨干網(wǎng)絡(luò)時,精度指標mAP@0.5:0.95 和F1_score均得到了不小的提升,而使用輕量化網(wǎng)絡(luò)ShuffleNetV2 和MobileNetV3作為骨干網(wǎng)絡(luò)時,網(wǎng)絡(luò)的F1_score略有下降,但是mAP@0.5:0.95有明顯的提升。觀察SSDD 數(shù)據(jù)集上的檢測結(jié)果可以發(fā)現(xiàn),雖然預處理算法并不會帶來網(wǎng)絡(luò)本身運算量的提高,但是由于該預處理算法在數(shù)據(jù)讀取過程中需要進行濾波計算,因此會在一定程度上降低FPS,但是相比于檢測準確性能的提升,FPS的下降并不明顯。而通過觀察LS-SSDD數(shù)據(jù)集上的檢測結(jié)果可以發(fā)現(xiàn),在加入本文所提預處理算法后,FPS有一定程度上的提高。
2.4.3ORLM 模塊與現(xiàn)有預處理算法性能的對比
在本節(jié)實驗中,將本文提出的ORLM 模塊預處理算法和現(xiàn)有的NSLP[17]通道擴展集成預處理算法都進行集成,并加入到YOLOv5m 目標檢測網(wǎng)絡(luò)的數(shù)據(jù)讀取模塊中,將訓練結(jié)果進行對比,得到的結(jié)果如表5所示。通過對比表5中的實驗結(jié)果可以發(fā)現(xiàn),本文提出的ORLM 模塊預處理算法的各種準確性能相對NSLP 預處理算法都更高,雖然在FPS方面略有欠缺,但是并不明顯。因此可以得出結(jié)論:本文預處理算法具有廣泛的可靠性能,并且優(yōu)于現(xiàn)有預處理算法。
3結(jié)論
針對SAR 圖像每個通道數(shù)據(jù)都相同、進而導致進行深度學習訓練時卷積神經(jīng)網(wǎng)絡(luò)的計算資源存在浪費的問題,本文提出的ORLM 模塊預處理算法可以在不明顯降低FPS的前提下,提高檢測準確性,通過實驗對比分析,可以得到以下結(jié)論:
(1)本文提出的SAR圖像預處理模塊在被應用于各種深度卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)讀取步驟中時,均可以較好地提?。樱粒?圖像中目標的輪廓特征,因此可以明顯提高檢測準確率,并且在一定程度上保持檢測實時性。
(2)本文提出的SAR圖像預處理模塊,在被應用到各種不同的骨干網(wǎng)絡(luò)中時均可提升檢測準確性能,并且優(yōu)于現(xiàn)階段的先進預處理算法。
作者簡介
龔峻揚(1998—),男,碩士研究生,主要研究方向為基于深度學習的SAR 圖像目標檢測技術(shù)、信號處理。
付衛(wèi)紅(1979—),女,教授,碩士研究生導師,博士,主要研究方向為盲信號處理、深度學習、目標檢測。
劉乃安(1966—),男,教授,博士,主要研究方向為寬帶無線IP 網(wǎng)絡(luò)與技術(shù)、無線通信。