丁金閃 仲 超 溫利武 徐 眾
(西安電子科技大學(xué)雷達信號處理國家級重點實驗室 西安 710071)
視頻合成孔徑雷達(Video Synthetic Aperture Radar,Video SAR)作為一種高幀率雷達成像系統(tǒng),可對場景連續(xù)觀測[1–3]。視頻SAR具備較強的動目標實時探測潛力,近年來在國內(nèi)外引起廣泛關(guān)注。
傳統(tǒng)SAR地面動目標顯示(Ground Moving Target Indication,SAR-GMTI)主要圍繞目標后向散射能量展開。經(jīng)典的單通道方法有頻域濾波[4]和時頻分析方法[5,6]等。多通道方法如偏置相位中心天線[7]和沿航向干涉[8]則通過更有效的雜波抑制進而實現(xiàn)動目標能量的提取。上述方法通常對信雜噪比(Signal to Clutter and Noise Ratio,SCNR)、目標散焦程度和通道一致性有較高要求。視頻SAR系統(tǒng)的高載頻使得相同分辨率要求下所需合成孔徑時間更短,因此動目標易留下能反映其真實位置的陰影[9],并且不依賴目標本身的雷達散射截面積(Radar Cross Section,RCS),為視頻SAR動目標檢測跟蹤提供了另一重要途徑。近年來許多單位針對動態(tài)陰影的檢測跟蹤算法展開研究。文獻[10–12]通過經(jīng)典圖像處理方法,實現(xiàn)對運動目標陰影的有效檢測。文獻系統(tǒng)分析了視頻SAR中陰影形成機制和檢測性能,并分別利用經(jīng)典圖像處理方法和深度神經(jīng)網(wǎng)絡(luò)方法實現(xiàn)了動目標陰影的檢測與預(yù)測。文獻[13]提出了適用于視頻SAR的檢測前跟蹤(Track-Before-Detect,TBD)陰影檢測與跟蹤方法。文獻[14]利用背景感知的相關(guān)濾波器(Background-Aware Correlation Filter,BACF)實現(xiàn)對運動目標陰影的快速跟蹤。文獻[15–17]基于深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對視頻SAR中動目標陰影檢測。然而,基于陰影的動目標檢測仍存在諸多問題需要解決。動目標陰影是典型的弱小目標,受系統(tǒng)噪聲及復(fù)雜背景環(huán)境影響,在檢測中易產(chǎn)生虛警和漏警。此外,陰影還受目標自身的影響,高速目標的陰影邊界模糊,不利于觀測,自身或其他目標散焦的能量亦對陰影產(chǎn)生干擾,從而導(dǎo)致漏警。因此,無論是基于目標能量或其陰影信息,均難以實現(xiàn)目標的穩(wěn)健檢測。
本文基于雙域聯(lián)合的視頻SAR動目標檢測思想,使用基于雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Dual Faster Region-based Convolutional Neural Network,Dual Faster R-CNN)[18]的跨域聯(lián)合檢測方法以實現(xiàn)低虛警率檢測。通過將高分辨SAR圖像和低分辨距離多普勒(Range-Doppler,RD)譜作為輸入,采用一種方位坐標變換方法共享兩個獨立區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)提供的雙域區(qū)域建議,以驅(qū)動網(wǎng)絡(luò)在同一距離附近同時檢測動目標的陰影與能量。另一方面,本文使用一種基于跨域航跡關(guān)聯(lián)(Joint Track Association,JTA)檢測方案來實現(xiàn)可靠的動目標檢測。通過對目標陰影和能量的檢測、幀間關(guān)聯(lián)和域間匹配,逐步實現(xiàn)虛警抑制。充分結(jié)合目標陰影與能量的空時信息,完成對漏警目標的重建,并給出多種典型情形下機動目標的檢測方案。最后,通過太赫茲視頻SAR實測數(shù)據(jù),驗證了算法有效性。
視頻SAR系統(tǒng)一般設(shè)計工作在高載頻,運動目標回波的多普勒調(diào)制對目標速度極敏感,極小的徑向速度也會使目標能量發(fā)生很大的位置偏移,并在SAR圖像中留下能夠反映真實位置及狀態(tài)信息的陰影。因此,利用圖像中目標陰影,和RD譜中位置偏移的目標能量在原理上可實現(xiàn)對運動目標的檢測。
圖1給出了美國Sandia實驗室公布的視頻SAR結(jié)果,其中紅、白點線表示在SAR圖像(RD譜)中陰影(多普勒能量)的潛在位置。可以看出,慢速目標陰影較為明顯,其能量位置偏移較??;而快速目標的陰影邊界模糊,其能量位置偏移較大。
圖1 美國Sandia實驗室公布的視頻SAR結(jié)果Fig.1 SAR video released by Sandia laboratory
本文通過如圖2所示方法來獲取視頻SAR圖像序列及對應(yīng)RD譜。沿慢時間將原始數(shù)據(jù)劃分為連續(xù)子孔徑,SAR圖像序列由各子孔回波經(jīng)預(yù)濾波和成像處理而來,RD譜則通過在子孔徑中心附近的K個連續(xù)脈沖(虛線框范圍所示)經(jīng)快速傅里葉變換(Fast Fourier Transform,FFT)獲得。為更有效地積累動目標能量,通常要求K個脈沖時間內(nèi)目標不發(fā)生過大的距離走動,本文采用0.5 m作為可接受走動量對K進行選取。
圖2 SAR圖像及距離多普勒譜示意圖Fig.2 Illustrations of SAR image and RD spectrum
本節(jié)使用端到端雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)框架以提升視頻SAR中的陰影檢測性能。通過聯(lián)合利用動目標在SAR圖像和RD譜中的特征,實現(xiàn)單幀的低虛警檢測。
對于圖1(a)所示的慢速運動目標,陰影與背景的對比度更強,陰影邊界清晰。在這種情況下,由RPN提供的區(qū)域建議A將以較高的置信度檢測SAR圖像中的陰影。假設(shè)在RD譜中,其多普勒能量受限于紅點線范圍內(nèi),則可以將區(qū)域建議A轉(zhuǎn)換至RD譜中的受限區(qū)域,以搜索動目標的多普勒能量。一旦檢測到對應(yīng)能量,則宣稱一個可靠的檢測。另外,對于圖1(b)所示的快速目標,主雜波譜外的多普勒能量便于檢測,然而由于模糊的陰影邊界,在SAR圖像中檢測陰影是比較困難的。區(qū)域建議B能夠準確地檢測目標能量,因此陰影位置也受限于紅點線。在這種情況下,通過驅(qū)使網(wǎng)絡(luò)在受限區(qū)域內(nèi)尋找陰影,聯(lián)合檢測方法可以檢測到模糊的陰影。相比于傳統(tǒng)僅基于圖像的陰影檢測,聯(lián)合檢測可以提升對快速目標的檢測性能。此外,假設(shè)在SAR圖像中,區(qū)域建議C是一個虛假建議。盡管它容易被分類為陰影,但是在RD譜的對應(yīng)位置無法檢測到其多普勒能量,因此該虛警可被抑制。
本文用于聯(lián)合檢測的雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Dual Faster R-CNN)結(jié)構(gòu)如圖3所示。在預(yù)處理中,所有目標被標記為3類:陰影(視頻SAR圖像中可見的陰影目標)、遮擋陰影(視頻SAR圖像中被遮擋的陰影目標)以及目標多普勒(距離多普勒譜中目標的多普勒能量)。網(wǎng)絡(luò)的輸入為串聯(lián)的圖像Ω={α,β},尺寸為H×I,其中α是 尺寸為H ×I1的高分辨視頻SAR圖像,β是尺寸為H×I2的低分辨距離多普勒譜,I=I1+I2。圖像Ω輸入網(wǎng)絡(luò)后,被拆分為兩部分,α被輸入至網(wǎng)絡(luò)的圖像域部分而β則被輸入至多普勒域部分。兩個獨立的特征提取網(wǎng)絡(luò)被用于對α和β分別進行特征提取,并得到SAR圖像的特征圖和多普勒特征圖。
圖3 基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的雙域聯(lián)合檢測流程圖Fig.3 Flow chart of joint detection algorithm based on Dual Faster R-CNN
得到各自的特征圖后,利用文獻[19]提出的RPN產(chǎn)生區(qū)域建議。構(gòu)建兩個獨立的區(qū)域建議網(wǎng)絡(luò):圖像域RPN和多普勒域RPN。以圖像域RPN為例,首先基于提取得到的SAR特征圖產(chǎn)生數(shù)個矩形候選區(qū)(anchors),隨后通過卷積層對每個anchor進行前/背景二分類以及預(yù)測邊界框的平移、縮放等回歸參數(shù)。圖像域RPN以及多普勒域RPN各自的損失函數(shù)可以表示為[19]
其中,Lrpn_cls(·)是二分類交叉熵損失函數(shù)(背景/前景),pIi是圖像域中第i個anchor預(yù)測為目標的概率是它的真實標簽(1為目標,0為背景)。Lrpn_reg(·)是 回歸損失函數(shù)。tIi是預(yù)測框的4個平移與縮放參數(shù)是標簽框的對應(yīng)參數(shù)。γ是多任務(wù)損失函數(shù)的平衡參數(shù)。Nrpn_cls和Nrpn_reg分別是RPN訓(xùn)練過程中設(shè)置的批尺寸和所有anchor位置的數(shù)量。式(1)中參數(shù)的計算方式由文獻[19]給出。(多普勒域參數(shù)與圖像域參數(shù)含義相同。)隨后,圖像域RPN和多普勒域RPN分別提供ε個精確的區(qū)域建議以訓(xùn)練后續(xù)的檢測網(wǎng)絡(luò)。圖像域RPN提供的第i個區(qū)域建議γi和多普勒域RPN提供的第j個區(qū)域建議ηj可以表示為
一個方位坐標變換方法被用于共享SAR圖像和RD譜中的區(qū)域建議,以獲得成對區(qū)域建議,它們具有相同的距離坐標和不同的方位坐標,其主要包含3步。
步驟1 計算γi與ΛD中所有區(qū)域建議的距離坐標差。假設(shè)第m個區(qū)域建議ηm具有最小的距離坐標差,即
步驟2 通過保持距離坐標不變并且使用ηm的方位坐標,SAR圖像中的區(qū)域建議γi可以被轉(zhuǎn)換至RD譜中,其可以表示為
步驟3 使用式(4)和式(5)將ΛI中的所有區(qū)域建議轉(zhuǎn)換至RD譜中,同理將ΛD中的所有區(qū)域建議轉(zhuǎn)換至SAR圖像中,可以得到成對的區(qū)域建議,表示為
最后,使用兩個感興趣區(qū)域(Region of Interest,RoI)池化層得到每對區(qū)域建議對應(yīng)的圖像域特征和多普勒域特征。這些特征分別經(jīng)過兩個全連接層進行目標類別預(yù)測以及檢測框的回歸,損失函數(shù)可以表示為
其中,Limg_cls(·)和Ldop_cls(·)分別是圖像域中的3分類(背景/陰影/遮擋陰影)和多普勒域中的兩分類(背景/目標多普勒)交叉熵損失函數(shù)。因此,雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Dual Faster R-CNN)的總損失函數(shù)可以表示為
在測試階段,首先獲得在圖像域以及距離多普勒域中的成對檢測框。是一對具有相同距離坐標、不同方位坐標的成對檢測框,其中n=1,2,...,2ε。當且僅當它們對目標的分類得分滿足以下3個條件之一時,視為正確檢測,否則作為無效檢測。
其中,函數(shù)S(·)表示該檢測框?qū)δ繕说姆诸惖梅帧1,V2和V3均 為置信度門限,并且V2>V1>V3。條件1作為強約束條件,要求對圖像域和多普勒域中的目標分類得分均高于門限V1,其有效地抑制了在單域檢測中容易產(chǎn)生的虛警。但是這種強約束以犧牲漏警為代價換取更少的虛警。為避免漏警的惡化,補充條件2和條件3的弱約束,其中V2是極高的置信度門限,可取大于等于0.95。若一對檢測框在某個域中對目標具有極高的分類得分,即使在另一個域中得分低于V1,也將其視為一組正確檢測,但是也應(yīng)高于門限V3。條件2有利于對慢速目標的檢測,此時陰影清晰但多普勒能量可能受到雜波的干擾。條件3有利于對快速目標的檢測,此時位于雜波譜外的多普勒能量便于檢測,然而陰影對比度下降或者受到SAR圖像中其他弱散射區(qū)域的干擾。最后,對經(jīng)過式(9)篩選后剩余的成對檢測框,分別在進行圖像域及多普勒域的非極大值抑制后,得到最終的檢測結(jié)果。式(9)所示的每個約束條件均為雙門限檢測,因此Dual Faster R-CNN聯(lián)合利用目標在SAR圖像和RD譜中的特征,具有穩(wěn)健的動目標 檢測能力。
通過目標陰影與能量的匹配,可有效提升檢測的虛警抑制能力。在實際中,因系統(tǒng)參數(shù)、環(huán)境因素和運動狀態(tài)的影響,動目標的陰影和能量易受到遮擋和涂抹[9]。在常規(guī)方法中,圖像處理將引入大量的虛警和漏警,為此,我們結(jié)合幀間關(guān)聯(lián)與域間匹配處理,在此前工作[20]的基礎(chǔ)上提出改進的跨域航跡關(guān)聯(lián)的動目標檢測方法。
本方法的處理流程如圖4所示,首先分別在SAR圖像和RD譜內(nèi)對陰影和能量進行預(yù)檢測。其次利用邏輯關(guān)聯(lián)法[21,22]對預(yù)檢測結(jié)果進行幀間關(guān)聯(lián)并形成候選航跡。然后利用距離約束對陰影和能量的候選航跡進行匹配處理。一方面,對于成功匹配的航跡對予以確認,另一方面單域內(nèi)關(guān)聯(lián)性較強的航跡亦可作為對目標的確認。結(jié)合幀間數(shù)據(jù)關(guān)聯(lián)及域間航跡匹配,預(yù)檢測中的虛警可被有效抑制,對于因遮擋或涂抹導(dǎo)致的漏警,本方法通過聯(lián)合處理進行重建和預(yù)測。通過充分利用目標陰影與能量的空時信息,極大地改善了虛警和漏警,進而實現(xiàn)穩(wěn)健的視頻SAR動目標檢測。
圖4 跨域航跡聯(lián)合的動目標檢測算法流程圖Fig.4 Flow chart of joint detection algorithm based on JTA
與此前工作[20]相比,一方面,本文采用背景抑制的圖像域檢測以減少虛警的干擾,同時在待搜索區(qū)域進行直接恒虛警(Constant False Alarm Rate,CFAR)檢測對慢速陰影實現(xiàn)檢測。另一方面,利用能量進行漏警重建時,本文直接通過目標能量的距離位置和陰影運動方向估計值進行重建,避免像原始方案中那樣對待搜索區(qū)域進行逐像素的搜索。所提方法旨在為實測數(shù)據(jù)提供更可靠和實用的檢測方案。
針對陰影,采用文獻[9]中基于背景差分方法進行預(yù)檢測。通過該方法可有效提取場景中的動態(tài)陰影,但考慮到SAR圖像相干斑噪聲的影響及圖像處理中的參數(shù)依賴性,檢測結(jié)果通常會引入額外的虛警,這部分虛警將由后續(xù)的幀間數(shù)據(jù)關(guān)聯(lián)和域間匹配處理進行抑制。
針對能量,考慮到視頻SAR工作于較高頻段,且脈沖重復(fù)頻率通常較天線覆蓋多普勒帶寬留有較大余量,微小的目標運動就會使目標能量偏移出主瓣雜波,因此在RD譜中進行直接的帶外CFAR檢測。在這里采用具有抗干擾特性的有序統(tǒng)計量(Order Statistics,OS)-CFAR檢測器[23]以緩解雜波邊緣對檢測的影響。之后通過圖像腐蝕、膨脹和連通域處理篩選出與目標能量尺寸相匹配的連通域,并將其幾何中心作為預(yù)檢測結(jié)果。
完成陰影和能量的預(yù)檢測后,為抑制虛警,我們采用基于M/N邏輯的關(guān)聯(lián)算法[21,22]對目標陰影和能量的預(yù)檢測結(jié)果進行幀間關(guān)聯(lián),以篩選出可能的動目標航跡。具體地,給定邏輯值 Γ=M/N,若在連續(xù)N幀中存在M幀或以上的量測符合給定狀態(tài)參數(shù)約束,則認為這些點跡來自真實運動目標,并形成候選航跡。幀間關(guān)聯(lián)處理可有效抑制由虛假目標產(chǎn)生的虛警。本文通過區(qū)域搜索的方式對圖像域中陰影和RD域中的能量進行幀間關(guān)聯(lián)[24,25]。
假設(shè)截至第k幀的航跡集合表示為
其中,Mk和Nk分別表示第k幀中陰影和能量的航跡數(shù)量分別表示第k幀時第m條陰影航跡的位置和第n條能量航跡的位置。
其中,vSh(k+1) 表示由差分計算得到的陰影速度值。αv表示速度范圍因子,ΔθSh表示最大搜索角度,這兩個參數(shù)通常需由試驗方式確定。確定期望位置和搜索區(qū)域后,利用最鄰近搜索(Nearest Neighbor Search,NNS)準則進行數(shù)據(jù)關(guān)聯(lián),即下一幀的航跡更新由搜索區(qū)域中距期望位置最近的預(yù)檢測結(jié)果確定,若搜索失敗則暫時由重建,即
對于RD譜中的目標能量,通過簡單的1階差分來進行位置估計和搜索,則位置估計可表示為
其中,αd表示RD譜中的搜索范圍因子,ΔθEn表示最大搜索角度。與陰影類似,下一幀通過在預(yù)檢測結(jié)果中搜索確認,若搜索失敗則由重建,即
通過上述對動目標陰影和能量的幀間關(guān)聯(lián),在連續(xù)的N幀中統(tǒng)計航跡中來自預(yù)檢測的點跡數(shù)量M,對于滿足M/N條件的航跡予以保留,否則認為該航跡來自錯誤關(guān)聯(lián)。
然而受圖像質(zhì)量影響,實際中很難找到一個恰當?shù)倪壿嬛?Γ對真假航跡做出準確劃分。較低的邏輯值會引入過多虛假航跡,較高的邏輯值則使某些真實目標航跡丟失。為解決上述問題,我們首先以較低邏輯值 Γw=Mw/N建立陰影和能量的弱關(guān)聯(lián)航跡,弱關(guān)聯(lián)處理可以一定程度抑制預(yù)檢測中的虛警,并盡可能發(fā)現(xiàn)潛在的目標航跡。之后通過陰影與能量的航跡匹配和聯(lián)合處理實現(xiàn)對弱關(guān)聯(lián)中虛假航跡進一步排除。此外,考慮到某些目標因其陰影或能量的意外丟失而無法匹配,但其在單域內(nèi)卻有著極高的幀間關(guān)聯(lián)性,我們又通過一個較高的邏輯值Γs=Ms/N對目標陰影或能量進行單獨的確認。強關(guān)聯(lián)航跡具有較高的可信度和極低的錯誤率,可作為最終檢測輸出的補充。結(jié)合域間匹配的弱關(guān)聯(lián)航跡和單域內(nèi)強關(guān)聯(lián)航跡,運動目標可以時刻以一種最有效的方式被檢測。在抑制虛警的同時,通過域間聯(lián)合處理還可實現(xiàn)更加有效的漏警重建。下一節(jié) 將針對域間航跡匹配和漏警重建進行說明。
若它們的斜距滿足如下約束則進行匹配并認為屬于同一目標:
其中,ξr表 示距離約束閾值,Δr表示由于目標高程投影產(chǎn)生的固有距離偏差,可由擦地角進行估算。由于式(17)對兩個航跡中連續(xù)點跡的距離進行同時約束,匹配是相當精確的,因此虛假航跡能夠被有效地抑制。于是匹配后的聯(lián)合航跡集可表示為
匹配處理利用陰影與能量對運動目標進行雙重確認,對于因失配產(chǎn)生的漏警可由未匹配的強聯(lián)合航跡TSh-un-s和TEn-un-s加以補充,這些航跡以較嚴格的幀間聯(lián)合條件對運動目標進行確認。于是,對動目標的檢測可由匹配的弱關(guān)聯(lián)航跡和未匹配的強關(guān)聯(lián)航跡描述,即
聯(lián)合航跡關(guān)聯(lián)處理充分利用目標陰影和能量的時空信息,以低虛警、低漏警的方式對運動目標進行檢測。航跡中的部分漏警可通過一步預(yù)測重建,但一步預(yù)測只適用于稀疏、短時的漏警,當一段航跡中發(fā)生連續(xù)的漏警時,重建準確性將無法得到保證,這種惡化對于機動目標尤為明顯。針對此類漏警,根據(jù)具體情況給出分析和重建策略。
情況1 陰影被干擾情況
當目標運動速度過快、路面散射較弱或陰影被強雜波的旁瓣、自身或其他目標能量遮擋導(dǎo)致難以形成明顯陰影時,基于目標陰影的檢測面臨失效。此時通過能量所在的距離單元對陰影進行輔助重建。利用陰影丟失時刻的速度估計值,并結(jié)合目標能量所在距離單元,給出陰影的重建位置。陰影重建距離可表示為能量距離與固有偏差之和:
相應(yīng)地,方位位置可根據(jù)當前的重建距離位置和陰影運動方向角來確定:
其中,θ(l)為 當前時刻的陰影速度估計矢量與方位向的夾角。利用式(20)和式(21)代替式(13)中的一步預(yù)測將有效提高陰影位置重建精度。
情況2 能量被干擾情況
一方面,對應(yīng)于極慢速目標的情況,其多普勒能量易淹沒在主雜波中。另一方面,對應(yīng)于目標機動性較強的情況,其能量發(fā)生嚴重散焦導(dǎo)致無法檢測。此時主要通過陰影對目標實現(xiàn)單獨檢測。但考慮到目標已通過匹配的方式獲得確認,接下來將不再以域間匹配或強關(guān)聯(lián)為確認條件,而是直接以弱關(guān)聯(lián)條件進行檢測確認,這大大緩解了陰影漏警的情況。另外考慮到慢速目標的情況,此時基于背景差分的預(yù)檢測方法容易將陰影視作背景從而造成漏警,為此對式(12)給出的扇形搜索區(qū)域進行直接的陰影CFAR檢測,并將檢測結(jié)果合并進預(yù)檢測結(jié)果中,再利用弱關(guān)聯(lián)條件進行后續(xù)的關(guān)聯(lián)和確認。此時慢速目標亦能完成有效的檢測。
通過上述兩種典型情況的處理,所提算法可有效應(yīng)對多種運動狀態(tài)目標的檢測和重建。
本文分別使用上述兩種方法來處理機載視頻SAR實測數(shù)據(jù)。雷達系統(tǒng)工作于G波段,信號帶寬為1 GHz,成像場景尺寸約為150 m×150 m,成像幀率優(yōu)于2 fps。本文采用RD成像算法獲取SAR圖像序列并獲取對應(yīng)的RD譜。為保證最大徑向速度為30 m/s的動目標不發(fā)生0.5 m的距離走動,選取RD譜的積累脈沖數(shù)K=500。共采用64幀圖像進行驗證,場景中包含數(shù)個不同尺寸、不同運動狀態(tài)的目標,它們的陰影與能量所在幀統(tǒng)計在表1中。SAR圖像中固定目標陰影的遮擋以及場景邊緣極低的信噪比導(dǎo)致動目標陰影在某些幀中不可見,因此動目標陰影所在幀略少于其能量所在幀。
表1 運動目標陰影及其能量所在幀Tab.1 Frame number of target shadow and energy
為說明雙域聯(lián)合檢測算法優(yōu)勢,首先利用經(jīng)典Faster R-CNN[19]進行對比實驗,該方法僅利用陰影進行動目標檢測。利用該太赫茲視頻SAR獲取的額外SAR圖像經(jīng)過平移翻轉(zhuǎn)等數(shù)據(jù)擴充后,共得到28877張訓(xùn)練數(shù)據(jù)。所提Dual Faster R-CNN和經(jīng)典Faster R-CNN用作訓(xùn)練的SAR圖像相同,而Dual Faster R-CNN的訓(xùn)練數(shù)據(jù)中增加對應(yīng)的RD譜作為輔助。
圖5給出檢測結(jié)果對比。SAR圖像的橫軸為方位向,縱軸為距離向。RD譜的橫軸表示多普勒向,縱軸為距離向。每行第1列為經(jīng)典Faster R-CNN的檢測結(jié)果,第2列為提出的Dual Faster R-CNN檢測結(jié)果。圖5(a)—圖5(d)分別為第9,15,19和60幀的檢測結(jié)果。正確檢測用青色矩形框標記,虛警用紅色矩形框標記,黃色箭頭指示漏警位置。在圖5(a)和圖5(d)中,Dual Faster R-CNN均給出了正確的檢測,不包含虛警與漏警。而在圖5(a)中,經(jīng)典Faster R-CNN產(chǎn)生一個虛警。特別地,在圖5(d)中,目標T2的多普勒能量已經(jīng)落入RD譜的主雜波區(qū)。此時,本文使用的Dual Faster R-CNN基于深度神經(jīng)網(wǎng)絡(luò)的特征提取能力仍然可以準確地檢測到該能量。在圖5(b)和圖5(c)中,目標T2和T4的陰影被SAR圖像中的弱散射區(qū)域遮擋或剛好離開該弱散射區(qū)域,由于周圍低灰度的干擾,經(jīng)典Faster R-CNN無法對其進行有效檢測,產(chǎn)生較多漏警。此外,在圖5(c)的檢測中,經(jīng)典Faster R-CNN在目標T2附近產(chǎn)生一個虛警。相反,本文所提的Dual Faster R-CNN利用目標在SAR圖像和RD譜中的雙域特征,使用成對區(qū)域建議進行聯(lián)合檢測,一方面可以顯著降低檢測的虛警,如圖5(a)和圖5(c)所示,Dual Faster R-CNN抑制對應(yīng)虛警。另一方面,成對的區(qū)域建議也使網(wǎng)絡(luò)具備更強的弱目標檢測能力,從而減緩漏警的發(fā)生。在圖5(b)中,目標T2的陰影在SAR圖像中難以檢測,但是它的多普勒能量位于雜波譜外,在RD域中能量很容易檢測。在這種情況下,成對的區(qū)域建議驅(qū)使網(wǎng)絡(luò)在SAR圖像的對應(yīng)位置搜索陰影,從而貢獻正確的檢測。同樣地,在圖5(c)中,目標T4的陰影也被Dual Faster R-CNN正確檢測到,而目標T2的陰影仍未被檢測到。圖5所示的檢測結(jié)果表明Dual Faster R-CNN具有較強的虛警抑制能力。
圖5 經(jīng)典Faster R-CNN與Dual Faster R-CNN檢測結(jié)果對比Fig.5 Comparison results of classical Faster R-CNN and Dual Faster R-CNN
我們利用圖像域幀間關(guān)聯(lián)與本文所提JTA檢測算法進行對比分析,如圖6所示。在圖像域幀間關(guān)聯(lián)處理中,限制目標陰影的運動速度和角速度分別為1~30 m/s和0~45°/s,以邏輯值 Γ=5/7進行幀間關(guān)聯(lián)。在所提JTA算法中,利用邏輯值 Γs=6/7和 Γw=3/7對目標陰影和能量預(yù)檢測結(jié)果進行幀間的強關(guān)聯(lián)和弱關(guān)聯(lián)處理,并對建立的弱關(guān)聯(lián)航跡進行域間的匹配。最后根據(jù)運動目標的運動情況進行相應(yīng)的漏警重建。每行第1列為圖像域幀間關(guān)聯(lián)的檢測結(jié)果,第2列為所提JTA算法的檢測結(jié)果。圖6(a)—圖6(d))分別為第9,14,30和60幀的檢測結(jié)果。正確檢測用青色矩形框標記,虛警用紅色矩形框標記,黃色箭頭指示漏警位置,漏警重建由白色矩形框和箭頭標記。在圖6(a)中,兩種方法均能對目標T1和T2進行有效檢測。目標T3在圖像域幀間關(guān)聯(lián)方法中因較嚴格的關(guān)聯(lián)條件使得無法被及時確認,而在JTA中通過弱關(guān)聯(lián)和域間匹配的方式使得被有效檢測。目標T4剛進入場景,因幀間關(guān)聯(lián)算法的固有延遲導(dǎo)致兩種方法均難以及時確認。在圖6(b)中,目標T2進入場景中的弱反射區(qū)域?qū)е玛幱跋?,此時JTA算法通過能量完成對陰影的漏警重建(對應(yīng)4.2節(jié)情況1)。在圖6(c)中目標T2在路口處慢速轉(zhuǎn)彎,此時目標能量幾乎被淹沒在雜波中(對應(yīng)4.2節(jié)情況2),此時目標陰影在圖像域幀間關(guān)聯(lián)方法中因被視作背景而無法被檢測,而在JTA中我們對搜索區(qū)域進行額外的CFAR檢測并進行后續(xù)的關(guān)聯(lián),從而可實現(xiàn)對慢速目標T2的檢測。此外,由于雜噪比較低的原因,目標T3和T4的陰影已徹底不可見并持續(xù)較長時間,此時JTA算法可繼續(xù)利用它們的能量在RD域作為檢測。圖6(d)中,目標T2逐漸提速,目標T5即將離開觀測場景,此時兩種方法均能完成對它們的檢測,但由于此時圖像質(zhì)量的惡化,JTA算法展現(xiàn)出更強的虛警抑制能力。
圖6 圖像域幀間關(guān)聯(lián)與JTA算法檢測結(jié)果對比Fig.6 Comparison results of data association in image domain and JTA algorithm
表2給出了上述幾種方法圖像域中的陰影檢測性能統(tǒng)計,其中總待檢數(shù)為161??梢钥闯?,僅依靠陰影的兩種基本方法(圖像域幀間關(guān)聯(lián)和Faster R-CNN)產(chǎn)生較多的虛警和漏警。圖像域幀間關(guān)聯(lián)中的虛警主要源于圖像噪聲影響,漏警則主要來源于慢速目標T2。深度學(xué)習(xí)類方法基于全連接層對圖像中某些特定區(qū)域進行分類與邊界框回歸,本質(zhì)上是一種基于特征的檢測,其對SAR圖像中的干擾,例如相干斑噪聲、其他弱散射區(qū)域等,具有一定的魯棒性,不需要其余后處理即可直接實現(xiàn)較為可靠的檢測,特別是對于慢速目標。相比于經(jīng)典Faster R-CNN,本文所提的Dual Faster R-CNN利用動目標雙域特征進行聯(lián)合檢測,具有更強的虛警抑制能力。此外,采用成對區(qū)域建議的聯(lián)合檢測在某一域特征明顯時可以驅(qū)使網(wǎng)絡(luò)在另一域的對應(yīng)位置搜索目標,使得網(wǎng)絡(luò)具備弱目標檢測能力,從而減緩漏警的發(fā)生。然而,式(19)中的強約束條件增大了漏警風(fēng)險。從全部測試數(shù)據(jù)的檢測結(jié)果綜合分析,Dual Faster R-CNN基本可以在不犧牲漏警的情況下顯著地抑制虛警?;趥鹘y(tǒng)方法的JTA算法較圖像域幀間關(guān)聯(lián)方法提升較大,它通過同時引入幀間和域間的聯(lián)合處理,逐步抑制由圖像噪聲引起的虛警,同時利用陰影與能量的空時信息完成漏警重建。
表2 動目標檢測性能統(tǒng)計結(jié)果Tab.2 Statistical results of moving target detection in SAR imagery
下面對處理耗時進行對比分析。表3給出了4種檢測方法的單幀平均處理時間。SAR圖像尺寸為1000×1000,RD譜的圖像尺寸為500×1000。所采用的計算平臺的CPU型號為Intel Xeon(R) E5-2620,內(nèi)存為64 GB。深度學(xué)習(xí)方法的統(tǒng)計耗時為測試時間,Dual Faster R-CNN具有更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和更多的參數(shù)量,因此具有單域Faster R-CNN近兩倍的耗時。航跡關(guān)聯(lián)方法的統(tǒng)計耗時包含了除配準外的所有處理,它們的主要耗時來自CFAR預(yù)檢測處理,圖像域與RD域的單幀預(yù)檢測耗時分別為1.52 s和0.62 s。此外頻域算法需要額外的配準處理,每幀的配準耗時為2.90 s,若采用時域成像算法則可節(jié)省此部分時間。綜合來看,兩類處理方法有著相近的耗時。相比于單域處理,雙域聯(lián)合處理的性能提升以更多的處理耗時為代價。雖然兩種方法的CPU處理耗時高于0.25 s單幀成像時間,但通過后續(xù)算法優(yōu)化加速技術(shù)有望實現(xiàn)實時處理要求。
表3 處理耗時對比結(jié)果Tab.3 Comparison of processing times
應(yīng)當指出,由于實測數(shù)據(jù)的有限性,不能盡數(shù)包含實際目標各種可能的運動狀態(tài),如目標運動速度過快導(dǎo)致陰影衰弱、目標機動性過大導(dǎo)致能量較大程度散焦并涂抹陰影等。在有限數(shù)據(jù)上,雙域聯(lián)合處理的優(yōu)勢較單域方法的性能提升無法全面體現(xiàn)。但可以肯定的是,單獨基于陰影的方法在這些情況中將失效。雙域聯(lián)合方法可以很好地利用陰影與能量的特征與空時信息,在上述情況中仍可有效實現(xiàn)穩(wěn)健的目標檢測。
本文圍繞視頻SAR動目標的穩(wěn)健檢測需求展開研究,分別使用了兩種基于域間聯(lián)合技術(shù)的動目標檢測算法對機載視頻SAR實測數(shù)據(jù)進行了處理和分析。結(jié)果表明,聯(lián)合域技術(shù)可充分利用目標陰影與能量的空時信息,能顯著改善檢測過程中的虛警和漏警,有效應(yīng)對多種情形下的機動目標檢測。視頻SAR成像與動目標檢測跟蹤算法的實時實現(xiàn)值得深入研究。
致謝感謝中國電子科技集團公司第十四研究所提供雷達數(shù)據(jù)。感謝吳福偉博士的有益討論。