何志華 陳 興* 于春銳 栗子涵 余安喜 董 臻
①(國防科技大學(xué)電子科學(xué)學(xué)院 長沙 410073)②(北京跟蹤與通信技術(shù)研究所 北京 100094)
視頻合成孔徑雷達(Video Synthetic Aperture Radar, VideoSAR)技術(shù)是現(xiàn)有SAR系統(tǒng)在工作模式上的一種擴展,該技術(shù)有機綜合了高分辨成像和視頻成像的優(yōu)點,可利用視頻SAR時序影像中動目標形成陰影與靜止背景的幾何與輻射特征差異獲取運動目標高精度位置、速度等運動狀態(tài)信息,具有定位精度高、檢測概率高、最小可檢測速度低等優(yōu)勢,能夠?qū)崿F(xiàn)全天時、全天候的動態(tài)目標觀測,是雷達地面動目標指示(Ground Moving Target Indicator, GMTI)的一種新手段[1–3]。
加拿大國防研究與發(fā)展中心(Defense Research and Development Canada, DRDC)基于X波段寬帶試驗機載雷達系統(tǒng)(X-band Wideband Experimental Airborne Radar , XWEAR),進行了視頻SAR試驗,能夠通過對區(qū)域的持續(xù)觀測改善目標檢測和靜態(tài)特征的提取能力[4]。美國桑迪亞國家實驗室(Sandia National Laboratories, SNL)開發(fā)了Ku波段重疊孔徑視頻SAR成像算法,展示了視頻SAR對地面運動目標視頻成像能力[5]。美國國防高級研究計劃局(Defense Advanced Research Projects Agency,DARPA)發(fā)布了THz頻段視頻SAR項目,系統(tǒng)實驗結(jié)果表明相比微波波段可實現(xiàn)較高的獨立視頻幀率[6]。芬蘭冰眼公司(ICEYE)首次驗證了天基視頻SAR動態(tài)目標監(jiān)視能力[7]。國內(nèi)各相關(guān)單位也相繼開展了視頻SAR系統(tǒng)與信號處理方面的研究并取得了很好的進展。
視頻SAR動目標陰影檢測與跟蹤處理是視頻SAR應(yīng)用的關(guān)鍵技術(shù)之一,由于缺乏廣泛的有效數(shù)據(jù)源,該研究還處于起步階段,基本的思路是在借鑒已有的光學(xué)視頻目標檢測與跟蹤成果基礎(chǔ)上,充分考慮視頻SAR序列圖像及動目標特點,研究針對性的處理方法。文獻[8]研究了基于陰影特征的運動目標檢測方法,給出了基于圖像序列的檢測流程、性能預(yù)估結(jié)果及實測數(shù)據(jù)處理結(jié)果。文獻[9]研究了道路上運動目標由于偏離真實位置而留下“陰影區(qū)”的檢測問題,揭示了陰影區(qū)檢測性能與道路電磁散射特性、雜波環(huán)境、噪聲強度等的關(guān)系,分析了運動目標的特征參數(shù)(速度和位置)與道路之間的對應(yīng)關(guān)系,結(jié)合陰影檢測和道路輔助信息實現(xiàn)運動目標的檢測和參數(shù)估計。文獻[10]研究了基于圖像序列的視頻SAR動目標檢測方法,利用單高斯模型對圖像序列進行背景建模,將背景與當前圖像差分后并二值化得到前景的二值圖,對二值圖進行形態(tài)學(xué)處理提取出目標陰影。文獻[11]研究了一種VideoSAR動目標陰影檢測方法,包括視頻SAR圖像配準、圖像降噪、最大化閾值分割、結(jié)合背景差分和三幀間差分法的動目標提取等處理環(huán)節(jié)。文獻[12,13]將快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)應(yīng)用于視頻SAR動目標檢測中,取得了較好的虛警抑制效果,但這類算法對訓(xùn)練數(shù)據(jù)有較高的要求,算法泛化能力有待進一步提高。文獻[14]針對陰影易受環(huán)境雜波干擾的問題,充分利用空時信息和顯著性檢測機制抑制背景雜波,并使用交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)的優(yōu)化方法實現(xiàn)了動目標陰影檢測與跟蹤。
本文針對視頻SAR動目標陰影變化劇烈、信雜噪比低、多普勒模糊干擾等特有的圖像特征,充分利用視頻SAR幀圖像空間域和時間域信息,經(jīng)過數(shù)據(jù)配準和相干斑濾波預(yù)處理、采用基于改進差分的動目標陰影檢測處理和多目標跟蹤處理技術(shù),在保證檢測率的前提下盡量降低虛警率,實現(xiàn)了視頻SAR動目標檢測與跟蹤。
視頻SAR是現(xiàn)有SAR系統(tǒng)在工作模式上的一種擴展,一般工作在星載/機載聚束模式或機載圓周模式下。其通過調(diào)整波束指向持續(xù)照射場景,采用子孔徑成像處理形成同一場景序列圖像,每秒鐘形成的幀圖像數(shù)量即為視頻幀率(frames per second,fps),在微波頻段典型系統(tǒng)參數(shù)下,需要重疊孔徑才能形成方位分辨率優(yōu)于0.5 m、幀率優(yōu)于5 Hz的典型連續(xù)視頻影像[3]。
動目標在視頻SAR幀圖像中表現(xiàn)出明顯的陰影特征,圖1(a)為美國SNL公開發(fā)布的Kirtland空軍基地視頻SAR某幀圖像,當車輛停止時,距離向可以觀察到明顯的投影陰影;當車輛運動時,目標在方位向散焦且偏離其真實位置,但由于車輛所在位置未受到電磁波照射而形成目標陰影,投影陰影和目標陰影一起形成動目標陰影,如圖1(b)所示,運動車輛形成的動目標陰影位置與運動車輛一致,相比GMTI等SAR動目標檢測方法,基于動目標陰影的動目標檢測方法具有定位精度高、最小可檢測速度低等優(yōu)點。但由于形成視頻SAR幀圖像需要一定的合成空間時間,如圖1(c)所示,幀率為fr,子孔徑合成孔徑時間為1/fr,在此期間動目標陰影邊緣區(qū)域也會受到天線波束照射,一定程度上也會在陰影區(qū)域引入雜波。
圖1 動目標陰影特征及形成機理分析
因此可通過動目標陰影特征實現(xiàn)動目標狀態(tài)感知,利用視頻SAR幀圖像陰影區(qū)域與背景區(qū)域的差異實現(xiàn)動目標檢測,為了更好地進行動目標陰影檢測與跟蹤處理,首先需要進行視頻SAR數(shù)據(jù)預(yù)處理,包括圖像序列配準和圖像序列去噪。圖像序列配準是實現(xiàn)變化檢測的前提,通過配準處理,可以消除SAR平臺與場景相對運動引入的角度變化,幀圖像之間的平移、旋轉(zhuǎn)和縮放等幾何畸變,可采用基于幀間迭代的加速魯棒特征(Sped-Up Robust Features, SURF)配準算法得到同一坐標系下的圖像序列,具體可參見文獻[15]。
圖像序列去噪可抑制SAR圖像相干斑和抑制熱噪聲,本文采用改進的視頻3維塊匹配(Video Block Matching 3 Dimension, V-BM3D)濾波算法實現(xiàn)視頻SAR動目標陰影特征增強。V-BM3D算法是在圖像去噪算法3維塊匹配(Block Matching 3 Dimension, BM3D)的基礎(chǔ)上針對視頻處理的改進算法[16],其中的兩個主要技術(shù)分別是塊匹配搜索和協(xié)同濾波。塊匹配搜索是指給定參考圖像塊,在當前幀的前后幾幀搜索與參考塊最相似的若干圖像塊,將它們堆疊成一個3維矩陣;協(xié)同濾波是指對3維矩陣中每個2維矩陣執(zhí)行2維變換,再在第3個維度上執(zhí)行1維變換,對系數(shù)進行硬閾值收縮實現(xiàn)去噪。V-BM3D算法最初是針對光學(xué)視頻去噪設(shè)計的,用于濾除加性噪聲,因此在視頻SAR去噪應(yīng)用中,首先需要進行圖像對數(shù)變換,將乘性相干斑轉(zhuǎn)化為加性噪聲。
將V-BM3D算法直接應(yīng)用到視頻SAR數(shù)據(jù)預(yù)處理中面臨兩個難題:第一,動目標陰影圖像特征與背景圖像特征差異較光學(xué)視頻要小得多,給“目標”與“噪聲”的區(qū)分帶來難題;第二,視頻SAR幀圖像所用合成孔徑時間較短,背景圖像信噪比較低,是一個典型的強噪聲環(huán)境,V-BM3D算法去噪性能也急劇降低。本文充分挖掘視頻SAR時序信息,通過時序平均處理提升幀圖像信噪比,同時動目標陰影在相鄰幀之間變化較小,通過平均處理也可以進一步抑制噪聲。改進的V-BM3D算法的處理流程為:輸入配準處理后視頻SAR圖像序列,每幀圖像與它前面k幀圖像序列平均,通過改善幀圖像信噪比提升V-BM3D算法塊匹配過程的準確度,從而提高相干斑抑制性能。
圖2給出了SNL視頻SAR某幀圖像去噪及檢測結(jié)果,由圖2(a)和圖2(d)可以發(fā)現(xiàn)如果不進行去噪處理,視頻SAR圖像序列的檢測性能較差,很難檢測到移動目標,出現(xiàn)3個漏警(未檢測出的真實目標),6個虛警(檢測出的虛假目標,紅框所示);V-BM3D的去噪及檢測結(jié)果分別顯示在圖2(b)和圖2(e)中,由于視頻SAR圖像序列的噪聲水平較高,因此對運動目標的檢測性能仍然不佳,出現(xiàn)3個漏警和1個虛警;改進V-BM3D算法的去噪及檢測結(jié)果分別顯示在圖2(c)和圖2(f)中,可以看到所有運動目標都被成功檢測出,沒有產(chǎn)生任何漏警或虛警,檢測性能相比之前有較大改善。
圖2 SNL視頻SAR去噪及檢測結(jié)果
經(jīng)過配準和去噪等預(yù)處理后,得到目標運動清晰、背景平滑配準的幀圖像序列,檢測處理的目的是將動目標陰影和背景準確分離,本文采用改進差分的動目標陰影檢測處理方法,融合經(jīng)典的背景差分和對稱差分結(jié)果,利用形態(tài)學(xué)濾波和虛警抑制等手段實現(xiàn)視頻SAR幀圖像序列中動目標陰影的準確提取,處理過程如圖3所示。
背景差分法是視頻動目標檢測的傳統(tǒng)方法,它通過對當前幀與背景模板之間的差值做閾值化處理提取運動區(qū)域。該方法較為簡單,在背景靜止、噪聲平滑、目標清晰且尺寸較大時,動目標提取效果較好。背景差分法的具體實現(xiàn)步驟如下:
提取當前幀Ik之 前的M幀圖像,用中值法進行快速背景建模,得到背景模板Iback
其中, m edmodeling(·)表示中值濾波處理,將當前幀Ik與背景模板Iback相減得到運動目標圖像Isub
對差分結(jié)果Isub進行最大化閾值分割,將不同灰度級的目標和背景區(qū)分開,得到二值化圖像Iseg
其中, T hreseg(·)表示最大化閾值分割處理,對二值圖Iseg做中值濾波,濾除尺寸較小的虛警,得到背景差分法的結(jié)果Ibgd。觀察圖3(b)可得,圖像中運動的區(qū)域被提取出來,定義為感興趣區(qū)域(Region Of Interest, ROI)用綠色虛線框標記。其中中間2個白色矩形表示2輛車的陰影,周圍的白色多邊形表示虛警。由于背景建模使用當前幀之前的數(shù)幀實現(xiàn),因此和當前幀相比陰影位置滯后,故背景差分結(jié)果得到的檢測框也會出現(xiàn)滯后現(xiàn)象,該現(xiàn)象不影響對目標運動狀態(tài)的估計,但在幀圖像標注時需要補償由目標運動引入的檢測框位置移動。
對稱差分是指當前幀與其前后兩幀分別進行幀間差分,對得到的差分結(jié)果求交集,得到動目標輪廓信息。相鄰兩幀差分法會造成檢測到的動目標比實際多,且只是對比并提取兩幀間的差別,忽略了自身重疊部分的信息,可采用相鄰3幀圖像Ik?1,Ik和Ik+1做對稱差分,具體實現(xiàn)步驟如下:當前幀Ik分別與其前后幀Ik?1和Ik+1做差分,獲取差分結(jié)果Ix和Iy
分別對Ix和Iy進行中值濾波,濾除尺寸較小的虛警。計算Ix和Iy的交集,獲取對稱差分結(jié)果Iifd
在圖3(c)中,可以看到每個運動區(qū)域都被2個檢測框包圍,這是由前后2幀的幀間差分實現(xiàn)的。由于幀間差分提取出的區(qū)域通常會比實際的多,所以式(5)取交集操作可以去除部分虛警。
圖3 基于改進差分的動目標陰影檢測處理示意圖
背景差分法能夠提取出場景中的運動目標,但其對靜止目標微動、觀測視角變化和背景噪聲閃爍等影響較為敏感,此時背景差分法會檢測出大量虛警。對稱差分法對慢速目標不敏感,對環(huán)境噪聲也比較敏感,容易出現(xiàn)檢測空洞、目標漏檢等問題。將兩種算法的檢測結(jié)果進行融合,求取背景差分法提取結(jié)果Ibgd和 對稱差分法提取結(jié)果Iifd的并集,即
其中,符號∪表示邏輯或操作,由于兩種差分方法得到的結(jié)果會在大部分區(qū)域重合,但又存在一些差別,本步驟的差分結(jié)果融合處理可以在一定程度上增大真實目標ROI的檢測面積,進而增大與虛警的差別,如圖3(d)所示。
基于差分融合處理的改進差分方法具有較高的檢測率,但也存在較高的虛警率,利用幀圖像空間域信息可以進一步抑制虛警。
一方面,利用動目標陰影區(qū)域尺寸特征,采用形態(tài)學(xué)濾波處理抑制較小ROI區(qū)域虛警。形態(tài)學(xué)濾波采用預(yù)設(shè)的結(jié)構(gòu)元對圖像進行開(先腐蝕后膨脹)、閉(先膨脹后腐蝕)運算,這一操作可以去除面積較小的虛警,使動目標ROI更加清晰,同時降低檢測虛警,如圖3(e)所示。
另一方面,利用動目標陰影幅度特征,進一步以抑制移動目標亮斑產(chǎn)生的虛警。亮斑是目標的散射信息,當強散射目標靜止時,亮斑靜止出現(xiàn)在目標的真實位置并掩蓋陰影;而當目標開始運動時,由于多普勒頻移的影響,亮斑會偏離目標真實位置發(fā)生移動。由于亮斑在灰度較低的背景上運動可以等效為背景自身的運動,視頻SAR動目標提取過程無法區(qū)分移動亮斑和移動陰影,不斷運動的亮斑會產(chǎn)生大量虛警,嚴重降低檢測性能。因此,借助ROI平均灰度進行虛警抑制,對于一個ROI,計算其內(nèi)部所有像元的平均灰度m ean(ROI), 接著用mean(ROI)和設(shè)定的灰度閾值Tgray進 行比較,Tgray的設(shè)定與視頻SAR的信雜噪比等因素相關(guān)。只有滿足平均灰度條件的ROI被保留下來,不滿足的ROI將被作為虛警并去除。如圖3(f)所示。
基于動目標陰影檢測結(jié)果,利用視頻SAR時序信息,通過多目標跟蹤處理可以進一步抑制虛警。同光學(xué)視頻不同,視頻SAR分辨率相對較低,一般采用點狀序列信息實現(xiàn)跟蹤處理。本文采用卡爾曼濾波和改進的交互式多模型(Interacting Multiple Model, IMM)算法,具體包括多目標數(shù)據(jù)關(guān)聯(lián)、跟蹤濾波和航跡管理等處理步驟。
準確建立新一幀SAR圖像的各目標檢測點與多目標航跡之間的配對關(guān)系,是視頻SAR多目標跟蹤濾波的前提。數(shù)據(jù)關(guān)聯(lián)算法的目標是在考慮各種約束條件的前提下利用最有效的方法,使錯誤關(guān)聯(lián)減至最小。常用的數(shù)據(jù)關(guān)聯(lián)算法有最近鄰法、極大似然類多目標數(shù)據(jù)關(guān)聯(lián)方法、貝葉斯類多目標數(shù)據(jù)關(guān)聯(lián)方法等。本文采用一種全局最近鄰的多目標數(shù)據(jù)關(guān)聯(lián)算法,通過選取所有配對的距離度量,然后計算各種多目標全局組合配對下的距離和,并按距離和最小的原則確定多目標關(guān)聯(lián)的組合配對,具體步驟如下:
(3) 選取距陣R中的最小值Rijmin,若小于某一基準門限,則第k+1次目標檢測的第j個目標位置與航跡庫中第i條航跡相關(guān),同時令矩陣的第i行和第j列元素等于基準門限值;
(4) 重復(fù)第(3)步,直到矩陣所有元素達到基準門限值;
(5) 若某目標檢測點與某航跡相關(guān),則啟動航跡更新;若某航跡沒有關(guān)聯(lián)上新一幀圖像的檢測結(jié)果,則記目標航跡失跟一次,并啟動航跡終結(jié)策略;若有新的目標檢測結(jié)果沒有關(guān)聯(lián)上航跡,則啟動航跡起始模塊,具體參見4.3節(jié)。
基于卡爾曼濾波器的交互式多模型(Interacting Multiple Model, IMM)算法可進一步提高視頻SAR動目標陰影狀態(tài)機動自適應(yīng)能力。處理步驟分為:特征值計算,根據(jù)提取后的結(jié)果,計算出運動目標的特征值、質(zhì)心和跟蹤窗口;建立運動模型,利用卡爾曼濾波器建立系統(tǒng)的運動模型,定義狀態(tài)向量,預(yù)測下一幀中運動目標可能出現(xiàn)的位置;特征匹配,定義目標的相似函數(shù),利用相對幀間目標的變化,利用特征值計算相似函數(shù)值,判斷是否為同一跟蹤目標;模型更新,更新運動模型,作為下一運動模型的卡爾曼濾波的輸入。
IMM算法是一種次優(yōu)的混合狀態(tài)估計濾波器,其主要特點是能夠?qū)哂袛?shù)個“行為模式”的動態(tài)系統(tǒng)的狀態(tài)加以估計,自適應(yīng)調(diào)整濾波器帶寬,主要用于跟蹤機動目標。該技術(shù)在性能與復(fù)雜性上取得較好的平衡,其計算復(fù)雜性與模式(或模型)數(shù)量呈線性關(guān)系,其性能與平方算法的濾波器相當。與其他多模技術(shù)相比,IMM具有一個重要的特征,即多個模式的目標狀態(tài)和方差的估計根據(jù)一個馬爾可夫鏈合并起來,馬爾可夫模型用以產(chǎn)生各種目標狀態(tài)模式間的轉(zhuǎn)移特性[17,18]。IMM算法的實現(xiàn)流程主要包括交互/混合、卡爾曼濾波、似然比計算和模式概率更新以及狀態(tài)模式合并等,如圖4所示。
圖4 IMM算法處理流程圖
航跡管理是視頻SAR動目標跟蹤的重要組成部分,對動目標航跡的起始、確認、維持和刪除全過程進行準確判決,可以及時地起始航跡以建立新運動目標的運動信息檔案,也可以準確地刪除航跡以消除沒有跟蹤價值目標的檔案,一方面充分發(fā)掘現(xiàn)有量測中的信息,另一方面又可以降低干擾因素的影響,提高航跡質(zhì)量。采用的航跡管理方法如圖5所示。
圖5 航跡管理方法
建立航跡數(shù)據(jù)結(jié)構(gòu)為
其中,x表示目標運動狀態(tài),fil表示目標跟蹤的相關(guān)參數(shù),tage表示該航跡從初始化開始后經(jīng)過的總幀數(shù),tvis表示該航跡與量測點跡成功關(guān)聯(lián)的幀數(shù)(航跡可能會短暫丟幀,但不會立刻刪除),tinv表示該航跡沒有關(guān)聯(lián)上量測點跡的總幀數(shù)。
采用4.1節(jié)多目標數(shù)據(jù)關(guān)聯(lián)方法,若量測值與航跡關(guān)聯(lián)成功關(guān)聯(lián),則可以利用新的量測點跡信息對目標位置速度進行更新,獲得更準確的目標運動狀態(tài),同時將tage+ 1,tvis+ 1,tinv置0;否則,用該量測點跡初始化一條新航跡,同時對沒有關(guān)聯(lián)上新量測的航跡進行tage+1,tvis不 變,tinv+1。若某條航跡長時間沒有關(guān)聯(lián)到新的量測點跡,或航跡維持時間太短,可認為該目標已經(jīng)停止運動或是由雜波引入的虛假目標,需要從航跡列表中刪除,穩(wěn)健的航跡終結(jié)有助于合理維護有效航跡數(shù)量,并減小數(shù)據(jù)處理的計算量和存儲量??紤]到動目標暫停運動時可能檢測不到顯著陰影,為區(qū)別于固定地面目標的陰影檢測虛警,需要設(shè)計一個合理的目標暫停判決策略,短時間持續(xù)低速的目標航跡可標識為暫停目標航跡,其狀態(tài)無需經(jīng)過跟蹤濾波器,從而提高數(shù)據(jù)處理效率;長時間狀態(tài)維持的暫停目標航跡可進行航跡終止操作。將4.2節(jié)動目標自適應(yīng)跟蹤濾波處理嵌入到航跡管理的模塊內(nèi),在航跡起始、維持等步驟完成跟蹤預(yù)測和狀態(tài)更新,即可實現(xiàn)穩(wěn)健的視頻SAR多目標跟蹤處理。
綜上所述,本文采用的視頻SAR動目標陰影檢測與跟蹤處理流程圖如圖6所示:首先通過配準和濾波處理得到高匹配度、高質(zhì)量的視頻SAR序列幀圖像,然后綜合采用背景差分法和對稱差分法得到每幀圖像低漏警、高虛警檢測結(jié)果,接著充分利用視頻SAR空間域信息和時序信息,通過基于灰度差異和邊緣信息輔助的空間域虛警抑制方法,采用穩(wěn)健的視頻SAR多目標跟蹤方法,將跟蹤結(jié)果標注在原圖像序列上,最終可得到動目標陰影檢測跟蹤結(jié)果。
圖6 視頻SAR動目標陰影檢測與跟蹤處理流程圖
采用SNL公開發(fā)布的Kirtland空軍基地視頻SAR實測數(shù)據(jù)驗證本文方法有效性。該視頻總長900幀,幀圖像為1280像素×720像素,幀率為29.97 Hz,總時長約30 s,道路上有許多來往的車輛,涵蓋車輛停止、快速運動、慢速運動等運動狀態(tài)。
為了定量評估運動車輛陰影檢測跟蹤性能,首先對900幀視頻進行逐幀人工標注,一共標注了50輛大小不一的運動車輛目標,其中在不同時間出現(xiàn)的相同車輛按照不同目標計數(shù),左側(cè)道路共計33輛,右側(cè)道路共計17輛,形成有效陰影的運動車輛統(tǒng)計結(jié)果如圖7所示,圖7(a)表示每幀圖像中的運動車輛數(shù)量,圖7(b)表示運動車輛出現(xiàn)/離開在幀圖像的狀態(tài)。第24幀、第336幀和第385幀運動車輛標注結(jié)果如圖8所示。
圖7 SNL視頻SAR運動車輛統(tǒng)計結(jié)果
綜合考慮幀圖像間隔和目標尺寸大小,經(jīng)過實驗優(yōu)選的數(shù)據(jù)處理相關(guān)參數(shù)設(shè)置如下:背景建模使用當前幀前后的3幀進行,形態(tài)學(xué)處理中開運算采用 2×2 的 圓形結(jié)構(gòu)元,閉運算采用5 ×5的圓形結(jié)構(gòu)元,視頻片段中有一輛較大的卡車,其余車輛為小型轎車,考慮到不同車輛在成像場景中所占的尺寸,ROI面積限制在[80, 550](橫向,縱向)個像元。
SNL視頻SAR第336幀動目標陰影檢測結(jié)果如圖9所示,從各個步驟的結(jié)果來看,運動車輛目標在高幀率的SAR視頻中表現(xiàn)為灰度較小的陰影,其真實能量由于多普勒頻移而發(fā)生偏移,當車速較高時,多普勒頻移也較大,亮斑拖尾形成亮線,當車輛停下時,亮斑回到其真實位置并掩蓋陰影。且隨著觀測平臺視角的變化,亮斑的移動方向也發(fā)生變化(沿方位向運動)。圖9(a)為經(jīng)過圖像序列配準、去噪等預(yù)處理后的幀圖像,原始圖像序列隨時間發(fā)生旋轉(zhuǎn),特征差別較大,且受噪聲影響較為嚴重,經(jīng)過視頻SAR預(yù)處理后,得到了背景一致對齊,目標陰影清晰的結(jié)果;圖9(b)為背景差分和對稱差分融合后的檢測結(jié)果,運動目標均被提取出來,在二值圖中表現(xiàn)為較大的白塊,背景信息基本被消除,剩余由噪聲及靜止目標陰影偏轉(zhuǎn)帶來的虛警所占面積較小,可通過3.4節(jié)虛警抑制方法進行處理,結(jié)果如圖9(c)所示;圖9(d)給出最終檢測結(jié)果,最終視頻中左側(cè)道路5輛、右側(cè)道路1輛共計6輛運動車輛陰影均被正確檢測出來,與標注結(jié)果圖8(b)一致。部分幀圖像不可避免地產(chǎn)生虛警目標,但一般持續(xù)幀數(shù)有限,不能形成有效航跡,通過視頻SAR多目標跟蹤處理,可以得到更加穩(wěn)健的運動目標陰影檢測跟蹤結(jié)果。
圖8 SNL視頻SAR運動車輛標注結(jié)果
圖9 SNL視頻SAR第336幀動目標陰影檢測結(jié)果
為了驗證虛警抑制處理方法的有效性,選取實測數(shù)據(jù)的第266幀,觀察圖10(a)可以得到,若不進行虛警抑制處理,則左下角會產(chǎn)生5個由散焦亮斑移動引入的虛警,在圖像序列中,散焦亮斑移動可以等效為背景暗區(qū)移動,因此在散焦亮斑經(jīng)過的區(qū)域會產(chǎn)生較多虛警,但亮斑和陰影的ROI在灰度上存在較大差異,通過設(shè)置合適的灰度閾值進行判別,可以剔除大部分虛警,結(jié)果如圖10(b)所示,移動亮斑產(chǎn)生的絕大部分虛警被剔除,而移動陰影產(chǎn)生的真實目標被保留。
圖10 視頻SAR預(yù)警抑制處理對比
在空間域虛警抑制處理基礎(chǔ)上,進一步采用視頻SAR多目標跟蹤,利用序列時間域信息可以進一步抑制虛警,提高運目標陰影跟蹤成功率。圖11為SNL視頻SAR第24幀和第385幀運動目標跟蹤結(jié)果,其中,線條表示動目標跟蹤形成的航跡,可見第24幀中的7個動目標和第385幀中的8個動目標均被正確地檢測和跟蹤。
圖11 SNL視頻SAR運動目標跟蹤結(jié)果
對SNL視頻SAR整個數(shù)據(jù)進行跟蹤性能評估,定義動目標跟蹤成功率為視頻幀可成功形成跟蹤航跡的目標數(shù)/視頻幀實際動目標數(shù),設(shè)A代表跟蹤結(jié)果區(qū)域,B代表運動目標標注區(qū)域,如果(A∩B)/(A∪B)>0.5則衡量為跟蹤成功,SNL視頻SAR逐幀跟蹤成功率如圖12所示,其平均跟蹤成功率為85%,實現(xiàn)了較好的檢測跟蹤處理結(jié)果。
圖12 SNL視頻SAR跟蹤成功率統(tǒng)計結(jié)果
本文研究了一種穩(wěn)健的視頻SAR動目標陰影檢測與跟蹤處理方法,針對視頻SAR幀圖像陰影特性不穩(wěn)定的特點,采用改進的差分處理方法實現(xiàn)動目標快速檢測處理,進一步針對虛警較高的問題,綜合采用空間域虛警抑制方法和時間域多目標跟蹤方法實現(xiàn)動目標檢測跟蹤處理,SNL視頻SAR實測數(shù)據(jù)處理評估結(jié)果表明運動車輛目標跟蹤成功率可達到85%,驗證了本文所提方法的有效性。