基于深度學習的SAR圖像目標在地表環(huán)境中的檢測與偽裝效果評估技術

劉青 顧乃威 張學文 盧衛(wèi)建

（北京航天發(fā)射技術研究所，北京 100076）

0 引言

合成孔徑雷達（Synthetic Aperture Radar, SAR）全天時全天候對重點目標和戰(zhàn)備設施如裝甲車、坦克、飛機、艦船、港口等進行成像，完成目標檢測與識別并提供目標位置、類型信息，具備實時探測隱蔽和偽裝目標的能力，在效果評估領域發(fā)揮一定作用[1]。

傳統(tǒng)的地面目標SAR 圖像檢測是包含兩個相對獨立的過程，即目標特征提取與特征分類。在目標特征提取階段，通過人工設計的算法把原始圖像轉換為某種特征向量；在特征分類階段，采用機器學習中的分類器算法，比如支持向量機等，對特征向量進行分類，得出原始圖像所屬的類別。由于分類器的學習和特征的提取是分離的，對于圖像識別來說，所提取特征與學習的分類器是次優(yōu)的，分類器性能受限于所提取的特征的區(qū)分能力。

相比于傳統(tǒng)人工設計手動提取特征，深度學習可以自動提取高層語義特征，具有更強的特征表示能力。深度學習不再把圖像識別分為特征提取與特征分類兩個獨立步驟，而是把兩者連接在一起，構成一個深層卷積神經網絡，模型輸入為圖像，輸出為圖像的類別。直接對該模型進行有監(jiān)督訓練，把特征提取與特征分類耦合在一起聯合學習，得到了更好的特征和更好的分類器，大幅度提高了分類精度。這種端到端學習方式，提高算法自動化程度，有效減少人工參與，解決了計算機視覺領域的很多難題，引起了整個圖像識別領域的跨越式進展。圖1展示了傳統(tǒng)圖像識別與現代圖像識別流程。

圖1 圖像識別方法：傳統(tǒng)二階段方法、深度學習端到端方法Fig.1 Image recognition method, traditional two-stage method、deep learning end-to-end method

1 偽裝效果評估技術發(fā)展

偽裝效果評估概念指的是是利用探測及識別方法對偽裝前后的目標特性進行分析，查看經過偽裝之后目標自身的暴露特征是否得以消除或降低。

傳統(tǒng)的評估方法是采用野外實驗的方法，對目標不同偽裝狀態(tài)進行高空/衛(wèi)星拍攝成像，若干觀察員對背景目標的圖像進行讀圖判別，允許采用專業(yè)觀測工具及方法，在有限時間內對目標所在位置和目標類型進行判斷，結果以發(fā)現識別概率表示。該種方法能夠獲取目標真實數據，但是工作量大耗時長、受限于成像設備性能，并依賴于判讀員的工作能力，往往用于武器裝備最終的性能鑒定試驗中。

為了縮短野外試驗的時間和資源使用，美國構造了環(huán)境背景的地理數據庫以及目標特征數據集，仿真生成全景模擬戰(zhàn)場三維沙盤，能夠部署軍事目標、地形地物等信息，模擬設置戰(zhàn)場中的迷彩巧裝遮蔽，硝煙，假目標等多種偽裝手段用進行性能評價，減少人力資源使用。但是該種仿真方法與真實目標背景的數據存在差異，影響評估結果。

近些年關于目標識別和性能評估集中在客觀的圖像解譯領域，希望盡可能剔除判讀過程中人的經驗和知識，其中在SAR 圖像目標檢測算法中基于統(tǒng)計特性的算法研究最為廣泛，該類方法是基于目標與背景間的灰度對比度來考慮的。主要包括全局閾值法[2]、恒虛警率檢測法[3]，廣義似然比檢測法[4]等。但是這些方法依賴于研究人員設計復雜算法來處理特征和致力于提高計算加速技術，無法通過人工設計算法全面提取目標數據。隨著手動特征提取技術性能趨于飽和，該技術領域的發(fā)展在2010年之后達到緩慢瓶頸期。

隨著人工智能等技術的快速發(fā)展，計算機自主學習能力和結果解釋能力提升，2012年深度學習由于能夠學習圖像的魯棒性和高層次特征，在全世界煥發(fā)生機[5]。2014年R.Girshick等人率先提出具有卷積神經網絡特征的區(qū)域用于檢測目標[6]，這一年作為目標檢測的分水領，徹底從傳統(tǒng)手工特征提取轉變?yōu)榛谏疃葘W習的特征提取，跨上新臺階。大規(guī)模圖像數據集ImageNet的識別競賽ILSVRC（ImageNet Large Scale Visual Recognition Chanllenge）是近年來機器視覺領域最具權威性的學術競賽，代表了圖像領域最高的水平，深度卷積神經網絡(Deep Convolutional Neural Network，DCNN)在該項比賽中取得了遠超其它傳統(tǒng)方法的成績，并且發(fā)展出了很多非常優(yōu)秀的目標檢測模型。YOLO（You Only Look Once）就是深度卷積神經網絡的一種。2015年R.Joseph提出的深度學習第一個單級檢測器YOLO[7]，它將單個神經網絡應用于整個圖像，該網絡將圖像分割成多個區(qū)域，同時預測每個區(qū)域的邊界框和概率。后來R.Joseph在第一版本基礎上進行了多種改進，包括引入路徑聚合網絡、定義新的損失函數，并陸續(xù)形成了YOLO后續(xù)改進版v2[8],v3[9]，該模型在保持了高檢測速度的同時進一步提高了檢測精度，兼顧檢測效果與運行效率，在很多實際場合得到了廣泛應用。

2 YOLO檢測模型

YOLO的全圖處理方式不同于窮舉法和候選區(qū)優(yōu)選法，它在測試階段和訓練階段都是著眼于整幅圖像，對包圍框和類別的回歸具有明顯優(yōu)點，與Fast-RCNN比較錯誤率下降了一半[10]；其次YOLO速度非?？?，它每秒鐘能處理45幀圖像，甚至都可用于實時檢測系統(tǒng)，對于SAR圖像較大、數據處理量較多的問題有很大的幫助[11]。最后YOLO的深度特征，泛化能力強，較之SAR圖像使用的傳統(tǒng)特征表述能力要強得多。□

2.1 YOLO-V3網絡結構

YOLO V3是目前階段綜合性能最好的檢測算法之一，在小目標的檢測上取得了不錯的結果，在科研界和工業(yè)界都有很好的應用和研究價值。本文采用YOLO系列第三個版本YOLO-V3作為檢測模型。將輸入圖像分為S×S個單元格，每個單元格負責檢測“落入”該單元格的對象，若某個物體的中心位置落到某個格子內，該格子負責檢測出這個物體。每個格子輸出B個包圍盒bounding box信息，分別是坐標x,y,w,h以及類別概率，xy是邊界框中心坐標w,h是邊界框的寬高。YOLO-V3模型結構如圖2所示。

圖2 YOLO-V3網絡結構圖Fig.2 YOLO-V3 network structure diagram

該模型使用了三個不同尺度進行目標檢測，圖中綠色的三個層（第82、94、106層）是目標檢測層，這三層的特征圖大小分別是輸入圖像的1/32，1/16，1/8，這幾個層的神經元感受野不同，第82層感受野最大，適合檢測比較大目標，第106層感受野比較小，適合檢測比較小目標。為了融合不同尺度的特征，網絡第84層經過上采樣之后，與第61層的特征圖進行拼接，再經過若干卷積層之后，得到第94層檢測層；第96層特征圖經過上采樣，與第36層特征圖拼接融合，隨后經過若干卷積之后得到第106層檢測層。在這個設計中，將低層次（細粒度）特征與高層特征（粗粒度）融合，使得網絡可以檢測較小的目標。

原始YOLO-V3模型使用COCO數據集訓練，每個網格設置9個參考包圍盒。這些參考包圍盒大小經過對COCO上的包圍盒聚類得到，一共聚為9類。根據特征圖的大小，分配到三個不同的檢測層，每個檢測層使用三種不同大小的包圍盒，表1中列出了輸入圖像大小為416×416時，各個檢測層的特征圖大小，以及所分配的參考包圍盒尺寸。

表1 YOLO-V3不同檢測層的包圍盒尺寸Table1 YOLO-V3 size of bounding box for different detection layers

本文目標的大小集中在60×60左右，因此，我們對模型做了修正：僅使用第94層檢測目標，并且只設置一個參考包圍盒，參考包圍盒大小設置為60×60。經過改造之后，第94檢測層每個網格只預測一個目標包圍盒。

2.2 訓練樣本的標注

訓練樣本標注采用PASCAL VOC格式，每個目標位置用一個軸向包圍盒表示。對每張訓練圖像，圖中的每個目標都對應一個包圍盒以及目標類別名稱，標注信息都記錄在一個xml文件中。圖3展示了一個訓練圖像及其標注文件，圖中有三個目標，在對應的標注文件中，記錄了每個目標的類別名稱以及包圍盒坐標。

圖3 目標檢測訓練樣本的標注Fig.3 Labeling of target detection training samples

2.3 模型訓練

在YOLO系列檢測模型中，每個網格設置了B個參考包圍盒，每個參考包圍盒用于預測1個目標包圍盒，因此一個網格的B個參考包圍盒都是訓練樣本，但是每個樣本的真實值需要根據標注信息確定：對第i個網格的第j個參考包圍盒，在所有中心位于該網格的真實包圍盒中，選取與的交并比最大的分配給作為真實值；如果一個參考包圍盒沒有被分配真實值，那么該包圍盒用于預測背景。

3 地面目標檢測與偽裝效果評估

3.1 構建訓練樣本

采用美國桑迪亞國家實驗室數據MSTAR (Moving and Stationary Target Recognition)，該數據集共有8類不同軍事車輛目標切片，包含自行榴彈炮、裝甲車、運輸車、坦克等，每個目標約570幅圖像，分辨率為54×54到178×178不等。除此之外，還包含100幅不同場景SAR圖像，分辨率為1784×1476，如圖4所示。

圖4 MSTAR中的8類地面目標和環(huán)境背景SAR圖像Fig.4 Eight kinds of ground target and environment background sar images in MSTAR

為得到檢測器的訓練樣本，采用數據融合技術將上述背景圖像和目標圖像合成訓練圖像樣本。數據融合包括原始數據級融合、特征級融合和決策級融合[12]。本次選取特征級數據進行匹配，以混合前后圖像的亮度直方圖的分布一致性作為融合衡量標準。

隨機選取一幅背景圖像，根據YOLO模型支持輸入的圖像分辨率從中隨機裁剪出一個416×416大小的子圖，然后從目標集合中隨機選取若干個圖像，并把這些目標圖像粘貼到背景圖像中的隨機位置上。由于背景圖像與目標圖像的成像條件不同，兩者之間存在亮度差異，直接把 目標圖像粘貼到背景圖像中，粘貼區(qū)域與背景之間的區(qū)域邊緣非常明顯，目標不能融入到背景中，容易造成過擬合。因此采用加權融合，根據背景圖像的亮度模式對目標圖像進行亮度修正，使得兩者亮度分布比較一致。

目標圖像與背景圖像的融合算法如下：假設目標圖像為Q，我們從背景圖像上對應的融合區(qū)域截取出一塊與Q同樣大小的圖像塊P。然后用P作為參考圖像，對Q做直方圖匹配，使得Q的亮度分布與P接近一致。然后，構造一個與Q同樣大小的高斯權值圖像W，用W對兩者進行融合，得到融合后的圖像R：

其中權值

圖5 圖像融合權值 Fig.5 Image fusion weight

圖6 展示了一個背景圖像塊P，目標圖像塊Q，直方圖匹配之后的目標圖像塊以及融合的結果?？梢钥吹浇涍^處理之后，目標區(qū)域與背景區(qū)域的亮度分布比較接近。自左至右依次為：背景圖像P，目標圖像Q，直方圖匹配之后的目標圖像，兩者融合的結果。

圖7展示了圖6中四個圖像塊的直方圖，可以看出，經過上述處理之后，融合結果的直方圖（最右）與原始背景圖像塊的直方圖（最左）比較接近。自左至右依次為圖6中對應圖像的直方圖，當原始圖像塊內部亮度非常均勻時，直方圖呈明顯的尖峰分布，不宜用直方圖匹配方法修改目標圖像塊的整體亮度；當原始圖像塊內部亮度非常低時，融合目標圖像塊之后，該區(qū)域出現明顯的亮斑，目標與背景對比明顯，形成容易區(qū)分的樣本；另一方面，如果原始圖像塊內部亮度范圍比較寬（亮度方差大），不適宜放置目標。為了避免出現這些情況，在合成樣本時，首先要對合成區(qū)域的平均亮度和亮度方差進行限制，當平均亮度低于0.1，亮度標準差低于0.1或者高于0.2時，放棄合成。這樣可以使得合成的目標出現在有一定紋理的背景區(qū)域。

圖6 目標圖像融合效果Fig.6 Target image fusion effect

圖7 亮度直方圖對比Fig.7 Brightness histogram comparison

圖8 對比不同方法得到的訓練樣本圖像，其中：左上角是原始背景圖像；右上角是直接把目標圖像粘貼到背景圖像之后的結果，很明顯這種合成方式得到的圖像中目標區(qū)域與背景區(qū)域亮度差異非常大；左下角是把直方圖匹配之后的目標直接粘貼到背景圖結果，效果明顯變好，但是目標左上角區(qū)域仍然有一些亮斑是目標圖像中的背景噪聲；右下角是對直方圖匹配之后的目標圖像與原圖進行加權融合的結果，這個結果中，目標左上角的背景噪聲基本去掉了，目標與背景融合的比較自然真實。

圖8 不同方法得到的樣本圖像Fig.8 Sample image obtained by different methods

由于數據集中的目標圖像中，目標所占的區(qū)域很小，圖像背景區(qū)域比較大，為了更緊湊的檢測目標區(qū)域，本文在合成過程中，對分辨率超過64×64的樣本，截取其中心位置的64×64區(qū)域融合到背景圖像中。因此，訓練樣本中目標的包圍盒大小約為60×60。

采用上述方法合成了1326個樣本，每個樣本中包含1～6個目標。從中隨機選取1000個樣本用于訓練，其余的326個用于評測。圖9顯示了部分生成樣本，其中紅色包圍盒是自動計算的標注框。

圖9 合成樣本與標框Fig.9 Composite sample and label box

3.2 卷積層目標響應

輸入學習訓練圖像和反饋傳遞中卷積層是最重要的環(huán)節(jié)，卷積層中有非常多神經元，每個神經元是能夠對某種特征敏感的提取器，當圖像中出現某種特征的時候，對其敏感神經元就會呈現激活狀態(tài)。為了解內部如何對背景與目標進行區(qū)分，采用可視化工具，選取第三個卷積層第22、44以及205個神經元對三幅圖像響應進行特征可視化操作，如圖10所示。圖10分別表示原圖（第1行）、第22層（第2行）、第44層（第3行）、第205層（第4行），其中在第三層的卷積上的第22、44個神經元對目標產生了很強響應，而對背景進行了忽略，第205個神經元主要是對樹木背景區(qū)域產生強響應。這表明，不同的神經元能夠對圖像中不同物體進行響應，這就是后期進行目標和背景分離的基礎。

圖10 卷積神經元響應Fig.10 Convolution neuron response

3.3 試驗結果

目標識別認為算法能夠找出目標所在位置并對類型識別正確，也就是說能夠區(qū)分地面目標和背景特征，同時還能區(qū)分不同目標之間的特征。采用YOLO模型訓練之后，測試集平均精度為97.87%，8種不同類別目標精度如表8所示。

在機器學習中，標注樣本產生的噪聲引入數據誤差、學習樣本的多樣性、預訓練模型對框架的影響等會影響識別準確性。上述測試結果相比于其它模型數據，SSD檢測精度為95.36%[13]，FCNN檢測精度為96.51%[13]，YOLO的檢測模型具有很好的檢測性能，用來評價偽裝效果。

表2 8種不同類別目標的精度Table2 Accuracy of eight different types of targets

圖11 MSTAR目標檢測結果實例Fig.11 MSTAR example of target detection results

3.4 偽裝效果評估

機器學習技術對原型樣本訓練檢測和識別，以此算法作為基準，再測試偽裝樣本，通過檢測和識別的結果變化來評價偽裝效果。原型樣本（即訓練樣本）與偽裝樣本（即測試樣本）存在明顯的差異，兩者的概率分布不同，存在分布漂移，即不滿足統(tǒng)計機器學習中的基本假設：獨立同分布假設（Independent Identical Distribution, IID）。在這種情況下，機器學習模型的推廣能力沒有理論保障，在發(fā)生了分布漂移的測試集上，其性能會下降。由于算法的其它條件沒有變化時，那么在測試數據上出現一致性的識別性能下降問題，可認為是測試數據與訓練數據之間不滿足前述IID假設，即測試數據與訓練數據之間存在系統(tǒng)性的偏差。該偏差的產生是由于目標偽裝前后樣本的差異欺騙了算法，引起算法得出檢測概率較低的預測結果甚至是錯誤的結果，這種性能下降的程度就可以反映出了目標偽裝性能的優(yōu)劣。本文就是應用IID假設來評價偽裝效果。

模擬目標采用雷達吸波材料的隱身效果，降低雷達接收器接收到反射波能量。模擬方法為：在融合目標和背景時，把目標圖像的像素權值隨機降低，使得目標像素的最大權值在0.5～0.8范圍內，因此，偽裝圖像中目標的亮度比較低，象征著雷達接收到的反射波比較弱。隨機生成86幅原型樣本圖像和86張偽裝樣本圖像，每一張圖像之間目標的位置、數量以及種類都相同，區(qū)別僅在于融合權值不一樣。圖12顯示了原型樣本(左)與偽裝樣本(右)的對比效果。

圖12 原型樣本和偽裝樣本Fig.12 Prototype sample and camouflage sample

準確率是正確結果占總樣本的百分比，也叫做查準率；召回率是實際為正確的樣本中被預測為正確樣本的概率，也叫做查全率。準確率和召回率取值在0和1之間，數值越接近1，檢測效果越好。表3和表4分別統(tǒng)計了每個類別的準確率（Precision,P）和召回率（Recall,R）。偽裝樣本比原型樣本的兩個指標均有明顯下降，根據獨立同分布假設的意義，這種數值下降是偽裝性能帶來的目標識別偏差。

表3 偽裝樣本與原型樣本的檢測準確率PTable 3 Detection accuracy of camouflage samples and prototype samples

表4 偽裝樣本和原型樣本的檢測召回率RTable 4 Detection recall rate of camouflage samples and prototype samples

圖13所示的是一個樣本的偽裝前后檢測結果對比，其中一個目標（中間目標，真實類別為ZIL13）偽裝之后被誤檢為其它目標（BTR_60），對于這個目標來說，它的偽裝度為1；另兩個目標的置信度均有所下降，但是下降幅度很小，這兩個目標的偽裝程度接近0。

圖13 偽裝前后檢測結果對比Fig.13 Comparison of detection results before and after camouflage

表5統(tǒng)計了偽裝樣本與原型樣本中各類目標平均檢測精度，可以看出幾乎所有類別上，偽裝樣本的精度均低于原型樣本，表明偽裝之后，檢測器正確檢測并識別出目標的難度變大。由于兩種樣本中目標的位置、類別、背景都是相同的，唯一區(qū)別在于偽裝樣本中模擬了雷達接收信號變弱，因此，這種檢測精度降低的唯一原因在于目標經過了偽裝，并且起到了一定的偽裝效果。

表5 偽裝樣本與原型樣本的檢測精度Table 5 Detection precision of camouflage samples and prototype samples

對偽裝進行量化評價，我們定義偽裝程度為：

其中，01,pp分別為偽裝前后目標檢測器對該目標輸出的正確類別的檢測概率。

假設某個目標的真實類別是D7，偽裝前，目標檢測器輸出該目標為D7的概率為0.9，偽裝后檢測器輸出改目標為D7的概率為0.5，那么對該目標的本次偽裝的程度為0.44。

對多個目標都進行同樣的偽裝，可以測出每個目標的偽裝程度，這些目標的平均偽裝程度可以用來衡量偽裝的偽裝效果。本文中使用的86幅圖像中，一共有179個目標，通過計算每個目標的偽裝程度，得出本次實驗所用的偽裝方式的偽裝效果為49.7%。

4 結論

本文研究了基于深度學習的自動目標識別技術，采用了YOLO系列第三個版本YOLO-V3作為檢測模型，該檢測算法屬于判別式算法，這類算法試圖從訓練樣本中找到最適于區(qū)分不同類別的特征，對目標類型做出準確判斷。針對合成孔徑雷達圖像的地面目標的檢測識別，圖像數據集采用真實雷達SAR圖像，并用灰度融合方式得到了背景目標融合圖像，比訓練單目標圖或仿真模擬圖像更具準確性。最后利用獨立同分布假設的識別性能下降理論來評價偽裝效果，通過用原型樣本來訓練檢測算法，以此算法作為基準，偽裝樣本與之存在明顯差異，通過比較檢測概率的數值關系得出偽裝效果。