基于改進ResNet網(wǎng)絡的復數(shù)SAR圖像艦船目標識別方法

雷 禹, 冷祥光, 周曉艷, 孫忠鎮(zhèn), 計科峰

(國防科技大學電子科學學院, 湖南 長沙 410073)

0 引 言

合成孔徑雷達(synthetic aperture radar,SAR)采用微波相干成像,因此SAR圖像本質(zhì)上是復值的[1]。在像素信息量上SAR圖像更加豐富,這也是其和普通光學紅外遙感圖像顯著不同之處。同時,SAR可以獲取全天時、全天候的二維高分辨圖像,能夠有效解決光學衛(wèi)星在夜間和不良氣候下無法對海洋目標監(jiān)視的問題,是目前世界各國進行海上目標監(jiān)測的重要手段[2-3]。

在SAR圖像中,對海上的艦船目標識別是SAR艦船圖像信息解譯的重要組成,也是多衛(wèi)星協(xié)同海洋監(jiān)測中一個重要環(huán)節(jié)。艦船目標識別的目的是判斷出艦船所屬類別,在軍事上可以用于分析軍事行動和進行軍事偵察,及時獲取海上作戰(zhàn)的相關軍事情報。在民用領域上可以應用于監(jiān)視海運交通、維護海洋權益等方面。相比于SAR圖像艦船目標檢測,利用SAR圖像進行艦船目標識別的相關研究起步較晚,因此具有重要的研究意義[4]。

當前SAR圖像艦船目標識別方法可以總結(jié)為:① 基于有效特征提取的識別方法。通過提取有效特征可以從不同角度描述圖像中目標特性,再選擇有效的分類方法進行目標識別。目前特征表達方法主要分為空間特征、統(tǒng)計特征、變換域特征和代數(shù)特征[5]。② 基于特征融合的識別方法。通過特征融合可以增加圖像的特征信息,實現(xiàn)更加全面的特征表達[6]。③ 基于模型匹配的識別方法。根據(jù)訓練圖像獲取模型預測特征,再通過匹配模型的預測特征和圖像的提取特征來實現(xiàn)目標識別。④ 基于SAR成像原理和地物電磁散射機理的識別方法。使用目標的強散射信息[7]、SAR數(shù)據(jù)中方位不變性等特征[8]來提高分類識別精度。⑤ 基于深度學習的識別方法。隨著深度學習方法的快速發(fā)展,已經(jīng)被廣泛地應用到目標識別的領域中,通過使用無監(jiān)督[9]或監(jiān)督學習方法的機器學習特征建立低級特征和高級語義之間的關系，大大提升了目標識別的準確性,也充分體現(xiàn)了深度學習在目標識別中的巨大優(yōu)勢和潛力。

近年來,卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN)、全卷積網(wǎng)絡(fully convolutional networks, FCN)等深度學習框架用于SAR圖像目標識別中,都取得了較好的結(jié)果。但目前應用于SAR圖像識別的深度學習框架,都是針對其幅度信息。并且大多數(shù)學者在采用深度學習方法對SAR圖像進行研究時,認為其包含的相位信息服從均勻分布因此不具有有用信息,故將其當作光學圖像對待,只研究幅度信息。例如，在對OpenSARShip數(shù)據(jù)集進行艦船目標識別[6,10]時多采用的是地距多視(ground range detected,GRD)產(chǎn)品,在對斜距單視復數(shù)(single look complex,SLC)產(chǎn)品也只是將其轉(zhuǎn)換為幅度圖去使用,從而忽略了SAR圖像特有的復數(shù)信息。

但復數(shù)相比較于實數(shù)而言具有較好的表征能力和泛化特性[11-12]。近些年發(fā)表的文章，也表明了復數(shù)信息在語音識別、圖像分類識別以及自然語言處理方面具有非常好的性能[13-15]。El-Darymli等[16-17]對復數(shù)SAR圖像目標分類問題的研究也證明了復數(shù)信息對SAR圖像解譯的重要性。研究發(fā)現(xiàn)，隨著SAR圖像分辨率的提高,完全發(fā)展的相干斑的部分假設條件并非嚴格成立,對此SAR圖像中的復數(shù)信息可以有助于更加完整地描述艦船目標,對提升復數(shù)SAR圖像艦船目標識別能力和檢測性能具有重要作用[1]。

本文在艦船目標識別應用中考慮到SAR圖像的本質(zhì)特征,首先進行輸入層隱式復數(shù)信息增強,將SAR圖像的實部、虛部和幅度三通道信息進行組合,使輸入數(shù)據(jù)包含復數(shù)信息表示。其次,在ResNet18網(wǎng)絡的基礎上進行改進,通過引入通道注意力機制使網(wǎng)絡可以自適應學習到實部、虛部和幅度三通道之間的復數(shù)信息。再次,針對復數(shù)數(shù)據(jù)集樣本較少，可能在網(wǎng)絡訓練過程中出現(xiàn)過擬合現(xiàn)象,引入標簽平滑正則化(label smoothing regularization, LSR)可以有效抑制過擬合問題。最后進行相關實驗,驗證了本文方法的有效性。

本文內(nèi)容將按照4個小節(jié)進行展開:第1節(jié)介紹本文所提出的方法,詳細介紹了輸入層隱式復數(shù)增強,引入通道注意力機制和標簽平滑正則化改進網(wǎng)絡的方法與原理;第2節(jié)為實驗數(shù)據(jù)與配置;第3節(jié)為實驗結(jié)果與分析,在OpenSARShip數(shù)據(jù)集上進行實驗,并與經(jīng)典神經(jīng)網(wǎng)絡方法進行對比分析;第4節(jié)對本文內(nèi)容進行總結(jié)。

1 基于改進網(wǎng)絡的復數(shù)SAR圖像艦船目標識別方法

本文所提出的基于改進網(wǎng)絡的復數(shù)SAR圖像艦船目標識別方法的整體架構(gòu)如圖1所示。其主要分為4部分:第1部分是輸入層隱式復數(shù)信息增強,將SAR圖像的實部、虛部和幅度三通道信息進行組合,增加復數(shù)信息表示;第2部分是基于ResNet18網(wǎng)絡引入通道注意力機制,使網(wǎng)絡能夠自適應學習三通道之間的復數(shù)信息。第3部分是引入LSR,解決因復數(shù)數(shù)據(jù)集樣本少出現(xiàn)的過擬合問題。第4部分是獲得識別結(jié)果。

圖1 本文方法整體架構(gòu)圖

1.1 輸入層隱式復數(shù)信息增強

目前絕大多數(shù)的研究者直接將基于深度學習的光學圖像處理方法遷移到SAR處理中,該方法只應用了SAR圖像的幅度信息而忽略了復數(shù)信息。但是,SAR圖像復數(shù)信息中包含了更豐富的目標特征信息[18],可用復數(shù)形式表示:

(1)

式中：i為實部；q為虛部； j為虛部單位；A為幅度；φ為相位信息,φ=arctan(q/i)。

在本文方法中從SAR圖像的本質(zhì)出發(fā),通過組合SAR圖像的實部、虛部和幅度三通道信息,隱式地提供了輸入數(shù)據(jù)復數(shù)信息表示。其實現(xiàn)過程由圖2所示。

圖2 輸入層隱式復數(shù)信息增強

本文提出了3種輸入層隱式復數(shù)信息增強方式:第1種方式是將復數(shù)SAR圖像中的實部i、虛部q和幅度A三通道信息直接進行組合,并保留其16位原始灰度,可以表示為

Z1=[iq;A]

(2)

第2種方式在第1種方式的基礎上進行處理,將數(shù)據(jù)的像素值縮放到0～255區(qū)間,如下所示：

(3)

式中：Z1_pixel表示第1種增強方式輸入數(shù)據(jù)的像素值。

考慮到負數(shù)像素值的影響,第3種方式是將第1種處理方式的實部i、虛部q分別加上絕對值處理再與幅度A進行組合,并保留其16位原始灰度,可以表示為

Z3=[|i|; |q|;A]

(4)

圖3為3種輸入層隱式復數(shù)信息增強方式的可視化過程，展示了貨輪在3種增強方式下的實部圖像、虛部圖像和幅度圖像,以及復數(shù)信息增強圖像。3種增強方式下對幅度圖像的處理方式相同。在實部與虛部的處理上,第1種增強方式Z1最大程度保存了像素值,實部和虛部中含有復數(shù)像素值。第2種增強方式Z2按照傳統(tǒng)圖像處理方法將像素值縮放到0～255區(qū)間,將小于0的像素值統(tǒng)一變?yōu)?，在圖像中顯示為黑色。所以可以觀察到第2種方式下的實部與虛部圖像的顏色更深,但相較于第1種增強方式的實部和虛部圖像像素信息有一定損失。第3種增強方式Z3考慮到負數(shù)像素值的影響,并保證可以最大程度利用復數(shù)信息,加絕對值處理后將負數(shù)像素值變?yōu)檎?。通過觀察可以發(fā)現(xiàn)，第3種增強方式下實部和虛部圖像相較于前兩種可以更好表示出艦船目標信息。通過圖3總體可以觀察到實部圖像、虛部圖像和幅度圖像之間具有差異性,實部和虛部圖像展示出了艦船目標不同的細節(jié)信息。所以,將復數(shù)SAR圖像的實部、虛部和幅度三通道信息進行組合,可以更好利用復數(shù)信息的細節(jié)表示,在復數(shù)層面更加完整地描述艦船目標。

圖3 輸入層隱式復數(shù)信息增強可視化過程

進行圖像預處理過程通常會對數(shù)據(jù)進行標準化處理,使得輸入網(wǎng)絡的數(shù)據(jù)呈現(xiàn)一個穩(wěn)步的分布。其優(yōu)勢是一方面可以提升模型的精度,提高分類器的準確性;另一方面可以加快梯度下降的求解速度,加速模型收斂。但是目前在使用深度學習方法處理SAR數(shù)據(jù)時,經(jīng)常直接使用由Imagenet數(shù)據(jù)集的百萬張圖像計算得到的均值和標準差進行標準化處理,而忽略了SAR數(shù)據(jù)集與Imagenet數(shù)據(jù)集在數(shù)據(jù)集大小、成像模式等方面的不同。因此，本文對復數(shù)信息增強的輸入數(shù)據(jù)使用標準分數(shù)方法進行標準化處理,由方差公式可得

(5)

(6)

因此，標準分數(shù)方法的過程可表示為

(7)

依據(jù)上述公式,本文所實現(xiàn)的標準化過程只需要通過遍歷一次數(shù)據(jù)就可以獲得數(shù)據(jù)集均值和標準差,避免了占用內(nèi)存過大的問題,大大縮短了用時。

1.2 引入通道注意力機制的改進ResNet18網(wǎng)絡

典型的分類識別網(wǎng)絡通過提取卷積層和池化層所融合的空間和通道信息特征對輸入的圖像進行識別。在提高網(wǎng)絡性能時,可以通過構(gòu)建深層的網(wǎng)絡結(jié)構(gòu)或者引入某些機制來增強網(wǎng)絡提取特征的能力。ResNet網(wǎng)絡在2015年由何凱明提出,以top1誤差為3.6%的圖像識別記錄獲得了2015年ImageNet大規(guī)模視覺識別競賽比賽的冠軍[19]。并且目前的研究發(fā)現(xiàn)，通過在網(wǎng)絡中引入注意力機制[20-22],可有效保留圖像中有價值的特征信息。

因此,本文在ResNet18網(wǎng)絡的基礎上引入壓縮-激勵(squeeze-and-excitation, SE)通道注意力機制模塊來提升網(wǎng)絡對通道特征的敏感度。通過對輸入數(shù)據(jù)的實部、虛部和幅度三通道進行權重調(diào)整,可以實現(xiàn)自適應關注各通道的有用特征和學習三通道之間的復數(shù)信息。圖4為改進的ResNet18的網(wǎng)絡結(jié)構(gòu)圖。

圖4 改進的ResNet18的網(wǎng)絡結(jié)構(gòu)圖

圖5 SE通道注意力模塊結(jié)構(gòu)圖

壓縮操作過程如圖5中紅色框所示,這個過程對應一個全局平均池化的操作,可以將全局空間信息壓縮到一個通道描述中。激活操作如圖5藍色框所示,包含兩個全連接層。第1個全連接層可以看作為一個降維率為r的降維層,將壓縮操作獲得的結(jié)果降低維度變?yōu)镃/r維向量,其中降維率r為一個固定的超參數(shù),影響網(wǎng)絡中SE通道注意力機制模塊的容量和計算開銷。第2個全連接層將維度恢復為C維向量。最后通過sigmoid函數(shù)獲取各通道的權重。故通過SE通道注意力機制會保留特征圖中與權重值為1或接近1相乘的信息,而抑制與權重值小于1進行相乘的信息,從而實現(xiàn)強化特征的效果。本文的網(wǎng)絡結(jié)構(gòu)分為5層,SE通道注意機制加在層2～層5結(jié)構(gòu)中,對每層結(jié)構(gòu)的輸出進行結(jié)構(gòu)圖的可視化,如圖6所示,可知加入通道注意力及之后,網(wǎng)絡開始更加關注艦船目標的特征信息。

圖6 特征可視化

1.3 標簽平滑正則化

通常圖像的分類識別網(wǎng)絡結(jié)構(gòu)的最后一層為全連接層,數(shù)據(jù)標簽會以one-hot形式進行編碼,再通過交叉損失函數(shù)進行參數(shù)調(diào)整。這時損失函數(shù)可以表示為

(8)

式中：K表示類別數(shù)目；k表示樣本數(shù)據(jù)集中某一類別標簽;p(k)為預測分布;q(k)為標簽分布。在訓練過程中,希望交叉損失函數(shù)可以盡可能小來更新權重參數(shù),得到最好的訓練模型。這個過程通過softmax函數(shù)使得預測分布p(k)輸出的預測置信度分數(shù)接近1,但是這個過程會使得正確標簽的概率遠遠大于錯誤標簽的概率,導致模型的泛化能力低,出現(xiàn)對標簽過分相信而產(chǎn)生的過擬合問題。

本文方法在實驗中考慮到所用的復數(shù)數(shù)據(jù)集樣本和類別較少的情況,為避免在訓練過程中出現(xiàn)過擬合現(xiàn)象,在模型訓練中加入了LSR,首次提出是用于訓練Inception-v2[24]。

LSR[25-26]通過改變真實標簽的概率分布,加入一個超參數(shù)ε來修正標簽分布q′(k),其中y為真實標簽數(shù):

(9)

這時損失函數(shù)變?yōu)?/p>

(10)

因此,最優(yōu)的預測概率分布z′(k)可以表示為

(11)

式中：α可以為任意實數(shù)。

所以，LSR可以保證錯誤標簽的概率不為0,從而實現(xiàn)對模型的約束,防止正確標簽的概率遠遠大于錯誤標簽的概率,從而降低過擬合現(xiàn)象。

2 實驗數(shù)據(jù)及配置

2.1 實驗數(shù)據(jù)

本文實驗所采用的數(shù)據(jù)是由上海交通大學在2017年和2018年發(fā)布的OpenSARShip數(shù)據(jù)集及其2.0版本[27-28]。該數(shù)據(jù)集是在Sentinel-1圖像上采集的,包含地距多視產(chǎn)品和斜距單視復數(shù)產(chǎn)品,具有VV極化和VH極化兩種方式。

本文主要選用OpenSARShip數(shù)據(jù)集中SLC模式和VH極化方式,該模式下SAR圖像包含復數(shù)信息,艦船數(shù)目統(tǒng)計如圖7所示。從圖7中可以看出，該數(shù)據(jù)集具有樣本不均衡的問題,當訓練樣本不均衡時分類器會將分類邊界偏向少數(shù)的樣本目標,這樣就會導致少數(shù)樣本目標幾乎都被錯誤地識別為數(shù)目較多的樣本目標,深度學習無法訓練出較好的模型[29]。本文希望可以更好探究針對復數(shù)信息改進神經(jīng)網(wǎng)絡方法的性能,因此選擇其中數(shù)目較多的兩類艦船目標貨船和油船進行研究,將數(shù)目較少的艦船目標進行舍棄,并對兩類艦船目標進行了篩選和數(shù)量上均衡,兩類目標數(shù)量分別為760和756,并將每類艦船隨機劃分為訓練集和測試集,劃分比例為9∶1。

圖7 艦船數(shù)目統(tǒng)計圖

2.2 實驗配置

本實驗的電腦環(huán)境為64位Windows10系統(tǒng),編程語言為python,深度學習框架為Pytorch。硬件采用AMD Ryzen 7 4800HS with Radeon Graphics @ 2.90 GHz,內(nèi)存為8G,顯卡為GeForce GTX 1660Ti,采用CUDA10.0和CUDNN7.5.1加速計算。實驗超參數(shù)設置如表1所示。

表1 模型超參數(shù)設置

3 實驗結(jié)果與分析

3.1 評價指標

為驗證本文實驗的有效性,采用混淆矩陣,準確率和精確率進行評估。其中,混淆矩陣可以直觀展示艦船目標被正確分類識別的個數(shù)。并通過混淆矩陣可以進一步計算準確率Accuracy。Accuracy是指分類模型判斷正確結(jié)果的占比,可以反映分類器對整個樣本的判定能力。

(12)

式中：TP、FP、FN、TN分別表示為真正例、假正例、假負例和真負例。

精確率Precision用來計算每一類艦船的分類精度:

(13)

3.2 輸入層隱式復數(shù)信息增強實驗結(jié)果分析

首先對3種輸入層隱式復數(shù)信息增強的輸入數(shù)據(jù)Z1、Z2和Z3進行實驗探究,尋找最優(yōu)的增強方式。并在實驗中增加了一組只保留幅度通道信息的SAR圖像數(shù)據(jù),可以表示為Z4=[A],來驗證復數(shù)信息在艦船目標識別中的有效性。

實驗中將復數(shù)增強的輸入數(shù)據(jù)Z1、Z2和Z3在VGG (visual geometry group) 16Net網(wǎng)絡、GoogleNet網(wǎng)絡和ResNet18網(wǎng)絡等經(jīng)典的神經(jīng)網(wǎng)絡上進行實驗對比。實驗結(jié)果如表2所示。

表2 輸入層隱式復數(shù)信息增強實驗結(jié)果

通過表2的實驗結(jié)果可以發(fā)現(xiàn),本文中所提出的第3種輸入層隱式復數(shù)信息增強方式在3種網(wǎng)絡上皆取得了最高的準確率。對于第1種增強方式,直接將數(shù)據(jù)中的實部與虛部進行組合的目的是希望可以最大程度上利用到復數(shù)信息,但在實驗過程中發(fā)現(xiàn)這樣的組合可能存在像素值正負抵消的問題,導致重新組合的三通道信息并不能很好地表示艦船目標,在識別效果上并沒有得到提升反而下降。第2種增強方式是在第1種方式的基礎上進行處理,將數(shù)據(jù)的像素值縮放到0～255區(qū)間,可以發(fā)現(xiàn)識別效果相較于第1種增強方式有了一定提高?？紤]到負數(shù)像素值的影響,第3種增強方式在處理過程中進行了絕對值處理,來保證數(shù)據(jù)組合中加入的實部和虛部信息是加強作用的,并保留原始16位灰度,這樣可以大大減少對數(shù)據(jù)像素信息的損失。實驗驗證也說明了第3種增強方式效果好于其他兩種增強方式。

其次為驗證復數(shù)信息可以增強數(shù)據(jù)信息表示,本文在VGG16Net網(wǎng)絡、GoogleNet網(wǎng)絡和ResNet18網(wǎng)絡對單通道幅度SAR圖像數(shù)據(jù)Z4和復數(shù)信息增強的輸入數(shù)據(jù)Z3進行實驗。通過表2可以看出,使用輸入數(shù)據(jù)Z3在整體識別準確率上可以提升1%～2%,這表明將復數(shù)SAR圖像的實部、虛部和幅度通道進行組合,可以在幅度信息的基礎上增加復數(shù)信息提供的細節(jié)信息,更加完整地表示艦船目標,有利于提高艦船目標識別的準確率。

3.3 改進網(wǎng)絡實驗結(jié)果分析

為驗證本文改進網(wǎng)絡的有效性,本文設計了兩組實驗。第一組實驗是在VGG16Net網(wǎng)絡、GoogleNet網(wǎng)絡、ResNet18網(wǎng)絡和本文改進網(wǎng)絡上使用復數(shù)信息增強的輸入數(shù)據(jù)Z3進行實驗對比。第二組實驗考慮到深度學習往往需要大量的樣本進行訓練[30],因此在復數(shù)信息增強的輸入數(shù)據(jù)Z3和單通道幅度SAR圖像數(shù)據(jù)Z4上進行數(shù)據(jù)增強,來增加數(shù)據(jù)量進行擴展實驗,在ResNet18網(wǎng)絡和本文改進網(wǎng)絡上進行實驗對比。數(shù)據(jù)增強時為保證盡可能減少對數(shù)據(jù)信息的損失和改變,本文方法只使用了翻轉(zhuǎn)變換,將圖像沿著水平和垂直方向翻轉(zhuǎn),此時貨船數(shù)據(jù)量變?yōu)? 741,油船數(shù)據(jù)量變?yōu)? 268。

第一組實驗結(jié)果如表3所示,可以看出本文改進網(wǎng)絡比VGG16Net網(wǎng)絡的識別效果提升4.8%,相較于GoogleNet網(wǎng)絡的識別效果提升6.0%,相較于ResNet18網(wǎng)絡的識別效果提升1.5%。表明本文改進網(wǎng)絡中的通道注意力機制可以通過調(diào)整3個通道之間的權重,使網(wǎng)絡自適應學習三通道之間的復數(shù)信息,更加關注到艦船目標的完整信息,抑制了背景信息。同時,使用LSR解決了因復數(shù)數(shù)據(jù)樣本較少出現(xiàn)的過擬合問題,加強了網(wǎng)絡學習顯著性特征的能力,最終使得本文方法優(yōu)于其他方法。當數(shù)據(jù)集類間差異大且類內(nèi)差異小時會獲得比較好的結(jié)果。通過對數(shù)據(jù)中貨船和油船進行分析,發(fā)現(xiàn)貨船相較于油船在長度和型號等具有多樣性,類內(nèi)分布差異更大。因此,表現(xiàn)在網(wǎng)絡上的識別效果提升不明顯。

表3 改進網(wǎng)絡實驗結(jié)果

第二組擴展實驗結(jié)果如圖8所示,由混淆矩陣和結(jié)果統(tǒng)計圖可以發(fā)現(xiàn)在進行數(shù)據(jù)量上的擴增可以使得網(wǎng)絡進行更好的學習。本文改進網(wǎng)絡相比于ResNet18網(wǎng)絡使用單通道SAR幅度圖像Z4和復數(shù)信息增強的輸入數(shù)據(jù)Z3在總體識別率和每一類艦船目標的精確率上都有提升。同時也再一次驗證了本文方法的識別效果更優(yōu)。

圖8 實驗結(jié)果圖

4 結(jié) 論

本文從SAR圖像本質(zhì)為出發(fā)點進行研究,提出了一種基于改進網(wǎng)絡的復數(shù)SAR圖像艦船目標識別方法。通過實驗表明:

(1) 本文提出的輸入層隱式復數(shù)信息增強方式通過對復數(shù)SAR圖像的實部、虛部加絕對值處理然后和幅度進行組合，可以實現(xiàn)最優(yōu)效果,并可隱式地提供輸入數(shù)據(jù)的復數(shù)信息表示。與單通道幅度SAR圖像在經(jīng)典神經(jīng)網(wǎng)絡上進行識別效果對比,發(fā)現(xiàn)復數(shù)信息可以增強艦船目標的細節(jié)信息,有助于提高艦船目標的識別準確率。

(2) 本文方法在ResNet18網(wǎng)絡基礎上引入了通道注意力機制,使得網(wǎng)絡可以調(diào)整各通道的權重,自適應學習三通道之間的復數(shù)信息。同時通過引入標簽平滑正則化有效地解決了復數(shù)數(shù)據(jù)集樣本較少而產(chǎn)生的過擬合問題。

(3) 通過將本文方法與經(jīng)典神經(jīng)網(wǎng)絡進行對比實驗,發(fā)現(xiàn)本文方法在艦船目標識別準確率和兩類艦船目標的識別精確度上都有所提升,也驗證了本文方法的有效性。

最后本文方法也為今后利用SAR圖像的復數(shù)信息進行課題研究和后續(xù)學習提供參考和思路。