基于混合型復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)的三維轉(zhuǎn)動艦船目標(biāo)識別

張 云，化青龍，姜義成，徐 丹

（哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院，黑龍江哈爾濱 150001）

1 引言

星載合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）具有全天候、全天時、高分辨觀測優(yōu)勢，已成為對海監(jiān)視不可或缺的手段［1］.在中高海情下，航行中的艦船在海浪作用下存在三維擺動和平動分量.非平穩(wěn)運(yùn)動分量使得SAR 回波近似為多分量多項(xiàng)式相位信號，SAR成像處理后存在剩余多普勒相位，導(dǎo)致成像結(jié)果呈現(xiàn)不同程度的散焦現(xiàn)象，進(jìn)而給艦船識別帶來困難［2］.三維轉(zhuǎn)動艦船目標(biāo)成像處理主要用SAR/ISAR 混合成像方式獲得重聚焦圖像，進(jìn)而進(jìn)行特征提取與目標(biāo)識別［3］.非合作艦船目標(biāo)受到本身運(yùn)動與海浪作用的隨機(jī)擺動復(fù)合作用，使得SAR/ISAR 成像處理復(fù)雜.同時在大場景SAR 圖像中，存在多目標(biāo)交疊、強(qiáng)目標(biāo)淹沒弱目標(biāo)等問題，導(dǎo)致實(shí)測運(yùn)動艦船的識別率不高.傳統(tǒng)艦船識別方法主要對SAR 靜止艦船圖像或聚焦后的清晰圖像進(jìn)行識別，較少考慮艦船隨機(jī)擺動特性、平動特性導(dǎo)致圖像模糊之后的識別問題.

隨著深度學(xué)習(xí)的快速發(fā)展［4］，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在SAR圖像處理領(lǐng)域展現(xiàn)出應(yīng)用優(yōu)勢.國內(nèi)一些學(xué)者已經(jīng)研究了CNN 在SAR艦船檢測領(lǐng)域的應(yīng)用［5，6］.張曉玲等［5］提出一種基于深度分離卷積神經(jīng)網(wǎng)絡(luò)的SAR 艦船檢測方法SARShipNet-20，該方法能夠?qū)崿F(xiàn)高速和高精度的艦船檢測.SAR 回波本質(zhì)是電磁波與成像場景相互作用的電磁相干疊加，SAR 圖像本身是帶有相位信息的復(fù)數(shù)數(shù)據(jù)［7］.但是以上研究通常僅考慮SAR 圖像的幅度信息，而忽略了與目標(biāo)復(fù)雜運(yùn)動特性有關(guān)的相位信息.徐豐等［8］將復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)（Complex-Valued Convolutional Neural Network，CV-CNN）引入極化SAR 地物識別，CV-CNN 相對于實(shí)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)（Real-Valued Convolutional Neural Network，RV-CNN）具有明顯識別優(yōu)勢，一些研究學(xué)者開始將SAR 成像機(jī)理、目標(biāo)回波特性與深度學(xué)習(xí)結(jié)合，并提出基于數(shù)據(jù)和模型聯(lián)合驅(qū)動的識別方法.

與光學(xué)圖像不同，SAR 圖像相位蘊(yùn)含了目標(biāo)的豐富信息.近年來，一些學(xué)者利用CV-CNN 開展SAR 目標(biāo)識別研究，復(fù)數(shù)域深度學(xué)習(xí)逐漸成為一個深度學(xué)習(xí)領(lǐng)域較受關(guān)注的分支，尤其在SAR 目標(biāo)識別上表現(xiàn)了優(yōu)越性能.YU 等［9］提出了復(fù)數(shù)域全卷積神經(jīng)網(wǎng)絡(luò)用于SAR 目標(biāo)分類，該網(wǎng)絡(luò)隱藏層中只包含卷積層，避免了復(fù)雜的池化操作和過擬合.TAN 等［10］利用復(fù)數(shù)域網(wǎng)絡(luò)提取協(xié)方差/相干矩陣中包含的物理散射機(jī)制，提出了CV-3D-CNN 網(wǎng)絡(luò)進(jìn)行PolSAR 圖像分類.SUNAGA 等［11］提出了一種CV-CNN 架構(gòu)處理InSAR 數(shù)據(jù)，并證明該CV-CNN 可自適應(yīng)地對斜坡和平原進(jìn)行分類.GAO J等［12］通過數(shù)據(jù)驅(qū)動的方式，利用CV-CNN 實(shí)現(xiàn)了對SAR艦船目標(biāo)的重聚焦.

CV-CNN 在處理復(fù)數(shù)域數(shù)據(jù)具有一定優(yōu)勢，網(wǎng)絡(luò)中的全部元素可擴(kuò)展到復(fù)數(shù)域.但激活函數(shù)在擴(kuò)展過程中會出現(xiàn)不解析的問題.文獻(xiàn)［8］提出的實(shí)虛型復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)（Real-Imaginary-type Complex-Valued Convolutional Neural Network，RI-CV-CNN）將復(fù)數(shù)分為實(shí)部和虛部分別激活處理，但該方法并不直接處理相位信息，不利于網(wǎng)絡(luò)對艦船復(fù)雜運(yùn)動信息的感知.文獻(xiàn)［11］將復(fù)數(shù)分為幅度和相位分別處理，但直接推導(dǎo)反向傳播公式較為困難.因此，本文提出一種混合型復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)（Mix-type Complex-Valued Convolutional Neural Network，Mix-CV-CNN），在卷積層將輸入分為幅度和相位兩部分，充分考慮SAR 艦船復(fù)雜運(yùn)動信息的感知識別，在全連接層和輸出層設(shè)計(jì)了實(shí)虛型網(wǎng)絡(luò)，進(jìn)行誤差反向傳播公式的推導(dǎo).由于隨機(jī)海浪使得艦船目標(biāo)存在三維轉(zhuǎn)動，Mix-CV-CNN 不需要對運(yùn)動目標(biāo)進(jìn)行SAR/ISAR 混合成像的重聚焦處理，即可解決三維轉(zhuǎn)動目標(biāo)識別問題，提高識別精度.

2 三維轉(zhuǎn)動艦船目標(biāo)成像分析

艦船在海上航行時，由于受風(fēng)力、氣壓和重力等影響，會隨著海浪起伏擺動，產(chǎn)生隨機(jī)非平穩(wěn)運(yùn)動，并表現(xiàn)為三維轉(zhuǎn)動：俯仰、側(cè)擺和偏航.三維轉(zhuǎn)動使得艦船目標(biāo)回波的多普勒相位時變，常規(guī)SAR 成像處理后仍有多階相位信息剩余，從而影響SAR成像質(zhì)量.艦船三維轉(zhuǎn)動示意圖如圖1所示.

圖1 艦船三維轉(zhuǎn)動示意圖

從圖1中可以得到，三維轉(zhuǎn)動角速度分別為偏航角速度ωy、俯仰角速度ωp和側(cè)擺角速度ωr.由三維轉(zhuǎn)動產(chǎn)生的艦船轉(zhuǎn)動角度分別為偏航角θy、俯仰角θp和側(cè)擺角θr.當(dāng)艦船發(fā)生偏航、俯仰和側(cè)擺時，多普勒頻率可以分別表示為［13］

式（1）～（3）中，(xP，yP，zP)為艦船一散射點(diǎn)的坐標(biāo)，為坐標(biāo)單位，λ為入射波波長.

由式（1）～（3）可得，艦船三維轉(zhuǎn)動分量引起目標(biāo)回波多普勒頻率變化，進(jìn)而導(dǎo)致SAR 圖像模糊散焦，仿真成像結(jié)果如圖2 所示，圖2（a）～（d）為點(diǎn)目標(biāo)仿真結(jié)果，圖2（e）～（h）為第800距離單元方位剖面圖，不同轉(zhuǎn)動分量均會引起目標(biāo)像散焦.

圖2 SAR點(diǎn)目標(biāo)三維轉(zhuǎn)動仿真示例

3 基于Mix-CV-CNN的SAR艦船識別算法

本文構(gòu)建了一種混合型卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合幅相型與實(shí)虛型卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，在卷積層使用幅相型激活函數(shù)，在全連接層與輸出層使用實(shí)虛型激活函數(shù)［14］，在一定程度上解決了幅相型神經(jīng)網(wǎng)絡(luò)反向傳播過程較為復(fù)雜的難題，并提升了SAR 三維轉(zhuǎn)動艦船目標(biāo)的識別性能.

3.1 Mix-CV-CNN算法原理

Mix-CV-CNN 由輸入層、卷積層、池化層、全連接層和輸出層組成，Mix-CV-CNN 的所有元素均為復(fù)數(shù).本小節(jié)介紹Mix-CV-CNN的前向傳播與反向傳播算法.

3.1.1 Mix-CV-CNN前向傳播算法

（1）卷積層前向傳播

第l個卷積層的輸出al可以表述為：前一層的輸出al-1經(jīng)過卷積核Wl的卷積運(yùn)算，得到中間參量zl，再經(jīng)過幅相型激活函數(shù)σA-P(·)［15］激活，得al，即

式中，|z|與arg(z)分別代表復(fù)變量z的幅度與相位，σ(·)為實(shí)數(shù)域激活函數(shù)，如sigmoid［16］、ReLU［17］等，j 是虛數(shù)單位，*表示卷積操作.

（2）池化層前向傳播

除了卷積層，深度學(xué)習(xí)網(wǎng)絡(luò)也常用池化層縮減模型的大小，提高計(jì)算速度，同時增強(qiáng)所提取特征的魯棒性.池化層的操作相當(dāng)于下采樣，并減小特征圖尺寸.本文采取平均值池化，即選取池化窗口內(nèi)平均值作為池化層輸出.池化層前向傳播過程為：前一層的輸出al-1經(jīng)過平均池化，得到池化層輸出al，即

式中，Re(z)與Im(z)分別代表z的實(shí)部與虛部，ave(·)表示平均池化操作.

（3）全連接層前向傳播

全連接層中的每個神經(jīng)元都與前一層中的所有神經(jīng)元相連，在整個網(wǎng)絡(luò)中起到分類器的作用.如果L表述為輸出層，則輸出層的輸出aL可以表述為：全連接層的輸出aL-1經(jīng)過連接權(quán)重WL的矩陣相乘運(yùn)算，得到中間參量zL，再經(jīng)過實(shí)虛型激活函數(shù)σR-I(·)激活，得到輸出層的輸出aL.即

輸出層采用獨(dú)熱編碼，對應(yīng)真值位置為1+1j，其他位置為0.計(jì)算輸出向量中每個元素幅度，幅度最大元素的位置編號即為輸出類別.

3.1.2 Mix-CV-CNN反向傳播算法

Mix-CV-CNN 有監(jiān)督訓(xùn)練的實(shí)質(zhì)是優(yōu)化權(quán)重和偏差，使得網(wǎng)絡(luò)輸出與訓(xùn)練數(shù)據(jù)的期望輸出或給定標(biāo)簽相匹配.在多特征提取階段之后，網(wǎng)絡(luò)輸出和目標(biāo)之間仍然存在誤差，該誤差可以描述為損失函數(shù).因此，網(wǎng)絡(luò)參數(shù)通過優(yōu)化算法進(jìn)行訓(xùn)練，并將反向傳播中的損失函數(shù)最小化.

（1）全連接層反向傳播

令aL為網(wǎng)絡(luò)輸出，h為期望輸出，則總的分類誤差J可以表示為

定義輸出層誤差項(xiàng)為

由式（9）可知，式（10）的第二、三項(xiàng)為零，因此式（10）可簡化為

式中σ′(·)為σ(·)的導(dǎo)數(shù).

通過式（12）與（13）完成全連接層的權(quán)值更新.

式中(·)H代表取共軛轉(zhuǎn)置.

（2）池化層反向傳播

在池化層中并沒有需要學(xué)習(xí)的參數(shù)，但是仍然需要計(jì)算池化層的誤差項(xiàng)，以便在反向傳播中獲得較低層的誤差項(xiàng).若第l層是池化層，該層誤差項(xiàng)δl與后接卷積層的誤差項(xiàng)δl+1及權(quán)重Wl+1有關(guān)，池化層誤差項(xiàng)δl為

式中rot(·)代表矩陣旋轉(zhuǎn)180度.

（3）卷積層反向傳播

Mix-CV-CNN 在卷積層使用幅相型激活函數(shù)，采用全連接層誤差項(xiàng)公式推導(dǎo)方式，通過求取卷積層誤差項(xiàng)的實(shí)部和虛部完成誤差反向傳播.

若第l層是卷積層，該層誤差項(xiàng)δl與后接池化層的誤差項(xiàng)δl+1以及池化因子β有關(guān).為了保持誤差項(xiàng)尺寸相同，需要將δl+1進(jìn)行上采樣，上采樣過程表示為up(δl+1).則J對該卷積層輸出al的偏導(dǎo)為

則卷積層誤差項(xiàng)為

通過式（20）與（21）完成卷積層權(quán)值更新.

3.2 算法描述

在艦船三維轉(zhuǎn)動條件下，SAR 回波數(shù)據(jù)經(jīng)過常規(guī)SAR 成像算法的距離向與方位向壓縮后，仍有多階相位信息剩余，使得三維轉(zhuǎn)動目標(biāo)不能很好地聚焦成像.本文所提的基于Mix-CV-CNN 的SAR 艦船識別算法利用復(fù)數(shù)域網(wǎng)絡(luò)相位信息提取與處理能力，提高對模糊散焦SAR 三維轉(zhuǎn)動艦船目標(biāo)的識別效果.識別算法示意圖如圖3所示.

圖3 SAR艦船識別算法示意圖

首先，通過SAR 成像處理構(gòu)造SAR 三維轉(zhuǎn)動艦船目標(biāo)訓(xùn)練集與測試集；然后，利用訓(xùn)練集訓(xùn)練Mix-CVCNN，通過Mix-CV-CNN 自學(xué)習(xí)并提取樣本的深層本質(zhì)特征；最后，通過全連接層與輸出層，實(shí)現(xiàn)對SAR 三維轉(zhuǎn)動艦船目標(biāo)的識別.

步驟如算法1所示：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集

4.1.1 仿真數(shù)據(jù)集

仿真數(shù)據(jù)由基于3D 模型與射線追蹤法的SAR 成像方法得到，圖像為未進(jìn)行運(yùn)動補(bǔ)償和重聚焦處理的原始成像結(jié)果.仿真參數(shù)：軌道高度755 km、斜視角0°、下視角42.3°、雷達(dá)平臺速度7568 m/s、載頻5.4 GHz、脈沖重復(fù)頻率為1178 Hz.仿真數(shù)據(jù)集包含五類目標(biāo)，分別為阿利伯克級驅(qū)逐艦、黑天鵝級護(hù)衛(wèi)艦、不來梅級護(hù)衛(wèi)艦、日向級驅(qū)逐艦、羅津級護(hù)衛(wèi)艦.仿真不同姿態(tài)、信噪比、三維轉(zhuǎn)動角速度的樣本數(shù)據(jù)11520 個.SAR 三維轉(zhuǎn)動艦船目標(biāo)仿真示例如圖4所示.

圖4 五類SAR 三維轉(zhuǎn)動艦船目標(biāo)仿真示例(a) 五類艦船目標(biāo)光學(xué)圖像；(b) 3D模型；(c) 靜止?fàn)顟B(tài)；(d) 三維轉(zhuǎn)動狀態(tài)

4.1.2 實(shí)測數(shù)據(jù)集

基于船舶自動識別系統(tǒng)數(shù)據(jù)對七景高分三SAR 數(shù)據(jù)進(jìn)行標(biāo)注，再結(jié)合部分OpenSAR［18］數(shù)據(jù)集，構(gòu)建SAR實(shí)測數(shù)據(jù)集，包含貨船、油船、其他船三類目標(biāo)等樣本數(shù)據(jù)2000個，示例如圖5所示.

圖5 三類SAR 艦船目標(biāo)實(shí)測示例(a) 光學(xué)圖像；(b)～(d) SAR 實(shí)測圖像

4.2 網(wǎng)絡(luò)架構(gòu)

Mix-CV-CNN 架構(gòu)如圖6 所示.除了輸入輸出層外，它還包括五個卷積層，三個平均池化層和兩個全連接層.Mix-CV-CNN 的自由度是同類RV-CNN 的兩倍.為了公平對比，實(shí)驗(yàn)所用RV-CNN 架構(gòu)具有與Mix-CVCNN 相同的自由度，其兩維輸入數(shù)據(jù)由SAR 復(fù)圖像的實(shí)部和虛部組成.

圖6 Mix-CV-CNN網(wǎng)絡(luò)架構(gòu)

4.3 模型訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練優(yōu)化方法采用CvAdam 算法［19］，共訓(xùn)練1000 批次，每批次32 個樣本，學(xué)習(xí)率為0.0001.卷積層與全連接層中包含的實(shí)數(shù)域激活函數(shù)為ReLU.輸出層包含的實(shí)數(shù)域激活函數(shù)為sigmoid.訓(xùn)練曲線分別如圖7 所示.在相同條件下，Mix-CV-CNN 的收斂速度快于RI-CV-CNN 與RV-CNN，體現(xiàn)了Mix-CV-CNN 的優(yōu)越性.

圖7 損失函數(shù)收斂曲線

4.4 識別結(jié)果

4.4.1 仿真數(shù)據(jù)識別結(jié)果

仿真識別結(jié)果如表1 所示.Mix-CV-CNN 識別混淆矩陣如表2 所示.由表1、表2 可得，RV-CNN 中僅有三類目標(biāo)的準(zhǔn)確率超過85%，其中羅津級的準(zhǔn)確率僅有75.67%.采用復(fù)數(shù)域深度學(xué)習(xí)網(wǎng)絡(luò)可以有效提高存在三維轉(zhuǎn)動分量的目標(biāo)識別能力，RI-CV-CNN 中各類目標(biāo)準(zhǔn)確率均超過了90%.VGG16［20］和ResNet18［21］均有兩類目標(biāo)的準(zhǔn)確率低于90%.Mix-CV-CNN 對目標(biāo)識別的準(zhǔn)確率均超過了RV-CNN和RI-CV-CNN，尤其是第五類目標(biāo)的準(zhǔn)確率比RV-CNN 高出21.65%.Mix-CV-CNN的平均準(zhǔn)確率達(dá)到了最高的97.46%，體現(xiàn)了Mix-CVCNN相對于RI-CV-CNN、RV-CNN及其他經(jīng)典骨干網(wǎng)絡(luò)的性能優(yōu)勢.

表1 仿真數(shù)據(jù)識別測試結(jié)果（%）

表2 Mix-CV-CNN仿真數(shù)據(jù)識別混淆矩陣（%）

算法運(yùn)算效率方面，在Inte（lR）i7-6700 CPU 與Ge-Force RTX 1080 顯卡的環(huán)境中，訓(xùn)練1000 批次，每批次訓(xùn)練32個樣本.運(yùn)算效率統(tǒng)計(jì)如表3所示.

由表3 可得，Mix-CV-CNN 耗時是RV-CNN 的3 倍，而與RI-CV-CNN 差異較小，Mix-CV-CNN 在全連接層和輸出層使用實(shí)虛型激活函數(shù)，有利于并行化計(jì)算.相比于實(shí)數(shù)運(yùn)算，復(fù)數(shù)運(yùn)算更為復(fù)雜，使得Mix-CV-CNN 訓(xùn)練速度較慢.ResNet18 的參數(shù)量為11.51 M，原生VGG16 的參數(shù)量約為138 M，本實(shí)驗(yàn)將VGG16 全連接層的神經(jīng)元個數(shù)設(shè)置為1024，VGG16 的參數(shù)量下降為24.15 M.相較于經(jīng)典骨干網(wǎng)絡(luò)VGG16 和ResNet18，本文所提的Mix-CV-CNN 在參數(shù)量及運(yùn)算效率上是具有明顯優(yōu)勢的.

表3 運(yùn)算效率統(tǒng)計(jì)

4.4.2 實(shí)測數(shù)據(jù)識別結(jié)果

實(shí)測數(shù)據(jù)集包含貨船、油船、其他船等，每一類別所包含的實(shí)測目標(biāo)樣本情況較為復(fù)雜多樣.實(shí)測數(shù)據(jù)識別結(jié)果如表4 所示.Mix-CV-CNN 識別混淆矩陣如表5所示.

由表4、表5 可得，VGG16 中僅有一類目標(biāo)的準(zhǔn)確率超過了90%.RV-CNN 中僅有一類目標(biāo)的準(zhǔn)確率超過了95%，且油船的準(zhǔn)確率低于85%.RI-CV-CNN 與ResNet18 中三類目標(biāo)準(zhǔn)確率均超過了90%.Mix-CVCNN 中貨船、油船兩類目標(biāo)的準(zhǔn)確率超過了95%，僅其他船一類目標(biāo)的準(zhǔn)確率低于95%，但也達(dá)到了93.10%，平均準(zhǔn)確率達(dá)到了最高的96.09%，體現(xiàn)了Mix-CV-CNN在卷積層使用幅相型激活函數(shù)并利于網(wǎng)絡(luò)對SAR 艦船目標(biāo)復(fù)雜運(yùn)動信息進(jìn)行感知處理的優(yōu)勢.

表4 實(shí)測數(shù)據(jù)識別測試結(jié)果（%）

表5 Mix-CV-CNN實(shí)測數(shù)據(jù)識別測試結(jié)果（%）

5 結(jié)論

本文針對SAR 三維轉(zhuǎn)動目標(biāo)的復(fù)數(shù)域信息特征，將復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于SAR 艦船目標(biāo)識別.在設(shè)計(jì)網(wǎng)絡(luò)構(gòu)架時考慮目標(biāo)相位信息的深度挖掘，結(jié)合現(xiàn)有幅相型與實(shí)虛型復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，提出了混合型復(fù)數(shù)域卷積神經(jīng)網(wǎng)絡(luò)，并推導(dǎo)了前向傳播與反向傳播模型，給出算法實(shí)現(xiàn)流程.實(shí)驗(yàn)驗(yàn)證了Mix-CV-CNN 可在未進(jìn)行目標(biāo)重聚焦的情況下，較好地實(shí)現(xiàn)三維轉(zhuǎn)動艦船目標(biāo)的識別.相較于RV-CNN、RI-CVCNN 及其他經(jīng)典骨干網(wǎng)絡(luò)VGG16 和ResNet18，所提Mix-CV-CNN可顯著提高識別精度.