基于殘差網(wǎng)絡(luò)的微波關(guān)聯(lián)成像目標(biāo)重構(gòu)方法

李海龍, 苗 強(qiáng), 趙露涵

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院，西安，710077)

目前成像雷達(dá)主要有實(shí)孔徑雷達(dá)、合成孔徑雷達(dá)(synthetic aperture radar)、逆合成孔徑雷達(dá)(inverse synthetic aperture radar)[1-3]。實(shí)孔徑雷達(dá)距離向分辨率取決于發(fā)射信號(hào)的帶寬，方位向分辨率受限于天線或陣列孔徑的大小，想要提升分辨率只能通過增大天線孔徑或提高發(fā)射信號(hào)帶寬，這將導(dǎo)致雷達(dá)體積和重量的增加，影響實(shí)用性。合成孔徑雷達(dá)和逆合成孔徑雷達(dá)都依賴距離-多普勒效應(yīng)，需要雷達(dá)與觀測目標(biāo)存在相對運(yùn)動(dòng)，只能進(jìn)行側(cè)視或斜視成像，無法凝視成像。自A.Gatti等[4-5]研究人員實(shí)驗(yàn)證實(shí)了經(jīng)典熱光源也可以實(shí)現(xiàn)關(guān)聯(lián)成像，將量子強(qiáng)度關(guān)聯(lián)成像思想拓展到微波領(lǐng)域，衍生出了微波關(guān)聯(lián)成像[6]，為解決傳統(tǒng)雷達(dá)所受限制提供了新的思路和方向。

然而，現(xiàn)有的微波關(guān)聯(lián)成像重構(gòu)算法如偽逆算法(pseudo-inverse algorithm)、截?cái)嗥娈愔捣纸?TSVD)算法[7]、Tikhonov正則化算法等不僅要求高采樣率，其重構(gòu)結(jié)果也不夠理想。E. J. Candes、J. Romberg、T. Tao 和D. L. Donoho等[8]提出的壓縮感知(Compressed sensing)理論利用自然物體的稀疏性，可以極大地減少重構(gòu)所需要的采樣次數(shù)，在低采樣次數(shù)下，反演出目標(biāo)圖像。壓縮感知理論也衍生出了許多重構(gòu)算法，但均面臨著計(jì)算復(fù)雜度高，反演時(shí)間長等問題。阻礙了微波關(guān)聯(lián)成像的發(fā)展。

近年來，隨著計(jì)算速度的迅速提升和數(shù)據(jù)量的急劇增加，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用于圖像處理和計(jì)算機(jī)視覺領(lǐng)域。許多研究人員也嘗試將深度學(xué)習(xí)應(yīng)用于關(guān)聯(lián)成像目標(biāo)重構(gòu)中，2017年，SINHA等[9]實(shí)驗(yàn)證明了通過訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)可解決計(jì)算成像問題。2018年，HE Y等[10]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于鬼成像，該方法成像速度有所提升，但成像效果較差，模型泛化能力較差。2019年，中國科學(xué)院上海光學(xué)精密機(jī)械研究所司徒國海課題組[11]提出了一種利用仿真數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于恢復(fù)實(shí)驗(yàn)數(shù)據(jù)的方法，解決了訓(xùn)練數(shù)據(jù)及難以獲得的問題，并在計(jì)算鬼成像中驗(yàn)證了該方法的可行性。為深度學(xué)習(xí)在關(guān)聯(lián)成像方面的應(yīng)用提供了理論基礎(chǔ)。LIU等[12]提出基于卷積神經(jīng)網(wǎng)絡(luò)的壓縮感知重構(gòu)算法，將壓縮感知測量值作為網(wǎng)絡(luò)的輸入進(jìn)行圖像重構(gòu)，可以實(shí)現(xiàn)在低采樣率下的目標(biāo)重構(gòu)，但該方法沒有利用到采樣矩陣的信息，使得圖像部分信息丟失，造成重構(gòu)效果不理想。

本文借助卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)與殘差網(wǎng)絡(luò)(residual network，ResNets)[13]特征提取優(yōu)勢，提出一種基于殘差網(wǎng)絡(luò)微波關(guān)聯(lián)成像目標(biāo)重構(gòu)方法，以接收到的回波數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，進(jìn)行初期重構(gòu)后通過訓(xùn)練好的特征提取網(wǎng)絡(luò)和圖像增強(qiáng)網(wǎng)絡(luò)，可以得到高質(zhì)量反演圖像。

1 相關(guān)理論

1.1 微波關(guān)聯(lián)成像基本原理

微波關(guān)聯(lián)成像基本原理見圖1，其物理過程可以簡單描述為以下幾步：首先，將待成像區(qū)域均勻劃分成n個(gè)大小相等的網(wǎng)格，每個(gè)網(wǎng)格的散射特性用其中心點(diǎn)的后向散射系數(shù)σ(i)代替，利用相控陣天線構(gòu)造時(shí)空二維隨機(jī)輻射場Ei(t,r)，輻射場與待成像目標(biāo)相互作用形成散射場Fi(t,r)，雷達(dá)接收器接收散射回波Fi，將接收到的回波Fi與二維隨機(jī)輻射場Ei(t,r)做關(guān)聯(lián)處理反演出圖像信息。

圖1 微波關(guān)聯(lián)成像模型

輻射場是由陣列天線發(fā)出的電磁波經(jīng)空間傳播后生成，是各個(gè)陣元的發(fā)射信號(hào)在某同一位置的疊加，如式(1)所示：

Ei(t,r)=

(1)

式中：f(t)為天線發(fā)射信號(hào)；S(ri,r)表示天線發(fā)射陣列中第i個(gè)發(fā)射陣元的天線方向圖；ri表示第i個(gè)發(fā)射陣元到待成像目標(biāo)的距離；G(r,ri,t,t′)相關(guān)性格林函數(shù)，表示散射場和輻射場的關(guān)系。

散射場是由輻射場與待成像目標(biāo)相互作用形成的，是某同一位置各個(gè)網(wǎng)格散射信息的疊加。雷達(dá)散射回波是由散射場經(jīng)空間傳播得到，見式(2)：

(2)

式中：r0表示接收陣元的位置；G(r,ri,t,t′)取標(biāo)量形式。

在不考慮噪聲的情況下，回波信號(hào)可以表達(dá)為一列關(guān)于時(shí)間的采樣序列。成像區(qū)域被分割成n個(gè)具有相同尺寸的離散單元，將其展開成列向量與每個(gè)點(diǎn)對應(yīng)的輻射場做乘法，則雷達(dá)散射回波Fi(t)的表達(dá)式可簡化為：

(3)

簡化表示為：

F=E?σ

(4)

可以看出，式(3)中的每一行都是一個(gè)方程，表示待成像區(qū)域被劃分成n個(gè)離散單元后，在ti時(shí)刻，接收回波等于每個(gè)網(wǎng)格的輻射場與其后向散射系數(shù)的乘積。微波關(guān)聯(lián)成像的反演本質(zhì)就是利用式(1)對式(3)中每個(gè)方程進(jìn)行求解，求解出目標(biāo)后向散射系數(shù)σ，得到目標(biāo)的反演圖像。

1.2 卷積神經(jīng)網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)

近年來，卷積神經(jīng)網(wǎng)絡(luò)被證明具有強(qiáng)大的特征提取能力，在圖像處理領(lǐng)域應(yīng)用十分廣泛，其工作原理主要分為網(wǎng)絡(luò)模型的定義、網(wǎng)絡(luò)訓(xùn)練以及網(wǎng)絡(luò)預(yù)測。典型的卷積神經(jīng)網(wǎng)絡(luò)一般由輸入層、卷積層、池化層、全連接層、輸出層組成[14]?？筛鶕?jù)不同的應(yīng)用場景對卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行設(shè)計(jì)。訓(xùn)練數(shù)據(jù)集也是影響神經(jīng)網(wǎng)絡(luò)模型性能的主要因素，不同的訓(xùn)練數(shù)據(jù)集訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)模型性能往往差距很大，根據(jù)實(shí)際需求選取適當(dāng)?shù)挠?xùn)練數(shù)據(jù)集。隨著網(wǎng)絡(luò)越來越深，訓(xùn)練變得原來越難，網(wǎng)絡(luò)的優(yōu)化變得越來越難。殘差網(wǎng)絡(luò)通過加入殘差塊(residual block)，使神經(jīng)網(wǎng)絡(luò)模型變得更加容易被優(yōu)化。兩種不同的殘差塊結(jié)構(gòu)如圖2所示。

圖2 2種不同殘差塊結(jié)構(gòu)

2 基于殘差網(wǎng)絡(luò)的重構(gòu)模型設(shè)計(jì)

模型由3個(gè)部分構(gòu)成：初期重構(gòu)網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)和圖像增強(qiáng)網(wǎng)絡(luò)。具體過程簡單描述為：選取圖像中亮度分量作為被測目標(biāo)后向散射系數(shù)，利用相控陣天線分配隨機(jī)相位方法[15]模擬生成時(shí)空二維隨機(jī)輻射場，輻射場與散射系數(shù)相互作用得到散射場，雷達(dá)接收機(jī)接收散射回波，將散射回波采樣序列作為初期重構(gòu)網(wǎng)絡(luò)的輸入，進(jìn)行直接關(guān)聯(lián)重構(gòu)得到初期重構(gòu)圖像，此時(shí)圖像中含有被測物體信息，但視覺效果較差難以分辨。因此使用特征提取網(wǎng)絡(luò)對初期重構(gòu)圖像進(jìn)行特征提取并進(jìn)行重構(gòu)，可以得到比較模糊但含有被測物體特征的中間重構(gòu)圖像，將其作為圖像增強(qiáng)網(wǎng)絡(luò)的輸入，圖像增強(qiáng)網(wǎng)絡(luò)對其進(jìn)行特征增強(qiáng)和噪聲去除，即可輸出重構(gòu)后優(yōu)質(zhì)的被測物體圖像。具體細(xì)節(jié)見圖3。

圖3 基于殘差網(wǎng)絡(luò)重構(gòu)模型

2.1 初期重構(gòu)網(wǎng)絡(luò)

傳統(tǒng)重構(gòu)算法要求采樣數(shù)至少等于待成像區(qū)域所劃分的網(wǎng)格數(shù)，才可以實(shí)現(xiàn)對目標(biāo)的重構(gòu)，這樣就要求接收機(jī)的采樣頻率很高，十分影響實(shí)用性。初期重構(gòu)網(wǎng)絡(luò)以雷達(dá)接收機(jī)接收的散射回波采樣序列作為網(wǎng)絡(luò)輸入，進(jìn)行直接關(guān)聯(lián)計(jì)算輸出初期重構(gòu)圖像?？筛鶕?jù)不同的采樣率要求，取不同的序列長度。將采樣序列與時(shí)空二維隨機(jī)輻射場進(jìn)行關(guān)聯(lián)計(jì)算得到初期重構(gòu)圖像，有效降低了圖像重構(gòu)的采樣數(shù)量。

2.2 特征提取網(wǎng)絡(luò)

低采樣數(shù)的雷達(dá)序列經(jīng)初期重構(gòu)網(wǎng)絡(luò)重構(gòu)得到的圖像十分模糊，特征提取網(wǎng)絡(luò)的主要是從初期重構(gòu)圖像中提取被測物體的特征信息并進(jìn)行圖像重構(gòu)。因此，其輸入是一張尺寸為28×28×3的初期重構(gòu)圖像，經(jīng)過32個(gè)大小3×3的卷積層對輸入圖像進(jìn)行高維特征提取，將提取到的高維特征信息分別經(jīng)過8次如圖所示的殘差塊(ResBlock)和32個(gè)大小3×3為的卷積核后與高維特征信息進(jìn)行加權(quán)計(jì)算，最后一層選用3個(gè)大小1×1為的卷積核，步長為1，不設(shè)置激活函數(shù)，進(jìn)行通道調(diào)整和非線性映射。輸出一張尺寸為28×28×3的含有被測物體特征的中間重構(gòu)圖像。具體參見圖4。

圖4 特征提取網(wǎng)絡(luò)

2.3 圖像增強(qiáng)網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)輸出的中間重構(gòu)圖像雖然特征明顯但含有大量噪聲，特征信息不夠清楚。因此加入圖像增強(qiáng)網(wǎng)絡(luò)可以實(shí)現(xiàn)對噪聲的有效去除，同時(shí)還能增強(qiáng)圖像特征，提升重構(gòu)質(zhì)量，參見圖5。

圖5 圖像增強(qiáng)網(wǎng)絡(luò)

由圖5可看出，圖像增強(qiáng)網(wǎng)絡(luò)由3個(gè)卷積層構(gòu)成，其輸入為一張尺寸為28×28×3的中間重構(gòu)圖像，前兩層都采用大小為3×3的卷積核，步長為1，激活函數(shù)選擇Relu，分別生成32個(gè)和8個(gè)特征圖；第3層選擇3個(gè)大小為1×1的卷積核，步長為1，不設(shè)置激活函數(shù)，進(jìn)行通道調(diào)整。輸出為一張尺寸為28×28×3的優(yōu)質(zhì)重構(gòu)圖像。

3 仿真實(shí)驗(yàn)與結(jié)果分析

3.1 仿真實(shí)驗(yàn)

為了評估本文所提出的重構(gòu)算法，進(jìn)行仿真實(shí)驗(yàn)，首先基于matlab2016b利用相控陣天線構(gòu)造時(shí)空二維隨機(jī)輻射場，工作波長設(shè)置為0.008 2 m，目標(biāo)中心與發(fā)射天線距離為2 m?；赥ensorflow 2.2平臺(tái)對上述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行搭建。選取2組數(shù)據(jù)集分別進(jìn)行仿真，一組數(shù)從MNIST手寫數(shù)據(jù)集[16]中隨機(jī)選取一組(包含20 000個(gè)大小為28×28的訓(xùn)練圖片和10個(gè)28×28測試圖片)訓(xùn)練圖像，記為數(shù)據(jù)集A。另外一組選取STL-10數(shù)據(jù)集中BSDS200中199張大小為481×321的圖片，并從BSDS500_test中選擇3張作為測試圖片，對其進(jìn)行灰度圖像轉(zhuǎn)換并按照MNIST手寫數(shù)據(jù)集的尺寸對其進(jìn)行均勻切割剪裁處理，可以得到37 213張大小為28×28的圖像,記為數(shù)據(jù)集B。分別將2組數(shù)據(jù)集進(jìn)行歸一化后輸入初期重構(gòu)網(wǎng)絡(luò)，取采樣序列長度為78，進(jìn)行初期重構(gòu)得到初期重構(gòu)數(shù)據(jù)集A′和數(shù)據(jù)集B′。

將數(shù)據(jù)集A′和數(shù)據(jù)集B′分別與數(shù)據(jù)集A和數(shù)據(jù)集B進(jìn)行對應(yīng)，對特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練。兩次仿真實(shí)驗(yàn)均訓(xùn)練30個(gè)周期，每個(gè)周期內(nèi)分別含有16個(gè)批次和581個(gè)批次，每個(gè)批次含有64張大小為28×28的圖片。采樣均方誤差(MEAN)作為損失函數(shù)，優(yōu)化算法選擇自適應(yīng)矩陣估計(jì)(adaptive matrix estimation)優(yōu)化算法，學(xué)習(xí)率設(shè)置為0.001。訓(xùn)練結(jié)束后，分別輸入數(shù)據(jù)集A′和數(shù)據(jù)集B′得到中間重構(gòu)數(shù)據(jù)集A″和數(shù)據(jù)集B″。將數(shù)據(jù)集A″和數(shù)據(jù)集B″分別與數(shù)據(jù)集A和數(shù)據(jù)集B進(jìn)行對應(yīng)，對圖像增強(qiáng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練100個(gè)周期。其他參數(shù)與上述相同。訓(xùn)練結(jié)束后輸入測試圖片，就可以重構(gòu)出目標(biāo)圖像。

3.2 仿真結(jié)果分析

本節(jié)將本文算法分別與偽逆算法和壓縮感知算法進(jìn)行比較。其中壓縮感知反演算法選擇正交匹配追蹤算法(orthogonal matching pursuit)[17]，迭代次數(shù)設(shè)置為15。本實(shí)驗(yàn)選用MNIST手寫數(shù)據(jù)集測試集中的10張圖片和BSDS500_test中的3張標(biāo)準(zhǔn)測試圖片進(jìn)行重構(gòu)測試。分別在0.05、0.1、0.25的采樣率β下進(jìn)行無噪聲重構(gòu)測試，MNIST database仿真結(jié)果見圖6。

圖6 MNIST database不同采樣率下的3種方法實(shí)驗(yàn)結(jié)果對比

MNIST database數(shù)據(jù)集仿真實(shí)驗(yàn)結(jié)果表明，采樣率對重構(gòu)效果的影響十分明顯，隨著采樣率的提升，重構(gòu)也效果越來越好。雖然MNIST database數(shù)據(jù)集圖片稀疏度較高，但在采樣率比較低的情況下壓縮感知和偽逆算法重構(gòu)出的圖像模糊不清，含有大量噪聲，難以分辨圖像。本文算法重構(gòu)出的圖像相對于其他兩種重構(gòu)方法，在對比度和邊緣特征都有顯著增強(qiáng)，對背景噪聲也有濾除作用，重構(gòu)圖像的視覺效果優(yōu)于其他算法。

BSD500 database仿真結(jié)果如圖7，BSD500 database相比于MNIST database數(shù)據(jù)集中的圖像特性更加豐富。仿真結(jié)果表明，在低采樣率下，偽逆算法重構(gòu)圖像含有大量噪聲，特征信息模糊，視覺效果不佳，甚至無法成像。壓縮感知對圖像的特征信息有所保留，但仍含有大量噪聲，圖像模糊。本文算法相比于其他算法無論在以上兩個(gè)方面都有所提升。為進(jìn)一步客觀評價(jià)本文方法的優(yōu)越性，進(jìn)行峰值信噪比(peak signal to noise ratio，PSNR)[18]和圖像重構(gòu)時(shí)間對比分析。2組數(shù)據(jù)集上的平均PSNR值如表1所示，圖像重構(gòu)時(shí)間對比分析如表2所示。

圖7 BSD500 database不同采樣率下的3種方法實(shí)驗(yàn)結(jié)果對比

表1表明，本文算法重構(gòu)圖像的平均PSNR值高于偽逆算法和壓縮感知算法，在相對較低的采樣率下，偽逆算法和壓縮感知算法重構(gòu)的圖像含有大量噪聲，圖像特征信息不明顯，與原圖相似度較低。通過本文算法可以有效避免這些問題。

表1 不同采樣率下圖像重構(gòu)平均PSNR

表2為單張測試圖片在不同采樣率下各算法重建圖像所需要的平均運(yùn)行時(shí)間?？梢钥闯觯诓煌牡筒蓸勇氏?，本文方法重構(gòu)時(shí)間已達(dá)到0.061 s左右，小于壓縮感知方法重構(gòu)時(shí)間。因此相比于傳統(tǒng)微波關(guān)聯(lián)成像重構(gòu)方法，本文重構(gòu)方法在保證重構(gòu)圖像質(zhì)量的前提下，所需重構(gòu)時(shí)間更短。

表2 單張測試圖像在不同采樣率下各算法重建圖像的平均運(yùn)行時(shí)間 單位:s

4 結(jié)語

本文將殘差網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到微波關(guān)聯(lián)重構(gòu)算法中，提出一種基于殘差網(wǎng)絡(luò)的微波關(guān)聯(lián)圖像重構(gòu)方法，利用殘差網(wǎng)絡(luò)的特征提取優(yōu)勢，可以有效解決微波關(guān)聯(lián)傳統(tǒng)重構(gòu)算法在低采樣率下重構(gòu)圖像成像質(zhì)量差問題。為驗(yàn)證本文算法的有效性，分別與偽逆算法和壓縮感知算法進(jìn)行了實(shí)驗(yàn)仿真分析對比得到：在相同采樣率下，本文算法能夠重構(gòu)出更優(yōu)質(zhì)圖像，并且擁有更高的PSNR值；在高采樣率下，本文算法提供了更優(yōu)的重構(gòu)質(zhì)量，保留了更豐富的圖像信息；在低采樣率下，也能保留圖像的關(guān)鍵信息。同時(shí)，本文方法為解決微波關(guān)聯(lián)成像速度問題提供了一個(gè)新的解決方案，有效推動(dòng)了深度學(xué)習(xí)在雷達(dá)微波關(guān)聯(lián)成像領(lǐng)域的應(yīng)用。在后續(xù)的研究中，將進(jìn)一步完善網(wǎng)絡(luò)模型的結(jié)構(gòu)提升模型的泛化能力。