基于深度學(xué)習(xí)的合成孔徑成像系統(tǒng)共相誤差檢測(cè)研究綜述

馬慧敏,檀磊,張京會(huì),張鵬飛,寧孝梅,劉海秋,高彥偉

(1安徽農(nóng)業(yè)大學(xué)信息與計(jì)算機(jī)學(xué)院,安徽 合肥 230036;2中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院安徽光學(xué)精密機(jī)械研究所,中國(guó)科學(xué)院大氣光學(xué)重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230031;3中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院智能機(jī)械研究所,安徽 合肥 230031)

0 引言

隨著科技發(fā)展和實(shí)際應(yīng)用的需求,天文觀測(cè)、遙感成像、軍事偵察等領(lǐng)域?qū)μ綔y(cè)器的成像分辨能力要求越來(lái)越高。合成孔徑成像技術(shù)是一種新型的、以多路分離子孔徑組合來(lái)代替?zhèn)鹘y(tǒng)單一口徑主鏡的高分辨成像技術(shù),能夠達(dá)到等效大口徑望遠(yuǎn)鏡系統(tǒng)的高分辨率成像性能[1?4]。同時(shí),合成孔徑系統(tǒng)中的子孔徑尺寸較小、易于加工、重量較輕、所需的成本較低,已經(jīng)成為未來(lái)大口徑及超大口徑望遠(yuǎn)鏡發(fā)展的重要方向之一。子孔徑光束在像面上的同相位疊加是實(shí)現(xiàn)合成孔徑系統(tǒng)高分辨率成像的重要前提,因此,子孔徑間的共相誤差探測(cè)是光學(xué)合成孔徑成像系統(tǒng)研制所涉及的關(guān)鍵技術(shù)之一,一直受到該領(lǐng)域研究者的極大關(guān)注。

自光學(xué)合成孔徑成像技術(shù)提出以來(lái),科研人員相繼開展了對(duì)共相誤差檢測(cè)技術(shù)的研究,提出了多種共相誤差檢測(cè)方法,主要可以歸納為兩類。一類是依賴于波前傳感器的瞳面共相誤差探測(cè)方法,通常利用特定結(jié)構(gòu)的傳感器對(duì)系統(tǒng)的瞳面波前進(jìn)行調(diào)制分析,從而獲取共相誤差信息,如夏克哈特曼寬窄帶法[5?9]、曲率傳感器法[10,11]、色散條紋共相檢測(cè)法[12,13]、四棱錐傳感器法[12]等經(jīng)典瞳面共相檢測(cè)方法;另一類是不需要額外傳感器件的焦面共相探測(cè)方法,只需根據(jù)探測(cè)器采集的焦面或離焦面的光強(qiáng)圖像,采用波前復(fù)原算法或者優(yōu)化迭代算法來(lái)估算相位誤差,如GS相位復(fù)原法[14]、相位差法[15?17]、隨機(jī)并行梯度下降優(yōu)化算法[18?21]、模擬退火優(yōu)化算法[22]、改進(jìn)粒子群算法[23]等焦面共相探測(cè)方法。相比而言,瞳面共相探測(cè)技術(shù)一般具有較高的實(shí)時(shí)性,能實(shí)現(xiàn)拼接式系統(tǒng)共相誤差的快速測(cè)量,但是其光學(xué)系統(tǒng)結(jié)構(gòu)復(fù)雜,更適合地基拼接式望遠(yuǎn)鏡;焦面共相探測(cè)技術(shù)光學(xué)系統(tǒng)簡(jiǎn)單,成本低,抗振性較強(qiáng),更適合天基望遠(yuǎn)鏡。但上述優(yōu)化算法檢測(cè)范圍窄、迭代過(guò)程長(zhǎng),實(shí)時(shí)性較差,而且在進(jìn)行大量程共相探測(cè)時(shí)算法收斂穩(wěn)定性較差。因此,研究人員一直致力于探索新的共相方法以滿足實(shí)際系統(tǒng)的應(yīng)用需求。

近年來(lái)隨著人工智能及大數(shù)據(jù)技術(shù)的飛快發(fā)展,深度學(xué)習(xí)與光學(xué)成像的交叉融合研究開啟了光學(xué)成像智能化研究新時(shí)代。其中,深度學(xué)習(xí)也被引入合成孔徑成像共相誤差檢測(cè)技術(shù)中,并取得了一些有代表性的研究成果。本文對(duì)近年來(lái)深度學(xué)習(xí)在合成孔徑成像共相誤差檢測(cè)方面的研究進(jìn)行了總結(jié)、對(duì)比和梳理,以期為相關(guān)研究人員提供參考。

1 全連接神經(jīng)網(wǎng)絡(luò)在共相誤差檢測(cè)中的初步應(yīng)用

早在1990年,美國(guó)空軍實(shí)驗(yàn)室Angel等[24]首次提出了基于人工神經(jīng)網(wǎng)絡(luò)的無(wú)波前傳感器相位檢測(cè)方法,仿真了多望遠(yuǎn)鏡系統(tǒng)活塞及傾斜像差的校正。Angel使用的網(wǎng)絡(luò)是早期的三層全連接神經(jīng)網(wǎng)絡(luò)(FCN),結(jié)構(gòu)如圖1所示,此網(wǎng)絡(luò)由338個(gè)輸入結(jié)點(diǎn)、150個(gè)隱藏層結(jié)點(diǎn)、18個(gè)輸出結(jié)點(diǎn)組成,輸入結(jié)點(diǎn)為2幀13 pixel×13 pixel光強(qiáng)圖像的每一個(gè)像素點(diǎn),輸出結(jié)點(diǎn)為6個(gè)望遠(yuǎn)鏡的活塞及傾斜控制信號(hào)。1991年,Sandler等[25]進(jìn)一步實(shí)驗(yàn)實(shí)現(xiàn)了該系統(tǒng)的閉環(huán)運(yùn)行。1993年,Barrett等[26]在美國(guó)空軍飛利浦實(shí)驗(yàn)室1.5 m的望遠(yuǎn)鏡上實(shí)現(xiàn)了基于FCN的焦平面及離焦面光強(qiáng)圖像對(duì)實(shí)際星的觀測(cè),其波前復(fù)原結(jié)果與哈特曼波前復(fù)原結(jié)果有較好的一致性,該實(shí)驗(yàn)校正的Zernike階數(shù)達(dá)到11階,證明了基于FCN校正低階大氣湍流像差的可行性。1998年,Ryan等[27]進(jìn)一步將該技術(shù)用于哈勃望遠(yuǎn)鏡的低價(jià)像差校正中。

圖1 基于光強(qiáng)圖像預(yù)測(cè)相位Zernike系數(shù)的FCN示意圖[24]Fig.1 FCN diagram of phase Zernike coefficient prediction based on light intensity image[24]

但是自上世紀(jì)90年代Angel、Sandler等的研究后,關(guān)于FCN在相位檢測(cè)方面的研究轉(zhuǎn)為基于傳統(tǒng)哈特曼傳感器測(cè)量斜率數(shù)據(jù)進(jìn)行的系統(tǒng)參數(shù)檢測(cè)及優(yōu)化[28?31]和大氣波前實(shí)時(shí)預(yù)測(cè)[32]及寬視場(chǎng)天文成像系統(tǒng)中波前層析重建[33?35]方面的研究。在Angel、Sandler等的研究工作中相位檢測(cè)主要應(yīng)用于天文觀測(cè),一般選取湍流較弱的站點(diǎn),有效光強(qiáng)區(qū)域較小,作為網(wǎng)絡(luò)輸入的像素總數(shù)也很少,作為網(wǎng)絡(luò)輸出的Zernike像差階數(shù)也只到11階,網(wǎng)絡(luò)輸入輸出較少、結(jié)構(gòu)簡(jiǎn)單,FCN可以有效實(shí)施。但是,隨著湍流效應(yīng)增強(qiáng)或像差畸變?cè)龃?、光斑擴(kuò)展以及有效的光強(qiáng)圖像增大,以光強(qiáng)圖像像素?cái)?shù)據(jù)作為網(wǎng)絡(luò)輸入的FCN,其輸入節(jié)點(diǎn)會(huì)非線性地迅速增加,網(wǎng)絡(luò)的訓(xùn)練將變得極為困難,極易陷入局部極值以及出現(xiàn)過(guò)擬合[36]。因此,探索更有效的網(wǎng)絡(luò)結(jié)構(gòu)是提高基于人工神經(jīng)網(wǎng)絡(luò)的無(wú)波前傳感成像系統(tǒng)相位檢測(cè)能力的有效途徑。

2 深度學(xué)習(xí)在單孔徑相位復(fù)原方面的研究開端

20世紀(jì)90年代,LeCun等[37]提出在FCN中增加卷積結(jié)構(gòu)提取圖像特征的方法,從而建立了LeNet,初步用于手寫體識(shí)別、人臉檢測(cè)等應(yīng)用中,成為最早的卷積神經(jīng)網(wǎng)絡(luò)(CNN)。但受限于當(dāng)時(shí)的訓(xùn)練樣本數(shù)、計(jì)算條件及深層網(wǎng)絡(luò)梯度消失等問(wèn)題,其并沒(méi)有成為主流方法。隨著GPU和大數(shù)據(jù)帶來(lái)的發(fā)展機(jī)遇,2012年,多倫多大學(xué)Krizhevsky等[38]改造了早期的CNN,通過(guò)增加新的激活函數(shù)ReLU及Dropout機(jī)制,在計(jì)算機(jī)視覺(jué)領(lǐng)域取得突破性進(jìn)展。CNN是利用卷積和池化操作[39]提取原始圖像特征作為網(wǎng)絡(luò)輸入的深層神經(jīng)網(wǎng)絡(luò),與以單個(gè)像素點(diǎn)作為輸入的FCN相比,其權(quán)值參數(shù)個(gè)數(shù)大幅減少且不隨輸入圖像像素?cái)?shù)改變,FCN與CNN的結(jié)構(gòu)示意圖如圖2所示。CNN由三部分構(gòu)成,第一部分是輸入層,第二部分由若干個(gè)卷積層和池化層的特征提取器組成,第三部分由若干個(gè)全連結(jié)的多層感知機(jī)分類器構(gòu)成。CNN成功應(yīng)用的關(guān)鍵在于采用局部連接和共享權(quán)值的方式,其一方面減少了權(quán)值的數(shù)量從而使網(wǎng)絡(luò)易于優(yōu)化,另一方面能夠降低過(guò)擬合的風(fēng)險(xiǎn)[40]。

圖2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。(a)FCN;(b)CNNFig.2 Structure diagram of neural network.(a)FCN;(b)CNN

AlexNet的成功掀起了CNN的研究熱潮,在近幾年的ILSVRC比賽中涌現(xiàn)了諸如VGGNets[41]、GoogLeNet[42]、ResNet[43]等基于CNN的識(shí)別準(zhǔn)確率極高的神經(jīng)網(wǎng)絡(luò)模型,這些模型已深入到圖像識(shí)別[41?43]、語(yǔ)音識(shí)別[44]、通用物體識(shí)別[45]、運(yùn)動(dòng)分析[46]等諸多領(lǐng)域并取得了令人矚目的成績(jī),成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問(wèn)題,在人工智能方面取得了突飛猛進(jìn)的發(fā)展。自2017年,國(guó)內(nèi)外研究人員也初步開始了CNN在光通信、光學(xué)成像及相位復(fù)原等光學(xué)工程方面的研究。

在相位復(fù)原方面,2017年,杜蘭大學(xué)Lohani等[47,48]基于CNN實(shí)現(xiàn)了利用光強(qiáng)圖像對(duì)拉蓋爾-高斯光束模式OAM分類,同時(shí)結(jié)合梯度下降優(yōu)化(GDO)算法構(gòu)建光學(xué)反饋網(wǎng)絡(luò),通過(guò)數(shù)值仿真證明該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)湍流對(duì)OAM影響的校正。2018年,羅切斯特大學(xué)Paine等[49]實(shí)現(xiàn)了基于GoogLeNet的像差復(fù)原,利用焦平面單幀光強(qiáng)圖像來(lái)預(yù)測(cè)畸變波前的Zernike系數(shù),研究認(rèn)為使用機(jī)器學(xué)習(xí)操作點(diǎn)擴(kuò)散函數(shù)(PSF)可以估計(jì)波前初始值,訓(xùn)練的CNN甚至在存在模擬探測(cè)器噪聲的情況下均能較好地估計(jì)波前初始值,并且比使用大量隨機(jī)猜測(cè)的波前值更有效。2018年,安徽農(nóng)業(yè)大學(xué)Ma等[50]利用焦平面和離焦平面兩幀光強(qiáng)圖像作為輸入、Zernike系數(shù)作為輸出訓(xùn)練了CNN,實(shí)現(xiàn)了利用CNN基于兩幀光強(qiáng)測(cè)量來(lái)預(yù)測(cè)湍流波前。2019年,大阪大學(xué)Nishizaki等[51]實(shí)驗(yàn)證明了可以通過(guò)GoogLeNet直接從單幅光強(qiáng)圖像中估計(jì)出畸變波前的Zernike系數(shù),且驗(yàn)證了該方法在接收光強(qiáng)圖像具有過(guò)度曝光、散焦、散射等影響時(shí)的魯棒性。自此,開啟了國(guó)內(nèi)外基于深度卷積神經(jīng)網(wǎng)絡(luò)的端到端“光強(qiáng)圖像-相位”在不同應(yīng)用場(chǎng)景的相位感知研究,近年來(lái)涌現(xiàn)出大量?jī)?yōu)秀研究成果,文獻(xiàn)[52,53]對(duì)此進(jìn)行了詳細(xì)敘述,而此處重點(diǎn)綜述針對(duì)合成孔徑成像系統(tǒng)的深度學(xué)習(xí)相位檢測(cè)方面的研究。

3 深度學(xué)習(xí)在合成孔徑成像系統(tǒng)共相誤差檢測(cè)中的研究進(jìn)展

2018年,西班牙拉古納大學(xué)Guerra-Ramos等[54]采用CNN實(shí)現(xiàn)了36拼接鏡的共相誤差活塞項(xiàng)檢測(cè)。由于單波長(zhǎng)活塞誤差2π范圍的物理限制,其采用四波長(zhǎng)系統(tǒng),中心波長(zhǎng)λ0為700 nm,其余波長(zhǎng)分別為0.930λ0、0.860λ0、0.790λ0,四波長(zhǎng)可實(shí)現(xiàn)±11λ0范圍內(nèi)活塞誤差的檢測(cè)。將±11λ0分成44個(gè)區(qū)間,每個(gè)區(qū)間設(shè)置為π范圍。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,此網(wǎng)絡(luò)由兩個(gè)CNN組成,分別為Ground Truth Ambiguity Range分類網(wǎng)絡(luò)和Ground Truth PistonValue回歸網(wǎng)絡(luò)。前者由5個(gè)卷積層和1個(gè)softmax層組成,用于估計(jì)活塞像差所處的區(qū)間范圍;后者由3個(gè)卷積層和1個(gè)ReLU層組成,用于得到區(qū)間內(nèi)活塞項(xiàng)的具體值。研究通過(guò)將圖像和湍流的OTF做卷積來(lái)實(shí)現(xiàn)湍流效應(yīng)的仿真,Fried相干長(zhǎng)度范圍為0.1～0.2 m,最終仿真中實(shí)現(xiàn)了±11λ0范圍內(nèi)活塞相位±0.0087λ0的檢測(cè)精度。

圖3 文獻(xiàn)[54]網(wǎng)絡(luò)架構(gòu)示意圖Fig.3 Schematic representation of the network architecture in document[54]

2020年,Guerra-Ramos等[55]在原神經(jīng)網(wǎng)絡(luò)中引入了遞歸神經(jīng)網(wǎng)絡(luò),并進(jìn)一步考慮傾斜、拋光誤差的影響,其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。與原CNN相比,每個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中增加了一個(gè)遞歸神經(jīng)網(wǎng)絡(luò),將每個(gè)交點(diǎn)的衍射子圖像送入CNN進(jìn)行處理獲得圖像特征,將圖像特征交由遞歸神經(jīng)網(wǎng)絡(luò)分析,最后接Softmax層或全連接層用于分類和回歸。與單獨(dú)使用卷積層相比,該方法可以獲得更高的預(yù)測(cè)精度,最終系統(tǒng)預(yù)測(cè)全局活塞均方根(RMS)為7.34 nm,捕獲范圍為±21λ0,誤差在±14.7μm。

圖4 文獻(xiàn)[55]網(wǎng)絡(luò)架構(gòu)示意圖Fig.4 Schematic representation of the network architecture in document[55]

同年,Guerra-Ramos等[56]進(jìn)一步將深度強(qiáng)化學(xué)習(xí)用于校正拼接鏡活塞相位誤差中,與有監(jiān)督的機(jī)器學(xué)習(xí)方法不同,強(qiáng)化學(xué)習(xí)不需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)記。該方法采用CNN將4個(gè)不同波長(zhǎng)的強(qiáng)度圖像作為輸入,以活塞驅(qū)動(dòng)器執(zhí)行后交點(diǎn)處PSF的Strehl比取得最大值時(shí)的概率分布為輸出,執(zhí)行機(jī)構(gòu)從該分布中采樣來(lái)實(shí)現(xiàn)校正。該方法能校正的活塞誤差范圍為±λ0/2,適用于已完成粗調(diào)優(yōu)的拼接鏡系統(tǒng),捕獲范圍越窄,則強(qiáng)化學(xué)習(xí)的速度就越快。該網(wǎng)絡(luò)一旦經(jīng)過(guò)訓(xùn)練,執(zhí)行機(jī)構(gòu)就能僅通過(guò)衍射圖像計(jì)算活塞誤差。

2019年,中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所的Li等[57]在Guerra-Ramos的基礎(chǔ)上研究了CNN對(duì)面目標(biāo)的共相探測(cè)性能,活塞誤差檢測(cè)流程及網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。該工作與Guerra-Ramos工作的主要區(qū)別在于:其利用M銳度函數(shù)構(gòu)建數(shù)據(jù)集,實(shí)現(xiàn)了目標(biāo)獨(dú)立的活塞誤差檢測(cè)。Li采用的方法利用焦面和離焦圖像來(lái)構(gòu)造M銳度特征圖像數(shù)據(jù)集,并對(duì)M銳度特征進(jìn)行統(tǒng)計(jì)分類,構(gòu)建了5個(gè)并行的CNN用于兩兩子鏡間的共相誤差探測(cè),實(shí)現(xiàn)6拼接鏡系統(tǒng)的粗共相,系統(tǒng)最終實(shí)現(xiàn)了0～10λ范圍的活塞誤差檢測(cè)。

圖5 文獻(xiàn)[57]活塞誤差檢測(cè)流程及網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Recognition flow of the submirror piston error and the network structure diagram in document[57]

2019年,中國(guó)科學(xué)院光電技術(shù)研究所的Ma等[58]利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)來(lái)建模點(diǎn)擴(kuò)展函數(shù)與相應(yīng)活塞值之間的映射關(guān)系,仿真和實(shí)驗(yàn)驗(yàn)證了該方法的可行性。DCNN網(wǎng)絡(luò)流程圖及實(shí)驗(yàn)光路圖如圖6所示,DCNN包括一個(gè)輸入層、多個(gè)卷積層、池化層、全連接層和一個(gè)輸出層共26層。DCNN中引入歸一化層(BN),防止梯度消失和梯度爆炸問(wèn)題,同時(shí)加快訓(xùn)練。該研究仿真分析了雙孔徑和四孔徑系統(tǒng),仿真結(jié)果表明DCNN仿真預(yù)測(cè)值與仿真值均方根誤差平均值分別為9 nm和17 nm;此外還基于雙孔徑實(shí)驗(yàn)系統(tǒng),進(jìn)一步驗(yàn)證了使用DCNN獲得活塞誤差的可行性,測(cè)試樣本的預(yù)測(cè)值和實(shí)際輸入之間的均方根誤差平均值約為15 nm。該研究工作的特色之處在于僅使用一幅寬帶光焦平面強(qiáng)度圖像,即可直接獲得活塞誤差,光學(xué)系統(tǒng)結(jié)構(gòu)大大簡(jiǎn)化。

圖6 文獻(xiàn)[58]DCNN網(wǎng)絡(luò)結(jié)構(gòu)圖及實(shí)驗(yàn)光路圖Fig.6 DCNN Network structure diagram and experimental setup of the system in document[58]

2020年,Ma等[59]進(jìn)一步使用DCNN從寬帶光擴(kuò)展圖像中提取活塞,并通過(guò)實(shí)驗(yàn)驗(yàn)證了其有效性,預(yù)測(cè)流程圖如圖7所示。文中使用100 nm寬帶光源,在捕獲范圍10λ內(nèi)(λ以最大波長(zhǎng)為單位)實(shí)現(xiàn)了三孔徑成像系統(tǒng)均方根誤差為12 nm、六孔徑成像系統(tǒng)均方根誤差為32 nm的檢測(cè)精度,這足以在無(wú)需聯(lián)合使用其他手段的情況下進(jìn)行精細(xì)定相。此外,訓(xùn)練后的DCNN即使在系統(tǒng)存在一定畸變的情況下也能有效識(shí)別活塞,證明了該方法的有效性及其在實(shí)際環(huán)境中的適用性。對(duì)于非中心對(duì)稱陣列,結(jié)構(gòu)冗余對(duì)傳感精度的影響很小。對(duì)于中心對(duì)稱配置,使用單個(gè)CNN的方法仍然適用于破壞對(duì)稱性的光圈。

圖7 文獻(xiàn)[59]活塞誤差探測(cè)流程圖Fig.7 Flow chart of piston error detection in document[59]

2019年,北京理工大學(xué)Hui等[60]通過(guò)深度CNN實(shí)現(xiàn)了六孔徑成像系統(tǒng)的面目標(biāo)共相誤差活塞項(xiàng)探測(cè),方法流程圖如圖8所示,訓(xùn)練了五個(gè)基于圖像的CNN,實(shí)際活塞值與預(yù)測(cè)值之間的六個(gè)子誤差的平均均方根誤差約為0.0622λ。該研究加深了網(wǎng)絡(luò)層數(shù),用較少的訓(xùn)練樣本實(shí)現(xiàn)了系統(tǒng)的共相檢測(cè),但該方法的探測(cè)量程僅為一個(gè)波長(zhǎng),需要其他共相方法預(yù)先完成粗共相部分,且為了避免子鏡間共相誤差的相互干擾,仍選擇了分孔徑檢測(cè)的多網(wǎng)絡(luò)組合,導(dǎo)致共相過(guò)程繁瑣,無(wú)法滿足實(shí)時(shí)性要求。

圖8 文獻(xiàn)[60]子鏡活塞誤差預(yù)測(cè)流程圖Fig.8 Prediction flow of the sub-mirror piston error in document[60]

2020年,Hui等[61]進(jìn)一步提出一種基于廣度優(yōu)先算法(BSF)和多波長(zhǎng)圖像監(jiān)督學(xué)習(xí)策略的活塞誤差探測(cè)方法,流程圖如圖9所示。使用BSF遍歷算法分割和計(jì)算子模型,從而使活塞誤差探測(cè)過(guò)程更加高效。研究結(jié)果表明測(cè)試集的Pearson相關(guān)系數(shù)大于0.99,實(shí)際活塞值與預(yù)測(cè)值之間的拼接鏡平均均方根誤差約為0.01λ,測(cè)試數(shù)據(jù)集的最大活塞誤差范圍為±2.5λ。

圖9 文獻(xiàn)[61]活塞誤差探測(cè)流程圖。(a)分段的BFS算法;(b)監(jiān)督學(xué)習(xí)過(guò)程;(c)分段的活塞誤差校正Fig.9 Piston diagnosing flow of the segments in document[61].(a)BFS algorithm for segments;(b)Procedure of supervised learning;(c)Piston error correction of segments

2021年,西北工業(yè)大學(xué)Tang等[62]將深度CNN應(yīng)用于大尺度活塞誤差條件下的傾斜誤差檢測(cè)中,仿真分析了活塞誤差和傾斜誤差對(duì)成像性能的影響,指出傾斜誤差對(duì)合成孔徑成像系統(tǒng)的影響與活塞誤差相比更嚴(yán)重。其提出的DCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示,由5個(gè)卷積池化層模塊組、1個(gè)1×1卷積層和3個(gè)全連接層組成。根據(jù)輸入數(shù)據(jù)的差異將DCNN分為兩類:以PSF為輸入的網(wǎng)絡(luò),命名為DCNN-P網(wǎng)絡(luò);以PD特征(Mshape和Mpower)為輸入的網(wǎng)絡(luò),命名為DCNN-Ms和DCNN-Mp。研究比較了兩種類型網(wǎng)絡(luò)在單波長(zhǎng)、寬帶光、不同湍流像差和孔徑排列等條件下的傾斜探測(cè)性能。仿真結(jié)果表明DCNN可以提取出單波長(zhǎng)、寬帶光和湍流畸變下合成孔徑成像系統(tǒng)的傾斜誤差,檢測(cè)所需時(shí)間小于10 ms,可以用于實(shí)時(shí)校正;與DCNN-Mp相比,DCNN-P具有更強(qiáng)的檢測(cè)能力、泛化能力和魯棒性;基于PD的DCNN在應(yīng)用中具有優(yōu)勢(shì),因?yàn)樗皇褂镁劢购蜕⒔箞D像來(lái)形成網(wǎng)絡(luò)的輸入,但其可能會(huì)受到孔徑的影響;兩種類型網(wǎng)絡(luò)的共同特點(diǎn)是與成像目標(biāo)無(wú)關(guān),大大提高了成像目標(biāo)多樣性的泛化能力。

圖10 文獻(xiàn)[62]基于DCNN的傾斜誤差循環(huán)校正過(guò)程及網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Cyclic correction process of tilt error using DCNN and network structure in document[62]

2021年,中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所Wang等[63]提出基于多通道的色散條紋傳感器(DSF),利用離散條紋積累的LSR-DSF和深度CNN算法實(shí)現(xiàn)了分塊鏡活塞項(xiàng)的粗精一體化檢測(cè)。該方法利用LSR-DSF算法獲取色散條紋特征矢量,并將特征矢量作為輸入訓(xùn)練神經(jīng)網(wǎng)絡(luò),從而實(shí)現(xiàn)活塞相位的探測(cè)。其采用的神經(jīng)網(wǎng)絡(luò)有兩種類型:一種是簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò),用于擬合參考波長(zhǎng)內(nèi)的活塞像差,屬于精共相網(wǎng)絡(luò);另一種使用ResNet18深度CNN實(shí)現(xiàn)活塞像差的粗共相。仿真結(jié)果表明提出的方法實(shí)現(xiàn)了?139λ～139λ(λ=720 nm)的檢測(cè)范圍,而且該方法在大樣本情況下可以保證至少94.96%的精度,甚至當(dāng)信噪比為15時(shí),均方根誤差也可以限制在10.2 nm以內(nèi)。該方法有兩個(gè)主要?jiǎng)?chuàng)新:首先是不再局限于整個(gè)色散條紋圖案沿色散方向的總體累積,而是引入多波長(zhǎng)通道成像來(lái)形成LSR特征向量,也可以增加入射光的相干長(zhǎng)度以增加檢測(cè)范圍;其次,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的獲取方面,利用一個(gè)波長(zhǎng)內(nèi)的數(shù)據(jù)創(chuàng)建一個(gè)大型數(shù)據(jù)集,可以解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法所面臨的訓(xùn)練數(shù)據(jù)不足的問(wèn)題。同年,Wang等[64]利用該方法進(jìn)一步提高了活塞誤差的檢測(cè)范圍,實(shí)現(xiàn)了?208λ～208λ(λ=720 nm)的檢測(cè)范圍,且無(wú)論是否存在噪聲,檢測(cè)誤差的均方根值均不超過(guò)17.7 nm(0.027λmin,λmin=660 nm)。

圖11 文獻(xiàn)[63]網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.11 Network structure diagram in document[63]

2021年,中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所Wang等[65]將深度雙門控循環(huán)單元GRU神經(jīng)網(wǎng)絡(luò)引入到拼接鏡的精共相檢測(cè)中,該網(wǎng)絡(luò)由兩個(gè)方向相反的GRU組成,并添加了一個(gè)隱藏層,網(wǎng)絡(luò)模型如圖12所示,它不僅比CNN或LSTM網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)單,而且可以有效地解決由于長(zhǎng)期依賴性導(dǎo)致的梯度消失問(wèn)題。此研究做了三個(gè)方面工作:仿真驗(yàn)證Bi-GRU網(wǎng)絡(luò)在6單元拼接鏡系統(tǒng)的有效性,前三階Zernike仿真誤差在?0.5λ～0.5λ范圍,Bi-GRU網(wǎng)絡(luò)輸出與真實(shí)值絕對(duì)誤差平均為0.0065λ,訓(xùn)練后的網(wǎng)絡(luò)可以準(zhǔn)確地建立退化PSF圖像對(duì)與相應(yīng)相位像差之間的非線性映射關(guān)系;采用2塊拼接鏡系統(tǒng),將Bi-GRU網(wǎng)絡(luò)應(yīng)用于實(shí)際實(shí)驗(yàn)系統(tǒng),實(shí)驗(yàn)結(jié)果表明即使存在源于制造或初始對(duì)準(zhǔn)的一些殘余高階像差,校正相位誤差后的RMS波前誤差也優(yōu)于0.1λ;進(jìn)一步仿真分析了18段拼接鏡,比較了Bi-GRU、標(biāo)準(zhǔn)RNN、深LSTM和深CNN四種網(wǎng)絡(luò)的相位復(fù)原精度,結(jié)果表明Bi-GRU具有較高的擬合精度且只需較少的訓(xùn)練時(shí)間。

圖12 文獻(xiàn)[65]網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.12 Network structure diagram in document[65]

2022年,北京理工大學(xué)Zhao等[66]提出了基于光闌和多神經(jīng)網(wǎng)絡(luò)高精度和大量程的捕獲拼接鏡的活塞像差。通過(guò)在拼接鏡的共軛平面設(shè)置多個(gè)圓形光闌(這種光闌會(huì)造成相應(yīng)拼接鏡的子波之間發(fā)生干涉),使得數(shù)據(jù)集對(duì)于活塞誤差更為敏感。從光闌增強(qiáng)的PSF與活塞之間的關(guān)系可以看出活塞誤差包含在PSF的干涉因子中。該研究建立了分類和回歸CNNCDnet和FDnet,如圖13所示。CDnet由三個(gè)卷積層、兩個(gè)池化層、一個(gè)全連接層和一個(gè)softmax層組成。該網(wǎng)絡(luò)用于識(shí)別拼接鏡活塞誤差的范圍,通過(guò)迭代將拼接鏡活塞誤差校正至FDnet的有效檢測(cè)范圍內(nèi)。FDnet的前半部分使用堆疊卷積層和池層的組合結(jié)構(gòu),用兩個(gè)3×3卷積核代替5×5卷積核,用三個(gè)3×3卷積核代替7×7卷積核,這種架構(gòu)可以增加網(wǎng)絡(luò)的深度,同時(shí)確保相同的接收域。更深層次的模型將具有更好的非線性表達(dá)能力,并可以學(xué)習(xí)更復(fù)雜的轉(zhuǎn)換。FDnet的后半部分在常規(guī)卷積之后添加一定數(shù)量的1×1卷積,目的是實(shí)現(xiàn)跨通道特征融合,增強(qiáng)網(wǎng)絡(luò)本地模塊的抽象表達(dá)能力。

圖13 文獻(xiàn)[66]網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.13 Network structure diagram in document[66]

綜上所述,文獻(xiàn)[54-66]是近年來(lái)深度學(xué)習(xí)在合成孔徑成像系統(tǒng)共相誤差探測(cè)方面有代表性的幾項(xiàng)研究成果,其性能對(duì)比如表1所示。

表1 深度學(xué)習(xí)在合成孔徑成像系統(tǒng)共相誤差探測(cè)方面的研究成果匯總Table 1 Summary of the research on deep learning in detecting the common phase error of synthetic aperture imaging system

4 結(jié)論

重點(diǎn)綜述了近年來(lái)深度學(xué)習(xí)在合成孔徑成像系統(tǒng)共相誤差檢測(cè)方面的應(yīng)用研究,可以看出,深度神經(jīng)網(wǎng)絡(luò)在合成孔徑成像系統(tǒng)粗定相、精定相及粗精一體化方面均表現(xiàn)出了一定的應(yīng)用潛力,在活塞及傾斜誤差檢測(cè)方面都進(jìn)行了驗(yàn)證。但是,目前的驗(yàn)證大都采用數(shù)值仿真作為研究手段,實(shí)驗(yàn)研究相對(duì)較少。建立合成孔徑或拼接鏡的實(shí)驗(yàn)系統(tǒng),實(shí)驗(yàn)驗(yàn)證深度CNN方法的可行性還需要進(jìn)行進(jìn)一步研究。實(shí)驗(yàn)中不僅包含噪聲、傾斜、拋光像差、湍流等多種環(huán)境因素的影響,而且成像目標(biāo)的特性也具有不確定性,許多實(shí)際因素在仿真中缺失,因此實(shí)驗(yàn)驗(yàn)證是必不可少的環(huán)節(jié)。另一方面,目前的研究主要針對(duì)系統(tǒng)本身存在的像差,如活塞誤差和低階的傾斜像差,而在實(shí)際的合成孔徑系統(tǒng)成像應(yīng)用中,湍流對(duì)系統(tǒng)成像分辨率的影響無(wú)法忽略,但目前鮮有湍流對(duì)合成孔徑系統(tǒng)的影響及校正方面的仿真和實(shí)驗(yàn)研究工作。因此,基于深度學(xué)習(xí)的合成孔徑共相誤差檢測(cè)已取得了較多成果,但仍有許多研究值得進(jìn)一步推進(jìn)。

另外,深度學(xué)習(xí)網(wǎng)絡(luò)迅猛發(fā)展,新的網(wǎng)絡(luò)結(jié)構(gòu)層出不窮,可以進(jìn)一步將新型的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于合成孔徑成像共相誤差探測(cè)系統(tǒng)中。如時(shí)間、空間或時(shí)空結(jié)合的自注意力網(wǎng)絡(luò),這些網(wǎng)絡(luò)可以更為有效地提取光強(qiáng)圖像中的特征信息;YOLO系列網(wǎng)絡(luò)可以實(shí)現(xiàn)圖像中物體的識(shí)別和定位,可以嘗試用來(lái)直接定位不同子孔徑的光強(qiáng)信息,以降低目前研究使用的多套網(wǎng)絡(luò)的復(fù)雜性,提高訓(xùn)練效率。深度學(xué)習(xí)和其他技術(shù)的結(jié)合也是一個(gè)值得探索的研究方向,如Wang等[63]將深度學(xué)習(xí)與DSF技術(shù)相結(jié)合實(shí)現(xiàn)了目前最大的活塞項(xiàng)校正范圍。綜上所述,深度學(xué)習(xí)與波前傳感技術(shù)的深度融合為合成孔徑共相誤差檢測(cè)帶來(lái)了新的思路和機(jī)遇,有待研究者進(jìn)一步深入研究和突破。