基于深度學(xué)習(xí)的散射光場(chǎng)成像研究進(jìn)展

林冰,樊學(xué)強(qiáng),李德奎,彭志勇,郭忠義?

(1合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230601;2天津津航技術(shù)物理研究所,天津 300192)

0 引言

散射介質(zhì)(如大氣[1,2]、水下環(huán)境[3,4]、生物組織[5?7]等)普遍存在于自然界中。光在散射介質(zhì)中傳播時(shí),由于各種散射粒子的影響,其有序的波前相位將會(huì)發(fā)生畸變、強(qiáng)度信息將會(huì)有所衰減,進(jìn)而造成探測(cè)器所接收到的圖像出現(xiàn)細(xì)節(jié)模糊、分辨率低[8,9]等問(wèn)題。同時(shí),光在散射介質(zhì)中的散射是一種復(fù)雜的物理現(xiàn)象,該散射過(guò)程不僅與散射粒子的相對(duì)尺度、種類和形狀有關(guān),還與散射體系中的粒子數(shù)密度以及散射粒子的分布等因素有關(guān)。對(duì)于散射介質(zhì)中的目標(biāo)探測(cè)問(wèn)題,探測(cè)系統(tǒng)所獲取的信息是由目標(biāo)光和背景散射光共同組成的。一般情況下,當(dāng)散射強(qiáng)度較小或傳輸距離較近時(shí),探測(cè)系統(tǒng)仍可以有效分辨接收?qǐng)D像中的目標(biāo)信息;但當(dāng)散射強(qiáng)度增大或傳輸距離較遠(yuǎn)時(shí),由于強(qiáng)烈的散射作用,目標(biāo)信息將大幅衰減,背景散射光將相應(yīng)增強(qiáng)、形成噪聲,導(dǎo)致目標(biāo)信息難以分辨。所以,如何抑制或去除背景散射光成為透過(guò)散射介質(zhì)成像的主要研究?jī)?nèi)容。在以往的研究中,研究人員基于探究散射過(guò)程中總結(jié)的物理模型,例如記憶效應(yīng)[10,11]、傳輸矩陣[12,13]、波前整形[14,15]和關(guān)聯(lián)成像[16,17]等,抑制或消除背景散射光,進(jìn)而突出目標(biāo)信息、提高成像質(zhì)量。近年來(lái),隨著硬件性能、計(jì)算設(shè)備算力的大幅提升,數(shù)據(jù)成為社會(huì)中最寶貴的資源之一,基于傳統(tǒng)物理模型的成像方式也逐漸向數(shù)據(jù)模型[18,19]轉(zhuǎn)變。各種基于數(shù)據(jù)驅(qū)動(dòng)的人工智能算法開(kāi)始應(yīng)用于散射介質(zhì)中的目標(biāo)成像。

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展,機(jī)器學(xué)習(xí)(ML)在光學(xué)成像領(lǐng)域[20,21]的應(yīng)用引起了越來(lái)越多研究者的關(guān)注。2015年,Horisakir團(tuán)隊(duì)使用支持向量機(jī)(SVM)實(shí)現(xiàn)了散射介質(zhì)中目標(biāo)的分類[22],基于此,2016年該團(tuán)隊(duì)實(shí)現(xiàn)了散射介質(zhì)中目標(biāo)信息的恢復(fù)[23],而后,研究人員開(kāi)始嘗試將深度學(xué)習(xí)(DL)技術(shù)應(yīng)用到光學(xué)成像領(lǐng)域并取得了長(zhǎng)足發(fā)展。DL算法作為ML中一個(gè)新的研究方向,其利用深度神經(jīng)網(wǎng)絡(luò)(DNN),從大規(guī)模數(shù)據(jù)中提取有價(jià)值的信息,同時(shí)選取合適的優(yōu)化函數(shù)和損失函數(shù)進(jìn)行迭代以優(yōu)化網(wǎng)絡(luò)參數(shù),最終在特定的任務(wù)中獲得較為優(yōu)秀的預(yù)測(cè)結(jié)果。傳統(tǒng)的散射成像技術(shù)普遍存在耗時(shí)、費(fèi)力和實(shí)驗(yàn)環(huán)境要求苛刻等問(wèn)題。由于其強(qiáng)大的數(shù)據(jù)挖掘能力,DL算法可以有效克服傳統(tǒng)散射光場(chǎng)成像技術(shù)中存在的固有問(wèn)題,同時(shí),其相對(duì)簡(jiǎn)單的實(shí)驗(yàn)系統(tǒng)也在很大程度上減少了散射光場(chǎng)成像的實(shí)驗(yàn)成本?；贒L算法的散射光場(chǎng)成像技術(shù)的研究越來(lái)越深入,迄今為止,該領(lǐng)域取得了一系列突出的研究成果。

本文基于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)兩種學(xué)習(xí)策略,對(duì)基于DL算法的散射光場(chǎng)成像技術(shù)所取得的進(jìn)展進(jìn)行總結(jié);然后,從不同角度,包括應(yīng)用場(chǎng)景以及網(wǎng)絡(luò)結(jié)構(gòu)等方面對(duì)比分析它們各自的優(yōu)勢(shì)和不足,并討論了基于DL算法的散射光場(chǎng)成像技術(shù)問(wèn)題所面臨的挑戰(zhàn);最后展望了該技術(shù)的發(fā)展前景以及未來(lái)可能的研究方向。

1 基于監(jiān)督學(xué)習(xí)的散射光場(chǎng)成像

現(xiàn)階段,監(jiān)督學(xué)習(xí)在基于DL算法的散射光場(chǎng)成像研究中占主導(dǎo)地位,主要基于兩種學(xué)習(xí)策略,即強(qiáng)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。強(qiáng)監(jiān)督學(xué)習(xí)是指神經(jīng)網(wǎng)絡(luò)從具有嚴(yán)格配對(duì)關(guān)系的訓(xùn)練集與標(biāo)簽之間學(xué)習(xí)到散射圖與原圖之間的函數(shù)關(guān)系,進(jìn)而構(gòu)建“逆散射”模型來(lái)消除散射影響,恢復(fù)清晰目標(biāo),其基本原理如圖1所示。半監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)的不同之處在于神經(jīng)網(wǎng)絡(luò)不需訓(xùn)練集與標(biāo)簽之間具有嚴(yán)格的配對(duì)關(guān)系。神經(jīng)網(wǎng)絡(luò)通過(guò)間接映射來(lái)擬合“逆散射”模型,實(shí)現(xiàn)對(duì)散射效應(yīng)的有效去除。因此,半監(jiān)督學(xué)習(xí)在一定程度上克服了網(wǎng)絡(luò)訓(xùn)練過(guò)程中對(duì)于原始數(shù)據(jù)的依賴,大大增加了可用數(shù)據(jù)集。

圖1 基于深度學(xué)習(xí)算法的散射光場(chǎng)成像模型Fig.1 Imaging through scattering media based on deep learning

基于監(jiān)督學(xué)習(xí)的散射光場(chǎng)成像設(shè)計(jì)思路比較簡(jiǎn)單,只需將訓(xùn)練集和標(biāo)簽輸入到搭建好的神經(jīng)網(wǎng)絡(luò)模型中,然后選取合適的優(yōu)化函數(shù)和損失函數(shù),最終模型的計(jì)算由計(jì)算機(jī)來(lái)完成。但是,由于散射光場(chǎng)成像的數(shù)據(jù)集樣本量匱乏、條件單一,導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型的泛化能力較弱。因此,目前大多數(shù)研究人員在實(shí)現(xiàn)高質(zhì)量成像的基礎(chǔ)上,通過(guò)對(duì)訓(xùn)練數(shù)據(jù)的優(yōu)化、采用更先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)和理論方法,不斷提高網(wǎng)絡(luò)模型跨條件泛化成像的能力,減少可變因素對(duì)模型的干擾,從而推動(dòng)實(shí)現(xiàn)基于DL算法的散射光場(chǎng)成像在不同場(chǎng)景下的應(yīng)用。

1.1強(qiáng)監(jiān)督學(xué)習(xí)

目前,基于強(qiáng)監(jiān)督學(xué)習(xí)策略的散射光場(chǎng)成像主要使用三種網(wǎng)絡(luò)架構(gòu):卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和條件生成對(duì)抗網(wǎng)絡(luò)(CGAN)。這三種網(wǎng)絡(luò)架構(gòu)各自具有不同特點(diǎn),分別應(yīng)用于不同情況下的散射光場(chǎng)成像。接下來(lái),將分別對(duì)基于CNN、RNN和CGAN三種網(wǎng)絡(luò)架構(gòu)下的散射光場(chǎng)成像方法進(jìn)行對(duì)比和分析。

1.1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN被廣泛應(yīng)用于自動(dòng)駕駛、目標(biāo)識(shí)別、語(yǔ)義分割和圖像重建等領(lǐng)域,同時(shí)也是散射光場(chǎng)成像研究的常用神經(jīng)網(wǎng)絡(luò)模塊。經(jīng)過(guò)多年發(fā)展,基于CNN的ResNet、VGG、DensNet、U-Net等性能優(yōu)越的神經(jīng)網(wǎng)絡(luò)架構(gòu)被提出。其中,U-Net一開(kāi)始被廣泛應(yīng)用于語(yǔ)義分割[24]。近些年,U-Net在圖像恢復(fù)方面也有著卓越的表現(xiàn),并且已經(jīng)成為散射光場(chǎng)成像領(lǐng)域的主流神經(jīng)網(wǎng)絡(luò)框架[25?30]。麻省理工學(xué)院的Li等[25]首次提出了一種以U-Net框架為基礎(chǔ)的IDiffNet,以解決散射介質(zhì)中的目標(biāo)恢復(fù)問(wèn)題,如圖2(a)所示。該研究旨在通過(guò)IDiffNet學(xué)習(xí)散射圖像和原圖之間的映射關(guān)系,并以此重建隱藏在散斑背后的目標(biāo)信息。從圖2(b)、(c)中的測(cè)試結(jié)果可以看到IDiffNet對(duì)于復(fù)雜目標(biāo)具有優(yōu)越的泛化能力。同時(shí),Li等對(duì)比了網(wǎng)絡(luò)模型在負(fù)皮爾遜相關(guān)系數(shù)(NPCC)和均方誤差(MSE)兩種損失函數(shù)情況下的測(cè)試結(jié)果,證明NPCC更適用于空間稀疏目標(biāo)和強(qiáng)散射條件的重建任務(wù),為訓(xùn)練網(wǎng)絡(luò)模型提供了一個(gè)可以更快收斂、成像效果更好的損失函數(shù)。

圖2 (a)IDiffNet網(wǎng)絡(luò)結(jié)構(gòu)[25];(b)損失函數(shù)為MSE的測(cè)試結(jié)果;(c)損失函數(shù)為NPCC的測(cè)試結(jié)果Fig.2(a)Network structure of IDiffNet[25];(b)Test results trained by MSE;(c)Test results trained by NPCC

同一年,Li等[26]提出了一種利用CNN適應(yīng)不同散射介質(zhì)下的散斑相關(guān)性的成像方法。該方法利用大量宏觀結(jié)構(gòu)相同但微觀構(gòu)造不同的毛玻璃獲得散斑數(shù)據(jù),使得網(wǎng)絡(luò)能夠?qū)W習(xí)到一組具有相同宏觀參數(shù)毛玻璃的統(tǒng)計(jì)信息,具體過(guò)程如圖3(a)所示。訓(xùn)練收斂的模型可以恢復(fù)出通過(guò)不同散射介質(zhì)的多種目標(biāo)[圖3(b)展示的是在訓(xùn)練集中出現(xiàn)的目標(biāo)和未在訓(xùn)練集中出現(xiàn)的目標(biāo)的測(cè)試結(jié)果],為散射光場(chǎng)成像的高度可擴(kuò)展性提供了基礎(chǔ)。

圖3 (a)適應(yīng)不同散斑相關(guān)性的成像方法[26];(b)未知散射介質(zhì)中可見(jiàn)目標(biāo)和不可見(jiàn)目標(biāo)測(cè)試結(jié)果[26]Fig.3(a)Imaging methods adapted to different spot-related correlations[26];(b)Test results of seen and unseen targets in unknown scattering media[26]

在Li等研究的基礎(chǔ)上,Zhu等[27]利用散斑的自相關(guān)先驗(yàn)信息作為訓(xùn)練集,以此驅(qū)動(dòng)網(wǎng)絡(luò)有效提取目標(biāo)通過(guò)不同散射介質(zhì)時(shí)的統(tǒng)計(jì)不變量,使得模型能夠在不同散射場(chǎng)景下重建目標(biāo),具體過(guò)程如圖4(a1)所示。與之前的研究方法相比,該方法只需要一種散射條件下的目標(biāo)自相關(guān)信息作為訓(xùn)練集,數(shù)據(jù)采集效率更高,重建目標(biāo)所需先驗(yàn)信息更少。由如圖4(a2)的人臉重建結(jié)果可知,該方法對(duì)于未知散射介質(zhì)中的目標(biāo)重建具有較好的泛化能力。并且,當(dāng)組成散射介質(zhì)的毛玻璃塊數(shù)較多時(shí),網(wǎng)絡(luò)可以獲得更廣義上的散射介質(zhì)的統(tǒng)計(jì)特性,對(duì)于未知散射介質(zhì)的泛化成像質(zhì)量也更好。之后,該課題組的研究人員采用相同的方法實(shí)現(xiàn)了通過(guò)未知散射場(chǎng)景的彩色成像[28],如圖4(b1)所示。由圖4(b2)可以看到,在未知散射介質(zhì)中,彩色目標(biāo)可以通過(guò)該方法實(shí)現(xiàn)高保真度的重建。與通過(guò)網(wǎng)絡(luò)獲得散射圖像與原圖像素之間的映射不同,以上方法[26?28]趨向于讓網(wǎng)絡(luò)掌握散射介質(zhì)本身的特性,并以此促進(jìn)網(wǎng)絡(luò)適應(yīng)不同場(chǎng)景的散斑相關(guān)性。當(dāng)然,從這個(gè)角度擴(kuò)展泛化性需要對(duì)散射介質(zhì)本身的特性有更深刻的理解,力求尋找到更廣泛意義上散射過(guò)程的統(tǒng)計(jì)不變量,從而實(shí)現(xiàn)多場(chǎng)景的擴(kuò)展成像。

圖4 (a1)利用散斑自相關(guān)先驗(yàn)重建目標(biāo)[27];(a2)人臉重建結(jié)果[27];(b1)利用散斑自相關(guān)先驗(yàn)重建彩色目標(biāo)[28];(b2)彩色目標(biāo)重建結(jié)果[28]Fig.4(a1)Process of reconstructing targets by using speckle autocorrelation[27];(a2)Reconstruction results of the faces[27];(b1)Process of reconstructing color targets by using speckle autocorrelation[28];(b2)Reconstruction results of the color targets[28]

針對(duì)通過(guò)厚散射介質(zhì)的成像問(wèn)題,司徒國(guó)海教授團(tuán)隊(duì)提出了一種基于DL算法的解決方案[29],該方案所使用的HNN結(jié)構(gòu)由全連接層(FC)和CNN組成,如圖5(a1)所示。研究人員通過(guò)實(shí)驗(yàn)證明了該方法能夠重建隱藏在3 mm厚的聚苯乙烯板后(13.4倍散射平均自由徑)的目標(biāo)信息,結(jié)果如圖5(a3)所示。該系統(tǒng)雖然需要收集大量數(shù)據(jù),但它在經(jīng)過(guò)一次訓(xùn)練后就能實(shí)現(xiàn)實(shí)時(shí)成像。與同樣需要大量數(shù)據(jù)的波前整形和傳輸矩陣(TM)測(cè)量技術(shù)相比,該方法只需測(cè)量輸入-輸出的強(qiáng)度,對(duì)訓(xùn)練數(shù)據(jù)的要求更小,實(shí)驗(yàn)系統(tǒng)搭建更加方便。同樣,它也不需要使用任何物鏡對(duì)SLM上顯示的圖像進(jìn)行去放大來(lái)適應(yīng)特征通道的大小。此外,該研究通過(guò)實(shí)驗(yàn)結(jié)果證明了相機(jī)獲得的散斑是高度冗余的,僅使用捕獲散斑圖案0.1%的信息內(nèi)容就足以重建目標(biāo)圖像。除了對(duì)相干光源下的成像研究,該課題組研究人員通過(guò)使用端到端的DNN實(shí)現(xiàn)了非相干光條件下的散射光場(chǎng)成像[31],通過(guò)一種在中間部分多尺度提取特征的CNN[圖5(b1)],實(shí)現(xiàn)了散射效應(yīng)較強(qiáng)(光學(xué)厚度可達(dá)16τ,信噪比可低至?17 dB)時(shí)的高保真度的目標(biāo)重建,其結(jié)構(gòu)相似度(SSIM)可達(dá)到0.86,如圖5(b4)所示。以上針對(duì)厚散射介質(zhì)的研究結(jié)果為重建被噪聲掩蓋的目標(biāo)信息提供了新的思路和解決方案,并有望在更大范圍的散射環(huán)境中得到應(yīng)用[29,31]。

圖5 (a)相干光下厚散射光場(chǎng)成像方法[29]。(a1)網(wǎng)絡(luò)結(jié)構(gòu);(a2)散射圖;(a3)重建結(jié)果;(a4)原圖。(b)非相干光下厚散射光場(chǎng)成像方法[31]。(b1)網(wǎng)絡(luò)結(jié)構(gòu);(b2)散射圖;(b3)原圖;(b4)重建結(jié)果Fig.5(a)Method of imaging through thick scattering media with coherent light[29].(a1)Network structure;(a2)Scattering images;(a3)Reconstruction results;(a4)Original images.(b)Method of imaging through thick scattering media with incoherent light[31].(b1)Network structure;(b2)Scattering images;(b3)Original images;(b4)Reconstruction results

由于視場(chǎng)的局限性,光存儲(chǔ)效應(yīng)范圍有限,無(wú)法將信息存儲(chǔ)到實(shí)際成像中。所以,Guo等[32]在光記憶效應(yīng)(OME)算法的啟發(fā)下,提出了一種新的基于CNN的實(shí)用去散射卷積網(wǎng)絡(luò)(PDSNet)結(jié)構(gòu),用于離散圖像的重建,具體過(guò)程如圖6(a)所示。實(shí)驗(yàn)表明,PDSNet不僅可以實(shí)時(shí)準(zhǔn)確地恢復(fù)分散的圖像,對(duì)于非訓(xùn)練尺度的目標(biāo)重構(gòu)還具有優(yōu)越的泛化表現(xiàn),實(shí)現(xiàn)了目標(biāo)尺度上的“一對(duì)多”功能,并且這種能力能夠使得在還原目標(biāo)時(shí)不需嚴(yán)格要求輸入數(shù)據(jù)具有統(tǒng)一的尺寸。文獻(xiàn)[33]將DL算法應(yīng)用到弱光環(huán)境中,以解決該環(huán)境下散斑攜帶信息少、存在泊松噪聲等問(wèn)題。在圖6(c1)的網(wǎng)絡(luò)結(jié)構(gòu)中,研究人員通過(guò)前幾層FC模擬散射過(guò)程,提高后續(xù)特征提取過(guò)程中可用信息的利用率。同時(shí),由于泊松噪聲的存在使得同一目標(biāo)在不同時(shí)刻的散斑圖像具有一定的差異。所以,該研究利用這一點(diǎn)對(duì)同一目標(biāo)多次采樣,不僅能擴(kuò)充訓(xùn)練集,還能消除泊松噪聲對(duì)網(wǎng)絡(luò)魯棒性的影響。如圖6(c2)所示,對(duì)目標(biāo)進(jìn)行10次重復(fù)采樣時(shí),成像結(jié)果可以達(dá)到13.842 dB的平均峰值信噪比(PSNR)。此外,DL算法對(duì)實(shí)驗(yàn)系統(tǒng)要求不高,網(wǎng)絡(luò)模型一旦訓(xùn)練完成就可以實(shí)現(xiàn)高效預(yù)測(cè)。所以利用這一點(diǎn),可以通過(guò)一個(gè)網(wǎng)絡(luò)模型實(shí)現(xiàn)多維信息的獲取。文獻(xiàn)[34]構(gòu)建了一個(gè)新穎的深度預(yù)測(cè)和圖像重構(gòu)網(wǎng)絡(luò)(DINet)框架[圖6(b)],用來(lái)根據(jù)捕獲的散斑圖案預(yù)測(cè)隱藏物體的深度和結(jié)構(gòu),從而實(shí)現(xiàn)“一對(duì)多”的信息獲取。在相空間約束和高效網(wǎng)絡(luò)結(jié)構(gòu)的條件下,該方法能夠在深度平均誤差小于0.05 mm的情況下定位目標(biāo)并實(shí)現(xiàn)目標(biāo)恢復(fù)。該方法不局限于討論的兩個(gè)任務(wù),還可以應(yīng)用于測(cè)量其他物理信息,如定位平面內(nèi)坐標(biāo)和對(duì)隱藏對(duì)象分類。

圖6 (a)基于PDSNet實(shí)現(xiàn)目標(biāo)尺度上的“一對(duì)多”功能[32]。(b)重建圖像同時(shí)獲取目標(biāo)深度的具體方案[34]。(c)弱光下散射光場(chǎng)成像[33]。(c1)網(wǎng)絡(luò)結(jié)構(gòu);(c2)對(duì)目標(biāo)10次采樣的重建結(jié)果Fig.6(a)Achieve“one-to-many”for target scales based on PDS Net[32].(b)Scheme for reconstructing image as well as obtaining target depth[34].(c)Imaging through scattering media in low light[33].(c1)Network structure;(c2)Reconstruction results with 10 samplings for the targets

除了對(duì)強(qiáng)度信息的恢復(fù)和重建,基于DL算法的偏振信息處理在目標(biāo)檢測(cè)[35,36]、水下成像[37]、圖像去噪[38]和圖像融合[39]等領(lǐng)域也有廣泛的應(yīng)用。偏振作為光的屬性之一,同樣攜帶著可以表征目標(biāo)的大量信息。此外,目標(biāo)的偏振特性相較于強(qiáng)度在散射介質(zhì)中更不容易被破壞[40],而且利用偏振信息可以獲得強(qiáng)度圖像所不能得到的目標(biāo)特征。例如,偏振度(DoP)圖像和偏振角圖像(AoP)在突出目標(biāo)細(xì)微變化時(shí)具有良好的表現(xiàn)。但是,DoP圖像和AoP圖像在獲取過(guò)程中很容易受到拍攝條件的影響,進(jìn)而引入不必要的噪聲。因此,為了實(shí)現(xiàn)對(duì)偏振圖片的快速去噪,Li等[41]建立了Stokes偏振圖像去噪數(shù)據(jù)集,通過(guò)調(diào)整偏振相機(jī)的增益水平和曝光時(shí)間來(lái)獲取噪聲圖像和地面真實(shí)圖像?；诖藬?shù)據(jù)集,他們提出了一種基于殘差密集網(wǎng)絡(luò)的偏振圖像去噪網(wǎng)絡(luò)(PDRDN),具體結(jié)構(gòu)如圖7(b)所示。該方法將物理模型、偏振光學(xué)和噪聲的先驗(yàn)知識(shí)嵌入到網(wǎng)絡(luò)中來(lái)指導(dǎo)和約束學(xué)習(xí)過(guò)程。這樣,基于DL的方法可以包含更多的物理意義,帶來(lái)更好的性能。實(shí)驗(yàn)結(jié)果表明,PDRDN方法的性能優(yōu)于其他方法,能夠更好地恢復(fù)出被噪聲掩蓋的目標(biāo)細(xì)節(jié)。通過(guò)不同材料、不同噪聲水平的實(shí)驗(yàn)對(duì)比,研究人員驗(yàn)證了強(qiáng)度圖像、DoP圖像和AoP圖像在視覺(jué)效果和量化指標(biāo)上降噪的有效性和泛化性。該研究提出的方法不局限于Stokes成像儀的特殊情況,原則上可以應(yīng)用于任何偏振成像儀,如Mueller成像儀和偏振差分成像儀。2001年,Schechner等[42]在大氣去霧模型中加入偏振,通過(guò)偏振探測(cè)器在不同方向拍攝的圖像實(shí)現(xiàn)了高效消除霧霾的效果。自此,偏振成像成為實(shí)現(xiàn)去霧的一種有效途徑。Hu等[37]首次提出了一種基于DL算法的偏振水下圖像去霧方法,網(wǎng)絡(luò)結(jié)構(gòu)如圖7(a1)所示。該方法基于密集網(wǎng)絡(luò),可以有效地去除散射光,并且在渾濁水體中也優(yōu)于現(xiàn)有的基于物理模型的算法,對(duì)比結(jié)果如圖7(a2)所示。同時(shí),該研究提出的基于DL的水下圖像恢復(fù)方法還可以推廣到其他復(fù)雜場(chǎng)景中。此外,文獻(xiàn)[43]將偏振信息與強(qiáng)度信息融合,實(shí)現(xiàn)了更為渾濁水體中的目標(biāo)恢復(fù)。該研究通過(guò)四組對(duì)比實(shí)驗(yàn)[圖7(c)]探究了兩種信息流在網(wǎng)絡(luò)哪一部分融合的效果最好,得出了將強(qiáng)度圖像和偏振圖像放在神經(jīng)網(wǎng)絡(luò)的最前端融合是恢復(fù)水下目標(biāo)的最佳方案。

圖7 (a)Hu等提出的水下偏振去霧成像方法[37]。(a1)偏振密集網(wǎng)絡(luò)(PDN)結(jié)構(gòu);(a2)不同水下去霧成像方法結(jié)果對(duì)比。(b)Li等提出的PDRDN網(wǎng)絡(luò)結(jié)構(gòu)[41]。(c)偏振信息與強(qiáng)度信息在網(wǎng)絡(luò)不同位置的融合方案[43]Fig.7(a)Method of underwater polarization defogging imaging proposed by Hu,et al.[37](a1)Polarimetric dense net work(PDN)structure;(a2)Comparison of different underwater defogging imaging methods.(b)Network structure of PDRDN proposed by Li et al.[41].(c)Fusion method of polarization information and intensity information at different locations of the network[43]

合肥工業(yè)大學(xué)郭忠義課題組考慮到光與目標(biāo)發(fā)生相互作用過(guò)程中偏振信息的改變以及偏振信息在渾濁體系下的傳輸特性,將偏振信息融入到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中,設(shè)計(jì)端到端的網(wǎng)絡(luò)進(jìn)行散射環(huán)境下的目標(biāo)重建[44]。文中對(duì)常見(jiàn)的U-Net網(wǎng)絡(luò)進(jìn)行了改進(jìn),網(wǎng)絡(luò)示意圖如圖8所示,合理構(gòu)造偏振數(shù)據(jù)集在一定程度上提升了目標(biāo)重建的效果以及泛化性。

圖8 適用于偏振信息恢復(fù)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)[44]Fig.8 The U-net structure for polarization information reconstruction[44]

光的偏振狀態(tài)可以用斯托克斯(Stokes)矢量表征,物質(zhì)對(duì)光偏振狀態(tài)的改變可以用穆勒矩陣(MM)表征。光與物質(zhì)的相互作用可以用Stokes-MM理論表征,即當(dāng)入射光與散射環(huán)境中的目標(biāo)與粒子相互作用時(shí),探測(cè)器接收到的出射光的Stokes矢量可以表示為

式中M代表散射系統(tǒng)的MM,該矩陣對(duì)于散射系統(tǒng)的變化十分敏感。當(dāng)散射系統(tǒng)發(fā)生改變,使得M發(fā)生變化,進(jìn)而形成的散斑特征就會(huì)不同。當(dāng)散射系統(tǒng)較為復(fù)雜,或者散射介質(zhì)中粒子濃度較高時(shí),利用傳統(tǒng)的光強(qiáng)信息所形成的散斑無(wú)法實(shí)現(xiàn)目標(biāo)的高精度恢復(fù),此外,利用強(qiáng)度信息所訓(xùn)練的網(wǎng)絡(luò)泛化能力也會(huì)較差。而偏振信息可以很好地消除散射的影響,從而更好地突出目標(biāo)的特征。因此,利用偏振信息訓(xùn)練的網(wǎng)絡(luò)模型可以達(dá)到更好的恢復(fù)效果,并且具有良好的泛化性能。

郭忠義教授課題組在該研究中基于蒙特卡洛算法搭建實(shí)驗(yàn)平臺(tái)[45],目標(biāo)是由鋼鐵組成的數(shù)字,背景是由木頭組成的方塊,散射介質(zhì)的光學(xué)厚度為2.5τ,發(fā)射偏振光S=(1,1,0,0)T進(jìn)入散射環(huán)境,與目標(biāo)、背景以及散射介質(zhì)發(fā)生作用后利用探測(cè)器捕獲反射光的Q分量,用于訓(xùn)練所設(shè)計(jì)的U-Net網(wǎng)絡(luò)。隨后該課題組又從多個(gè)方面探究了網(wǎng)絡(luò)的泛化性。首先,保持其他條件不變,增加了目標(biāo)的復(fù)雜程度,即將目標(biāo)的形狀換成字母和漢字,將在實(shí)驗(yàn)系統(tǒng)中得到的散斑輸入到網(wǎng)絡(luò)中恢復(fù),結(jié)果如圖9(a)所示。然后,保證其他條件不變而改變散射介質(zhì)的光學(xué)厚度,分別得到了當(dāng)散射介質(zhì)光學(xué)厚度分別為2.3τ、2.55τ、2.6τ、2.65τ、2.7τ和2.75τ時(shí)的散斑,并將其輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行恢復(fù),結(jié)果如圖9(b)所示。從圖中可以看出,利用偏振信息訓(xùn)練得到的網(wǎng)絡(luò)模型對(duì)于散射介質(zhì)的光學(xué)厚度具有很好的泛化性。接著,保持其他條件不變,將目標(biāo)的材質(zhì)換成鋁和大理石,得到散斑后利用已有模型進(jìn)行恢復(fù),結(jié)果如圖9(c)所示。結(jié)果表明,目標(biāo)的恢復(fù)效果與測(cè)試目標(biāo)和訓(xùn)練目標(biāo)之間的折射率差異有關(guān),當(dāng)測(cè)試集和訓(xùn)練集目標(biāo)的折射率比較接近時(shí),恢復(fù)效果較好。最后,對(duì)發(fā)射光的偏振態(tài)進(jìn)行泛化重建。保證其他條件不變,將發(fā)射光調(diào)整為其他的偏振態(tài),并利用探測(cè)器探測(cè)與之對(duì)應(yīng)的參量的散斑,然后利用已有模型進(jìn)行恢復(fù),得到結(jié)果如圖9(d)所示。由于探測(cè)到的分量對(duì)應(yīng)于發(fā)射光的偏振態(tài),所以接收到的散斑依然濾除了部分散射,突出了目標(biāo)的信息,所以目標(biāo)結(jié)構(gòu)可以很好地被網(wǎng)絡(luò)恢復(fù)出來(lái)。

圖9 U-net網(wǎng)絡(luò)泛化性測(cè)試的結(jié)果。(a)結(jié)構(gòu)泛化結(jié)果。(a1)、(a4)、(a5)散斑圖;(a2)、(a6)、(a7)模型重建結(jié)果;(a3)、(a8)、(a9)原圖。(b)不同光學(xué)厚度重建結(jié)果。(b1)～(b6)光學(xué)厚度依次為2.3τ、2.55τ、2.6τ、2.65τ、2.7τ和2.75τ的重建結(jié)果;(b7)原圖。(c)不同材料重建結(jié)果。(c1)、(c2)背景木頭不變,目標(biāo)分別為鋁和大理石;(c3)、(c4)目標(biāo)鋼鐵不變,背景分別為鋁和大理石;(c5)原圖。(d)接收偏振狀態(tài)與入射偏振狀態(tài)相關(guān)的重建結(jié)果。(d1)～(d3)分別為U、V以及任意偏振重建結(jié)果;(d4)原圖Fig.9 Results of U-net generalization.(a)Results of structural generalization.(a1),(a4),(a5)Speckle patterns;(a2),(a6),(a7)Reconstruction results;(a3),(a8),(a9)Original images.(b)Reconstruction results of different optical thicknesses.(b1)～(b6)Optical thicknesses are 2.3τ,2.55τ,2.6τ,2.65τ,2.7τand 2.75τin sequence;(b7)Original images.(c)Results of different materials.(c1),(c2)The materials of targets are aluminum and marble respectively while the material of background remains unchanged;(c3),(c4)The materials of background are aluminum and marble respectively while the material of targets remains unchanged;(c5)Original images.(d)Results related to the received polarization state and incident polarization state.(d1)～(d3)Reconstruction results of U,V,and arbitrary polarization respectively;(d4)Original images

神經(jīng)網(wǎng)絡(luò)泛化性的研究結(jié)果體現(xiàn)了偏振信息在散射介質(zhì)中傳輸?shù)目股⑸涮匦?為動(dòng)態(tài)體散射系統(tǒng)(包括大氣、水下或生物組織成像等)提供了一種新的方法。此外,偏振信息可以拓寬信息感知維度,也為新一代人工智能技術(shù)提供了有利方案。

1.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

與CNN等前饋網(wǎng)絡(luò)不同,RNN是一種輸出既依賴于當(dāng)前輸入、也依賴于之前輸出的DL算法框架[46]。RNN對(duì)有序數(shù)據(jù)特性的數(shù)據(jù)非常有效,它能挖掘數(shù)據(jù)中的時(shí)序信息以及語(yǔ)義信息。在圖像處理領(lǐng)域,RNN被廣泛應(yīng)用于高光譜圖像分類[47,48]。在散射光場(chǎng)成像中,Kang等[49]利用RNN實(shí)現(xiàn)了一種動(dòng)態(tài)情況下通過(guò)任意復(fù)雜信道的散射光場(chǎng)成像,如圖10(a)所示,該方法利用不同角度的多個(gè)散斑組成一個(gè)圖像序列用于訓(xùn)練,以增強(qiáng)訓(xùn)練過(guò)程中圖像之間的相關(guān)性。同時(shí),RNN有效地平均了動(dòng)態(tài)隨機(jī)散射介質(zhì)的影響,更好地提取了目標(biāo)的靜態(tài)特征。最終,訓(xùn)練后的模型可以恢復(fù)未經(jīng)訓(xùn)練的目標(biāo)與信道特性。這種方法充分利用連續(xù)信息的相關(guān)性,同樣也適用于其他涉及時(shí)空動(dòng)態(tài)的成像應(yīng)用。對(duì)于追求低采樣率的單像素成像,文獻(xiàn)[50]提出了基于結(jié)合卷積層的RNN的單像素成像方法,如圖10(b1)所示。在該方法中,研究人員將測(cè)量數(shù)據(jù)劃分為塊,使每個(gè)塊的測(cè)量數(shù)據(jù)數(shù)量較小,然后通過(guò)RNN積累圖像之前的信息來(lái)達(dá)到對(duì)重構(gòu)圖像進(jìn)行平均的效果。由圖10(b2)結(jié)果可知,該方法對(duì)于復(fù)雜場(chǎng)景有較強(qiáng)的泛化性,對(duì)由于降低采樣率帶來(lái)的噪聲有較強(qiáng)的抑制作用。

圖10 基于RNN的散射光場(chǎng)成像方案。(a)利用不同角度散斑組成訓(xùn)練序列的RNN目標(biāo)重建方法[49]。(b)基于RNN的單像素成像方法[50]。(b1)具體流程;(b2)不同方案的結(jié)果對(duì)比Fig.10 The method of imaging through scattering media based on RNN.(a)The method of using different angles of speckles to train RNN for target reconstruction[49].(b)The single-pixel imaging based on RNN[50].(b1)Specific process;(b2)Comparison of results from different methods

1.1.3 條件生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)GAN的提出旨在通過(guò)生成器與鑒別器[51]學(xué)習(xí)到大量數(shù)據(jù)的分布,進(jìn)而生成新的樣本。而原始GAN不能控制生成數(shù)據(jù)的類別,這不利于一些定向問(wèn)題的解決。為此,Mirza和Osindero[52]提出了一種訓(xùn)練生成式模型的新方法—CGAN。CGAN是對(duì)原始GAN的一個(gè)擴(kuò)展,生成器和鑒別器都增加額外信息y為條件。y可以是任意信息,例如類別信息、其他模態(tài)的數(shù)據(jù)等。與一般CNN像素之間的約束相比,CGAN通過(guò)鑒別器提取更高維度的特征,對(duì)生成器的約束更有通用性和有效性。同時(shí),生成器的結(jié)構(gòu)可以為一些計(jì)算復(fù)雜、獲取條件苛刻的圖像提供新的獲取方式。

在散射光場(chǎng)成像中,CGAN已被應(yīng)用于提高圖像質(zhì)量[53]和數(shù)據(jù)增強(qiáng)[54]等方面。同時(shí),對(duì)于一些CNN結(jié)構(gòu)難以實(shí)現(xiàn)高質(zhì)量成像效果的復(fù)雜散射環(huán)境,研究人員利用CGAN減輕訓(xùn)練難度。在文獻(xiàn)[55]中,Sun等利用分類網(wǎng)絡(luò)和CGAN實(shí)現(xiàn)動(dòng)態(tài)散射介質(zhì)的目標(biāo)重建,如圖11(a1)所示。該研究通過(guò)生成器與鑒別器之間相互博弈自動(dòng)學(xué)習(xí)目標(biāo)與散射圖像之間的映射關(guān)系,減輕動(dòng)態(tài)散射介質(zhì)對(duì)模型的影響,以獲得更好的成像效果;采用分類部分提供先驗(yàn)信息,以提高后續(xù)CGAN重建部分的性能。如圖11(a2)所示,該方法對(duì)未在訓(xùn)練集中出現(xiàn)過(guò)的目標(biāo)類型依然具有較好的泛化能力。此外,對(duì)于未知濃度的散射介質(zhì),該方法可以通過(guò)分類網(wǎng)絡(luò)找出最接近的散射條件,然后通過(guò)相應(yīng)的CGAN重構(gòu)部分進(jìn)行目標(biāo)恢復(fù)。對(duì)于一些特別的場(chǎng)景,CGAN可以發(fā)揮其靈活的性能以突破一些傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)的限制。文獻(xiàn)[56]設(shè)計(jì)了一種Y-GAN[圖11(c1)]用于實(shí)現(xiàn)兩個(gè)相鄰物體的散射圖像恢復(fù)。研究人員還探究了物體成像類型(灰度圖和二值圖像)和相鄰兩個(gè)物體之間的距離對(duì)成像保真度的影響。由圖11(c2)的實(shí)驗(yàn)結(jié)果可知,該方法具有較強(qiáng)的泛化能力,即使在兩物體之間插入另一種散射介質(zhì),Y-GAN仍然能高質(zhì)量地重建目標(biāo)。此外,GAN獨(dú)特的生成模型也為一些需要復(fù)雜計(jì)算才能獲得的參量圖片提供了新的方法。馬輝教授團(tuán)隊(duì)設(shè)計(jì)了一個(gè)端到端的DL算法模型,可以基于一個(gè)Stokes圖像生成基于MM的特定偏振基參數(shù)(PBPs)圖像[圖11(b)][57]。MM表征了復(fù)雜介質(zhì)的偏振特性,并蘊(yùn)含了關(guān)于宏觀和微觀結(jié)構(gòu)的豐富信息。MM派生的偏振參數(shù)的檢索圖像在一些特定場(chǎng)合具有更為顯著的信息表達(dá)。但是獲取MM圖像的過(guò)程十分復(fù)雜,而且該過(guò)程對(duì)微小環(huán)境的變化非常敏感,這就導(dǎo)致獲取PBPs圖像對(duì)實(shí)驗(yàn)系統(tǒng)的精度要求十分嚴(yán)格,所以在這項(xiàng)工作中,研究人員基于CGAN設(shè)計(jì)了具有自定義損失函數(shù)的轉(zhuǎn)換模型,實(shí)現(xiàn)了單次曝光下從Stokes矢量生成PBPs圖像的過(guò)程。這種數(shù)據(jù)后處理方法能夠消除多次曝光帶來(lái)的誤差,降低成像時(shí)間和硬件復(fù)雜度。

圖11 (a)基于CGAN動(dòng)態(tài)散射光場(chǎng)成像[55]。(a1)網(wǎng)絡(luò)結(jié)構(gòu);(a2)不在訓(xùn)練集的目標(biāo)重建結(jié)果。(b)馬輝教授團(tuán)隊(duì)提出的生成特定偏振基參數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)[57]。(c)文獻(xiàn)[56]中恢復(fù)相鄰兩個(gè)目標(biāo)的方法。(c1)Y-GAN的結(jié)構(gòu);(c2)兩個(gè)目標(biāo)之間有散射介質(zhì)的重構(gòu)結(jié)果Fig.11(a)Method of imaging through dynamic scattering media based on CGAN[55].(a1)Network structure;(a2)Reconstruction result of unseen targets.(b)Network structure of generating specific polarization basis parameters proposed by Ma,et al[57].(c)Method of recovering two adjacent targets in[56].(c1)Structure of Y-GAN;(c2)Reconstruction results of scattering media between two targets

CGAN通過(guò)條件的輸入使GAN的生成變得可控,其獨(dú)特的結(jié)構(gòu)和約束方式使CGAN具有強(qiáng)大的學(xué)習(xí)能力,能夠簡(jiǎn)單高效地解決極端環(huán)境下的散射光場(chǎng)成像問(wèn)題,同時(shí)為散射光場(chǎng)成像開(kāi)辟了全新的應(yīng)用場(chǎng)景。

1.2半監(jiān)督學(xué)習(xí)

由于大部分實(shí)際場(chǎng)景的數(shù)據(jù)信息難以獲取,或無(wú)法獲得數(shù)量足夠多的樣本以保證網(wǎng)絡(luò)模型的訓(xùn)練效果,所以大部分基于監(jiān)督學(xué)習(xí)散射光場(chǎng)成像方法的訓(xùn)練集都是在實(shí)驗(yàn)室環(huán)境中獲得的,或者采用公開(kāi)數(shù)據(jù)集。隨著人工智能領(lǐng)域的快速發(fā)展,一種不需要嚴(yán)格配對(duì)的數(shù)據(jù)集的訓(xùn)練方式[58]開(kāi)始走進(jìn)研究人員的視野。最近,一種特殊的網(wǎng)絡(luò)結(jié)構(gòu)CycleGAN[59]被提出,這種網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)兩個(gè)GAN網(wǎng)絡(luò)之間的交互來(lái)實(shí)現(xiàn)兩個(gè)域之間的模式轉(zhuǎn)換。Yamazaki等[60]基于CycleGAN,利用捕獲的模糊圖像和未用于捕獲模糊圖像的目標(biāo)圖像,通過(guò)間接回歸實(shí)現(xiàn)目標(biāo)恢復(fù),具體過(guò)程如圖12所示。不同散射水平、相干和非相干光源下的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性和泛化性,然而該工作沒(méi)有在目標(biāo)結(jié)構(gòu)完全被隱藏的情況下進(jìn)行成像實(shí)驗(yàn)。這種訓(xùn)練過(guò)程中不需要訓(xùn)練集嚴(yán)格配對(duì)的方法緩解了研究人員獲取標(biāo)簽數(shù)據(jù)的壓力,避免了監(jiān)督學(xué)習(xí)過(guò)程中訓(xùn)練集需要強(qiáng)對(duì)應(yīng)關(guān)系的限制。但是,仍需進(jìn)一步探究該方法能否適用于重建完全被噪聲掩蓋的目標(biāo)信息。

圖12 基于CycleGAN的目標(biāo)恢復(fù)[60]Fig.12 Target recovery based on CycleGAN[60]

除了可以從視覺(jué)效果上直觀地反映出基于DL算法的散射光場(chǎng)成像的優(yōu)越效果,從具體的定量評(píng)價(jià)標(biāo)準(zhǔn)中也可以反映出基于DL算法的散射光場(chǎng)成像能夠?qū)崿F(xiàn)高分辨率、低噪聲干擾的成像效果。表1中的數(shù)據(jù)展示了上述方案的部分量化指標(biāo)。

表1 基于監(jiān)督學(xué)習(xí)策略的散射光場(chǎng)成像部分方法定量分析Table 1 Quantitative analysis for imaging through scattering media based on the supervised learning strategies

2 基于無(wú)監(jiān)督學(xué)習(xí)的散射光場(chǎng)成像

無(wú)監(jiān)督學(xué)習(xí)本質(zhì)上是一種統(tǒng)計(jì)手段,其在沒(méi)有標(biāo)簽的數(shù)據(jù)里發(fā)現(xiàn)潛在的一些數(shù)據(jù)特征。對(duì)于圖像來(lái)說(shuō),迄今為止最成功的生成模型是GAN。它由兩個(gè)網(wǎng)絡(luò)組成:一個(gè)生成器和一個(gè)鑒別器[52],分別負(fù)責(zé)偽造樣本和判斷真假。對(duì)于從散射圖中恢復(fù)原始目標(biāo)來(lái)說(shuō),不需要標(biāo)簽就意味著要找到一種約束條件來(lái)控制輸出方向。最近,新興的研究試圖將不同光學(xué)成像系統(tǒng)的物理特性整合到DNN中[61],通過(guò)網(wǎng)絡(luò)訓(xùn)練過(guò)程模擬優(yōu)化求解[62]的迭代操作,開(kāi)辟了DNN的新領(lǐng)域。研究人員們將經(jīng)典的優(yōu)化迭代過(guò)程或者可用公式表達(dá)的成像物理過(guò)程融入到網(wǎng)絡(luò)層中,使其成為能夠代替標(biāo)簽的約束條件。無(wú)監(jiān)督散射光場(chǎng)成像技術(shù)的研究,不僅能在線獲得高質(zhì)量成像,又可以擺脫大量標(biāo)簽數(shù)據(jù)的約束,為基于DL算法的散射光場(chǎng)成像能夠應(yīng)用于實(shí)際工程做出巨大貢獻(xiàn)。

2.1基于GAN的無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督學(xué)習(xí)要求輸入數(shù)據(jù)本身就含有較強(qiáng)的結(jié)構(gòu)信息,因此使用GAN恢復(fù)隱藏在散射介質(zhì)背后目標(biāo)的方法大多也是基于監(jiān)督策略的。隨著對(duì)散射現(xiàn)象的研究不斷深入,研究人員已經(jīng)實(shí)現(xiàn)以無(wú)監(jiān)督學(xué)習(xí)的方式通過(guò)GAN重建隱藏在散斑后的目標(biāo)信息,主要是通過(guò)改變生成器的訓(xùn)練方式,例如文獻(xiàn)[63]利用自編解碼器作為生成器,文獻(xiàn)[64]通過(guò)物理約束實(shí)現(xiàn)在線優(yōu)化。文獻(xiàn)[63]提出了一種基于無(wú)監(jiān)督學(xué)習(xí)的非均勻光場(chǎng)水下圖像復(fù)原方法。在去霧模型中,估計(jì)背景光是能否獲得清晰圖像的關(guān)鍵因素之一。所以,這項(xiàng)研究將背景光作為一個(gè)需要生成的參數(shù),設(shè)計(jì)了一個(gè)端到端的生成網(wǎng)絡(luò)來(lái)生成背景光,具體流程如圖13(a1)所示。生成器采用自編解碼器,如圖13(a2)所示,從輸入背景圖中精煉背景光信息,再通過(guò)解碼獲得完整的背景光,利用判別網(wǎng)絡(luò)產(chǎn)生對(duì)抗損失提高性能。實(shí)驗(yàn)結(jié)果表明該方法能在較短時(shí)間內(nèi)恢復(fù)水下模糊圖像,恢復(fù)結(jié)果的圖像細(xì)節(jié)增強(qiáng)評(píng)價(jià)指標(biāo)(EME)可達(dá)到1.2847。特別是在非均勻光場(chǎng)中,該方法可以很好地應(yīng)用于經(jīng)典方法模型。文獻(xiàn)[64]提出一種融合物理過(guò)程的無(wú)先驗(yàn)無(wú)監(jiān)督GAN,從完全沒(méi)有目標(biāo)結(jié)構(gòu)的散斑圖中重建目標(biāo),具體過(guò)程如圖13(b1)。首先,研究人員探究了不同散射介質(zhì)的散斑圖自相關(guān)和原圖自相關(guān)之間的關(guān)系,如圖13(b2)所示。然后,通過(guò)鑒別器約束和散斑自相關(guān)與原圖自相關(guān)一致性約束實(shí)現(xiàn)無(wú)監(jiān)督的在線優(yōu)化。該方法不需要任何配對(duì)數(shù)據(jù)(即鑒別器不需要輸入與散斑對(duì)應(yīng)的原圖)和先驗(yàn)信息來(lái)提前訓(xùn)練網(wǎng)絡(luò),僅需要對(duì)一幀散斑圖在線優(yōu)化就可以重構(gòu)未知散射介質(zhì)后的隱藏目標(biāo)。但是,當(dāng)目標(biāo)的大小超出記憶效應(yīng)范圍時(shí),自相關(guān)結(jié)構(gòu)會(huì)逐漸退化,該方法可能無(wú)法有效重構(gòu)隱藏目標(biāo)。

圖13 (a)無(wú)監(jiān)督水下去霧[63]。(a1)具體流程;(a2)網(wǎng)絡(luò)結(jié)構(gòu)。(b)無(wú)監(jiān)督在線優(yōu)化[64]。(b1)具體流程;(b2)原圖自相關(guān)與不同散射介質(zhì)下散斑自相關(guān)Fig.13(a)Unsupervised underwater-defogging imaging[63].(a1)Flow chart of the method;(a2)Network structure.(b)Unsupervised online optimization[64].(b1)Flow chart of the method;(b2)Autocorrelation between the original images and speckles from different scattering media

2.2 Physics-aware網(wǎng)絡(luò)

Physics-aware網(wǎng)絡(luò)是一種新興的學(xué)習(xí)方式,該方式起源于Skoltech、Yandex和牛津大學(xué)的學(xué)者們?cè)谖墨I(xiàn)[65]中提出的Deep Image Prior。他們讓一個(gè)CNN去學(xué)習(xí)復(fù)制被破壞的圖像時(shí),發(fā)現(xiàn)深度卷積網(wǎng)絡(luò)先天就擁有一種能力,即先學(xué)會(huì)圖像中“未被破壞的、符合自然規(guī)律的部分”,然后再學(xué)習(xí)圖像中“被破壞的部分”。所以,一個(gè)卷積網(wǎng)絡(luò)在對(duì)一張被破壞的圖片進(jìn)行反復(fù)迭代時(shí),它能自動(dòng)利用圖像的全局統(tǒng)計(jì)信息重構(gòu)圖像中丟失的部分信息。該研究也通過(guò)實(shí)驗(yàn)證明了這一過(guò)程,但該方法的迭代過(guò)程不可控,因?yàn)榫W(wǎng)絡(luò)最終向退化圖方向演化。所以,之后的研究將光學(xué)成像系統(tǒng)的物理模型加入到DNN中,通過(guò)光學(xué)成像的物理過(guò)程來(lái)約束網(wǎng)絡(luò)向著重構(gòu)圖像方向進(jìn)行優(yōu)化。Wang等[66]提出在傳統(tǒng)的DNN中加入一個(gè)完整的表征圖像形成過(guò)程的物理模型來(lái)克服需要大量標(biāo)簽數(shù)據(jù)的限制,具體過(guò)程如圖14(a)所示。該研究通過(guò)在整體訓(xùn)練過(guò)程中加入衍射成像過(guò)程H,將輸出圖像output再次轉(zhuǎn)換成z=d時(shí)的衍射圖像?I,然后通過(guò)損失函數(shù)使網(wǎng)絡(luò)產(chǎn)生的?I與實(shí)際輸入的I不斷靠近。最終,網(wǎng)絡(luò)“中間”輸出output就是去除散射效應(yīng)的結(jié)果。物理增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)(PhysenNet)只需一個(gè)相位對(duì)象的衍射圖就可以自動(dòng)優(yōu)化,通過(guò)神經(jīng)網(wǎng)絡(luò)和物理模型的相互約束生成理想的清晰圖片,這種方法為神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)開(kāi)辟了一個(gè)新的范式,物理模型整合到神經(jīng)網(wǎng)絡(luò)的概念可以推廣到其他計(jì)算成像問(wèn)題中。該課題組研究人員在此基礎(chǔ)上又提出了BlindNet[67],該網(wǎng)絡(luò)模型在PhysenNet的基礎(chǔ)上改善了物理模型表征不準(zhǔn)確的問(wèn)題,如圖14(b)所示,該模型將物理模型參數(shù)的優(yōu)化H(z=d′)一同納入到訓(xùn)練過(guò)程中,即損失函數(shù)在驅(qū)動(dòng)網(wǎng)絡(luò)權(quán)值更新的同時(shí)還驅(qū)動(dòng)物理模型參數(shù)d的優(yōu)化,實(shí)現(xiàn)整個(gè)訓(xùn)練過(guò)程只需要初始化網(wǎng)絡(luò)模型后就可以自動(dòng)優(yōu)化成像過(guò)程。針對(duì)模型不確定性的新型DNN框架可以應(yīng)用于一類具有明確成像模型的計(jì)算成像中,文獻(xiàn)[68]將這種訓(xùn)練方式與水下去霧算法相結(jié)合,如圖14(c)所示,提出了一種未經(jīng)訓(xùn)練的網(wǎng)絡(luò)和偏振成像協(xié)同進(jìn)行全場(chǎng)景水下成像的方法。該方法充分利用了神經(jīng)網(wǎng)絡(luò)的非線性擬合能力,改善了經(jīng)典IFM在不同場(chǎng)景下參數(shù)設(shè)置不完善造成的不良成像效果,在不需要額外的標(biāo)簽進(jìn)行網(wǎng)絡(luò)訓(xùn)練的情況下提高了成像質(zhì)量(成像結(jié)果的平均對(duì)比度可以達(dá)到0.2739)。除此之外,文獻(xiàn)[69]將大氣傳輸模型中的所有參數(shù)都由網(wǎng)絡(luò)進(jìn)行全局在線優(yōu)化,使訓(xùn)練過(guò)程形成閉環(huán)。最終,利用PSDNet-L獲得清晰的去霧圖像,如圖14(d),該方法在訓(xùn)練過(guò)程中不需要場(chǎng)景的清晰圖像進(jìn)行約束,并且在訓(xùn)練完成后可以直接通過(guò)PSDNet-L預(yù)測(cè)結(jié)果。研究人員對(duì)公共數(shù)據(jù)集和拍攝的實(shí)際濃霧環(huán)境的圖片進(jìn)行測(cè)試,證明了該方法在保持原始圖像顏色和增強(qiáng)圖像細(xì)節(jié)方面具有良好的表現(xiàn)。

圖14 Physics-aware網(wǎng)絡(luò)。(a)PhysenNet的具體流程[66];(b)BlindNet的具體流程[67];(c)IFM-guided network的具體流程[68];(d)大氣傳輸模型中所有參數(shù)在線優(yōu)化的具體流程[69]Fig.14 Physics-aware network.(a)Flow chart of PhysenNet[66];(b)Flow chart of BlindNet[67];(c)Flow chart of IFM-guided network[68];(d)Flow chart of optimizing parameters of the atmospheric transport model online[69]

研究人員通過(guò)在訓(xùn)練過(guò)程中引入物理約束,使部分條件下的散射光場(chǎng)成像可以擺脫大量標(biāo)注數(shù)據(jù)的限制。對(duì)于目前無(wú)法總結(jié)具體成像模型和迭代優(yōu)化方法的散射光場(chǎng)成像仍沒(méi)有基于無(wú)監(jiān)督的解決方案。但是,隨著研究人員對(duì)散射過(guò)程的探究不斷深入,未來(lái)可能會(huì)陸續(xù)提出可用于一般條件散射光場(chǎng)成像的無(wú)監(jiān)督高效學(xué)習(xí)方法,基于無(wú)監(jiān)督的散射光場(chǎng)成像領(lǐng)域也會(huì)產(chǎn)生更多有意義的科研成果。

3 優(yōu)勢(shì)與挑戰(zhàn)

上文總結(jié)了基于DL算法的散射光場(chǎng)成像技術(shù)的各類方案,具體性能對(duì)比如圖15所示。通常,傳統(tǒng)技術(shù)需采用物理模型的顯式解析公式解決逆成像問(wèn)題,而DL算法則可以繞過(guò)已知模型的嚴(yán)格要求。同時(shí),DL算法還可以緩解光學(xué)實(shí)驗(yàn)中嚴(yán)格的系統(tǒng)要求,并從計(jì)算上補(bǔ)償實(shí)驗(yàn)系統(tǒng)所帶來(lái)的系統(tǒng)誤差。此外,一旦訓(xùn)練完成,DL算法允許實(shí)時(shí)重建和快速預(yù)測(cè)?？偟膩?lái)說(shuō),DL算法可以在大范圍的散射光場(chǎng)成像任務(wù)中顯著提高成像效果,并對(duì)于未知任務(wù)具有一定的可擴(kuò)展性。同時(shí),DL算法實(shí)現(xiàn)簡(jiǎn)單、設(shè)計(jì)靈活,能夠有效降低光學(xué)成像實(shí)驗(yàn)的復(fù)雜度,為散射光場(chǎng)成像開(kāi)拓了全新的應(yīng)用場(chǎng)景。

圖15 基于深度學(xué)習(xí)算法的散射光場(chǎng)成像性能對(duì)比圖Fig.15 Performance comparison of imaging through scattering media based on deep learning algorithm

然而,DL算法在散射光場(chǎng)成像中的應(yīng)用仍存在一些潛在的問(wèn)題。首先,大部分實(shí)驗(yàn)數(shù)據(jù)都是在實(shí)驗(yàn)室環(huán)境下獲得的,缺少對(duì)真實(shí)環(huán)境的表達(dá);此外,不同類型的成像系統(tǒng)和不同的光學(xué)設(shè)置都會(huì)導(dǎo)致捕獲的數(shù)據(jù)集之間有很大的差異,影響DNN模型的穩(wěn)定性和泛化性。DL算法缺乏可解釋性對(duì)散射光場(chǎng)成像領(lǐng)域來(lái)說(shuō)也是一個(gè)問(wèn)題,部分學(xué)者會(huì)質(zhì)疑DNN所具有的良好的實(shí)驗(yàn)性能是一種巧合,而不是逆問(wèn)題正確建模的結(jié)果;最后,由于不能保證獲得物理上準(zhǔn)確的解釋,其故障排除也具有一定的挑戰(zhàn)性。以上問(wèn)題嚴(yán)重阻礙了DL算法技術(shù)在散射光場(chǎng)成像工程實(shí)現(xiàn)中的應(yīng)用,總體而言,DL算法在散射光場(chǎng)成像中的應(yīng)用仍處于探索階段,仍然有很多亟需解決的問(wèn)題。

4 總結(jié)和展望

DL算法為散射光場(chǎng)成像的研究提供了新思路。基于DL算法,國(guó)內(nèi)外研究人員嘗試從提升神經(jīng)網(wǎng)絡(luò)的泛化性、減少數(shù)據(jù)的依賴性、拓寬散射環(huán)境的適用性等方面改善散射光場(chǎng)成像技術(shù),并取得了一系列的研究成果。以監(jiān)督學(xué)習(xí)作為訓(xùn)練策略的DL算法方案通過(guò)采用具有不同特征提取傾向的網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化輸入數(shù)據(jù),使訓(xùn)練后的網(wǎng)絡(luò)模型可以去除散射影響、突破傳統(tǒng)成像系統(tǒng)的限制、適應(yīng)各種散射環(huán)境,實(shí)現(xiàn)看得清、看得遠(yuǎn)的成像目標(biāo)。而以無(wú)監(jiān)督學(xué)習(xí)作為訓(xùn)練策略的DL算法方案,利用物理模型約束和神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力實(shí)現(xiàn)高質(zhì)量在線成像。雖然該種方案對(duì)于部分散射光場(chǎng)成像有一定限制,但仍然能推動(dòng)散射光場(chǎng)成像領(lǐng)域向著更加智能化的方向發(fā)展。

隨著人工智能技術(shù)的快速發(fā)展,越來(lái)越多先進(jìn)的DL算法被引入到散射光場(chǎng)成像中,如遷移學(xué)習(xí)[70]和注意力機(jī)制[71]等。DL算法正因其在數(shù)據(jù)擬合方面獨(dú)特的優(yōu)勢(shì)而在散射光場(chǎng)成像領(lǐng)域大放異彩,本綜述總結(jié)了基于DL算法的散射光場(chǎng)成像的最新研究進(jìn)展,對(duì)比分析了現(xiàn)有方法存在的優(yōu)勢(shì)和不足。DL算法具有優(yōu)秀的擬合能力,但是物理機(jī)制尚不十分清晰,進(jìn)一步探究DL算法網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、以及數(shù)據(jù)特征提取過(guò)程的物理機(jī)制,將散射光場(chǎng)成像的物理原理與DL算法有機(jī)結(jié)合起來(lái),實(shí)現(xiàn)小樣本學(xué)習(xí),快速學(xué)習(xí)、拓寬網(wǎng)絡(luò)的泛化性是基于DL算法的散射光場(chǎng)成像的未來(lái)發(fā)展方向。同時(shí),得益于計(jì)算設(shè)備算力的提升、探測(cè)設(shè)備性能的提高,基于科學(xué)家的杰出成果,對(duì)現(xiàn)有方法取長(zhǎng)補(bǔ)短,基于DL算法的散射光場(chǎng)成像技術(shù)正在向著更清晰、更遠(yuǎn)、更快、更小、更智能的方向發(fā)展。