基于分?jǐn)?shù)匹配生成模型的無透鏡成像方法

伍春花，彭 鴻，劉且根，萬文博，王玉皞

（南昌大學(xué) 信息工程學(xué)院，江西 南昌 330031）

1 引 言

基于掩膜的無透鏡成像系統(tǒng)通過在圖像傳感器前幾毫米處放置一個(gè)薄掩膜來替代鏡頭組件，直接應(yīng)用圖像傳感器（如CCD和CMOS）記錄場景信息，從而簡化光學(xué)硬件[1-3］。該成像方式打破了場景到圖像一一對應(yīng)的采樣方式，將成像的重心由硬件轉(zhuǎn)移到計(jì)算上，使三維熒光顯微鏡、熱成像和重聚焦攝影等成像系統(tǒng)實(shí)現(xiàn)結(jié)構(gòu)緊湊化、輕量化、低能耗和低成本成為可能。在過去幾年里，研究人員提出了各種各樣的基于無透鏡相干系統(tǒng)的成像技術(shù)，如，相干衍射成像[4-5］和片上顯微鏡[6-7］等。然而，這些成像技術(shù)對光的相干性要求很高，極大地限制了成像系統(tǒng)應(yīng)用。

菲涅爾非相干全息術(shù)是新發(fā)展的一種非相干光成像技術(shù)。非相干光成像技術(shù)最早起源于20世 紀(jì)90年 代，Mertz和Young[8］提 出 了 用 菲 涅爾波帶片（Fresnel Zone Aperture，F(xiàn)ZA）編碼全息成像的建議，將全息成像的概念和應(yīng)用范圍拓展到了非相干光領(lǐng)域。與相干成像技術(shù)相比，非相干成像技術(shù)的照明光源獲取容易，且記錄過程不會(huì)產(chǎn)生類似于激光全息術(shù)中固有的散斑噪聲，可以有效提高再現(xiàn)圖像的質(zhì)量。因此，非相干技術(shù)在熒光三維成像、非相干全息三維顯示、自適應(yīng)光學(xué)、天文成像等領(lǐng)域具有獨(dú)特的應(yīng)用優(yōu)勢[9］。在無透鏡成像系統(tǒng)中，使用非相干光照明將場景中無數(shù)個(gè)點(diǎn)光源線透過FZA，這些點(diǎn)源投影在傳感器上非相干疊加后最后形成了編碼圖像。理論上，編碼圖像既包含物體振幅/透射率的信息，又包含相位延遲的信息。由于圖像傳感器只對入射光強(qiáng)度敏感，在圖像采集過程中只能采集圖像的強(qiáng)度信息而丟失了相位信息，這導(dǎo)致重建圖像中出現(xiàn)物體的孿生像[10-12］。孿生像是同軸全息中的固有問題，表現(xiàn)為重建圖像中會(huì)有物體的共軛像疊加在原始圖像上，從而導(dǎo)致重建圖像質(zhì)量下降。

為克服無透鏡成像中的孿生像效應(yīng)，通常采用四步相移法來去除孿生像。該方法需要采集經(jīng)過四組不同相位波帶片的編碼圖像[13-14］，在實(shí)際操作中，不僅需要更換波帶片，而且需要圖像間的配準(zhǔn)，增加了實(shí)驗(yàn)的復(fù)雜性。為了彌補(bǔ)這個(gè)缺點(diǎn)，可以采用單張F(tuán)ZA實(shí)現(xiàn)無透鏡成像系統(tǒng)的編碼，這樣既不需要波帶片和傳感器之間的校準(zhǔn)，又能簡化實(shí)際操作。然而，使用單張F(tuán)ZA編碼方式并不能消除孿生像，因此需要通過重建算法消除孿生像的影響。

針對無透鏡成像過程因丟失相位信息導(dǎo)致重建圖像不唯一的問題，如何建立場景與圖像之間的聯(lián)系，并通過求解逆問題反演圖像是解決編碼成像問題的關(guān)鍵。傳統(tǒng)方法是直接通過使用反向傳播（Back Propagation，BP）算法對同軸全息圖進(jìn)行重建，然而孿生像干擾嚴(yán)重影響了重建圖像。正則化技術(shù)，特別是壓縮感知（Compressive Sensing，CS）理論中提出的基于稀疏的全變分（Total Variation，TV）正則化方法是處理這種不適定問題的有效方式。2009年，Brady等[15］首次將壓縮感知理論應(yīng)用于全息成像中，實(shí)現(xiàn)了單幅全息圖的深度重建和孿生像的去除。Wu等[16］根據(jù)孿生像和原始圖像在梯度域稀疏程度的不同提出一種基于CS的無透鏡成像方法，它通過在目標(biāo)函數(shù)中加入TV正則化約束以改善問題的不適定性。在圖像處理和計(jì)算成像技術(shù)中，通過外加約束先驗(yàn)的稀疏性在逆問題中可以增強(qiáng)圖像統(tǒng)計(jì)的先驗(yàn)信息。雖然正則化先驗(yàn)技術(shù)常被用于不適定問題的求解。然而這類人為選擇的正則化器存在校準(zhǔn)誤差和手動(dòng)調(diào)整參數(shù)等不定因素，并不能表示真正的數(shù)據(jù)。

近年來，基于分?jǐn)?shù)匹配生成模型[17-19］和去噪擴(kuò)散概率模型（DDPMs）[20-21］的新的生成模型[17-21］引起了人們的廣泛興趣，它在不需要對抗訓(xùn)練的情況下能夠?qū)崿F(xiàn)高質(zhì)量的樣本。生成模型本質(zhì)是用一個(gè)已知的概率模型來擬合所給的數(shù)據(jù)樣本。雖然神經(jīng)網(wǎng)絡(luò)（Neural Networks）也能擬合任意函數(shù)，但是概率分布有“非負(fù)”和“歸一化”的要求，因此不能隨意擬合一個(gè)概率分布。近來，Song等人[22］提出了一個(gè)新的基于廣義離散分?jǐn)?shù)匹配方法模型。該模型通過概率密度函數(shù)對觀察到的樣本進(jìn)行數(shù)據(jù)建模，在利用已知輸入不變性建模數(shù)據(jù)分布方面表現(xiàn)出了出色的性能。生成模型在擬合參數(shù)學(xué)習(xí)的過程會(huì)盡可能地增加數(shù)據(jù)的相似度，因而可以學(xué)習(xí)良好的先驗(yàn)信息。近年來，有不少該領(lǐng)域的研究工作聚焦于如何更好地利用算法提升來改善成像質(zhì)量，尤其是針對深度重構(gòu)的真實(shí)度?；诖?，本文利用生成模型強(qiáng)大的先驗(yàn)信息建模能力和成像的擬合約束相結(jié)合的方法，將生成模型引入到無透鏡成像逆問題求解。本文提出一種基于分?jǐn)?shù)匹配生成模型的無透鏡方法（Lens-less imaging via Score-based Generative Model，LSGM）。具體而言，無透鏡成像系統(tǒng)在非相干照明下使用單張F(tuán)ZA實(shí)現(xiàn)點(diǎn)源編碼，無需精確校準(zhǔn)和嚴(yán)格標(biāo)定，具有更高的信噪比。然而，由于孿生像的偽影很容易導(dǎo)致重建質(zhì)量差以及顏色重建不準(zhǔn)確等問題。針對這個(gè)問題，本文提出一種新的LSGM算法對編碼圖像進(jìn)行解碼重建。該模型通過利用梯度數(shù)據(jù)分布對圖像樣本進(jìn)行建模，并從給定的觀測數(shù)據(jù)的條件分布中采樣數(shù)據(jù)，然后將采樣的數(shù)據(jù)作為先驗(yàn)信息和成像的擬合約束相結(jié)合來求解無透鏡成像的逆問題。該方法模型訓(xùn)練穩(wěn)定、結(jié)構(gòu)靈活，在數(shù)據(jù)分布建模方面表現(xiàn)出了強(qiáng)大的性能，并且能獲得豐富的先驗(yàn)信息，可以有效地用于無透鏡成像中逆問題的求解，并有望擴(kuò)展至其他計(jì)算成像領(lǐng)域。

2 基本原理及算法過程

2.1 無透鏡成像原理

如圖1所示，無透鏡成像的主要流程主要包含兩大部分：光學(xué)編碼和計(jì)算解碼。不同于傳統(tǒng)光學(xué)成像——“所見即所得”。無透鏡成像直接應(yīng)用圖像傳感器記錄由編碼掩膜調(diào)制的場景信息，然后通過算法重建場景圖像。

若將FZA的透射率函數(shù)近似為理想波帶片，其振幅傳遞函數(shù)為：

對式（1）作傅里葉展開為T(r)=[1+cos(πr2/r21)]/2。其中：r=(x，y)；r1為常數(shù)，表示FZA最內(nèi)側(cè)區(qū)域的半徑。然后根據(jù)歐拉公式轉(zhuǎn)化為：

其中：h(x，y)=exp(i(π/r21)(x2+y2))，h*(x，y)是h(x，y)的共軛。當(dāng)r21=λd時(shí)，h(x，y)與菲涅爾傳播核函數(shù)exp(i(π/λd)(x2+y2))相同。

目標(biāo)物體被放置在離FZA一定距離處，在非相干光源照明下，經(jīng)過FZA調(diào)制的所有點(diǎn)源疊加的集合被傳感器捕獲。其成像過程的表達(dá)式即為目標(biāo)圖像與FZA函數(shù)的卷積：

其 中：*表 示 卷 積；O(x，y)為 目 標(biāo) 圖 像；U(x，y)=O(x，y)*h(x，y)可以看作是波長為λ的光波在距離d處傳播的衍射波前圖像；U*(x，y)與U(x，y)相互共軛，式（3）中U*(x，y)相關(guān)的項(xiàng)即為孿生像；C為常數(shù)，可直接通過直流濾波去除。將上式卷積計(jì)算轉(zhuǎn)換到傅里葉頻率域，計(jì)算公式表示為：

其中，I∈RNxy為傳感器測的圖像數(shù)據(jù)；O∈RNxy為目標(biāo)圖像；F和F-1分別為傅里葉變換算子和逆傅里葉變換算子；H表示乘以傳遞函數(shù)H=i exp(-iπλz(u2+v2))的操作算子。由于O為實(shí)函數(shù)、H為中心對稱函數(shù)，則Re{H}=sin(πr21(u2+v2))是cos((π/λd)(x2+y2))的 歸一化傅里葉變換。假設(shè)系統(tǒng)轉(zhuǎn)換矩陣H=F*ΛF，其中F∈RNxy×Nxy為二維離散傅里葉變換矩陣，Λ為對角矩陣，其非零項(xiàng)為Re{H}的離散值。則用O表示I的相關(guān)函數(shù)即為正向轉(zhuǎn)換模型：

其中，H為系統(tǒng)測量矩陣或者傳遞函數(shù)矩陣。上述正向模型是一個(gè)典型的逆問題。在式（3）中，U(x，y)的虛部可以被任意賦值，使得求解不唯一，從而產(chǎn)生孿生像。孿生像的偽影很容易導(dǎo)致重建質(zhì)量差以及顏色重建不準(zhǔn)確等問題，引入合適的圖像先驗(yàn)是解決該問題的關(guān)鍵。

傳統(tǒng)的方法包括變換域中圖像的稀疏性、圖像梯度的稀疏性、正則化先驗(yàn)、低秩等。隨著生成模型的研究發(fā)展，圖像的生成式建模的進(jìn)展已經(jīng)遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的基于先驗(yàn)的算法。新的一類生成模型[22-24］被提出，它們提供了一種使用梯度數(shù)據(jù)分布對圖像進(jìn)行建模的強(qiáng)大方法，利用學(xué)習(xí)的分?jǐn)?shù)函數(shù)作為先驗(yàn)，可以很容易地解決成像中的逆問題。近來，Song等人[22］提出使用隨機(jī)微分方程（Stochastic Differential Equation，SDE）緩慢地添加噪聲將復(fù)雜數(shù)據(jù)分布轉(zhuǎn)換為已知的先驗(yàn)分布，并使用相應(yīng)的反向SDE緩慢地去除噪聲將先驗(yàn)分布轉(zhuǎn)換回?cái)?shù)據(jù)分布。至關(guān)重要的是，反向SDE僅取決于擾動(dòng)數(shù)據(jù)分布的時(shí)間相關(guān)梯度場[25］，也稱為分?jǐn)?shù)函數(shù)。為方便表述，本文將基于分?jǐn)?shù)的SDE稱為基于分?jǐn)?shù)匹配的生成模型。

2.2 基于分?jǐn)?shù)匹配生成模型的無透鏡成像方法

如圖2所示，生成模型可以簡單地概括為用概率分布方式描述圖像的生成，通過對概率分布采樣產(chǎn)生數(shù)據(jù)。圖2右邊是一個(gè)訓(xùn)練數(shù)據(jù)集，里面所有的數(shù)據(jù)都是從某個(gè)數(shù)據(jù)pdata中獨(dú)立同分布取出的隨機(jī)樣本。左邊是其生成模型（即概率分布），在這種概率分布中，找出一個(gè)分布pθ使得它離pdata的距離最近。接著在pθ上采新的樣本，可以獲得源源不斷的新數(shù)據(jù)。通常，使用分?jǐn)?shù)函數(shù)（概率密度函數(shù)對數(shù)的導(dǎo)數(shù)）來表示概率分布，稱為分?jǐn)?shù)匹配的生成模型。相比概率密度函數(shù)模型，它沒有歸一化的要求，因而模型選擇更加靈活。

圖2 生成模型Fig.2 Generative model

基于分?jǐn)?shù)匹配的生成模型是一種通過優(yōu)化以θ參數(shù)化的分?jǐn)?shù)網(wǎng)絡(luò)Sθ(x)來估計(jì)數(shù)據(jù)分布的分?jǐn)?shù)函數(shù)的方法。用多個(gè)噪聲尺度對數(shù)據(jù)進(jìn)行擾動(dòng)是分?jǐn)?shù)匹配生成模型方法成功的關(guān)鍵。它定義了一個(gè)正向擴(kuò)散過程（即SDE），用于將數(shù)據(jù)轉(zhuǎn)換為噪聲并通過其逆向過程從噪聲中生成數(shù)據(jù)。如圖3所示，分?jǐn)?shù)模型使用一個(gè)正向SDE通過添加高斯噪聲擾動(dòng)數(shù)據(jù)分布，為了從數(shù)據(jù)分布中進(jìn)行采樣，可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來估計(jì)對數(shù)數(shù)據(jù)分布的梯度（即?xlog pt(x)），并用它來數(shù)值求解逆時(shí)間SDE從噪聲中生成數(shù)據(jù)。

本文通過使用分?jǐn)?shù)模型對目標(biāo)圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，將學(xué)習(xí)到的圖像先驗(yàn)信息引入無透鏡成像逆問題，然后通過預(yù)測-校正采樣算法以實(shí)現(xiàn)高質(zhì)量的無透鏡成像重建。

具體來說，訓(xùn)練階段，通過將目標(biāo)圖像數(shù)據(jù)集輸入基于分?jǐn)?shù)匹配生成模型進(jìn)行訓(xùn)練。該模型使用SDE通過緩慢添加高斯噪聲擾動(dòng)數(shù)據(jù)分布，然后使用方差爆炸（Variance Exploding，VE）-SDE的去噪分?jǐn)?shù)匹配方法訓(xùn)練了一個(gè)連續(xù)時(shí)間相關(guān)的分?jǐn)?shù)函數(shù)Sθ(O)估計(jì)對數(shù)數(shù)據(jù)分布的梯度，即模型學(xué)習(xí)的梯度先驗(yàn)?Olog pt(O)，其中O為目標(biāo)圖像數(shù)據(jù)集。測試階段，根據(jù)訓(xùn)練的分?jǐn)?shù)函數(shù)（即目標(biāo)圖像先驗(yàn)）和逆時(shí)間SDE數(shù)值求解器迭代更新重建目標(biāo)圖像。在非相干光照明下由單張F(tuán)ZA調(diào)制的編碼圖像，通過訓(xùn)練好的分?jǐn)?shù)網(wǎng)絡(luò)先經(jīng)過數(shù)值求解器SDE一次預(yù)測，再通過退火朗之萬方法在數(shù)值求解器SDE和數(shù)據(jù)保真項(xiàng)步驟之間輪換更新以實(shí)現(xiàn)編碼圖像的重建?；诜?jǐn)?shù)匹配生成模型的無透鏡成像方法的訓(xùn)練和重建算法將分別在2.3和2.4節(jié)展開介紹。

圖3 SDE的正向和反向過程Fig.3 Forward and reverse time process of SDE

圖4 LSGM算法的訓(xùn)練與重建流程圖Fig.4 Training and reconstruction flow chart of LSGM algorithm

2.3 基于分?jǐn)?shù)匹配生成模型的訓(xùn)練

圖4為LSGM算法的訓(xùn)練與重建流程圖。本論文提出的LSGM方法的訓(xùn)練過程如圖4上半部分所示。首先，模型構(gòu)造了一個(gè)連續(xù)擴(kuò)散過程其中，O(t)∈RNxy，t∈[0，T]是時(shí)間變量。正向過程是將數(shù)據(jù)分布O(0)通過隨機(jī)過程擾動(dòng)得到含噪圖像O(T)。其中，O(0)～pdata，pdata表示目標(biāo)圖像數(shù)據(jù)分布；O(T)～pT，pT表示先驗(yàn)數(shù)據(jù)分布。那么，該隨機(jī)過程可以建模為求解以下SDE過程：

其中：f∈RNxy和g∈R分別是漂移系數(shù)和擴(kuò)散系數(shù)，w∈RNxy是標(biāo)準(zhǔn)維納過程或稱布朗運(yùn)動(dòng)。

然后，通過求解逆時(shí)間SDE來重建編碼圖像。具體而言，從正向SDE訓(xùn)練過程學(xué)習(xí)的目標(biāo)相關(guān)的先驗(yàn)信息O(T)～pT開始求解式（6）的逆向問題可以得到O(0)～pdata目標(biāo)圖像，其中pT是一個(gè)包含pdata信息的非結(jié)構(gòu)化先驗(yàn)分布。那么，逆SDE過程為：

為了求解公式（7），需要已知所有t的分?jǐn)?shù)函數(shù)?Olog pt(O(t))。通過訓(xùn)練一個(gè)基于時(shí)間的評分網(wǎng)絡(luò)Sθ來匹配Sθ(O，t)??Olog pt(O(t))[26］，然后將這個(gè)網(wǎng)絡(luò)函數(shù)替換式（7）中相應(yīng)項(xiàng)。因此，通過對分?jǐn)?shù)網(wǎng)絡(luò)的參數(shù)θ進(jìn)行優(yōu)化：

其中：E表示期 望，λ：[0，T]→R＞0為正 權(quán)重函數(shù)，t在[0，T]上均勻采樣，p0t(O(t)|O(0))是以O(shè)(0)為中心的高斯擾動(dòng)核，?Olog p0t(O(t)|O(0))表示擾動(dòng)核的梯度，σ(t)是噪聲尺度的單調(diào)遞增函數(shù)。通過公式（8）訓(xùn)練的網(wǎng)絡(luò)模型應(yīng)當(dāng)滿足Sθ(O，t)??Olog pt(O(t))， 這 意 味 著?Olog pt(O)對所有t都被訓(xùn)練的Sθ(O，t)所知。因此，可以將其帶入逆時(shí)間SDE求解公式（7）并對其進(jìn)行模擬以進(jìn)行采樣。

2.4 基于分?jǐn)?shù)匹配生成模型的重建

無透鏡成像問題歸結(jié)為求解方程（5），求解該逆問題的經(jīng)典方法是轉(zhuǎn)化為優(yōu)化以下約束問題：

其中：Ψ是正則化項(xiàng)，τ是正則化系數(shù)。在求解上式時(shí)，通常使用變量分裂[27］或投影到凸集[28］等近似算法將先驗(yàn)信息項(xiàng)和數(shù)據(jù)保項(xiàng)優(yōu)化解耦，然后根據(jù)輪換求解思路在兩個(gè)子問題之間交替更新實(shí)現(xiàn)最優(yōu)解：

其中，第一個(gè)公式為生成；第二個(gè)公式的第一項(xiàng)是數(shù)據(jù)保真項(xiàng)，第二項(xiàng)是正則化項(xiàng)，τ是正則化系數(shù)。

根據(jù)貝葉斯最大后驗(yàn)估計(jì)，如果生成模型能夠準(zhǔn)確地從目標(biāo)圖像數(shù)據(jù)集中估計(jì)復(fù)雜先驗(yàn)數(shù)據(jù)分布，可以實(shí)現(xiàn)高質(zhì)量的無透鏡成像重建。在2.3節(jié)中，詳細(xì)闡述了基于分?jǐn)?shù)匹配生成模型的先驗(yàn)學(xué)習(xí)過程。在上述訓(xùn)練過程中，一旦訓(xùn)練好分?jǐn)?shù)網(wǎng)絡(luò)Sθ(O，t)，并將其帶入公式（7）中，即可以求解逆時(shí)間VE-SDE，實(shí)現(xiàn)無透鏡編碼圖像重建：

對于該過程的求解，可以使用歐拉離散化[22］求解VE-SDE的數(shù)值。為了校正離散化方向SDE演化中的錯(cuò)誤，根據(jù)預(yù)測-校正的思想引入了一個(gè)預(yù)測-校正采樣器（Predictor-Corrector，PC）?；诜?jǐn)?shù)匹配生成模型先通過數(shù)值求解逆時(shí)間VE-SDE從得到的目標(biāo)圖像的先驗(yàn)分布中獲得初步預(yù)測的重建圖像，然后通過使用退火朗之萬[29］作為校正器來校正這個(gè)初步預(yù)測結(jié)果。與此同時(shí)，在求解逆時(shí)間VE-SDE和退火朗之萬采樣時(shí)，每個(gè)無條件采樣更新步驟之后都需要進(jìn)行一次保真?；跓o透鏡成像的迭代重建算法如下：

預(yù)測：該預(yù)測器可以是逆時(shí)間VE-SDE的任意數(shù)值解算器，并具有固定的離散化策略。從目標(biāo)圖像先驗(yàn)分布中生成目標(biāo)圖像可以通過求解由式（11）得到：

其中：σi噪聲尺度，i是總迭代次數(shù)，z是零均值的高斯白噪聲。式（13）稱為數(shù)據(jù)保真步驟，可以有效增強(qiáng)數(shù)據(jù)的一致性。式（12）和（13）即為該算法的預(yù)測過程。

校正：本文使用朗之萬馬可夫鏈[29］校正算法校正梯度上升方向，得到校正器步驟：

其中，εi是第i次迭代的步長。式（14）和（15）稱該算法的校正過程。

本文最終產(chǎn)生的LSGM的重建算法的偽代碼如算法1所示。LSGM重建過程包含兩層循環(huán)：（1）外層循環(huán)次數(shù)為逆時(shí)間VE-SDE的離散化步驟數(shù)，無透鏡編碼圖像輸入網(wǎng)絡(luò)先進(jìn)行一次預(yù)測，再進(jìn)入內(nèi)層循環(huán)校正；（2）內(nèi)層循環(huán)的校正過程是通過退火朗之萬迭代1 000次。整個(gè)循環(huán)迭代過程中，每一次循環(huán)均對預(yù)測和校正過程的數(shù)據(jù)先驗(yàn)項(xiàng)和數(shù)據(jù)保真項(xiàng)進(jìn)行更新，經(jīng)過1 000次的迭代實(shí)現(xiàn)無透鏡成像重建。

圖4下半部分展示了本文提出的LSGM算法的重建流程圖。在訓(xùn)練過程，利用生成模型對隨機(jī)樣本訓(xùn)練估計(jì)數(shù)據(jù)分布的梯度先驗(yàn)；在重建過程，先利用訓(xùn)練的梯度先驗(yàn)進(jìn)行一次預(yù)測，然后再利用退火朗之萬方法迭代進(jìn)行校正，并且在每一次迭代完成，都會(huì)在預(yù)測和校正步驟之后對數(shù)據(jù)保真項(xiàng)和先驗(yàn)項(xiàng)進(jìn)行更新，以保證實(shí)現(xiàn)最優(yōu)求解。

Algorithm 1 LSGM Training Dataset：Object image dataset Output：Sθ(O，t)??O log pt(O)Reconstruction Setting：Score network Sθ，Noise iteration step{εi}，Noise scale{σi}，Number of discretization steps for the reverse-time SDE N，Number of corrector steps M 1：ON～N(0，σ2max I)2：For i=N-1 to 0 do（Outer loop）3：Update Oi via Eq.（12）and（13） 【Predictor】4：For j=1 to M do（Inner loop）5： Update Oi via Eq.（14）and（15）【Corrector】6：End for 7：End for 8：Return O0

3 實(shí)驗(yàn)結(jié)果及分析

在本章節(jié)中，接下來的實(shí)驗(yàn)將從定性和定量兩方面對本文提出的方法進(jìn)行評估。

3.1 數(shù)據(jù)集和模型訓(xùn)練

由于目前還沒有用于無透鏡編碼成像的公共數(shù)據(jù)集，本實(shí)驗(yàn)所做的訓(xùn)練和測試均在LSUN數(shù)據(jù)集上進(jìn)行。LSUN數(shù)據(jù)集是一個(gè)大型的彩色圖像數(shù)據(jù)集，包含10個(gè)場景類別和20個(gè)對象類別，每個(gè)類別包含約100萬幅標(biāo)記圖像。主要選取其中兩個(gè)子數(shù)據(jù)集：室內(nèi)場景LSUN-bedroom和教堂LSUN-church數(shù)據(jù)集，分別觀察網(wǎng)絡(luò)模型在兩不同訓(xùn)練集上的訓(xùn)練和測試效果。

具體地說，使用LSUN官方網(wǎng)站給出的用于訓(xùn)練的bedroom和church數(shù)據(jù)集分別訓(xùn)練，圖像設(shè)置大小為256×256，其像素值均縮放至[0，1]之間。使用噪聲數(shù)值范圍為0.01～380的高斯噪聲擾動(dòng)數(shù)據(jù)分布。同時(shí)，為規(guī)避數(shù)值問題，參數(shù)設(shè)置ε=10-5，信噪比為0.16。將梯度裁剪的最大值設(shè)為1.0，參數(shù)采用指數(shù)移動(dòng)平均，流速為0.999，每種數(shù)據(jù)集訓(xùn)練50萬次。此外，為了進(jìn)一步驗(yàn)證LSGM網(wǎng)絡(luò)的性能表現(xiàn)，在每個(gè)數(shù)據(jù)集中選取100張圖做測試。在PC采樣算法重建中的內(nèi)外層循環(huán)迭代次數(shù)分別為N=1 000、M=1，每張圖迭代1 000次，取最大的峰值信噪比及其相應(yīng)的結(jié)構(gòu)相似性值，然后對這100對數(shù)據(jù)取平均。基于仿真實(shí)驗(yàn)使用固定學(xué)習(xí)率0.000 01，優(yōu)化采用自適應(yīng)估計(jì)方法（Adaptive Moment Estimation，Adam），其中β1=0.9，β2=0.999。

3.2 評價(jià)方法

由于人眼的視覺特性，經(jīng)常出現(xiàn)評價(jià)結(jié)果與人的主觀感覺不一致的情況。為有效定量評價(jià)本文的實(shí)驗(yàn)，主要使用以下幾個(gè)指標(biāo)來評估重建質(zhì)量：

峰值信噪比（Peak Signal to Noise Ratio，PSNR，IPSNR）是基于對應(yīng)像素點(diǎn)間的誤差，單位為dB。該指標(biāo)是基于誤差敏感的圖像質(zhì)量評價(jià)，數(shù)值越大表示失真越小。它是使用最為廣泛的一種圖像客觀評價(jià)指標(biāo)，定義如下：

結(jié)構(gòu)相似性（Structural SIMilarity，SSIM，ISSIM）：是一種衡量兩幅圖像結(jié)構(gòu)上相似程度的指標(biāo)，它分別從寬度、對比度、結(jié)構(gòu)三方面度量圖像之間的相似性：

其中：μ和μx分別表示目標(biāo)圖像和重建圖像的均值，σ和σx分別表示目標(biāo)圖像和重建圖像的方差，σ表示圖像的協(xié)方差，c1和c2是用于保持穩(wěn)定的常數(shù)。結(jié)構(gòu)相似性的取值范圍是[0，1]，其值越大，表示圖像失真越小，越能被人眼所接受。

3.3 實(shí)驗(yàn)設(shè)置及環(huán)境

本實(shí)驗(yàn)的模擬仿真實(shí)驗(yàn)參數(shù)設(shè)置具體如下：FZA作為編碼掩膜放置在圖像傳感器3 mm處，目標(biāo)大小為15 mm×15 mm，置于距離編碼掩膜20 mm處，掩膜板最內(nèi)側(cè)區(qū)域半徑r1=0.23 mm。模擬傳感器的像素?cái)?shù)為256×256，像素間距為0.014μm。傳感器上每個(gè)像素探測器記錄的是編碼掩膜上多個(gè)孔徑所成圖像的一個(gè)疊加，即來自場景中多個(gè)位置入射光場的疊加。

軟件仿真環(huán)境為：實(shí)驗(yàn)使用基于PyTorch的深度學(xué)習(xí)框架，在一張2080 TI的GPU上進(jìn)行LSGM算法的訓(xùn)練和測試。為了更好地體現(xiàn)算法的可重復(fù)性，我們將代碼公開在網(wǎng)址：https：//github.com/yqx7150/LSGM.

圖5 LSUN-bedroom數(shù)據(jù)集上重建圖像的視覺比較Fig.5 Visual comparison of reconstruction images on the LSUN-bedroom dataset

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 LSUN-bedroom數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及分析

近年來，隨著數(shù)據(jù)量的急劇增長和計(jì)算能力的不斷提高，基于分?jǐn)?shù)匹配生成模型的成像方法已經(jīng)被應(yīng)用于磁共振成像[30］和CT成像重建[31］，然而尚未應(yīng)用于無透鏡成像。為證明本實(shí)驗(yàn)的有效性，本實(shí)驗(yàn)挑選了傳統(tǒng)的BP算法和目前實(shí)驗(yàn)結(jié)果較好的CS算法[16］作為對比算法。

為從視覺上比較，圖5從LSUN-bedroom數(shù)據(jù)集中挑選出四組不同實(shí)驗(yàn)結(jié)果進(jìn)行展示，其中每組實(shí)驗(yàn)結(jié)果包含原圖、編碼圖和BP、CS、LSGM算法重建的圖?？梢院苤庇^地看出，BP算法實(shí)驗(yàn)結(jié)果最差，可以觀察到很明顯的孿生像效應(yīng)。其次，CS算法的重建結(jié)果與原圖對比，存在明顯的顏色差異，而且其圖片清晰度存在很大差距。例如，在第二行和第三行中CS重建結(jié)果與原始圖像有很明顯的顏色差距，中間有很明顯的顏色擴(kuò)散以及圖片邊緣黑色區(qū)域變色現(xiàn)象。顯然，圖5中第五列的圖像質(zhì)量明顯優(yōu)于另外兩組結(jié)果，三種算法中LSGM的重建結(jié)果最優(yōu)。

為進(jìn)一步進(jìn)行定量分析，三個(gè)算法的平均PSNR和SSIM值如表1所示。從表中分析可知，傳統(tǒng)的BP算法的平均PSNR值僅為7.78 dB。相比之下，其余兩種算法通過迭代的方式可以獲得更好的結(jié)果。對比表中數(shù)據(jù)，CS和LSGM的PSNR值分別比BP算法高10.69 dB、18.32 dB。本文提出的LSGM算法具有最優(yōu)的成像質(zhì)量，在迭代校正之后，其PSNR值 為26.10 dB、SSIM值 能 達(dá) 到0.64，比CS算法 的PSNR和SSIM分 別 高 出7.63 dB和0.33。

表1 LSUN-bedroom數(shù)據(jù)集上測試結(jié)果Tab.1 Test results on LSUN-bedroom dataset

3.4.2 LSUN-church數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及分析

為了更好地驗(yàn)證LSGM方法的魯棒性，本實(shí)驗(yàn)還選取了另一個(gè)圖像灰度、亮度和結(jié)構(gòu)變化更豐富的LSUN-church（256×256）數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。在使用LSUN-church數(shù)據(jù)集對LSGM模型訓(xùn)練完成之后，選取其中100張圖像作為測試輸入。

圖6展示了BP、CS和本文所提出的LSGM三種算法在LSUN-church數(shù)據(jù)集上重建圖像的視覺比較。和上小節(jié)實(shí)驗(yàn)相同，本實(shí)驗(yàn)展示了四組不同的重建圖像，每組包含原圖、編碼圖和BP、CS、LSGM算法重建結(jié)果。與在LSUN-bedroom數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果相似，BP算法重建結(jié)果最差；CS算法重建的圖像上總是會(huì)有與圖片不相關(guān)的顏色出現(xiàn)。例如，圖6中第一、二和四行的CS重建結(jié)果中能觀察到明顯的紫色和綠色孿生像，尤其是圖片中間區(qū)域和邊緣黑色區(qū)域更為明顯。雖然CS算法重建結(jié)果并不影響圖像的辨識(shí)，但圖像質(zhì)量仍然較模糊。對比圖6中第三行的CS和LSGM算法重建結(jié)果，可發(fā)現(xiàn)LSGM算法具有更高的清晰度。根據(jù)圖6中給出對應(yīng)的PSNR和SSIM，LSGM算法重建的定量評價(jià)指標(biāo)也是最高的，LSGM的PSNR和SSIM比CS算法分別提高6.68 dB和0.36。整體對比圖6中各組重建結(jié)果，最后一列圖像不論在圖像顏色、亮度和清晰度上都優(yōu)于第三列和第四列。因此，LSGM算法是表現(xiàn)最好的，它在保證顏色的同時(shí)，還能清晰地重建出圖像細(xì)節(jié)，更加接近原始圖像。

定量對比表2中PSNR和SSIM兩項(xiàng)指標(biāo)數(shù)據(jù)，在 三 個(gè) 算 法 中，LSGM的PSNR和SSIM值最高，在該實(shí)驗(yàn)數(shù)據(jù)集上的平均PSNR值接近于LSUN-bedroom數(shù)據(jù)集上的結(jié)果。在更換成一個(gè)灰度、亮度和結(jié)構(gòu)變化更為豐富的數(shù)據(jù)集后，BP算法重建記錄的評價(jià)指標(biāo)幾乎不變。CS算法的PSNR值下降了0.68 dB，而SSIM值下降0.02。整體分析，本文提出的LSGM基算法在兩項(xiàng)指標(biāo)上均表現(xiàn)得相對穩(wěn)定且最好，PSNR值最高達(dá)到24.47 dB、SSIM值達(dá)到0.65。相對BP和CS算法，LSGM算法的平均PSNR值依舊分別提高16.66 dB和6.68 dB，平均SSIM值分別提高0.43和0.36。因此，本文提出的方法重建圖像最好，不僅能夠在保持顏色、亮度和清晰度的同時(shí)，還能顯著去除孿生像的偽影噪聲。

綜合上述兩組實(shí)驗(yàn)結(jié)果可以得出結(jié)論，在不同數(shù)據(jù)集上，與BP算法、CS算法相比，LSGM方法都能達(dá)到更高的重建質(zhì)量，模型性能更加穩(wěn)定。

圖6 LSUN-church數(shù)據(jù)集上重建圖像的視覺比較Fig.6 Visual comparison of reconstruction images on the LSUN-church dataset

表2 LSUN-church數(shù)據(jù)集測試結(jié)果Tab.2 Test results on LSUN-church dataset

3.4.3 TV去網(wǎng)格效應(yīng)

由于無透鏡成像本身特性，重建圖像存在很明顯的“網(wǎng)格”現(xiàn)象，重建圖像和原始圖像存在一定差距，在圖像紋理細(xì)節(jié)部分的恢復(fù)結(jié)果仍然不夠理想。為了解決這個(gè)問題，本文將基于變分理論的TV方法應(yīng)用于重建過程。該方法是依靠梯度下降流對圖像進(jìn)行平滑，希望在圖像內(nèi)部盡可能對圖像進(jìn)行平滑（相鄰像素的差值較?。趫D像邊緣（圖像輪廓）盡可能不去平滑。前兩個(gè)實(shí)驗(yàn)證明了本文提出的LSGM模型生成的先驗(yàn)信息作為正則化項(xiàng)求解無透鏡成像逆問題，并取得了較好的數(shù)值結(jié)果。圖7展示了使用及不使用TV方法的LSGM算法的重建結(jié)果以及原始圖像。從圖7（c）可以看出，結(jié)合了TV方法的重建圖像中“網(wǎng)格”效應(yīng)更為平滑，視覺效果更令人舒適，但其相應(yīng)代價(jià)是失去了圖像中的部分高頻信息。由兩種方法重建結(jié)果的定量指標(biāo)可以得出，提出的LSGM算法比不使用TV方法的LSGM算法的PSNR和SSIM值分別平均提高0.80 dB和0.10。

圖7 使用TV方法的LSGM算法對視覺效果的提升Fig.7 Improvement of visual effects by LSGM algorithm with TV method

4 討 論

4.1 消融實(shí)驗(yàn)

上述實(shí)驗(yàn)表明，本文提出的LSGM方法能夠?qū)崿F(xiàn)高質(zhì)量的無透鏡成像結(jié)果。然而，使用基于分?jǐn)?shù)匹配生成模型進(jìn)行圖像重建時(shí)，迭代式重建方法在耗時(shí)方面有著明顯的局限性。為了更好地驗(yàn)證LSGM模型的性能，本實(shí)驗(yàn)探究了在不同σmax下的圖像質(zhì)量和離散化步驟數(shù)之間的關(guān)系。

如圖8所示，本實(shí)驗(yàn)選取了LSUN-church數(shù)據(jù)集對測試需要的離散化步驟數(shù)與圖像質(zhì)量之間的關(guān)系進(jìn)行實(shí)驗(yàn)驗(yàn)證。當(dāng)訓(xùn)練階段使用N=1 000個(gè)離散化步驟來進(jìn)行正向SDE，重建階段使用N=1 000個(gè)離散化步驟時(shí)，需要大約10 min的推理時(shí)間。從N=1到N=1 000每隔1個(gè)離散化步驟記錄重建圖像的PSNR以及SSIM?？梢杂^察到隨著離散化步驟的增加，重建圖像PSNR以及SSIM呈現(xiàn)一定的規(guī)律性。在N=700的情況下，可以實(shí)現(xiàn)高質(zhì)量的重建圖像，PSNR以及SSIM達(dá)到最高值。當(dāng)離散化步驟數(shù)逐漸增加，PSNR值趨于穩(wěn)定，SSIM會(huì)下降。由于在不同σmax下，PSNR隨著離散步驟數(shù)增加，將趨向于穩(wěn)定，并且穩(wěn)定值在24 dB左右，而SSIM波動(dòng)較大，所以本文選取當(dāng)PSNR達(dá)到穩(wěn)定值下的離散步驟數(shù)來進(jìn)行所有實(shí)驗(yàn)。在之后的工作中，我們將嘗試使用去噪擴(kuò)散模型（DDPM）[32］來進(jìn)一步減少離散化步驟數(shù)。

圖8 不同σmax下的圖像質(zhì)量和離散化步驟數(shù)關(guān)系的消融實(shí)驗(yàn)Fig.8 Ablation experiments on the relationship between image quality and discretization steps under differentσmax

圖9 視場角測試實(shí)驗(yàn)Fig.9 Experimental test of field of view

4.2 成像視場分析

如圖9所示，為測試視場角對本文提出算法的影響，進(jìn)一步分析了不同視場角下重建圖像的PSNR和SSIM指 標(biāo)。在 本 組 實(shí) 驗(yàn) 中，F(xiàn)ZA的 參數(shù)與前文一致，在保持目標(biāo)尺寸不變的情況下，通過改變目標(biāo)物與FZA掩膜間的距離來實(shí)現(xiàn)不同視場角。從圖9所示結(jié)果可以看出，隨著視場角的增大，PSNR的值先增大后減小，隨著目標(biāo)圖像的增大，邊界處部分衍射信息丟失，造成圖像重建質(zhì)量的惡化。當(dāng)視場角在32°～46°范圍內(nèi)，相應(yīng)的PSNR的值可達(dá)到26～28 dB、SSIM的值為0.85～0.68，可以實(shí)現(xiàn)最好的成像效果。

圖10 分辨率測試實(shí)驗(yàn)Fig.10 Experimental test of the resolution

4.3 成像分辨率分析

受制于工藝制造水平，傳感器和FZA掩膜的像元尺寸不能無限小，系統(tǒng)重建的帶寬有限。為了驗(yàn)證提出算法能實(shí)現(xiàn)的最小分辨率，本文采用一張尺寸為20 cm×20 cm、像素?cái)?shù)為1 280×1 280的USAF-1951測試圖像進(jìn)行測試，該成像目標(biāo)與FZA距離為267 mm，成像視場角為41.11°。由于本文訓(xùn)練模型中傳感器的像素?cái)?shù)為256×256，為了適應(yīng)本文算法，將USAF-1951原圖經(jīng)過FZA調(diào)制后的結(jié)果進(jìn)行像素歸并至像素?cái)?shù)為256×256，以得到測量結(jié)果。

圖 像 重 建 結(jié) 果 如 圖10所 示，圖10（a）為USAF-1951測試卡原圖、-1組線對的細(xì)節(jié)以及相應(yīng)的剖線。為了測試不同F(xiàn)ZA參數(shù)r1對結(jié)果 的 影 響，本 文 在r1分 別 為0.35、0.25、0.23、0.20 mm時(shí)進(jìn)行了重建?？梢院苊黠@看出，r1=0.35 mm時(shí)，難以分辨-1組線對。隨著r1參數(shù)的減少，圖像分辨率得到有效提高，當(dāng)r1減小到0.23 mm及0.20 mm時(shí)，能夠有效分辨出-1組4號(hào) 線 對。

5 結(jié) 論

本文提出了一種基于分?jǐn)?shù)匹配生成模型框架的無透鏡成像方法，即LSGM。該模型利用數(shù)據(jù)分布梯度對圖像進(jìn)行建模，并從給定的觀測數(shù)據(jù)的條件分布中采樣數(shù)據(jù)，然后將采樣的數(shù)據(jù)作為圖像先驗(yàn)數(shù)據(jù)用于圖像重建。所提出的LSGM算法在計(jì)算重建過程中能夠有效消除無透鏡成像系統(tǒng)固有的病態(tài)性而帶來的孿生像偽影噪聲及其他影響成像的不良影響，使得成像質(zhì)量大幅提高。在LSUN-bedroom和LSUNchurch數(shù)據(jù)集上測試結(jié)果表明，本文提出的方法和其他傳統(tǒng)算法相比，LSGM算法圖像重建的平均PSNR值和平均SSIM值分別達(dá)到25.23 dB和0.65，量化指標(biāo)以及視覺質(zhì)量均獲得了令人滿意的結(jié)果。本文提出的模型框架結(jié)構(gòu)靈活，訓(xùn)練穩(wěn)定，在建模數(shù)據(jù)分布方面的性能表現(xiàn)出色，能夠獲得高質(zhì)量樣本。本文通過大量的實(shí)驗(yàn)驗(yàn)證了該方法在質(zhì)量和實(shí)用性方面的優(yōu)越性，有望應(yīng)用于其他計(jì)算成像領(lǐng)域。