基于多尺度特征融合網(wǎng)絡(luò)的傅里葉疊層成像

宋東翰，王斌，朱友強(qiáng)，劉鑫

（1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)，北京 100049；3.拉彭蘭塔-拉赫蒂理工大學(xué) 工程科學(xué)學(xué)院計(jì)算機(jī)視覺(jué)與模式識(shí)別實(shí)驗(yàn)室，芬蘭 拉赫蒂 15210）

1 引言

在光學(xué)成像系統(tǒng)中，空間帶寬積（Space Band width Product，SBP）［1］表示系統(tǒng)傳遞信息的能力。然而高分辨率和大視場(chǎng)在光學(xué)成像系統(tǒng)中相互制約［2］，使得高空間帶寬積的成像需求難以滿足。傳統(tǒng)的解決方法是通過(guò)機(jī)械設(shè)備移動(dòng)高數(shù)值孔徑（Numerical Aperture，NA）的透鏡，獲取物體不同區(qū)域的高分辨率信息［3］，并利用算法進(jìn)行圖像拼接，實(shí)現(xiàn)高空間帶寬積的成像。但此方法對(duì)設(shè)備的精度要求高、成本高昂、成像速度慢。傅里葉疊層成像（Fourier Ptychography，F(xiàn)P）［4］是一種兼顧高分辨率和大視場(chǎng)的計(jì)算成像技術(shù)。在傅里葉疊層顯微成像（Fourier Ptychography Microscope，F(xiàn)PM）［5］中，LED陣列提供角度變化的平面波對(duì)物體進(jìn)行照明，將超過(guò)光學(xué)系統(tǒng)衍射極限的頻域信息轉(zhuǎn)移至顯微物鏡內(nèi)，得到一系列低分辨率圖像。最后通過(guò)相位恢復(fù)算法，將低分辨率圖像包含的信息在頻域中拼接、融合，重建出物體的高分辨率、大視場(chǎng)復(fù)圖像。該技術(shù)已在數(shù)字成像、生物顯微等領(lǐng)域被廣泛研究與應(yīng)用［6-8］。

盡管FP技術(shù)已經(jīng)發(fā)展了近10年，但是依然面臨兩個(gè)問(wèn)題：一是采樣效率低。在FP的重建過(guò)程中，樣本頻譜上相鄰子孔徑間需要存在一定程度的重疊，才能保證最終的頻譜收斂。如果不存在重疊，則采集的圖像間毫無(wú)聯(lián)系，最終會(huì)導(dǎo)致相位恢復(fù)問(wèn)題的固有模糊性［9］。因此，高重疊率的低分辨率圖像集是FP高質(zhì)量重建的基礎(chǔ)。二是重建效率低。FP的重建算法是在空間域和頻域內(nèi)對(duì)樣本的振幅和相位信息進(jìn)行交替更新，收斂速度較慢，算法迭代時(shí)間長(zhǎng)。為了彌補(bǔ)以上缺陷，目前多項(xiàng)研究成果被提出。在提升采樣效率方面，Jason等［10］將相機(jī)陣列引入宏觀FP成像系統(tǒng)中，可以同時(shí)采集所有低分辨率樣本，但成像系統(tǒng)過(guò)于復(fù)雜，設(shè)計(jì)困難。Tian等［11］對(duì)FPM成像系統(tǒng)的LED點(diǎn)光源進(jìn)行編碼控制，每次采樣時(shí)隨機(jī)使用多個(gè)LED照明，大幅度降低了采樣次數(shù)。然而其重建算法是基于二階梯度的序列更新并且需要對(duì)采集圖像進(jìn)行低分辨率圖像解耦，復(fù)雜度高、運(yùn)行時(shí)間長(zhǎng)。Kappeler等［12］結(jié)合深度學(xué)習(xí)的方法，嘗試降低FP采樣中的孔徑重疊率。但由于提出的模型只包含3層卷積，因此難以提取精細(xì)的特征信息，重建效果不理想。此外，在加快重建速度方面，Bian等［13］設(shè)計(jì)的Wirtinger flow優(yōu)化法，在重建過(guò)程中舍棄部分高頻信息以提升算法運(yùn)行效率。Zhang等［14］提出的多尺度深度殘差網(wǎng)絡(luò)，采用端對(duì)端的模型實(shí)現(xiàn)快速重建。Jiang等［15］利用神經(jīng)網(wǎng)絡(luò)的反向傳播機(jī)制求解樣本的高分辨率復(fù)振幅，加速了傳統(tǒng)算法的迭代過(guò)程。雖然這些方法都從不同程度上減少了重建時(shí)間，但都需要采集大量的樣本，采樣效率低。

隨著近年來(lái)人工智能科學(xué)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)算法已經(jīng)在光學(xué)成像的多個(gè)領(lǐng)域被廣泛應(yīng)用［16-18］。在一定的成像條件下，神經(jīng)網(wǎng)絡(luò)模型可以通過(guò)大量的訓(xùn)練數(shù)據(jù)，學(xué)習(xí)輸入和輸出圖像之間的映射關(guān)系，能夠快速且準(zhǔn)確地處理圖像信息。因此，本文提出基于多尺度特征融合的FP成像算法（Fourier Ptychography Based on Multi-feature Fusion Network，F(xiàn)PMFN），利用深度學(xué)習(xí)中的特征金字塔模塊［19］，從FP采樣的多張低分辨率圖像中提取不同尺度的特征信息。為了確保特征信息的準(zhǔn)確性和完整性，加入稠密連接［20］以增強(qiáng)信息在網(wǎng)絡(luò)間的流動(dòng)，并且引入通道注意力機(jī)制［21］，使網(wǎng)絡(luò)更好地分配高低頻信息的訓(xùn)練權(quán)重。特征金字塔模塊的解碼器部分能夠?qū)⒉煌叨鹊奶卣餍畔⑦M(jìn)行融合，采用亞像素卷積［22］完成圖像從低分辨率到高分辨率的轉(zhuǎn)變。通過(guò)不同孔徑重疊率下的對(duì)比實(shí)驗(yàn)，驗(yàn)證了在孔徑重疊率相同時(shí)，F(xiàn)PMFN比傳統(tǒng)算法有更好的重建效果，而且重建速度更快。FPMFN在25%重疊率時(shí)的重建結(jié)果能夠媲美傳統(tǒng)算法在50%重疊率時(shí)的結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文算法能有效減少重建所需的樣本數(shù)，提升采樣的效率，并大幅減少重建所需的時(shí)間。

2 傅里葉疊層成像原理

FP計(jì)算成像方法由成像過(guò)程和重建過(guò)程組成。典型的FP成像模塊如圖1所示，樣品與LED陣列的距離足夠遠(yuǎn)，因此不同角度的入射波可以近似地視為平面波。樣品的出射場(chǎng)經(jīng)過(guò)透鏡傳輸，被圖像傳感器（Charge Coupled Device，CCD）接收，輸出低分辨率強(qiáng)度圖像。最后經(jīng)過(guò)重建過(guò)程，將低分辨率強(qiáng)度圖像恢復(fù)為高分辨率復(fù)圖像。

圖1 FP的成像模塊裝置圖Fig.1 Imaging module diagram of FP

2.1 FP的成像過(guò)程

在成像過(guò)程中，使用復(fù)振幅分布o(jì)(r)表示樣品，其中r=（x，y）是空間域的二維坐標(biāo)。在第m個(gè)LED點(diǎn)光源照明的條件下，樣品的出射場(chǎng)為o(r)·exp(ikmr)。其中“·”表示點(diǎn)乘，k=表示照明光源的入射波矢。經(jīng)過(guò)傅里葉變換，能夠獲得樣品出射場(chǎng)的頻譜，此過(guò)程表示為：

式中：F為傅里葉變換運(yùn)算符，k=(kx，ky)為傅里葉域的二維坐標(biāo)。經(jīng)過(guò)物鏡時(shí)，透鏡會(huì)對(duì)樣品頻譜進(jìn)行低通濾波，最終CCD接收的低分辨率圖像可以表示為：

式中：Im(r)為CCD平面接收到的強(qiáng)度信息，F(xiàn)-1為傅里葉逆變換運(yùn)算符，P(k)為物鏡的相干傳遞函數(shù)（Coherent Transfer Function，CTF），可以表示為：

2.2 FP的圖像重建過(guò)程

交替投影法（Alternate Project，AP）是經(jīng)典的FP重建算法，圖2為算法的重建流程。

圖2 FP重建流程圖Fig.2 Flowchart of FP reconstruction

以AP算法為基準(zhǔn)的FP圖像重建流程如下：

（1）使用中心位置的LED作為照明光源，采集低分辨率圖像并進(jìn)行上采樣處理。處理后的圖像經(jīng)過(guò)傅里葉變換后得到高分辨率頻譜O0(k)，作為初始估計(jì)解。當(dāng)?shù)M(jìn)行至第j輪，高分辨率頻譜表示為Oj(k)。

（2）選擇第m個(gè)LED照明樣品，得到此時(shí)低分辨率的傅里葉頻譜為：

Om，j(k)經(jīng)過(guò)逆傅里葉變換得到空間域的低分辨率圖像om，j(r)=F-1{Om，j(k)}。

（3）不改變Om，j(k)的相位信息，用CCD采集的低分辨率強(qiáng)度圖像Im(r)，更新Om，j(k)的振幅，表示為：

（4）振幅更新后，將當(dāng)前照明條件下子孔徑區(qū)域內(nèi)的頻譜替換為

（5）重復(fù)上述（2）～（4）的過(guò)程，直到LED陣列中所有光源完成照明。

（6）重復(fù)上述（2）～（5）的過(guò)程，直到完成所有迭代輪次，將最后更新的頻譜逆傅里葉變換至空域獲取高分辨率復(fù)圖像。

3 多尺度特征融合的FP神經(jīng)網(wǎng)絡(luò)

現(xiàn)有的FP神經(jīng)網(wǎng)絡(luò)大多通過(guò)單層的特征信息變換實(shí)現(xiàn)輸入與輸出圖像之間的映射求解。這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)高頻信息的關(guān)注度較低，需要從大量的低分辨率圖像中提取充足的高頻信息。因此，本文基于深度學(xué)習(xí)中的特征金字塔網(wǎng)絡(luò)，結(jié)合稠密連接、通道注意力（Channel Attention，CA）模塊和亞像素卷積（Sub-Pixel Convolution，SP-Conv），提出一種多尺度特征融合的FP神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)為串行的跳層連接結(jié)構(gòu)，利用卷積層在不同的感受野下提取并融合多尺度的特征信息。神經(jīng)網(wǎng)絡(luò)的輸入為多張低分辨率強(qiáng)度圖像，最終輸出是單張高分辨率復(fù)圖像。

3.1 FP神經(jīng)網(wǎng)絡(luò)的框架

為了獲取網(wǎng)絡(luò)的輸入，需要先在訓(xùn)練集中隨機(jī)選擇樣本的振幅圖像IG和相位圖像φG，合成復(fù)圖像CG。經(jīng)過(guò)FP的成像模塊，得到低分辨率圖像集IL，m。如圖3所示，網(wǎng)絡(luò)整體由淺層卷積模塊、特征金字塔模塊、上采樣模塊以及重建模塊組成。網(wǎng)絡(luò)結(jié)構(gòu)如下：

圖3 本文提出的網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.3 Structure diagram of the proposed network model

首先將IL，m輸入淺層卷積模塊，而淺層卷積模塊中包含兩個(gè)卷積層：第一個(gè)1×1卷積層將輸入數(shù)據(jù)的通道數(shù)進(jìn)行壓縮，減少神經(jīng)網(wǎng)絡(luò)的參數(shù)量和后續(xù)卷積核的尺寸，提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率；第二個(gè)3×3卷積層可以從壓縮后的數(shù)據(jù)中生成含有粗略信息的特征圖。

從淺層卷積模塊的輸出中提取振幅和相位信息，輸入至特征金字塔模塊。該模塊分為編碼器和解碼器。在編碼器中，多層的稠密連接通道注意力（Densely connected with channel attention，DCCA）模塊進(jìn)行疊加，自底向頂?shù)靥崛〔煌叨鹊奶卣鲌D，采樣尺度因子為2，每層特征圖的行列分辨率都是前一層的1/2。頂層的特征圖經(jīng)過(guò)了更深層的卷積神經(jīng)網(wǎng)絡(luò)，因此包含豐富的語(yǔ)義信息，但位置信息是不準(zhǔn)確的；相反，準(zhǔn)確的位置信息需要從底層的特征圖中獲取。為了盡可能完整地利用特征信息，編碼器中每一層的特征圖都會(huì)經(jīng)過(guò)1×1卷積。在解碼器中，按位相加進(jìn)行融合，不同特征圖的尺度對(duì)齊通過(guò)雙三次插值上采樣實(shí)現(xiàn)。

解碼后的全局特征圖需要進(jìn)行超分辨處理，達(dá)到與CG相同的尺寸。常見(jiàn)的上采樣選擇有插值上采樣、反卷積上采樣等，為了實(shí)現(xiàn)更有效的超分辨，參考高效亞像素卷積神經(jīng)網(wǎng)絡(luò)（Efficient Sub-Pixel Convolutional Neural Network，ESPCNN）［22］。本文選用計(jì)算量更小且超分性能更佳的SP-Conv對(duì)全局特征圖進(jìn)行上采樣，通過(guò)2次亞像素卷積，最終達(dá)到4倍上采樣的效果。

最后使用一個(gè)3×3卷積層作為重建模塊，完成特征圖到高分辨率復(fù)圖像CH的轉(zhuǎn)變。整體的神經(jīng)網(wǎng)絡(luò)以輸出的CH盡可能接近CG為目標(biāo)進(jìn)行訓(xùn)練。

3.2 稠密連接通道注意力模塊

常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)通常選擇多個(gè)卷積層疊加的設(shè)計(jì)，以此提升網(wǎng)絡(luò)提取特征的能力。這種方式需要依賴大量的數(shù)據(jù)進(jìn)行訓(xùn)練，且模型的參數(shù)量龐大。因此，本文提出DCCA模塊，通過(guò)加強(qiáng)卷積層之間的聯(lián)系，提高特征信息的利用率，獲取高質(zhì)量的重建效果。模塊包含兩個(gè)部分：稠密連接層和CA模塊，如圖4所示。

圖4 稠密連接通道注意力模塊Fig.4 Densely connected channel attention module

稠密連接層能夠使特征和梯度信息在卷積層之間更加有效地傳遞。局部特征信息通過(guò)卷積和非線性激活函數(shù)Relu后，與之前所有層提取的特征信息進(jìn)行融合作為當(dāng)前卷積層的輸入，有效提高網(wǎng)絡(luò)的泛化能力，同時(shí)避免了梯度消失的問(wèn)題。

假設(shè)Qn表示第n層的卷積和激活函數(shù)運(yùn)算，該層的輸出為：

本文通過(guò)消融實(shí)驗(yàn)確定神經(jīng)網(wǎng)絡(luò)對(duì)4種不同尺度的特征圖進(jìn)行提取和融合時(shí)的重建效果最好，因此設(shè)置特征金字塔模塊的編碼器部分由4層DCCA組成?？紤]到深層的稠密連接會(huì)造成計(jì)算復(fù)雜度過(guò)高，不利于整個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與測(cè)試，本文選用5個(gè)卷積層和1個(gè)CA模塊共同組成單個(gè)DCCA模塊。DCCA的稠密連接層能從粗略的特征圖中提取更詳細(xì)的特征信息，不同的高低頻分量信息被儲(chǔ)存在不同的通道。由于低頻特征更容易被神經(jīng)網(wǎng)絡(luò)表達(dá)，因此均勻分配特征通道的權(quán)重會(huì)降低神經(jīng)網(wǎng)絡(luò)對(duì)高頻特征的重建質(zhì)量。為了增強(qiáng)對(duì)特征通道權(quán)重的分配能力，在稠密連接層之后設(shè)置了CA模塊，使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中自適應(yīng)地調(diào)整不同特征通道的權(quán)重，從而提升對(duì)高頻特征信息的關(guān)注。模塊整體采用殘差結(jié)構(gòu)對(duì)輸入和CA模塊的輸出進(jìn)行連接，提升信息在模型內(nèi)部的流動(dòng)，改善網(wǎng)絡(luò)的映射能力，同時(shí)可以確保在多個(gè)卷積疊加的過(guò)程中，網(wǎng)絡(luò)不會(huì)因?yàn)閺?fù)雜的結(jié)構(gòu)而產(chǎn)生退化。最后經(jīng)過(guò)一個(gè)3×3卷積和激活函數(shù)，得到DCCA的輸出。

CA模塊包含5部分：全局池化層、特征通道壓縮層、特征通道擴(kuò)張層、Relu非線性激活層和Sigmoid非線性激活層，模塊結(jié)構(gòu)如圖5所示。形狀為H×W×C的特征張量首先經(jīng)過(guò)全局池化層，在H和W的維度上被壓縮為1×1×C的向量，這種形式有利于在通道維度上計(jì)算權(quán)重。接著用1×1的卷積在通道維度上進(jìn)行壓縮，假設(shè)壓縮系數(shù)為t（t＜1），壓縮后的向量形狀變?yōu)?×1×tC。經(jīng)過(guò)激活函數(shù)Relu后，再通過(guò)第二個(gè)1×1卷積進(jìn)行通道擴(kuò)張，形狀恢復(fù)為1×1×C。然后通過(guò)激活函數(shù)Sigmoid，將不同通道的權(quán)重系數(shù)用（0，1）的數(shù)值表示。最后對(duì)原始的特征張量按權(quán)重系數(shù)進(jìn)行通道維度的加權(quán)分配。

圖5 通道注意力模塊Fig.5 Channel attention module

3.3 網(wǎng)絡(luò)參數(shù)及損失函數(shù)

對(duì)于本文提出的神經(jīng)網(wǎng)絡(luò)，1×1尺寸的卷積核應(yīng)用于淺層卷積模塊中輸入特征的通道壓縮、特征金字塔模塊中編解碼器的橫向連接以及CA模塊中的通道壓縮和擴(kuò)張。網(wǎng)絡(luò)中的其他卷積核的尺寸都為3×3。淺層卷積模塊、DCCA模塊的稠密鏈接層、重建模塊在進(jìn)行3×3卷積計(jì)算前，對(duì)輸入做0數(shù)值填充處理，以此維持特征圖的尺寸。網(wǎng)絡(luò)的輸入和輸出都是單通道的灰度圖像，但同樣適用于彩色圖像的重建任務(wù)。網(wǎng)絡(luò)的損失函數(shù)使用平均絕對(duì)值誤差（L1損失），假設(shè)本文的算法為R，高分辨率復(fù)圖像的像素總數(shù)為N，訓(xùn)練的優(yōu)化目標(biāo)可以表示為

4 實(shí)驗(yàn)設(shè)計(jì)

4.1 實(shí)驗(yàn)環(huán)境

本研究基于深度學(xué)習(xí)開(kāi)源框架Pytorch 1.10搭建神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練及實(shí)驗(yàn)的硬件環(huán)境為：Intel（R）Core（TM）i7-8700 CPU，32G RAM及NVIDIA GeForce 1080 GPU。對(duì)于不同條件下獲得的實(shí)驗(yàn)結(jié)果，采用圖像結(jié)構(gòu)相似度（SSIM）和峰值信噪比（PSNR）作為圖像重建質(zhì)量的評(píng)價(jià)指標(biāo)，使用Matlab進(jìn)行測(cè)量。其中PSNR與圖像的均方誤差（Mean Square Error，MSE）成反比，SSIM與PSNR越大，重建結(jié)果越接近真值圖像。

4.2 數(shù)據(jù)準(zhǔn)備與實(shí)驗(yàn)設(shè)置

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大規(guī)模的數(shù)據(jù)集，直接通過(guò)光學(xué)成像系統(tǒng)獲得是困難的。因此本文基于文獻(xiàn)［18］提供的DIV2K數(shù)據(jù)集制作仿真訓(xùn)練集。該數(shù)據(jù)集共包含1000張不同場(chǎng)景下的高分辨率圖像，其中前800張為訓(xùn)練圖像，后200張為驗(yàn)證及測(cè)試圖像。為了獲得真值復(fù)圖像集CG，首先將800張訓(xùn)練圖像批量處理為8位的單通道格式，然后對(duì)2k分辨率的高清灰度圖像按照尺寸128×128進(jìn)行分塊裁剪，并隨機(jī)挑選兩張不同的圖像合成一張復(fù)圖像。利用2.1節(jié)中敘述的FP成像原理，將CG作為仿真成像系統(tǒng)的輸入，獲得低分辨率圖像集IL，m，其中每一張高分辨率復(fù)圖像與相對(duì)應(yīng)的m張低分辨率圖像構(gòu)成一組訓(xùn)練對(duì)。在測(cè)試集方面，本文使用4個(gè)基準(zhǔn)數(shù)據(jù)集：Set5［23］、Set14［24］、B100［25］和Urban100［26］，共 含 有219張高清圖像，與訓(xùn)練集的處理過(guò)程相同。訓(xùn)練集和測(cè)試集的不同來(lái)源提升了實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。

在對(duì)FP成像系統(tǒng)的設(shè)置中，LED光源為SMD3528，發(fā)光尺寸為3.5 mm×2.8 mm，波長(zhǎng)λ為630 nm，與樣品相距80 mm。系統(tǒng)的放大倍率為4倍，數(shù)值孔徑NA為0.1，采樣的相機(jī)為L(zhǎng)umenra公司的Infinity-4（2650像素×4600像素），像元尺寸9 μm。為了系統(tǒng)地比較不同方法中FP的孔徑重疊率對(duì)重建結(jié)果的影響以及探索在稀疏采樣條件下的重建效果，相鄰LED點(diǎn)光源之間距離分別為10，5，3，2 mm。根據(jù)Dong等［27］的研究結(jié)果，孔徑重疊率需要保證在35%以上才能實(shí)現(xiàn)傳統(tǒng)FP方法的有效重建。在實(shí)際低分辨率圖像的采樣過(guò)程中，考慮到重建算法的恢復(fù)效果，通常會(huì)將孔徑重疊率設(shè)置在60%～75%的區(qū)間內(nèi)［28］。不同重疊率下的孔徑排列如圖6所示，每一個(gè)圓形代表相應(yīng)LED在頻譜上對(duì)應(yīng)的子孔徑范圍，其中亮度高的部分為相鄰子孔徑的重疊區(qū)域。圖6表示LED數(shù)量分別為25，49，81，121時(shí)孔徑的重疊情況，4種采樣方式的孔徑重疊率［28］分別為25%，50%，62.5%，70%，最終的合成孔徑NAsyn都為0.5。

圖6 4種不同孔徑重疊率的示意圖Fig.6 Schematic of four different aperture overlap ratio

神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用Adam優(yōu)化器對(duì)損失函數(shù)進(jìn)行更 新，其 中β1設(shè)置為0.9，β2設(shè) 置 為0.999。網(wǎng)絡(luò)整體的初始學(xué)習(xí)率設(shè)置為10-4，權(quán)重衰減系數(shù)設(shè)置為0，批尺寸（Batchsize）設(shè)置為8。每經(jīng)過(guò)100個(gè)反向傳播周期學(xué)習(xí)率減半，最后經(jīng)過(guò)400個(gè)周期完成訓(xùn)練。

5 結(jié)果與討論

本文通過(guò)消融實(shí)驗(yàn)，探究了多尺度特征圖數(shù)量對(duì)重建效果的影響。并且分別對(duì)稠密連接模塊、通道注意力模塊以及DCCA模塊的重建效果進(jìn)行探究。在改變孔徑重疊率的條件下，使用本文方法（FPMFN）、AP算法、PtychNet和Jiang等學(xué)者提出的迭代算法（FP Neural Network，F(xiàn)PNN）進(jìn)行重建測(cè)試，對(duì)圖像重建質(zhì)量和算法運(yùn)行時(shí)間做對(duì)比實(shí)驗(yàn)分析，同樣也在實(shí)際的數(shù)據(jù)上進(jìn)行重建實(shí)驗(yàn)。本文還將探究高斯噪聲對(duì)不同方法重建結(jié)果的影響。

5.1 DCCA的消融實(shí)驗(yàn)

表1為設(shè)置不同數(shù)量的多尺度特征圖時(shí)，使用相同的訓(xùn)練集和訓(xùn)練周期，F(xiàn)PMFN重建50%重疊率測(cè)試集的平均PSNR和SSIM。當(dāng)多尺度特征圖數(shù)量少于4個(gè)時(shí)，神經(jīng)網(wǎng)絡(luò)的深度有限，特征金字塔模塊的編碼器對(duì)頂層的語(yǔ)義信息提取不充分，導(dǎo)致重建結(jié)果不佳。而多尺度特征圖數(shù)量過(guò)多時(shí)，神經(jīng)網(wǎng)絡(luò)的參數(shù)量隨之增加，在訓(xùn)練過(guò)程中容易導(dǎo)致過(guò)擬合現(xiàn)象，影響最終的重建效果。因此，本文選用重建效果最佳的4層特征結(jié)構(gòu)搭建網(wǎng)絡(luò)。

表1 5種特征圖數(shù)量的網(wǎng)絡(luò)在測(cè)試集上的平均PSNR和SSIMTab.1 Average PSNR and SSIM on the test datasets for networks with 5 feature map numbers

對(duì)分別使用DCCA模塊與3×3卷積層的神經(jīng)網(wǎng)絡(luò)比較了訓(xùn)練過(guò)程中的損失收斂情況。對(duì)比組將DCCA模塊替換為5個(gè)標(biāo)準(zhǔn)卷積加激活函數(shù)模塊，在50%的孔徑重疊率下，對(duì)49張低分辨率圖像進(jìn)行重建。如圖7所示，曲線的橫坐標(biāo)表示訓(xùn)練周期，縱坐標(biāo)表示損失函數(shù)返回值（Loss）。與標(biāo)準(zhǔn)卷積相比，DCCA模塊的Loss曲線在100個(gè)訓(xùn)練周期附近達(dá)到了良好的收斂效果，而使用標(biāo)準(zhǔn)卷積則需要大約150個(gè)訓(xùn)練周期，而且DCCA模塊在訓(xùn)練中始終維持更低的Loss值，因此具有更好的收斂性能。

圖7 DCCA模塊與標(biāo)準(zhǔn)卷積在訓(xùn)練中的收斂性Fig.7 Convergence of DCCA module and standard convolution in training

表2為使用不同模塊在4個(gè)基準(zhǔn)測(cè)試集上得到振幅圖像的PSNR和SSIM平均值?！癈onvCA”代表在使用標(biāo)準(zhǔn)卷積的基礎(chǔ)上，增加了如3.2節(jié)中描述的通道注意力機(jī)制，而DCCA模塊則進(jìn)一步增加了卷積之間的稠密連接。由表2可以看出，DCCA模塊在不同的基準(zhǔn)數(shù)據(jù)集上都取得了最好的重建效果，稠密連接提高了信息在神經(jīng)網(wǎng)絡(luò)中的利用率，有利于特征金字塔模塊充分提取有效的特征信息。與標(biāo)準(zhǔn)卷積模塊相比，DCCA在4個(gè)測(cè)試數(shù)據(jù)集上的平均PSNR分別提升了0.62，1.12，0.24，0.55 dB。同時(shí)，在多層卷積操作之后增加通道注意力機(jī)制，有效地分配了通道間的權(quán)重信息，使神經(jīng)網(wǎng)絡(luò)對(duì)不同頻率的特征信息進(jìn)一步細(xì)化，提升了最終的重建質(zhì)量。

表2 不同模塊在測(cè)試數(shù)據(jù)集上的PSNR和SSIM測(cè)量值Tab.2 PSNR and SSIM of different module on test datasets

5.2 不同孔徑重疊率的實(shí)驗(yàn)對(duì)比

為了研究低分率圖像樣本數(shù)與重建效果的關(guān)系，以及進(jìn)一步探索所需樣本數(shù)目更低的采樣方式，本文在4種孔徑重疊率條件下，對(duì)不同方法重建的振幅圖像進(jìn)行對(duì)比，孔徑重疊率的選擇如4.2節(jié)敘述，固定合成孔徑NAsyn尺寸，分別使用5×5，7×7，9×9，11×11的LED陣列實(shí)施照明采樣。對(duì)于FPMFN和PtychNet，隨著低分辨率樣本數(shù)目改變，需要通過(guò)調(diào)整仿真成像系統(tǒng)參數(shù)獲取相應(yīng)的訓(xùn)練數(shù)據(jù)集，并訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)模型。

不同方法在不同孔徑重疊率下，對(duì)重建振幅圖像的測(cè)量結(jié)果如表3所示。通過(guò)PSNR的變化可以得知，所有方法的重建誤差都會(huì)隨著重疊率的增加而減小，說(shuō)明足夠的重疊率是實(shí)現(xiàn)有效重建所不可或缺的。PtychNet的PSNR平均值比AP算法低4.88 dB，重建的誤差是由于網(wǎng)絡(luò)使用了3層的卷積和激活函數(shù)，其結(jié)構(gòu)比較簡(jiǎn)單，對(duì)低分辨率圖像的特征信息提取不充分。FPNN的PSNR平均值與AP算法接近，相差1.03 dB。FPNN使用神經(jīng)網(wǎng)絡(luò)中的反向傳播完成重建過(guò)程，但是針對(duì)不同的圖像都需要重新訓(xùn)練，泛化能力差，導(dǎo)致與AP算法的測(cè)量結(jié)果間存在誤差。而FPMFN在4種孔徑重疊率下，測(cè)量值都優(yōu)于傳統(tǒng)算法，相比于PtychNet、AP算法和FPNN，PSNR的平均值分別提升了7.07，2.19，3.32 dB，與真值圖像之間的誤差更小。此外，F(xiàn)PMFN模型在25%重疊率下的測(cè)試結(jié)果與AP算法在50%重疊率下的結(jié)果相差無(wú)幾，證明FPMFN能夠有效減少樣本數(shù)目，實(shí)現(xiàn)更高效率的采樣。這是因?yàn)镕PMFN能夠利用DCCA模塊對(duì)高頻部分的頻譜信息進(jìn)行有效提取，從而減小重建誤差，在更低的重疊率下實(shí)現(xiàn)精細(xì)的重建。

表3 不同重疊率下各個(gè)方法的PSNR和SSIMTab.3 PSNR and SSIM of each method with different overlap ratio

表4記錄了重建128×128灰度圖像所消耗的時(shí)間?？讖街丿B率和所需的低分辨率圖像數(shù)量成正比，隨著輸入圖像的增多，各個(gè)算法的數(shù)據(jù)量與計(jì)算量也隨之增加，延長(zhǎng)了重建所需時(shí)間。PtychNet和FPMFN同為端對(duì)端模型，雖然訓(xùn)練過(guò)程需要消耗大量的時(shí)間，但是極大地減少了重建的時(shí)間成本，兩種算法在70%的重疊率下也能在0.1 s內(nèi)完成重建。由于FPMFN的模型相對(duì)復(fù)雜，所以重建速度稍慢一些。AP算法與FPNN都是基于迭代求解的方法，F(xiàn)PNN在每次重建前都需要對(duì)網(wǎng)絡(luò)重新進(jìn)行訓(xùn)練。當(dāng)輸入圖像個(gè)數(shù)為121時(shí)，F(xiàn)PNN重建所需時(shí)間達(dá)到了28.59 s，AP算法則需要2.51 s。端對(duì)端形式的FPMFN與基于迭代的AP算法相比，減少了90%以上的重建消耗時(shí)間，將重建速度提升了20倍以上。4種算法在相同的硬件設(shè)備上運(yùn)行，因此重建速度更快的FPMFN和PtychNet在算法功耗方面同樣具有優(yōu)勢(shì)。相比于傳統(tǒng)重建算法，F(xiàn)PMFN不僅能有效降低25%的孔徑重疊率和50%的樣本數(shù)目，并且在相同的孔徑重疊率下，該算法所需功耗更低，運(yùn)行速度更快、重建質(zhì)量更優(yōu)。

表4 不同方法重建128×128圖像的時(shí)間Tab.4 Time consumption of reconstructing 128×128 image in different methods （ms）

圖8為不同重建方法在25%和50%孔徑重疊率下對(duì)仿真數(shù)據(jù)重建的結(jié)果展示，其中第一列為原始的振幅和相位圖像。在PtychNet的方法中沒(méi)有引入相位信息，模型的重建結(jié)果出現(xiàn)較多的模糊和扭曲，圖像的細(xì)節(jié)信息丟失過(guò)多。AP算法相比于PtychNet和FPNN在圖像細(xì)節(jié)上有更好的修復(fù)效果，但重建后的輪廓信息仍有不同程度的缺失。對(duì)比其他的方法，F(xiàn)PMFN的重建有更佳的視覺(jué)效果，圖像細(xì)節(jié)處的邊緣銳度和清晰度都有較大提升。本文提出的特征金字塔模塊能夠提取不同感受野范圍內(nèi)的多層特征，并通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)融合，強(qiáng)化了對(duì)細(xì)節(jié)和輪廓信息的重建，使FPMFN能更加充分利用圖像的低頻與高頻信息，在不同的場(chǎng)景下也有更高質(zhì)量的重建結(jié)果。

圖8 各個(gè)方法在不同重疊率時(shí)對(duì)仿真數(shù)據(jù)集的重建結(jié)果。（a）25%；（b）50%。Fig.8 Reconstruction on simulation datasets of each method with different overlap ratio.（a）25%；（b）50%.

此外，為了探究各算法在不同噪聲條件下的重建效果，本文將均值為0的高斯噪聲加入測(cè)試數(shù)據(jù)集中，噪聲的標(biāo)準(zhǔn)差在［2×10-5，3×10-4］范圍內(nèi)變化，圖9（a）和圖9（b）的橫坐標(biāo)為高斯噪聲的標(biāo)準(zhǔn)差，縱坐標(biāo)分別為重建后振幅圖像的平均PSNR和SSIM。

圖9 不同方法高斯噪聲的魯棒性分析。（a）PSNR；（b）SSIM。Fig.9 Robustness analysis of different methods to Gaussian noise.（a）PSNR；（b）SSIM.

FPMFN的重建效果受噪聲的影響最小，隨著高斯噪聲的標(biāo)準(zhǔn)差增加，重建后的PSNR在測(cè)試范圍內(nèi)波動(dòng)最大值為3.32 dB，SSIM的波動(dòng)最大值為0.0825，而其他方法受噪聲的影響較大。端對(duì)端形式的FPMFN具有更出色的普適性，因此能夠有效抵抗噪聲的干擾。

在上述對(duì)仿真數(shù)據(jù)的重建結(jié)果中，不同方法在25%和50%重疊率時(shí)的差異更加明顯，且FPMFN與AP算法的重建效果最好。因此在實(shí)際系統(tǒng)的采樣中，設(shè)置LED間距為10 mm和5 mm，并使用FPMFN和AP算法進(jìn)行重建。圖10為兩種算法分別在25%和50%重疊率下對(duì)實(shí)際獲取的25張和49張USAF低分辨率圖像的重建結(jié)果，其中最右側(cè)的LR Image為中心處LED照明時(shí)采集到的低分辨率圖像。FPMFN對(duì)振幅和相位圖像的重建結(jié)果都比AP算法更清晰。通過(guò)放大的細(xì)節(jié)部分可以看出，F(xiàn)PMFN對(duì)噪聲有更好的抑制能力，并且對(duì)于條紋細(xì)節(jié)和輪廓處的重建效果更佳。

圖10 AP與FPMFN算法在實(shí)際USAF數(shù)據(jù)集上的重建結(jié)果Fig.10 Reconstruction on actual USAF datasets by AP and FPMFN

6 結(jié)論

本文提出一種基于多尺度特征融合網(wǎng)絡(luò)的傅里葉疊層成像算法。該算法利用深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)搭建模型FPMFN，通過(guò)稠密連接和通道注意力機(jī)制組成核心模塊DCCA，4個(gè)DCCA共同構(gòu)成了特征金字塔模塊的編碼器，能夠高效地從低分辨率圖像中提取高頻和低頻特征信息，并經(jīng)過(guò)解碼器進(jìn)行融合。使用亞像素卷積對(duì)經(jīng)過(guò)多尺度融合后的特征圖進(jìn)行上采樣，完成FPMFN的高分辨率重建。DCCA模塊有利于加強(qiáng)信息在網(wǎng)絡(luò)間的流動(dòng)，提升模型的收斂效率以及抗噪性能。為了驗(yàn)證網(wǎng)絡(luò)同樣適用于低樣本數(shù)目的重建任務(wù)，本文在不同孔徑重疊率的條件下進(jìn)行實(shí)驗(yàn)，結(jié)果表明，F(xiàn)PMFN能有效降低FP中25%的孔徑重疊率，減少50%的采樣數(shù)量，提升重建與采樣速度，同時(shí)實(shí)現(xiàn)效果更出色的重建。但是，在實(shí)際應(yīng)用中，孔徑掃描式的樣本采集過(guò)程較為復(fù)雜，因此利用神經(jīng)網(wǎng)絡(luò)進(jìn)一步降低孔徑重疊率，使用更高效的采集方式仍然需要深入探索。