雙U型門控網(wǎng)絡(luò)融合非局部先驗(yàn)的圖像壓縮感知重建方法

摘 要：針對目前基于非迭代式網(wǎng)絡(luò)的圖像壓縮感知重建方法存在著細(xì)節(jié)處理能力不足以及測量值利用不充分的問題，提出了一種雙U型門控網(wǎng)絡(luò)（dual U-shaped gated network，DUGN）用于圖像壓縮感知重建。該方法在原有的U型結(jié)構(gòu)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn)，提升了U型結(jié)構(gòu)網(wǎng)絡(luò)在壓縮感知任務(wù)中的學(xué)習(xí)能力。在測量值的利用上，結(jié)合交叉注意力機(jī)制，提出了一種測量值非局部融合模塊（measurements non-local fusion，MNLF），用于將測量值中的非局部信息融合到深層網(wǎng)絡(luò)中，指導(dǎo)網(wǎng)絡(luò)進(jìn)行重建，提升模型性能。此外，在基本模塊的設(shè)計(jì)上，提出了窗口門控網(wǎng)絡(luò)模塊（window gated network，WGN），增強(qiáng)了網(wǎng)絡(luò)的細(xì)節(jié)處理能力。實(shí)驗(yàn)結(jié)果表明，與已有的壓縮感知重建方法相比，DUGN在Set11數(shù)據(jù)集上有著更高的PSNR和SSIM，且在圖像重建的真實(shí)性上有著更好的表現(xiàn)。

關(guān)鍵詞：圖像壓縮感知重建； 非局部先驗(yàn)； U型網(wǎng)絡(luò)； 門控網(wǎng)絡(luò)

中圖分類號：TP391.41 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）11-045-3509-06

doi：10.19734/j.issn.1001-3695.2023.12.0635

Dual U-shaped network with non-local prior fusion for image compressed sensing

Lin Leping^a，b， Hu Shangjun^b， Ouyang Ning^a，b?

（a.Key Laboratory of Cognitive Radio amp; Information Processing Ministry of Education， b.School of Information amp; Communication， Guilin University of Electronic Technology， Guilin Guangxi 541004， China）

Abstract：Aiming at the problem that insufficient detail processing ability and inadequate use of measurement values in current non-iterative network-based image compressed sensing methods， this paper proposed a novel dual U-shaped gated network（DUGN） for image compressed sensing. This network improved upon the existing U-shaped network structure and enhanced the learning ability in compressed sensing tasks. This paper proposed a measurements non-local fusion（MNLF） module based on cross-attention mechanism， MNLF integrated non-local prior information from measurements into the deep network and guided the network reconstruction. Furthermore， this paper proposed a window gated network（WGN） module as the basic blocks to enable the network to learn larger ranges of image information and enhance the ability to process details. Experimental results demonstrate that compared with existing compressed sensing reconstruction methods， DUGN has higher PSNR and SSIM on Set11 and better performance in the authenticity of image reconstruction.

Key words：image compressed sensing; non-local prior; U-shaped network; gated network

0 引言

在傳統(tǒng)的采樣理論中，為了不失真地還原信號，就必須保證采樣率不低于信號帶寬的2倍，這個(gè)采樣定理被稱為香農(nóng)采樣定理，也被稱為奈奎斯特采樣定理。而壓縮感知^［1］提供了一種在采樣率小于2倍信號帶寬的情況下恢復(fù)信號的方法。假設(shè)一個(gè)長度為N的原始信號x∈?^N，由一個(gè)采樣矩陣Φ∈?^P2×P2R將信號進(jìn)行壓縮采樣得到長度為M的測量向量y=Φx，y∈?^M，Mlt;lt;N。如果想要從y中提取信息恢復(fù)原始信號x，那么就是在試圖求解一個(gè)欠定問題。人們在研究中發(fā)現(xiàn)，信號是普遍存在稀疏性的，利用信號自身的稀疏特性，就有可能將一個(gè)欠定問題轉(zhuǎn)換為適定的問題。如果信號可以在低采樣率下被恢復(fù)，就意味著可以以較低的成本完成信號的傳輸。如今，壓縮感知已經(jīng)在雷達(dá)、醫(yī)學(xué)成像和通信等信號處理領(lǐng)域引起了廣泛的關(guān)注。

采樣與重建方法是壓縮感知研究的兩個(gè)主要方向。在采樣方法上，傳統(tǒng)做法是利用一個(gè)隨機(jī)矩陣，將信號映射到一個(gè)較低緯度，在圖像壓縮感知的采樣上，基于塊的壓縮感知（BCS）^［2］是其中的一種常用方法，旨在降低重建過程的計(jì)算復(fù)雜性。在BCS中，信號被劃分為多個(gè)不重疊的塊，并且每個(gè)塊使用高斯隨機(jī)矩陣單獨(dú)壓縮，這使得分塊可以進(jìn)行并行處理，能夠顯著減少重建時(shí)間。如今，隨著深度學(xué)習(xí)的發(fā)展，一些方法^［3］利用卷積網(wǎng)絡(luò)也可以對信號進(jìn)行壓縮，配合隨后的重建網(wǎng)絡(luò)一起進(jìn)行梯度下降，往往能得到一個(gè)在指標(biāo)上超越隨機(jī)采樣方法的結(jié)果。

傳統(tǒng)的壓縮感知重建方法^［4～6］存在著計(jì)算復(fù)雜度高、重建質(zhì)量相對較低且容易出現(xiàn)重建失敗的問題。深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)為圖像壓縮感知重建提供了新的解決方案。早期的基于BP神經(jīng)網(wǎng)絡(luò)的圖像壓縮感知重建方法，如Mousavi等人^［7］提出的SDA有著相較于傳統(tǒng)方法更好的重建效果，但是其存在著計(jì)算消耗高以及參數(shù)量龐大的問題。隨著卷積神經(jīng)網(wǎng)絡(luò)的提出，Kulkarni等人^［8］提出的ReconNet首次將卷積神經(jīng)網(wǎng)絡(luò)用于圖像壓縮感知重建。由于卷積神經(jīng)網(wǎng)絡(luò)推理速度快、重建質(zhì)量高的優(yōu)勢，越來越多的工作開始基于卷積神經(jīng)網(wǎng)絡(luò)展開。經(jīng)典的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像壓縮感知算法，如Yao等人^［9］提出的DR²-Net，通過殘差學(xué)習(xí)提升了網(wǎng)絡(luò)性能。Zhang等人^［10］提出的ISTA-Net結(jié)合傳統(tǒng)的迭代閾值算法，增加了神經(jīng)網(wǎng)絡(luò)的可解釋性，并提高了重建質(zhì)量。隨著深度學(xué)習(xí)的不斷發(fā)展，目前基于深度學(xué)習(xí)的圖像壓縮感知可以分為兩個(gè)流派，即基于迭代式網(wǎng)絡(luò)的重建方法以及基于非迭代式網(wǎng)絡(luò)的重建方法?；诘骄W(wǎng)絡(luò)的重建方法^{［11～13］}通過設(shè)計(jì)多個(gè)迭代分塊來完成圖像的壓縮感知重建，然而，這些方法存在著推理時(shí)間長、訓(xùn)練消耗大等問題。非迭代式網(wǎng)絡(luò)如Sun等人^［14］提出的DPA-Net，以及Zhong等人^［15］提出的方法，采用結(jié)構(gòu)紋理分離、雙支路的網(wǎng)絡(luò)結(jié)構(gòu)，分別學(xué)習(xí)圖像的結(jié)構(gòu)特征與紋理特征，最后融合得到重建結(jié)果。一些工作^{［16，17］}采用小波分解將圖像分解為高頻部分與低頻部分分別進(jìn)行學(xué)習(xí)。這些方法雖然實(shí)現(xiàn)了較快的重建速度，但是缺少對測量值自身先驗(yàn)的考慮。

非局部相似性先驗(yàn)是圖像處理中使用的一種先驗(yàn)知識(shí)，非局部相似性先驗(yàn)的基本思想是利用圖像中的非局部相似性信息來增強(qiáng)圖像處理的有效性。Transformer^［18］的問世，提供了一種自注意力機(jī)制用以進(jìn)行全局的信息交互。一些圖像重建方法將自注意力機(jī)制引入到圖像處理中^{［19，20］}。Sun等人^［21］提出的NLR-CSNet利用圖像之間的自相似性來引導(dǎo)網(wǎng)絡(luò)捕獲遠(yuǎn)程依賴關(guān)系，并使網(wǎng)絡(luò)具有噪聲感知能力。在測量值的利用上，Cui等人^［22］提出的NL-CSNet，通過建立不同圖像塊的測量值之間的長距離依賴關(guān)系進(jìn)行初始重建。Fan等人^［23］提出的GSM設(shè)計(jì)了一個(gè)全局感知模塊用于壓縮采樣，并在多個(gè)尺度上對測量值進(jìn)行復(fù)用。

近幾年，一種非迭代式的重建網(wǎng)絡(luò)結(jié)構(gòu)，U型網(wǎng)絡(luò)結(jié)構(gòu)開始流行。U型網(wǎng)絡(luò)采用自編碼器實(shí)現(xiàn)圖像的端到端重建。由于在編碼器與解碼器中有著對圖像的下采樣與上采樣的操作，使得網(wǎng)絡(luò)具有學(xué)習(xí)圖像多尺度特征信息的優(yōu)勢。諸多方法^{［24～26］}已經(jīng)證明了該網(wǎng)絡(luò)結(jié)構(gòu)所帶來的優(yōu)越性能。對圖像而言，多尺度信息在重建過程中能夠帶來很大的收益，但是，由于U型結(jié)構(gòu)對輸入數(shù)據(jù)有著很大的依賴，當(dāng)輸入數(shù)據(jù)與輸出數(shù)據(jù)之間差距較大時(shí)，則很難實(shí)現(xiàn)較好的重建結(jié)果。而圖像壓縮感知重建通常采用初始重建與深度重建結(jié)合的網(wǎng)絡(luò)框架，初始重建的圖像與原始圖像之間存在著較大的差距，因此，單一的U型結(jié)構(gòu)對于圖像壓縮感知任務(wù)而言存在著以上不足。

為了解決這些問題，本文提出了一種雙U型門控網(wǎng)絡(luò)（dual U-shaped gated network，DUGN）用于圖像壓縮感知重建。傳統(tǒng)的U型網(wǎng)絡(luò)已經(jīng)被證明在底層視覺領(lǐng)域具有強(qiáng)大的性能。然而，考慮到圖像壓縮感知深度重建網(wǎng)絡(luò)輸入和輸出圖像之間的巨大差異，單個(gè)U型網(wǎng)絡(luò)很難完全恢復(fù)原始圖像的細(xì)節(jié)。本文將兩個(gè)U型網(wǎng)絡(luò)連接成一個(gè)雙U型網(wǎng)絡(luò)（dual U-Net，DU-Net），以緩解每一個(gè)結(jié)構(gòu)的重建壓力，同時(shí)提升網(wǎng)絡(luò)對細(xì)節(jié)信息的處理能力。在基本塊的設(shè)計(jì)中引入了門控機(jī)制，并提出了一種窗口門控網(wǎng)絡(luò)（window gated network，WGN）。該模塊可以完成圖像大范圍的信息交互。隨著網(wǎng)絡(luò)的下采樣，窗口的大小將近似于整個(gè)特征圖的大小，在小尺度的特征圖上能夠完成接近全局的信息的交互。此外，還特別設(shè)計(jì)了一個(gè)模塊，測量值非局部融合（measurements non-local fusion，MNLF）模塊，可以融合測量值的非局部信息。這個(gè)模塊可以從測量值中提取非局部相似度信息，然后將其融合到深度網(wǎng)絡(luò)的重建中，以提高網(wǎng)絡(luò)性能。

本文主要貢獻(xiàn)如下：

a）提出了雙U型網(wǎng)絡(luò)，使用更多信息路徑來提高深度網(wǎng)絡(luò)的性能。

b）提出了窗口門控網(wǎng)絡(luò)，可以在圖像上進(jìn)行大規(guī)模信息交互，門控機(jī)制可以有效過濾信息，提高網(wǎng)絡(luò)的擬合能力。

c）提出了測量值非局部融合模塊，從測量值中挖掘非局部信息，并將其融合到深度重建網(wǎng)絡(luò)中，指導(dǎo)網(wǎng)絡(luò)進(jìn)行重建。

1 本文方法

完整的圖像壓縮感知重建包括以下采樣、初始重建和深度重建三個(gè)步驟，如圖1所示。

在深度重建部分，使用雙U型網(wǎng)絡(luò)作為框架，基本塊包括特征融合操作和窗口門控網(wǎng)絡(luò)。在每個(gè)U型結(jié)構(gòu)的最后一層添加了一個(gè)測量值非局部融合模塊，以復(fù)用測量值并深度挖掘原始信息中的非局部相似性信息。

1.1 雙U型網(wǎng)絡(luò)

U型網(wǎng)絡(luò)結(jié)構(gòu)主要由對稱的編碼器和解碼器組成，其中編碼器部分用于提取圖像特征，而解碼器部分則用于將特征映射恢復(fù)到原始圖像尺寸。但是，在圖像壓縮感知重建任務(wù)中，輸入網(wǎng)絡(luò)的初始重建圖像與原始圖像之間有著極大的差異，單一的U型結(jié)構(gòu)在面對這種復(fù)雜情況時(shí)無法進(jìn)行充分的處理。一些用于視覺底層的網(wǎng)絡(luò)模型^{［27，28］}，通過連接多個(gè)U型結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行重建。受到這些工作的啟發(fā)，本文提出了一種雙U型網(wǎng)絡(luò)，以增強(qiáng)重建圖像的質(zhì)量。該方法在保留U型結(jié)構(gòu)的基礎(chǔ)上，連接了兩個(gè)U型網(wǎng)絡(luò)，形成雙U型網(wǎng)絡(luò)，如圖2所示。在雙U型網(wǎng)絡(luò)中，第一個(gè)U型網(wǎng)絡(luò)用于重建粗略圖像，而另一個(gè)則專注于圖像的細(xì)節(jié)部分，并且，在兩個(gè)U型網(wǎng)絡(luò)之間形成了額外的信息路徑，這使得網(wǎng)絡(luò)能夠在同一尺度層面上更全面地學(xué)習(xí)特征信息。雙U型網(wǎng)絡(luò)能夠捕捉圖像中更多的信息，最終提高重建圖像的質(zhì)量。

_1，1，_1，2，_1，3，_1，4，_1，5=Enc₁（z）（1）

其中：Enc₁（·）表示編碼器函數(shù)，包含窗口門控網(wǎng)絡(luò)（WGN）與下采樣操作，下采樣方式采用卷積下采樣方法。5個(gè)尺度分別為1，1/2，1/4，1/8，1/16對應(yīng)_1，1，_1，2，_1，3，_1，4，_1，5。最后一層的尺度對應(yīng)了變形測量值的尺度大小，使用測量值非局部融合模塊（MNLF）將測量值與深度特征_1，5進(jìn)行交叉融合，得到^F_1，5。再將_1，1，_1，2，_1，3，_1，4，^F_1，5輸入第一個(gè)解碼器，前4個(gè)特征分別與解碼器的對應(yīng)層進(jìn)行融合作為下一層的輸入，融合方式通過將兩個(gè)特征進(jìn)行通道拼接，再采用卷積核大小為1×1的卷積操作進(jìn)行融合，最終得到第一個(gè)U型結(jié)構(gòu)的輸出，過程表示如下：

_2，5，_2，4，_2，3，_2，2，_2，1=Dec₁（^F_1，5，_1，4，_1，3，_1，2，_1，1）（2）

其中：Dec₁（·）表示解碼器函數(shù)，包含窗口門控網(wǎng)絡(luò)（WGN）與上采樣操作，上采樣方式采用反卷積上采樣方法。以同樣的特征融合方法，將_2，5，_2，4，_2，3，_2，2，_2，1輸入第二個(gè)U型網(wǎng)絡(luò)的編碼器中，得到5個(gè)輸出，過程表示如下：

_3，1，_3，2，_3，3，_3，4，_3，5=Enc₂（_2，1，_2，2，_2，3，_2，4，_2，5）（3）

將最后一層特征_3，5使用MNLF與變形測量值進(jìn)行交叉融合得到^F_3，5。最后與第一個(gè)U型結(jié)構(gòu)同樣的方法，將_3，1，_3，2，_3，3，_3，4，^F_3，5輸入第二個(gè)解碼器得到輸出_4，1，過程表示如下：

_4，1=Dec₂（^F_3，5，_3，4，_3，3，_3，2，_3，1）（4）

最后將特征_4，1通過一個(gè)卷積核大小為3×3的卷積操作進(jìn)行通道降維，并與初始重建結(jié)果進(jìn)行殘差連接作為最終輸出。

1.2 窗口門控網(wǎng)絡(luò)

通常，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)具有良好的局部信息交互能力。然而，由于卷積核的大小限制，它們在執(zhí)行大規(guī)模信息交互方面存在局限性。一些工作利用門控機(jī)制來處理大范圍的空間信息^［26］。在本文中，基于門控機(jī)制，本文提出了一種窗口門控網(wǎng)絡(luò)（WGN），如圖3所示。利用門控機(jī)制，將加窗后的特征圖進(jìn)行線性映射、加權(quán)處理，以更好地捕捉輸入數(shù)據(jù)之間的依賴關(guān)系。在U-Net的下采樣過程中，窗口大小保持不變而圖像尺度下降，這使得窗口中的信息越來越接近于全局，配合卷積操作進(jìn)行下采樣，這樣能夠使本文的門控機(jī)制可以更好地學(xué)習(xí)到重要的信息。

WGN不僅可以控制信息傳遞，減少冗余信息，而且對窗口內(nèi)的所有元素進(jìn)行了加權(quán)處理，增強(qiáng)了模型的局部信息處理能力。

1.3 測量值非局部融合模塊

通過隨機(jī)采樣獲取的測量值不再具有圖像的形式。然而，通過對測量值進(jìn)行重新排列，其形式可以轉(zhuǎn)換為特征圖的形式。觀察這些測量值，發(fā)現(xiàn)它們?nèi)匀话嗽紙D像的結(jié)構(gòu)信息，如圖4所示。

其中：M_j，i表示變形后測量值的第j個(gè)通道第i個(gè)值；Φ_{：， j}為采樣矩陣的第j列；x_i為第i個(gè)分塊的所有值?？梢园l(fā)現(xiàn)，同一通道上的像素值都是由同一列數(shù)值映射得到。因此，依然可以在壓縮值中獲取到原始圖像中的非局部相似性信息。從變形后的測量值返回的圖像可以直觀地體現(xiàn)出其中保留的結(jié)構(gòu)信息。為了能夠獲取這些非局部相似性信息并且融合到深度重建中，本文特別設(shè)計(jì)了一個(gè)測量值非局部信息融合模塊（MNLF），如圖5所示。

交叉注意力^［29］通過對不同的特征圖計(jì)算注意力權(quán)重，可以更好地捕獲不同層次特征圖之間的信息，進(jìn)而指導(dǎo)網(wǎng)絡(luò)進(jìn)行重建，提高網(wǎng)絡(luò)性能。為了融合測量值的非局部相似度信息，本文基于交叉注意力機(jī)制，提出了測量值非局部融合模塊（MNLF）。通過計(jì)算變形后的測量值的注意力圖，對深度網(wǎng)絡(luò)中的特征圖進(jìn)行矩陣相乘，這樣就將測量值中的非局部信息融合到了重建網(wǎng)絡(luò)中。由于測量值中的非局部相似性信息是直接對應(yīng)原始圖像的，所以這些信息對于網(wǎng)絡(luò)有著指導(dǎo)重建的作用。

1.4 損失函數(shù)

雙U型門控網(wǎng)絡(luò)訓(xùn)練所使用的損失函數(shù)表達(dá)式如下：

L=L_x+λL_m（14）

其中：L_x為網(wǎng)絡(luò)的重建損失；L_m為測量值損失，使用的都是L₂損失；λ為測量值損失的系數(shù)。L_x損失函數(shù)如下：

L_x=12N∑Ni=1‖-x‖²₂（15）

其中：x為輸入圖像；為網(wǎng)絡(luò)輸出圖像；N為輸入網(wǎng)絡(luò)的批量大小。L_m損失函數(shù)如下：

L_m=12N∑Ni=1‖Φ-y‖²₂（16）

其中：Φ為壓縮采樣矩陣；y為測量值。這里設(shè)置L_m損失函數(shù)的目的是為了使重建的圖像更加接近于真實(shí)圖像。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

在訓(xùn)練中使用BSD500數(shù)據(jù)集作為訓(xùn)練集，將所有圖像隨機(jī)裁剪為256×256的尺寸，并采用YCbCr空間中的Y通道作為原始圖像。將圖像分成多個(gè)大小為16×16的圖像塊，對每一個(gè)圖像塊采用隨機(jī)高斯矩陣進(jìn)行壓縮采樣，采樣后的值作為網(wǎng)絡(luò)輸入。輸入批量大小設(shè)置為4，深度重建部分設(shè)置通道維度固定為64，窗口門控網(wǎng)絡(luò)中窗口大小設(shè)置為16×16。訓(xùn)練采用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為2×10^-4，使用Reduce-LROnPlateau學(xué)習(xí)率優(yōu)化器動(dòng)態(tài)調(diào)整學(xué)習(xí)率。PSNR在20輪迭代之后不再進(jìn)行提升時(shí)將學(xué)習(xí)率下降1/2，直到學(xué)習(xí)率降低到1×10^-6后不再改變。總迭代次數(shù)設(shè)置為800，取其中PSNR最高的模型作為最終結(jié)果。模型基于PyTorch框架實(shí)現(xiàn)，并在NVIDIA RTX 2080Ti GPU上進(jìn)行實(shí)驗(yàn)。

2.2 對比實(shí)驗(yàn)

實(shí)驗(yàn)從重構(gòu)圖像質(zhì)量的角度評估了所提出的壓縮感知重建網(wǎng)絡(luò)的性能，并與其他基于隨機(jī)采樣矩陣的壓縮感知重建方法進(jìn)行了比較。實(shí)驗(yàn)在數(shù)據(jù)集Set11上將所提出的DUGN與ReconNet^［8］、DR²-Net^［9］、LDAMP^［30］、ISTA-Net^+［10］、DPA-Net^［14］、NL-CSNet^［22］、MAC-Net^［31］和NL-CS Net^［32］進(jìn)行了比較，所采用的評價(jià)指標(biāo)為峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）。實(shí)驗(yàn)比較結(jié)果如表1所示。

從表中的數(shù)據(jù)可以看出，所提出的DUGN在PSNR和SSIM指標(biāo)上幾乎達(dá)到了最佳水平。在采樣率為0.01時(shí)，DUGN方法取得了最佳結(jié)果，并且與第二優(yōu)秀的方法相比，PSNR提高了0.83 dB，SSIM提高了0.073 1。在采樣率為0.04時(shí)，雖然DUGN方法在PSNR上比最佳方法低0.05 dB，但在SSIM上仍然取得了最佳結(jié)果，比第二優(yōu)秀的方法高出0.044 8。在采樣率為0.10時(shí)，DUGN方法再次取得了最佳結(jié)果，與第二優(yōu)秀的方法相比，PSNR和SSIM分別提高了0.49 dB和0.029 9。在采樣率為0.25時(shí)，DUGN方法仍然保持領(lǐng)先地位，與第二優(yōu)秀的方法相比，PSNR提高了0.1 dB，SSIM提高了0.012 7。從這些實(shí)驗(yàn)對比數(shù)據(jù)中可以發(fā)現(xiàn)，當(dāng)采樣率越低時(shí)，DUGN取得的領(lǐng)先優(yōu)勢越大，這也證明了所提出的方法相比于其他方法，在處理少量信息時(shí)具有更加強(qiáng)大的性能。PSNR通過計(jì)算恢復(fù)圖像與真實(shí)圖像之間的均方誤差進(jìn)行評估，用于判斷圖像的失真程度，然而對于自然圖像而言，單一的PSNR評估并不符合人類的視覺感知，因此需要結(jié)合SSIM進(jìn)行綜合考量。而SSIM更加注重圖像的結(jié)構(gòu)性評價(jià)，在一些信息永久丟失的的情況下，對于壓縮感知任務(wù)，SSIM更能體現(xiàn)重建質(zhì)量的高低。

圖6展示了ReconNet^［8］、ISTA-Net^+［10］、DPA-Net^［14］、MAC-Net^［31］、UGN和DUGN在0.1采樣率下的重建結(jié)果比較。實(shí)驗(yàn)特意包含了不使用Dual U-Net結(jié)構(gòu)的UGN模型以供參考。在barbara圖像的重建中，由于ReconNet和ISTA-Net⁺的結(jié)果都是通過逐塊重建方法組成的塊，所以塊效應(yīng)尤為突出。對于紋理控制，ReconNet幾乎無法恢復(fù)，而其他方法可以在一定程度上恢復(fù)，不過仍然非常模糊。相較之下，無論UGN或者DUGN都可以將條紋表現(xiàn)出來，且DUGN能夠比UGN展現(xiàn)得更加清晰分明。這也體現(xiàn)了雙U型結(jié)構(gòu)能夠更加使網(wǎng)絡(luò)增強(qiáng)細(xì)節(jié)學(xué)習(xí)的能力。在fingerprint圖像的重建中，其他方法的重建結(jié)果表現(xiàn)出顯著的平滑處理，失去了指紋的原始真實(shí)細(xì)節(jié)，而DUGN方法可以保留這些細(xì)節(jié)，并具有更生動(dòng)、更逼真的恢復(fù)效果。

圖7展示了在0.25采樣率下，ReconNet^［8］、DR²-Net^［9］、ISTA-Net^+［10］、DPA-Net^［14］、MAC-Net^［31］和DUGN的重建效果對比，在Barbara的重建上，對背景中具有網(wǎng)格紋理特征的部分，所提出的方法能夠重建出更多的內(nèi)容，且對于頭巾邊緣細(xì)節(jié)的處理也優(yōu)于其余方法。在Lena256的重建上，對帽子褶皺細(xì)節(jié)，本文的方法可以做到很好的重建，對頭發(fā)的處理上，相較于其他方法有著更加真實(shí)的還原效果，在人物眼睛部分的處理上，本文方法依然有著更真實(shí)的重建效果。

實(shí)驗(yàn)還測試了DUGN與ReconNet^［8］、ISTA-Net^+［10］、NL-CSNet^［22］和DPA-Net^［14］在大小為256×256的圖像上的重建平均時(shí)間，如表2所示?？梢钥闯觯珼UGN在重建速度上有著很大的優(yōu)勢。

2.3 消融實(shí)驗(yàn)

為了評估提出的模塊的有效性，設(shè)計(jì)了幾個(gè)網(wǎng)絡(luò)版本，其中一些功能模塊被選擇性地刪除或保留。表3分別顯示了在采樣率為0.01、0.04和0.25上，考慮兩種網(wǎng)絡(luò)架構(gòu)和一個(gè)功能模塊（即單U型網(wǎng)絡(luò)（U）、雙U型網(wǎng)絡(luò)（dual U）和測量非局部融合模塊（MNLF））在Set11數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果表明，在不使用MNLF的情況下，與單U型網(wǎng)絡(luò)相比，雙U形網(wǎng)絡(luò)分別在采樣率為0.01、0.04和0.25時(shí)將PSNR提高了0.05 dB、0.25 dB和0.4 dB。當(dāng)使用MNLF時(shí)，分別提高了0.05 dB、0.36 dB和0.42 dB的PSNR?？梢钥闯觯?dāng)與MNLF模塊結(jié)合使用時(shí)，雙U型網(wǎng)絡(luò)可以帶來更高的效益。在單U型網(wǎng)絡(luò)中，使用MNLF相對于不使用MNLF，PSNR分別在采樣率為0.01、0.04和0.25時(shí)提高了0.04 dB、0.02 dB和0.13 dB。在雙U型網(wǎng)絡(luò)中，使用MNLF相對于不使用MNLF，PSNR分別在采樣率為0.01、0.04和0.25時(shí)提高了0.04 dB、0.13 dB和0.15 dB。

2.4 窗口大小的選擇

本文對WGN中窗口大小的選擇進(jìn)行了一系列實(shí)驗(yàn)。本文選擇了窗口大小為4、6、8、10、12、14、16、18、20、22和24進(jìn)行實(shí)驗(yàn)，采樣率分別為0.04、0.10和0.25，實(shí)驗(yàn)結(jié)果如圖8所示。從圖中可以發(fā)現(xiàn)，當(dāng)窗口大小為16×16時(shí)，在各個(gè)采樣率下均取得了最好的PSNR指標(biāo)，且比其他窗口大小的情況提升很大。隨著窗口大小的提升，網(wǎng)絡(luò)參數(shù)呈指數(shù)趨勢增長，因此窗口大小也需要限制在一定的范圍內(nèi)。

3 結(jié)束語

本文提出了一種新穎的雙U型門控網(wǎng)絡(luò)，將U型網(wǎng)絡(luò)進(jìn)行拓展，使網(wǎng)絡(luò)能夠進(jìn)一步得到學(xué)習(xí)圖像更細(xì)節(jié)的內(nèi)容。針對基于分塊壓縮感知的圖像重建問題，提出了窗口門控網(wǎng)絡(luò)以及測量值非局部融合模塊。固定窗口大小，使窗口信息隨著下采樣過程，能夠?qū)W習(xí)到近似于全局的信息，另外分析了窗口大小的選擇，發(fā)現(xiàn)對于分塊壓縮感知重建，將窗口大小設(shè)置為與壓縮分塊大小一致，可以達(dá)到較好的重建效果。在實(shí)驗(yàn)中通過對測量值變形發(fā)現(xiàn)，在測量值中依然保留了圖像的結(jié)構(gòu)信息，設(shè)計(jì)了測量值非局部融合模塊，將測量值中的非局部相似性信息與深度網(wǎng)絡(luò)進(jìn)行融合，提升重建效果。實(shí)驗(yàn)結(jié)果表明，所提出的方法DUGN在目前的基于隨機(jī)采樣的壓縮感知重建方法中，有著更好的表現(xiàn)。

參考文獻(xiàn)：

［1］Donoho D L. Compressed sensing［J］. IEEE Trans on Information Theory， 2006， 52（4）： 1289-1306.）

［2］Gan L. Block compressed sensing of natural images［C］//Proc of International Conference on Digital Signal Processing. Piscataway，NJ：IEEE Press， 2007.

［3］Shi Wuzhen， Jiang Feng， Liu Shaohui， et al. Image compressed sensing using convolutional neural network［J］. IEEE Trans on Circuits and Systems for Video Technology， 2019，29：375-388.

［4］Tropp J A， Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit［J］. IEEE Trans on Information Theory， 2007， 53（12）： 4655-4666.

［5］Figueiredo M A T， Nowak R D， Wright S J. Gradient projection for sparse reconstruction： application to compressed sensing and other inverse problems［J］. IEEE Journal of Selected Topics in Signal Processing， 2008， 1（4）： 586-597.

［6］Beck A， Teboulle M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems［J］. SIAM Journal on Imaging Sciences， 2009， 2（1）： 183-202.

［7］Mousavi A， Patel A B， Baraniuk R G. A deep learning approach to structured signal recovery［C］//Proc of the 53rd Annual Allerton Conference on Communication， Control， and Computing. 2015.

［8］Kulkarni K， Lohit S， Turaga P， et al. ReconNet： non-iterative reconstruction of images from compressively sensed measurements［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press， 2016.

［9］Yao Hantao， Dai Feng， Zhang Shiliang， et al. DR2-Net： deep resi-dual reconstruction network for image compressive sensing［J］. Neurocomputing， 2019，359： 483-493.

［10］Zhang Jian， Ghanem B. ISTA-Net： interpretable optimization-inspired deep network for image compressive sensing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press， 2017.

［11］You Di， Xie Jingfen， Zhang Jian. ISTA-NET+： flexible deep unfolding network for compressive sensing［C］//Proc of IEEE International Conference on Multimedia and Expo. Piscataway，NJ：IEEE Press， 2021： 1-6.

［12］Zhang Zhonghao， Liu Yipeng， Liu Jiani， et al. AMP-Net： denoising based deep unfolding for compressive image sensing［J］. IEEE Trans on Image Processing， 2021，30：1487-1500.

［13］You Di， Zhang Jian， Xie Jingfen， et al. COAST： controllable arbitrary-sampling network for compressive sensing［J］. IEEE Trans on Image Processing， 2021，30： 6066-6080.

［14］Sun Yubao， Chen Jiwei， Liu Qingshan， et al. Dual-path attention network for compressed sensing image reconstruction［J］. IEEE Trans on Image Processing， 2020，29： 9482-9495.

［15］Zhong Yuanhong， Zhang Chenxu， Li Jin. Image compressed sensing reconstruction via deep image prior with structure-texture decomposition［J］. IEEE Signal Processing Letters， 2023，30： 85-89.

［16］Zhu Yin， Shi Wuzhen， Zhang Wu， et al. Multilevel wavelet-based hierarchical networks for image compressed sensing［J］. Pattern Recognition， 2022， 129： 108758.

［17］Zhu Yin， Zhang Wu， Zhang Jun. A deep network based on wavelet transform for image compressed sensing［J］. Circuits， Systems， and Signal Processing， 2022，41（11）： 6031-6050.

［18］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Advances in Neural Information Processing Systems. 2017.

［19］Wang Xiaolong， Girshick R， Gupta A， et al. Non-local neural networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018.

［20］Zhang Yulun， Li Kunpeng， Li Kai， et al. Residual non-local attention networks for image restoration［C］//Proc of Computer Vision and Pattern Recognition. 2019.

［21］Sun Yubao， Yang Ying， Liu Qingshan， et al. Learning non-locally regularized compressed sensing network with half-quadratic splitting［J］. IEEE Trans on Multimedia， 2020，22（12）： 3236-3248.

［22］Cui Wenxue， Liu Shaohui， Jiang Feng， et al. Image compressed sensing using non-local neural network［J］. IEEE Trans on Multimedia， 2021，25：816-830.

［23］Fan Zien， Lian Feng， Quan Jiani. Global sensing and measurements reuse for image compressed sensing［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. 2022： 8954-8963.

［24］Wang Zhendong， Cun Xiaodong， Bao Jianmin， et al. Uformer： a general U-shaped Transformer for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

［25］Zamir S W， Arora A， Khan S， et al. Restormer： efficient Transfor-mer for high-resolution image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

［26］Tu Zhengzhong， Talebi H， Zhang Han， et al. MAXIM： multi-axis MLP for image processing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

［27］Zamir S W， Arora A， Khan S， et al. Multi-stage progressive image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

［28］Qiu Defu， Cheng Yuhu， Wang Xuesong. Dual U-Net residual networks for cardiac magnetic resonance images super-resolution［J］. Computer Methods and Programs in Biomedicine， 2022， 218： 106707.

［29］Song Jiechong， Mou Chong， Wang Shiqi， et al. Optimization-inspired cross-attention transformer for compressive sensing［EB/OL］. （2023）. https：//arxiv.org/abs/2304.13986.

［30］Metzler C， Mousavi A， Baraniuk R. Learned D-AMP： principled neural network based compressive image recovery［C］//Advances in Neural Information Processing Systems. 2017.

［31］Chen Jiwei， Sun Yubao， Liu Qingshan， et al. Learning memory augmented cascading network for compressed sensing of images［C］//Proc of European Conference on Computer Vision. 2020： 513-529.

［32］Bian Shuai， Qi Shouliang， Li Chen， et al. NL-CS net： deep learning with non-local prior for image compressive sensing［EB/OL］. （2023）. https：//arxiv.org/abs/2305.03899.