基于雙路信息互補(bǔ)增強(qiáng)的壓縮感知深度重構(gòu)

熊承義，秦鵬飛，高志榮，施曉迪，劉川鄂

(1 中南民族大學(xué) 電子信息工程學(xué)院&智能無線通信湖北省重點(diǎn)實(shí)驗(yàn)室，武漢430074；2 中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，武漢 430074)

壓縮感知(Compressed Sensing, CS)[1]可用于實(shí)現(xiàn)信號(hào)的采樣與壓縮的同時(shí)完成，對(duì)于降低信號(hào)存儲(chǔ)和傳輸成本具有重要意義.目前，壓縮感知已經(jīng)在多個(gè)領(lǐng)域得到了廣泛應(yīng)用，如：單像素成像[2]、核磁共振成像[3]等.壓縮感知重構(gòu)是壓縮感知理論的核心問題，旨在從降維的測量值還原出原始的被測量信號(hào)，其為典型的病態(tài)逆問題.傳統(tǒng)的圖像壓縮感知重構(gòu)著重探討利用信號(hào)的稀疏性先驗(yàn)，設(shè)計(jì)規(guī)則化的圖像重建建模，并使用迭代優(yōu)化方法求解.這類方法主要缺點(diǎn)在于，一是計(jì)算復(fù)雜高，難以使用硬件高效加速；二是人工設(shè)計(jì)的稀疏先驗(yàn)(如固定基DCT、DWT域的稀疏或是自適應(yīng)的非局部稀疏)難以完全符合圖像的特性，并存在規(guī)則化參數(shù)的有效選擇的問題.

近年來，隨著深度學(xué)習(xí)在圖像分類和計(jì)算機(jī)視覺等領(lǐng)域的成功應(yīng)用，基于深度網(wǎng)絡(luò)的壓縮感知重構(gòu)方法引起了人們的極大關(guān)注.MOUSAVI等人最早提出了基于堆棧去噪自編碼器(SDA)的CS重構(gòu)網(wǎng)絡(luò)[4]，使用卷積神經(jīng)網(wǎng)絡(luò)得到直接由測量值到圖像的端到端映射.之后，KULKARNI等人提出了一個(gè)非迭代的CS重構(gòu)網(wǎng)絡(luò)ReconNet[5]，具體由一個(gè)全連接層后面堆疊兩個(gè)SRCNN模型[6]實(shí)現(xiàn). 將ReconNet與殘差學(xué)習(xí)相結(jié)合，YAO等人進(jìn)一步提出了深度殘差重構(gòu)網(wǎng)絡(luò)DR2-Net[7].相對(duì)于ReconNet，后者由于含有更多的卷積層，因此得到了重建圖像質(zhì)量的更佳改善.為了同時(shí)改善測量矩陣的采樣效率，SHI等人提出了聯(lián)合學(xué)習(xí)采樣的網(wǎng)絡(luò)CSNet[8].大體來說，基于深度學(xué)習(xí)的重構(gòu)網(wǎng)絡(luò)，在一定程度上增加網(wǎng)絡(luò)的深度，通常能夠得到重構(gòu)性能的更多提升，原因在于更深的網(wǎng)絡(luò)具有更強(qiáng)的學(xué)習(xí)表示能力.最近，設(shè)計(jì)多通道網(wǎng)絡(luò)以改進(jìn)深度學(xué)習(xí)的能力也得到了許多關(guān)注，比如，ZHANG等人提出了一種基于雙通道特征融合的深度CS重構(gòu)網(wǎng)絡(luò)，通過設(shè)計(jì)一個(gè)殘差支路和密集支路的結(jié)合[9]，分別獲取圖像的高階特征與低階特征，有效改進(jìn)特征提取能力，從而獲得了比DR2-Net更好的重建效果.

受以上工作的啟發(fā)，以及考慮到準(zhǔn)確重建降維的CS圖像比重建原始分辨率的圖像具有更大的可能性，本文設(shè)計(jì)了一個(gè)新的基于雙路信息互補(bǔ)增強(qiáng)的壓縮感知深度重構(gòu)網(wǎng)絡(luò).主要思想在于，設(shè)計(jì)網(wǎng)絡(luò)由兩個(gè)并行通道組成，一個(gè)通道實(shí)現(xiàn)對(duì)圖像原始分辨率的重構(gòu)，另一個(gè)通道實(shí)現(xiàn)對(duì)圖像的降采樣重構(gòu)；兩個(gè)通道的中間特征提取部分采用多級(jí)的信息交叉融合，以實(shí)現(xiàn)特征信息提取的互補(bǔ)增強(qiáng)，最終得到重構(gòu)圖像質(zhì)量的有效提升.基于峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)和視覺效果的評(píng)測結(jié)果表明，本文方法的重構(gòu)圖像質(zhì)量比較以往同類方法有明顯改進(jìn).

1 相關(guān)問題描述

壓縮感知重構(gòu)是一個(gè)典型的逆問題，到目前已有大量方法被提出用于解決這個(gè)問題.根據(jù)應(yīng)用先驗(yàn)知識(shí)的方式，這些方法大致可分為兩類，一類是基于優(yōu)化理論發(fā)展的基于模型的方法，一類是基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)的方法.

假設(shè)被測量的原始信號(hào)為x∈CN，基于CS得到的測量值為y∈CN，基于傳統(tǒng)稀疏先驗(yàn)的CS優(yōu)化重構(gòu)模型可表示為[1]：

(1)

其中，Φ∈CM×N,(M?N為測量矩陣，Ψ為稀疏變換矩陣，‖·‖lp表示lp范數(shù)(p∈[0,1]).式(1)中第一項(xiàng)稱為保真項(xiàng)，第二項(xiàng)稱為規(guī)則化項(xiàng).λ為正則化參數(shù)，用于平衡兩者之間的關(guān)系.為了求解式(1)的最小優(yōu)化問題，大量的迭代算法被先后提出，包括FISTA[10]、Chambolle-Pock algorithm[11]等.總體來說，這類方法具有計(jì)算復(fù)雜，稀疏性先驗(yàn)不能完全擬合圖像特性，并需要手動(dòng)設(shè)置參數(shù)，難以應(yīng)用于實(shí)際等缺陷.

過去幾年中，深度神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的表征能力已經(jīng)成為建模特征間復(fù)雜關(guān)系的有效工具，并在壓縮感知重建等圖像復(fù)原任務(wù)中得到有效應(yīng)用.這類基于深度神經(jīng)網(wǎng)絡(luò)的圖像重構(gòu)方法，通常是在大量訓(xùn)練數(shù)據(jù)的監(jiān)督下學(xué)習(xí)得到輸入和輸出圖像之間的非線性映射fNN(w;y).給定一個(gè)訓(xùn)練數(shù)據(jù)集Ω，它由成對(duì)的采樣值和原始圖像(y,x)組成，基于深度神經(jīng)網(wǎng)絡(luò)的CS重建方法，主要任務(wù)在于首先構(gòu)建一個(gè)網(wǎng)絡(luò)模型，并通過損失函數(shù)最小化找到優(yōu)化的網(wǎng)絡(luò)參數(shù)，即：

(2)

其中，L是定義的損失函數(shù).基于深度學(xué)習(xí)的方法可自動(dòng)探索圖像的復(fù)雜特征，能夠大大降低重構(gòu)時(shí)間延時(shí)，因此成為當(dāng)前研究的主流方向.

2 提出的方法

本文提出的雙路信息互補(bǔ)增強(qiáng)的壓縮感知重構(gòu)網(wǎng)絡(luò)，包含兩個(gè)并行的重構(gòu)通路，不同通路得到圖像的不同分辨率特征表示.一個(gè)通路負(fù)責(zé)實(shí)現(xiàn)具有原始圖像分辨率的特征學(xué)習(xí)，而另一個(gè)通路負(fù)責(zé)實(shí)現(xiàn)2倍因子的降采樣分辨率的特征學(xué)習(xí)重構(gòu).兩個(gè)通路的特征學(xué)習(xí)包括多個(gè)階段，并進(jìn)行交叉融合以達(dá)到特征信息的互補(bǔ)增強(qiáng).

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，網(wǎng)絡(luò)的整體結(jié)構(gòu)由三個(gè)模塊組成：聯(lián)合重構(gòu)模塊學(xué)習(xí)的卷積采樣模塊(ConvS)、初始重構(gòu)模塊(InitR)和基于雙支路特征互補(bǔ)增強(qiáng)的深度重構(gòu)模塊(DeepR).卷積采樣模塊根據(jù)原始圖像獲得一組測量值.為了提升采樣效率和動(dòng)態(tài)擬合圖像特性，這里使用一個(gè)卷積層實(shí)現(xiàn)，即測量矩陣的系數(shù)與重構(gòu)網(wǎng)絡(luò)一起聯(lián)合學(xué)習(xí)得到.假設(shè)原始圖像為x，測量值用y表示，卷積采樣過程可表示為：

y=fconvs(wconvs;x),

(3)

(4)

(5)

wdeepr表示其參數(shù).值得注意的是，在深度重構(gòu)階段，均通過3×3卷積對(duì)輸入和輸出進(jìn)行信息調(diào)整.在這一階段，殘差連接和密集連接兩種技術(shù)被聯(lián)合采用，以充分促進(jìn)信息的傳輸和復(fù)用，緩解梯度消失或爆炸的問題.

圖1 網(wǎng)絡(luò)的整體結(jié)構(gòu)框圖Fig.1 Overall structure of the proposed network

2.2 深度重構(gòu)模塊

深度重構(gòu)模塊由特征增強(qiáng)模塊和互補(bǔ)融合模塊構(gòu)成.前者內(nèi)置于深度重構(gòu)的不同階段，完成多步上、下通道特征的協(xié)作增強(qiáng)；后者用于綜合上下通道信息，通過特征融合最后提高網(wǎng)絡(luò)的特征表示能力.

(1)特征增強(qiáng)模塊

特征增強(qiáng)模塊通過利用通道注意力機(jī)制，將由上通道提取的注意力信息，同時(shí)用于上、下通道特征信息的判別選擇，其結(jié)構(gòu)如圖2所示.首先，使用3×3的卷積分別學(xué)習(xí)上下通道的特征，然后提取上通道的通道注意力信息[13]，最后將上下通道的特征分別與其相乘得到特征的判別提取，具體實(shí)現(xiàn)可表示為：

(6)

式中，xu,Xu+1,xd,Xd+1分別表示上下通道的輸入特征圖和增強(qiáng)后的特征圖；fse表示提取通道注意力操作，由全局池化、全連接、relu、全連接、sigmoid組成[13].

共享相同的采樣值，上通道的初始重構(gòu)圖像分辨率低，可視為降低了圖像的壓縮率，圖像更容易準(zhǔn)確重構(gòu).因此，這里提取上通道的通道注意力，除了用于自身的特征增強(qiáng)外，還將質(zhì)量較好的通道關(guān)系作用于下通道.這種方法比使用下通道的通道注意力或者使用上下通道兩者的通道注意力效果更好.

圖2 特征增強(qiáng)模塊的內(nèi)部結(jié)構(gòu)Fig.2 The internal structure of the feature enhancement module

(2)信息融合與重構(gòu)模塊

信息融合重構(gòu)模塊在充分融合兩通路特征信息的基礎(chǔ)上，實(shí)現(xiàn)圖像的最后重構(gòu)，其內(nèi)部結(jié)構(gòu)如圖3所示.首先，對(duì)下通道的特征圖進(jìn)行卷積核大小為3×3，步長為2的降采樣操作，得到和上通道大小一致的特征圖.然后，將其與上通道相減得到差值信息，使用轉(zhuǎn)置卷積將此差值信息進(jìn)行2倍上采樣.最后，將差值信息和下通道未降采樣的特征信息相加后再經(jīng)過一層卷積操作，變換得到最終的重構(gòu)圖像.信息融合與重構(gòu)模塊的計(jì)算可表示為：

xlast=xd+fup(xu-fdown(xd)),

(7)

式中，xu和xd分別表示上下通道的特征圖；fup和fdown分別表示上下采樣，xlast表示信息互補(bǔ)后的特征圖.這里，由于圖像分辨率不一樣，兩支路的輸出包含不同的內(nèi)容和特性，信息互補(bǔ)融合模塊充分利用上下通道學(xué)習(xí)到的內(nèi)容，提高網(wǎng)絡(luò)的特征表示能力.

圖3 信息融合重構(gòu)模塊的內(nèi)部結(jié)構(gòu)Fig.3 The internal structure of the information fusionreconstruction module

2.3 損失函數(shù)

網(wǎng)絡(luò)訓(xùn)練使用均方誤差(MSE)作為損失函數(shù)，監(jiān)督最終重構(gòu)圖像以及上下通道的初始重構(gòu)圖像與真實(shí)圖像的誤差.通過設(shè)計(jì)初始重構(gòu)圖像與最終重構(gòu)圖像同時(shí)逼近真實(shí)圖像，可以有效加速網(wǎng)絡(luò)訓(xùn)練并提高最終重構(gòu)圖像質(zhì)量.設(shè)計(jì)的損失函數(shù)由三項(xiàng)組成，具體如式(8)所示：

(8)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置和訓(xùn)練數(shù)據(jù)

本文的實(shí)驗(yàn)設(shè)置和訓(xùn)練數(shù)據(jù)與SCSNet[14]保持一致.卷積采樣中分塊大小為32，步長為32，特征增強(qiáng)模塊中降維參數(shù)r為4.損失函數(shù)中α,β,λ參數(shù)根據(jù)經(jīng)驗(yàn)設(shè)置為1.訓(xùn)練數(shù)據(jù)是由BSD500數(shù)據(jù)集中的訓(xùn)練集(200張)和測試集(200張)組成，剪裁為96×96的大小，使用數(shù)據(jù)增強(qiáng)(旋轉(zhuǎn)和翻轉(zhuǎn))擴(kuò)充數(shù)據(jù)集.BatchSize設(shè)置為64，共訓(xùn)練100個(gè)周期.學(xué)習(xí)率初始值設(shè)為0.002，每7個(gè)周期衰減為原來的0.7倍.使用Python語言在TensorFlow深度學(xué)習(xí)框架下完成實(shí)驗(yàn)，使用Adam優(yōu)化器優(yōu)化所有網(wǎng)絡(luò)參數(shù).在Ubuntu 18.04系統(tǒng)上面使用一張12 GB的Nvidia TITANX顯卡完成訓(xùn)練和測試.

3.2 實(shí)驗(yàn)結(jié)果

對(duì)比的方法包括ISTA-Net+[15]、CSNet[8]、SCSNet[14]，其中CSNet、SCSNet采用的是 [14]中給出的實(shí)驗(yàn)結(jié)果，ISTA-Net+是復(fù)現(xiàn)論文代碼得到的結(jié)果，參數(shù)與論文中保持一致.表1列出了在Set5測試集上對(duì)比效果，包括0.1、0.2、0.3、0.4、0.5五種不同的采樣率，最好的效果使用加粗黑體標(biāo)出.這里采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity，SSIM)作為評(píng)價(jià)指標(biāo).PSNR是最為普遍使用的一種圖像客觀評(píng)價(jià)指標(biāo)，它是基于對(duì)應(yīng)像素點(diǎn)間的誤差.SSIM是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，它分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性.從表1結(jié)果可以看出，在所有采樣率下本文方法均取得了最好的重構(gòu)質(zhì)量.

表1 Set5上不同圖像CS算法的平均PSNR(dB)和SSIM的比較Tab.1 Comparison of the average PSNR (dB) and SSIM of different image CS algorithms on Set5

為了比較不同CS重構(gòu)算法的視覺效果，圖4給出了0.2采樣率下ISTA-Net+、CSNet、SCSNet和本文方法重構(gòu)圖像的局部2.5倍放大圖.圖中，本文重構(gòu)圖像的桌布紋理基本未變形，其他方法都有不同程度的變形.可以看出，本文算法重構(gòu)圖像的結(jié)構(gòu)紋理更加清晰，視覺效果改善明顯.

圖4 0.2采樣率下不同算法對(duì)barbara重構(gòu)結(jié)果Fig.4 Reconstruction results of barbara by different algorithms at 0.2 sampling rate

3.3 討論

圖5 不同數(shù)目的模塊在Set5上的平均PSNR(dB)和重建一幅256×256圖像的時(shí)間對(duì)比Fig.5 Comparison of the average PSNR (dB) of different numbers of modules on Set5 and the time to reconstruct a 256×256 image

這里，對(duì)網(wǎng)絡(luò)中不同方案的選擇進(jìn)行討論.首先是特征增強(qiáng)模塊數(shù)目的選擇，圖5列出了在0.1采樣率下特征增強(qiáng)模塊數(shù)目為1、2、3、4、5時(shí)在Set5測試集上的平均PSNR和重建一幅256×256的圖像所需時(shí)間的對(duì)比效果.從圖中可以看出，模塊數(shù)目為2、3、4時(shí)，重建效果提高較多，重建時(shí)間的少量增加相對(duì)可以接受.模塊數(shù)目為5時(shí)，重建時(shí)間增加較多，重建質(zhì)量只有少量提高.選取特征增強(qiáng)模塊數(shù)目為4時(shí)能達(dá)一個(gè)較好的平衡.

然后是殘差連接和密集連接的聯(lián)合使用方案，表2列出了0.1采樣率下單獨(dú)使用密集連接或者殘差連接的重建質(zhì)量和訓(xùn)練時(shí)間的對(duì)比效果.可以看出，只有殘差連接時(shí)訓(xùn)練速度較快但是重建質(zhì)量不佳；只有密集連接時(shí)速度和聯(lián)合使用接近，但質(zhì)量稍差.因此，本文采用聯(lián)合使用殘差連接和密集連接得到最優(yōu)的重建效果.

表2 Set5上不同方案的平均PSNR(dB)和訓(xùn)練時(shí)間(小時(shí))的比較Tab.2 Comparison of the average PSNR (dB) on Set5and training time(h)of different programs

4 結(jié)語

基于多通道網(wǎng)絡(luò)能較好改善深度特征表示能力的發(fā)現(xiàn)，設(shè)計(jì)了一個(gè)雙路信息互補(bǔ)增強(qiáng)的壓縮感知深度重構(gòu)網(wǎng)絡(luò)，以更好地提升網(wǎng)絡(luò)的圖像CS重構(gòu)性能.網(wǎng)絡(luò)由兩個(gè)并行通道組成，一個(gè)通道實(shí)現(xiàn)對(duì)圖像原始分辨率的重構(gòu)，而另一個(gè)通道實(shí)現(xiàn)對(duì)圖像的2倍降采樣重構(gòu)；兩個(gè)通道的中間特征提取部分采用了信息的交叉融合，實(shí)現(xiàn)了信息提取的互補(bǔ)增強(qiáng).實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)可以有效提高壓縮感知重構(gòu)圖像的質(zhì)量.本文方法存在的主要不足在于，由于采用了兩個(gè)通道，因此網(wǎng)絡(luò)模型的復(fù)雜度有一定的增加.如何結(jié)合網(wǎng)絡(luò)輕量化技術(shù)有效減少網(wǎng)絡(luò)參數(shù)，是本項(xiàng)設(shè)計(jì)需要進(jìn)一步優(yōu)化的方面.