基于多尺度特征融合的圖像壓縮感知重構

何卓豪，宋甫元，陸 越

（1.南京信息工程大學 數(shù)字取證教育部工程研究中心；2.南京信息工程大學 計算機學院、網(wǎng)絡空間安全學院，江蘇 南京 210044）

0 引言

壓縮感知（Compression Sensing，CS）是由Donoho［1］提出的一種新的采樣方式，采樣過程即為壓縮，該方式突破了奈奎斯特采樣定理的限制，能更高效采樣信號。CS 證實當信號在某個變換域為稀疏時，可構建一個測量矩陣Φ獲得較少的測量值，并通過測量值反向恢復原始信號。

在圖像壓縮感知研究中，基于優(yōu)化的CS 重構方法最早開展了工作。Gan［2］基于塊的CS 重構分割圖像后進行采樣壓縮，以減少所需內存與計算量。Mun 等［3］將方向變換與塊壓縮結合以提升圖像重構質量。Gao 等［4］針對圖像局部光滑特性，提出降低采樣矩陣復雜度的局部結構測量矩陣，提升了壓縮效率。Dong 等［5］提出NLR-CS 對圖像進行非局部塊匹配，并低秩優(yōu)化相似塊集合，利用圖像的結構稀疏性提升圖像恢復質量。Metzlerdamp 等［6］提出基于降噪的近似消息傳遞算法，在迭代中加入噪聲修正項以提升重構質量。然而，傳統(tǒng)方法需要大量的迭代計算，圖像重構時間較長且在低采樣率下重構的圖像質量較差。

近年來，深度學習對圖像特征的學習為目標檢測［7］、圖像分類［8］、圖像超分辨率重構［9］、圖像壓縮感知方向等圖像視覺領域提供了新的方法。ReconNet 證明了使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）恢復圖像的可能性［10］，網(wǎng)絡共有兩個卷積模塊，每個卷積模塊有3個卷積層，卷積核大小分別為11、7、1。DR2-Net 在Recon-Net 基礎上進行改進，使用殘差網(wǎng)絡與線性映射層進一步提升了圖像重構質量［11］。Lian 等［12］在DR2-Net 基礎上進行改進，在重構網(wǎng)絡中使用多尺度殘差網(wǎng)絡與擴張卷積，學習圖像不同尺度的信息并增大網(wǎng)絡感受野。CSNet 使用卷積網(wǎng)絡訓練測量矩陣優(yōu)化采樣過程［13］。CSNet+設計了3 種類型的采樣矩陣進一步優(yōu)化采樣過程［14］。ISTA-Net將基于優(yōu)化迭代算法與神經(jīng)網(wǎng)絡結合，提升了網(wǎng)絡的可解釋性［15］。LDAMP 將神經(jīng)網(wǎng)絡與近似消息傳遞算法結合，去噪效果相較于較近似消息傳遞方法具有明顯提升［16］。然而，目前基于深度學習的算法對圖像特征的學習能力較弱，并未充分利用網(wǎng)絡所有層次特征，在較低采樣率下圖像紋理復雜區(qū)域中的恢復較差。

注意力機制與許多圖像視覺方向均有聯(lián)系，不少研究發(fā)現(xiàn)，加入注意力機制有助于網(wǎng)絡更好地學習圖像特征，提升實驗效果。Anwar 等［17］提出基于注意力機制的圖像超分辨率重構網(wǎng)絡，利用特征注意力與通道間依賴性調整通道特征，增強了網(wǎng)絡學習能力。Zhang 等［18］將殘差網(wǎng)絡與密集網(wǎng)絡結合，提出殘差密集模塊（Residual dense block，RDB），可充分利用所有層次特征提升圖像重構質量。Fu 等［19］提出一種新的注意力融合方式，能自適應地結合網(wǎng)絡局部特征與其全局相關性。Sagar 等［20］在DANet的基礎上加入Channel Shuffle，在保證網(wǎng)絡精度的前提下進一步提升了計算速度。此外，圖像視覺領域內的研究可互相學習，以上工作在網(wǎng)絡上的創(chuàng)新同樣能幫助其他方面的網(wǎng)絡進行提升。

本文提出一個新的基于多尺度注意力融合的圖像CS重構網(wǎng)絡。首先使用多尺度殘差模塊捕捉更多尺寸信息；然后設計并聯(lián)的RDB 學習更密集的特征，增強特征利用率；最后利用雙注意力融合模塊，融合每個多尺度殘差塊的空間注意力與密集殘差塊的通道注意力，結合每個塊的局部特征與全局相關性、淺層特征和深層特征，為高級特征補充更多低層特征空間信息，提升網(wǎng)絡學習能力。

1 多尺度特征融合的圖像重構模型

本文受DMASNet［20］與多尺度殘差網(wǎng)絡MSRN［21］的啟發(fā)，提出基于基于塊的CS 重構網(wǎng)絡的多尺度注意力融合的圖像壓縮感知重構模型，如圖1 所示。重構網(wǎng)絡分為3個模塊，首先通過全連接層完成圖像初始化重構，得到原始圖像塊xi的近似解，然后通過后續(xù)網(wǎng)絡層學習xi與的殘差di，最后將xi與di相加得到最終的重構圖像。

1.1 采樣

本文基于塊的壓縮并非基于圖像級別，因此有利于節(jié)省內存與計算量。如圖1 所示，輸入圖像被分割為N個尺寸為33×33 的圖像塊，圖像塊xi被向量化為108 9×1 的向量。輸入的圖像塊可表示為xi=[x1，x2，…，xn-1，xn]T，對于一個信號x∈Rn×1可取滿足RIP［1］特性的隨機測量矩陣Φ∈Rm×n。例如，高斯隨機矩陣、伯努利隨機矩陣等。將x投影到m維的低維，圖像塊的測量值yi=[y1，y2，…，ym-1，ym]T，采樣過程表示為：

1.2 多尺度殘差模塊

網(wǎng)絡首先使用一個完全連接層，從采樣得到的測量值yi中獲取圖像塊的初始重構，并將其輸入多尺度殘差模塊，如圖2 所示。為了學習不同尺寸的圖像特征，殘差塊擁有3 條不同尺寸卷積核的支路，各支路使用特征級聯(lián)（Concat），然后將特征輸出到三支路使支路信息相互共享。最后一層使用大小為1 的卷積核將通道數(shù)縮減至輸入時的通道數(shù)，以此串聯(lián)多個多尺度殘差模塊，具體數(shù)學表達式為：

Fig.2 Multi-scale residual block圖2 多尺度殘差模塊

式中：f res表示多尺度殘差模塊的函數(shù)；j表示第j個多尺度殘差模塊。

1.3 殘差密集模塊

DenseNet［22］的網(wǎng)絡學習過程可傳遞上一層信息，加強特征利用率，RDB 在此基礎上能提取局部密集特征。殘差密集模塊解釋為設計的一個并聯(lián)RDB，目的是讓網(wǎng)絡盡可能學習更密集的特征。如圖3 所示，該模塊接收了多尺度殘差模塊的輸出，相較于RDN［18］組合的RDBs，并聯(lián)結構能學習多尺度信息并減少網(wǎng)絡深度。同時，模塊擁有兩個支路，卷積核尺寸大小分別為3、5，最后對兩個支路的密集特征進行級聯(lián)并通過1×1 卷積以減少通道數(shù)量，數(shù)學表達式為：

Fig.3 Residual dense block圖3 殘差模密集模塊

式中：f RDB表示殘差密集模塊函數(shù)。

1.4 雙注意力融合模塊

融合空間注意力與通道注意力可使用串行［23］或并行［24］結構，受DMSANet［20］啟發(fā)，通過雙注意力融合每個模塊的局部特征能充分利用網(wǎng)絡所有層次特征，具體實現(xiàn)如圖4 所示。通道注意力模擬了特征映射間的長期語義依賴，有選擇性地加權每個的通道重要性，以捕獲全局特征?？臻g注意力捕獲多尺度殘差模塊的局部特征，根據(jù)空間注意力圖選擇性地聚合語義。雙注意力融合將為高級特征補充更多低層特征空間信息，充分利用之前所有模塊的局部特征信息結合淺層特征和深層特征，豐富類別信息的高級特征以利于像素定位。

Fig.4 Dual attention fusion block圖4 雙注意力融合模塊

在通道注意力的計算過程中，對于輸入為A∈RC×H×W表示的特征圖，將A重塑為A∈RC×N、N=H×W，然后使用一個softmax 層獲得通道注意力圖x∈RC×C。

通道注意力特征的計算公式為：

式中：β為比例參數(shù)；E1j∈RC×H×W；C為通道數(shù)。

在空間注意力計算過程中，對于輸入特征圖A∈RC×H×W，在輸入一個卷積層后得到兩個特征映射B、C∈RC×H×W，將B、C重塑為RC×N，然后利用softmax 層計算得到空間注意圖x∈RN×N，計算公式為：

之后，將特征A輸入一個卷積層生成新的特征映射D∈RC×H×W，并重塑尺寸為RC×N、N=H×W，D、轉置相乘得到融合空間信息后的特征圖，空間注意力特征計算公式為：

式中：α為比例參數(shù)；E2j∈RC×H×W。

最后，將兩個注意力特征級聯(lián)，使用1×1 卷積減少通道數(shù)量。

1.5 圖像重構

圖像采樣后的測量值yi作為網(wǎng)絡輸入，首先經(jīng)過線性映射層得到初始重構圖像，通過后續(xù)網(wǎng)絡層逐漸提升重構質量，然后基于網(wǎng)絡多尺度殘差模塊、殘差密集模塊及雙注意力融合模塊估計殘差di。

網(wǎng)絡中多尺度殘差模塊與雙注意力融合模塊的數(shù)量各為3 個，殘差密集塊的數(shù)量為1 個，卷積會使特征圖數(shù)量增加，但模塊輸出通過1×1 卷積，始終保持在32 個通道數(shù)量，有利于提取局部特征和傳遞模塊信息，便于模塊在數(shù)量上的變動及與其他框架相結合。網(wǎng)絡中除了最后一層，每一層卷積后都有Relu 函數(shù)，防止梯度丟失。初始重構與殘差相加得到網(wǎng)絡最終輸出。重構過程可表示為：

綜上，網(wǎng)絡輸出圖像塊會被重新拼接成完整的圖像，網(wǎng)絡損失函數(shù)為均方誤差函數(shù)（Mean Squared Error，MSE），并使用Adam 優(yōu)化網(wǎng)絡參數(shù)。損失函數(shù)公式為：

式中：N為訓練樣本數(shù)量；xi為對應的原始圖像塊；為網(wǎng)絡輸出圖像塊。

2 實驗結果與分析

網(wǎng)絡訓練、測試運行GPU 為GeForce GTX 1080 Ti，選取公共數(shù)據(jù)集BSD 500 的測試集［25］與訓練集作為實驗訓練數(shù)據(jù)集，共400 張圖像，訓練時圖像會被轉為灰度圖像。雖然，圖像顏色空間會對目標檢測與圖像分類產(chǎn)生一定影響，但根據(jù)CS測量值恢復圖像的影響較小。

因此，本文選取與比較算法一致的公共數(shù)據(jù)集Set11作為測試數(shù)據(jù)集，網(wǎng)絡訓練迭代120 輪，將初始學習速率設置為0.000 1，并在第40-80 輪時下降1/10。在0.01、0.04、0.1、0.25 采樣率（Measurement Ratio，MR）下進行，采樣使用高斯隨機矩陣，圖像被裁剪為33×33 大小的圖像塊，取步長為11，長度為1 089 的圖像塊向量在對應MR 下的測量值長度分別為10、43、109、272。采用圖像的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）與結構相似性（Structure Similarity Index Measure，SSIM）作為重構圖像質量的評價指標，PSNR 與SSIM 值越高表示圖像質量越好。

本文將所提方法與NLR-CS［5］、D-AMP［6］、Reconnet［10］、DR2Net［11］及MSRNet［12］方法進行比較。其中，前兩者為基于優(yōu)化迭代的算法，后3種為基于深度學習的算法。PSNR 為基于對應像素點誤差的評價指標，是衡量有損壓縮后圖像重建質量的重要指標之一。由表1 可知，在不同算法下測試Set11 數(shù)據(jù)集中11 幅圖像的PSNR，第5 組數(shù)據(jù)為11 幅圖像在不同MR 下的平均PSNR，前4 組數(shù)據(jù)為4 幅圖像的具體數(shù)據(jù)。相較于其他算法，本文算法在不同采樣率下PSNR 值均較高，表明重構圖像質量優(yōu)于其他算法。

Table 1 PSNR values for different algorithms表1 不同算法的PSNR值

從人眼視覺標準而言，SSIM 評價指標同樣重要。由表2 可知，本文算法在不同采樣率下，SSIM 值均優(yōu)于其他算法，證明了所提網(wǎng)絡學習到了更多圖像細節(jié)信息，重構圖像擁有更好的視覺效果。由此可見，基于深度學習算法優(yōu)于基于優(yōu)化迭代的算法，擁有更好的前景，對圖像特征學習能力更強的網(wǎng)絡的圖像重構質量越好。

Table 2 SSIM values for different algorithms表2 不同算法的SSIM值

由表3可知，基于優(yōu)化迭代的CS重構算法計算量較大，相較于基于深度學習的算法更耗費時間，基于深度學習算法的時間復雜度與重構網(wǎng)絡大小相關，當網(wǎng)絡為增強特征學習能力而加深時，計算量將隨之增加。在相同實驗環(huán)境下，本文算法相較于通過犧牲重構時間提升重構質量的MSRNet，運行速度更快，耗時遠低于傳統(tǒng)優(yōu)化迭代算法。

Table 3 Running time of reconstructing a single image（256×256）表3 重構一張圖像（256×256）的運行時間（s）

圖5 展示了測試數(shù)據(jù)集中4 幅圖像在不同采樣率下的重構結果，測試圖片均為灰度圖像。由此可見，本文算法在0.01 的采樣率下仍具有一定可見度，證明所提網(wǎng)絡在低采樣率下重構性能良好，圖像質量將隨著采樣率增加得到進一步提升。

Fig.5 Reconstruction results of 4 images under different MR圖5 不同MR下的4張圖像的重構結果

3 結語

本文提出一種新的基于多尺度注意力融合的圖像CS重構網(wǎng)絡，從圖像初始重構過程中學習殘差，以提升圖像重構質量。為了充分利用網(wǎng)絡所有層次特征，網(wǎng)絡引入雙注意力結構融合殘差密集特征與多尺度殘差特征，利用先前所有模塊的局部特征信息結合淺層與深層特征，為高級特征補充更多低層特征空間信息。

實驗表明，本文算法在性能上相較于傳統(tǒng)方法更優(yōu)。下一步，將在網(wǎng)絡去噪、塊效應與速度方面進行優(yōu)化，并嘗試在經(jīng)典壓縮感知算法基礎上增加網(wǎng)絡的可解釋性。