融合空間位置與結(jié)構(gòu)信息的壓縮感知圖像重建方法

林樂(lè)平，周宏敏，歐陽(yáng)寧*

（1.認(rèn)知無(wú)線電與信息處理省部共建教育部重點(diǎn)實(shí)驗(yàn)室（桂林電子科技大學(xué)），廣西桂林 541004；2.桂林電子科技大學(xué)信息與通信學(xué)院，廣西桂林 541004）

0 引言

壓縮感知理論［1］是一種新興的信息獲取與信號(hào)處理領(lǐng)域的理論，可以充分利用信號(hào)中的稀疏性信息，在遠(yuǎn)低于奈奎斯特采樣頻率的情況下，從采樣樣本中精確地重建原始信號(hào)。壓縮感知理論在信號(hào)處理及相關(guān)領(lǐng)域引起廣泛關(guān)注，并迅速被應(yīng)用于圖像處理［2-3］、網(wǎng)絡(luò)通信［4］、雷達(dá)成像［5］等諸多領(lǐng)域。將壓縮感知應(yīng)用于圖像重建，圖像采樣和壓縮編碼同步完成，直接得到壓縮后的圖像，省去中間處理冗余數(shù)據(jù)的過(guò)程，這對(duì)于圖像數(shù)據(jù)的采集和傳輸有著極大便利和優(yōu)勢(shì)。在分塊壓縮感知框架［6］下，圖像重建計(jì)算資源損耗進(jìn)一步減少。

隨著深度學(xué)習(xí)的興起，許多基于深度學(xué)習(xí)的圖像壓縮感知重建方法被相繼提出。非迭代重建網(wǎng)絡(luò)（non-iterative Reconstruction Network，ReconNet）［7］是卷積神經(jīng)網(wǎng)絡(luò)在分塊壓縮感知信號(hào)重建問(wèn)題的首次應(yīng)用；深度殘差重建網(wǎng)絡(luò)（Deep Residual Reconstruction Network，DR2-Net）［8］是ReconNet與殘差網(wǎng)絡(luò)結(jié)構(gòu)［9］的結(jié)合，能學(xué)習(xí)到更深層次的圖像特征；基于非局部約束的多尺度重建網(wǎng)絡(luò)（Multi-scale Reconstruction neural Network with Non-Local constraint，NL-MRN）［10］在每個(gè)重建模塊中采用非局部操作，用于增強(qiáng)圖像中點(diǎn)與點(diǎn)之間的約束性，進(jìn)一步提高了重建效果；拉普拉斯金字塔重建對(duì)抗網(wǎng)絡(luò)（LAplacian Pyramid Reconstructive Adversarial Network，LAPRAN）［11］在重建端引入拉普拉斯金字塔概念，每個(gè)金字塔層將觀測(cè)值與上一級(jí)輸出的低分辨率圖像進(jìn)行信息融合，以實(shí)現(xiàn)靈活的高分辨率圖像重建；練秋生等［12］提出了一種基于多尺度殘差重建網(wǎng)絡(luò)（Multi-Scale Residual reconstruction Network，MSRNet）的壓縮感知方法，網(wǎng)絡(luò)中引入多尺度擴(kuò)張卷積用于提取圖像塊不同尺度的特征；Huang等［13］構(gòu)建了一種端到端的兩階段網(wǎng)絡(luò)，通過(guò)網(wǎng)絡(luò)學(xué)習(xí)到采樣矩陣，同時(shí)級(jí)聯(lián)圖像塊重建網(wǎng)絡(luò)和塊狀偽影去除網(wǎng)絡(luò)。

相對(duì)于傳統(tǒng)壓縮感知方法，上述基于深度學(xué)習(xí)的壓縮感知圖像重建方法在重建速度和重建效果上均有提升，但忽略了結(jié)合圖像塊之間的位置信息。針對(duì)低采樣率下分塊壓縮感知重建圖像視覺(jué)效果不佳的問(wèn)題，本文提出一種融合空間位置與結(jié)構(gòu)信息的壓縮感知圖像重建方法（compressed sensing image reconstruction method fusing Spatial Location and Structure Information，SLSI），并構(gòu)建基于該方法的兩支路網(wǎng)絡(luò)。網(wǎng)絡(luò)通過(guò)線性映射得到圖像塊的估計(jì)值后，用塊分組重建支路結(jié)合圖像結(jié)構(gòu)信息為不同類型的圖像塊分配不同重建資源，為稀疏度高的圖像塊數(shù)據(jù)分配較少的重建資源，為稀疏度較低的圖像塊數(shù)據(jù)分配較多的重建資源，進(jìn)而將圖像塊估計(jì)值拼接所得數(shù)據(jù)輸入全圖重建支路，該支路主要通過(guò)雙邊濾波和結(jié)構(gòu)特征交互模塊對(duì)相鄰圖像塊像素進(jìn)行信息交互，以減少低采樣率下重建圖像的空間位置信息丟失，兩支路的加權(quán)輸出值為最終重建全圖。

1 分塊壓縮感知框架

壓縮感知理論的主要思想是：當(dāng)信號(hào)在某已知變換域下具有稀疏性，可以用觀測(cè)矩陣將高維的信號(hào)投影到低維空間，通過(guò)求解優(yōu)化問(wèn)題從少量投影數(shù)據(jù)中重建出原始圖像。相比基于整圖的傳統(tǒng)壓縮觀測(cè)，分塊壓縮感知框架的觀測(cè)矩陣內(nèi)存消耗更小以及重建過(guò)程的計(jì)算更簡(jiǎn)單。在分塊壓縮感知框架中，假定原始圖像信號(hào)I是一個(gè)IW×IH大小的圖像，將其分成L塊大小為的互不重疊圖像塊，圖像塊中總像素?cái)?shù)為B。將每個(gè)圖像塊轉(zhuǎn)換成列向量，所有的塊向量組成圖像矩陣X=(x1，x2，…，xL)。所有圖像塊用同一個(gè)觀測(cè)矩陣Φ∈Rm×B進(jìn)行獨(dú)立觀測(cè)，獲得圖像塊的觀測(cè)向量集合，Y=ΦX=(y1，y2，…，yL)，Y∈Rm×L，m代表圖像塊對(duì)應(yīng)的觀測(cè)值元素總數(shù)。分塊壓縮感知圖像重建的目標(biāo)是從觀測(cè)向量集合Y中獲得對(duì)圖像矩陣X和圖像I的重建估計(jì)。

2 本文方法

本文構(gòu)建的兩支路網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要包括線性映射、塊分組重建支路、全圖重建支路、支路融合這四部分。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

首先，使用線性映射將觀測(cè)值升維，得到原始圖像塊的初步估計(jì)值；然后，將圖像塊的估計(jì)值輸入塊分組重建支路，根據(jù)樣本標(biāo)準(zhǔn)差的均值設(shè)定閾值進(jìn)行分組，分組后的數(shù)據(jù)進(jìn)入對(duì)應(yīng)的分組重建分支進(jìn)行增強(qiáng)重建；同時(shí)，圖像塊的估計(jì)值也被輸入全圖重建支路，將圖像塊的估計(jì)值按照分塊順序進(jìn)行拼接得到拼接后的全圖估計(jì)值并開始進(jìn)行全圖重建；最后，對(duì)兩支路的重建結(jié)果進(jìn)行加權(quán)融合，得到高質(zhì)量的重建圖像。另外，觀測(cè)值數(shù)據(jù)是在分塊策略下通過(guò)對(duì)數(shù)字圖像信號(hào)進(jìn)行壓縮觀測(cè)得到，以此模擬真實(shí)信號(hào)的采樣。

2.1 線性映射

線性映射部分由一層全連接和整形操作構(gòu)成，用于將觀測(cè)值Y從低維恢復(fù)到采樣前的高維數(shù)據(jù)。先通過(guò)全連接重建得到X∈RB×L的初步圖像矩陣估計(jì))，如式（1）所示：

式中：Ffc(·)表示一個(gè)全連接層，層中共有B個(gè)全連接神經(jīng)元，Wfc∈RB×m為全連接層權(quán)重。為了便于數(shù)據(jù)的后續(xù)處理，對(duì)zfc進(jìn)行整形（reshape）操作得到初步重建圖像塊zinit=，也就是圖像塊的初步估計(jì)值，zinit的尺寸為。

2.2 塊分組重建支路

塊分組重建支路聚焦于每個(gè)圖像塊的重建，主要包括判斷分組和分組重建兩部分。在分塊壓縮感知框架的觀測(cè)階段采用相同的觀測(cè)矩陣對(duì)每個(gè)圖像塊進(jìn)行觀測(cè)。圖像的不同區(qū)域間結(jié)構(gòu)各異，對(duì)圖像進(jìn)行分塊后，同樣大小的圖像塊之間包含的能量大小不一樣，稀疏度也不一樣［14］。根據(jù)圖像塊估計(jì)值的數(shù)值特性對(duì)圖像塊進(jìn)行判斷分組，以便于對(duì)每個(gè)組別的圖像塊設(shè)置各自的重建策略：為稀疏度高的圖像塊數(shù)據(jù)分配較少的重建資源，為稀疏度較低的圖像塊數(shù)據(jù)分配較多的重建資源。

2.2.1 判斷分組

圖像塊的標(biāo)準(zhǔn)差代表像素在塊內(nèi)的交流功率，可以反映圖像平滑程度，標(biāo)準(zhǔn)差越小，則圖像塊中像素差異越小，圖像越平滑。在一定程度上，圖像塊估計(jì)值的標(biāo)準(zhǔn)差也可以反映對(duì)應(yīng)圖像塊的平滑程度。基于此，計(jì)算初步重建圖像塊zinit的樣本標(biāo)準(zhǔn)差σi(i=1，2，…，L)和樣本標(biāo)準(zhǔn)差的均值。設(shè)定閾值，依據(jù)閾值對(duì)圖像塊數(shù)據(jù)進(jìn)行分組，分為光滑塊、非光滑塊兩組。樣本標(biāo)準(zhǔn)差σi和其均值σˉ通過(guò)式（2）得到，其中：zi，j為第i個(gè)初步重建圖像塊的第j個(gè)像素值，的均值。若滿足條件，則該圖像塊標(biāo)記為光滑塊；若滿足條件，則該圖像塊標(biāo)記為非光滑塊。

2.2.2 分組重建

若圖像塊被判斷為光滑塊，則塊中像素灰度值相差不大，可以認(rèn)為該圖像塊的稀疏度較大，故直接采用該圖像塊對(duì)應(yīng)的初始重建值作為增強(qiáng)重建值，如式（3）所示。若圖像塊被判斷為非光滑塊，則通過(guò)非光滑塊殘差分支學(xué)習(xí)圖像塊初始重建圖像與原始圖像的殘差di，nons，該圖像塊的增強(qiáng)重建值的計(jì)算公式如式（4）所示。非光滑塊殘差分支由3 層卷積、2 個(gè)結(jié)構(gòu)特征交互模塊、1 個(gè)通道注意力模塊（Squeeze-And-Excitation）［15］和1 個(gè)3×3 卷積組成。3 層卷積層的第1 層有72 個(gè)3×3 卷積核，第2 層有40 個(gè)3×3 的卷積核，第3 層有16 個(gè)卷積核，每一層后面加激活函數(shù)ReLU（Rectified Linear Units）［16］。在非光滑塊殘差分支中，2 個(gè)結(jié)構(gòu)特征交互模塊進(jìn)行了一次遞歸，在保存模型時(shí)只需保存一個(gè)模塊的參數(shù)。遞歸操作是指串聯(lián)指定模塊，模塊中對(duì)應(yīng)位置的卷積層之間進(jìn)行權(quán)重共享，進(jìn)而能在加深網(wǎng)絡(luò)深度同時(shí)不增加參數(shù)［17］。最后，將塊分組重建支路輸出的兩組塊重建圖按順序拼接，得到該支路的全圖重建值Iglout∈RIW×IH。

為了獲取和融合豐富的圖像結(jié)構(gòu)信息，更好地重建圖像的紋理和邊緣，構(gòu)建結(jié)構(gòu)特征交互模塊，該模塊由結(jié)構(gòu)特征提取和特征融合兩部分組成，如圖2 所示。模塊輸入數(shù)據(jù)用表示，c為輸入數(shù)據(jù)的通道數(shù)，先對(duì)輸入數(shù)據(jù)v提取結(jié)構(gòu)特征。結(jié)構(gòu)特征提取部分由5 條并行支路和1 個(gè)級(jí)聯(lián)操作（concatenate）［12］組成。5 條并行支路的通道數(shù)均為c，第1 條支路采用1×1 的卷積核，第2～5 條支路分別采用空洞率為1、4、6、8 的3×3 空洞卷積［18］。使用級(jí)聯(lián)操作聚合5 條并行支路輸出的不同尺度特征，得到聚合特征。另外，為使輸出的特征圖尺寸與輸入的特征圖尺寸相同，令結(jié)構(gòu)特征交互模塊中空洞卷積的步長(zhǎng)和空洞率保持一致。特征融合部分通過(guò)卷積層和跳躍連接［9］逐步融合特征信息，首先對(duì)5c張?zhí)卣鲌D使用通道注意力模塊［15］，使用1×1 卷積將特征圖的數(shù)量從5c減少到c，得到交互后的特征，再使用直接映射連接結(jié)構(gòu)特征交互模塊的輸入形成局部殘差結(jié)構(gòu)，連接激活函數(shù)ReLU 得到特征vres，如式（5）所示：

圖2 結(jié)構(gòu)特征交互模塊Fig.2 Structure feature fusion module

vres通過(guò)通道注意力模塊和c個(gè)3×3 卷積核，以再次進(jìn)行通道和空間的信息交互，得到結(jié)構(gòu)特征交互模塊的輸出。結(jié)構(gòu)特征交互模塊的輸入與輸出數(shù)據(jù)的尺寸一致，可作為網(wǎng)絡(luò)中即插即用的模塊。

2.3 全圖重建支路

在由圖像塊拼接所得的全圖中，相鄰圖像塊之間會(huì)有一條細(xì)長(zhǎng)的縫隙，使得邊界像素值不連續(xù)，這影響了圖像的清晰度。在低采樣率情況下，重建圖像塊邊界處的像素值跳變更明顯。塊邊界像素值產(chǎn)生跳變的原因是分塊壓縮感知框架中對(duì)全圖進(jìn)行了非重疊分塊處理，并獨(dú)立地進(jìn)行壓縮觀測(cè)和重建，這減弱了原始圖像塊的像素在空間上的相關(guān)性。圖像分塊后各圖像塊的稀疏度不一樣，稀疏度大的圖像塊重建質(zhì)量好，稀疏度小的圖像塊重建質(zhì)量較差，不同重建效果的圖像塊合成一幅全圖時(shí)，塊與塊銜接處的亮度呈偽周期突變。觀察多個(gè)圖像會(huì)發(fā)現(xiàn)圖像像素間具有很強(qiáng)的自相關(guān)性，空間鄰近的像素灰度值連續(xù)性較大，故考慮在支路中利用相鄰圖像塊之間的空域相關(guān)性，對(duì)相鄰圖像塊之間的像素進(jìn)行信息交互。雙邊濾波［19］屬于空域上的濾波，能夠?qū)D像的空間信息與像素值結(jié)合在一起，使得圖像塊與圖像塊之間的像素值更連續(xù)，并在融合圖像像素的同時(shí)保持圖像的邊緣結(jié)構(gòu)特征。與池化和上采樣的聯(lián)合操作相比，空洞卷積操作能在不損失精度的同時(shí)獲得較大的感受野；與大尺寸卷積核相比，參數(shù)量更少。因此全局重建支路中，加入了雙邊濾波操作和空洞卷積操作，以獲得相鄰圖像塊像素間的多種信息交互。

全圖重建支路包括全圖拼接和全圖重建兩部分。全圖拼接將線性映射的輸出按照分塊順序進(jìn)行逐塊拼接，得到全圖初始重建圖像Iinit∈R1×1×IW×IH。全圖重建部分對(duì)全圖初始重建圖像Iinit進(jìn)行增強(qiáng)重建。首先將Iinit輸入兩并行分支：一條分支包括一次雙邊濾波操作和兩層卷積層，另一條分支包括兩層卷積層，第一層和第二層都有16個(gè)3×3 的卷積核，每一層卷積層后面加ReLU 激活函數(shù)；然后，將兩分支的輸出使用級(jí)聯(lián)操作合成32 張?zhí)卣鲌D，把級(jí)聯(lián)后的32 張?zhí)卣鲌D送入1×1 卷積層，進(jìn)行跨通道交互得到淺層特征Isf∈R1×16×IW×IH，再將Isf送入結(jié)構(gòu)特征交互模塊，得到信息交互后的全圖特征Idff∈R1×16×IW×IH；最后，通過(guò)3×3 卷積得到全圖重建支路輸出值Igout∈RIW×IH。為了減少參數(shù)值，全圖重建部分兩分支中對(duì)應(yīng)的兩層3×3的卷積層間共享參數(shù)。

2.4 支路加權(quán)策略

支路加權(quán)融合使用了像素融合方式，操作簡(jiǎn)單，融合速度快，同時(shí)設(shè)置非固定的權(quán)值用于進(jìn)行兩分支圖像的融合。不同采樣率情況下的兩支路所得圖像輸出重要性不一致。在低采樣率的情況下，觀測(cè)值中所含信息少，且各塊之間的重建獨(dú)立，故塊分組重建支路的拼接所得全圖中易出現(xiàn)不同程度的偽周期的像素跳變，而這時(shí)全圖重建支路融合了圖像的空間位置信息，所得輸出更接近原始全圖。為降低融合圖像塊邊界像素間跳變程度，全圖重建支路的輸出應(yīng)具有更大權(quán)值。相反地，在采樣率較高的情況下，觀測(cè)值中所包含的圖像信息較多，應(yīng)更側(cè)重于塊分組重建支路的重建，該支路的輸出應(yīng)具有更大權(quán)值，若此時(shí)分配給全圖重建支路的輸出以大權(quán)值，由于全圖重建支路中的雙邊濾波操作將對(duì)圖像進(jìn)行平滑處理，反而會(huì)使得圖像重建精度降低。

因此，采用自適應(yīng)的加權(quán)融合策略，使得不同采樣率下的圖像融合都有較好的重建效果。對(duì)塊分組重建支路輸出Iglout與全圖重建支路輸出Igout進(jìn)行加權(quán)平均得到網(wǎng)絡(luò)最終重建全圖I?，如式（6）所示：

式中：wSR為自適應(yīng)權(quán)值，且有wSR=w×SR，SR為采樣率（sampling rate），SR=m/B，w為自適應(yīng)加權(quán)參數(shù)。圖像的采樣率SR在(0，0.5]內(nèi)取值，因此w的取值范圍為(1，2]，在w取中間值時(shí)，各采樣率下兩支路輸出圖像的融合效果均較好，本文中w取1.6。

3 網(wǎng)絡(luò)訓(xùn)練

本文以自然圖像數(shù)據(jù)為重建對(duì)象，訓(xùn)練集共有291 張圖像，采用公開的T91（Timeofte dataset）數(shù)據(jù)集［10］和BSD200-train（Berkeley Segmentation Datasets）數(shù)據(jù)集［20］中的圖像作為訓(xùn)練數(shù)據(jù)。BSD200-train 數(shù)據(jù)集是伯克利大學(xué)計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)提供的BSD500 中的訓(xùn)練集。將訓(xùn)練集中的圖像從RGB顏色空間變換到Y(jié)CrCb 顏色空間，并對(duì)圖像依次不重疊地從左到右和從上到下進(jìn)行滑動(dòng)取塊，所得圖像塊大小為16×16，這些圖像塊的亮度分量構(gòu)成了訓(xùn)練集的標(biāo)簽。若圖像的行值和列值不能整除，則在圖像的右邊和下邊補(bǔ)零，使得補(bǔ)零后的圖像能剛好在滑動(dòng)取塊時(shí)被完整分割完。將16×16的圖像塊拉為256×1 維的向量，并歸一化到[0，1]。所有的塊向量組成圖像矩陣X，使用隨機(jī)高斯矩陣作為觀測(cè)矩陣Φ對(duì)圖像塊矩陣X進(jìn)行采樣，得到觀測(cè)值矩陣Y。本文采用5種不同的采樣率對(duì)圖像塊進(jìn)行采樣，分別是0.01、0.04、0.05、0.10、0.15。每一個(gè)圖像塊有256 個(gè)像素，所以對(duì)應(yīng)觀測(cè)值yi中的測(cè)量數(shù)m分別是3、11、13、26、38。所使用的損失函數(shù)為均方誤差，具體損失函數(shù)如式（7）所示：

其中：代表塊分組重建支路中第i個(gè)圖像塊的重建值，I代表原始圖像，I?代表網(wǎng)絡(luò)的最終重建圖。

訓(xùn)練和測(cè)試的操作系統(tǒng)為Windows 10 系統(tǒng)，圖形處理器（Graphics Processing Unit，GPU）型號(hào)為GTX1080Ti。使用Python3.6 和Pytorch 深度學(xué)習(xí)開源框架訓(xùn)練，訓(xùn)練過(guò)程的優(yōu)化器選用 Adam［21］。采用Pytorch 框架中的ReduceLROnPlateau 方法自適應(yīng)調(diào)整學(xué)習(xí)率，初始學(xué)習(xí)率為0.001，當(dāng)損失值超過(guò)30 個(gè)epoch 后不下降時(shí)，學(xué)習(xí)率衰減為原來(lái)的1/10，當(dāng)學(xué)習(xí)率低至1×10-6時(shí)，學(xué)習(xí)率不再變化，最大迭代周期為500 epoch。通過(guò)自適應(yīng)調(diào)整學(xué)習(xí)率，網(wǎng)絡(luò)在加速收斂的同時(shí)能提高重建精度。在網(wǎng)絡(luò)參數(shù)的初始化方面，全連接層使用均值為0、方差為1 的高斯矩陣作為初始化權(quán)重，所有卷積采用Pytorch 框架中默認(rèn)的He_uniform 均勻分布［22］初始化方式。

訓(xùn)練完成后采用壓縮感知領(lǐng)域常用的6 幅測(cè)試圖像［10］和標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集Set11［12］進(jìn)行測(cè)試。實(shí)驗(yàn)中的6 幅測(cè)試圖像如圖3 所示。

圖3 實(shí)驗(yàn)中采用的6張測(cè)試圖像Fig.3 Six test images used in experiments

4 實(shí)驗(yàn)及分析

4.1 不同方法間的重建性能對(duì)比

為了具體分析本文方法的重建性能，將提出的重建方法與已有的六種方法進(jìn)行比較，包括基于增廣拉格朗日乘子的全變分正則化方法TVAL3（Total Variation Augmented Lagrangian ALternating-direction ALgorithm）［23］、基于去噪的近似消息傳遞（Denoising-based Approximate Message Passing，D-AMP）法［24］兩種基于迭代優(yōu)化的傳統(tǒng)壓縮感知圖像重建方法，以及基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)ReconNet、NL-MRN、DR2-Net 和MSRNet。TVAL3、D-AMP、ReconNet 和NL-MRN 使用文獻(xiàn)［10］提供的結(jié)果，DR2-Net 和MSRNet 使用文獻(xiàn)［12］提供的結(jié)果。實(shí)驗(yàn)從主觀視覺(jué)效果和重建圖像的圖像質(zhì)量量化指標(biāo)兩方面對(duì)不同重建方法的重建性能進(jìn)行比較分析。圖像質(zhì)量量化指標(biāo)選用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural SIMilarity index，SSIM）。

1）重建圖像主觀視覺(jué)效果比較。

本文方法與TVAL3、D-AMP、ReconNet 和NL-MRN 這四種方法的重建圖像視覺(jué)效果比較如圖4、5 所示，分別選擇了Boats 圖和House 圖作為測(cè)試重建圖。

圖4 是采樣率為0.10 時(shí)各方法對(duì)圖像Boats 的重建對(duì)比，Boats 圖細(xì)節(jié)紋理豐富。從圖4 中的重建圖像以及它們的圖像的局部放大圖的對(duì)比可以看出，本文方法獲得的重建圖像與對(duì)比方法的重建圖像相比較，重建圖像有更豐富的細(xì)節(jié)，能夠較好地保持原圖的整體結(jié)構(gòu)。在Boats 圖的局部放大圖像中，遠(yuǎn)處船體的桅桿重建得更清晰，相鄰圖像分塊邊界像素值也更趨于相同。

圖5 是在采樣率為0.05 時(shí)的不同重建方法對(duì)圖像House重建對(duì)比，House 圖中的紋理區(qū)和光滑區(qū)分割明顯。在圖5（b）～（d）的局部放大的圖像中可以觀察到，圖像相鄰塊中有深淺不一的格狀痕跡，相鄰的圖像塊之間有一條細(xì)長(zhǎng)的縫隙，使得邊界不連續(xù)。圖5（e）中對(duì)應(yīng)的重建的圖像為本文方法所重建的圖像，可以看出圖像中沒(méi)有明顯的格狀痕跡，光滑區(qū)域更平滑，邊緣和曲線結(jié)構(gòu)更連貫。從圖4 和圖5 中可以看出，本文方法的重建圖像具有更優(yōu)的視覺(jué)效果。

圖4 采樣率為0.10時(shí)不同方法重建結(jié)果對(duì)比Fig.4 Reconstruction result comparison of different methods with sampling rate of 0.10

圖5 采樣率為0.05時(shí)不同方法重建結(jié)果對(duì)比Fig.5 Reconstruction result comparison of different methods with sampling rate of 0.05

2）圖像質(zhì)量量化指標(biāo)比較。

為了更客觀地將本文方法與其他方法相比較，給出了圖3 中6 張測(cè)試重建圖像不同采樣率對(duì)應(yīng)的PSNR 折線圖和SSIM 折線圖，如圖6、7 所示；同時(shí)給出了不同方法在不同數(shù)據(jù)集下具體的PSNR 均值和SSIM 均值，如表1 和表2 所示，最好的結(jié)果以粗體突出顯示。

圖6 不同采樣率下各方法的6張測(cè)試圖像的PSNR折線圖Fig.6 PSNR line charts of 6 test images of each method at different sampling rates

圖7 不同采樣率下各方法的6張測(cè)試圖像的SSIM折線圖Fig.7 SSIM line charts of 6 test images of each method at different sampling rates

表1 各方法在6張測(cè)試圖像上的PSNR均值和SSIM均值Tab.1 Comparison of average PSNR and average SSIM among different methods on 6 test images

在圖6、7 中，不同方法所對(duì)應(yīng)的重建圖像的PSNR值和SSIM值由折線圖的形式展示，橫坐標(biāo)為采樣率。重建圖像PSNR值和SSIM值越高，則代表圖像重建質(zhì)量越高。可以發(fā)現(xiàn)本文方法在各個(gè)采樣率下都在對(duì)比方法對(duì)應(yīng)的折線之上，這表明在本文方法在各個(gè)采樣率所對(duì)應(yīng)的圖像重建值均比對(duì)比方法的高。從圖6、7 中可以發(fā)現(xiàn)，采樣率越低，重建圖像對(duì)應(yīng)PSNR值和SSIM值越低，這是因?yàn)椴蓸勇试降?，觀測(cè)數(shù)據(jù)也將減少，所用于重建的信息也越少。由于本文方法中的全圖重建支路融合了相鄰圖像塊間像素的相關(guān)性，相當(dāng)于增加了可用重建信息，因此能在低采樣率的情況下得到比其他方法更高的PSNR值和SSIM值。

表1 展示了不同方法在圖3 中的6 張測(cè)試圖對(duì)應(yīng)所得重建圖PSNR 均值和SSIM 均值。由表1 可知，本文方法在4 種采樣率下的重建圖像的PSNR 均值和SSIM 均值高于傳統(tǒng)的基于迭代的TVAL3 和D-AMP 方法，也高于目前的基于深度學(xué)習(xí)的ReconNet、NL-MRN 方法，如在采樣率為0.05 的情況下，所提方法對(duì)應(yīng)的PSNR 均值和SSIM 均值在圖3 所示圖像上分別平均提升了2.617 5 dB 和0.105 3。

表2 展示了不同方法在標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集Set11 下所得重建圖的SSIM值。

表2 各方法在Set11數(shù)據(jù)集上的平均SSIMTab.2 Comparison of average SSIM of different methods on Set11 dataset

由表2 可知，本文方法在3 種采樣率下的重建圖像SSIM值均高于對(duì)比方法。表1 和表2 的結(jié)果證明了本文方法在提升圖像重建質(zhì)量方面的有效性。

4.2 消融實(shí)驗(yàn)分析

為了探究各支路對(duì)本文方法的影響，分別設(shè)計(jì)兩個(gè)網(wǎng)絡(luò)SLSI-gl 和SLSI-g 進(jìn)行消融實(shí)驗(yàn)。以塊分組重建支路為主，移除SLSI 網(wǎng)絡(luò)中的全圖重建支路，從而構(gòu)成網(wǎng)絡(luò)SLSI-gl。相對(duì)應(yīng)地，以全圖重建支路為主，移除SLSI 網(wǎng)絡(luò)中的塊分組重建支路，從而構(gòu)成網(wǎng)絡(luò)SLSI-g。對(duì)SLSI-gl、SLSI-g、SLSI 這三個(gè)網(wǎng)絡(luò)使用相同的訓(xùn)練策略進(jìn)行模型訓(xùn)練，并用圖3 所示的6 幅測(cè)試圖像進(jìn)行重建測(cè)試，實(shí)驗(yàn)結(jié)果如圖8～9 所示。

圖8 對(duì)應(yīng)采樣率為0.01 時(shí)三個(gè)網(wǎng)絡(luò)在500 次迭代中的訓(xùn)練結(jié)果。橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為6 張測(cè)試圖像對(duì)應(yīng)的PSNR 均值，曲線代表了PSNR 均值隨迭代次數(shù)增長(zhǎng)的變化情況。

圖8 消融實(shí)驗(yàn)在采樣率為0.01下的訓(xùn)練結(jié)果Fig.8 Training results of ablation experiment at sampling rate of 0.01

觀察圖8 中的曲線變化，分析三個(gè)網(wǎng)絡(luò)的收斂情況。當(dāng)?shù)螖?shù)較小時(shí)，隨迭代次數(shù)增加，網(wǎng)絡(luò)對(duì)應(yīng)的PSNR 均值逐步提升，這表明該網(wǎng)絡(luò)逐漸收斂。然后，網(wǎng)絡(luò)對(duì)應(yīng)的曲線趨向水平，這表明訓(xùn)練過(guò)程逐漸穩(wěn)定，達(dá)到收斂狀態(tài)。從圖8 中的三條曲線對(duì)比可以看到，SLSI 所對(duì)應(yīng)的帶五邊形符號(hào)標(biāo)記的實(shí)折線最先達(dá)到水平狀態(tài)，SLSI-g、SLSI-gl 次之，這表明網(wǎng)絡(luò)SLSI 的訓(xùn)練收斂速度最快。另外，當(dāng)三個(gè)網(wǎng)絡(luò)訓(xùn)練收斂后，SLSI 網(wǎng)絡(luò)對(duì)應(yīng)的PSNR 均值最高。結(jié)合塊分組重建支路和全圖重建支路的網(wǎng)絡(luò)，和僅使用一條支路相比，在收斂速度和訓(xùn)練性能上的結(jié)果更優(yōu)。

圖9 展示了原圖和采樣率為0.01 下SLSI-gl、SLSI-g、SLSI網(wǎng)絡(luò)對(duì)應(yīng)的Peppers 重建圖像。圖9（b）中圖像塊的像素值趨向于統(tǒng)一，較難分辨出圖像的曲線邊緣；圖9（c）上能看到圖像的大致輪廓，但圖像中有較多的白點(diǎn)；圖9（d）中圖像的重建輪廓最清晰。通過(guò)圖9（b）～（d）的重建圖與圖9（a）的原圖進(jìn)行對(duì)比，可以發(fā)現(xiàn)圖9（d）的重建效果最好。

通過(guò)消融實(shí)驗(yàn)可以發(fā)現(xiàn)：在同等條件下，移除了兩支路中的任一條支路，都會(huì)使得重建網(wǎng)絡(luò)的重建精度降低，圖像重建視覺(jué)效果變差。SLSI 的圖像重建效果最優(yōu)，一方面是融合兩支路增加了網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)擬合能力更強(qiáng)；另一方面是塊分組重建支路和全圖重建支路所得結(jié)果可以進(jìn)行互補(bǔ)，進(jìn)而提高了整體的重建效果。

綜上，SLSI 能夠有效地重建出圖像的細(xì)節(jié)，減少低采樣率下重建圖像的空間位置信息丟失，相比TVAL3、D-AMP、ReconNet、NL-MRN、DR2-Net、MSRNet 這6 種方法，能夠獲得更高的PSNR值和SSIM值，更好的視覺(jué)效果。

5 結(jié)語(yǔ)

本文提出了一種在分塊壓縮感知框架下融合空間位置與圖像結(jié)構(gòu)信息的壓縮感知圖像重建方法。一方面為稀疏度不同的塊設(shè)置不同的增強(qiáng)重建策略以降低計(jì)算量，另一方面在重建過(guò)程中建立了分塊圖像間的位置聯(lián)系，在一定程度上彌補(bǔ)了由分塊采樣帶來(lái)的空間位置信息損失。實(shí)驗(yàn)結(jié)果表明，在低采樣率的情況下，相較于常規(guī)的圖像分塊重建方法，所提方法對(duì)應(yīng)的重建圖像的視覺(jué)效果更好，所得PSNR值和SSIM值更高。本文方法在低采樣率下也能通過(guò)少數(shù)觀測(cè)值恢復(fù)圖像的輪廓，適用于資源受限且目標(biāo)是對(duì)圖像的高層次理解的場(chǎng)景。