引入多狀態(tài)記憶機(jī)制的迭代軟閾值學(xué)習(xí)算法

羅美露 余 磊 張海劍

(武漢大學(xué)電子信息學(xué)院, 湖北武漢 430072)

1 引言

稀疏恢復(fù)問(wèn)題作為壓縮感知中研究和討論的重要問(wèn)題之一,被廣泛應(yīng)用于信號(hào)處理[1]、醫(yī)學(xué)成像[2]以及雷達(dá)系統(tǒng)[3- 4]等跨學(xué)科領(lǐng)域中。理論上,由受噪聲干擾的低維觀測(cè)向量重構(gòu)原始稀疏信號(hào),通常是一個(gè)欠定和病態(tài)的問(wèn)題,目前主要有三類算法對(duì)其進(jìn)行優(yōu)化求解,它們分別是:貪婪算法[5- 6]、凸松弛算法[7- 8]和迭代閾值算法[9-12]。貪婪算法主要包括各類匹配追蹤算法,通過(guò)多次迭代從過(guò)完備原子庫(kù)里尋找稀疏向量的支撐集,并使用最小二乘估計(jì)重構(gòu)信號(hào)。這類算法通常需要的測(cè)量數(shù)據(jù)多,計(jì)算量大,收斂速度也較慢。凸松弛算法主要通過(guò)凸優(yōu)化方法解決凸或擬凸優(yōu)化問(wèn)題, 從而恢復(fù)出稀疏信號(hào)。相對(duì)于貪婪算法,該類算法大大減少了重構(gòu)信號(hào)所需的觀測(cè)次數(shù),得到的解是滿足條件的最稀疏解。迭代閾值算法通過(guò)閾值確定迭代中的保留項(xiàng),進(jìn)一步更新待恢復(fù)信號(hào)。文獻(xiàn)[11]中提出的迭代軟閾值算法(Iterative Soft-Thresholding Algorithm,ISTA)通過(guò)一個(gè)軟閾值操作更新信號(hào),復(fù)雜度小且結(jié)構(gòu)簡(jiǎn)單,受到廣泛的研究與應(yīng)用。但I(xiàn)STA收斂速度較慢。文獻(xiàn)[12]基于ISTA的框架提出一種快速迭代軟閾值算法(Fast Iterative Soft-Thresholding Algorithm,FISTA),該算法選擇前兩次迭代點(diǎn)的線性組合作為下一次迭代時(shí)近似函數(shù)的起始點(diǎn),進(jìn)一步提高收斂速率,但收斂速度依舊有限。

近年來(lái),許多國(guó)內(nèi)外學(xué)者開始將深度學(xué)習(xí)技術(shù)應(yīng)用到稀疏恢復(fù)求解中。文獻(xiàn)[13]介紹了一種迭代軟閾值學(xué)習(xí)算法(Learned Iterative Soft-Thresholding Algorithm,LISTA),將ISTA展開為遞歸前饋神經(jīng)網(wǎng)絡(luò),通過(guò)學(xué)習(xí)的方式優(yōu)化更新字典矩陣,可更快地趨向最優(yōu)解。文獻(xiàn)[14]提出一種快速迭代軟閾值學(xué)習(xí)算法(Learned Fast Iterative Soft-Thresholding Algorithm,LFISTA),構(gòu)建了與LISTA類似的遞歸神經(jīng)網(wǎng)絡(luò),進(jìn)一步提高了算法的收斂速度。文獻(xiàn)[15-16]基于LISTA分別引入了不同的約束條件以達(dá)到加速收斂的目的。文獻(xiàn)[15]利用LISTA結(jié)構(gòu)中兩個(gè)可學(xué)習(xí)矩陣的耦合性,并采取了多種閾值選取方案,在簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)加快了稀疏恢復(fù)的速度。文獻(xiàn)[16]選取了一個(gè)可解析的自由權(quán)值矩陣,優(yōu)化并固定該解析矩陣,通過(guò)學(xué)習(xí)調(diào)整權(quán)值步長(zhǎng)和閾值參數(shù)即可加速收斂。從上述研究?jī)?nèi)容可知,深度學(xué)習(xí)技術(shù)的引入可以有效地提高ISTA的收斂速度,在此基礎(chǔ)上,通過(guò)增加約束條件可進(jìn)一步加速收斂。

實(shí)際上,稀疏恢復(fù)優(yōu)化問(wèn)題屬于約束最小化問(wèn)題的一種情況,一階迭代固定步長(zhǎng)算法[17-19]一般適用于解決該類問(wèn)題。文獻(xiàn)[20]利用李雅普諾夫函數(shù)證明了一階迭代固定步長(zhǎng)算法可線性收斂。受到該思想啟發(fā),本文提出一種引入多狀態(tài)記憶機(jī)制的改進(jìn)LISTA(Learned Iterative Soft-Thresholding Algorithm with Multi-state Memory,LISTA-MM)算法。該算法設(shè)置了一個(gè)狀態(tài)連接度數(shù),連接多個(gè)先前迭代點(diǎn),學(xué)習(xí)迭代點(diǎn)的權(quán)重矩陣,從而靈活地利用稀疏信息,確保了稀疏估計(jì)過(guò)程中信息被正確傳遞并充分利用,能夠有效提高收斂速度,并且優(yōu)化稀疏恢復(fù)性能。此外,本文還將LISTA-MM的卷積形式應(yīng)用在圖像超分辨率中,訓(xùn)練了一個(gè)圖像超分辨率網(wǎng)絡(luò)模型,并將該網(wǎng)絡(luò)的重構(gòu)結(jié)果和其他幾種圖像超分辨率網(wǎng)絡(luò)的結(jié)果進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明,基于LISTA-MM的網(wǎng)絡(luò)在圖像質(zhì)量評(píng)估指標(biāo)上優(yōu)于其他幾種網(wǎng)絡(luò),并且重構(gòu)圖像的可視化結(jié)果受偽影影響小,具有更接近原始圖像的清晰規(guī)則紋理。

本文貢獻(xiàn)如下:(1)本文提出一種引入多狀態(tài)記憶機(jī)制的改進(jìn)迭代軟閾值學(xué)習(xí)算法,設(shè)置狀態(tài)連接度數(shù),靈活利用多個(gè)迭代狀態(tài)點(diǎn)信息,提高了算法的收斂速度;(2)通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了本文算法在保證稀疏恢復(fù)精度的同時(shí)有效提高了收斂速度;(3)將LISTA-MM擴(kuò)展為卷積形式,訓(xùn)練了一個(gè)圖像超分辨率網(wǎng)絡(luò)模型,探索其在圖像超分辨率中的應(yīng)用,實(shí)驗(yàn)結(jié)果表明該網(wǎng)絡(luò)比其他幾種圖像超分辨率網(wǎng)絡(luò)具有更好的性能。

本文安排如下:第2節(jié)介紹稀疏恢復(fù)的求解問(wèn)題并且詳細(xì)敘述本文提出的改進(jìn)迭代軟閾值學(xué)習(xí)算法LISTA-MM;第3節(jié)介紹了LISTA-MM的卷積形式及其在圖像超分辨率中的應(yīng)用;第4節(jié)展示了本文改進(jìn)算法與幾種迭代軟閾值學(xué)習(xí)算法的對(duì)比結(jié)果,以及基于LISTA-MM的網(wǎng)絡(luò)與其他幾種圖像超分辨率網(wǎng)絡(luò)的重構(gòu)結(jié)果對(duì)比;第5節(jié)為本文的結(jié)論。

2 引入多狀態(tài)記憶機(jī)制的迭代軟閾值學(xué)習(xí)算法

2.1 稀疏恢復(fù)問(wèn)題的求解

在稀疏恢復(fù)問(wèn)題中,令待恢復(fù)信號(hào)為z∈RN,假設(shè)其非零元素不超過(guò)K個(gè)(K-稀疏性),D∈RM×N為測(cè)量矩陣或過(guò)完備字典矩陣(M?N),則需要從低維觀測(cè)向量中恢復(fù)未知的稀疏信號(hào):

y=Dz+n

(1)

其中,y∈RM是觀測(cè)向量,n∈RM為噪聲向量。上述問(wèn)題是一個(gè)欠定且病態(tài)的問(wèn)題,不能通過(guò)簡(jiǎn)單的線性運(yùn)算直接求解,常見求解方式是把噪聲條件下的稀疏恢復(fù)問(wèn)題表述為下列無(wú)約束最小化問(wèn)題:

(2)

其中||z||1表示稀疏正則項(xiàng),λ是正則系數(shù)。上述問(wèn)題是一個(gè)經(jīng)典的LASSO問(wèn)題,ISTA是求解該問(wèn)題的典型一階算法,該算法利用第k次迭代時(shí)近似函數(shù)取得最小值的點(diǎn)zk作為下一次迭代的起始點(diǎn),每一步的迭代僅涉及矩陣和向量的乘積及軟閾值的計(jì)算。

ISTA算法被認(rèn)為是梯度算法的一種自然延伸,首先考慮連續(xù)可導(dǎo)的無(wú)約束最小化問(wèn)題:

min{g(z):z∈RN}

(3)

用梯度下降法求解的迭代形式為:

zk+1=zk-tk?g(zk)

(4)

這里tk>0是迭代步長(zhǎng),梯度下降法可以表示成g在點(diǎn)zk處的近端正則化,其等價(jià)形式表示為:

(5)

(6)

忽略式(6)中的常數(shù)項(xiàng)可以得到:

(7)

由于l1范數(shù)是可分的,式(6)最終可寫為

zk+1=hλtk(zk-tk?g(zk))

(8)

(9)

其中zk表示第k次迭代的稀疏估計(jì)值,L通常作為DTD的最大特征值,T表示轉(zhuǎn)置運(yùn)算符。

zk+1=hθ(Szk+Wey),k=1,…,K

(10)

其中兩個(gè)字典矩陣We、S和閾值參數(shù)θ可通過(guò)最小化重構(gòu)誤差的方式來(lái)學(xué)習(xí)優(yōu)化。

2.2 引入多狀態(tài)記憶機(jī)制的迭代軟閾值學(xué)習(xí)算法

值得注意的是,公式(2)中的稀疏恢復(fù)問(wèn)題的目標(biāo)函數(shù)是凸函數(shù),該問(wèn)題屬于約束最小化問(wèn)題的一種情況:

(11)

其中f:RN→R表示包括l-光滑函數(shù)和u-強(qiáng)凸函數(shù)在內(nèi)的一系列問(wèn)題[20],一階迭代固定步長(zhǎng)算法[17-19]一般適用于解決上述問(wèn)題。類似于加速近端梯度法的思想,一階迭代固定步長(zhǎng)算法利用先前V次迭代中近似函數(shù)取得最小值的點(diǎn),將這些點(diǎn)通過(guò)步長(zhǎng)γ加權(quán)表示為新點(diǎn)yk,作為下一次迭代的起始點(diǎn),使得下一步的梯度更新方向與當(dāng)前的梯度方向不要相差太大,能夠有效加速迭代點(diǎn)的收斂,其具體求解形式為:

(12)

其中α,βj,γj是(固定)步長(zhǎng),V(≥0)被稱為度數(shù)?；谝浑A迭代固定步長(zhǎng)算法的求解思想,本文提出多狀態(tài)記憶機(jī)制并應(yīng)用到LISTA框架中,其具體數(shù)學(xué)表達(dá)式為:

zk+1=hθ(Sqk+Wey)

(13)

其中權(quán)系數(shù)γi和矩陣S是相互獨(dú)立的可學(xué)習(xí)參數(shù),VLISTA-MM被定義為模型的狀態(tài)連接度數(shù)。本文將每一次更新的迭代點(diǎn)稱為一個(gè)迭代狀態(tài),狀態(tài)連接度數(shù)決定每次迭代需要記憶的先前狀態(tài)個(gè)數(shù)。多狀態(tài)記憶機(jī)制是一種信息記憶與傳遞機(jī)制,針對(duì)LISTA每次迭代只依賴于前一迭代狀態(tài)對(duì)算法收斂速度的限制,通過(guò)狀態(tài)連接度數(shù)設(shè)置需要記憶的狀態(tài)個(gè)數(shù),在模型迭代更新時(shí),靈活地記憶并傳遞多個(gè)迭代狀態(tài)的信息,并利用權(quán)系數(shù)γ加權(quán)得到新狀態(tài)點(diǎn)qk,將其作為下一次迭代的起始點(diǎn),確保了迭代過(guò)程中不會(huì)出現(xiàn)過(guò)大的偏差,加快了迭代點(diǎn)向期望值收斂的速度。

將上式軟閾值函數(shù)中的qk用狀態(tài)加權(quán)和代入,并合并權(quán)系數(shù)γi和矩陣S,式(13)可重新表示為:

(14)

式中Wi=γiS是迭代點(diǎn)zi的可學(xué)習(xí)權(quán)值矩陣。與LISTA相同,通過(guò)最小化重構(gòu)誤差優(yōu)化更新矩陣We和Wi。圖1展示了LISTA-MM的網(wǎng)絡(luò)部分展開結(jié)構(gòu)。為了方便觀察,圖中只保留了與迭代點(diǎn)zk+1有關(guān)的連接?？梢钥闯?先前的迭代狀態(tài)通過(guò)權(quán)值矩陣被選擇和傳遞到當(dāng)前迭代中,靈活地組合這些迭代狀態(tài)的信息,從而減小了迭代過(guò)程中的估計(jì)偏差帶來(lái)的影響,提高稀疏估計(jì)的效率和正確性。

圖1 LISTA-MM網(wǎng)絡(luò)的部分展開結(jié)構(gòu)Fig.1 The partially unfolded network structure of LISTA-MM

3 LISAT-MM在圖像超分辨率的應(yīng)用

圖像超分辨率的目的是由一張低分辨率圖像ILR重構(gòu)出對(duì)應(yīng)的高分辨率圖像ISR。從稀疏的角度來(lái)看,低分辨圖像(高分辨圖像)可以被表示為過(guò)完備字典Dl(Dh)中少量原子的線性組合,這些原子被稱為線性稀疏系數(shù)gl(gh)∈RN。當(dāng)字典Dl和Dh被正確定義時(shí),假設(shè)每個(gè)低分辨圖像/高分辨圖像對(duì)共享相同的稀疏編碼,圖像超分辨率可以表示為形如公式(2)的稀疏編碼問(wèn)題,本節(jié)將探索卷積形式的LISTA-MM在圖像超分辨率中的應(yīng)用。

利用卷積運(yùn)算符代替矩陣乘法,公式(14)可以被重新表述為卷積結(jié)構(gòu)形式,其類似于文獻(xiàn)[21]提出的一個(gè)稀疏自動(dòng)編碼器模型:

(15)

為了簡(jiǎn)化計(jì)算和提高效率,這里令所有迭代層都共享同一個(gè)卷積算子S,分離出相互獨(dú)立的權(quán)重系數(shù)分別用w0,w1,w2,…,wV表示。在非負(fù)稀疏編碼的假設(shè)下,非負(fù)軟閾值函數(shù)和ReLU激活函數(shù)被認(rèn)為是等效函數(shù)。因此,將hθ(x)替代成ReLU(x-θ),卷積LISTA-MM模塊可以采用深度學(xué)習(xí)技術(shù)訓(xùn)練:

(16)

此時(shí)?表示卷積算子,y∈Rb×c×h×w表示通道數(shù)為c、尺寸為h×w的b幅圖像,We∈Rm×c×s1×s1和S∈Rm×c×s1×s1是兩個(gè)互不相關(guān)的可訓(xùn)練變量,s1表示卷積濾波器的卷積核大小。卷積LISTA-MM的展開結(jié)構(gòu)如圖2所示,這里以第k+1次迭代的展開為例。

圖2 卷積LISTA-MM的部分展開結(jié)構(gòu)Fig.2 The partially unfolded architecture of the convolutional LISTA-MM

圖像超分辨率網(wǎng)絡(luò)的整體構(gòu)成如圖3所示,主要分為特征提取、LISTA-MM和重構(gòu)三大模塊。特征提取模塊和重構(gòu)模塊均由卷積層和ReLU激活算子組成,分別提取圖像的低維特征和高維特征。中間LISTA-MM模塊通過(guò)遞歸方式學(xué)習(xí)更新特征圖的稀疏編碼。該網(wǎng)絡(luò)的初始輸入是插值后的低分辨率圖像ILR,經(jīng)過(guò)網(wǎng)絡(luò)重構(gòu)出期望的高分辨率圖像ISR。

圖3 圖像超分辨率網(wǎng)絡(luò)的整體結(jié)構(gòu)Fig.3 The architecture of the image super-resolution network

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文所提算法的有效性,本文將選取仿真數(shù)據(jù)和自然場(chǎng)景圖像數(shù)據(jù)集[22-23]分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)分為兩個(gè)部分:首先,本文所提LISTA-MM算法與LISTA及其衍生的幾種迭代軟閾值學(xué)習(xí)算法進(jìn)行比較,驗(yàn)證多狀態(tài)記憶機(jī)制在提高稀疏恢復(fù)收斂速度方面的有效性。其次,本文將卷積LISTA-MM應(yīng)用到圖像超分辨率網(wǎng)絡(luò)中,并與現(xiàn)有的一些圖像超分辨率網(wǎng)絡(luò)進(jìn)行比較。

4.1 仿真信號(hào)稀疏恢復(fù)4.1.1 數(shù)據(jù)集及實(shí)驗(yàn)細(xì)節(jié)

(17)

其中z是作為參照的稀疏信號(hào),[||·||]表示能量的期望值。本節(jié)實(shí)驗(yàn)采用歸一化均方誤差(Normalized Mean Square Error,NMSE)作為主要評(píng)價(jià)指標(biāo),以便更直觀地反映稀疏恢復(fù)算法的性能:

NMSE=10log10

(18)

為了驗(yàn)證本文所提LISTA-MM在仿真數(shù)據(jù)上的有效性,實(shí)驗(yàn)將公式(14)中的狀態(tài)連接度數(shù)VLISTA-MM分別設(shè)置為1～4,訓(xùn)練不同的LISTA-MM模型(分別表示為L(zhǎng)ISTA-MM1,LISTA-MM2,LISTA-MM3,LISTA-MM4),討論了多狀態(tài)記憶機(jī)制對(duì)收斂速度的影響,并且將其與LISTA和文獻(xiàn)[15-16]提出的稀疏恢復(fù)算法(本文分別稱之為L(zhǎng)ISTA-CP[15],LISTA-CPSS[15],TiLISTA[16])進(jìn)行比較。實(shí)驗(yàn)環(huán)境為PyTorch和MATLAB R2017b,模型建立在PyTorch上,采取Adam優(yōu)化器并將初始學(xué)習(xí)率設(shè)為0.02。

4.1.2 仿真信號(hào)稀疏恢復(fù)結(jié)果

為了探究多狀態(tài)記憶機(jī)制對(duì)稀疏恢復(fù)收斂速度的影響,本節(jié)實(shí)驗(yàn)首先預(yù)訓(xùn)練LISTA模型,并將預(yù)訓(xùn)練參數(shù)固定,從頭訓(xùn)練LISTA-MM模型,只更新公式(14)中的權(quán)重矩陣Wi。圖4展示了不同噪聲條件下LISTA-MM與LISTA算法的稀疏恢復(fù)性能結(jié)果,其中x軸表示迭代次數(shù),y軸表示NMSE,以分貝(dB)為單位。從圖4可以看出,在不同SNR水平下,與LISTA相比,LISTA-MM達(dá)到同等大小的NMSE值所需的迭代次數(shù)更少,從而驗(yàn)證其在加快收斂速度方面的有效性,且隨著SNR的增大,這種優(yōu)勢(shì)更為明顯。另外,從圖4 (d)可以看出,當(dāng)稀疏恢復(fù)結(jié)果開始趨于穩(wěn)定時(shí),LISTA-MM的恢復(fù)誤差比LISTA低3～10 dB。

圖4 不同信噪比水平下,LISTA-MM和LISTA的稀疏恢復(fù)性能結(jié)果(LISTA-MM模型的數(shù)字后綴表示狀態(tài)連接度數(shù))Fig.4 Sparse recovery performance results of LISTA-MM and LISTA at different SNR levels (the digital suffix of LISTA-MM model represents the state connection degree)

為了進(jìn)一步探究LISTA-MM的性能表現(xiàn),本文進(jìn)行無(wú)預(yù)訓(xùn)練模型實(shí)驗(yàn),分別從頭訓(xùn)練LISTA模型和LISTA-MM模型,并與LISTA-CP、LISTA-CPSS、TiLISTA進(jìn)行比較。圖5展示了不同噪聲條件下上述算法的稀疏恢復(fù)性能結(jié)果。從圖中可知,當(dāng)SNR=15 dB,LISTA-MM的收斂速度明顯優(yōu)于其他四種算法。當(dāng)SNR≥20 dB時(shí),LISTA-MM和LISTA-CP的NMSE結(jié)果較為接近,收斂速度相當(dāng),且性能明顯優(yōu)于其他三種算法。

圖5 不同信噪比水平下,LISTA-MM和LISTA,LISTA-CP,LISTA-CPSS,TiLISTA的稀疏恢復(fù)性能結(jié)果(LISTA-MM模型的數(shù)字后綴表示狀態(tài)連接度數(shù))Fig.5 Sparse recovery performance results of LISTA-MM and LISTA,LISTA-CP,LISTA-CPSS,TiLISTA at different SNR levels (the digital suffix of LISTA-MM model represents the state connection degree)

此外,本文還展示了LISTA和LISTA-MM算法重構(gòu)信號(hào)的可視化對(duì)比結(jié)果,如圖6所示,其中x軸表示序列長(zhǎng)度,y軸表示信號(hào)幅度。從圖中可以看出,LISTA-MM算法的重構(gòu)信號(hào)基本恢復(fù)了信號(hào)的稀疏信息,并且相較于LISTA,其信號(hào)幅度更接近原始稀疏信號(hào),重構(gòu)誤差更低。綜上所述,實(shí)驗(yàn)結(jié)果表明,多狀態(tài)記憶機(jī)制的引入不僅可以加快算法的收斂速度,還能提高信號(hào)的稀疏恢復(fù)精度。

4.2 圖像超分辨率重建結(jié)果

參照現(xiàn)有的圖像超分辨率網(wǎng)絡(luò),本節(jié)實(shí)驗(yàn)使用與文獻(xiàn)[28]相同的訓(xùn)練集。該訓(xùn)練集共291張自然場(chǎng)景圖像,分別來(lái)自文獻(xiàn)[22]和Berkeley分割數(shù)據(jù)集[23]。由于訓(xùn)練圖像具有局限性,訓(xùn)練前本文采用數(shù)據(jù)增強(qiáng)方式,使用MATLAB R2017a對(duì)訓(xùn)練集進(jìn)行不同尺度(×2,×3,×4)的下采樣,并訓(xùn)練了一個(gè)圖像超分辨率網(wǎng)絡(luò)模型。實(shí)驗(yàn)使用的測(cè)試集是Set5[24],Set14[25],BSD100[23],Urban100[26],并將圖像由RGB顏色空間變換到Y(jié)CbCr顏色空間,在Y通道上計(jì)算峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural Similarity,SSIM)作為實(shí)驗(yàn)評(píng)價(jià)指標(biāo),其中PSNR值越大表示重構(gòu)圖像失真越少,SSIM值越大表示兩幅圖像相似度越高,重構(gòu)圖像質(zhì)量越好。

本節(jié)實(shí)驗(yàn)采用卷積LISTA-MM(狀態(tài)連接度數(shù)VLISTA-MM設(shè)置為4)搭建圖像超分辨率網(wǎng)絡(luò),將該網(wǎng)絡(luò)的重建圖像和實(shí)驗(yàn)評(píng)估指標(biāo)與現(xiàn)有的一些圖像超分辨率網(wǎng)絡(luò)進(jìn)行比較。本節(jié)實(shí)驗(yàn)中網(wǎng)絡(luò)迭代層數(shù)設(shè)置為25,實(shí)驗(yàn)環(huán)境為PyTorch,在NVIDIA Titan Xp gpu下進(jìn)行訓(xùn)練,使用Adam優(yōu)化器和圖像超分辨率網(wǎng)絡(luò)訓(xùn)練常用的l1損失函數(shù),初始學(xué)習(xí)率設(shè)置為4×10-4,每訓(xùn)練10個(gè)階段減半,共訓(xùn)練了35個(gè)階段。

實(shí)驗(yàn)對(duì)LISTA-MM與雙三次插值算法,以及文獻(xiàn)[27-31]中的圖像超分辨率網(wǎng)絡(luò)進(jìn)行比較(本文分別依次稱為Bicubic、SRCNN[27]、VDSR[28]、DRCN[29]、DRRN[30]和MemNet[31]),實(shí)驗(yàn)評(píng)估指標(biāo)在MATLAB中計(jì)算。表1總結(jié)了上述網(wǎng)絡(luò)在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)定量結(jié)果(在尺度因子分別為2,3,4時(shí),數(shù)據(jù)集Set5,Set14,BSD100和Urban10的PSNR/SSIMs平均值),最佳性能用加粗?jǐn)?shù)字表示。從表中可以看出,基于LISTA-MM的圖像超分辨率網(wǎng)絡(luò)在四個(gè)數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)均優(yōu)于其他六種網(wǎng)絡(luò)。此外,圖7展示了不同網(wǎng)絡(luò)下圖像超分辨率的可視化結(jié)果。從圖中可以看出,其他六種網(wǎng)絡(luò)容易被明顯的偽影影響,重建圖像出現(xiàn)不正確的紋理和過(guò)于平滑的邊緣。相較其他六種網(wǎng)絡(luò),LISTA-MM的重構(gòu)圖像更清晰,細(xì)節(jié)紋理信息更豐富準(zhǔn)確。實(shí)驗(yàn)結(jié)果表明,基于LISTA-MM的網(wǎng)絡(luò)在評(píng)價(jià)指標(biāo)和可視化效果上均優(yōu)于其他網(wǎng)絡(luò),證明了卷積LISTA-MM在圖像超分辨率中的優(yōu)勢(shì)。

圖6 LISTA和LISTA-MM算法的重構(gòu)信號(hào)可視化結(jié)果(SNR=25 dB,迭代層數(shù)等于20)Fig.6 Visualization of recovered signal of LISTA and LISTA-MM (SNR=25 dB,iterative layer equals to 20)

表1 不同網(wǎng)絡(luò)下標(biāo)準(zhǔn)數(shù)據(jù)集測(cè)試結(jié)果(最佳性能用加粗?jǐn)?shù)字表示)

圖7 圖像可視化結(jié)果比較Fig.7 Comparison of image visualization results

5 結(jié)論

本文基于LISTA框架引入一種多狀態(tài)記憶機(jī)制,設(shè)置狀態(tài)連接度數(shù),使多個(gè)先前迭代點(diǎn)通過(guò)可學(xué)習(xí)權(quán)值矩陣組合連接到當(dāng)前迭代,從而確保了信息利用的正確性與高效性,達(dá)到加速算法收斂的目的。實(shí)驗(yàn)結(jié)果表明,在同等誤差范圍內(nèi),LISTA-MM所需的迭代次數(shù)少于LISTA及其衍生算法,從而驗(yàn)證LISTA-MM在加快收斂速度方面的有效性。此外,本文擴(kuò)展LISTA-MM的卷積形式并將其應(yīng)用于圖像超分辨率中,相應(yīng)的實(shí)驗(yàn)結(jié)果展示出該網(wǎng)絡(luò)在重構(gòu)高分辨率圖像中的優(yōu)勢(shì)。