基于自適應(yīng)分?jǐn)?shù)階全變分的超分辨率圖像重建

劉亞男，彭仁勇，王 琳

(中國(guó)核動(dòng)力研究設(shè)計(jì)院，四川 成都 610213)

0 引 言

超分辨率圖像重建是利用數(shù)字信號(hào)處理技術(shù)，將一幅或者多幅低分辨率(Low Resolution, LR)圖像重建得到高分辨率(High Resolution, HR)圖像的技術(shù)[1]。該技術(shù)在不改變當(dāng)前成像硬件設(shè)施的前提下，通過(guò)對(duì)圖像信號(hào)進(jìn)行后期處理來(lái)提高圖像質(zhì)量，大大降低了成本，具有廣闊的應(yīng)用前景。在醫(yī)學(xué)、視頻監(jiān)控、衛(wèi)星圖像、軍事偵查、在線(xiàn)故障檢測(cè)等領(lǐng)域具有重要的應(yīng)用價(jià)值。但是在大多數(shù)情況下，人們只能獲取一幅低分辨率圖像，本文所研究的就是利用單幅圖像進(jìn)行重建。

目前超分辨率圖像重建的方法主要分為3類(lèi)[2-3]：基于插值的方法、基于學(xué)習(xí)的方法和基于重建的方法?；诓逯档姆椒ú僮骱?jiǎn)單且運(yùn)算速度較快，但是重建效果較差，常用作圖像的預(yù)處理。基于學(xué)習(xí)的方法也是近年來(lái)研究的熱點(diǎn)，但該方法需要離線(xiàn)方式下對(duì)圖像訓(xùn)練樣本進(jìn)行學(xué)習(xí)，該過(guò)程比較耗時(shí)，除此之外，重建結(jié)果的好壞很大程度上也依賴(lài)于輸入圖像的信息是否在訓(xùn)練樣本中?；谥亟ǖ姆椒ㄊ窃诮D像退化模型的基礎(chǔ)上進(jìn)行建模計(jì)算，可以在短時(shí)間內(nèi)重建得到較好的高分辨率圖像。本文主要研究基于重建方法中最有效的基于正則化的重建方法。

在重建之前，先分析相關(guān)原理和模型，了解HR圖像退化成LR圖像的過(guò)程，才能對(duì)其進(jìn)行逆操作，即圖像重建。Elad[4]建立了HR和LR圖像之間的退化模型，簡(jiǎn)化后為Y=DHX+n。其中D是下采樣(down sampling)因子，H是模糊(blur)因子,n是噪聲(noise)，X是高分辨率圖像，Y是低分辨率圖像。超分辨率圖像重建就是對(duì)上式進(jìn)行反運(yùn)算，將含有模糊和噪聲的LR圖像放大一定的倍數(shù)，同時(shí)在放大過(guò)程中對(duì)不確定或者不精確的像素點(diǎn)進(jìn)行填充，使圖像具有較豐富的細(xì)節(jié)[2]。但也因?yàn)椴淮_定因素的影響，使得該逆求解是一病態(tài)逆問(wèn)題，對(duì)于該問(wèn)題，Tikhonov[5]首先使用正則化進(jìn)行求解，即添加已有的附加信息作為正則化項(xiàng)，進(jìn)行約束求解。全變分(Total Variation, TV)正則化項(xiàng)可以在抑制重建圖像噪聲的同時(shí)，銳化邊緣，但由于TV是基于圖像局部信息重建的算子，因此應(yīng)用其重建出的圖像容易出現(xiàn)階梯效應(yīng)。和整數(shù)階正則化項(xiàng)TV不同的是，分?jǐn)?shù)階全變分(Fractional Order Total Variation, FOTV)在某個(gè)點(diǎn)附近的導(dǎo)數(shù)是不確定的，因此FOTV的本質(zhì)是非局部的，它的階次是1到2之間的分?jǐn)?shù)，選擇合適的階次可以在保護(hù)圖像高頻信息的同時(shí)，非線(xiàn)性地保留圖像的低頻信息[6-7]。

基于正則化方法的超分辨率圖像重建有2個(gè)關(guān)鍵問(wèn)題[6,8]，其一是正則化項(xiàng)的設(shè)計(jì)，其二是對(duì)優(yōu)化函數(shù)的求解。為了重建得到邊緣清晰、紋理細(xì)節(jié)豐富的高分辨率圖像，本文采用TV和FOTV雙正則化項(xiàng)約束解空間，并且根據(jù)圖像的特征自適應(yīng)地選擇FOTV的階次，結(jié)合TV和自適應(yīng)FOTV的優(yōu)點(diǎn)，提高圖像的重建質(zhì)量。采用交替方向乘子算法(ADMM)將優(yōu)化函數(shù)劃分為多個(gè)子問(wèn)題求解，利用TV和FOTV算子作為循環(huán)矩陣，通過(guò)傅里葉變換將其對(duì)角化，降低求解的復(fù)雜度，重建得到高分辨率圖像。

1 優(yōu)化函數(shù)構(gòu)造

1.1 TV正則化項(xiàng)

全變分是超分辨率圖像重建中常用的正則化算子，因?yàn)樗梢员３謭D像的邊緣信息。假設(shè)X為單幅圖像，可表示為[9]：

ΥTV(X)=‖X‖1

(1)

對(duì)于二維圖像的像素點(diǎn)，用矩陣差分表示為：

(2)

其中，i、j表示像素點(diǎn)的位置。

全變分還可以表示為：

(3)

其中，DxX、DyX為圖像X在2個(gè)方向的梯度分量。

根據(jù)前述分析的退化模型，將全變分應(yīng)用到超分辨率圖像重建問(wèn)題中，可以表示為：

(4)

全變分算子作為先驗(yàn)知識(shí)進(jìn)行約束，使重建圖像有較高的精度，具有各項(xiàng)異性的平滑作用，梯度計(jì)算可以較好地保護(hù)圖像的邊緣信息。并且與不含噪圖像的TV相比，含噪圖像的TV要大很多。因此，通過(guò)限制TV的值就可以限制圖像中的噪聲[6]。但是，全變分算子對(duì)灰度值是分段常數(shù)的圖像的處理效果較好，其在平滑區(qū)域的處理效果相對(duì)較差，容易出現(xiàn)階梯效應(yīng)，并且它在去除噪聲的過(guò)程中，一些細(xì)節(jié)信息容易被過(guò)濾掉，降低重建圖像的質(zhì)量。

1.2 FOTV正則化項(xiàng)

為了彌補(bǔ)全變分的缺陷，許多高階全變分算子被提出，但高階項(xiàng)的使用容易產(chǎn)生斑點(diǎn)狀噪聲[10]。因此，作為全變分和高階全變分算子性能折中的分?jǐn)?shù)階全變分自提出就備受青睞。分?jǐn)?shù)階全變分用于圖像處理時(shí)，可以提高圖像的高頻信息，也就是邊緣和紋理細(xì)節(jié)部分，同時(shí)保留低頻信息，也就是圖像灰度值變化較小的區(qū)域。

通過(guò)分?jǐn)?shù)階微分構(gòu)造FOTV算子，分?jǐn)?shù)階全變分同樣由2個(gè)方向的分?jǐn)?shù)階微分構(gòu)成。本文根據(jù)Grümwald-Letnikov(G-L)中的定義[11]構(gòu)造分?jǐn)?shù)階微分。分?jǐn)?shù)階微分定義為[12]：

(5)

(6)

其中Γ為伽馬函數(shù)，定義為：

(7)

(8)

(9)

(10)

因此分?jǐn)?shù)階全變分可以表示為[7]：

(11)

其中，v取值1

分?jǐn)?shù)階微分可以看作是整數(shù)階微分的推廣，本文從頻域的角度繪出分?jǐn)?shù)階微分的幅度隨頻率變化的曲線(xiàn)如圖1所示。從圖1可以看出，不同階次的分?jǐn)?shù)階微分算子都可以加強(qiáng)信號(hào)，并且隨著頻率增大，呈非線(xiàn)性地增長(zhǎng)。對(duì)于高頻信號(hào)來(lái)說(shuō)，分?jǐn)?shù)階的階次選擇得越大，信號(hào)的增強(qiáng)作用越大，但是對(duì)于低頻信號(hào)來(lái)說(shuō)，較小的分?jǐn)?shù)階階次，可以更好地保護(hù)信號(hào)。根據(jù)上述思想構(gòu)造FOTV，選擇合適的分?jǐn)?shù)階階次，可以在加強(qiáng)高頻信號(hào)的同時(shí)，非線(xiàn)性地保留低頻信號(hào)，更好地重建出圖像的紋理細(xì)節(jié)信息[6]。

圖1 分?jǐn)?shù)階微分的幅頻特性曲線(xiàn)

1.3 FOTV階次自適應(yīng)選擇

在選擇分?jǐn)?shù)階全變分階次之前，要首先分析結(jié)構(gòu)張量，構(gòu)造紋理檢測(cè)函數(shù)，再分析圖像不同區(qū)域的紋理和平滑程度，從而根據(jù)圖像的紋理和平滑程度，自適應(yīng)地選擇FOTV的階次，對(duì)高頻紋理和邊緣信息選擇較高的階次，對(duì)低頻的平滑信息選擇較低的階次。

假設(shè)f是輸入的圖像，即需要進(jìn)行紋理提取的圖像。原始的結(jié)構(gòu)張量的定義是[13]：

(12)

其中Gρ是標(biāo)準(zhǔn)差為ρ的高斯核，可以降低噪聲對(duì)求導(dǎo)運(yùn)算的影響。f的下標(biāo)表示的是對(duì)f進(jìn)行水平或垂直方向的偏導(dǎo)。

在傳統(tǒng)結(jié)構(gòu)張量思想的基礎(chǔ)上，構(gòu)造基于圖像一階和二階微分的向量u=(u1,u2,u3,u4,u5,u6)，向量u包含了不同方向的紋理信息，具體定義為[14]：

(13)

因此，定義紋理檢測(cè)函數(shù)為[14]：

(14)

其中k是對(duì)比因子，且為常數(shù)，用來(lái)調(diào)整圖像紋理和平滑的對(duì)比程度。Λ(x,y)是公式(15)幾何矩陣Λ的最大特征值。

(15)

對(duì)于公式(14)所示的紋理檢測(cè)函數(shù)，在圖像的平滑區(qū)域，圖像的一階二階微分接近于0，即u的元素接近于0，從而Λ(x,y)接近于0，紋理檢測(cè)函數(shù)g(x,y)接近于1。在圖像的紋理區(qū)域，u至少有1個(gè)元素的值比較大，從而導(dǎo)致Λ(x,y)無(wú)窮大，紋理檢測(cè)函數(shù)g(x,y)接近于0。圖2是利用紋理檢測(cè)函數(shù)對(duì)圖像的檢測(cè)結(jié)果，可以看出，利用紋理檢測(cè)函數(shù)可以準(zhǔn)確清楚地衡量圖像特征。

圖2 采用紋理檢測(cè)函數(shù)的紋理效果圖

因此根據(jù)紋理檢測(cè)函數(shù)g(x,y)選擇圖像不同區(qū)域的分?jǐn)?shù)階全變分的階次1

v(x,y)=1+δ(1-g(x,y))

(16)

其中δ是常數(shù)。但是對(duì)一幅M×N大小的圖像進(jìn)行FOTV階次的自適應(yīng)選擇，就會(huì)有M×N個(gè)不同的階次，導(dǎo)致重建的運(yùn)算量很大。因此為了減少重建的運(yùn)算量，對(duì)M×N個(gè)FOTV的階次進(jìn)行分段，降低運(yùn)算量。

1.4 優(yōu)化函數(shù)

前文所述優(yōu)化函數(shù)為：

Y=DHX

(17)

本文采用正則化方法求解，并選擇全變分和自適應(yīng)全變分作為正則化項(xiàng)約束解空間，使重建的圖像邊緣清晰并具有豐富的紋理細(xì)節(jié)信息，則優(yōu)化函數(shù)為：

(18)

其中，第1項(xiàng)是保真項(xiàng)，衡量重建結(jié)果的誤差，表示重建結(jié)果圖像和原始圖像的擬合程度。第2項(xiàng)和第3項(xiàng)是正則化項(xiàng)，μ和θ是正則化參數(shù)，用來(lái)調(diào)節(jié)各項(xiàng)所占比重。v是自適應(yīng)選擇的分?jǐn)?shù)階階次，可根據(jù)式(16)得到。根據(jù)式(18)可重建得到高分辨率圖像。

2 優(yōu)化算法

對(duì)圖像重建的優(yōu)化函數(shù)求解時(shí)，由于超分辨率圖像重建的優(yōu)化函數(shù)中包括下采樣因子，導(dǎo)致在使用交替方向乘子算法(ADMM)求解的過(guò)程中，子問(wèn)題求解時(shí)快速傅里葉變換無(wú)法使用，而采用其他算法(如共軛梯度法)又會(huì)使運(yùn)算時(shí)間加長(zhǎng)，實(shí)時(shí)性降低。針對(duì)這一問(wèn)題，本文首先利用近端映射的理論，將優(yōu)化函數(shù)分解為2步進(jìn)行求解。從而第2步中不含有下采樣因子，就轉(zhuǎn)化為了去噪的問(wèn)題[6]，即：

(19)

在實(shí)際進(jìn)行迭代運(yùn)算時(shí)，應(yīng)對(duì)Y更新，更新方式為：

Y(n+1)=Y(n)+(Y-DHX(n+1))

(20)

從而在對(duì)公式(19)中的第2步采用ADMM方法時(shí)，其子問(wèn)題可以通過(guò)快速傅里葉變換進(jìn)行求解，降低了計(jì)算的復(fù)雜程度[6]。

LA1(X,Z,Q,λ1,λ2)=μ‖Z‖1+λ1(X-Z)+

(21)

其中λ1、λ2是增廣拉格朗日系數(shù)矩陣。

公式(21)中包含3個(gè)變量，求解其中一個(gè)時(shí)，將其他2個(gè)變量固定，化為如下3個(gè)子問(wèn)題進(jìn)行求解。

(22)

增廣拉格朗日系數(shù)矩陣更新如下：

(23)

(24)

子問(wèn)題1根據(jù)公式(22)得求解Z(n+1)的能量函數(shù)并轉(zhuǎn)化為：

(25)

采用迭代收縮閾值(IST)[15]進(jìn)行求解,即：

Z(n+1)=shrink(

(26)

子問(wèn)題2與子問(wèn)題1處理方式相同，即：

(27)

子問(wèn)題3根據(jù)公式(22)得求解X(n+1)的能量函數(shù)并轉(zhuǎn)化為：

(28)

在X處對(duì)公式(28)進(jìn)行求導(dǎo)，并令導(dǎo)數(shù)為0，推導(dǎo)得：

(29)

圖3 算法總流程圖

算法總流程如圖3所示。輸入一幅低分辨率圖像，首先對(duì)圖3算法中的參數(shù)進(jìn)行初始化，利用1.3節(jié)的紋理檢測(cè)函數(shù)自適應(yīng)地確定各像素點(diǎn)的階次。其次利用近端映射將優(yōu)化函數(shù)轉(zhuǎn)化為2步求解的方式，即式(19)，采用ADMM算法將式(19)的第2步劃分為3個(gè)子問(wèn)題(Z,Q,X)，并按照上述分析分別進(jìn)行優(yōu)化求解，最終求得X。更新參數(shù)并進(jìn)行迭代，直到滿(mǎn)足迭代終止條件，輸出重建的高分辨率圖像X。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 不同圖像的2倍放大重建效果

在選擇測(cè)試圖時(shí)，考慮到圖像的紋理和平滑程度，本文選擇4幅256×256像素的圖像，分別為Fingerprint、Pentagon、Lena、Girl。Pentagon和Fingerprint圖像整體來(lái)看，紋理細(xì)節(jié)信息較多。Lena作為經(jīng)典的圖像測(cè)試圖，其包含了豐富的紋理信息和平滑信息，Girl圖像雖紋理平滑兼具，但是相比之下平滑信息較多一些。將選擇的測(cè)試圖按照前文所述的退化模型進(jìn)行降質(zhì)，模擬生成作為輸入的LR圖像。對(duì)這4幅圖分別進(jìn)行2:1下采樣，加高斯模糊核，得到低分辨率圖像，然后作為輸入再進(jìn)行對(duì)應(yīng)的2倍放大重建。其中相關(guān)參數(shù)選擇：迭代閾值tol=10-4。分別用雙線(xiàn)性插值方法、Tikhonov方法[5]、基于學(xué)習(xí)方法中具有代表性的Yang稀疏表示方法(ScSR)[17]、基于全變分的2步迭代方法(TwIST+TV)[18]和本文方法對(duì)圖像進(jìn)行重建，并根據(jù)重建圖像的峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)評(píng)價(jià)重建質(zhì)量。PSNR值越大，表示重建效果越好，SSIM值越大，表示重建圖像和原始圖像越相似，其最大值是1。

從表1、表2可以看出，在2倍放大時(shí)，本文方法相比于其他幾種方法，在PSNR值和SSIM值上有一定的提升，改善了圖像的重建質(zhì)量。尤其是Fingerprint圖像，重建結(jié)果較其他方法改善較大。主要是因?yàn)镕ingerprint圖像的平滑和紋理特征較明顯且容易檢測(cè)，本文方法自適應(yīng)地選擇了合適的分?jǐn)?shù)階階次，保護(hù)低頻信號(hào)的同時(shí)非線(xiàn)性地放大了高頻信號(hào)，改善了圖像重建質(zhì)量。

表1 2倍放大重建時(shí)PSNR值對(duì)比 單位：dB

表2 2倍放大重建時(shí)SSIM值對(duì)比

圖像雙線(xiàn)性插值TikhonovScSRTwIST+TV本文方法Fingerprint0.5230.7010.7820.9660.993Pentagon0.4440.6070.6330.7640.859Lena0.6620.7720.7860.8770.916Girl0.7330.8310.8450.9100.937

3.2 不同放大倍數(shù)的圖像重建效果

選擇256×256像素Fingerprint圖像，并進(jìn)行2:1、3:1、4:1、5:1下采樣，加高斯模糊核，得到低分辨率圖像，然后作為輸入再進(jìn)行對(duì)應(yīng)的2倍、3倍、4倍、5倍放大重建，對(duì)結(jié)果進(jìn)行比較。

從表3、表4可以看出，隨著放大倍數(shù)增加，各種方法的重建質(zhì)量都在變差，原因是正則化方法是利用自身現(xiàn)有較少的信息重建估計(jì)未知的像素點(diǎn)，而輸入的低分辨率圖的本身信息又是有限的。因此隨著放大倍數(shù)增加，重建質(zhì)量變差。但是從PSNR和SSIM值來(lái)看，本文方法重建效果依然優(yōu)于其他幾種方法。

表3 Fingerprint圖像不同放大倍數(shù)重建時(shí)PSNR值對(duì)比 單位：dB

表4 Fingerprint圖像不同放大倍數(shù)重建時(shí)SSIM值對(duì)比

倍數(shù)雙線(xiàn)性插值TikhonovScSRTwIST+TV本文方法20.5230.7010.7820.9660.99330.4350.4840.7090.9020.94440.3420.3420.6290.7370.78550.2890.3320.5060.5650.606

3.3 重建效果主觀(guān)對(duì)比

對(duì)3.1節(jié)中Pentagon圖像2倍放大重建的結(jié)果進(jìn)行觀(guān)察對(duì)比。

從圖4～圖6的重建結(jié)果可以看出，雙線(xiàn)性插值、Tikhonov和ScSR重建圖像的效果較差，和原圖誤差較大，TwIST+TV和本文方法都重建出了大樓圖像的細(xì)節(jié)信息，但是從圖5的誤差圖和圖6細(xì)節(jié)圖可以看出，在大樓樓體部分，本文方法重建圖像更真實(shí)，和原圖的誤差明顯最小，重建質(zhì)量最好。

圖4 Pentagon圖像2倍放大時(shí)不同方法重建效果對(duì)比

圖6 Pentagon圖像2倍放大時(shí)不同方法重建細(xì)節(jié)對(duì)比

4 結(jié)束語(yǔ)

本文采用正則化的方法對(duì)單幅圖像進(jìn)行重建，添加TV和自適應(yīng)FOTV正則化項(xiàng)約束解空間，重建得到高分辨率圖像。與普通FOTV不同的是，自適應(yīng)FOTV利用紋理檢測(cè)函數(shù)檢測(cè)圖像的平滑和紋理程度，根據(jù)圖像不同區(qū)域的不同特征，自適應(yīng)地選擇分?jǐn)?shù)階的階次，在保護(hù)低頻信號(hào)的同時(shí)，非線(xiàn)性地放大高頻信號(hào)，改善了圖像重建質(zhì)量。利用近端映射將優(yōu)化函數(shù)分解為2步，并用ADMM方法將其轉(zhuǎn)化為子問(wèn)題進(jìn)行求解，降低了運(yùn)算的復(fù)雜程度。實(shí)驗(yàn)結(jié)果表明，相比于其他幾種方法，本文方法重建圖像的紋理細(xì)節(jié)信息豐富，特別是對(duì)灰度值變化不大的區(qū)域的重建效果較好，具有一定的實(shí)用性。