正則化超分辨率重建過程的自適應閾值去噪

彭 政，陳東方，王曉峰

(1.武漢科技大學 計算機科學與技術學院,武漢 430065； 2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室(武漢科技大學),武漢 430065) (*通信作者電子郵箱752793520@qq.com)

正則化超分辨率重建過程的自適應閾值去噪

彭 政1,2*，陳東方1,2，王曉峰1,2

(1.武漢科技大學 計算機科學與技術學院,武漢 430065； 2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室(武漢科技大學),武漢 430065) (*通信作者電子郵箱752793520@qq.com)

為了提高正則化超分辨率技術在噪聲環(huán)境下的重建能力，對廣義總變分(GTV)正則超分辨率重建進行了擴展研究，提出了一種自適應閾值去噪的方法。首先，根據GTV正則超分辨率重建算法進行迭代重建；然后，利用推導出的自適應閾值矩陣，對每次迭代產生的代價矩陣進行閾值劃分，小于閾值的對應像素點繼續(xù)迭代，大于閾值的對應像素點被截斷后重新插值并不再參與本輪迭代；最后，程序達到收斂條件時輸出重建結果。實驗結果表明，通過與單一GTV正則重建和自適應參數的方法相比，自適應閾值去噪的方法提高了收斂速度和重建圖像的質量，使正則化超分辨率技術在噪聲環(huán)境下有更好的重建能力。

超分辨率重建；正則化技術；廣義總變分；自適應閾值；圖像去噪

0 引言

由于隨機噪聲、光模糊、采樣頻率和運動變形等因素的影響，成像設備最后得到的常常是視覺效果較差的低分辨率圖像。超分辨率重建(Super-Resolution Reconstruction, SRR)是指利用一張或者多張低分辨率圖像重構出高像素密度、視覺效果好的高分辨率圖像。SRR在無需改變硬件設備的前提下提高了數字圖像的質量，成本低廉、效果好，在醫(yī)療、遙感、軍事等方面有很大的應用價值。

自Tsai等[1]首先提出頻率域的SRR算法后，許多經典空域算法框架及其改進方法被提出，如：迭代反投影(Iterative Backward Projection, IBP)[2]、凸集投影(Projection Onto Convex Sets, POCS)[3]、最大后驗(Maximum A Posterior, MAP)[4]等。由于頻率域算法[1](利用傅里葉變換轉換到頻率域處理)只能用于簡單的平移運動，而空濾算法因能夠處理非線性的運動而成為研究熱點，其中基于MAP的算法框架使用較為廣泛。在基于MAP的算法中，常利用正則項來構造MAP的求解路徑。許多文獻提出了有效的正則項形式。例如：基于馬爾可夫隨機場(Markov Random Field, MRF)正則[5]、Tikhonov正則[6]、總變分(Total Variation, TV)正則[7]以及雙邊總變分(Bilateral Total Variation, BTV)[8]等。

然而在上述這些具有梯度罰函數的正則化方法中，都存在著抑制圖像噪聲與保護圖像細節(jié)信息的矛盾。為了提高重建圖像質量，必須提供更加準確的先驗模型來識別噪聲和邊緣以達到抑制噪聲和保護邊緣的平衡。許多文獻中提出自適應正則項參數的方法[9-11]。此類方法將正則項中一個參數修改為根據先驗知識而自適應調整的參數。還有一些文獻提出根據先驗知識修改代價式中罰項的加權系數[12-14]。這些方法都結合區(qū)域先驗信息實現參數的自適應選取，其改善效果都取決于選擇的先驗模型的準確性。此類方法與一般正則化方法相比提高了去除噪聲保邊緣能力，改善了重建圖像的質量；但同時增加了計算負擔，且其先驗模型的準確性仍可提高。

本文針對正則化超分辨率重建過程噪聲消除的問題，在廣義總變分(General TV, GTV)[15]的基礎上提出一種自適應閾值去噪的方法以改善正則化技術超分辨率重建在噪聲環(huán)境下的重建效果。本文先敘述了MAP算法框架和GTV正則項，將其作為本文的基建算法；然后在此算法的迭代重建過程中加入本文提出的閾值分割模型，并分析了該閾值模型中兩種不同先驗知識受噪聲影響的誤差；最后通過實驗比較驗證了本文自適應閾值分割的方法，相比單一GTV正則化重建和改進的自適應參數方法，重建圖像質量得到改善并加快了迭代收斂。

1 GTV正則技術重建

1.1 MAP求解框架

SRR的目標是從觀測到的已知退化圖像或者圖像序列中重建估計出未知的清晰無噪的高分辨率(High Resolution, HR)圖像。圖像的降質過程表示如下：

yk=Hx+nk

(1)

其中：yk表示第k幀r1×r2大小的帶噪聲的低分辨率(Low Resolution, LR)圖像；x表示大小為r1×N×r2×N的原始HR圖像，N為采樣因子；因為異構的LR圖像其退化模型相同，所以H可用來表示扭曲、模糊、下采樣合成的降質矩陣；nk表示第k幀LR圖像的加性噪聲。因為H為變態(tài)或不可逆矩陣，所以其反問題的求解變得十分困難，往往會因微小的擾動而產生大量噪聲。為了得到一幅視覺上可被接受的HR圖像,常采用MAP算法框架增加正則項來迭代求解。其公式表示如下：

(2)

式中：K為LR圖像序列幀數；β、λ為經驗參數；ln(p(x))為正則項。最終求解HR過程便為最小化代價函數J(x)的過程。

(3)

1.2 GTV正則項

GTV正則是在TV的基礎上進行推廣的正則項，它較BTV更加準確地推廣了TV正則項，其計算式如下：

(4)

綜合式(2)、(4)，最后GTV正則重建的代價式為：

(5)

2 閾值選取

因為在選取參考幀進行初始化估計的時候，LR圖像原本為帶有噪聲的圖片，所以在GTV重建代價式J(x)中的保真項雖然可以抑制重建過程出現的偏差，但并沒有感知噪聲的能力。而在罰項中每個點在鄰域內進行差分計算，若該點在鄰域內存在噪聲或者本身就是噪聲點，則罰項會過大，所以罰項確有感知噪聲的能力。同時若該點為邊緣點，也會相對增加罰項的值，這便是抑制噪聲和保護邊緣細節(jié)的矛盾。由于這種不協調性，需要一種準確的先驗知識甄別圖像中的噪聲和邊緣，使得在重建過程中能夠抑制噪聲而保護邊緣。本文提出一種區(qū)分噪聲值和模型數據的閾值分割模型，直接截斷大于閾值的噪聲點，然后重新插值。這樣只改變了部分噪聲點，從而保持了其他細節(jié)。閾值的獲取公式如下：

T(x0)=

(6)

式中：P×Q表示局部窗口的大?。粁mid為該局部窗口內的中值；ω為經驗參數；x0為像素點。此先驗模型通過某像素點與其感興趣區(qū)域分為以下幾種情況進行比較獲取:

1)若此點是邊緣點或者此區(qū)域比較平滑，則其值都將與區(qū)域中值接近，從而得到的很小平方差作為式(6)中的分子可以擴大閾值。

2)若該點為噪聲點，其值與中值的較大差值則可以縮小閾值。式(6)中,與中值點求差的因子體現了對邊緣點、噪聲點和平滑區(qū)域的識別能力。

3)若此點不是邊緣點，但處在非平滑區(qū)域也要稍微擴大閾值，以防止此點被當作噪聲點處理。式(6)中采用平均絕對離差作為識別非平滑區(qū)域的先驗。因為分母確保為大于1的值，所以若平均絕對離差越大，則獲取的閾值稍微增大，若其值越小，則分子為主要影響源。

在許多文獻中標準差一般是區(qū)分平滑和非平滑區(qū)域的重要先驗知識，但是其計算過程較復雜、誤差較大且其受噪聲影響而產生的誤差不穩(wěn)定，這將會導致閾值計算不穩(wěn)定并且不準確。根據式(6)的特點，只需知處理點與感興趣點變化大小，而不必衡量其整體細節(jié)復雜程度。這使得平均絕對離差適用于此先驗模型。本文采用平均絕對離差可以在穩(wěn)定噪聲干擾的同時保持此先驗知識，可以對標準差和平均絕對離差受噪聲的影響加以分析。

設局部窗口有k個點，在無噪聲干擾的情況下表示為x′=[x1,x2,…,xk]，然后將其中一點用噪聲點n代替，則有噪聲情況下為x″=[x1,x2,…,xk-1,n]。于是得到無噪聲和有噪聲下窗口的均值分別為：

(7)

(8)

其中：μ0、μn分別為無噪聲和有噪聲下均值。在均值中產生的誤差為μe=|μ0-μn|=|s0-sn|。平均絕對離差在兩種情況下可表示為：

(9)

(10)

其中：υ0、υn分別表示無噪聲下和有噪聲下的平均絕對離差。所以其誤差為:

we=|υ0-υn|=|(xk-n)/k|=μe

(11)

同理，方差在無噪聲和有噪聲兩種情況下可分別表示為：

(12)

(13)

其中：σ0、σn分別表示在無噪聲和有噪聲下的標準差。最后方差受噪聲的干擾產生的誤差化簡后為：

(14)

由式(14)可知，在局部窗口中誤差的大小受到窗口大小和窗口均值影響，使得產生的誤差不穩(wěn)定，最終導致閾值不穩(wěn)定。由于k一般為9、25或者更大的正整數，于是式(14)中表達式可以近似為：

(15)

此處假設μ0>μn以消除絕對值進行近似計算，取μ0<μn進行近似計算可以得到同樣的結果。通過推導可知，當窗口k越大標準差最終的誤差也越大。而反觀平均絕對離差，其值在噪聲干擾下產生的誤差大小不隨窗口大小和窗口均值變化而變化；其誤差值小于標準差；其計算式簡單。所以使用平均絕對離差將比使用標準差作為區(qū)分平滑區(qū)和非平滑區(qū)的先驗知識更加準確且其閾值模型性能更加穩(wěn)定。

最后按式(16)迭代重建直到滿足收斂條件。

(16)

式中：X表示迭代重建的圖像矩陣；J表示對X中對應像素點計算后的代價矩陣；T表示對X中像素點計算后的閾值矩陣；W表示X中對應像素點x0的感興趣區(qū)域；median表示取區(qū)域中值；ΔJ(Xn)表示根據最速梯度下降法[16]對式(5)進行梯度計算。式(16)使J中大于閾值的對應像素點被消除，然后取局部窗口中值對這些點進行重新插值，并且不再參與本輪迭代重建，同時使不大于閾值的對應像素點根據最速梯度下降方法迭代重建。算法執(zhí)行流程如下：

步驟1 選取一幀低分辨率圖像作為參考幀，對其余幀進行運動配準。

步驟2 對參考幀進行樣條插值放大作為迭代的初始估計。

步驟3 計算下一次迭代的代價函數J(X)和自適應閾值T(X)。

步驟4 將J(X)與T(X)比較，對大于閾值的點進行重新插值，對小于閾值的點進行最速梯度下降迭代計算，最終得到新的一輪HR估計圖像。

步驟5 判斷此輪迭代是否收斂，如果不收斂則回到步驟3繼續(xù)迭代，如果收斂則輸出本輪HR估計圖像。

3 實驗結果及分析

為了驗證算法的效果和性能，所有算法都在PC(Intel I3 3.69 GHz, RAM 4.0 GB), Matlab 2014a環(huán)境下進行。實驗選取尺寸均為256×256的 Lena、Planet、Books共3幅圖像作為原始圖像，對其進行平移、模糊和降采樣后分別加入均值為0、方差為0.01的高斯噪聲和密度為0.02的椒鹽噪聲。在迭代重建中，局部窗口大小均為5×5，迭代步長為0.1，在誤差達到‖Xn+1-Xn‖2/‖Xn‖2≤10-7時收斂。實驗中所選取高斯噪聲的密度大、噪聲塊小，而椒鹽噪聲密度小，噪聲塊大，使得實驗在兩種噪聲環(huán)境中具有對比性。

本文方法將與樣條插值、GTV重建和文獻[13]中自適應參數的方法進行對比，并選取峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)[17]和平均結構相似度(Mean Structural Similarity Index, MSSIM)[18]兩種指標對重建結果進行綜合評價。PSNR是評價畫質中使用最普遍的量測方法，它能衡量重建圖像對于原圖的失真程度，若PSNR越大則重建效果越好，失真程度小。MSSIM提取場景中的結構信息進行對比，其值的變化與感知圖像質量變化非常接近，若MSSIM越大，則兩幅圖越相似。計算式如下：

PSNR=10lg(s2/MSE)

(17)

(18)

(19)

式中：s為圖片中最大像素點的值；MSE為對比圖像的均方差；M為局部窗口數；μx、μy、σx、σy分別為兩個比較區(qū)域的均值和方差；σxy為協方差。計算平均結構相似度時要將原始圖和重建圖劃分為多個對應局部區(qū)域,先計算局部區(qū)域的結構相似度，然后求其平均值。

圖1、圖2分別為在高斯白噪聲下和椒鹽噪聲下的重建結果。

圖1 高斯噪聲下的SRR結果

圖2 椒鹽噪聲下的SRR結果

從圖1～2視覺效果看，相比單一GTV重建和樣條插值算法，自適應參數GTV方法與本文方法在高斯噪聲中的重建結果感官效果更好，而本文的方法相比自適應參數方法顯得更加平滑。在椒鹽噪聲下的重建圖像中，自適應參數的方法減少了噪聲點且減小了噪聲塊，而本文方法不僅減少噪聲點，而且去除了部分噪聲塊。相比高斯噪聲下的結果，本文方法在噪聲點密度較小的圖像中有更好去噪效果。

表1、表2分別為高斯噪聲和椒鹽噪聲下，各方法對三張圖片進行重建后的評價數據。

從表1～2中可以看出，在三張圖片中各方法的PSNR和MSSIM從上到下依次遞增，說明本文方法的重建圖像與原始圖像更為相似。本文方法相比自適應參數方法：在高斯噪聲中PSNR提升1.0左右，MSSIM提升0.01左右；而在椒鹽噪聲中PSNR提升4.0左右，MSSIM提升0.03左右。這是由于在高斯噪聲中，噪聲點密度較大，使其在局部區(qū)域中相互干擾造成的，而在椒鹽噪聲中，其較小的噪聲密度使得一微小局部區(qū)域中的噪聲點被去除后不會再受到其他噪聲點的干擾。從迭代次數可以看出，本文方法相比GTV正則和自適應參數的重建方法，較大幅度地減少了迭代次數，表明直接截斷噪聲點然后填補合理的值的閾值分割方式，確能使噪聲點不會在迭代過程中反復干擾，從而加快收斂。實驗結果表明：本文方法提高了正則化技術在噪聲環(huán)境下的重建能力。

表1 高斯噪聲下SRR結果評價數據

表2 椒鹽噪聲下SRR結果評價數據

4 結語

本文針對正則化超分辨率重建在噪聲環(huán)境中效果欠佳的問題，以GTV正則項為基礎展開研究，提出一種自適應閾值的去噪方法。該方法在識別噪聲時，用較準確的先驗知識作為GTV代價式的閾值選取模型，使噪聲點從有用模型數據中分割出來從而達到去噪目的；在處理噪聲時，直接在迭代過程中截斷識別出的噪聲點并重新插入合適的值，使得噪聲信息不會在GTV重建過程中反復干擾從而加快了收斂，同時保持了圖像信息。對于非噪聲點和重新插值后的點可以繼續(xù)進行迭代重建，從而在保持GTV超分辨率重建效果的同時增強了其去噪性能。相比于單一的GTV正則化重建和自適應正則參數的方法，本文方法提高了圖像重建效果，加快了迭代重建的收斂，使得正則化超分辨率技術在噪聲環(huán)境下能夠達到更好的效果。

雖然該方法在實驗中取得了一定效果，但是閾值選取模型依舊會受到噪聲點的干擾，抑制噪聲與保持邊緣細節(jié)的矛盾依舊存在，且對截斷的噪聲處插入中值會使重建結果平滑。在未來的研究中將尋找更準確的先驗知識或者利用學習的方式來提升閾值模型的性能，使得此自適應閾值分割模型更加逼近噪聲和模型數據的分割函數；同時利用更好的插值方式，取代中值插值法以達到去平滑效果。

References)

[1] TSAI R Y, HUANG T S. Multiframe image restoration and registration [J]. Advance in Computer Vision and Image Processing, 1984, 1(2): 317-339.

[2] RASTI P, DEMIREL H, ANBARJAFARI G. Improved iterative back projection for video super-resolution [C]// Proceedings of the 2014 22nd Signal Processing and Communications Applications Conference. Piscataway, NJ: IEEE, 2014: 552-555.

[3] GAO J J, STANTON A, NAGHIZADEH M, et al. Convergence improvement and noise attenuation considerations for beyond alias projection onto convex sets reconstruction [J]. Geophysical Prospecting, 2013, 61(s1): 138-151.

[4] BOROOMAND A, SHAFIEE M J, WONG A, et al. Lateral resolution enhancement via imbricated spectral domain optical coherence tomography in a maximum-a-posterior reconstruction framework [C]// Proceedings of the SPIE 9312, Optical Coherence Tomography and Coherence Domain Optical Methods in Biomedicine XIX. Bellingham: SPIE, 2015: 107-114.

[5] SHANGGUAN H, ZHANG Q, LIU Y, et al. Low-dose CT statistical iterative reconstruction via modified MRF regularization [J]. Computer Methods and Programs in Biomedicine, 2016, 123(C): 129-141.

[6] LEI J, SHI L, LI Z H, et al. An image reconstruction algorithm based on the extended Tikhonov regularization method for electrical capacitance tomography [J]. Measurement, 2009, 42(3): 368-376.

[7] YUAN Q Q, ZHANG L P, SHEN H F. Multiframe super-resolution employing a spatially weighted total variation model [J]. IEEE Transaction on Circuits and System for Video Technology, 2012, 22(3): 379-392.

[8] FARSIU S, ROBINSON M D, ELAD M, et al. Fast and robust multiframe super resolution [J]. IEEE Transactions on Image Processing, 2004, 13(10): 1327-1344.

[9] BAHY R M, SALAMA G I, MAHMOUD T A. Adaptive regularization-based super resolution reconstruction technique for multi-focus low-resolution images [J]. Signal Processing, 2014, 103(1): 155-167.

[10] HUA X G, NI Y Q, KO J M. Adaptive regularization parameter optimization in output-error-based finite element model updating [J]. Mechanical Systems & Signal Processing, 2009, 23(3): 563-579.

[11] 孫學芳,肖志云,孫蕾,等.雙邊全變分的自適應核回歸超分辨率重建[J].計算機工程與應用,2013,49(20): 175-178,216.(SUN X F, XIAO Z Y, SUN L, et al. Adaptive kernel regression super-resolution reconstruction based on bilateral total variation [J]. Computer Engineering & Applications, 2013, 49(20): 175-178,216.)

[12] 謝琦,陳維義.基于自適應正則化的超分辨率重建方法[J].強激光與粒子束,2014,26(10):82-88.(XIE Q, CHEN W Y. Super-resolution reconstruction method based on adaptive-regularization [J]. High Power Laser and Particle Beams, 2014, 26(10): 82-88.)

[13] 余徽,陳福勝,張智杰,等.一種新的正規(guī)自適應邊緣保護的超分辨率算法[J].紅外與毫米波學報,2014,33(1):98-105.(YU H, CHEN F S, ZHANG Z J, et al. A novel regularized adaptive edge-preserving image super-resolution algorithm [J]. Journal of Infrared and Millimeter Waves, 2014, 33(1): 98-105.)

[14] SUO F, HU F Y, ZHU G. Robust super-resolution reconstruction based on adaptive regularization [C]// Proceedings of the 2011 International Conference on Wireless Communications and Signal Processing. Piscataway, NJ: IEEE, 2011: 1-4.

[16] BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm with application to wavelet-based image deblurring [C]// ICASSP 2009: Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2009: 693-696.

[17] DODGSON N A. Quadratic interpolation for image resampling [J]. IEEE Transactions on Image Processing, 1997, 6(9): 1322-1326.

[18] WANG Z, BOVIK A C, SHEIKH H R. Structural similarity based image quality assessment [M/OL]// Digital Video Image Quality and Perceptual Coding, 2005 [2016- 11- 10]. https://ece.uwaterloo.ca/～z70wang/publications/SSIM_Chap.pdf.

This work is partially supported by the National Natural Science Foundation of China (61273225, 61572381).

PENGZheng, born in 1993, M. S. candidate. His research interests include super-resolution reconstruction.

CHENDongfang, born in 1967, Ph. D., professor. His research interests include image processing, machine learning.

WANGXiaofeng, born in 1982, Ph. D., associate professor. His research interests include super-resolution reconstruction, machine learning.

Adaptivethresholddenoisingofregularizedsuper-resolutionreconstructionprocedure

PENG Zheng1,2*, CHEN Dongfang1,2, WANG Xiaofeng1,2

(1.CollegeofComputerScienceandTechnology,WuhanUniversityofScienceandTechnology,WuhanHubei430065,China;2.HubeiProvinceKeyLaboratoryofIntelligentInformationProcessingandReal-timeIndustrialSystem(WuhanUniversityofScienceandTechnology),WuhanHubei430065,China)

In order to enhance the reconstruction ability of regularized super-resolution technique for noisy image, an adaptive threshold denoising method was proposed based on the extended research of General Total Variation (GTV) regularized super-resolution reconstruction. Firstly, the iterative reconstruction was completed according to GTV regularized super-resolution reconstruction. Then, the deduced adaptive threshold matrix was used to divide GTV cost matrix of each iteration procedure by the threshold. The corresponding pixel points whose costs were less than the threshold continued to be iterated while the points whose costs were greater than the threshold were cut down for re-interpolating and canceled from the iteration of this turn. Finally, the reconstruction result was output when the program met the convergence requirement. The experimental results show that, compared with the single GTV regularized reconstruction method and adaptive parameter method, the proposed adaptive threshold denoising method accelerates the convergence rate and improves the quality of reconstruction image, which makes the regularized super-resolution reconstruction technology perform better for noisy image.

super-resolution reconstruction; regularization technique; General Total Variation (GTV); adaptive threshold; image denoising

TP751.1; TP391.4

:A

2016- 12- 08;

:2017- 01- 26。

國家自然科學基金資助項目(61572381, 61273225)。

彭政(1993—)，男，湖南長沙人，碩士研究生,主要研究方向：超分辨率重建； 陳東方(1967—)，男，湖北天門人,教授，博士，CCF會員，主要研究方向：圖像處理、機器學習； 王曉峰(1982—)，男，河南鄭州人，副教授，博士，主要研究方向：超分辨率重建、機器學習。

1001- 9081(2017)07- 2084- 05

10.11772/j.issn.1001- 9081.2017.07.2084