蔡江乾 蔡光程
摘 要:為減少圖像復(fù)原中產(chǎn)生的階梯效應(yīng)和邊緣模糊現(xiàn)象,引入Hessian矩陣,設(shè)計(jì)帶有交疊組合稀疏化的雙正則項(xiàng)。采用一階交疊組合稀疏的正則項(xiàng)保留邊緣,同時(shí)采用二階交疊組合稀疏的正則項(xiàng)緩解一階正則項(xiàng)產(chǎn)生的階梯效應(yīng);通過構(gòu)造兩個(gè)可分離算子最小化問題求解圖像復(fù)原問題,在乘子交替方向法(ADMM)的框架下,得出求解各子問題的迭代形式,并提出新的復(fù)原算法。實(shí)驗(yàn)結(jié)果表明,峰值信噪比比傳統(tǒng)方法至少提高了0.8dB,結(jié)構(gòu)相似度指數(shù)最高達(dá)0.9,最低為0.72。新算法在去除噪聲的同時(shí),有效保留了圖像紋理信息。
關(guān)鍵詞:圖像復(fù)原;交疊組合稀疏;全變分;二階正則項(xiàng);乘子交替方向法
DOI:10. 11907/rjdk. 201444 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
中圖分類號(hào):TP317.4 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2020)007-0204-06
Image Restoration Using Total Variation with Two Overlapping Group Sparsity Regularizers
CAI Jiang-qian,CAI Guang-cheng
(Faculty of Science, Kunming University of Science and Technology, Kunming 650500, China)
Abstract: To reduce the staircase effect and the edge blur in the image restoration, the Hessian matrix is introduced to design two overlapping group sparsity regularizers. The idea is to preserve edges by using the first order term, and remove the staircase effect by using the second order term. Then the image restoration is achieved by constructing the minimization problem of two separable operators. In the framework of the alternating directions method of multipliers(ADMM), the iterative form of the solution of each subproblem is obtained by deducing the optimization condition, and a new restoration algorithm is proposed. The experimental result demonstrates that the peak signal-to-noise ratio is improved by at least 0.8dB by comparing the traditional method, and the structure similarity index is as high as 0.9 and as low as 0.72. The new algorithm effectively retains the texture information of the image while removing the noise.
Key Words: image restoration; overlapping group sparsity; total variation;second order regularizer; ADMM
0 引言
圖像在形成、傳輸和存儲(chǔ)過程中不可避免地會(huì)受到隨機(jī)噪聲的影響,而在醫(yī)學(xué)、天文成像、工業(yè)成像等領(lǐng)域中,需要清晰的高質(zhì)量圖像。圖像復(fù)原的目的是將被噪聲污染的圖像盡可能地還原為原始圖像,其在圖像處理中是最經(jīng)典的線性逆問題之一[1]。本文將原始圖像[u0]退化為含噪圖像[f]的模型考慮為:
其中,[H]表示大小為[n2×n2]的模糊矩陣,[η]表示均值為0,方差為[σ2]的噪聲圖像。假設(shè)圖像大小為[n×n],與[f]、[u0]和[η]分別是由[n×n]圖像矩陣[n]列按順序疊加成長度為[n2]的列向量。將含噪圖像[f]復(fù)原回原始圖像[u0],該問題是病態(tài)的[2],為了消除其病態(tài)性,Tikhonov等[2]提出正則化方法,通過添加正則項(xiàng)穩(wěn)定模型的解。正則化方法可將模型(1)轉(zhuǎn)化為以下最小化問題。
其中,[u]表示恢復(fù)圖像,[???2]表示[L2]范數(shù);[φ]稱為正則化函數(shù);[λ(λ>0)]是正則項(xiàng)參數(shù),作用是平衡保真項(xiàng)[f-Hu22]和正則項(xiàng)[φ(u)]。Rudin等[3]提出基于全變分(TV)的正則化模型,其中采用各項(xiàng)同性擴(kuò)散TV模型能夠去除噪聲,但會(huì)使圖像邊緣部分模糊化;采用各項(xiàng)異性擴(kuò)散全變分(ATV)模型雖然能夠保護(hù)圖像邊緣,但是平坦區(qū)域的噪聲抑制會(huì)不充分,從而導(dǎo)致虛假邊緣,產(chǎn)生階梯效應(yīng)。
為抑制階梯效應(yīng),更好地保留圖像紋理信息, 2015年Liu等[4]提出了一種交疊組合稀疏化的全變分(OGSTV)圖像復(fù)原模型,該方法充分利用周圍像素點(diǎn)梯度信息,突出圖像邊緣區(qū)域和平滑區(qū)域的差異性,從而達(dá)到更好的復(fù)原效果;2018年Ahlad Kumar等[5]提出一種加權(quán)交疊組合稀疏的去噪框架,該方法改進(jìn)了OGSTV模型,更加突出圖像邊緣區(qū)域和平滑區(qū)域的差異性;2019年Tarmizi Adam等[6]在OGSTV模型上加入高階非凸正則化構(gòu)造模型,其中非凸高階正則項(xiàng)對(duì)圖像紋理局部部分有更大的平滑作用,同時(shí)可以保留銳利的邊緣;還有學(xué)者基于交疊組合稀疏化的復(fù)原方法進(jìn)行了相應(yīng)工作[7-9]。
以上方法均未研究高階正則項(xiàng)的交疊組合稀疏化。本文設(shè)計(jì)由Hessian矩陣元素組成的二階正則項(xiàng),并對(duì)二階正則項(xiàng)的交疊組合稀疏化進(jìn)行研究,最后構(gòu)造出帶有交疊組合稀疏化的一階和二階雙正則項(xiàng)的復(fù)原框架,進(jìn)而彌補(bǔ)一階正則項(xiàng)單一復(fù)原方法。該方法可在去噪和保留圖像的紋理信息方面發(fā)揮重要作用。
1 OGSTV模型與ADMM
1.1 OGSTV模型
Liu等[4]提出圖像[u∈Rn2]的[K×K]點(diǎn)組。
從式(4)可以看出,OGSTV正則項(xiàng)將圖像中的某一像素點(diǎn)和鄰近像素點(diǎn)的交疊組合稀疏特性結(jié)合起來,與傳統(tǒng)TV模型([K=1])相比,利用相鄰像素間相關(guān)性可以更加有效地防止圖像階梯效應(yīng)的出現(xiàn)。
1.2 ADMM
ADMM是求解最小化問題的一種分裂收縮算法,兩個(gè)可分離算子的線性約束最小化問題[10]為:
其中,[θi:Zi→R]是閉凸函數(shù),[Ai∈Rl×n2]是線性變換, [Zi∈Rn2]是非空閉凸集,[d∈Rl]是長度為[l]的列向量。
引入拉格朗日乘數(shù)[μ∈Rl],則最小化問題(5)的拉格朗日函數(shù)為:
其中,[μT] 為[μ]的轉(zhuǎn)置,最小化問題(5)的增廣拉格朗日函數(shù)是由式(6)與等式線性約束的二次函數(shù)? [β2A1z1+A2z2-d22]構(gòu)成,則
其中,[β>0]為等式約束的參數(shù)。
采用ADMM求解最小化問題式(5),其算法形式為:
算法1. 求解最小化問題(5)的ADMM
ADMM充分利用目標(biāo)函數(shù)分離結(jié)構(gòu)[θ1(z1)+][θ2(z2)],它是增廣拉格朗日乘子法(ALM)的一個(gè)分裂版本,ALM在每次迭代中以高斯—賽德爾迭代法分解為3個(gè)子問題。
2 交疊組合稀疏雙正則項(xiàng)全變分模型與算法實(shí)現(xiàn)
2.1 交疊組合稀疏雙正則項(xiàng)全變分模型
本文設(shè)計(jì)了帶有OGS的雙正則項(xiàng),提出最小化無約束問題。
其中,[λ1,λ2>0]是平衡保真項(xiàng)、一階正則項(xiàng)和二階正則項(xiàng)的正則項(xiàng)參數(shù)。[Du=(D(1)u,D(2)u)],其中[D(1)u]和 [D(2)u]由[u]的Hessian矩陣的元素構(gòu)成,定義為[D(1)u=uxx-uyy],[D(2)u=-2uxy],其離散形式分別為;
其中,[D(1)]和[D(2)]表示二階有限差分矩陣,其大小為[n2×n2]。
通過引入輔助變量[v1,v2,v3,v4,z],將最小化問題(8)轉(zhuǎn)化為等價(jià)的約束最小化問題。
其中,[v]代表[v1,v2,v3,v4];集合[C=[0,255]],[IC?]為[C]的示性函數(shù),用以恢復(fù)0~255之間圖像的像素值,集合[C]的示性函數(shù)定義為:
因此,約束最小化問題(10)滿足式(5)中的框架,可寫成:
其中,[E]表示大小為[n2×n2]的單位矩陣,[0]表示長度為[n2]的列向量。
2.2 算法實(shí)現(xiàn)
令[H=E],根據(jù)算法1,可以得到如下各子問題。
2.2.1 [u]-子問題
子問題(16)是一個(gè)最小二乘問題,可通過求以下正規(guī)方程解決。
式(18)的等式兩邊分別進(jìn)行傅里葉變換[?],故:
其中,[?-1]為傅里葉逆變換。如果采用循環(huán)邊界條件, [?T?=(?(1))T?(1)+(?(2))T?2]是塊循環(huán)—循環(huán)塊(BCCB, block-circular with circular-block)矩陣,可以通過快速傅里葉變換對(duì)BCCB矩陣進(jìn)行求解[11]。
2.2.2 [v1,v2,v3,v4]-子問題
[v1]-子問題是交疊組合稀疏化問題。
按照OGS正則項(xiàng)定義,當(dāng)組大小[K=1]時(shí),[?(v1)=v11]。則[v1]-子問題的最優(yōu)性條件為:
其中,[ω1=?(1)u(k+1)+μ(k)1β],sign表示符號(hào)函數(shù)。當(dāng)組大小[K>1]時(shí),問題(20)可以使用交疊組合稀疏全變分去噪問題的優(yōu)化—最小化(MM)方法迭代求解[12]。同理,按照上述步驟可以求解[v2,v3,v4]-子問題。
2.2.3 [z]-子問題
對(duì)于[z]-子問題
其最優(yōu)性條件為:
最后,給出拉格朗日乘數(shù)[μ(k+1)1,μ(k+1)2,μ(k+1)3]的迭代形式為:
綜合以上分析,提出算法2求解最小化問題(8)。
算法2:求解最小化問題(8)的算法。
(1)初始化[u(k),v(k)i,μ(k)i=0(i,j=1,2,?,5),k=0];[λ1,λ2>0];[β>0]
(2)while終止條件不滿足,執(zhí)行3、4、5、6、7步
(3)根據(jù)式(18)計(jì)算[u(k+1)]
(4)根據(jù)式(19)、(21)、(22)、(23)分別計(jì)算[v(k+1)1,v(k+1)2,][v(k+1)3,][v(k+1)4]
(5)根據(jù)式(25)計(jì)算[z(k+1)=u(k+1)+μ(k)5β]
(6)根據(jù)式(26)計(jì)算[μ(k+1)1,μ(k+1)2,μ(k+1)3,][μ(k+1)4],[μ(k+1)5]
(7)[k=k+1]
(8)end while
可以看出,上述算法2是ADMM的一個(gè)實(shí)例,通過求解各子問題,式(8)的最小化問題即可得以解決。
3 數(shù)值實(shí)驗(yàn)
為了驗(yàn)證本文算法優(yōu)良性能,下文展現(xiàn)了一些實(shí)驗(yàn)結(jié)果。圖1為用于實(shí)驗(yàn)的6張測(cè)試圖像,大小為256×256的圖像有(a)、(b)和(c),大小為512×512的圖像有(d)、(e)和(f)。所有實(shí)驗(yàn)都是在配置為Intel(R) Core(TM)i5-4210M CPU(2.60GHz,2.60GHz)和RAM為8GB的64位Windows10的Matlab 2016a桌面上進(jìn)行。
通過峰值信噪比(PSNR)、均方誤差(MSE)和結(jié)構(gòu)相似度指數(shù)(SSIM)指標(biāo)衡量各算法性能。
其中,[u0]和[u]分別表示原始圖像和恢復(fù)圖像,M×N為圖像大小。PSNR越高與MSE越低,說明圖像復(fù)原效果越好。SSIM由Wang等[13]提出,它可以衡量兩幅圖像相似性。
[μu]和[μu0]分別為[u]和[u0]的均值,[σu]和[σu0]分別為[u]和[u0]的方差,[σuu0]是[u]和[u0]的協(xié)方差。[C1=(k1L)2],[C2=(k2L)2]是用來維持穩(wěn)定的常數(shù),[L]為像素值的取值范圍,[k1=0.01],[k2=0.03]。SSIM的范圍是從0~1,當(dāng)[u=u0]時(shí),SSIM=1。
本文算法的停止條件滿足式(30)。
其中,[u(k)]和[u(k+1)]分別表示第[k]次和第[k+1]次迭代的恢復(fù)圖像。
3.1 參數(shù)設(shè)置
首先,需設(shè)置參數(shù)[λ1],該參數(shù)起到控制一階正則項(xiàng)的作用。實(shí)驗(yàn)中,[λ1]的選擇很大程度上決定了圖像復(fù)原的效果,若只依賴于[λ1],會(huì)導(dǎo)致恢復(fù)圖像出現(xiàn)階梯效應(yīng)及偽影,針對(duì)實(shí)驗(yàn)中不同程度的含噪圖像,因此根據(jù)經(jīng)驗(yàn)設(shè)置[λ1∈[0.15,0.95]]。
然后,調(diào)整重要參數(shù)組大小[K],[K]越大會(huì)導(dǎo)致恢復(fù)圖像過于平滑且會(huì)增加CPU的運(yùn)行時(shí)間,為了確定最優(yōu)的組大小,固定其它參數(shù),通過改變組大小,對(duì)加入均值為0、標(biāo)準(zhǔn)差為20的噪聲所污染的圖像Lena和Peppers進(jìn)行實(shí)驗(yàn),如圖2所示,可以看出[K=3]時(shí),恢復(fù)圖像的PSNR最大,其恢復(fù)圖像Peppers的SSIM最大,因此,在實(shí)驗(yàn)中設(shè)置組大小為3。
其次,設(shè)置OGS子問題(26)所需的MM迭代次數(shù),在表1中,選取含[σ=20]的噪聲圖像Peppers和Lena進(jìn)行實(shí)驗(yàn),給出了不同MM迭代次數(shù)下圖像復(fù)原后的PSNR、SSIM及CPU時(shí)間。如表1所示,MM迭代次數(shù)越大,所消耗的CPU時(shí)間越長,但對(duì)PSNR和SSIM的影響并不是很大,故此,設(shè)置迭代次數(shù)為30。
最后,設(shè)置二階正則項(xiàng)的參數(shù)[λ2]。通過調(diào)整[λ1]值,復(fù)原后的圖像將產(chǎn)生一定程度的階梯效應(yīng)及偽影。另一方面,組越大會(huì)使恢復(fù)圖像越過于平滑。通過調(diào)優(yōu)[λ2]有助于消除恢復(fù)圖像階梯效應(yīng)和偽影,同時(shí)保持更清晰的紋理,實(shí)驗(yàn)得出[λ2∈[1.5,????6.5]]。在所有實(shí)驗(yàn)中,通過人為調(diào)參確定給定范圍內(nèi)參數(shù)值,從而得到最佳PSNR和SSIM。
3.2 ATV及OGSTV對(duì)比實(shí)驗(yàn)
將本文方法實(shí)驗(yàn)結(jié)果與ATV 和OGSTV模型復(fù)原效果進(jìn)行比較,以證明本文方法優(yōu)越性。在實(shí)驗(yàn)中,原始圖像被[σ=20]的噪聲污染,不同方法復(fù)原結(jié)果如圖3—圖4所示。從圖中能觀察到,本文方法和OGSTV模型均可保護(hù)邊緣,緩解階梯效應(yīng),特別是對(duì)于具有平滑區(qū)域的圖像,但是OGSTV模型不能充分保留圖像紋理和細(xì)節(jié)信息,而ATV產(chǎn)生了階梯效應(yīng)。此外,本文根據(jù)得到的PSNR、MSE、SSIM和CPU時(shí)間列出6張測(cè)試圖像實(shí)驗(yàn)結(jié)果,如表2所示,[σ=20]時(shí),通過不同方法的復(fù)原效果各指標(biāo)比較可以看出,本文方法PSNR、MSE和SSIM均有明顯改善,在PSNR方面至少提高了0.8dB,SSIM最高達(dá)0.9,最低為0.78,且CPU時(shí)間消耗大幅減少。
3.3 BM3D對(duì)比實(shí)驗(yàn)
基于塊匹配與三維濾波(BM3D)去噪方法[14]是圖像復(fù)原領(lǐng)域公認(rèn)的主流方法。選取圖像Peppers,被[σ=25]的噪聲污染,采用本文方法與BM3D方法進(jìn)行復(fù)原,得到PSNR與CPU時(shí)間結(jié)果,如圖5所示,BM3D得出的PSNR高于本文方法得到的PSNR;但是與BM3D相比,本文方法節(jié)省了CPU時(shí)間,明顯降低了時(shí)間復(fù)雜度。
4 結(jié)語
本文提出了基于交疊組合稀疏雙正則項(xiàng)的全變分模型,從而構(gòu)造兩個(gè)可分離變量的最小化問題;在ADMM框架下,得出了各子問題最優(yōu)性條件和新的復(fù)原算法。實(shí)驗(yàn)結(jié)果表明,與現(xiàn)有算法(見表2)相比,本文方法得到的PSNR、MSE、SSIM和CPU時(shí)間表現(xiàn)更優(yōu),且該方法既能較好地緩解階梯效應(yīng),也能有效保留圖像紋理信息,視覺效果明顯改善。其不足之處是正則項(xiàng)參數(shù)和圖像組大小[K]需人工設(shè)置,不同的含噪圖像需經(jīng)過參數(shù)調(diào)節(jié)才能獲得最佳恢復(fù)圖像。未來工作將致力于設(shè)計(jì)自適應(yīng)正則項(xiàng)參數(shù)和組大小的選取方法,針對(duì)含噪圖像的不同區(qū)域進(jìn)行最佳復(fù)原,并進(jìn)一步研究一種加速的復(fù)原算法,盡可能降低CPU時(shí)間消耗。
參考文獻(xiàn):
[1] VOGEL C R. Computational methods for inverse problems[M].? Philadelphia:? Society for Industrial and Applied Mathematics Press, 2002.
[2] TIKHONOV A N,ARSENIN V I. Solutions of ill-posed problems[M].? Washington: Winston Press,1977.
[3] RUDIN L I, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica D:Nonlinear Phenomena,1992, 60(1-4): 259-268.
[4] LIU J, HUANG T Z, SELESNICK I W, et al. Image restoration using total variation with overlapping group sparsity[J]. Information Sciences, 2015, 295: 232-246.
[5] KUMAR A,AHMAD M O,SWAMY M N S. An efficient denoising framework using weighted overlapping group sparsity[J]. Information Sciences, 2018, 454: 292-311.
[6] ADAM T, PARAMESRAN R. Image denoising using combined higher order non-convex total variation with overlapping group sparsity[J].? Multidimensional Systems and Signal Processing,2019,30(1): 503-527.
[7] 范夢(mèng)佳,周先春. 基于交疊組合稀疏高階全變分的圖像復(fù)原[J/OL]. 計(jì)算機(jī)應(yīng)用研究. https://doi.org/10.19734/j.issn.1001- 3695.2019.06.0246.
[8] 馬杰,武利濤,張曉嚴(yán). 一種改進(jìn)的組稀疏表示圖像去噪方法[J]. 微電子學(xué)與計(jì)算機(jī),2017(6):99-103.
[9] LIU J,HUANG T Z,LIU G,et al. Total variation with overlapping group sparsity for speckle noise reduction[J]. Neurocomputing, 2016(216): 502-513.
[10] 何炳生. 我和乘子交替方向法 20 年[J]. 運(yùn)籌學(xué)學(xué)報(bào),2018(1):1.
[11] LV X G, HUANG T Z, XU Z B, et al. Kronecker product approximations for image restoration with whole-sample symmetric boundary conditions[J].? Information Sciences, 2012, 186(1): 150-163.
[12] SELESNICK I W, CHEN P Y. Total variation denoising with overlapping group sparsity[C]. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, 2013: 5696-5700.
[13] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J].? IEEE transactions on image processing, 2004, 13(4): 600-612.
[14] DABOV K,F(xiàn)OI A,KATKOVNIK V,et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on image processing, 2007, 16(8): 2080-2095.
(責(zé)任編輯:江 艷)