基于結(jié)構(gòu)相似度的圖像去噪新方法

余 婷

(西安電子科技大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，陜西西安 710071)

圖像在形成和傳輸過(guò)程中由于噪聲的干擾而導(dǎo)致質(zhì)量下降，嚴(yán)重影響了人們對(duì)圖像正確信息的獲取，所以對(duì)圖像進(jìn)行后續(xù)處理前，必須先對(duì)圖像進(jìn)行去噪、減弱干擾。傳統(tǒng)圖像去噪方法，如中值濾波、高斯濾波等，在去噪的過(guò)程中，丟失了圖像較多的重要細(xì)節(jié)，因此尋找一些新的圖像去噪方法是必要的。

近年來(lái)，變分、偏微分方法在圖像處理中得到了廣泛應(yīng)用［1－3，11－16］。其中，全變差模型 (Rudin，Osher，F(xiàn)atemi，ROF)［1］是較為典型的代表。ROF 模型因其具有良好的保邊性能而倍受青睞，但該模型在圖像恢復(fù)過(guò)程中常常會(huì)出現(xiàn)階梯效應(yīng)。因此，繼ROF模型后，眾多改進(jìn)的新模型［2－3］被提出。但這些改進(jìn)的焦點(diǎn)主要是針對(duì)模型的正則項(xiàng)，而對(duì)于模型忠誠(chéng)項(xiàng)改進(jìn)的研究則是有限的。ROF模型的忠誠(chéng)項(xiàng)實(shí)際使用L2空間對(duì)圖像的“振蕩”成分進(jìn)行建模，并用L2度量進(jìn)行刻畫(huà)。事實(shí)上，L2度量反映的是圖像均方誤差(MSE)，而MSE在度量圖像相似性方面經(jīng)常與視覺(jué)效果有較大反差［4－7］，用其作為忠誠(chéng)項(xiàng)會(huì)給恢復(fù)圖像的視覺(jué)效果帶來(lái)較大影響。其中，文獻(xiàn)［4］對(duì)MSE的缺陷作了詳細(xì)分析。因此，需尋找一種新的刻畫(huà)忠誠(chéng)項(xiàng)的度量來(lái)代替L2度量。

為亮度、對(duì)比度和結(jié)構(gòu)3個(gè)不同因素的組合，用均值作為亮度的估計(jì)，標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì)，協(xié)方差作為結(jié)構(gòu)相似度的估計(jì)。因此，SSIM不僅可較好地度量圖像間的相似性，并與人眼對(duì)結(jié)構(gòu)信息敏感的特點(diǎn)相符。從視覺(jué)效果上看，盡管SSIM獲得了眾多圖像研究者的認(rèn)可，但其應(yīng)用一直被限制在圖像評(píng)估領(lǐng)域。最近，王舟等用SSIM代替MSE作為圖像信號(hào)的稀疏表示與近似的優(yōu)化準(zhǔn)則［8－11］，并取得了良好的效果，這將SSIM的應(yīng)用領(lǐng)域進(jìn)一步推廣。

本文從提高恢復(fù)圖像視覺(jué)效果的角度出發(fā)，將SSIM作為一種忠誠(chéng)項(xiàng)的度量用于圖像去噪模型中。針對(duì)ROF模型中刻畫(huà)忠誠(chéng)項(xiàng)的L2度量并未考慮圖像空間結(jié)構(gòu)性導(dǎo)致去噪后圖像視覺(jué)效果差的缺陷，提出兩種改進(jìn)的去噪模型。模型1在ROF模型忠誠(chéng)項(xiàng)中引入SSIM，提高恢復(fù)圖像的視覺(jué)效果，模型2是在模型1的基礎(chǔ)上，為更好地保護(hù)圖像的邊緣，用非凸正則項(xiàng)［12－14］代替TV正則項(xiàng)所得到的。通過(guò)數(shù)值實(shí)驗(yàn)驗(yàn)證了本文提出新模型的有效性。

1 基于結(jié)構(gòu)相似度的圖像去噪模型及算法

1.1 預(yù)備知識(shí)

結(jié)構(gòu)相似度(SSIM)作為圖像質(zhì)量評(píng)估的一種方法，在圖像質(zhì)量評(píng)估領(lǐng)域獲得了廣泛應(yīng)用。該方法將原始圖像和失真圖像劃分為重疊或不重疊的子塊，計(jì)算失真圖像與原始圖像對(duì)應(yīng)圖像塊的結(jié)構(gòu)相似度的公式為

其中，x、y分別為原始圖像和失真圖像的子塊;μx、μy分別表示x和y的均值;σx、σy分別表示x和y的標(biāo)準(zhǔn)差;σxy表示x和y的協(xié)方差;C1、C2是較小的常數(shù)，用于防止分母過(guò)小而接近于零時(shí)產(chǎn)生的不合理計(jì)算結(jié)果。在此基礎(chǔ)上，整幅圖像的結(jié)構(gòu)相似度定義為

式中，X、Y分別為原始圖像和失真圖像;N為圖像字塊的數(shù)目;Xi和Yi是對(duì)應(yīng)的第i個(gè)圖像子塊。

1.2 模型的建立及其算法

設(shè)u(x)為要恢復(fù)的圖像，f(x)為噪聲污染的圖像。經(jīng)典的ROF去噪模型為

其中，λ是正則項(xiàng)參數(shù)，其在正則項(xiàng)和忠誠(chéng)項(xiàng)之間起著重要的平衡作用。

ROF模型的忠誠(chéng)項(xiàng)(L2度量)刻畫(huà)的是圖像的均方誤差(MSE)。而MSE只反映圖像單像素點(diǎn)間的差異，忽視了圖像的空間結(jié)構(gòu)。事實(shí)上，自然圖像是高度結(jié)構(gòu)化的，即像素間有較強(qiáng)的相關(guān)性，尤其是空域中較接近的像素，這種相關(guān)性蘊(yùn)含著視覺(jué)場(chǎng)景中物體結(jié)構(gòu)的重要信息。王舟提出的結(jié)構(gòu)相似度(SSIM)從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對(duì)比度，并反映圖像中物體結(jié)構(gòu)的屬性。在此基礎(chǔ)上，將失真建模為亮度、對(duì)比度和結(jié)構(gòu)3個(gè)不同因素的組合，再用均值作為亮度的估計(jì)，標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì)，協(xié)方差作為結(jié)構(gòu)相似度的估計(jì)，用其作為忠誠(chéng)項(xiàng)的度量，能克服L2度量未考慮圖像結(jié)構(gòu)性導(dǎo)致恢復(fù)圖像視覺(jué)效果差的缺點(diǎn)，使恢復(fù)的圖像盡量保持原有結(jié)構(gòu)，從而提高了恢復(fù)圖像的視覺(jué)效果。為進(jìn)一步理解用SSIM作為圖像忠誠(chéng)項(xiàng)的度量?jī)?yōu)于MSE，本文通過(guò)以下舉例進(jìn)行說(shuō)明。

圖1 “愛(ài)因斯坦”圖像

表1 “愛(ài)因斯坦”圖的MSE值和SSIM值

從該例可看出，雖圖1中的4幅圖像視覺(jué)效果有較大差異，但其MSE值幾乎相同，這說(shuō)明MSE作為一種刻畫(huà)圖像質(zhì)量的指標(biāo)不能真實(shí)反映圖像的視覺(jué)效果，即用L2度量作為去噪模型的忠城項(xiàng)可能會(huì)導(dǎo)致恢復(fù)的圖像視覺(jué)效果差。而SSIM度量能如實(shí)反映圖像的視覺(jué)效果，因此用其代替L2度量應(yīng)當(dāng)會(huì)有更好的效果。

基于以上分析，本文引入SSIM到ROF模型中以彌補(bǔ)L2度量的缺陷。由結(jié)構(gòu)相似度的定義可看出，SSIM(f，u)介于 －1～1之間，且 SSIM(f，u)的值越大越好。為此，用1－SSIM(f，u)代替L2度量，得到模型1

模型1與ROF模型的主要區(qū)別是:L2度量只計(jì)算兩幅圖像對(duì)應(yīng)像素灰度值的絕對(duì)差，并將所有誤差的絕對(duì)值相加求和，若將圖像空間的像素位置任意排列組合后計(jì)算L2度量值基本無(wú)變化，但圖像的視覺(jué)效果則會(huì)有較大改變，這是由于自然圖像具有高度的結(jié)構(gòu)性，像素點(diǎn)的排列次序攜帶大量結(jié)構(gòu)信息，而L2度量未考慮圖像的位置信息和像素之間的相關(guān)性，導(dǎo)致恢復(fù)圖像的視覺(jué)效果差。而由SSIM的定義可看出，其將亮度、對(duì)比度和結(jié)構(gòu)信息相結(jié)合，使新的去噪算法能盡量保持原圖像的結(jié)構(gòu)信息，使濾出的噪聲更接近于理想的隨機(jī)分布噪聲，從而達(dá)到了更好的去噪效果。此外，SSIM不但可較好地度量圖像之間的相似性，還與人眼對(duì)結(jié)構(gòu)信息敏感的特點(diǎn)相符。因此，用其來(lái)刻畫(huà)去噪模型的忠誠(chéng)項(xiàng)可提高恢復(fù)圖像的視覺(jué)效果。

模型1對(duì)應(yīng)的Euler－Lagrange方程為

其中，x、y分別表示圖像 f與 u的相應(yīng)子塊。A1=2μxμy+C1，A2=2σxy+C2，B1= μ2x+μ2y+C1，B2= σ2x+σ2+C，M表示局部圖像塊的像素個(gè)數(shù)，1表示各元素y2均為1的向量。

根據(jù)式(5)并由梯度下降法可得到

求解模型1的完整算法描述如下:

算法1

步驟1 初始化:給定參數(shù) λ、τ，設(shè)定 u0=f，并令n=0。

步驟2 由式(7)計(jì)算un+1。

1.3 模型的改進(jìn)及算法

文獻(xiàn)［12～13］中指出，非凸正則項(xiàng)在保護(hù)圖像邊緣方面的性能優(yōu)于TV正則項(xiàng)。因此，考慮到圖像邊緣的保護(hù)，引入非凸正則項(xiàng)可將模型1推廣到模型2

相比于ROF模型，該模型主要有兩個(gè)優(yōu)點(diǎn):(1)忠誠(chéng)項(xiàng)的優(yōu)點(diǎn)如模型的分析。(2)正則項(xiàng)采用非凸正則項(xiàng)可較好地保護(hù)圖像的邊緣和紋理。這是由于在光滑區(qū)域→α▽u，此時(shí)非凸正則項(xiàng)相當(dāng)于TV正則項(xiàng)，模型主要特點(diǎn)是對(duì)圖像進(jìn)行光滑，從而能較好地去除噪聲;在邊緣及紋理區(qū)域，模型的主要特點(diǎn)是對(duì)圖像結(jié)構(gòu)信息的保持，而幾乎不再進(jìn)行光滑，進(jìn)而較好地保護(hù)了圖像邊緣。

為求解模型2，引入輔助變量v，式(8)轉(zhuǎn)化為

其中，μ為調(diào)節(jié)參數(shù);μ常取作一個(gè)充分大的數(shù)以保證u≈v。式(9)中包含兩個(gè)變量u和v，采用交替迭代的策略將其轉(zhuǎn)化成下面兩個(gè)簡(jiǎn)單的子模型

式(10)的Euler－Lagrange方程為

根據(jù)式(12)并利用梯度下降法可得到式(10)的迭代求解公式。式(11)的求解，采用迭代重加權(quán)方法，引入變量式(11)可轉(zhuǎn)化為

最終求解式(13)的迭代公式如下

式(15)中，p0=0，當(dāng)n≥1時(shí)，求解p的迭代公式為

其中，τ為時(shí)間步長(zhǎng)。

綜上，求解模型2的算法如下:

算法2

步驟1 初始化:給定參數(shù) λ，μ，τ＞0，設(shè)定u0=f，v0=f，p0=0，并令 k=1。

步驟2 利用式(14)計(jì)算bk－1。

步驟3 根據(jù)式(12)并利用梯度下降法計(jì)算uk。

步驟4 利用式(15)計(jì)算vk。

2 數(shù)值實(shí)驗(yàn)

為驗(yàn)證新方法的有效性，本文分別對(duì)4幅大小為256×256的帶噪圖像進(jìn)行實(shí)驗(yàn)，并將新模型的去噪效果和ROF模型進(jìn)行比較。本文將從視覺(jué)效果和定量指標(biāo)兩方面對(duì)恢復(fù)圖像質(zhì)量進(jìn)行考察。采用的定量指標(biāo)為結(jié)構(gòu)相似度(SSIM)和峰值信噪比(PSNR)。其中，PSNR的定義為

式中，P為原始無(wú)噪圖像;P'為恢復(fù)后的圖像;M和N為圖像尺寸大小;i，j為圖像像素下標(biāo)。

2.1 參數(shù)的選擇

算法1 中涉及的參數(shù)有λ、τ。試驗(yàn)發(fā)現(xiàn)，τ=0.01時(shí)可在算法的去噪效果和收斂速度之間取得較好的平衡。參數(shù)λ對(duì)實(shí)驗(yàn)的結(jié)果影響較大，大量的數(shù)值仿真結(jié)果表明，以0.01為步長(zhǎng)，λ在0.02～0.1之間取值時(shí)實(shí)驗(yàn)結(jié)果較優(yōu)。

算法2 中包含參數(shù)μ，τ，λ和α。試驗(yàn)發(fā)現(xiàn)，算法對(duì)參數(shù)μ并不敏感(本文實(shí)驗(yàn)選取μ=10)，對(duì)參數(shù)τ、λ和α則較為敏感，大量數(shù)值結(jié)果表明τ=0.01時(shí)能在算法的收斂速度和去噪效果之間取得平衡。參數(shù)對(duì)去噪效果影響比較大，它們的取值不僅依賴于噪聲的強(qiáng)度，還與帶噪圖像有關(guān)，所以如何很好地選擇這兩個(gè)參數(shù)是本實(shí)驗(yàn)的難點(diǎn)。由于其均是作用在正則項(xiàng)上的，可采用固定其中一個(gè)參數(shù)，調(diào)整另一個(gè)參數(shù)的策略。大量數(shù)值仿真結(jié)果表明，固定α=0.05，以0.01為步長(zhǎng)，λ在0.05～0.2之間取值，可獲得較好的實(shí)驗(yàn)效果。

為便于比較，算法1和算法2的停止標(biāo)準(zhǔn)中參數(shù)ε均取10－4。在選取圖像子塊時(shí)，為防止“塊效應(yīng)”現(xiàn)象，本文實(shí)驗(yàn)均采用11×11高斯窗對(duì)圖像進(jìn)行逐點(diǎn)滑動(dòng)來(lái)選取圖像子塊。式(6)中μx、σ2x和σxy的計(jì)算公式如下

其中，N表示每個(gè)子塊中元素的個(gè)數(shù);xi、yi分別表示子塊x和y的第i個(gè)元素;ωi(i=1，2，…，N)表示每個(gè)子塊中第i個(gè)元素的權(quán)重且。式(20)中，大量的數(shù)值試驗(yàn)表明參數(shù)K1=0.01，K2=0.03，L=255實(shí)驗(yàn)結(jié)果較優(yōu)。

2.2 實(shí)驗(yàn)結(jié)果分析

圖2選取“House”圖像作為實(shí)驗(yàn)對(duì)象，實(shí)驗(yàn)中加入標(biāo)準(zhǔn)差σ=20的高斯白噪聲。圖2給出了模型1、模型2及ROF模型的去噪結(jié)果。其中，圖2(a)為噪聲圖像，圖2(b)為ROF模型去噪結(jié)果，圖2(c)為模型1去噪結(jié)果，圖2(d)為模型2的去噪結(jié)果，圖2(e)、圖2(f)和圖2(g)分別為圖1(b)，圖2(c)和圖2(d)的局部放大。比較3種方法的去噪結(jié)果，ROF模型結(jié)果有明顯塊效應(yīng)，恢復(fù)圖像的視覺(jué)效果較模糊，而模型1和模型2的去噪結(jié)果則較光滑、自然，圖像的視覺(jué)效果也較好，尤其是模型2的去噪結(jié)果對(duì)圖像的細(xì)節(jié)部分保持的更為清晰，從局部放大的圖像中可清楚地看到這一點(diǎn)。

圖3選取細(xì)節(jié)豐富的結(jié)構(gòu)圖“Lena”圖像作為實(shí)驗(yàn)對(duì)象，實(shí)驗(yàn)中加入的高斯白噪聲的標(biāo)準(zhǔn)差為σ=20。

表2 不同方法的恢復(fù)圖像SSIM值比較 dB

表3 不同方法的恢復(fù)圖像PSNR值比較 dB

圖2 House圖像實(shí)驗(yàn)結(jié)果

圖3給出了模型1、模型2及ROF模型的去噪結(jié)果。其中，圖3(a)為噪聲圖像;圖3(b)為ROF模型去噪結(jié)果;圖3(c)為模型1去噪結(jié)果;圖3(d)為模型的去噪結(jié)果;圖3(e)、圖3(f)、圖3(g)分別為圖2(b)、圖2(c)、圖2(d)的局部放大。從3種模型去噪結(jié)果的局部放大圖中可看出，圖3(e)中Lena的臉頰、鼻梁、下巴等均較為模糊，而圖3(f)和圖3(g)中以上細(xì)節(jié)均得到了較好地保持，尤其是圖3(g)中圖像的細(xì)節(jié)等處理得更好，由此說(shuō)明了模型2的去噪結(jié)果要優(yōu)于模型1。

圖3 Lena圖像去噪結(jié)果

表2和表3給出了各種方法去噪結(jié)果的實(shí)驗(yàn)數(shù)據(jù)比較。其中，表2是SSIM值比較，表3是PSNR值比較。由表中數(shù)據(jù)可看出，模型1和模型2獲得了較高的SSIM值和PSNR值，從客觀上表明了這兩種方法的優(yōu)越性。此外，可看出模型2比模型1的去噪效果有了進(jìn)一步的提高，這說(shuō)明用非凸正則項(xiàng)代替TV正則項(xiàng)可獲得更好的去噪效果。

4 結(jié)束語(yǔ)

在研究圖像結(jié)構(gòu)相似度(SSIM)的基礎(chǔ)上，基于經(jīng)典的ROF去噪模型，提出了兩種新的圖像去噪模型。模型1將SSIM這一符合人眼視覺(jué)效果的圖像質(zhì)量評(píng)估指標(biāo)作為刻畫(huà)忠誠(chéng)項(xiàng)的度量引入到ROF模型中，克服了原有模型的L2度量未考慮圖像空間結(jié)構(gòu)性而導(dǎo)致恢復(fù)圖像視覺(jué)效果差的缺陷。在模型1的基礎(chǔ)上，為更好地保護(hù)圖像邊緣，用非凸正則項(xiàng)代替TV正則項(xiàng)，得到改進(jìn)的模型2。數(shù)值實(shí)驗(yàn)表明，相比于ROF模型，模型1及模型2在去噪過(guò)程中能更好地保持圖像的結(jié)構(gòu)信息，提高了恢復(fù)圖像的視覺(jué)效果，且模型2在圖像邊緣保護(hù)方面優(yōu)于模型1。值得說(shuō)明的是，本文將SSIM作為忠誠(chéng)項(xiàng)的度量應(yīng)用到圖像去噪模型中，并取得了較好的效果。因此，本文提出SSIM的應(yīng)用不僅局限于圖像質(zhì)量評(píng)估領(lǐng)域，將其作為一種忠誠(chéng)項(xiàng)的度量應(yīng)用到圖像去噪等領(lǐng)域?qū)⒂懈鼜V闊的應(yīng)用空間。

［1］Rudin L I，Osher S，F(xiàn)atemi E.Nonlinear total variation bases noise removal algorithms［J］.Physica D，1992，60(1 － 4):259－268.

［2］Aubert G，Kornprobst P.Mathematical problems in image processing:partial differential equations and the calculus of variations(second edition)［M］.USA:Applied Mathematical Sciences，2006.

［3］Lebrun M，Colom M，Buades A，et al.Secrets of image denoise cuisine［J］.Acta Nummerica，2012，21(2):475 －576.

［4］Wang Z，Bovik A C.Mean square error:love it or leave it?A new look at signal fidelity measures［J］.IEEE Signal Processing Magazine，2009，26(1):98 －117.

［5］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600 －612.

［6］Brunet D，Vrscay E R，Wang Z.Structural similarity based approximation of signals and images using orthogonal bases［C］.Povoa de Varzim，Portugnal:Internationnal Conference on Image Analysis and Recognition(ICAR10)，2010:11－22.

［7］Brunet D，Vrsca E R，Wang Z.A class of image metric based on the structural similarity quality index［J］.Image Analysis and Recognition，2011，65(7):264 －275.

［8］Rehman A，Wang Z，Brunet D，et al.SSIM － inspired image denoising using sparse representations［C］.Prague，Czech:IEEE International Conference on Acoustics，Specch＆Signal Processing(ICASSP11)，2011:1121 －1124.

［9］Wang Z，Simoncelli E P.Maximum differentiation(MAD)competition:A methodology for comparing computational models of perceptual quantities［J］.Journal of Vision，2008，8(12):1－13.

［10］Brunet D，Vrscay E R，Wang Z.On the mathematical properties of the structural similarity index［J］.IEEE Transactions on image processing，2012，21(4):1488 －1498.

［11］Chambolle A.An algorithm for variation minimization and applications［J］.Journal of Mathematical Imaging and Vision，2004，20(1 －2):89 －97.

［12］Han Yu，F(xiàn)eng Xianghu，George Baciu，et al.Nonconvex sparse regularIzer based speckle noise removal［J］.Pattern Recognition，2013，46(3):989 －1001.

［13］Nikolova M，Ng M K，Tam C P.Fast nonconvex nonsmoth minimization method for image restoration and reconstruction［J］.IEEE Transactions on Image Processing，2010，19(12):3073－3078.

［14］Nikolova M，Ng M K，Zhang S，et al.Efficient reconstruction of piecewise constant image using nonsmooth nonvex minimization［J］.SIAM Journal on Imaging Sciences，2008，1(1):2－25.

［15］郝巖，馮象初，徐建樓.一種新的去噪模型的分裂Bregma算法［J］.電子與信息學(xué)報(bào)，2012，34(3):557 －563.

［16］張偉斌，馮象初，王衛(wèi)衛(wèi).帶Besove忠誠(chéng)項(xiàng)的圖像去噪變分模型［J］.西安電子科技大學(xué)學(xué)報(bào)，2011，38(3):155－158.