基于非局部自相似性的低秩稀疏圖像去噪

張?chǎng)?，韓裕生

(1.中國(guó)人民解放軍陸軍炮兵防空兵學(xué)院，合肥 230031； 2.偏振光成像探測(cè)技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，合肥 230031)

0 引言

噪聲廣泛存在于圖像信號(hào)的獲取、傳輸及存儲(chǔ)過(guò)程中，降低了圖像的質(zhì)量，不利于后續(xù)圖像分析及處理。因此，如何有效地從噪聲中恢復(fù)出清晰干凈的圖像是圖像處理領(lǐng)域重要的研究?jī)?nèi)容。圖像去噪通常作為進(jìn)一步進(jìn)行邊緣檢測(cè)、圖像分割、特征提取及模式識(shí)別等處理的預(yù)處理，而在實(shí)際中，去除噪聲及保護(hù)邊緣細(xì)節(jié)往往是一對(duì)矛盾體，如何在有效去除噪聲的同時(shí)充分保留邊緣細(xì)節(jié)特征成為了人們研究的熱點(diǎn)。

三維塊匹配濾波 (Block-Matching and 3D filtering, BM3D) 算法[1]是當(dāng)前去噪效果較好的算法之一，該算法通過(guò)在圖像中尋找相似塊的方法進(jìn)行濾波，雖能較好保留邊緣細(xì)節(jié)，但算法復(fù)雜度高，且只適用于高斯白噪聲。為了得到效果更好且適應(yīng)性更廣泛的去噪算法，引入了塊先驗(yàn)的思想?；诟呖赡苄缘南闰?yàn)塊在塊重建時(shí)會(huì)帶來(lái)更好的恢復(fù)效果。EPLL(Expected Patch Log Likelihood)算法是Zoran等[2]提出的基于圖像塊先驗(yàn)知識(shí)的去噪算法，通過(guò)研究不同圖像塊的先驗(yàn)知識(shí)產(chǎn)生的去噪效果，找到較好的高斯混合模型作為先驗(yàn)知識(shí)，但該算法存在內(nèi)部非自適應(yīng)的問(wèn)題。SSC_GSM(Simultaneous Sparse Coding with Gaussian Scale Mixture)算法[3]針對(duì)圖像非局部模型如何設(shè)置空間自適應(yīng)參數(shù)的問(wèn)題，提出利用并行稀疏編碼開發(fā)非局部高斯尺度混合模型。

目前先驗(yàn)信息應(yīng)用最廣泛的是稀疏編碼的方法。為了提高編碼精度及對(duì)異常數(shù)據(jù)的魯棒性，文獻(xiàn)[4]提出了帶字典原子關(guān)聯(lián)度的非負(fù)稀疏編碼方法，文獻(xiàn)[5]通過(guò)權(quán)值矩陣泛化殘差分布減少異常點(diǎn)對(duì)編碼和字典學(xué)習(xí)的應(yīng)用。NCSR(Non-locally Centralized Sparse Representation)算法[6]用學(xué)習(xí)的先驗(yàn)塊構(gòu)造出過(guò)完備字典，通過(guò)利用圖像非局部冗余性集中式的稀疏約束來(lái)降低稀疏編碼噪聲。稀疏編碼的去噪算法對(duì)細(xì)節(jié)保存能力較強(qiáng)，但效率低，冗余的稀疏字典無(wú)法描述圖像具體特征而影響去噪效果。

利用外部塊先驗(yàn)正則化去噪過(guò)程雖然取得較好的效果，但它們忽略了圖像內(nèi)部的自相似性。PCLR(external Patch prior guided internal CLusteRing)算法[7]結(jié)合外部先驗(yàn)及內(nèi)部自相似性來(lái)提高去噪性能，利用學(xué)習(xí)得到的高斯混合模型(Gaussian Mixture Model, GMM)來(lái)指導(dǎo)相似塊聚類和低秩子空間學(xué)習(xí)。雖然這種方法具有很強(qiáng)的魯棒性，但計(jì)算量較大，且得到的圖像在細(xì)節(jié)方面不盡人意。顯然，如何在提高去噪效果的同時(shí)較好地保留邊緣細(xì)節(jié)是一個(gè)值得研究的問(wèn)題。

針對(duì)上述不足，本文在PCLR的基礎(chǔ)上提出基于非局部自相似性的低秩稀疏去噪算法。從自然圖像中學(xué)習(xí)利用非局部自相似性(Nonlocal Self-Similarity, NSS)，將學(xué)習(xí)的先驗(yàn)?zāi)Ｐ蛻?yīng)用于去噪圖像達(dá)到更優(yōu)的去噪效果。首先利用馬氏距離(Mahalanobis Distance, MD)作為塊相似性度量對(duì)外部塊分組，建立基于塊組的高斯混合模型。利用先驗(yàn)?zāi)Ｐ椭笇?dǎo)噪聲圖像內(nèi)部聚類，獲得不同結(jié)構(gòu)的潛在塊子空間。為了解決低秩近似的方法忽略了稀疏有用信息的問(wèn)題，利用穩(wěn)健主成分追蹤(Stable Principle Component Pursuit, SPCP)模型[8]建立低秩稀疏近似過(guò)程來(lái)恢復(fù)潛在子空間，最后通過(guò)最小化目標(biāo)函數(shù)實(shí)現(xiàn)去噪。與其他算法相比較，提出的算法效率更高，且具有更好的去噪效果及更強(qiáng)的細(xì)節(jié)邊緣保持能力。

1 GMM學(xué)習(xí)圖像塊

從含有噪聲的圖像y中恢復(fù)出干凈圖像的問(wèn)題，可用公式y(tǒng)=x+v表示。x表示原始干凈圖像矢量，v表示加性噪聲矢量。為解決該問(wèn)題的不適定性，將學(xué)習(xí)自然圖像塊像素得到的高斯混合模型作為先驗(yàn)信息用于正則化去噪過(guò)程。假設(shè)噪聲圖像塊的潛在結(jié)構(gòu)形成k個(gè)低維子空間，則利用k個(gè)高斯的加權(quán)平均和得到給定圖像塊xi的概率：

(1)

2 低秩近似與去噪

低秩矩陣近似的原理是利用原始高維空間中高效且高代表性的低維結(jié)構(gòu)。含噪聲圖像是一個(gè)高維矩陣，可以利用合適的低秩矩陣近似保持原復(fù)雜圖像的諸多性質(zhì)，同時(shí)有效地減少冗余信息及噪聲。

給定圖像x，且假設(shè)塊獨(dú)立，利用以下塊聚類似然公式得到所有重疊塊Rx到k類的分區(qū)。

(2)

(3)

利用以下全局目標(biāo)函數(shù)實(shí)現(xiàn)圖像去噪：

(4)

其中λ是一個(gè)正常數(shù)。該能量函數(shù)有效地將圖像內(nèi)部的自相似性和塊先驗(yàn)融入到整個(gè)圖像的去噪模型中。文獻(xiàn)[5]采用的塊聚類方法會(huì)將大量的平滑塊聚集成一個(gè)巨大的類，為了提高塊聚類的準(zhǔn)確性，采用k-mean[10]的方法，通過(guò)利用平均強(qiáng)度和每個(gè)塊的位置對(duì)平滑塊進(jìn)行精確細(xì)分類，當(dāng)某個(gè)類的塊數(shù)小于10，則會(huì)被分到其他相似的類中。

3 改進(jìn)算法

3.1 基于非局部自相似性的先驗(yàn)塊分組

非局部自相似性被廣泛應(yīng)用于圖像恢復(fù)，是最成功的先驗(yàn)之一，但大多數(shù)去噪算法，如文獻(xiàn)[1,4,11]都只是將NSS應(yīng)用于噪聲圖像，并不能高效地利用自相似性。為了獲得更優(yōu)性能的去噪算法，本文提出的基于自相似性的低秩稀疏去噪算法，建立用于學(xué)習(xí)干凈自然圖像NSS先驗(yàn)學(xué)習(xí)機(jī)制，提高先驗(yàn)?zāi)Ｐ偷男省?/p>

圖1 基于塊組的GMM先驗(yàn)?zāi)Ｐ蛯W(xué)習(xí)流程

(5)

(6)

3.2 基于SPCP的低秩稀疏模型

利用上述基于塊組的GMM先驗(yàn)?zāi)Ｐ鸵龑?dǎo)噪聲圖像塊聚類成k類后，利用PCLR算法中低秩近似的方法復(fù)原各個(gè)圖像塊的實(shí)驗(yàn)結(jié)果如圖2所示，去噪后圖像細(xì)節(jié)丟失，尤其是同噪聲大小相當(dāng)?shù)挠杏酶哳l信息。由于這些有用像素的分布較為稀疏，容易被當(dāng)作噪聲處理掉。

為了解決這個(gè)問(wèn)題，本文基于SPCP方法建立出低秩稀疏的去噪模型，將聚類圖像矩陣分解為低秩、稀疏及噪聲三部分，并通過(guò)最小化全局目標(biāo)函數(shù)達(dá)到去噪及保持邊緣細(xì)節(jié)的目的。

圖2 PCLR算法去噪后細(xì)節(jié)丟失(σ=35)

PCLR低秩去噪模型通過(guò)式(3)近似求解秩的最小化，最后達(dá)到去噪目的。該模型基于經(jīng)典的主成分尋蹤方法，即退化圖像可以表示為D=A+E，D表示退化后圖像，A為低秩結(jié)構(gòu)，E為稀疏的結(jié)構(gòu)。低秩結(jié)構(gòu)包含了數(shù)據(jù)之間的相關(guān)性，稀疏結(jié)構(gòu)包含了數(shù)據(jù)間的差異性。

傳統(tǒng)的方法認(rèn)為除去低秩部分外均是無(wú)用信息，但事實(shí)上該部分仍存留隨機(jī)且稀疏的有用信息。為了在去噪過(guò)程中更好地保留細(xì)節(jié)信息，引入SPCP理論，通過(guò)添加噪聲項(xiàng)給出新的約束條件，考慮了污染稀疏數(shù)據(jù)的隨機(jī)噪聲，重新建立去噪模型。

(7)

其中:Sk表示稀疏的有用信息矩陣，本文的低秩稀疏模型目的是保留該部分細(xì)節(jié)信息并疊加到低秩恢復(fù)的圖像中，從而得到質(zhì)量更高的干凈圖像。

利用文獻(xiàn)[8]提出的SPCP模型表示式(7)的優(yōu)化問(wèn)題，即：

(8)

定義基于SPCP去噪模型的增廣拉格朗日函數(shù)ζ，初始化乘子L得到式(9)：

(9)

(10)

其中常數(shù)β可以用來(lái)調(diào)節(jié)拉格朗日函數(shù)ζ的收斂性，且〈L,Zk-Sk〉=tr(LT(Zk-Sk));然后利用交替方向迭代算法更新Zk,Sk,Vk,L。更新迭代l次可以得到當(dāng)ζ(Zk,Sk,Vk,L,β)取最小值時(shí)候的Zk、Sk、Vk。具體更新步驟可以參考文獻(xiàn)[12]。

(11)

構(gòu)造全局目標(biāo)函數(shù)如下：

(12)

3.3 時(shí)間復(fù)雜度分析

在訓(xùn)練階段，假設(shè)有L1個(gè)塊組，每個(gè)塊組有L2塊，一共有L1×L2塊。在一次迭代中，對(duì)于M步，時(shí)間復(fù)雜度為O(p4L1L2)；對(duì)于E步，則為O(p6L1L2)，假設(shè)迭代次數(shù)為T，則基于塊組的GMM訓(xùn)練模型時(shí)間復(fù)雜度為O(p6L1L2T)。

而對(duì)于式(12)的去噪模型，假設(shè)k個(gè)聚類中有m個(gè)塊，而每個(gè)塊都有n個(gè)維度，算法正t次迭代后收斂，則該算法單次迭代的時(shí)間復(fù)雜度為O(tmkn3/4)。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出算法的去噪效果及邊緣細(xì)節(jié)保持能力，選取多組自然圖像進(jìn)行實(shí)驗(yàn)，與先進(jìn)的去噪算法進(jìn)行比較，包括EPLL[2]、NCSR[6]、SSC_GSM[3]和PCLR[7]。從伯克利圖像分割數(shù)據(jù)集(BSD)中選取200張訓(xùn)練圖像均勻采樣得到2×106張圖像塊，并從中學(xué)習(xí)得到有250個(gè)混合組件的GMM及參數(shù)Θ。

所有的實(shí)驗(yàn)均在操作系統(tǒng)為Windows 10、CPU為3.20 GHz的Intel Core i5-6500、GPU大小為8 118 MB、內(nèi)存為8 192 MB的PC機(jī)上運(yùn)行,編程環(huán)境為Matlab R2014b。

4.1 驗(yàn)證算法去噪性能

由文獻(xiàn)[5]實(shí)驗(yàn)經(jīng)驗(yàn)可得，對(duì)于σ≤20，20<σ≤40，40<σ≤60和σ>60的情況下，分別設(shè)置塊尺寸為7×7，8×8，9×9和10×10，在6個(gè)尺寸均為256×256的不同測(cè)試圖像上進(jìn)行實(shí)驗(yàn)，驗(yàn)證提出算法的優(yōu)越性能。由于許多實(shí)際噪聲分布近似為高斯白噪聲，因此本節(jié)將標(biāo)準(zhǔn)差分別為σ=15，35，55和75的高斯白噪聲添加到原始測(cè)試圖像上來(lái)研究和比較圖像去噪效果。

實(shí)驗(yàn)中EPLL方法的參數(shù)設(shè)置如上，NCSR方法的基本參數(shù)設(shè)置為：正則化參數(shù)為0.02，聚70類，外層與內(nèi)層迭代均為3次。SSC_GSM方法設(shè)置外層迭代14次。PCLR方法的正則化參數(shù)分別為：正則化參數(shù)為0.18，搜索因子為0.67。

采用本文提出的去噪方法和文獻(xiàn)中提出的去噪方法得到的結(jié)果圖像分別如圖3所示。為了定量地衡量去噪效果及效率，通過(guò)峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)及時(shí)間(TIME)兩項(xiàng)指標(biāo)對(duì)去噪結(jié)果進(jìn)行統(tǒng)計(jì)分析，并列出表1。從實(shí)驗(yàn)結(jié)果可以看出，不論噪聲水平高或者低，提出的算法在PSNR結(jié)果上表現(xiàn)都更優(yōu)異，處理效率更高；而且去噪效果更好，相比其他四種算法，原圖像中許多邊緣和紋理細(xì)節(jié)特征(如小溪河流曲線、手套、遠(yuǎn)處建筑曲線)都被很好地保留，具有較高的視覺質(zhì)量。且從圖像eagle、plane、cameraman的實(shí)驗(yàn)結(jié)果來(lái)看，由于本文重新建立了低秩稀疏的去噪模型，所以當(dāng)圖像背景低秩屬性明顯(如天空背景)時(shí)，去噪效果相比其他算法會(huì)有更大的改善。

圖3 不同算法對(duì)不同圖像去噪結(jié)果

圖像σEPLLPSNR/dBTIME/sNCSRPSNR/dBTIME/sSSC_GSMPSNR/dBTIME/sPCLRPSNR/dBTIME/s本文算法PSNR/dBTIME/smountaineagleparaglideplanecameramanLena1533.464333.3310933.402033.633933.92935 29.884329.4129330.172930.3013430.571155 28.234324.2119828.735128.6821428.77137526.924322.9817727.684927.5317127.84131535.054235.6311935.891936.043936.32935 30.354328.2632631.042931.2413431.541055 28.084325.4323728.505028.7214827.97137526.394323.4619226.834926.9512927.43121537.174437.9511137.252037.474337.96935 33.304233.0631934.133033.9215933.911155 31.164329.6922232.044931.9128531.89137529.544327.5219930.654830.3523230.88131537.994438.9011438.401938.224239.46935 33.444332.9332634.012933.9815434.541155 30.634427.6825431.804931.9426432.28137529.174326.0419430.284930.1120730.98121531.784432.0112631.932032.224032.8293527.734327.6634227.953028.1514628.84115525.644325.7125025.955026.1617826.90137524.104324.2325624.575024.7315025.03131531.564231.8612432.062032.033932.8193527.654427.8534228.012928.0910728.96105525.734425.8724826.154926.1311827.00127524.324424.5524824.934924.8311325.3812

4.2 驗(yàn)證算法邊緣細(xì)節(jié)保持能力

為進(jìn)一步驗(yàn)證提出算法對(duì)邊緣細(xì)節(jié)的保持能力，本節(jié)通過(guò)對(duì)低分辨率(Low Resolution, LR)圖像直接超分辨率(Super Resolution, SR)或先去噪后SR兩種處理方式來(lái)研究和比較。選取尺寸為512×512的多組圖像作為原始圖像，通過(guò)下采樣和高斯模糊仿真高分辨率圖像退化到LR圖像的過(guò)程，得到尺寸為256×256的低分辨率圖像。

圖4為當(dāng)σ分別0.5、15和35時(shí)候，圖像Barbara低分辨率圖像利用Yang等[14]于2010年提出的ScSR算法直接超分辨率，與經(jīng)過(guò)算法PCLR或本文算法去噪后再超分辨率得到的結(jié)果對(duì)比圖。表2是這三種方式得到的PSNR及SSIM結(jié)果值。由實(shí)驗(yàn)結(jié)果可以看出，當(dāng)噪聲水平較低時(shí)，直接SR與去噪后SR相比，兩種方式的結(jié)果對(duì)細(xì)節(jié)保持能力差別不大。而隨著噪聲水平的提升，直接SR雖然可以在一定程度上提高圖像的分辨率，但是無(wú)法去除噪聲帶來(lái)的嚴(yán)重影響，且細(xì)節(jié)信息嚴(yán)重丟失，不利于后續(xù)圖像處理與分析。先利用提出的算法對(duì)低分辨率圖像去噪后再對(duì)圖像SR，則既能夠保持清晰的邊緣又可以提高去噪圖像的清晰度；且無(wú)論噪聲水平的高低，從圖4及表2均可以看出，提出的算法在定量結(jié)果PSNR及SSIM上都有更優(yōu)表現(xiàn)，且細(xì)節(jié)的保持能力也更好。

圖4 不同噪聲水平直接或去噪后超分辨率結(jié)果

算法σ=0.5PSNR/dBSSIMσ=5PSNR/dBSSIMσ=15PSNR/dBSSIMσ=35PSNR/dBSSIM直接ScSR34.050.83632.030.68729.080.37727.940.162先去噪后ScSRPCLR33.450.80232.300.72931.150.63734.060.836本文算法34.220.87733.510.82532.070.71134.980.894

5 結(jié)語(yǔ)

為解決圖像在去除噪聲的同時(shí)容易丟失細(xì)節(jié)信息的問(wèn)題，提出了一種基于自相似性的低秩稀疏去噪算法。該方法在學(xué)習(xí)階段，利用基于馬氏距離的塊匹配方法將干凈自然圖像塊分組，建立基于塊組的高斯混合模型，從自然圖像中學(xué)習(xí)NSS?；趬K組的先驗(yàn)?zāi)Ｐ椭懈鱾€(gè)高斯組件所包含的信息更豐富，在同等程度下，每種模式的學(xué)習(xí)數(shù)量更多，從而聚類效率更高，因此提出算法時(shí)間復(fù)雜度較低。然后利用基于塊組的GMM先驗(yàn)?zāi)Ｐ鸵龑?dǎo)噪聲圖像塊聚類，考慮了目標(biāo)圖像塊中稀疏的有用信息， 將噪聲圖像矩陣分為低秩矩陣、稀疏矩陣及噪聲矩陣，通過(guò)保留低秩及稀疏信息提高算法保留細(xì)節(jié)信息的能力，最后通過(guò)最小化全局目標(biāo)函數(shù)實(shí)現(xiàn)去噪。實(shí)驗(yàn)結(jié)果表明，提出的算法在PSNR、SSIM及時(shí)間運(yùn)行的結(jié)果上都優(yōu)于列出的其他算法，不僅去噪效果更好，而且能夠有效地保持圖像的邊緣及紋理特征。提出的算法在圖像復(fù)原、增強(qiáng)等諸多領(lǐng)域都具有重要的應(yīng)用價(jià)值。

[11] GU S, ZHANG L, ZUO W, et al. Weighted nuclear norm minimization with application to image denoising [EB/OL]. [2017- 12- 24]. http://101.96.10.63/www4.comp.polyu.edu.hk/～cslzhang/paper/WNNM.pdf.

[12] XU J, ZHANG L, ZUO W, et al. Patch group based nonlocal self-similarity prior learning for image denoising [C]// ICCV ’15: Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2015: 244-252.

[13] AYBAT N S, GOLDFARB D, IYENGAR G. Fast first-order methods for stable principal component pursuit [EB/OL]. [2017- 12- 24]. http://pdfs.semanticscholar.org/be40/b2c105dc20dde4ae8dfa146bb05d25543ad3.pdf.

[14] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.