張勁松,陳明舉,2,熊興中,2,王 鴻,李 蘭
(1.四川輕化工大學(xué)自動化與信息工程學(xué)院,四川 宜賓 644000;2.人工智能四川省重點實驗室,四川 宜賓 644000)
在圖像的獲取、傳輸與存儲等過程中,由于受到脈沖信號的干擾,通常會導(dǎo)致傳感器陣列單元失效或像素元轉(zhuǎn)換的錯誤,從而在圖像上形成由白色與黑色斑點組成的椒鹽噪聲(SPN)[1]。SPN 是圖像噪聲中常見的一種噪聲,它存在于圖像處理的多個領(lǐng)域,嚴(yán)重影響圖像的后續(xù)處理。因此,采用有效的方法去除SPN 的不利影響,增強(qiáng)圖像的可視化效果是當(dāng)前研究的熱點問題[2]。
由于SPN 具有沖擊性的特性,傳統(tǒng)的非線性濾波器在SPN 的去除中取得了較好的效果。在非線性濾波器中,中值濾波(MF)方法通過中值代替奇異值實現(xiàn)噪聲的消除[3],該方法能夠?qū)崿F(xiàn)SPN 消除,但會模糊圖像細(xì)節(jié)與邊界信息。近年來,為了進(jìn)一步提高M(jìn)F 方法的去噪性能,出現(xiàn)了許多改進(jìn)算法,如加權(quán)中值濾波(WMF)[4]、自適應(yīng)模糊開關(guān)中值濾波(AFSM)[5]以及自適應(yīng)中值濾波算法(AMF)[6]。AMF采用根據(jù)不同的噪聲密度改變不同的濾波窗口的思想,在強(qiáng)噪聲時采用大的窗口,以更準(zhǔn)確地實現(xiàn)噪聲的消除。另一方面,一些學(xué)者將模糊系統(tǒng)、深度學(xué)習(xí)技術(shù)等引入非線性濾波中[7-10],通過增加算法的復(fù)雜度提高非線性濾波的去噪性能,以更好地消除SPN。
非線性濾波實際上是通過統(tǒng)計分析判斷噪聲點,采用相鄰的像素值對噪聲點替代,該方法存在一定的局限:(1)當(dāng)噪聲點的圖像真實值與相鄰像素值不一致時,會造成濾波后的像素值存在一定的誤差;(2)非線性濾波僅僅考慮圖像局部性的相似性,未利用自然圖像的非局部相似性,其濾波性能有限。近年來,圖像非局部相似濾波(NLM)利用圖像非局部相似的特性,通過對圖像相似區(qū)域加權(quán)平均實現(xiàn)對噪聲的消除與增強(qiáng),從而有效地實現(xiàn)噪聲區(qū)域的重構(gòu)[11]。在經(jīng)典非局部濾波的基礎(chǔ)上,針對不同的場景,已建立了多種高效的非局部濾波模型。如文獻(xiàn)[12]針對加性高斯噪聲對非局部濾波相似塊之間距離的影響,提出了一種有效去除高斯噪聲的非局部均值濾波(SNLM)。Devi 等[13]針對遙感圖像的乘性斑塊噪聲,對SNLM 的權(quán)值進(jìn)行統(tǒng)計分析,建立了基于乘性噪聲特性的非局部均值濾波模型(NLMLS)。Chen 等[14]通過分析核磁共振成像(MRI)的萊斯噪聲的特性,對NLM 濾波中的搜尋窗口大小進(jìn)行改進(jìn),建立了去除萊斯噪聲的非局部均值濾波模型(NLMRN),實現(xiàn)了MRI圖像噪聲的消除與細(xì)節(jié)信息的增強(qiáng)。
綜上分析,非局部濾波(NLM)針對不同噪聲的特性,建立了許多高性能改進(jìn)模型。然而,針對椒鹽噪聲的特性,建立與其特性相適應(yīng)的非局部濾波模型[15]還有待研究。鑒于此,本文通過對噪聲圖像進(jìn)行統(tǒng)計分析以確定SPN 區(qū)域,并根據(jù)噪聲像素點的幾何特性,采用不同形狀的相似窗口進(jìn)行非局部濾波,建立有效的去除SPN 的自適應(yīng)方向非局部模型(Adaptive Directional Non-local Means,ADNLM),并通過對比實驗驗證其有效性。
圖像中的SPN 以強(qiáng)幅值或低幅值兩種形式在圖像中隨機(jī)出現(xiàn),噪聲區(qū)域的像素通常高于其領(lǐng)域的灰度值。令原始圖像的矩陣表達(dá)為X,xi為原始圖像X空間位置i的灰度值,yi為SPN 的灰度值,則受SPN干擾圖像的灰度值的概率模型可表示為:
其中:p與q分別為“椒”與“鹽”噪聲出現(xiàn)的概率。經(jīng)典的非線性濾波利用SPN 具有沖擊性的特點,通過異常像素值的檢測與替代進(jìn)行噪聲的消除。如自適應(yīng)中值濾波通過對不同大小的方形窗口內(nèi)噪聲點檢測與替代實現(xiàn)噪聲消除。
AMF 通過噪聲查找與噪聲像素值的替換兩個步驟,在去除SPN 中獲得較好的性能,但仍然存在不足:當(dāng)圖像的像素值接近最大值或最小值時,易將圖像的真實值當(dāng)做噪聲進(jìn)行消除。另外,AMF 僅僅考慮圖像的局部相似性,沒涉及到圖像的非局部相似信息,在強(qiáng)噪聲情況下,其去噪性能將急劇下降。
SNLM 利用圖像非局部的自相關(guān)性[16],對相似圖像塊進(jìn)行加權(quán)平均得到真實圖像的估計值x?i。在SNLM 中,以像素點i為中心的方形區(qū)域Ri作搜索區(qū)域,將該區(qū)域的相似塊進(jìn)行加權(quán)平均以獲得去噪后圖像的估計值:
其中:wij為權(quán)值系數(shù),其大小體現(xiàn)像素i為中心圖像塊Pi和以像素j為中心圖像塊Pj之間的相似性,wij通過相似塊的相似性求得:
在非局部均值中,相似圖像塊P通常為方形,未體現(xiàn)不同的圖像結(jié)構(gòu)信息,存在一定的局限性[17-19]。
在噪聲像素值的替換中,AMF 未考慮到圖像的局部連續(xù)性與非局部相似性。為了更有效地利用圖像的非局部相似性[21],采用非局部均值(NLM)對噪聲點進(jìn)行濾波處理,并對NLM 中的相似窗口進(jìn)行改進(jìn)。在NLM 中,相似窗口P采用方形窗口(如圖1(a)所示),該窗口未能體現(xiàn)圖像方向上的結(jié)構(gòu)相似性,而采用與圖像結(jié)構(gòu)方向一致的長方形窗口(如圖1(b)所示)能夠有效體現(xiàn)相似性窗口P,并能夠更好地利用圖像結(jié)構(gòu)的非局部相似性,重構(gòu)圖像的SPN區(qū)域更多的結(jié)構(gòu)信息。相似窗口P定義為:
圖1 NLM使用的相似窗口
其中,ll、lw分別為長方形的長與寬。此時,非局部均值相似塊的相似歐氏距離可表示為:
其中,Ω為方形區(qū)域。可見相似歐氏距離的大小更好地體現(xiàn)了圖像的結(jié)構(gòu)相似性。
對于SPN像素點i,直接代入進(jìn)行權(quán)值系數(shù)的計算誤差較大,可先采用自適應(yīng)均值[22]進(jìn)行預(yù)處理后,再進(jìn)行非局部均值濾波。椒鹽噪聲像素點i可以直接采用自適應(yīng)均值濾波替代:
從而得到ADNLM 處理后的圖像噪聲點估計值為:
為證明本文提出的去除SPN 的ADNLM 的性能,將ADNLM 分別與經(jīng)典的NLM、文獻(xiàn)[12]去除高斯噪聲的SNLM 模型、文獻(xiàn)[13]去除乘性噪聲的NLMLS 模型以及文獻(xiàn)[14]去除萊斯噪聲的NLMRN模型進(jìn)行對比。實驗中分別選取標(biāo)準(zhǔn)圖像加入不同強(qiáng)度的椒鹽噪聲進(jìn)行對比分析,部分原始標(biāo)準(zhǔn)圖像如圖2 所示。采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為客觀評價指標(biāo)。
圖2 實驗的部分原圖像
表1 給出了“boat”、“peppers”、“barbara”與“parrot”4 幅圖像同時加入不同強(qiáng)度的SPN 進(jìn)行實驗,并給出不同NLMLS 去除SPN 前后的PSNR與SSIM的值。從表1 可以看出,NLM 獲得的SSIM與PSNR高于SNLM、NLMLS 以及NLMRN,本文的ADNLM 模型的PSNR與SSIM均高于其它非局部均值的結(jié)果,且PSNR高出NLM 0.5 dB。圖3給出了加入不同強(qiáng)度SPN 后的部分圖像,圖4 所示的圖像為采用不同NLMLS試驗的結(jié)果,并在各種模型去噪結(jié)果圖的右下區(qū)域給出局部放大圖,以便于進(jìn)行客觀比較。從圖4 中可以看出,在針對SPN 的去除,SNLM產(chǎn)生偽邊緣,NLMLS與NLMRN模型對圖像邊緣造成嚴(yán)重的模糊,本文提出的ADNLM 模型在有效去除噪聲的同時能夠更好地保留圖像的細(xì)節(jié)信息。
圖3 加入椒鹽噪聲后的部分圖像
圖4 采用不同算法去噪后的結(jié)果
表1 不同圖像采用不同非局部濾波去除噪聲結(jié)果(評價指標(biāo):SSIM/PSNR)
通過以上分析表明,SNLM、NLMLS 與NLMRN分別適用于高斯噪聲、乘性噪聲以及萊斯噪聲的去除,在去除SPN 時,其去噪性能與NLM 模型相比反而有所下降,說明這3 種模型并不適用于SPN 的消除。而ADNLM 模型能有效地利用SPN 的特性與圖像的非局部相似性,去除噪聲的同時更好地復(fù)原圖像的細(xì)節(jié)信息,其去噪性能最優(yōu)。
針對現(xiàn)有的非局部均值濾波未考慮到SPN 的特殊性,不能有效消除SPN 的問題,建立一種有效的去除SPN 的自適應(yīng)非局部均值濾波算法。該算法通過無噪聲區(qū)域的局部均值實現(xiàn)對噪聲點的精確查找與初步替換,進(jìn)而采用自適應(yīng)方向的非局部均值實現(xiàn)噪聲點的精確重構(gòu)。本文提出的ADNLM算法在利用圖像自相似信息的同時能夠考慮到SPN的特性。因此,ADNLM 模型能夠更有效地去除SPN并實現(xiàn)該區(qū)域像素值的重構(gòu)。通過對比實驗證明,本文提出的ADNLM 可以更有效地消除圖像中的SPN,具有一定的學(xué)術(shù)價值和廣泛的應(yīng)用前景。