摘" 要:日常生活中,在發(fā)送、存儲圖像和拍照形成圖像的過程中往往會因操作不當(dāng)而導(dǎo)致圖像不清晰,無法反映圖像本質(zhì)。為此采用圖像降噪算法將圖像中的雜質(zhì)去除,還原出無噪聲的圖像,同時還可以使大部分的細(xì)節(jié)因素保留在圖片中,讓圖片更加清晰。在去噪方法的運用上通常是采用無噪圖像和含有噪聲的先驗信息,但弊端是二者并沒有進(jìn)行有效的結(jié)合。為了解決這個問題,采用小波、非局部均值等方式進(jìn)行去噪,并且在非局部均值去噪中從歐氏距離和權(quán)重分配方面進(jìn)行一些優(yōu)化。
關(guān)鍵詞:圖像去噪;小波去噪;非局部均值;歐氏距離;權(quán)重
中圖分類號:TP391" " 文獻(xiàn)標(biāo)識碼:A" 文章編號:2096-4706(2024)10-0021-06
Research Review of the Application of Image Denoising Algorithms in Image Processing
BAI Ruxin, LUAN Shangmin
(North China Institute of Science and Technology, Langfang" 065201, China)
Abstract: In the daily life, during the process of sending image, storing image, and taking photos to form images, improper operation often leads to unclear images that cannot reflect the essence of the image. To this end, an image denoising algorithm is used to remove impurities from the image, restoring a noise-free image. At the same time, most of the details can be retained in the image, making it clearer. In the application of denoising methods, noiseless images and prior information containing noise are usually used, but the drawback is that the two have not been effectively combined. To solve this problem, wavelet and non-local mean methods are used for denoising, and some optimizations are made in terms of Euclidean distance and weight allocation in non local mean denoising.
Keywords: image denoising; wavelet denoising; non-local mean; Euclidean distance; weight
0" 引" 言
隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,人們越來越喜歡用圖片和視頻來呈現(xiàn)自己的真實寫照,例如我們發(fā)送的表情包,自拍或者發(fā)一段短視頻都可以作為信息載體。統(tǒng)計數(shù)據(jù)表明,近80%的外部信息都是通過眼睛傳遞的,圖像就是主要的來源。
隨著生產(chǎn)效率和人們生活水平的不斷提高,越來越多的領(lǐng)域開啟了圖像的使用,例如醫(yī)療領(lǐng)域的X光圖像、CT圖像可用于判斷患者骨頭及器官的損傷程度,國防科技領(lǐng)域的衛(wèi)星檢測、無人機拍攝等都需要用到圖像,在密集人群和公共場所中需要進(jìn)行圖像監(jiān)控以此確保人身的安全。然而,現(xiàn)實生活中的應(yīng)用都需要使用高清圖像作為支撐,醫(yī)生需要借助清晰的圖像來判斷患者的病情,國防上更是不能有半點差錯。但是圖像在傳輸和壓縮過程中因受各種因素的干擾而產(chǎn)生噪聲。噪聲的產(chǎn)生會讓圖片變得不那么清晰,從而影響人們的生活和判斷。如何進(jìn)行高質(zhì)量降噪以還原出清晰圖片是一個非常重要的問題,當(dāng)下經(jīng)常采用的方法有高斯噪聲、鹽和胡椒粉噪音、3D過濾以及非局部均值圖像去噪。
1" 圖像去噪基礎(chǔ)知識
1.1" 噪聲分類及去噪算法概述
日常生活中常見的噪聲分為兩種,一種是高斯噪聲又稱正態(tài)噪聲,簡單來說就是噪聲圖是符合正態(tài)分布的。高斯噪聲對圖片的影響是不確定的,常見形式如下:
其中,μ為噪聲的數(shù)學(xué)期望,σ2為圖像噪聲的方差。當(dāng)本式的數(shù)學(xué)期望為0時,圖像噪聲的方差與它的平均功率相等,概率密度為:
瑞利分布的數(shù)字特征為:
另一種是椒鹽噪聲,也就是常說的脈沖噪聲。它是隨機出現(xiàn)的黑點或白點,黑點是高灰度噪聲,它一般與低灰度噪聲同時出現(xiàn),其概率密度函數(shù)表示為:
如果b>a,那么灰度值b為亮點,a為暗點;如果Pa或Pb為零則變?yōu)閱螛O型脈沖噪聲。
所謂的去噪就是還原出最清晰的圖片,同時最大限度保持圖片的細(xì)節(jié),幾種噪聲的處理如表1所示。
去噪問題通常被當(dāng)作逆向的問題來處理,假設(shè)一張256×256的噪聲圖像y,想要通過算法進(jìn)行去噪,恢復(fù)到未被噪聲污染的圖像把它設(shè)為x。那么噪聲圖像可以表達(dá)為:y = x + v,噪聲模型如圖1所示。
1.2" 國內(nèi)外研究現(xiàn)狀分析
圖像去噪在20世紀(jì)就是一個人們持續(xù)關(guān)注的問題,現(xiàn)如今科研人員已經(jīng)研究出很多種圖片去噪方法,并且不斷有新的理論在涌現(xiàn)。大致的發(fā)展順序為:Donoho [1]提出一種空間域的算法,率先推出了均值去噪的方法,但是這種濾波無法很好地保護(hù)圖像的細(xì)節(jié),它會破壞圖像導(dǎo)致內(nèi)容的缺失,因為這就是線性方程的弊端,無法在去噪的同時進(jìn)行圖像的邊緣檢測。為了改變這一現(xiàn)狀,Ibrahim [2]提出一種非線性的濾波方式——中值濾波,這種方法對椒鹽噪聲的去噪效果很好。從此圖像去噪就有了另一種思路——頻率域去噪,它的主要原理是利用傅里葉變換到頻率域進(jìn)行去噪,高斯濾波就是其中的一種。隨著科技的發(fā)展,降噪處理的作用越來越明顯,小波域濾波[3]在此情景下應(yīng)運而生。它是一種變換域方法,主要原理就是過濾掉高頻信息達(dá)到降噪的目的,但是它會將邊緣的信息平滑掉。然后就有了偏微分,偏微分具有各向異性,它可以在噪聲密度較小時去除噪聲并保留圖像邊緣細(xì)節(jié),但隨之而來的問題是密度高的時候效果很不理想。2005年,Buades [4]等提出了非局部均值方法,在此基礎(chǔ)上又出現(xiàn)了三維塊匹配算法,此方法的去噪效果非常理想,成為去噪基準(zhǔn)算法。
2" 去除噪聲算法概述
2.1" 空間域和頻率域去噪
空間域去噪是指通過調(diào)整鄰域內(nèi)像素的方式來去除圖像噪聲,其中均值濾波的原理就是先選擇一個中心的像素點,然后取該像素點與其周圍像素點的像素平均值,將該像素點濾波后的值替換成平均值,為了方便我們都是采用一個矩形窗口,例如:3×3,5×5,…,(2n + 1)×(2n + 1)。以3×3為例,如圖2所示。Z點的濾波值是通過計算周圍9個點的平均值而得到的。如果是邊緣就擴充邊界以此得到平均值。
計算式為:
中值濾波就是對鄰域像素值進(jìn)行排序,排序后像素值處于中間的那個就是濾波值。假設(shè)對3×3噪聲圖像的窗口進(jìn)行中值濾波,如圖3所示,我們要尋找一下Z5的濾波值,排序結(jié)果為Z1<Z2<Z3<Z5<Z4<Z6<Z7<Z8<Z9,那么Z4就是Z5的濾波值。
由此可以看出,找中值的算法是中值濾波的關(guān)鍵。第一種方法是冒泡排序,這種排序方式是最簡單也是耗時最長的一種排序,底層邏輯就是反復(fù)掃描一個排序序列,通過比較大小來對他們的排序進(jìn)行調(diào)整,直至所有元素都不再發(fā)生位置改變,這表明完成了排序。偽代碼為:
Bubble_sort(list): // list 表示待排序序列
for ilt;- 0 to length(list)-1: // 對于元素個數(shù)為n的list序列,需遍歷n-1次,這里用[0,length(list)-1)表示。
for j lt;- 1 to length(list) - i: // 從第1個元素開始遍歷,遍歷區(qū)間為[1,length(list)-i)。
if list[j] gt; list[j+1]: // 若進(jìn)行降序排序,則改成小于號<
swap(list[j] , list[j+1]) // 交換2個相鄰元素的位置
return list
第二種方法就是快速排序,隨便選一個“中間值”(一般是一堆數(shù)字里面的第一個數(shù)字),以這個數(shù)字為基準(zhǔn)將所有數(shù)字分成兩堆(一堆是小于等于這個數(shù)字的數(shù)字,一堆是大于等于這個數(shù)字的數(shù)字),然后采用遞歸調(diào)用快速排序算法分別對這兩堆數(shù)字進(jìn)行排序。偽代碼為:
quick_sort(int a[],int left,int right){
quick_sort(a,left,m-1)//這兩行是遞歸調(diào)用:自己調(diào)用自己
quick_sort(a,m+1,right)
}
2.2" 小波濾波
小波最初主要應(yīng)用于數(shù)字和信號處理領(lǐng)域,后來被Mallat [5]引入計算機視覺領(lǐng)域。小波可以被視為一種在傳統(tǒng)去噪領(lǐng)域中定位的信號濾波器,并且這種濾波器是在不同尺寸層次上定義的。小波提供一種平滑處理的方式,在不產(chǎn)生塊效應(yīng)的同時把信號分解為頻率成分。小波系數(shù)處理方式大致可分為:
1)極大值去噪。
2)相鄰尺寸小波系數(shù)相關(guān)性去噪。
3)變換閾值去噪。變換閾值去噪既簡單又實用,被大多數(shù)人所使用。閾值的選擇是非常重要的,閾值過小會導(dǎo)致圖像的噪聲沒法去除干凈,閾值太大則會影響圖像本身的信息導(dǎo)致圖像失真。
閾值的選擇大致有兩種方法:一種是硬閾值,另一種是軟閾值。硬閾值法的計算式為:
其中,α表示選取的閾值(下同),將所選信號的正值與我們預(yù)先確定的閾值進(jìn)行比較,當(dāng)x的絕對值小于α就為0,x的絕對值大于α則保持不變。軟閾值法的計算式為:
將信號的正值與我們預(yù)先確定的閾值進(jìn)行比較,信號的正值小于等于閾值則設(shè)為0,絕對值大于閾值,則將其設(shè)為信號絕對值與閾值的差。但是閾值選擇的缺點也很明顯。在這里設(shè)計了一個新的閾值函數(shù),其融合了軟硬閾值的優(yōu)點。我們自定義的閾值函數(shù)為:
其中,N表示正數(shù),di表示處理前的初始小波系數(shù), 表示處理過的系數(shù)函數(shù)圖像。
2.3" 偏微分方程去噪
利用偏微分方程對圖像去噪[6],基本思想就是將Gaussian核函數(shù)與圖像相結(jié)合做卷積運算。卷積運算的目的是在消除噪音的同時模糊邊緣圖像。我們將圖像看作一塊溫度不一的導(dǎo)熱板,把噪聲和邊緣的高頻信號比作溫度高的地方,然后用熱傳導(dǎo)進(jìn)行降溫,這就是熱傳導(dǎo)模型的概念。熱傳導(dǎo)方程的數(shù)學(xué)表達(dá)式為:
其中,Δ表示拉普拉斯算子,μ(0,x,y)表示方程的初始條件為觀測到的噪聲圖像μ0,而μ表示演化的圖像。由于拉普拉斯變現(xiàn)的各向同性,圖像各個方向的擴散速度和強度一樣,因而模糊了邊緣。圖4(a)為噪聲圖像,經(jīng)過30次擴散的圖像如圖(b)所示,我們可以清晰地看出它已經(jīng)開始模糊了,經(jīng)過10 000次擴散的圖像如圖(c)所示,可以看出整張圖的灰度值幾乎一致了。
雖然可以緩解噪聲,但代價是圖像的邊緣也被模糊了,可邊緣信息又是非常重要的。因此PM模型應(yīng)運而生,它是從各向同性轉(zhuǎn)為各向異性的擴散方程:
PM模型和熱傳導(dǎo)的差別就在于多了一個擴散系數(shù)c(|?μ|)。常梯度模大的地方就是邊緣,小的地方就是平坦區(qū)域,所以PM模型可以進(jìn)行擴散,還可以進(jìn)行邊緣檢測。邊緣區(qū)域c(|?μ|)變小,平坦區(qū)域c(|?μ|)變大。然而,圖像會產(chǎn)生很多的黑白斑點,因為它會被誤判定為邊緣的區(qū)域,此處的噪聲就會留存下來,如圖5所示。為了克服PM模型的缺點,TV模型利用全變差范數(shù)構(gòu)造去噪方程,該方程在邊界的梯度方向上沒有擴散,可以有效地保護(hù)圖像的邊界信息。
2.4" 變分法去噪
在數(shù)學(xué)領(lǐng)域,變分法[7]是用來研究未知函數(shù)影響的,通過對泛函變分得到泛函的極值函數(shù),使用已知的極值函數(shù)讓泛函取得極大值或極小值。而變分法應(yīng)用于圖像去噪中所用到的主要原理是根據(jù)噪聲圖像的先驗知識和數(shù)學(xué)模型建立一個合適的能量泛函,在求極值的過程中達(dá)到降噪的目的。最為經(jīng)典的就是TV模型,為了克服PM模型的缺點,TV模型利用全變差范數(shù)構(gòu)造去噪方程,這樣可以更好地保留邊界信息。其數(shù)學(xué)表達(dá)式為:
其中, 為平滑項,表示圖像平滑度, 表示保真項,確保去噪時不會偏離原圖像。將一維推廣到二維,利用變分法的歐拉方程得到:
引入人工時間t,通過有限差分法求解:
隨著迭代的進(jìn)行可得到去噪后的圖像,如圖6所示。
2.5" 非局部均值算法
傳統(tǒng)非局部均值算法[8]主要是利用圖像中的冗余信息,在這個范圍內(nèi)找到一個搜索塊,然后進(jìn)行相似塊的匹配,具有很好的降噪效果。傳統(tǒng)非局部均值算法的主要步驟如圖7所示。
首先在有噪聲的圖像中創(chuàng)建一個以D為邊長的搜索塊,再建立一個以d為邊長的相似塊,并按照如下步驟進(jìn)行去噪:
1)在搜索塊里面找到一個像素點i,以它為中心建立相似塊,再找一個像素點建立同樣大的相似塊,用高斯加權(quán)歐式距離計算權(quán)重系數(shù):
2)在搜索窗中遍歷所有點j。
3)選擇權(quán)重最大的賦值給i,并將權(quán)重歸一化,i的像素值為:
4)最后遍歷圖像所有i點,完成降噪。
圖8(a)為原圖噪聲圖像,圖8(b)為非局部均值去噪后的圖像,可以看出非局部均值算法的降噪效果還是非常不錯的。
3" 改進(jìn)非局部均值算法
如前所述,當(dāng)下技術(shù)最先進(jìn)、應(yīng)用最多的就是以非局部均值算法為基礎(chǔ)的圖像去噪算法[9],因為這種算法本身存在很多不合理性,有很多專家進(jìn)行了算法的改進(jìn),例如,結(jié)合雙邊濾波和非局部均值算法降低了計算的復(fù)雜度,解決了圖像邊緣失真的問題,提出采用離散余弦變換算法予以改善。雖然這些方法在算法的改進(jìn)上都取得了一定的成效,但在運行時間、權(quán)值分配以及歐式距離計算鄰域相似性以突出中心像素方面,仍存在一些問題未能得到很好的解決。我們可以從最基礎(chǔ)的非局部均值算法出發(fā),從權(quán)值分配和歐式距離計算方式兩個方面進(jìn)行深入探討,并嘗試進(jìn)行適當(dāng)?shù)母倪M(jìn),以達(dá)到加快算法運行速度的目的。
3.1" 改進(jìn)歐氏距離計算鄰域相似性
傳統(tǒng)的非局部均值算法,在計算兩個點相似程度時通常使用高斯核函數(shù)加權(quán),使用歐氏距離來計算兩點的鄰域矩陣,高斯核函數(shù)計算式為:
像素點的距離不同對中心點的影響也不同,距離和對中心點的影響成反比,離中心點越近影響越大,但這樣也有一個很大的弊端,就是對中心點的重視不足。改進(jìn)的算法是在高斯核函數(shù)的基礎(chǔ)上對所有存在的高斯核進(jìn)行累加操作,從而得到最終的高斯核矩陣結(jié)果[10]。計算式為:
從表2和表3中可以看出,傳統(tǒng)高斯核矩陣的中心點權(quán)重為0.162 1,改進(jìn)后高斯核矩陣的中心點權(quán)重為0.183 1。這完全滿足了距離中心點與權(quán)重分配的原則,同時當(dāng)中心像素點作為中心時,其自身的權(quán)重值會增大,從而更加凸顯中心像素點的地位和作用。
3.2" 改進(jìn)距離權(quán)重函數(shù)
傳統(tǒng)非局部均值去噪算法一般使用指數(shù)型核函數(shù),計算式為:
為有效解決傳統(tǒng)非局部均值中對細(xì)節(jié)模糊程度非常大的問題,將其融入圖像領(lǐng)域間的相關(guān)系數(shù)來評價圖像的指標(biāo),尋找矩陣之間的相似性,其計算式為:
其中, 中的b表示灰度矩陣Na的灰度均值,b1表示灰度矩陣Nb的灰度均值,圖像去噪結(jié)果如圖9所示。可以看到圖9(d)圖中的帽子細(xì)節(jié)更加明顯,并且從表4中可以看出運行時間的明顯減少大大提高了運行效率,同時信噪比也比傳統(tǒng)方法的好一些。
4" 結(jié)" 論
隨著圖像降噪領(lǐng)域的快速發(fā)展,諸多研究者將非局部均值的方法與其他算法相融合,使降噪技術(shù)更加成熟與強大。但圖像去噪速度一直是研究人員關(guān)注的重要問題,計算相似塊的時間復(fù)雜度過高,而如今都是采用非常便捷的拍照,這要求我們不光要提高質(zhì)量更要提高速度。
參考文獻(xiàn):
[1] DONOHO D L,Johnstone L M. Ideal Spatial Adaptation by Wavelet Shrinkage [J].Biometrika,1994,81(3):425–455.
[2] IBRAHIM H,KONG N S P,NG T F. Simple Adaptive Median Filter for the Removal of Impulse Noise from Highly Corrupted Images [J].IEEE Transactions on Consumer Electronics,2008,54(4):1920-1927.
[3] CHOI H,BARANIUK R. Multiscale Image Segmentation Using Wavelet-Domain Hidden Markov Models [J].IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society,2001,10(9):1309-1321.
[4] BUADES A,COLL B,MOREL J M. A Non-Local Algorithm for Image Denoising [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05).San Diego:IEEE,2005:60-65.
[5] MALLAT S,HWANG W L. Singularity Detection and Processing with Wavelets [J].IEEE Transactions on Information Theory,1992,38(2):617-643.
[6] 張勁松,陳明舉,熊興中,等.一種去除椒鹽噪聲的自適應(yīng)非局部均值濾波 [J].四川輕化工大學(xué)學(xué)報:自然科學(xué)版,2022,35(3):59-65.
[7] 許連杰.基于非局部自相似性的圖像去噪算法研究 [D].長春:長春工業(yè)大學(xué),2022.
[8] 徐明輝.基于非局部自相似性的像素自適應(yīng)圖像超分辨率 [D].哈爾濱:哈爾濱工業(yè)大學(xué),2022.
[9] 郭昕剛,許連杰,霍金花,等.基于非局部自相似性的圖像去噪算法研究 [J].計算機仿真,2022,39(9):364-369+475.
[10] 白列,蔡蕓,蔣林.基于區(qū)域劃分的非局部均值圖像去噪算法的改進(jìn) [J].軟件工程,2023,26(5):1-5.
作者簡介:白茹鑫(1999—),男,漢族,內(nèi)蒙古人,碩士研究生在讀,研究方向:應(yīng)急信息化;欒尚敏(1968—),男,漢族,山東濟南人,教授,博士,研究方向:人工智能及其應(yīng)用。