基于人眼視覺感知特性的自適應(yīng)雙邊濾波算法

張有航

（北京航空航天大學(xué) 機(jī)械工程及其自動化學(xué)院，北京 100191）

0 引言

圖像噪聲是存在于圖像數(shù)據(jù)中的不必要的或多余的隨機(jī)性干擾信息，這些噪聲信息會不同程度的影響人眼觀看以及圖像分析應(yīng)用。常見的噪聲基本有高斯噪聲、椒鹽噪聲[1]、泊松噪聲[2]等。針對高斯、椒鹽等圖像噪聲，典型的去噪方法包括均值濾波、中值濾波、高斯濾波等。均值濾波算法計(jì)算簡單，速度快，但會使圖像模糊，特別是景物的邊緣和細(xì)節(jié)部分。高斯濾波算法對于高斯噪聲圖像能保留一定圖像細(xì)節(jié)特征，但也會造成圖像一定程度上的模糊。中值濾波對椒鹽噪聲處理效果較好，對高斯噪聲的抑制效果一般。雙邊濾波算法既考慮了參與濾波像素的距離因素，也考慮到了像素值差異，是一種改進(jìn)的邊緣保護(hù)性濾波方法。除了典型的基本濾波方法之外，針對椒鹽噪聲，文獻(xiàn)[3]基于中值濾波對椒鹽噪聲去噪效果較好，小波變換對高斯噪聲處理中效果較好，將二者結(jié)合起來，綜合二者的優(yōu)點(diǎn)，比單一方法去噪效果要好。另外，文獻(xiàn)[4]針對泊松核噪聲提出改進(jìn)的雙邊濾波算法。然而，在實(shí)際生活中，由于大部分圖像噪聲是高斯噪聲，因此本文主要針對高斯噪聲進(jìn)行圖像去噪處理。

目前針對視頻的高斯噪聲，文獻(xiàn)[5]提出了基于運(yùn)動補(bǔ)償?shù)淖赃m應(yīng)時域視頻降噪算法。該方法通過運(yùn)動補(bǔ)償技術(shù)，在時域上跟蹤最匹配的運(yùn)動區(qū)域并提取噪聲，并實(shí)現(xiàn)濾波的強(qiáng)度根據(jù)物體的運(yùn)動強(qiáng)度自適應(yīng)變化。實(shí)驗(yàn)效果在保護(hù)邊緣和細(xì)節(jié)，提高PSNR（Peak Signal to Noise Ratio，峰值信噪比）方面更具有優(yōu)勢。而文獻(xiàn)[6]中不僅引入了運(yùn)動估計(jì)算法、自適應(yīng)濾波強(qiáng)度機(jī)制，而且同時引入時域?yàn)V波方法和空域?yàn)V波方法。該方法在運(yùn)動強(qiáng)度較小時進(jìn)行時域?yàn)V波，運(yùn)動強(qiáng)度過大時，進(jìn)行空域?yàn)V波。因而該算法在自適應(yīng)性上更強(qiáng)。文獻(xiàn)[7]面向高效能的濾波需求，提出快速雙邊濾波算法，在處理速度上具有顯著優(yōu)勢，不過會導(dǎo)致一定的算法性能損失。

以上算法雖然有各自的優(yōu)點(diǎn)，但是它們都具有一定的不足。一方面，它們都是基于整幅圖像進(jìn)行去噪濾波，沒有考慮到圖像不同區(qū)域內(nèi)容差別。這意味著，整幅圖像使用相同的濾波參數(shù)，可能會導(dǎo)致有的區(qū)域?yàn)V波多而產(chǎn)生模糊，反之另外的區(qū)域可能濾波不足而噪聲去除不干凈。另一方面，這些去噪方法沒有考慮到人眼的視覺特性HVS（Human Visual System，人眼視覺特性），即濾波后的結(jié)果未必是能夠取得較好的人眼感知質(zhì)量。事實(shí)上，在圖像處理領(lǐng)域中，人眼是大多數(shù)被處理圖像的最終接收器，因此有必要從視覺角度出發(fā)構(gòu)建人眼視覺模型，并應(yīng)用于圖像降噪中以獲取更好的主觀濾波效果。為解決以上算法的不足，本文提出一種符合人眼的視覺特性的圖像降噪算法。特別地，本文提出了基于JND（Just Noticeable Difference）模型的自適應(yīng)雙邊濾波算法。該方法一方面考慮到以互相不重疊的圖像塊為單位進(jìn)行濾波，充分體現(xiàn)不同區(qū)域內(nèi)容的特性不同。另一方面，本方法計(jì)算每個圖像塊的JND值，用于充分考慮各區(qū)域人眼視覺感知的失真程度?；谝陨戏椒ǎ疚膶ND值用于自適應(yīng)地決定雙邊濾波的權(quán)重，實(shí)現(xiàn)了基于感知的圖像自適應(yīng)雙邊濾波算法。實(shí)驗(yàn)結(jié)果表明相比于傳統(tǒng)的雙邊濾波算法，本文的自適應(yīng)感知雙邊濾波算法在PSNR和SSIM（Structural Similarity，結(jié)構(gòu)相似性）有了很大的提升，同時去噪后的圖像主觀質(zhì)量也有顯著的改進(jìn)。

1 傳統(tǒng)雙邊濾波方法

傳統(tǒng)雙邊濾波是一種非線性濾波器，它可以達(dá)到保持邊緣、降噪平滑的效果。雙邊濾波采用加權(quán)平均的方法，用當(dāng)前待濾波的像素周邊像素亮度值的加權(quán)平均值獲取最終的濾波像素。在雙邊濾波過程中，每個參與加權(quán)濾波像素的權(quán)重不僅考慮了既考慮了參與濾波像素的距離因素，也考慮到了像素值差異。即總權(quán)重分為值域權(quán)重和空域權(quán)重。在平坦區(qū)域，像素差值較小，對應(yīng)值域權(quán)重接近于1，此時空域權(quán)重起主要作用，相當(dāng)于直接對此區(qū)域進(jìn)行高斯模糊，在邊緣區(qū)域，像素差值較大，值域系數(shù)下降，導(dǎo)致此處濾波權(quán)重下降，當(dāng)前像素受到的影響就越小，從而保持了邊緣的細(xì)節(jié)信息。

具體來說，雙邊濾波的濾波核由兩部分乘積組成：空域核與值域核。兩個濾波核通常都采用高斯函數(shù)形式。

對于以像素q為濾波中心的窗口，某一參與濾波的像素點(diǎn)p在雙邊濾波過程中的權(quán)重如下：

其中：Gr為p點(diǎn)值域權(quán)重，Gs為p點(diǎn)空域權(quán)重，G（p）為p點(diǎn)總權(quán)重。Ip為p點(diǎn)像素值，Iq為p點(diǎn)像素值，σr為值域高斯函數(shù)的標(biāo)準(zhǔn)差。σs為空域高斯函數(shù)的標(biāo)準(zhǔn)差。

根據(jù)式（3），對于像素p的濾波結(jié)果BF（p）計(jì)算方法如下：

雖然從式（4）可以看出，雙邊濾波考慮到了保護(hù)像素邊緣的行為。但是，本質(zhì)上雙邊濾波由兩個高斯濾波核構(gòu)成，即意味著它實(shí)際上也具有高斯濾波的性質(zhì)，即當(dāng)噪聲強(qiáng)度較大或者濾波強(qiáng)度過大時，圖像濾波難免會變的模糊。此外，雙邊濾波只是從像素值差異角度來看邊緣，并沒有沒考慮到圖像不同區(qū)域內(nèi)容特性，也沒有考慮到人眼的視覺感知特性，濾波后的結(jié)果未必是能夠取得較好的人眼感知質(zhì)量。

2 基于感知的雙邊濾波方法

2.1 JND模型概述

在圖像處理領(lǐng)域，JND可以用來度量人眼對圖像中不同區(qū)域失真的敏感性，本文同樣采用JND模型指導(dǎo)雙邊濾波。

在JND模型中，主要基于兩個關(guān)鍵因素建立感知失真模型，包括LA（Luminance adaptation，亮度自適應(yīng)，指HVS對背景亮度的掩蔽效應(yīng)）和CM（contrast masking，對比度掩蔽，指另一個視覺信號出現(xiàn)時，一個視覺信號的能見度降低的現(xiàn)象）。

首先，對亮度自適應(yīng)產(chǎn)生的掩蔽效應(yīng)程度LA計(jì)算方法如下：

其中：（x，y）為像素位置，f（x，y）為（x，y）處背景亮度。

其次，由于人類視覺系統(tǒng)的熵掩蔽特性，在計(jì)算對比掩蔽效應(yīng)時，需要區(qū)分由邊緣掩蔽和紋理掩蔽造成的對比掩蔽導(dǎo)致的結(jié)果。事實(shí)上，通常噪聲在空間內(nèi)容信息變化大的區(qū)域不容易明顯被感知到，反之在光滑和強(qiáng)結(jié)構(gòu)區(qū)域更容易明顯被察覺。這是由于人類大腦在處理同時發(fā)生的復(fù)雜現(xiàn)象時的局限性，即由于觀察者對視覺內(nèi)容不熟悉，紋理和結(jié)構(gòu)區(qū)域會導(dǎo)致熵掩蔽。所以，文獻(xiàn)[8]提出了一種基于新的對比掩蔽估計(jì)算法的增強(qiáng)像素域JND模型，由邊緣掩蔽和紋理掩蔽分別產(chǎn)生的EMu和TMv兩方面構(gòu)成的掩蔽程度值CM，計(jì)算公式如下，

其中：u指結(jié)構(gòu)圖像，v指紋理圖像，EMu為結(jié)構(gòu)圖像中的邊緣掩蔽，TMv為紋理圖像中的紋理掩蔽，Cs為5×5鄰域的最大亮度差，We和Wt用于反映邊緣掩蔽和紋理掩蔽對人眼影響程度的不同，分別被設(shè)置為1和3。常數(shù)β根據(jù)經(jīng)驗(yàn)值設(shè)置為0.117。

根據(jù)以上亮度掩蔽效應(yīng)結(jié)果和對比掩蔽效應(yīng)結(jié)果，最終每個像素的JND值計(jì)算如下：

其中：CIc代表兩種掩蔽效應(yīng)產(chǎn)生的重疊掩蔽影響程度，即實(shí)際的掩蔽效果需要考慮到兩者綜合影響結(jié)果。在文獻(xiàn)[12]的NAMM模型中設(shè)置為0.3。

2.2 基于塊的感知雙邊濾波

傳統(tǒng)濾波算法都是基于整幅圖像進(jìn)行去噪濾波，并沒有考慮到圖像不同區(qū)域內(nèi)容差別。這意味著，整幅圖像使用相同的濾波參數(shù)，可能會導(dǎo)致有的區(qū)域?yàn)V波多而產(chǎn)生模糊，而另外的區(qū)域可能濾波不足而噪聲去除不干凈。因此本文采用基于塊方法進(jìn)行濾波，將塊大小定義為N×N，不同的塊區(qū)域會有不同的濾波參數(shù)，圖像去噪效果更好。同時將每個塊的JND方差用于指導(dǎo)其濾波強(qiáng)度，整個算法過程流程圖如圖1所示。

圖1 本文所提出算法流程圖

首先，在濾波之前需要估計(jì)圖像級別的平均噪聲強(qiáng)度。所以，本文對于每個N×N塊的像素求方差，并進(jìn)行從小到大的排序，將前10%的方差均值作為圖像的噪聲強(qiáng)度σ02。

其次，通過2.1節(jié)中的JND模型可以計(jì)算出圖像每個像素點(diǎn)的JND值，由此可進(jìn)行每個塊的JND方差的計(jì)算：

基于初始幀級的噪聲強(qiáng)度σ02以及當(dāng)前塊的JND方差，對當(dāng)前塊，本文定義基于感知的雙邊濾波值域權(quán)重為：

從式（10）可以看出，本文考慮到當(dāng)噪聲強(qiáng)度比較小的時候，部分區(qū)域內(nèi)容可能比較復(fù)雜，導(dǎo)致JND較大，進(jìn)而可能產(chǎn)生濾波過度的情況。因此，本文取圖像噪聲強(qiáng)度σ02跟每個塊區(qū)域內(nèi)的JND方差最小值作為值域?yàn)V波強(qiáng)度。在本實(shí)驗(yàn)中w取3，σjnd_r最小值設(shè)為0.1，由此得到值域高斯函數(shù)的標(biāo)準(zhǔn)差σjnd_r，并更新值域權(quán)重Gjnd_r，如下：

除此之外，在本方法中，空域權(quán)重計(jì)算方法與初始雙邊濾波方法一致，默認(rèn)不變。因此，將值域權(quán)重更新為本文基于感知的值域權(quán)重模型后，與空域權(quán)重相乘得到最終權(quán)重Gjnd（p）。如第2節(jié)所示，將得到的最終權(quán)重值代入雙邊濾波中進(jìn)行基于塊和感知的圖像濾波得到最終結(jié)果如下：

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出的感知雙邊濾波算法性能和效果，本實(shí)驗(yàn)選用圖像Lena和Barboon并在MATLAB2018a進(jìn)行測試。每一測試圖像分別使用MATLAB進(jìn)行添加高斯噪聲，包括高斯噪聲強(qiáng)度σn2為25、30、35、40、45共五個噪聲水平。實(shí)驗(yàn)分別使用本文提出的符合人眼視覺感知特性的自適應(yīng)雙邊濾波器與傳統(tǒng)默認(rèn)雙邊濾波器對這幾幅灰度圖像進(jìn)行濾波處理進(jìn)行對比。需要說明的是，本實(shí)驗(yàn)中將濾波窗口大小設(shè)置為5×5，塊大小為16×16。

本實(shí)驗(yàn)采用了512×512的Lena和Baboon圖像，使用PSNR和SSIM對兩種濾波方法進(jìn)行評價(jià)。PSNR越大，表示圖像的失真程度越小，細(xì)節(jié)保留的更完整。另外，SSIM是衡量兩幅圖像相似度的指標(biāo)，其范圍從0到1，當(dāng)兩張圖像完全一樣時，SSIM值為1。通過各表可以看到，Lena圖像和Baboon圖像在各個噪聲水平上，采取本文方法的PSNR和SSIM值均大于傳統(tǒng)雙邊濾波算法，尤其是SSIM能高出30%，有明顯的提升效果。比如，對于Lena圖像中，本文方法濾波結(jié)果的PSNR值和SSIM值提升幅度可達(dá)7.20 dB和0.280，而對于Baboon圖像中，PSNR值和SSIM最多增益可以達(dá)到5.78dB和0.221。

進(jìn)一步的，如圖2和圖3所示，本文隨機(jī)選擇了測試圖像的不同噪聲強(qiáng)度下的去噪結(jié)果展示濾波的主觀效果。可以看到通過對比兩幅圖像噪聲圖和使用兩種濾波方法后的圖像，不論時低噪聲強(qiáng)度還是高噪聲強(qiáng)度，本文所提出的濾波方法，可以明顯相比于傳統(tǒng)雙邊濾波算法。本文算法處理的圖像中噪聲點(diǎn)大幅減少，邊緣細(xì)節(jié)、輪廓保留比較清晰完整，在視覺效果上非常具有優(yōu)勢。因此本文提出的濾波算法要優(yōu)于傳統(tǒng)雙邊濾波算法。

圖2 Lena圖像高斯噪聲強(qiáng)度σn2為25

圖3 Baboon圖像高斯噪聲強(qiáng)度σn2為45

綜上，本文在客觀和主觀都取得了顯著的性能增益和改善，可以說明本文提出的符合人眼視覺感知特性的自適應(yīng)雙邊濾波算法要優(yōu)于傳統(tǒng)的雙邊濾波算法。

4 結(jié)論

本文從人眼視覺角度出發(fā)，同時考慮圖像內(nèi)容的不同區(qū)域特性，引用JND模型和塊級濾波方法，提出一種符合人眼視覺感知特性的自適應(yīng)雙邊濾波算法。實(shí)驗(yàn)結(jié)果表明，本文方法可以從主觀和客觀兩方面都取得較好的實(shí)驗(yàn)結(jié)果。在未來我們會考慮根據(jù)視頻圖像不同區(qū)域內(nèi)容，研究自適應(yīng)調(diào)整空域?yàn)V波權(quán)重以及濾波窗口的大小的方法，從而進(jìn)一步改善圖像去噪效果。