基于降采樣塊匹配的數(shù)字視頻3D降噪算法

谷元保，余康為，姚洪濤

（長春理工大學(xué)　計算機(jī)科學(xué)技術(shù)學(xué)院，長春　130022）

?

基于降采樣塊匹配的數(shù)字視頻3D降噪算法

谷元保，余康為，姚洪濤

（長春理工大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院，長春130022）

摘要：針對數(shù)字視頻圖像的高斯白噪聲，提出了一種基于降采樣塊匹配的3D降噪算法。該算法先進(jìn)行邊緣檢測并分塊噪聲估計，根據(jù)噪聲強(qiáng)度設(shè)置閾值，然后利用圖像的自相似特征，對搜索塊內(nèi)部像素降采樣，再進(jìn)行塊匹配運算以降低算法復(fù)雜度。在自適應(yīng)閾值篩選階段，對選出的剛體運動塊和非剛體運動塊分別統(tǒng)一進(jìn)行處理，對剛體運動區(qū)域進(jìn)行時域加權(quán)濾波，對非剛體運動區(qū)域用改進(jìn)的雙邊濾波器進(jìn)行系數(shù)自適應(yīng)濾波，減少了單獨對每個塊進(jìn)行處理所產(chǎn)生的塊效應(yīng)，對細(xì)節(jié)處理更好。仿真結(jié)果表明，該算法能明顯改善圖像主觀質(zhì)量，提高信噪比。

關(guān)鍵詞：邊緣檢測；噪聲估計；降采樣；運動檢測；雙邊濾波

由于攝像設(shè)備的內(nèi)部結(jié)構(gòu)與外部環(huán)境等因素，在獲取、存儲和傳輸視頻的過程中，都會不可避免的引入噪聲，噪聲不僅會嚴(yán)重影響視頻圖像的主觀質(zhì)量，而且會帶來額外的高頻分量，浪費更多的比特來保留這些無用信息。此外，噪聲的存在還會影響到圖像增強(qiáng)、目標(biāo)識別等。因此降噪是視頻圖像處理系統(tǒng)中最為關(guān)鍵和共同的處理之一。

目前，視頻降噪算法基本上可以分為時域降噪（1D降噪），空域降噪（2D降噪）和轉(zhuǎn)換域降噪幾種算法［1，2］。這些算法中，時域濾波較空域濾波在保護(hù)邊緣和細(xì)節(jié)方面更具有優(yōu)勢，但是時域濾波處理運動物體會引入拖影現(xiàn)象，空域濾波只用到了視頻圖像空間上的相關(guān)性，處理較為簡單，比較典型的有高斯濾波、中值濾波、雙邊濾波和Non-local means filter［3-6］，但是單純的空域濾波容易引起幀間閃爍，模糊邊緣和紋理。典型的轉(zhuǎn)換域降噪算法如傅里葉變換濾波和小波變換濾波等［7，8］，通過對信號變換后系數(shù)的分析和篩選，去除掉噪聲，保留有用信號，在保留圖像邊緣和細(xì)節(jié)上有較好效果，但是在選擇小波基上比較困難，應(yīng)用受到一定限制［9，10］。參考文獻(xiàn)［11］提出了一種基于運動估計的視頻3D降噪算法。該算法能夠根據(jù)噪聲標(biāo)準(zhǔn)差自動調(diào)整運動強(qiáng)度檢測閾值，同時根據(jù)運動的強(qiáng)度自適應(yīng)的選擇時域濾波或空域濾波。該算法結(jié)合了時域濾波和空域濾波的優(yōu)點，是一種典型的3D濾波器，有較好的參考意義［12-14］，但該算法塊搜索時間復(fù)雜度較高，有明顯的塊效應(yīng)，同時模糊了邊緣。

針對以上問題，本文以參考文獻(xiàn)［11］中算法為參考算法，提出了一種基于降采樣塊匹配的降噪算法，本算法主要從以下幾個方面進(jìn)行改進(jìn)，首先引入了邊緣檢測機(jī)制，根據(jù)邊緣檢測的結(jié)果去除含有強(qiáng)邊緣的子塊，然后進(jìn)行噪聲估計，避免了子塊噪聲過估計。然后引入了降采樣塊匹配［15］，降低了塊匹配算法時間復(fù)雜度。最后空域濾波結(jié)合邊緣檢測結(jié)果進(jìn)行自適應(yīng)調(diào)整。實驗結(jié)果表明，本方法能夠減少塊效應(yīng)，改善視頻的信噪比和主觀質(zhì)量，具有較好的降噪效果。

1　算法流程與原理

本文提出的基于降采樣塊匹配的數(shù)字視頻降噪算法的流程如圖1所示。按以下步驟進(jìn)行：

圖1　本文算法流程圖

（1）提取輸入視頻連續(xù)三幀圖像：前一幀、當(dāng)前幀和后一幀。

（2）對當(dāng)前幀圖像進(jìn)行簡單邊緣檢測，然后分塊噪聲方差估計，并根據(jù)噪聲方差設(shè)定運動檢測的閾值T。

（3）分別對前一幀圖像和當(dāng)前幀圖像、后一幀圖像和當(dāng)前幀圖像降采樣后進(jìn)行運動估計，以最小SAD（Sum of Absolute Difference）準(zhǔn)則，得到前向匹配塊和后向匹配塊。

（4）根據(jù)前向匹配塊與后向匹配塊對采樣前的塊進(jìn)行運動檢測，若匹配塊與當(dāng)前塊的MAD （Mean Absolute Difference）值小于閾值T，則對剛體運動區(qū)域進(jìn)行時域加權(quán)濾波；若匹配塊與當(dāng)前塊的MAD值大于閾值T，則認(rèn)為該塊是非剛體運動，然后根據(jù)邊緣檢測結(jié)果進(jìn)行自適應(yīng)空域濾波。

（5）對步驟（4）中濾波的結(jié)果加權(quán)平均，同時輸出作為下次濾波的前一幀，參與到遞歸濾波中。

1.1邊緣檢測和噪聲估計

噪聲估計是閾值設(shè)置中關(guān)鍵的一步，它的大小直接決定了運動判斷的好壞。傳統(tǒng)的噪聲估計容易造成噪聲過估計，從而將運動的物體判斷為靜止的，影響降噪結(jié)果。本文先利用Sobel算子進(jìn)行邊緣檢測并記錄下邊緣點的坐標(biāo)值，然后將圖像分成16* 16像素互不重疊的子塊，如果子塊Bmn中含有連續(xù)N個邊緣點，則排除Bmn對剩下的子塊進(jìn)行噪聲估計。噪聲估計方法采用基于塊內(nèi)鄰域相關(guān)度的方法計算。塊內(nèi)鄰域相關(guān)度最高的塊，其平滑程度越高，此時其像素間的突變可認(rèn)為是由噪聲引起的。計算方法如下：分別計算塊內(nèi)每一個像素點與其所有相鄰像素點差的絕對值的平均值，然后求得所有平均值的和得到ψ，ψ即為塊內(nèi)鄰域相關(guān)度，從所有塊中選出最小ψ的塊，該塊均值和方差即可作為噪聲的均值和方差，閾值T即為該塊方差。實驗結(jié)果如表1所示。

表1　噪聲方差估計值與真實值比較

1.2基于降采樣塊匹配的運動估計

常見的運動估計方法有以下幾種，考慮到計算復(fù)雜度和實時應(yīng)用，本文采用的算法是一種基于降采樣的塊匹配三步搜索改進(jìn)算法［15］。該算法是利用圖像的局部相似性特征，對搜索塊內(nèi)的像素采用交叉采樣方式（如圖2所示）做塊匹配的運算。降采樣后的塊用改進(jìn)后的新三步法分別在前后兩幀中搜索匹配塊。由于減少了塊內(nèi)參與運算的像素點，每個塊計算運算量也減少。在匹配準(zhǔn)則的選取上，由于MAD準(zhǔn)則不需要乘法運算、實現(xiàn)簡單方便并滿足實時性要求，便于硬件實現(xiàn)，因此使用最多。實際中通常使用絕對誤差之和SAD準(zhǔn)則代替MAD準(zhǔn)則，其定義如下：

式中，（m，n）表示像素在圖像中的坐標(biāo)位置，k表示圖像在視頻中的幀數(shù)，（i，j）為像素（m，n，k）與（m+i，n+j，k -1）間的位移矢量，f（m，n，k）與f（m+i，n+j，k-1）分別是當(dāng)前fk幀與參考幀fk-1像素（m，n，k）與（m+i，n+j，k -1）的灰度值。若某個位移矢量（i0，j0）處，SAD（i0，j0）值達(dá)到最小，則該矢量即為所求的最佳塊匹配運動矢量。

圖2　降采樣的方式圖（黑點方塊表示采樣點）

1.3運動檢測

視頻圖像中的物體運動可以分為剛體運動和非剛體運動，所謂剛體運動是指物體在運動過程中幾何特征（例如體積、形狀、灰度等）保持不變；而非剛體的幾何特征隨時間而變化（例如邊緣的旋轉(zhuǎn)、縮放等）。對于剛體運動部分，由于其時域上具有高相關(guān)性，因此可以根據(jù)運動估計的結(jié)果，沿著運動軌跡進(jìn)行時域濾波。對于非剛體運動部分，其時域上相關(guān)性低，搜索到的匹配塊也不夠準(zhǔn)確，此時需要利用二維幀平面中的空域相關(guān)性才能較好的抑制噪聲。為了區(qū)分出當(dāng)前塊是否進(jìn)行剛體運動，根據(jù)噪聲估計設(shè)定一個閾值T進(jìn)行運動檢測，當(dāng)搜索到的匹配塊與當(dāng)前塊的MAD大于這個閾值時，則認(rèn)為當(dāng)前塊是非剛體運動，否則，則認(rèn)為當(dāng)前塊為剛體運動。這就是該運動檢測算法的主要思想。

1.4時域濾波

通過運動檢測，若判定當(dāng)前塊運動為剛體運動，則對該塊進(jìn)行基于運動估計的時域平滑濾波。濾波器結(jié)構(gòu)如公式（3）、（4）所示：

式中p（t-1）和p（t+1）分別表示前一幀和后一幀上采樣恢復(fù)后的結(jié)果，p（t）表示當(dāng)前幀上采樣恢復(fù)后的結(jié)果，pout1表示前一幀和當(dāng)前幀時域加權(quán)濾波的結(jié)果，pout2表示后一幀與當(dāng)前幀時域加權(quán)濾波的結(jié)果。w為權(quán)系數(shù)，本文取值為0.6［11］。

1.5改進(jìn)的雙邊濾波

對于非剛體運動塊，采用雙邊濾波器濾波，對濾波窗口采用自適應(yīng)機(jī)制處理，雙邊濾波器權(quán)系數(shù)如公式（5）所示。本文利用邊緣檢測的結(jié)果來調(diào)節(jié)濾波窗口大小，設(shè)濾波半徑為N，則濾波窗口為（2N + 1）*（2N +1），判斷在當(dāng)前要處理像素點濾波窗口內(nèi)邊緣點的個數(shù)，當(dāng)邊緣點的個數(shù)小于5%時，濾波半徑N +1，并再次判斷濾波窗口內(nèi)的邊緣點個數(shù)是否還小于5%，重復(fù)此過程，直到邊緣點的個數(shù)大于5%時返回上一步的濾波半徑；當(dāng)濾波窗口內(nèi)邊緣點的個數(shù)超過50%時，濾波半徑N縮小一半。

其中wd（i，j）為空間鄰近度因子，它的設(shè)置與普通的平滑線性濾波器的權(quán)系數(shù)的設(shè)置相同，表達(dá)式如下：

式中，wr（i，j）為亮度鄰近度因子，由于指數(shù)函數(shù)曲線與倒數(shù)函數(shù)曲線變化趨勢幾乎一樣，都隨著亮度差值的增大而減?。ㄈ鐖D3所示），且倒數(shù)函數(shù)運算量較小，并能得到更高信噪比［16］，便于硬件實現(xiàn)，故用倒數(shù)函數(shù)簡化，表達(dá)式為：

式（6）、（7）中σd和σr分別表示像素之間的距離差和亮度差，它們共同決定了雙邊濾波器的權(quán)系數(shù)，其中σr為自適應(yīng)濾波系數(shù)，它的值為噪聲估計方差δ的兩倍。

圖3　倒數(shù)函數(shù)與指數(shù)函數(shù)對比曲線圖

1.6加權(quán)平均輸出

當(dāng)前幀需要分別與前一幀和后一幀進(jìn)行濾波處理，因此將得到兩個濾波結(jié)果，對這兩次濾波結(jié)果需要加權(quán)平均才能得到最終的輸出。加權(quán)平均能夠更好的利用圖像間的相關(guān)性，信噪比更高。最后，將濾波結(jié)果輸出，同時將濾波結(jié)果作為下一次濾波的前一幀參與到遞歸濾波中去。加權(quán)平均的公式如下：

其中pout1和pout3分別表示當(dāng)前幀與前一幀時域濾波和空域濾波的結(jié)果，pout2和pout4分別表示當(dāng)前幀與后一幀時域濾波和空域濾波的結(jié)果，||表示或，0.6 和0.4為加權(quán)系數(shù)，由于前一幀已參與過濾波，所以系數(shù)適當(dāng)增加，p0表示最終輸出結(jié)果。

2　實驗結(jié)果分析

本文實驗結(jié)果在Matlab平臺下采用兩種方案進(jìn)行仿真，第一種方案采用foreman視頻測試序列不同幀進(jìn)行對比，第二種方案采用soccer、akyio、city、foreman前100幀作為測試序列進(jìn)行對比，測試視頻均為YUV格式，噪聲模型為0均值的高斯白噪聲。對foreman序列第17幀處理結(jié)果如圖4所示。

本文從主觀客觀兩方面對降噪效果進(jìn)行評判，主觀方面采用人眼直接對比觀察圖像降噪效果，客觀方面采用PSNR對比研究。PSNR公式如下：

式中，fmax是圖像信號的峰值，通常取255，MSE為均方誤差，K為視頻幀數(shù)，WH為圖像大小。

圖4　foreman序列第17幀降噪效果圖

如圖4所示，（a）為foreman序列第17幀原圖，（b）是高斯白噪聲強(qiáng)度為δ=10的加噪圖像，（c）和（d）分別為參考算法和本文算法去噪結(jié)果圖。從圖4（c-d）中發(fā)現(xiàn)，參考算法在帽子邊緣的濾波效果不夠，在臉部部分存在塊效應(yīng)，影響主觀感受，而本文算法在帽子邊緣和臉部表現(xiàn)較好。

如表2所示，基于運動估計的視頻3D降噪算法能自適應(yīng)區(qū)分剛體運動塊和非剛體運動塊，以此算法為參考算法，由圖4可以發(fā)現(xiàn)兩者都有較好的去噪效果，但是參考算法以塊為單位單獨處理，不可避免的引入了些許塊效應(yīng)，影響主觀效果，同時本文算法將所有非剛體運動區(qū)域和剛體運動區(qū)域多塊一起進(jìn)行處理，避免了塊效應(yīng)的產(chǎn)生，具有更高的峰值信噪比。此外本文算法采用了交叉采樣塊搜索方法，在平均搜索點數(shù)上都比參考算法小，因此具有更快的搜索速度。

從表3中可以看出本文降噪算法能夠適應(yīng)多種噪聲強(qiáng)度，而參考算法在噪聲強(qiáng)度較小時，損失了邊緣和細(xì)節(jié)，導(dǎo)致圖像模糊，原因在于參考算法引入了塊效應(yīng)且未能較好估計噪聲強(qiáng)度。本文降噪算法在噪聲較小時能很好的估計噪聲強(qiáng)度，較為準(zhǔn)確的設(shè)定濾波系數(shù)，同時采用了改進(jìn)后的雙邊濾波，比經(jīng)典濾波器具有更強(qiáng)的濾波能力。City和soccer視頻測試序列中邊緣細(xì)節(jié)較多，本文算法比參考算法PSNR平均提高了0.73dB。對于平坦區(qū)域較多的akyio測試序列，本文采用的時域濾波與參考算法濾波效果相當(dāng)，而在臉部變化較為劇烈的視頻序列foreman中，本文算法較為準(zhǔn)確地估計噪聲，能夠更好的區(qū)分剛體運動塊和非剛體運動塊，不會帶來運動拖影，PSNR值比參考算法平均提高了0.64dB。

表2　同一噪聲方差下不同幀的PSNR/dB

表3　不同噪聲方差下測試序列的平均PSNR/dB

3　結(jié)論

本文提出了一種基于降采樣塊匹配的視頻3D降噪算法，該算法首先進(jìn)行邊緣檢測并估計出噪聲強(qiáng)度，然后通過降采樣和運動估計等技術(shù)得到像素點的運動信息和局部結(jié)構(gòu)，根據(jù)這些信息自適應(yīng)選擇不同的濾波策略。實驗結(jié)果表明該算法既能較好的去除噪聲分量，減少塊效應(yīng)，又能保留高頻部分的細(xì)節(jié)，提高主觀視覺感受。

參考文獻(xiàn)

［1］Chen G Y，Bui T D，Krzyzak A，et al. Adaptive video denoising using block matching 3-D filtering ［C］. IEEE Canadian Conference on Electrical & Computer Engineering（CCECE），2012（25）：1-4.

［2］Ren J，Zhuo Y，Liu J Y，et al. Illumination-invariant non-local means based video denoising［C］. IEEE International Conference on Image Processing （ICIP），2012（19）：1185-1188.

［3］Lu J，Zou Y，Ye Z. Enhanced fractal-wavelet image denoising［C］.ISECS International Colloquium on Computing，Communication，Control，and Management，IEEE，2008（1）：115-119.

［4］陳立.微光ICCD數(shù)字圖像去噪的研究［D］.長春：長春理工大學(xué)，2013.

［5］周占民.背景提取與前景濾波相結(jié)合的時空聯(lián)合視頻降噪［J］.電子測量技術(shù)，2015，38（6）：68-72.

［6］Lu Q B，Lu Z B，Tao X Q，et al，A new non-local video denoising scheme using low-rank representation and total variation regularization［C］. International Symposium on Circuits and Systems（ISCAS），2014：2724-2727.

［7］Eric J Balster，Yuan F Zheng，Robert L Ewing.Combined spatial and temporal domain wavelet shrinkage algorithm for video denoising［J］.IEEE Trans Circuits Syst Video Techn，2006，16（2）：220-230.

［8］吳萬正.基于小波變換的視頻去噪系統(tǒng)的FPGA實現(xiàn)［D］.廣州：華南理工大學(xué)，2014.

［9］楊文波，馬天瑋，劉劍.非局部變分修復(fù)法去除高密度椒鹽噪聲［J］.中國光學(xué)，2013（6）：876-884.

［10］李明輝.基于小波分析的圖像降噪算法研究［D］.長沙：中南大學(xué)，2012.

［11］龍紅梅，田逢春，譚洪濤，等.一種基于運動估計的3D視頻降噪算法［J］.計算機(jī)與數(shù)字工程，2009，236（6）：122-124.

［12］唐權(quán)華，雷金娥，周艷，等.一種時空聯(lián)合的視頻去噪方法［J］.計算機(jī)工程與應(yīng)用，2010，46（6）：163-165.

［13］高輝，謝永昌，狄紅衛(wèi).一種基于時空聯(lián)合的實時視頻降噪算法［J］.微型機(jī)與應(yīng)用，2011，30（16）：36-38.

［14］白瑞廣，金湘亮，徐杰.一種基于運動估計的視頻降噪算法［J］.紅外與激光，2014（4）：443-446.

［15］許海峰，趙文慶，孫崢，等.一種基于降采樣的塊匹配三步搜索改進(jìn)算法［J］.復(fù)旦學(xué)報：自然科學(xué)版，2010 （12）：653-659.

［16］陳瀟紅，王維東.基于時空聯(lián)合濾波的高清視頻降噪算法［J］.浙江大學(xué)學(xué)報：工學(xué)版，2013（5）：853-859.

A Digital Video 3D Denoising Algorithm Based on Down Sampled Block Matching

GU Yuanbao，YU Kangwei，YAO Hongtao
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the Gauss random noise of digital video. An improved 3D denoising algorithm based on the down sample block matching is proposed. Firstly the new 3D denoising algorithm carries on the edge detection and the block noise estimation，according to the noise intensity setting threshold. Then，by using local similarity of image，the pixels in the search block are used to do crossing sampling block matching in order to reduce th-e complexity of the algorithm. In adaptive threshold selection stage，the selected rigid moti-on blocks and the selected non-rigid motion blocks are unified processed respectively with d-ifferent methods. The temporal weighting filtering method is applied to the rigid motion area. Of non rigid motion area using the improved bilateral filter coefficients adaptive filter，reduces the individually for each piece of block effect produced by processing，bet-ter for details. The simulation results show that the proposed algorithm can significantly improve the subjective image quality，improve the signal-to-noise ratio.

Key words：edge detection；noise estimation；down sampled；motion detection；bilateral filtering

中圖分類號：TN911.73

文獻(xiàn)標(biāo)識碼：A

文章編號：1672-9870（2016）02-0098-05

收稿日期：2015-10-12

作者簡介：谷元保（1976-），男，副教授，E-mail：570766073@qq.com