基于運(yùn)動(dòng)估計(jì)結(jié)合小波分析和運(yùn)動(dòng)補(bǔ)償?shù)囊曨l去噪方法

?

基于運(yùn)動(dòng)估計(jì)結(jié)合小波分析和運(yùn)動(dòng)補(bǔ)償?shù)囊曨l去噪方法

馮長江，毛博，薛冰

（軍械工程學(xué)院，河北石家莊050003）

摘要：在小波變換理論基礎(chǔ)上，提出對視頻的運(yùn)動(dòng)估計(jì)量進(jìn)行處理來達(dá)到視頻去噪的方法。首先使用運(yùn)動(dòng)域細(xì)化技術(shù)和全新的基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間域?yàn)V波器，解決含有虛假運(yùn)動(dòng)矢量的實(shí)時(shí)視頻去噪問題，提高對動(dòng)態(tài)目標(biāo)追蹤的準(zhǔn)確性，增強(qiáng)魯棒性；并且改進(jìn)空間域?yàn)V波器，降低處理的復(fù)雜度。實(shí)驗(yàn)結(jié)果表明：該方法是一種較為簡單且高效的視頻去噪方法。

關(guān)鍵詞：圖像增強(qiáng)；運(yùn)動(dòng)估計(jì)；視頻編碼；小波變換

收到修改稿日期：2012-06-11

0　引　言

快速準(zhǔn)確地對運(yùn)動(dòng)目標(biāo)識(shí)別和跟蹤一直是圖像處理領(lǐng)域研究的熱點(diǎn)。然而視頻序列中的噪聲，提高了圖像的熵，從而降低視頻壓縮性能，影響目標(biāo)識(shí)別的準(zhǔn)確性。目前對集成視頻編碼的去噪問題并沒有理想的處理方式，最為常用的去噪方式大多基于小波變換[1]，這是因?yàn)樵摲椒軌蛟诖_保視頻的質(zhì)量、分辨率和時(shí)間域的可擴(kuò)展性的同時(shí)保證視頻的壓縮性能。然而大量實(shí)驗(yàn)證明，小波變換去噪方法主要基于像素的運(yùn)動(dòng)檢測技術(shù)，因此不能很好地去除視頻中的虛假運(yùn)動(dòng)元素和虛假運(yùn)動(dòng)矢量，從而造成識(shí)別的錯(cuò)誤[2]。為解決這一問題，本文在小波變換理論基礎(chǔ)上，提出了一種基于運(yùn)動(dòng)估計(jì)的視頻去噪方法。其實(shí)質(zhì)是將運(yùn)動(dòng)估計(jì)中每幀中相對位置改變較小的運(yùn)動(dòng)矢量看作標(biāo)量，與原有濾波器共同作為下一幀的去噪依據(jù)，以達(dá)到除去虛假運(yùn)動(dòng)分量的目的，進(jìn)而可以準(zhǔn)確識(shí)別動(dòng)態(tài)目標(biāo)。

1　算法實(shí)現(xiàn)

本文提出的方案如圖1所示，空間域?yàn)V波器前面并沒有使用傳統(tǒng)的小波去噪，而是一種新的時(shí)間域?yàn)V波方式，它包含運(yùn)動(dòng)域?yàn)V波器和運(yùn)動(dòng)補(bǔ)償濾波器，前者主要用于更精確地檢測視頻序列中的運(yùn)動(dòng)矢量，后者則是修正運(yùn)動(dòng)矢量的位置。通過時(shí)間域?yàn)V波處理后的剩余噪聲在空間域上是非平穩(wěn)的，這就需要根據(jù)噪聲方差利用小波分析技術(shù)進(jìn)行平滑處理。通過兩次濾波后可以準(zhǔn)確地找到視頻中的運(yùn)動(dòng)矢量并排除虛假的運(yùn)動(dòng)矢量，從而達(dá)到精確識(shí)別運(yùn)動(dòng)目標(biāo)的目的。

1.1運(yùn)動(dòng)域?yàn)V波器

運(yùn)動(dòng)估計(jì)就是尋找最優(yōu)或次優(yōu)的運(yùn)動(dòng)向量的過程。本文提出一種基于運(yùn)動(dòng)估計(jì)而改進(jìn)的運(yùn)動(dòng)域?yàn)V波器，它能夠有效地從視頻幀中找到虛假運(yùn)動(dòng)元素的存在并將其消除，從而有效地抑制虛假的背景運(yùn)動(dòng)矢量對識(shí)別帶來的影響。傳統(tǒng)方法是比較空間域和時(shí)間域中的運(yùn)動(dòng)矢量的絕對差均值（包括零運(yùn)動(dòng)分量）來判斷運(yùn)動(dòng)矢量的存在性。然而處理過程中發(fā)現(xiàn)背景中的虛假運(yùn)動(dòng)估計(jì)矢量依然存在，這是因?yàn)樵摲椒ㄔ谟?jì)算中降低了圖像中運(yùn)動(dòng)矢量的絕對差均值（MAD），并且縮小了搜索區(qū)域[3]，因而在此基礎(chǔ)上進(jìn)行了優(yōu)化。本文提出的方法是通過比較相應(yīng)區(qū)域的絕對差均值和總體的絕對差均值來判斷運(yùn)動(dòng)的存在與否。首先，通過比較當(dāng)前相應(yīng)的塊中的像素和前一幀的像素，計(jì)算出絕對差均值Dk

γ取不同值時(shí)，發(fā)現(xiàn)當(dāng)0.4＜γ＜0.5時(shí)視頻序列產(chǎn)生最好的實(shí)驗(yàn)效果（如圖2所示），這是因?yàn)楫?dāng)γ過大時(shí)將會(huì)忽略一些運(yùn)動(dòng)分量的存在；相反，γ過小時(shí)會(huì)將背景的微小移動(dòng)作為運(yùn)動(dòng)分量。圖2中還發(fā)現(xiàn)在0.4＜γ＜0.5以外的區(qū)域，均方誤差隨γ變化的幅度較小。

圖2　實(shí)驗(yàn)效果直方圖

在濾波的過程中，要通過比較運(yùn)動(dòng)檢測閾值THR與每幀中塊的運(yùn)動(dòng)分量的絕對差均值來確定每個(gè)塊中是否有運(yùn)動(dòng)存在。若，則認(rèn)為該塊中無運(yùn)動(dòng)矢量，那么將所有運(yùn)動(dòng)矢量分量置0，否則保留它的原始值。

1.2時(shí)間域運(yùn)動(dòng)補(bǔ)償濾波器

通過運(yùn)動(dòng)域?yàn)V波器后的視頻信號，由于基于運(yùn)動(dòng)軌跡估計(jì)的去噪方法能夠準(zhǔn)確地估計(jì)運(yùn)動(dòng)分量是否存在，因而大部分虛假運(yùn)動(dòng)分量被“過濾”。然而使用該這種方法常常得到錯(cuò)誤的運(yùn)動(dòng)矢量坐標(biāo)[4]。為了解決這一問題，應(yīng)更多地考慮運(yùn)動(dòng)估計(jì)的可行性，并采用合適的平滑處理。本文提出了一種基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間域遞歸濾波去噪方法，能夠較好地解決這一問題。

這種濾波器的主要原理是運(yùn)用運(yùn)動(dòng)檢測變量mk

mki，j控制時(shí)間域平滑量的強(qiáng)弱。對于沒有檢測到運(yùn)動(dòng)矢量的坐標(biāo)，則使用標(biāo)準(zhǔn)的時(shí)間域遞歸濾波器；而對于檢測到運(yùn)動(dòng)矢量的坐標(biāo)，依然要對其進(jìn)行濾波。但是要針對運(yùn)動(dòng)軌跡的估計(jì)，采用不同的濾波系數(shù)[5]，使用運(yùn)動(dòng)估計(jì)的方法來估計(jì)上述預(yù)測誤差的存在性，因此在這里要考慮運(yùn)動(dòng)估計(jì)不完全正確以及該區(qū)域是否移動(dòng)，采取不同程度的時(shí)域平滑處理。其方法如下：

首先定義預(yù)測誤差εki，j，那么在塊（i，j）中第k幀的誤差為

然后根據(jù)預(yù)測誤差的定義，改進(jìn)了運(yùn)動(dòng)補(bǔ)償?shù)臑V波方式。運(yùn)動(dòng)補(bǔ)償是一種描述相鄰幀差別的方法，具體來說是描述前面一幀的每個(gè)小塊怎樣移動(dòng)到當(dāng)前幀中的某個(gè)位置去。這種方法經(jīng)常被視頻壓縮/視頻編解碼器用來減少視頻序列中的時(shí)域冗余，它也可以用來進(jìn)行去除交織以及運(yùn)動(dòng)插值的操作。本方法基于此對視頻序列進(jìn)行平滑處理，運(yùn)動(dòng)補(bǔ)償濾波器的表達(dá)式為

1.3空間域?yàn)V波器

為降低處理的復(fù)雜度，使用基于模糊小波圖像收縮的降噪技術(shù)[6]Fuzzy Shrink算法），這是一種改進(jìn)的Prob Shrink小波去噪算法[7-8]。該方法使用根據(jù)條件隨區(qū)域可變的小波系數(shù)，可以有效迅速消除數(shù)字灰度圖像加性高斯噪聲。定義小波系數(shù)均值的表達(dá)式為式中：i，j——像素的坐標(biāo)；

ws，d（i，j）——在坐標(biāo)（i，j）的小波系數(shù)；

2K+1——窗函數(shù)的寬度；

xs，d（i，j）——在（2K+1）×（2K+1）區(qū)域內(nèi)小波系數(shù)的均值。

Fuzzy Shrink算法是通過比較ws，d（i，j）和xs，d（i，j）來決定小波系數(shù)。如果ws，d（i，j）和xs，d（i，j）同時(shí)為一個(gè)較大的值時(shí)，就選擇ws，d（i，j）作為去噪的小波系數(shù)。

對于均勻方差的噪聲，F(xiàn)uzzy Shrink算法可以得到理想的峰值信噪比（PSNR）。然而通過時(shí)間域?yàn)V波器處理后的噪聲方差是非均勻的，提出對Fuzzy Shrink的修改方法，使之更適應(yīng)空間非平穩(wěn)的估計(jì)噪聲估計(jì)量σ。使用分辨率為16×16的重疊窗口，對前面檢測出的運(yùn)動(dòng)矢量坐標(biāo)同時(shí)沿著不同的方向移動(dòng)，每次移動(dòng)8個(gè)像素。對于每一個(gè)窗口，取Donoho小波域的中位數(shù)估計(jì)值即最高頻率子帶中得到的小波系數(shù)的0.675作為標(biāo)準(zhǔn)。

2　實(shí)驗(yàn)結(jié)果及分析

分析本文提出的方法并與WST法進(jìn)行了對比。使用了3個(gè)標(biāo)準(zhǔn)測試序列：“序列1”、“序列2”和“序列3”，并給它們分別加入標(biāo)準(zhǔn)差為σ=10，15，15的白高斯噪聲。測試序列的分辨率均為352×240。本文所有實(shí)驗(yàn)的運(yùn)行環(huán)境均為酷睿I5，2G內(nèi)存，顯存512M，Windows7，Matlab 2008a。

2.1運(yùn)動(dòng)域細(xì)化理論

為評估本文所提出的運(yùn)動(dòng)域?yàn)V波器的效果，對在運(yùn)動(dòng)域估計(jì)中是否使用運(yùn)動(dòng)域細(xì)化得到運(yùn)動(dòng)補(bǔ)償幀的均方誤差（MSE）進(jìn)行比較。均方誤差是指參數(shù)估計(jì)值與參數(shù)真值之差平方的期望值，是衡量“平均誤差”的一種較方便的方法，可以評價(jià)數(shù)據(jù)的變化程度，MSE的值越小，說明預(yù)測模型描述實(shí)驗(yàn)數(shù)據(jù)精確度越高。

運(yùn)動(dòng)域均方誤差的定義式為

式中：Nx，Ny——運(yùn)動(dòng)矢量的組成部分；Nx×Ny——圖像大小。

選取一段分辨率為352×240的視頻序列進(jìn)行實(shí)驗(yàn)。通過實(shí)驗(yàn)觀察到，運(yùn)動(dòng)域細(xì)化后測試序列運(yùn)動(dòng)補(bǔ)償?shù)木秸`差明顯降低，證明了運(yùn)動(dòng)域?yàn)V波器的效果十分明顯。

通過比較運(yùn)動(dòng)過程中是否使用運(yùn)動(dòng)域細(xì)化得到去噪序列的PSNR均值結(jié)果，評估運(yùn)動(dòng)域細(xì)化的效果。峰值信噪比（PSNR）是一種評價(jià)圖像的客觀標(biāo)準(zhǔn)。在經(jīng)過影像壓縮之后，輸出的影像通常都會(huì)與原始影像有某種程度不同。為了衡量經(jīng)過處理后的影像品質(zhì)，通常會(huì)參考PSNR值來認(rèn)定某個(gè)處理程序是否令人滿意。定義如下：

經(jīng)過運(yùn)動(dòng)域細(xì)化理論處理后的視頻序列的PSNR的均值結(jié)果如表1所示，視頻的品質(zhì)得到明顯改善。

表1　是否對視頻序列使用運(yùn)動(dòng)域?yàn)V波器去噪得到PSNR的均值

濾波后的運(yùn)動(dòng)域出現(xiàn)更好的視覺效果。運(yùn)動(dòng)域細(xì)化處理前后對比，由于在沒有實(shí)際運(yùn)動(dòng)存在（運(yùn)動(dòng)矢量分量為零）的平滑區(qū)域，虛假的運(yùn)動(dòng)矢量被“過濾”，因而運(yùn)動(dòng)域被描繪為戰(zhàn)車預(yù)期的位置，如圖3所示。

圖3　視頻序列3運(yùn)動(dòng)域使用濾波器前后對比

2.2去噪結(jié)果

本節(jié)中將按照本文方法處理后得到視頻的峰值信噪比（PSNR）與在使用基于小波的時(shí)間域-空間域?yàn)V波的視頻序列降噪法（WST）得到的結(jié)果進(jìn)行比較，這里按照測試序列PSNR的平均值作為參考標(biāo)準(zhǔn)。

圖4是使用本文提出的方法與WST法進(jìn)行處理對比結(jié)果。經(jīng)過本文提出的方法進(jìn)行處理的視頻序列在測試序列中表現(xiàn)出更好的結(jié)果。使用本文方法去噪后圖像的峰值信噪比（PSNR）得到了改善，與WST法比較能夠提高1dB。其主要原因是該方法能夠較好地去除圖像的紋理，同時(shí)保持良好的靜態(tài)圖像邊緣。由于視頻序列1與視頻序列2相比紋理相對較少，因此與其他去噪方法相比的差異不是很大，優(yōu)勢不是很明顯。

圖5是視頻序列2的去噪結(jié)果。通過對比圖4與圖5，本文的方法在視頻去噪方面勝過其他參考的方法，尤其是在圖5序列中包含較多運(yùn)動(dòng)元素的情況下，本文的方法體現(xiàn)出更大的優(yōu)勢。此外，在每幀的顯示中，低頻噪聲分量很難被感知，然而使用本方

圖4　視頻序列1對比實(shí)驗(yàn)結(jié)果

法處理視頻序列能夠較好地處理低頻噪聲分量。特別是在圖5中與WST方法相比能夠更好地保留圖像的紋理，抑制了模糊，靜態(tài)空間地區(qū)的戰(zhàn)車邊緣清晰可見，其他圖像就較為模糊了。

圖5　視頻序列2對比實(shí)驗(yàn)結(jié)果

圖6是對于視頻序列2本文方法與幾種常用視頻去噪技術(shù)的性能比較，其中藍(lán)線表示使用本文方法去噪后視頻的PSNR，黑線表示使用WST法后的視頻PSNR。使用該方法去噪后視頻的PSNR值明顯優(yōu)于其他方法[9-11]。

將該方法與最近提出的視頻迭代去噪算法進(jìn)行比較[12-13]。視頻序列1，輸入的峰值信噪比為28dB，使用本文方法進(jìn)行去噪后的峰值信噪比為30.8dB，與迭代法比較高出近0.5dB。對于視頻序列2，其峰值信噪比為28dB，使用本文方法后，其峰值信噪比變?yōu)?4.61dB，使用迭代法為35.13dB。更重要的是，迭代法與本文提出的方法相比要復(fù)雜得多。例如使用迭代法，配置為4×3 GHz的處理器去處理分辨率為352×288的視頻序列，每幀大約需要4 s；使用本文方法對相同視頻序列進(jìn)行處理，配置為更低速的處理器（雙核2.4 GHz），每幀大約需要使用29ms。此外，使用迭代法需要緩存7幀的數(shù)據(jù)；而本文的方法只需要使用當(dāng)前幀以及前一幀，這對串行處理的硬件設(shè)備來說具有較大意義。

圖6　本文方法與WST法性能比較

3　結(jié)束語

本文提出對視頻序列中的運(yùn)動(dòng)估計(jì)資源進(jìn)行再利用，降低了處理的復(fù)雜度以及視頻解碼積分的難度，從而達(dá)到降低去噪的難度。本方法的核心由基于運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)域?yàn)V波器以及在這種運(yùn)動(dòng)域?yàn)V波器基礎(chǔ)上提出的時(shí)間域遞歸濾波器兩部分組成。實(shí)驗(yàn)結(jié)果表明，這是一種在降低復(fù)雜度的同時(shí)高效優(yōu)異的視頻去噪方法。

參考文獻(xiàn)

[1] Daubechies I. The wavelet transform，time-frequency localization and signal analysis[J] . IEEE Trans on Information Theory，1990，36（5）：961-1005.

[2] Rahman S M M，Ahmad M O，Swamy M. Video denoising based on inter-frame statistical modeling of wavelet coefficients[J] . IEEE Trans Circuits Syst Video Technol，2007，17（2）：187-199.

[3] Liu B，Zaccarin A. New fast algorithms for the estimation of block motion vectors[J] . IEEE Trans Circuits Syst Video Technol，1993，18（3）：148-157.

[4] Jovanov L，Pizurica A，Schulte S，et al. Combined wavelet-domain and motion-compensated video denoising based on video codec motion estimation methods [J] . IEEE Trans Circuits Syst Video Technol，2009，19（3）：417-421.

[5] Balster E J，Zheng Y F，Ewing R L. Combined spatial and temporal domain wavelet shrinkage algorithm for video denoising[J] . IEEE Trans Circuits Syst for Video Technol，2006，16（2）：220-230.

[6] Saeedi J，Moradi M H，F(xiàn)aez K. A new wavelet-based fuzzy single and multi-channelimage denoising[J] . Image and Vision Computing，2010，28（8）：1611-1623.

[7] Pizurica A，Philips W. Estimating the probability of the presence of a signal of interest in multiresolution single and multiband image denoising[J] . IEEE Transactions on Image Processing，2006，15（3）：654-673.

[8] 王曜，朱光喜，劉瑋.結(jié)合小波預(yù)處理的圖像編碼方案[J] .計(jì)算機(jī)應(yīng)用研究，2003，26（2）：240-243.

[9] 高祖昌，蘇崗，黃金，等.小波分析在PWM整流器去噪中的研究[J] .中國測試技術(shù)，2008，34（5）：119-121.

[10] 郭蘭英.第二代小波基本理論及其在圖像壓縮中的應(yīng)用[R] .武漢：武漢大學(xué)，2005.

[11] 吳昌東.基于非下采樣Contourlet變換的圖像去噪方法[J] .西華大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，30（6）：19-21.

[12] 王有偉，王淵鋒，徐公權(quán).圖像定位算法的設(shè)計(jì)與實(shí)現(xiàn)[J] .計(jì)算機(jī)研究與發(fā)展，2002，39（6）：733-736.

[13] 張磊，涂國防.一種新型小波域運(yùn)動(dòng)估計(jì)算法[J] .電子與信息學(xué)報(bào)，2007，29（5）：1131-1134.

Video denoising method based on motion estimation combined with wavelet-domain and motion-compensated

FENG Chang-jiang，MAO Bo，XUE Bing

（Ordance Engineering College，Shijiazhuang 050003，China）

Abstract:On the basis of wavelet transform theory，a novel video denoising method is presented in this paper，which reuses motion estimation resources from the video coding module. Firstly，it proposed a novel motion-field filtering step that refines the accuracy of the motion estimates to a degree that is required for denoising. Secondly，a novel temporal filter was proposed that is robust against errors in the estimated motion field. Then spatial domain filter was improved to reduce the complexity of the processing. The experimental results show that the proposed method is a relatively simple and efficient in video denoising.

Key words:image enhancement；motion estimation；video coding；wavelet transform

基金項(xiàng)目：國防科技重點(diǎn)實(shí)驗(yàn)室基金項(xiàng)目（9140C8702020803）

收稿日期：2012-04-16；

doi：10.11857/j.issn.1674-5124.2013.05.001

文章編號：1674-5124（2013）05-0001-05

文獻(xiàn)標(biāo)志碼：A

中圖分類號：TP312；TP391.41；TN949.6+3；TM930.12

作者簡介：馮長江（1964-），男，河北石家莊市人，教授，研究方向?yàn)殡娮釉O(shè)計(jì)自動(dòng)化、自動(dòng)測試系統(tǒng)設(shè)計(jì)、故障診斷等。