一種基于運(yùn)動(dòng)估計(jì)的視頻降噪算法

白瑞廣，金湘亮，徐 杰

(湘潭大學(xué)材料與光電物理學(xué)院，湖南湘潭 411105)

一種基于運(yùn)動(dòng)估計(jì)的視頻降噪算法

白瑞廣，金湘亮，徐 杰

(湘潭大學(xué)材料與光電物理學(xué)院，湖南湘潭 411105)

為了有效地去除視頻序列中的噪聲，提高視頻圖像質(zhì)量，提出了一種基于運(yùn)動(dòng)估計(jì)的視頻降噪算法。該算法在由視頻序列中的當(dāng)前幀和前后多幀圖像構(gòu)建的圖像層中，通過(guò)運(yùn)動(dòng)估計(jì)技術(shù)，沿著物體的運(yùn)動(dòng)軌跡進(jìn)行時(shí)域幀間濾波。實(shí)驗(yàn)結(jié)果顯示，本文提出的算法充分利用了視頻序列的時(shí)域信息，可以有效去除視頻序列中的噪聲，同時(shí)可以很好地保持視頻圖像的細(xì)節(jié)。

視頻序列;降噪;運(yùn)動(dòng)估計(jì);時(shí)域?yàn)V波

1 引 言

監(jiān)控產(chǎn)品的智能化和高清化發(fā)展對(duì)視頻圖像的質(zhì)量要求越來(lái)越高，而視頻處理系統(tǒng)在視頻采集、壓縮、存儲(chǔ)、傳輸?shù)拳h(huán)節(jié)中都面臨著噪聲的干擾［1］。噪聲的存在不但降低了視頻圖像的視覺(jué)質(zhì)量，而且增加了視頻圖像的信息熵，導(dǎo)致碼流增大，不但增加存儲(chǔ)空間和傳輸時(shí)間，還會(huì)對(duì)后續(xù)的目標(biāo)識(shí)別、跟蹤等智能化分析等操作造成困難。這就需要在保留視頻信息的前提下對(duì)視頻流去除噪聲，提高信噪比，改善視覺(jué)效果。

目前視頻圖像的降噪方法大致可以分為變換域?yàn)V波，空域?yàn)V波和時(shí)域?yàn)V波［2］。而在視頻應(yīng)用中，變換域?yàn)V波的計(jì)算量大，很難滿足系統(tǒng)的實(shí)時(shí)性需求［3］。視頻信號(hào)的空域相關(guān)性并不能完全區(qū)分視頻信號(hào)和噪聲信號(hào)，使得空域?yàn)V波在去噪的同時(shí)會(huì)無(wú)法避免地模糊視頻圖像的邊緣和紋理。由于視頻信號(hào)的連貫性，視頻幀間的時(shí)域相關(guān)性遠(yuǎn)遠(yuǎn)大于空域相關(guān)性，因此，實(shí)際應(yīng)用中，在去噪方法的選擇上，時(shí)域?yàn)V波更具有優(yōu)勢(shì)［4］。本文提出一種基于運(yùn)動(dòng)估計(jì)的視頻降噪算法，克服了視頻圖像在時(shí)域上的非平穩(wěn)特性，提高了視頻圖像的降噪效果。

2 基于運(yùn)動(dòng)估計(jì)的視頻降噪算法

視頻信號(hào)的噪聲主要是高斯噪聲，和視頻信號(hào)的幀間相關(guān)性不同，幀間同一位置的高斯噪聲存在隨機(jī)性，在時(shí)域上不具有相關(guān)性，而視頻序列每一幀的圖像內(nèi)容在時(shí)域上沿著物體運(yùn)動(dòng)軌跡的方向是保持一致的，每幀之間不發(fā)生變化。采用對(duì)各幀信號(hào)求平均的方法可以有效的去除視頻信號(hào)中的噪聲，而簡(jiǎn)單的時(shí)域幀間平均濾波由于運(yùn)動(dòng)的存在導(dǎo)致匹配誤差，出現(xiàn)噪聲殘留或鬼影［5］。本文提出的基于運(yùn)動(dòng)估計(jì)的視頻降噪算法通過(guò)運(yùn)動(dòng)估計(jì)，把當(dāng)前幀分為一定數(shù)量互不重疊的塊，在前后參考幀中按一定的匹配原則和搜索策略找到和當(dāng)前塊相似的參考?jí)K，即匹配塊，這樣在時(shí)域上獲得物體的運(yùn)動(dòng)軌跡，沿著物體的運(yùn)動(dòng)軌跡過(guò)平均來(lái)降低噪聲，在一定程度上改善了時(shí)域平均在運(yùn)動(dòng)幀上的無(wú)力，同時(shí)通過(guò)設(shè)定合理的計(jì)算邊界，減少匹配失敗或誤差，防止出現(xiàn)“鬼影”現(xiàn)象。

2.1 算法步驟

首先，將當(dāng)前幀劃分為16×16像素大小的宏塊，以此為基本處理單位。然后根據(jù)設(shè)定的閾值確定當(dāng)前幀在前后幀間的搜索邊界，利用運(yùn)動(dòng)估計(jì)技術(shù)在搜索范圍內(nèi)搜索匹配的參考宏塊，即參考?jí)K，從而確定當(dāng)前宏塊的運(yùn)動(dòng)軌跡。最后，沿著物體的運(yùn)動(dòng)軌跡進(jìn)行幀間濾波即可，算法流程如圖1所示。

圖1 算法流程圖

2.2 運(yùn)動(dòng)估計(jì)

視頻編碼中，常采用運(yùn)動(dòng)估計(jì)技術(shù)來(lái)確定物體的運(yùn)動(dòng)軌跡，因此，本文采用基于塊匹配的運(yùn)動(dòng)估計(jì)來(lái)獲取運(yùn)動(dòng)軌跡［6］。塊匹配法假設(shè)圖像由運(yùn)動(dòng)的塊組成，在每一個(gè)塊內(nèi)，各像素的運(yùn)動(dòng)可以用同一個(gè)運(yùn)動(dòng)矢量來(lái)表示。匹配準(zhǔn)則，搜索策略，宏塊大小劃分，搜索范圍和搜索精度是影響運(yùn)動(dòng)估計(jì)結(jié)果的主要因素?？紤]到硬件實(shí)現(xiàn)的計(jì)算復(fù)雜度和算法的實(shí)用性，本文的匹配準(zhǔn)則使用MAD匹配準(zhǔn)則，搜索策略使用三步法。在當(dāng)前幀中選擇以(i，j)為中心，大小為16×16的宏塊，在搜索范圍內(nèi)的前后幀中搜索對(duì)應(yīng)此宏塊MAD值最小的最佳匹配塊，當(dāng)前宏塊和參考宏塊便構(gòu)成了當(dāng)前宏塊在時(shí)域上的運(yùn)動(dòng)軌跡［7］。MAD定義如公式(1)所示:

式中，cij代表當(dāng)前塊內(nèi)的像素灰度值;pij代表參考?jí)K內(nèi)的像素灰度值。

2.3 搜索邊界

本文提出的算法通過(guò)設(shè)定當(dāng)前幀內(nèi)宏塊的匹配準(zhǔn)則閾值，擴(kuò)大了前后幀的搜索范圍，合理地增加參與幀間濾波的幀數(shù)，進(jìn)一步提升去噪效果。

考慮到視頻序列在時(shí)域上的連續(xù)性，首先，當(dāng)前幀內(nèi)的當(dāng)前塊在前一幀內(nèi)搜索參考?jí)K，如果二者的MAD值未超過(guò)設(shè)定的閾值，則繼續(xù)向前一幀內(nèi)搜索參考?jí)K，如果MAD值超過(guò)閾值A(chǔ)，或者，當(dāng)前塊和所有參考?jí)K的MAD值之和超過(guò)閾值B，則停止搜索，此幀作為幀間平均濾波的前向邊界。同理，幀間平均濾波的后向邊界也如此確定。這樣，閾值A(chǔ)反映的是輸入噪聲的突變，而閾值B反映的是輸入噪聲的連續(xù)變化，兩個(gè)閾值的設(shè)定保證了幀間濾波邊界的可靠性。通過(guò)大量的實(shí)驗(yàn)測(cè)試，閾值A(chǔ)和B分別設(shè)定為5·σ和10·σ時(shí)，去噪的效果達(dá)到最優(yōu)，σ為高斯噪聲的標(biāo)準(zhǔn)差。

2.4 幀間濾波

視頻信號(hào)和其噪聲模型描述為:

其中，g(k)為噪聲污染后的視頻序列;f(k)為未受噪聲干擾的視頻序列;n(k)為均值為0、方差為σ2的加性高斯白噪聲。幀間濾波后的視頻序列g(shù)'(k)則可表示為:

3 實(shí)驗(yàn)結(jié)果分析

為證明算法的有效性，仿真實(shí)驗(yàn)基于2.93 GHz Intel Core2 Duo CPU，1.96 GB內(nèi)存，Window XP SP3操作系統(tǒng)的PC機(jī)，通過(guò)Matlab 2013b對(duì)CIF格式的標(biāo)準(zhǔn)測(cè)試序列進(jìn)行實(shí)驗(yàn)對(duì)比。限于客觀條件，文中只能給出視頻中某一幀的效果圖。文獻(xiàn)［8］提到的IFSM算法利用小波變換對(duì)視頻進(jìn)行降噪處理，去噪效果比較好，但是計(jì)算太復(fù)雜。時(shí)域降噪算法中，文獻(xiàn)［9］中提到的ATF算法利用了視頻信號(hào)的時(shí)域信息，能較好保留圖像細(xì)節(jié)，但它的時(shí)間軸濾波器結(jié)構(gòu)較為簡(jiǎn)單，濾波時(shí)只在當(dāng)前幀的前一幀和后一幀內(nèi)搜索參考?jí)K，本文在此基礎(chǔ)上對(duì)時(shí)間軸濾波器進(jìn)行了改進(jìn)。圖(1)為對(duì)salesman標(biāo)準(zhǔn)測(cè)試序列第32幀添加標(biāo)準(zhǔn)差σ=15的高斯白噪聲的實(shí)驗(yàn)結(jié)果圖。實(shí)際上，在播放連續(xù)的視頻序列時(shí)，本文算法的視覺(jué)效果會(huì)更加的突出，不存在拖影、閃爍等現(xiàn)象。

圖2 salesman序列第32幀

本文采用峰值信噪比(PSNR)作為算法效果的客觀評(píng)價(jià)，如公式(4)所示:

其中，fmax為視頻信號(hào)的峰值;通常取 fmax=255，f1(i，j，k)為原視頻序列;f2(i，j，k)為處理后視頻序列;k為視頻序列幀數(shù);m×n為視頻圖像的大小。表1給出了算法對(duì)不同測(cè)試序列去噪后的平均PSNR值。由于本文算法多次利用了視頻前后序列的相關(guān)信息，采用了優(yōu)化的處理模型，去噪效果明顯好于參考算法。

表1 測(cè)試序列去噪后的平均PSNR

4 結(jié)論

本文介紹了一種基于運(yùn)動(dòng)估計(jì)的視頻降噪算法，充分利用視頻序列在時(shí)域上的相關(guān)性，通過(guò)運(yùn)動(dòng)估計(jì)技術(shù)搜索當(dāng)前幀的宏塊在合理范圍內(nèi)的前后幀中的參考?jí)K，沿著物體運(yùn)動(dòng)的軌跡完成幀間濾波，通過(guò)設(shè)定合理的計(jì)算邊界，在減少運(yùn)算量的同時(shí)避免了匹配失敗造成的鬼影現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，本文的算法有效地去除了視頻序列中的高斯噪聲并明顯提升主觀效果。

［1］LIHongsong.Digital video processing［M］.Beijing:Beijing University Of Posts And Telecommunications Press，2006.(in Chinese)

黎洪松.數(shù)字視頻處理［M］.北京:北京郵電大學(xué)出版社，2006.

［2］JC Brailean，R P Kleihorst，SEfstratiadis，et al.Noise reduction filters for dynamic image sequences:a review［J］.IEEE Transactions on Image Processing，1995，83(9): 1272－1292.

［3］JIHu，LIU Qinlei，ZHENG Yonghang.De-noising of infrared images based on stationary wavelet transform and bayes estimation［J］.Laser＆Infrared，2009，39(6):677－680.(in Chinese)

季虎，劉欽磊，鄭永煌.基于離散平穩(wěn)小波變換和Bayes估計(jì)的紅外圖像去噪方法［J］.激光與紅外，2009，39(6):677－680.

［4］YANG Huixian，WANG Xusi，XIE Penghe，et al.Infrared image denoising based on improved threshold and interscale correlations ofwavelet transform［J］.Acta Automatica Sinica，2011，37(10):1167－1174.(in Chinese)

楊恢先，王緒四，謝鵬鶴，等.改進(jìn)閾值與尺度間相關(guān)的小波紅外圖像去噪［J］.自動(dòng)化學(xué)報(bào)，2011，37(10): 1167－1174.

［5］LIZheng，LIU Wenjiang，RONG Mengtian，et al.Implementation and evaluation of BM3D video denoising algorithms［J］.Information Technology，2012，(4):30－32.(in Chinese)

李政，劉文江，戎蒙恬，等.BM3D視頻去噪算法實(shí)現(xiàn)與評(píng)估［J］.信息技術(shù)，2012，(4):30－32.

［6］JM Boyce.Noise reduction of image sequences using adaptive motion compensated frame averaging［C］.Proc.IEEE Int.Conf.Signal Process，1992，3:461－464.

［7］DUBOIS，E Sabri.Noise reduction in image sequences using motion-compensated temporal filtering［J］.IEEE Transactions on Image Processing，1984，32:826－831.

［8］SM Rahman，M O Ahmad，M N Swamy.Video denoising based on inter-frame statisticalmodeling ofwavelet coefficients［J］.IEEE Transactions on Circuits and Systems for Video Tech，2007，17:187－198.

［9］LIYan，QIAOYanfeng，GAO Fengduan，et，al.Adaptive temporal filter based on motion compensation for video noise reduction［J］.Chinese Journal Of Electron Devices，2007，30(5):1666－1669.(in Chinese)

李巖，喬彥峰，高豐端，等.一種基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域自適應(yīng)視頻降噪算法［J］.電子器件，2007，30(5): 1666－1669.

Video noise reduction based on motion estimation

BAIRui-guang，JIN Xiang-liang，XU-Jie
(Faculty of Materials，Optoelectronics and Physics，Xiangtan University，Xiangtan 411105，China)

For eliminating the noise of video sequence effectively，a video noise reduction algorithm based on motionestimation is proposed.Time-domain filtering is performed along the object trajectory in themap layer which is composed of the current frame and the compensated reference frames of video sequence.The experiment results show that the proposed method can effectively suppress the noise in the video，and keep textures and details well by fully utilizing temporal correlations in video content.

video sequence;noise reduction;motion estimation;time-domain filter

TP391

A

10.3969/j.issn.1001-5078.2014.04.020

1001-5078(2014)04-0443-04

國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(No.61233010);國(guó)家自然科學(xué)基金(No.61274043)資助。

白瑞廣(1986－)，男，碩士研究生，研究方向?yàn)閿?shù)字圖像處理和機(jī)器視覺(jué)。

2013-08-21;

2013-09-22