基于分割和全背景圖像的視頻修復(fù)算法

劉銘　劉雅楠　李靖宇

【摘要】 本文針對(duì)處于平行運(yùn)動(dòng)中的攝像機(jī)所拍攝的視頻提出了一種有效地分割、修復(fù)方法。通過SURF算法和小波變換分割成前景圖像和背景圖像并融合得到全背景圖像。修復(fù)前景時(shí)，在具有相似運(yùn)動(dòng)特征的圖像中搜索最佳樣本塊填補(bǔ)破損。修復(fù)背景時(shí)，則是在修復(fù)好的全背景中采樣填補(bǔ)破損幀的待修復(fù)區(qū)域。實(shí)驗(yàn)表明：本文算法能較為精準(zhǔn)的將視頻破損處修復(fù)，同時(shí)采用了全新的分割方法，不但能節(jié)省時(shí)間，還能將視頻處理的更為清晰自然。

【關(guān)鍵詞】 視頻修復(fù) 背景分割融合 全背景 圖像修復(fù)

一、引言

當(dāng)今社會(huì)正處于多媒體時(shí)代，而作為其中的一員，視頻的應(yīng)用也越來越頻繁，視頻損傷更是層出不窮，其修復(fù)技術(shù)也越來越受到人們的關(guān)注。早在2007年，Patwardhan等人[1]就提出通過建立光流，分別對(duì)前景和背景進(jìn)行修復(fù)。但此方法運(yùn)算量較大，實(shí)時(shí)性也比較差。緊接著Jia等人[2，3]利用分割技術(shù)將視頻分割為前景和背景進(jìn)行修復(fù)。近年來，我國(guó)許多研究者也相繼踏入視頻修復(fù)的領(lǐng)域。2008年，肖春霞[4]將樣本塊的修復(fù)方法與視頻相結(jié)合，成功的修復(fù)了視頻中的大塊破損，但卻不能對(duì)細(xì)節(jié)進(jìn)行精確的修復(fù)。對(duì)于攝像機(jī)平行于場(chǎng)景且晃動(dòng)的情況，梁敏等人[5]在攝像機(jī)平行運(yùn)動(dòng)前提下，將運(yùn)動(dòng)中的攝像機(jī)轉(zhuǎn)換成靜止?fàn)顟B(tài)，此方法提高了視頻修復(fù)的準(zhǔn)確度及速度，有效保持了視頻的連續(xù)性。

對(duì)于目前的視頻修復(fù)算法來說，背景的分割、融合是一個(gè)關(guān)鍵性問題。傳統(tǒng)的背景分割方法在建模和更新等方面存在明顯的不足；對(duì)于處在平行運(yùn)動(dòng)中的攝像機(jī)來說，一般按照運(yùn)動(dòng)估計(jì)進(jìn)行的視頻拼接方法所得到的視頻會(huì)存在誤差。針對(duì)此等現(xiàn)象，本文提出一種新的分割方法。

二、新的視頻修復(fù)算法

本文所提出的算法簡(jiǎn)單有效，但前提是這段視頻中必須辦含一個(gè)完整的運(yùn)動(dòng)周期，以便在前景修復(fù)進(jìn)行采樣。算法的流程分為以下3步：

（1）通過SURF算法對(duì)視頻各幀提取特征點(diǎn)、進(jìn)行匹配，再利用小波變換將每一幀與第一幀進(jìn)行融合得到全背景圖像；（2）利用基于樣本塊的修復(fù)方法，在具有相似運(yùn)動(dòng)特征的圖像中搜索最佳樣本塊，填充到前景中的待修復(fù)區(qū)域；（3）對(duì)于破損幀背景的修復(fù)，則是在修復(fù)好的全背景中采樣填補(bǔ)。

2.1 視頻幀的分割和全背景圖像的融合

本文的分割技術(shù)采用的是基于SURF算法和小波變換的方法進(jìn)行視頻全背景的融合。處理的過程為：

（1）利用SURF算法對(duì)輸入的每幀圖像進(jìn)行特征點(diǎn)的提??；（2）將每幀圖像的特征點(diǎn)和第一幀圖像的特征點(diǎn)進(jìn)行匹配，確定圖像的重合區(qū)域；（3）利用小波變換將配準(zhǔn)后的每一幀圖像與第一幀融合，構(gòu)成一幅完整的全背景圖像。

2.1.1 基于SURF算法的圖像配準(zhǔn)

2.1.2 基于小波變換的圖像融合

由于小波能從不同層次將圖像進(jìn)行分解并融合，其效果要比普通拼接的效果要好。而在離散小波變換（DWT）中，Mallat提出的金字塔型算法[7]是計(jì)算DWT的最快速算法，所以本文在融合技術(shù)方面采用的是在小波域內(nèi)通過金字塔型算法將原始圖像在不同尺度、不同方向上分解成模糊分量和細(xì)節(jié)分量[7]。

將每幀圖像的單位陣、融合系數(shù)等要素按照Mallat分解公式進(jìn)行分解，然后通過Mallat重構(gòu)算法合成融合圖像。通過上述方法得到的全背景如圖2所示。

2.2 前景修復(fù)

對(duì)前景的修復(fù)方法采用的是基于樣本塊的圖像修復(fù)方法逐幀修復(fù)。人工標(biāo)記出前景和背景圖像中的待修復(fù)區(qū)域，在完好的視頻幀中搜索與待修復(fù)圖像運(yùn)動(dòng)相似的圖像進(jìn)行最佳樣本塊的搜索、拷貝，并完成置信度項(xiàng)的更新。

2.3 背景修復(fù)

對(duì)于破損幀背景的修復(fù)則是通過得到的全背景進(jìn)行采樣修復(fù)，采樣標(biāo)準(zhǔn)需要待修復(fù)區(qū)域和全背景在時(shí)間和空間上具有一致性，背景圖像修復(fù)結(jié)果如圖4所示。

三、實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的實(shí)際修復(fù)效果，文本采用Matlab7.11對(duì)自己實(shí)際拍攝的一段78幀的視頻進(jìn)行處理。計(jì)算機(jī)的環(huán)境是內(nèi)存1GB，CPU為P7350 2.00GHz。

圖5顯示了應(yīng)用本文算法對(duì)破損視頻進(jìn)行修復(fù)后得到的結(jié)果圖，從中可以看出，無論是前景還是背景，都沒有明顯的修補(bǔ)跡象，修補(bǔ)結(jié)果令人滿意。

為了更加清晰的證明本文所提出的算法，不使文章具有主觀色彩，本文通過PSNR計(jì)算出對(duì)自拍視頻完成修復(fù)后的第51～59幀圖像的客觀評(píng)價(jià)，如表1所示，自拍視頻中的第51～59幀的PSNR值均大于36dB（PSNR>36dB可證明修復(fù)后的圖像視覺質(zhì)量比較好）。

四、總結(jié)

對(duì)于傳統(tǒng)的背景分割方法在建模和更新等方面存在的不足，本文結(jié)合SURF算法、小波變換對(duì)背景進(jìn)行分割、融合得到全背景。

對(duì)于前景修復(fù)，本文利用基于樣本塊的修復(fù)方法對(duì)視頻進(jìn)行處理。對(duì)于破損幀的背景修復(fù)則在修復(fù)好的全背景中進(jìn)行拷貝填充。實(shí)驗(yàn)結(jié)果表明，本文的分割融合算法不僅能對(duì)各像素點(diǎn)進(jìn)行精準(zhǔn)的匹配分割，融合得到的全背景圖像更連續(xù)自然，還能快速的對(duì)破損視頻進(jìn)行修復(fù)并取得理想的實(shí)驗(yàn)效果。

作者簡(jiǎn)介：

劉銘，女，1993年生，本科，學(xué)生，主要研究方向：數(shù)字圖像處理。

劉雅楠，通信作者，女，1987年生，碩士，助教，主要研究方向：數(shù)字圖像處理。 xiaofeng_6387@126.com。

李靖宇，男，1976年生，碩士，副教授，主要研究方向：數(shù)字圖像處理。

參 考 文 獻(xiàn)

[1] Patwardhan K A， Sapiro G， Bertalmio M. Video inpainting under constrained camera motion[J]. IEEE Trans on Image Processing， 2007， 16（2）： 545-553.

[2] Jia J，Wu T P， Tai Y W， et al. Video repairing： Inference of foreground and background under severe occlusion[C]. IEEE Coference on Computer Vision and Pattern Recognition（CVPR）， 2004， 1： 364-371.

[3] Jia J， Tai Y W， Wu T P， et al. Video repairing under variable illumination using cyclic motions [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2006， 28（5）： 832-839.

[4]肖春霞，劉舒，林成春，聶勇偉，劉夢(mèng)，彭群生. 基于時(shí)空全局優(yōu)化的視頻修復(fù)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2008， 20（9）： 1205-1211.

[5]梁敏，王兆仲. 攝像機(jī)平行于場(chǎng)景運(yùn)動(dòng)且晃動(dòng)下的視頻修復(fù)[J]. 計(jì)算機(jī)工程與應(yīng)用， 2011， 47（4）： 176-180.

[6]宋延爽，耿楠. 基于SURF算法的全景圖拼接技術(shù)研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2012， 33（12）： 4648-4651.

[7] Mallat S G. Multifrequency channel decomposition of images and wavelet model[J]. IEEE Transact， Speech，Signal Processing， 1989， 37（12）：2091 2110.