基于小波分析的視頻圖像修復(fù)算法

丁 輝，潘 巍，張樹東

（首都師范大學(xué) 信息工程學(xué)院，北京 100048）

0 引言

由于年代久遠(yuǎn)、保存不當(dāng)?shù)雀鞣N原因，很多歷史影像資料存在不同程度的損壞，如何修復(fù)這些影像資料，更好地保存和復(fù)用這些內(nèi)容非常重要。此外，有些視頻資料由于技術(shù)限制，字幕或標(biāo)志被固化于視頻中，成為視頻的一部分。但固化的字幕和標(biāo)志嚴(yán)重阻礙了這些視頻資料在后期應(yīng)用中的復(fù)用。針對(duì)視頻或圖像中損壞或者遺失的部分，利用視頻段中未被損壞的視頻圖像信息，按照一定的算法和規(guī)則來恢復(fù)圖像中破損區(qū)域的顏色信息或者去除圖像中的多余物體，使得整幅圖像達(dá)到視覺上的連續(xù)和完整的技術(shù)，被稱為視頻圖像修復(fù)技術(shù)。待修復(fù)區(qū)域指視頻圖像中的受損區(qū)域或多余物體，如斑點(diǎn)、文字、褶痕、障礙物等。

視頻圖像修復(fù)在圖像處理、視頻分析、電影工業(yè)、圖像傳輸?shù)戎杏兄鴱V泛的應(yīng)用。目前，視頻圖像的修復(fù)技術(shù)主要集中在兩個(gè)領(lǐng)域：1）偏微分方程的修復(fù)模型[1-3]，最早由Bertalmio等[1]提出的，利用待修補(bǔ)區(qū)域的邊緣信息，從區(qū)域邊界各向異性地向邊界內(nèi)擴(kuò)散，從而確定邊緣的擴(kuò)散信息和擴(kuò)散方向。這種方法對(duì)圖像中的線結(jié)構(gòu)具有較好的修復(fù)效果，但是無法恢復(fù)圖像的紋理細(xì)節(jié)；2）紋理合成的修復(fù)模型[4-7]，其主要思想是將圖像分解為結(jié)構(gòu)部分和紋理部分，其中紋理部分使用紋理合成方法填充，結(jié)構(gòu)部分用第一類修補(bǔ)算法修補(bǔ)。本文采用基于小波變換的紋理分析方法，并與文本或特征區(qū)域檢測跟蹤算法相結(jié)合，提高算法的運(yùn)算速度。

1 基于小波分析的視頻圖像修復(fù)

1.1 視頻圖像損壞特征分析

引起視頻圖像損壞的原因有很多，文獻(xiàn)[8]通過對(duì)大量被損壞的電影視頻資料進(jìn)行分析，將視頻資料的損壞情況大致總結(jié)為10個(gè)方面：視頻圖像噪聲嚴(yán)重，亮度與對(duì)比度失衡，白平衡失衡，鋸齒效應(yīng)，圖像閃爍，水平或垂直條帶，隨機(jī)斑點(diǎn)，局部顏色失真，視頻圖像塊效應(yīng)，完全損壞等。

其中比較難修復(fù)的損壞特征是水平和垂直條帶，因?yàn)閾p壞的面積比較大，修復(fù)過程中易引起塊效應(yīng)。

另一類比較難以修復(fù)的特征是視頻中的文本或遮擋物，有一些重要和珍貴的材料會(huì)經(jīng)常被多家媒體使用，那些視頻圖像上無法分割的臺(tái)標(biāo)等標(biāo)志將成為破壞圖像完整性的主要區(qū)域。因此，首先要定位到待去除特征區(qū)域的位置，然后利用視頻圖像的時(shí)間連續(xù)性特征進(jìn)行跟蹤和修復(fù)。

1.2 圖像的小波分析

1.2.1 小波變換

設(shè)ψ(t)∈L2(R)，其傅里葉變換為ψ?(ω)，當(dāng)ψ?(ω)滿足下述允許條件

時(shí)，稱ψ(t)為一個(gè)基小波或母小波[3]。將ψ(t)經(jīng)伸縮和平移后就可得到一個(gè)小波序列

式中：a和b為伸縮平移因子。這是連續(xù)小波的定義，但是在實(shí)際應(yīng)用中通常使用離散化小波，將連續(xù)小波的尺度參數(shù)a和b進(jìn)行離散化[7]，即a=aj0,b=kaj0b0，這里 j∈Z ，擴(kuò)展步長為固定值，且a0≠1，對(duì)應(yīng)的離散化的小波變換系數(shù)則可表示為

當(dāng)尺度參數(shù)a和b的大小改變時(shí)，可以調(diào)節(jié)小波時(shí)間和頻率分辨率，以適應(yīng)待分析信號(hào)的非平穩(wěn)性。

在實(shí)際圖像處理過程中，由于圖像可以看成是二維信號(hào)，利用已有的一維小波函數(shù)和尺度函數(shù)，采用可分離變量方法來構(gòu)造所需的二維小波，它們是

由小波函數(shù)分離變量性質(zhì)可知，二維分解過程可以通過2步完成：首先對(duì)圖像進(jìn)行行分解，即信號(hào)f(x,y)的每一行作為一維信號(hào)進(jìn)行分解；然后再對(duì)上一步分解后得到的中間結(jié)果進(jìn)行列分解，即將每一列看成一維函數(shù)再作一次分解。這樣，二維圖像信號(hào)被分解為4個(gè)不同頻率的子波段。因此，二維小波變換具有對(duì)圖像進(jìn)行多分辨率分析的特性[9]，分解效果如圖1所示。

1.2.2 視頻圖像修復(fù)算法

為了提高修復(fù)的正確率，首先要準(zhǔn)確找到視頻中的受損部分，也就是需要修復(fù)的內(nèi)容。首先，對(duì)視頻文本等標(biāo)志區(qū)域進(jìn)行分析，一般臺(tái)標(biāo)等標(biāo)志信息位于視頻幀圖像的上1/4處，而字幕等文本信息則位于視頻幀圖像的下1/4左右的位置，具體的文本提取跟蹤算法可參考前期的研究工作[10]。對(duì)已確定文本區(qū)域的視頻幀進(jìn)行3層小波分解，分別對(duì)高頻子帶和低頻子帶進(jìn)行修復(fù)，最后將修復(fù)后的子圖像進(jìn)行重構(gòu)，從而得到完整的修復(fù)后視頻圖像。視頻圖像修復(fù)流程如圖2所示。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 小波基的選擇

小波基ψ(t)的選擇不是唯一的，對(duì)小波基進(jìn)行選擇應(yīng)該滿足小波定義域緊支撐條件和容許條件。信號(hào)t的正則性、小波函數(shù)的消失矩階數(shù)和支撐的大小是影響小波基特性的主要因素。實(shí)際應(yīng)用中，如果減小小波函數(shù)的支集長度，能夠減小高幅值的小波系數(shù)的數(shù)目。此外，較短的支撐還有利于減小計(jì)算量。

因此，綜合考慮濾波的實(shí)時(shí)性和效果，期望所選的小波能同時(shí)具有下列性質(zhì)：1）為避免信號(hào)失真，應(yīng)使小波具有對(duì)稱性或反對(duì)稱性；2）為減少運(yùn)算時(shí)間，采用較短的支撐；3）為便于應(yīng)用Mallat快速算法，小波應(yīng)具有正交性；4）具有較高的消失矩將有利于更好地匹配待分析的信號(hào)。事實(shí)上，一個(gè)小波基不可能同時(shí)具備以上特性，因?yàn)檫@些特性本身存在互相的制約，例如較短的支撐和較高的消失矩是一對(duì)矛盾。Haar小波是所有正交緊支撐小波中唯一具有對(duì)稱（反對(duì)稱）性小波，但由于其過于簡單而不實(shí)用。從綜合角度出發(fā)，Daubechies系列小波是實(shí)際使用中的較好選擇。

2.2 實(shí)驗(yàn)結(jié)果分析

本文選擇db4小波對(duì)視頻圖像進(jìn)行多分辨率分解，分解層數(shù)為4，利用實(shí)驗(yàn)室環(huán)境自行錄制的視頻和網(wǎng)上的視頻段進(jìn)行測試。由于自行錄制的圖像無文本等要去除區(qū)域，首先人為加入損壞區(qū)域，然后利用本文算法進(jìn)行修復(fù)，修復(fù)結(jié)果如圖3所示。

對(duì)于網(wǎng)上的視頻段檢測視頻中臺(tái)標(biāo)文本區(qū)域的去除效果，如圖4所示。

對(duì)于算法效果，目前還沒有一個(gè)定量的評(píng)價(jià)標(biāo)準(zhǔn)，仍是用主觀的方法來判斷修復(fù)結(jié)果的好壞。本文也只進(jìn)行了一些簡單的實(shí)驗(yàn)比較，沒有作更多的定量分析。小波分析在水平和垂直方向就有很好的沿邊緣特性和多尺度多分辨率分析的優(yōu)點(diǎn)，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能較好地實(shí)現(xiàn)視頻圖像恢復(fù)。

[1]CHAN T，SHEN J.Non-texture inpainting by curvature driven diffusions（CCD）[J].Journal of Visual Communication and Image Representation，2003，12（4）：436-449.

[2]趙靜，唐曉靜.小波變換及骨架提取在圖像邊緣檢測中的應(yīng)用[J].寧夏大學(xué)學(xué)報(bào)：自然科學(xué)版，2004，25（4）：328-331.

[3]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//AKELEY K.Proc.ACM Conf.Comp.Graphics（SIGGRAPH 2000）.New Orleas，LA：ACM Press，2000，417-422.

[4]劉志成，陳祥光，李宇峰，等.傳感器輸出時(shí)間序列的實(shí)時(shí)小波濾波方法[J].北京化工大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，34（1）：71-75.

[5]CRMNISIA，PEREZ P，TOYAMA K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Trans.Image Processing，2004，13（9）：1200-1212.

[6]IDDO D，DANIEL C，HEZY Y.Fragment based image completion[J].ACM Trans.Graphics，2003，22（3）：303-312.

[7]魏琳，陳秀宏.基于紋理方向的圖像修復(fù)算法[J].計(jì)算機(jī)應(yīng)用，2008，28（9）：2315-2317.

[8]韓軍，閔有剛，宋海華，等.視頻圖像修復(fù)算法研究[J].電視技術(shù)，2007，32（7）：72-74.

[9]MALLAT S G.A theory for multiresolution signal decomposition：The wavelet representation[C].IEEE Trans.Pattern Anlysis and Machine Intelligenc，1989，674-683.

[10]DING Hui，DING Xiaoqing，WANG Shenjin.Texture fusion based wavelet transform applied to video text enhancement[J].Journal of Information and Computational Science，2008，5（3）：2083-2090.