基于場(chǎng)相關(guān)性的運(yùn)動(dòng)自適應(yīng)去隔行算法

史久根， 劉 軍

（合肥工業(yè)大學(xué) 安全關(guān)鍵工業(yè)控制技術(shù)教育部工程研究中心 安徽 合肥 230009）

現(xiàn)代隔行掃描方式在電視系統(tǒng)中被廣泛運(yùn)用，去隔行已經(jīng)成為基礎(chǔ)性的處理過程。在隔行掃描一幀中的奇數(shù)行被存儲(chǔ)在一場(chǎng)，下一幀中的偶數(shù)行被存儲(chǔ)在下一場(chǎng)。如果隔行格式的視頻在逐行掃描方式的顯示設(shè)備（如LCD、PC顯示器等）上直接顯示，則會(huì)產(chǎn)生鋸齒效應(yīng)使觀看者不適。通常，去隔行處理的目標(biāo)就是根據(jù)在時(shí)間方向和空間方向上相鄰行中的信息去重建那些在隔行掃描方式中丟失的行?，F(xiàn)在已經(jīng)提出了很多的去隔行算法，其目標(biāo)就是在計(jì)算開銷和圖像質(zhì)量上達(dá)到均衡。概括地講，算法可劃分為場(chǎng)內(nèi)去隔行算法、場(chǎng)間去隔行算法和混合去隔行算法。

場(chǎng)內(nèi)去隔行算法是利用圖像在空間方向上的信息，使用單場(chǎng)中的像素插值，常用的有行重復(fù)法（line doubling）［1－2］、行平均法（line average）［1］和基于邊緣的插值算法ELA（edge－based line average）［3－4］等；場(chǎng)間去隔行算法使用時(shí)間和空間方向的信息插值，分為運(yùn)動(dòng)補(bǔ)償去隔行算法（motion compensated）［5－7］和非運(yùn)動(dòng)補(bǔ)償算法（non－motion compensated）；混合去隔行算法主要指運(yùn)動(dòng)自適應(yīng)去隔行算法（motion adaptive）［8－11］，它首先通過運(yùn)動(dòng)檢測(cè)算法把圖像分為運(yùn)動(dòng)區(qū)域和靜止區(qū)域，然后對(duì)不同區(qū)域自適應(yīng)地選擇相應(yīng)的去隔行算法，由于此類去隔行算法能夠獲得較高的去隔行質(zhì)量，而且復(fù)雜度適中，得到了廣泛的應(yīng)用。

本文基于混合去隔行策略，提出一種基于場(chǎng)相關(guān)性的運(yùn)動(dòng)自適應(yīng)去隔行算法（Correlation of Field Based Motion Adaptive De－interlacing，簡(jiǎn)稱CFMAD），首先通過相鄰場(chǎng)像素的相關(guān)性計(jì)算出運(yùn)動(dòng)區(qū)域和靜止區(qū)域，然后對(duì)運(yùn)動(dòng)區(qū)域使用邊緣分類的場(chǎng)插值算法ECFI（edge classification field interpolation）插值。該算法能夠有效地保留場(chǎng)中的窄邊緣，從而提高圖像的質(zhì)量。

1 CFMAD算法

在隔行視頻中，每次顯示的圖像稱為一場(chǎng)，相鄰的2場(chǎng)在時(shí)間維度上有一個(gè)時(shí)間間隔。如果在這個(gè)時(shí)間間隔內(nèi)相鄰場(chǎng)中的對(duì)應(yīng)區(qū)域沒有發(fā)生相對(duì)運(yùn)動(dòng)，則稱該區(qū)域在相鄰的場(chǎng)中具有相關(guān)性；如果相鄰的2場(chǎng)中對(duì)應(yīng)區(qū)域來自不同的場(chǎng)景，則該區(qū)域在相鄰的場(chǎng)中無相關(guān)性。CFMAD算法的處理流程由視頻預(yù)處理、運(yùn)動(dòng)狀態(tài)分類和自適應(yīng)插值3部分組成，視頻預(yù)處理通過平滑算法降低視頻中噪聲的干擾，然后通過場(chǎng)間區(qū)域的相關(guān)性將待去隔行場(chǎng)的狀態(tài)分為靜止?fàn)顟B(tài)和運(yùn)動(dòng)狀態(tài)，前者采用merge去隔行算法處理，后者通過基于邊緣分類的插值算法自適應(yīng)地選擇相應(yīng)的去隔行算法。

1.1 場(chǎng)尺度平滑

尺度空間理論最早出現(xiàn)在計(jì)算機(jī)視覺領(lǐng)域，其目的是描述圖像數(shù)據(jù)的多尺度特征。Koendetink證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，而Lindeberg證明高斯核是唯一的線性核。因此，一個(gè)圖像的尺度空間就定義為一個(gè)函數(shù)L（x，y，σ），它是不同尺度的高斯函數(shù)和輸入圖像的卷積。

其中，（2）式為高斯函數(shù)。

在尺度變換的過程中，由于輸入的I（x，y）需要包含圖像中的完整信息，因此場(chǎng)在進(jìn)行尺度變換之前需要做相應(yīng)的調(diào)整，調(diào)整方法為：由于場(chǎng)的垂直分辨率為原圖像的1／2，而水平分辨率不變，故將水平分辨率通過線性插值進(jìn)行0.5倍的縮小，則得到圖像作為（1）式的輸入，如圖1所示。

在圖1中，F(xiàn)為待處理場(chǎng)，H 為場(chǎng)中的有效行組成的圖像，R表示經(jīng)過水平縮放并高斯卷積后的圖像，其中R可表示為：

在（3）式中，［H（i，2＊j）＋H（i，2＊j－1）］／2表示H經(jīng)過水平縮放后得到的圖像。

圖1 場(chǎng)尺度平滑流程圖

1.2 基于場(chǎng)相關(guān)性的運(yùn)動(dòng)檢測(cè)算法

在圖2中，黑色圓圈表示像素值已知，灰色圓圈表示待插值像素，F(xiàn)n表示當(dāng)前場(chǎng)分別表示接下來的相鄰3場(chǎng)。

圖2 視頻序列中相鄰4場(chǎng)的模型

其中，（7）式表示Fn中以Fn（2＊i，2＊j）為中心，塊大小為5×5的區(qū)域和相鄰場(chǎng)對(duì)應(yīng)區(qū)域的相關(guān)系數(shù)，設(shè)定閾值為th，當(dāng)E（2＊i，2＊j）大于th時(shí)，該區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域，否則為靜止區(qū)域。

1.3 ECFI算法

運(yùn)動(dòng)檢測(cè)算法把輸入的視頻序列分為運(yùn)動(dòng)區(qū)域和靜止區(qū)域，靜止區(qū)域可以通過相鄰2場(chǎng)合并的方法去隔行，對(duì)運(yùn)動(dòng)區(qū)域而言，由于相鄰的2場(chǎng)發(fā)生了相對(duì)運(yùn)動(dòng)，直接合并會(huì)造成鋸齒效應(yīng)并嚴(yán)重影響輸出圖像的品質(zhì)。因此，對(duì)于場(chǎng)中的運(yùn)動(dòng)區(qū)域，由于和時(shí)間維度上的相鄰區(qū)域的無關(guān)性，丟失的像素只使用當(dāng)前場(chǎng)中已有行的像素值計(jì)算。根據(jù)上述分析，本文提出了一種基于邊緣分類的場(chǎng)插值算法，該算法將場(chǎng)中的邊緣部分分為寬邊緣、窄邊緣2類。

寬邊緣指邊緣分界面的兩邊寬度都大于某一閾值（該閾值的大小由寬邊緣采用的插值方法決定，本文中為5個(gè)像素），對(duì)寬邊緣部分的處理方法為：計(jì)算圖中5個(gè)方向差的絕對(duì)值，找出其中最小者，差最小的2元素值的平均值即為所插像素的值。寬邊緣插值如圖3所示。

圖3 寬邊緣插值示意圖

算法如下：

窄邊緣主要出現(xiàn)在圖像中的文字部分及畫面中的細(xì)窄物體邊緣，如果把這一部分邊緣信息和其他邊緣等同處理，容易造成邊緣不連續(xù)從而導(dǎo)致最終的畫面在這一部分出現(xiàn)閃爍，根據(jù)斜窄邊緣的特點(diǎn)，窄邊緣可分為4類：右傾深色窄邊緣、右傾淺色窄邊緣、左傾深色窄邊緣、左傾淺色窄邊緣。下面以右傾深色窄邊緣為例說明本文提出的方法。

圖4 窄邊緣插值示意圖

如果a＜b，c＞d和e＞f同時(shí)成立，則X為右傾深色窄邊緣上的點(diǎn)，即

窄邊緣中的其他3類按照上述方法相應(yīng)處理。

2 實(shí)驗(yàn)結(jié)果與分析

本文在Matlab上進(jìn)行了仿真實(shí)驗(yàn)，分別采用本文的算法和傳統(tǒng)的line doubling、field merge和ELA算法對(duì)一系列的標(biāo)準(zhǔn)視頻進(jìn)行去隔行處理，計(jì)算出整個(gè)視頻序列的平均峰值信噪比（peak signal to noise ratio，簡(jiǎn)稱PSNR），見表1所列。

表1 視頻序列的平均PSNR比較

從表1中的試驗(yàn)數(shù)據(jù)可以看出，使用基于場(chǎng)相關(guān)性的運(yùn)動(dòng)自適應(yīng)去隔行算法處理得出的平均PSNR值要明顯高于其他算法處理得到的數(shù)值。

3 結(jié)束語

本文通過計(jì)算場(chǎng)間的相關(guān)性檢測(cè)場(chǎng)中的運(yùn)動(dòng)區(qū)域。對(duì)檢測(cè)出的運(yùn)動(dòng)區(qū)域進(jìn)行邊緣分類，對(duì)不同種類的邊緣自適應(yīng)地選擇相應(yīng)的插值方法。實(shí)驗(yàn)表明這種方法能夠達(dá)到比較好的去隔行效果，不僅對(duì)傳統(tǒng)的運(yùn)動(dòng)自適應(yīng)算法進(jìn)行了改進(jìn)，而且其中的基于邊緣分類的場(chǎng)插值算法對(duì)運(yùn)動(dòng)補(bǔ)償去隔行算法具有一定的參考價(jià)值。

［1］Haan G D，Bellers E B.De－interlacing：an overview［J］.Proceedings of the IEEE，1998，86（9）：1839－1857.

［2］Lee MH，KiMJ H，Lee J S，et al.A new algorithMfor interlaced to progressive scan conversion based on directional correlations and its IC design ［J］.IEEE Transactions on Consumer Electronics，1994，40（2）：119－129.

［3］Doyle T.Interlaced to sequential conversion for EDTV applications［C］／／Proc Second Int Workshop Signal Processing of HDTV，1998：412－430.

［4］Hentschel C.Comparison between median filtering and vertical edge controlled interpolation for flicker redeuction［J］.IEEE Transactions on Consumer Electronics，1989，35（3）：279－289.

［5］Haan G D.IC for motion－compensated de－interlacing，noise reduction，and picture－rate conversion［J］.IEEE Transactions on Consumer Electronics，1999，45（3）：617－624.

［6］Huang Qian.De－interlacing using hierarchical motion analysis［J］.IEEE Transactions on Circuits systems for Video Technology，2010，20（5）：673－682.

［7］Chen Yingru.True motion compensated de－interlacing algorithm［J］.IEEE Transactions on Circuits and Systems for Video Technology.2009，19（10）：1489－1498.

［8］劉曉東，丁 勇，嚴(yán)曉浪.一種基于運(yùn)動(dòng)分類的運(yùn)動(dòng)自適應(yīng)去隔行算法［J］.儀器儀表學(xué)報(bào)，2011，32（10）：2275－2282.

［9］Lee K.High quality de－interlacing using content adaptive vertical temporal filtering［J］.IEEE Transactions on Consumer Electronics，2010，56（4）：2469－2474.

［10］丁 勇，陸生禮，時(shí)龍興.時(shí)空權(quán)重和邊緣自適應(yīng)去隔行［J］.計(jì)算機(jī)學(xué)報(bào)，2007，30（4）：655－660.

［11］Brox P.Fuzzy motion－adaptive interpolation with picture repetition detection for de－interlacing［J］.IEEE Transactions on Instrumentation and Measurement，2009，58（9）：2952－2958.