基于選擇特征宏塊的快速視頻穩(wěn)像

李 沙， 謝曉明

（北京化工大學(xué) 信息技術(shù)與科學(xué)學(xué)院， 北京 100029）

隨著多媒體技術(shù)的快速發(fā)展， 攝像設(shè)備越來越普及，日常生活中，人們常常用手持?jǐn)z像設(shè)備記錄生活點滴。 但由于隨機振動、鏡頭參數(shù)設(shè)置等會造成連續(xù)視頻序列間的隨機運動較大，從而得到畫面抖動的視頻。 抖動的視頻不僅會影響視頻的觀看，還會影響觀看者對視頻圖像信息的獲取。 視頻的穩(wěn)像過程正是去除這種不想要的運動。

視頻抖動主要分為幀間抖動和幀內(nèi)抖動，視頻穩(wěn)像則主要處理幀間抖動。 視頻穩(wěn)像系統(tǒng)主要由3 部分組成：運動估計、運動補償和圖像復(fù)原。 運動估計部分又包括局部運動估計和全局運動估計。 由于視頻穩(wěn)像效果主要取決于全局運動估計的精度[1]，因此運動估計是視頻穩(wěn)像的關(guān)鍵。

傳統(tǒng)的估計全局運動的算法包括特征點法[2]、灰度投影法[3]、位平面法[4]、塊匹配法[5]。 其中，塊匹配算法適于視頻中的主要運動是靜止的情況，但會由于偶然的室外風(fēng)力等原因使視頻中的背景出現(xiàn)抖動。

運動估計是在參考幀某一給定的搜索區(qū)域，根據(jù)一定的匹配準(zhǔn)則，找到與當(dāng)前幀的當(dāng)前區(qū)域的最佳匹配區(qū)域。 本文中采用的是塊匹配準(zhǔn)則，因此，最佳匹配區(qū)域被認(rèn)為是最佳匹配塊。 但如果所選的匹配塊特征不夠明顯，比如，邊緣角點、包含周期的紋理等，若所選的宏塊中包含這些元素，不僅會為運動估計提供錯誤的信息，所估計的運動矢量可能不是當(dāng)前塊的真實運動，從而影響全局運動估計的準(zhǔn)確性以及視頻穩(wěn)像的性能，還會增加不必要的計算量。 因此，包括上述信息的宏塊需要預(yù)先剔除。

針對抖動較小、前景較少的視頻序列，塊匹配具有精度高的特點，因此，本文將結(jié)合宏塊內(nèi)部的SAD 差異將視頻幀的宏塊劃分為有效宏塊和無效宏塊，利用塊匹配對有效宏塊進(jìn)行運動估計，獲得準(zhǔn)確的全局運動矢量，提高視頻穩(wěn)像的性能。 通過跳過無效宏塊的運動估計，大大減少了計算量，并提高了運動矢量估計的精確度。

1 宏塊分類算法

減少所搜點數(shù)是最直觀的快速算法的途徑[6]。 所提方法的主要思想是利用宏塊內(nèi)部相鄰小宏塊間的SAD 值對視頻幀中的宏塊進(jìn)行分類。 若當(dāng)前宏塊的內(nèi)部相鄰小宏塊間的SAD 差異大于一定的閾值，那么認(rèn)為它是有效宏塊，反之，則無效宏塊，無需對它進(jìn)行運動估計。 其算法的主要流程如圖1 所示。

1.1 計算宏塊內(nèi)部的SAD 值

對所輸入的當(dāng)前幀， 將其劃分為大小為N*N 的宏塊，同時將宏塊劃分為4 個大小相同的小宏塊，如圖2 所示。

圖1 所提算法的流程圖Fig. 1 The proposed algorithm flow diagram

圖2 視頻幀的宏塊劃分示意圖Fig. 2 The partition of macroblocks in video frame schematic diagram

在塊匹配算法中， 匹配準(zhǔn)則主要有絕對誤差和SAD、平均絕對差值MAD、平均平方誤差MSD 等。本文采用絕對誤差和SAD 作為匹配準(zhǔn)則，其計算公式如下：

其中，Rr（i，j），fc（i+d x，j+d y）分別為參考幀在位置為（i，j）的像素值和當(dāng)前幀在位置為（i+d x，j+d y）的灰度值。 d x、d y 分別為運動矢量的水平坐標(biāo)和垂直坐標(biāo)。

設(shè)某一宏塊B，其大小為N*N，其等分的4 個大小相同的宏塊分別為B1，B2，B3，B4。 如圖2 所示。 為了計算宏塊內(nèi)部的SAD，需要計算兩兩相鄰的小宏塊間的絕對誤差和，即計算塊B1與B2間的絕對誤差和、塊B1與B3間的絕對誤差和、塊B2與B4間的絕對誤差和、塊B3與B4間的絕對誤差和。 計算公式如下：

那么，宏塊B 內(nèi)部的絕對誤差i 和SADSUM為

1.2 判斷當(dāng)前宏塊是否適于運動估計

一個宏塊是否適用于全局運動估計， 不僅要求它與背景具有相似的特征，還需要判斷它是否具有顯著的信息。本文判斷一個宏塊具有顯著信息是依據(jù)宏塊內(nèi)部的絕對誤差和之和SADSUM。 若該值大于所設(shè)閾值，那么說明該宏塊具有顯著的特征，應(yīng)標(biāo)記為有效宏塊，用于運動估計，否則，該宏塊沒有顯著特征，應(yīng)提前剔除，以避免獲得錯誤的運動矢量。

2 結(jié)果及分析

為了顯示所提算法的有效性， 對視頻測試序列在PC 機上進(jìn)行仿真實驗， 比較篩選出有效宏塊與未進(jìn)行篩選的精確性以及運算時間。 本實驗采用的抖動較小、前景較少的avi 視頻序列，每幀的大小為640*480，大宏塊為64*64，那么小宏塊大小為32*32，搜索范圍為[-16，16]。 剔除視頻幀的部分邊緣區(qū)域，本文將每幀圖像劃分為7*5（即35）個大宏塊。根據(jù)所選宏塊的尺寸和視頻圖像本身的特性，經(jīng)多次試驗，本文將宏塊內(nèi)部SAD 差異閾值T 設(shè)為300 000。

2.1 主觀評價

本文選取兩幀視頻圖像及穩(wěn)像后的圖像作為實驗數(shù)據(jù)，如圖3 所示，其中，圖（a）為參考幀，圖（b）為處理前的視頻中的某幀的效果圖，圖（c）為未經(jīng)宏塊篩選處理后的視頻中的某幀的效果圖，圖（d）為經(jīng)過宏塊篩選處理后的視頻中的某幀的效果圖。

圖3 視頻穩(wěn)像的處理結(jié)果Fig. 3 The processing results of video stabilization

2.2 客觀評價

本文從運算時間和準(zhǔn)確性兩方面評價視頻穩(wěn)像的性能。運算時間越少，表明計算量越小，視頻穩(wěn)像的效率越高。 視頻穩(wěn)像的準(zhǔn)確性采用峰值信噪比PSNR 作為衡量標(biāo)準(zhǔn)。PSNR 反映了當(dāng)前幀與參考幀間的峰值信噪比， 它對前景少的視頻序列具有很好的評價視頻穩(wěn)像的效果。 其計算公式如下：

其中，

式中，Ic（i，j），Ir（i，j）分別為當(dāng)前幀與參考幀在（i，j）處的灰度值。

PSNR 值越大，表明補償后的幀間的灰度差別越小，穩(wěn)像效果越好。

表1 改進(jìn)前后視頻穩(wěn)像中的圖像的PSNR 的對比Tab. 1 Image PSNR of video stabilization with improvements in comparison with that without improvements

表2 改進(jìn)前后處理每幀視頻圖像的時間Tab.2 Processing time per video image with improvements in comparison with that without improvements

由表1 可以看出， 通過特征宏塊的選擇的視頻穩(wěn)像中圖像的PSNR 值明顯高于未處理前的圖像的PSNR，也高于未經(jīng)過特征宏塊的選擇的視頻穩(wěn)像中圖像的PSNR 值。 相較于未經(jīng)過特征宏塊的選擇的視頻穩(wěn)像處理， 基于特征宏塊的選擇的視頻穩(wěn)像的PSNR 值提高了9.06%。

由表2 可以看出， 未對宏塊進(jìn)行分類選擇的視頻穩(wěn)像每幀需對35 個大宏塊進(jìn)行運動估計， 每幀的處理時間約為3.78 s，而基于特征宏塊的選擇的視頻穩(wěn)像每幀大約只需對7個大宏塊進(jìn)行運動估計，每幀的處理時間約為0.83 s。 由此可見，相較于未經(jīng)過特征宏塊的選擇的視頻穩(wěn)像處理，基于特征宏塊的選擇的視頻穩(wěn)像的計算量減少了78.04%。

3 結(jié) 論

本文針對抖動較小、前景較少的視頻序列，提出了一種特征宏塊的選擇的視頻穩(wěn)像算法，采用精確度高的塊匹配算法，結(jié)合宏塊內(nèi)部的SAD 值的大小篩選出具有明顯特征的宏塊用于運動估計，通過實驗驗證，可看出該方法不僅大大減少了計算量，還具有較高的視頻穩(wěn)像精確性。

[1] Wang Tae-shick，Kang Seok-jae. Robust Global Motion Estimation for Video Stabilization [C]//In: Consumer Electronics（GCCE）， 2012 IEEE 1st Global Conference，2012:623-624.

[2] Kim Seung-kyun，Kang Seok-jae，Wang Tae-shick，et al.Feature point classification based global motion estimation for video stabilization[J]. Consumer Electronics，2013，59（1）:267-272.

[3] LIU Yang-ke，F(xiàn)U De-ji，LI Bo，et al. Real-time global motion vectors estimation based on phase correlation and gray projection algorithm[J]. Image and Signal Processing，2009:1-5.

[4] Shakoor M H，Moattari M. A fuzzy method based on bit-plane images for stabilizing digital images[J]. Electronics, Communications and Computer，2010:106-108.

[5] Immanuel Alex Pandiana S，Josemin Balaa n G，Anitha J. A pattern based PSO approach for block matching in motion estimation[J]. Engineering Applications of Artificial Intelligence，2013（26）:1811-1817.

[6] 裴琴，劉國繁，徐美清. 基于塊特征分類的運動估計算法[J].中國圖象圖形學(xué)報，2011，16（6）:933-938.