影片自動去抖動修復中的運動估計方法應用研究

馬鴻悅 張海悅

中國電影科學技術研究所(中央宣傳部電影技術質(zhì)量檢測所),北京 100086

1 引言

年代久遠的電影膠片難免會出現(xiàn)齒孔收縮的現(xiàn)象,導致在銀幕上放映時產(chǎn)生畫面的抖動問題,因此影片去抖動是修復老舊影片時經(jīng)常會面對的一個關鍵問題[1]。目前,原版電影的數(shù)字修復是大勢所趨,如何高效地實現(xiàn)影片自動化去抖動成為亟待解決的問題。

1.1 數(shù)字視頻穩(wěn)像技術流程

數(shù)字視頻穩(wěn)像 (Digital Video Stabilization)技術的目的為消除或減少視頻的抖動,自動獲取視頻抖動信息并補償,生成穩(wěn)定的視頻[2]。

目前數(shù)字視頻穩(wěn)像技術的常見處理流程如圖1所示,主要包含三個步驟,即運動估計、運動平滑和補償以及圖像修補[3]。首先根據(jù)前后幀的圖像,對當前輸入視頻幀的抖動進行運動估計,得到當前幀的全局運動信息;然后對運動估計的結果進行處理和擬合,對抖動進行抑制,從而得到更接近真實場景的運動估計路徑,并根據(jù)處理后的運動模型計算補償分量,對抖動視頻進行運動補償;補償?shù)囊曨l幀圖像會經(jīng)過不同程度的平移、縮放、旋轉(zhuǎn)等變換操作,在圖像邊緣可能會產(chǎn)生空白的邊緣,需在最后通過剪切或填補的方式對圖像進行調(diào)整,合成得到最終視頻輸出結果。

1.2 影片修復應用需求分析

一般的視頻穩(wěn)像技術普遍針對的是手持攝像機、手機,或者如無人機、機器人等運動設備拍攝的情況,而對于老舊影片的修復,其應用需求和實際操作步驟略有不同。

影片修復中的抖動問題主要表現(xiàn)為幅度較輕且沒有規(guī)律性,一般以隨機的上下跳動和左右抖動為主[4]。因此,在影片自動去抖動修復中,重點是要采用合適的運動估計方法找到“抖動”的畫面,修正其位置。相對于解決手持設備拍攝所產(chǎn)生的連續(xù)性的或幅度較大的運動視頻抖動問題,影片去抖動通常不需要使用太復雜的運動平滑和補償方法,并且如果貿(mào)然使用錯誤的運動平滑可能反而造成失真、扭曲等不良結果。影片修復的圖像修補環(huán)節(jié)一般是對畫面運動補償處理后產(chǎn)生的空白邊緣進行填補,在該環(huán)節(jié)主要通過參考前后幀畫面利用修補 (Inpaint)等方法進行剪切填補,但可能存在較多的運動物體,有時需要結合手動方式進行精準修復。

因此,針對影片自動修復應用場景,本文將重點對運動估計環(huán)節(jié)的方案選擇、實際效果和計算效率做進一步分析研究。

2 運動估計方法介紹

運動估計是穩(wěn)像流程中最重要的步驟,其估計結果會直接影響最終穩(wěn)像結果。運動估計的思路一般是先估計視頻幀局部的運動向量,再經(jīng)匯總校正后計算得到全局運動向量[5]。局部運動的估計方法可分為兩類,即基于像素點的方法和基于特征點的方法。局部運動向量的匯總校正包括錯誤估計向量剔除等操作。

2.1 基于像素點的方法

基于像素點的運動估計方法是一種直接方法[6],其原理一般相對簡單且實現(xiàn)方便,典型算法包括塊匹配法[7]和光流法[8]。

(1)塊匹配法

塊匹配法思路是將視頻幀分塊,然后在附近幀尋找當前幀中特定塊的位置,從而獲得當前塊運動估計向量,綜合所有匹配塊的運動向量即可構成整個視頻幀的運動向量。但是這種方法在兩種場景下無法有效地進行運動估計[9]:一是場景中有快速運動的物體;二是場景簡單、變化較少。

(2)光流法

光流指空間運動物體在觀察成像平面上的像素運動的瞬時速度。光流法是利用視頻中的像素在時間域上的變化以及相鄰幀之間的相關性得到運動信息的方法。一般適用于亮度相對穩(wěn)定、運動不劇烈的視頻。

這一類運動估計算法較為簡單直接,其適用條件一般較為苛刻,目前在視頻穩(wěn)像領域無法得到廣泛應用。

2.2 基于特征點的方法

在運動估計方面,特征點方法要比像素點方法計算速度更快[10],應用也更加廣泛。特征點即為易于在不同幀圖像之間進行準確高效定位追蹤的點,一般分為角點 (Corner)和斑點 (Blob)兩種。角點是極值點,例如角落或線條交叉等;斑點指比周圍更亮或更暗的區(qū)域。

特征點檢測的基本目的是把高維的圖像數(shù)據(jù)進行簡化,通過交叉對比特征點的位置,獲得運動信息[11],由于一個特征點可能在視頻連續(xù)多個幀內(nèi)出現(xiàn),因此特征點方法往往可以更好地獲得全局運動估計[12]。目前常見的穩(wěn)像領域的特征點算法有SIFT(Scale-Invariant Feature Transform )[13]、SURF(Speeded Up Robust Features)[14]、FAST (Features from Accelerated Segment Test)[15]、BRIEF (Binary Robust Independent Elementary Features)[16]、BRISK(Binary Robust Invariant Scalable Keypoints)[17]、ORB(Oriented FAST and Rotated BRIEF)[18]、KAZE[19]、AKAZE (Accelerated-KAZE)[20]等。

基于特征點的算法眾多,近年來也有不少人對各種方法進行了不同程度的分析整理和比較。Amisha等人[12]對SIFT、SURF、FAST、BRIEF和ORB算法進行了分析,并總結了各自的優(yōu)缺點;Chien等人[21]對SIFT、SURF、ORB 和AKAZE算法,利用KITTI數(shù)據(jù)集進行了實驗對比,結果表示SURF和SIFT 算法的準確度較高,而ORB算法的計算速度最快,新興的AKAZE 算法則在準確性和計算效率上取得了一定的平衡;Tareen 等人[22]對 SIFT、SURF、KAZE、AKAZE、ORB 和BRISK 算法利用兩組圖像數(shù)據(jù)集進行了分析對比,得到了相似的結論,即SIFT 算法的準確度最高,ORB和BRISK 算法的速度最快。

綜合以上文章的研究結論,在運動估計步驟中:建議在追求速度和實時性時,可重點考慮圍繞ORB或FAST算法進行改進;面對視頻抖動較大的情況,需重點關注準確性時,可考慮利用SIFT或SURF算法;考慮速度和準確性的折衷,可選擇KAZE或AKAZE算法。

2.3 錯誤值剔除

由于視頻內(nèi)物體的運動等原因,無論是基于像素點的方法,還是基于特征點的方法,都面臨著錯誤檢測的問題,從而影響運動軌跡的估計結果。對于這一難點,目前有兩種方式進行處理。

(1)幀間分析

這種錯誤值剔除方式的思路是,由于受到運動物體影響的檢測結果與實際需要判定的全局檢測結果不一致,故可將那些少數(shù)運動軌跡與其他檢測點不同的點進行剔除,以大多數(shù)檢測點的運動軌跡作為最終估計結果。目前較為常用的是RANSAC (Random Sample Consensus)算法[23],其利用不斷迭代的方式獲取最優(yōu)的數(shù)學模型,完成對特征點進行篩選,去除噪點,得到最終特征點檢測結果,從而計算得到運動估計結果。不過,當多數(shù)檢測點的運動估計結果不符合某一幀的估計時,此種方法可能會失效。

(2)視頻流分析

除了利用附近幀信息對錯誤值進行剔除,還可以利用較長的視頻流信息完成檢測點的篩選與處理,不過這一方法需要檢測點在較長的視頻中出現(xiàn)。一般運動的物體會較為快速地離開畫面,那么在視頻流中軌跡較短的檢測點就可以認為其不適合標記全局運動,予以剔除[24]。此外較短的軌跡也可能對應的是錯誤的檢測點,通過對比軌跡長短,也可將部分錯誤的檢測點剔除。

3 影片去抖動修復中的運動估計方法

綜合上文介紹的多種方法的特性和優(yōu)缺點,針對影片抖動問題修復準確率優(yōu)先和效率優(yōu)先兩種應用情況,分別選擇最匹配的運動估計方法,并進行實驗分析。

3.1 準確率優(yōu)先

方案一針對于抖動程度較大,追求準確度的情況:使用SURF 算法進行特征點的檢測,結合MSAC (M-estimator SAmple Consensus)算法[25]對錯誤匹配的特征點進行剔除。

SURF算法是一種斑點檢測方法,其在SIFT算法的基礎上,對抗干擾性和速度進行了優(yōu)化,具有尺度和旋轉(zhuǎn)不變性,準確度較高。算法的主要步驟是:首先構建黑塞矩陣 (Hessian Matrix)形成興趣點,構建尺度空間,并用盒式濾波器代替SIFT算法中的高斯濾波器,加快計算速度;然后統(tǒng)計特征點領域內(nèi)的哈爾小波 (Haar Wavelet)特征,得到各特征點主方向;在特征點周圍取一個正方形框,統(tǒng)計框中每個16個子區(qū)域內(nèi),25個像素的哈爾小波特征,產(chǎn)生64維向量的特征描述子;最后根據(jù)特征描述子的歐氏距離確定特征點匹配結果。

MSAC算法是一種傳統(tǒng)RANSAC算法的變形,其對閾值的選取更加不敏感,可以穩(wěn)定有效地剔除錯誤匹配結果。

3.2 效率優(yōu)先

方案二針對于修復速度要求較高、追求實時性的情況:使用FAST 算法進行特征點的檢測,并利用FREAK (Fast Retina Keypoint)算法[26]對檢測得到的特征點進行描述和匹配,最后結合MSAC算法對圖像中錯誤匹配的特征點進行剔除。

FAST 算法是一種角點檢測方法,雖然不具備尺度不變性,但是與方案一中的SURF 算法相比速度更快。FAST 算法的主要思路是:考察某一點周圍16個相鄰像素點,如果有連續(xù)的12 (或9)個像素點與中心點的灰度差的絕對值大于某一給定閾值,則該點被檢測為FAST 特征點。

FREAK 算法是一種特征提取算法,其采用接近于人眼視網(wǎng)膜接收圖像信息的采樣模型,生成從模糊信息到細節(jié)信息的512bit的二進制描述子,同樣可根據(jù)描述子的歐氏距離確定特征點匹配結果。

4 實驗與分析

4.1 去抖動可行性比較

為給出更直觀的老舊影片去抖動結果,利用兩種方案分別對舊膠片電影視頻片段進行修復去抖動。這段去抖動實驗視頻片段是追逐場景,畫面背景建筑和右下角車輛維持不動,但畫面中間存在多輛快速來往的車輛,同時畫面的左下角也有人物快速運動。

圖2和圖3分別給出了兩種方案檢測的特征點并將前后兩幀圖像進行匹配,其中前后兩幀圖像重疊,分別以藍、紅通道進行顯示,并用紅色圓圈和綠色箭頭分別標記前后兩幀圖像檢測出的特征點,以黃色線連接兩幀匹配的特征點。從圖2 (a)可以看出,方案一采用的SURF 算法有效地檢測出了圖像中的特征點。但如圖2 (c)所示,可以看到有一些特征點位于運動物體上,且受到運動物體的影響,出現(xiàn)了明顯的錯誤匹配現(xiàn)象。此外如圖2 (d)所示,在靜止的背景建筑中也存在正確全局運動路徑。從圖3 (a)中可以看到,方案二采用的FAST 算法同樣檢測到了多個特征點,與方案一相似,但數(shù)量明顯較少,同樣也存在運動物體上的錯誤檢測匹配現(xiàn)象。但是經(jīng)MSAC 算法剔除錯誤值后,從圖2(b)和圖3 (b)中都可以看到,最終僅保留了背景環(huán)境中的特征點及其匹配結果,畫面中間運動車輛和左下角運動人物上的特征點被剔除,得到了正確的運動估計結果。

圖2 方案一特征點檢測匹配結果

圖3 方案二特征點檢測匹配結果

圖4和圖5分別給出了利用兩種方案對連續(xù)兩幀圖像去抖動處理后的效果,為方便比較,將前后兩幀圖像疊加并分別用藍、紅通道進行展示。從圖4 (c)和圖5(c)可以明顯看出,原始圖像存在左右抖動,電線桿部分紅藍差別較大,不重合。而經(jīng)兩種方案處理后的圖像,如圖4 (d)和圖5 (d)所示,紅藍部分重合,達到了較好的去抖動效果。實驗結果證明本文提出的兩種方案都可以有效地規(guī)避運動物體的影響,去除了全局畫面抖動,具有一定的可行性。

圖4 方案一去抖動效果對比

圖5 方案二去抖動效果對比

4.2 去抖動有效性比較

從兩部舊電影中選取畫面復雜度不同、運動物體數(shù)量不同、運動程度不同的7個視頻片段,分別用兩種方案進行去抖動修復,并記錄修復時間和修復效果。7個視頻片段具體情況如表1所示,其中畫面復雜度一定程度上可以影響特征點檢出個數(shù),而運動程度可以影響錯誤值剔除效果。7個視頻片段平均圖像如圖6所示。

表1 實驗視頻片段詳情

圖6 實驗視頻片段平均圖像

兩種方案的去抖動修復時間和修復效果記錄如表2所示。其中平均特征點數(shù)指在實驗視頻片段中,平均每幀圖像檢測出并經(jīng)錯誤值剔除后的有效特征點數(shù)量。

從表2中可以看出,方案一的SURF算法要比方案二的FAST 算法能檢測出更多有效特征點,這使得方案一最終去抖動的效果更好,但是速度更慢;而方案二利用較少的特征點依然可以實現(xiàn)較好的去抖動效果,且速度更快,其用時只有方案一的一半左右。實驗證明了本文提出的兩種方案可滿足其對應的應用需求,具有一定的有效性。

表2 有效性實驗結果比較

4.3 特殊情況處理

在實驗過程中發(fā)現(xiàn)兩種方案對部分視頻片段進行去抖動處理時失效,失效的兩個實驗視頻片段平均圖像如圖7所示。在圖7 (a)月亮視頻片段中,只有畫面中央的月亮在不斷放大,周圍云彩部分保持不動;在圖7 (b)騎車視頻片段中,畫面中下部的人物幾乎沒有運動,位置相對固定,但背景的房屋等在迅速移動。

圖7 失效實驗視頻片段平均圖像

圖8為月亮片段的特征點篩選后結果和去抖動后視頻的平均圖像,可以看到經(jīng)過篩選后錯誤保留了不斷縮放月亮上的特征點,將其局部運動路徑當作了全局的運動路徑,導致最終結果維持了月亮不動,無法實現(xiàn)去抖動效果。

圖8 月亮片段錯誤值剔除失效和最終效果

圖9為騎車片段的特征點篩選后結果和去抖動后視頻的平均圖像,可以看到經(jīng)過篩選后錯誤保留了運動背景建筑上的特征點,將運動物體的路徑當作了全局運動路徑,導致無法實現(xiàn)去抖動效果。

圖9 騎車片段錯誤值剔除失效和最終效果

可以看到兩段視頻具有相似之處,就是只有部分畫面中的物體在運動,但運動物體的畫面復雜度較高,如2.3節(jié)中所述,這就使得算法容易在運動物體上也識別出大量特征點,在錯誤值剔除環(huán)節(jié)時,無法有效地僅保留靜止物體上的特征點,最終導致運動估計失敗,無法去除抖動。

針對以上問題,本文利用兩種手段進行處理和解決。由于靜止物體會固定在畫面的某一位置,故可以限制特征點檢測范圍,使之只檢測靜止物體所在的畫面部分。圖10圖像幀與圖8 (a)相同,將一矩形覆蓋畫面中央,使得縮放的月亮部分排除在特征點檢測范圍之外,可以看到特征點集中于相對全局畫面靜止的四周云彩上,從而可得到正確的運動估計結果,實現(xiàn)對月亮視頻的去抖動處理。

圖10 限制特征點檢測范圍處理后的特征點

第二種思路是,由于一般情況下,全局運動的運動程度較輕,畫面中運動物體的運動程度較高,故可以按照運動程度進行錯誤值剔除,僅保留運動程度較輕的特征點。圖11圖像幀與圖9 (a)相同,但在應用此方法后,可以看到篩選后的特征點集中于相對全局畫面靜止的騎車人手部,從而可得到正確的運動估計結果,實現(xiàn)對騎車視頻的去抖動處理。

圖11 限制運動程度處理后的特征點

5 總結與展望

本文從影片自動去抖動修復的角度出發(fā),首先對數(shù)字視頻穩(wěn)像技術的流程和影片去抖動修復的應用需求進行了介紹和分析,闡述了運動估計方法在影片去抖動修復環(huán)節(jié)中的重要性;然后分別從局部運動估計和錯誤值剔除兩個方面分析介紹了多種應用于運動估計的算法;重點針對影片修復的應用需求,根據(jù)不同使用需求和算法特點,給出了兩種建議的運動估計方法選擇方案;最后利用多個膠片電影片段對提出的方案進行實驗驗證,結果表明本文給出的兩個選擇方案均可以有效地得到抖動視頻的正確運動估計結果,達到了影片自動去抖動的預期效果。

本文提出的運動估計方案仍存在一定改進空間。例如當畫面中大部分為運動物體,且背景較為單一時,如人臉特寫鏡頭,檢測出的特征點將集中在運動物體上,在靜止的背景中無法檢測出足夠的特征點,從而導致去抖動失效,未來將考慮結合基于像素點的方法進行改進。此外,對于具有運鏡的視頻片段,本文方案會將運鏡也一并穩(wěn)像處理,無法實現(xiàn)理想的效果,未來將考慮通過運動連續(xù)一致性進行判定以實現(xiàn)進一步優(yōu)化。?