數(shù)字視頻穩(wěn)像技術(shù)綜述

魏閃閃 謝 巍 賀志強(qiáng)

1(北京航空航天大學(xué)計(jì)算機(jī)學(xué)院 北京 100191)2(聯(lián)想研究院SoC中心 北京 100085)3 (聯(lián)想集團(tuán)生態(tài)系統(tǒng)與云服務(wù)業(yè)務(wù)群組 北京 100085)

數(shù)字視頻穩(wěn)像技術(shù)綜述

魏閃閃1,2謝 巍2賀志強(qiáng)3

1(北京航空航天大學(xué)計(jì)算機(jī)學(xué)院 北京 100191)2(聯(lián)想研究院SoC中心 北京 100085)3(聯(lián)想集團(tuán)生態(tài)系統(tǒng)與云服務(wù)業(yè)務(wù)群組 北京 100085)

(wswss11986@qq.com)

數(shù)字視頻穩(wěn)像(digital video stabilization, DVS)技術(shù)發(fā)展已歷經(jīng)30多年，隨著設(shè)備計(jì)算能力的不斷提高、算法研究的不斷更新以及市場(chǎng)需求的不斷驅(qū)動(dòng)，數(shù)字視頻穩(wěn)像技術(shù)也隨之不斷發(fā)展，經(jīng)歷了從最初以計(jì)算簡(jiǎn)單為主的方案發(fā)展到以穩(wěn)像效果顯著為主的方案，再發(fā)展到計(jì)算簡(jiǎn)單并且效果顯著的方案.通過(guò)對(duì)文獻(xiàn)資料的整理分析，并根據(jù)技術(shù)發(fā)展的時(shí)間順序，數(shù)字穩(wěn)像技術(shù)被分類(lèi)為傳統(tǒng)方案和新興方案.按照采用運(yùn)動(dòng)模型的不同，傳統(tǒng)方案分為傳統(tǒng)2D方案和傳統(tǒng)3D方案；新興方案分為新興2D方案和借助傳感器方案.對(duì)每類(lèi)方案，首先對(duì)其采用的關(guān)鍵技術(shù)進(jìn)行分析總結(jié)，然后列舉這些關(guān)鍵技術(shù)在數(shù)字視頻穩(wěn)像中的應(yīng)用實(shí)例.對(duì)數(shù)字穩(wěn)像技術(shù)的發(fā)展進(jìn)行了總結(jié)，最后對(duì)數(shù)字視頻穩(wěn)像技術(shù)的研究難點(diǎn)和發(fā)展趨勢(shì)進(jìn)行了展望.

數(shù)字視頻；穩(wěn)像；綜述；傳統(tǒng)方案；新興方案

專(zhuān)業(yè)攝像師通常使用攝影車(chē)或者攝像機(jī)穩(wěn)定器來(lái)保證拍攝視頻的穩(wěn)定性[1]，而普通用戶使用手持設(shè)備或者車(chē)載攝像頭拍攝視頻時(shí)，由于沒(méi)有專(zhuān)業(yè)拍攝技能和專(zhuān)業(yè)穩(wěn)像設(shè)備，拍攝的視頻往往穩(wěn)定性較差.當(dāng)前，智能手機(jī)、平板電腦是主流的智能終端產(chǎn)品；穿戴式設(shè)備作為新生代智能設(shè)備正逐漸成為熱點(diǎn).它們一般都具備攝像功能，普通用戶拍攝的視頻常面臨抖動(dòng)問(wèn)題.視頻穩(wěn)像技術(shù)的目的就是消除或減少視頻的抖動(dòng)，生成穩(wěn)定的視頻.

視頻穩(wěn)像技術(shù)總體可以分為三大類(lèi)：機(jī)械穩(wěn)像、光學(xué)穩(wěn)像和數(shù)字穩(wěn)像[2].

1) 機(jī)械穩(wěn)像.常用于早期攝像機(jī)的穩(wěn)像技術(shù)，采用穩(wěn)定整個(gè)攝像機(jī)的方法，基于傳感器(如陀螺儀、加速度儀等)的震動(dòng)反饋.整個(gè)穩(wěn)像系統(tǒng)較笨重且功耗高，因而不適于手持設(shè)備.

2) 光學(xué)穩(wěn)像.光學(xué)穩(wěn)像系統(tǒng)對(duì)光路進(jìn)行重定向或者移動(dòng)成像板來(lái)達(dá)到穩(wěn)像目的.目前光學(xué)穩(wěn)像系統(tǒng)大多依靠陀螺儀傳感器來(lái)測(cè)量設(shè)備的移動(dòng)或旋轉(zhuǎn)量，通常是使用2個(gè)陀螺儀傳感器來(lái)分別測(cè)量設(shè)備水平和垂直方向的角速率，二者的輸出信號(hào)通過(guò)模數(shù)轉(zhuǎn)換器(ADC)被轉(zhuǎn)換為數(shù)字信息.

3) 數(shù)字視頻穩(wěn)像(digital video stabilization, DVS).除了機(jī)械穩(wěn)像和光學(xué)穩(wěn)像技術(shù)，還有2類(lèi)視頻穩(wěn)像技術(shù)：電子穩(wěn)像技術(shù)和純數(shù)字穩(wěn)像技術(shù).這2類(lèi)技術(shù)極其相似，區(qū)別僅僅在于設(shè)備抖動(dòng)檢測(cè)和運(yùn)動(dòng)估計(jì)方法.電子穩(wěn)像技術(shù)使用硬件傳感器(如陀螺儀等)來(lái)檢測(cè)相機(jī)抖動(dòng)，而純數(shù)字穩(wěn)像技術(shù)通過(guò)圖像處理方法估計(jì)相機(jī)抖動(dòng).得到相機(jī)運(yùn)動(dòng)向量后，二者都進(jìn)行運(yùn)動(dòng)補(bǔ)償，并根據(jù)補(bǔ)償?shù)倪\(yùn)動(dòng)進(jìn)行圖像修補(bǔ).本文將電子穩(wěn)像和純數(shù)字穩(wěn)像技術(shù)統(tǒng)一稱(chēng)為數(shù)字穩(wěn)像技術(shù)，因?yàn)槎叨疾捎昧藬?shù)字方法進(jìn)行圖像修補(bǔ)，從而避免高功耗的電路控制系統(tǒng)，節(jié)省電路控制成本并降低了設(shè)備功耗.

表1對(duì)3種不同的視頻穩(wěn)像技術(shù)進(jìn)行了對(duì)比.

Table 1 Comparison of Video Stabilization Techniques

*:CCD means charge coupled device.

數(shù)字穩(wěn)像解決方案是在圖像生成后再進(jìn)行視頻抖動(dòng)去除的數(shù)字技術(shù)方案.本文將其分為傳統(tǒng)技術(shù)方案和新興技術(shù)方案2種.傳統(tǒng)技術(shù)方案分為傳統(tǒng)2D技術(shù)方案和傳統(tǒng)3D技術(shù)方案；新興技術(shù)方案包括新興2D技術(shù)方案和借助傳感器的方案.對(duì)于每種解決方案，本文都先介紹技術(shù)原理并分析關(guān)鍵技術(shù)，然后綜述應(yīng)用實(shí)例.

1 傳統(tǒng)數(shù)字穩(wěn)像技術(shù)方案

數(shù)字穩(wěn)像傳統(tǒng)技術(shù)多采用3步法：運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和圖像修補(bǔ)，如圖1所示.根據(jù)運(yùn)動(dòng)模型的不同又可以分為傳統(tǒng)2D方案和傳統(tǒng)3D方案.前者采用2D運(yùn)動(dòng)模型，如平移[3]、2D歐氏變換[4]、仿射變換[5]等模型；后者采用3D運(yùn)動(dòng)模型，如投影變換模型.

Fig. 1 Traditional DVS techniques圖1 傳統(tǒng)穩(wěn)像技術(shù)方案圖

1.1 傳統(tǒng)2D穩(wěn)像

傳統(tǒng)2D穩(wěn)像技術(shù)(如圖2所示)采用“黃金3步法”：運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和圖像修補(bǔ).其解決方案眾多，本文將它們劃分為基于像素點(diǎn)的方案和基于特征點(diǎn)的方案兩大類(lèi).

Fig. 2 Traditional 2D DVS techniques圖2 傳統(tǒng)2D穩(wěn)像技術(shù)

1.1.1 運(yùn)動(dòng)估計(jì)

相機(jī)運(yùn)動(dòng)估計(jì)(camera motion estimation)是在特定相機(jī)運(yùn)動(dòng)模型下確定相機(jī)運(yùn)動(dòng)向量的過(guò)程，這些運(yùn)動(dòng)向量是描述2D圖像(通常是連續(xù)的視頻幀)間運(yùn)動(dòng)轉(zhuǎn)換的量.相機(jī)運(yùn)動(dòng)向量可以使用平移模型來(lái)建模，也可以使用其他能夠近似表示實(shí)際相機(jī)運(yùn)動(dòng)的模型來(lái)建模.相機(jī)運(yùn)動(dòng)向量是指與整張圖像運(yùn)動(dòng)相關(guān)的全局運(yùn)動(dòng)向量，而它的估計(jì)常常通過(guò)局部運(yùn)動(dòng)向量來(lái)完成.局部運(yùn)動(dòng)向量指圖像某一部分的運(yùn)動(dòng)向量，例如矩形塊、任意形狀塊甚至是每個(gè)像素.傳統(tǒng)2D穩(wěn)像中的相機(jī)運(yùn)動(dòng)估計(jì)經(jīng)常是首先進(jìn)行局部運(yùn)動(dòng)向量的估計(jì)，然后通過(guò)這些局部運(yùn)動(dòng)向量來(lái)估計(jì)全局運(yùn)動(dòng)向量.局部運(yùn)動(dòng)估計(jì)方法可以分為兩大類(lèi)：基于像素點(diǎn)的方法(直接方法)和基于特征點(diǎn)的方法(間接方法).

1) 基于像素點(diǎn)的方法

此方法包括塊匹配法、相位相關(guān)法、光流法等.

① 塊匹配法

塊匹配法是在數(shù)字視頻序列中定位匹配塊的一種運(yùn)動(dòng)估計(jì)方法,包括將視頻幀分塊、在附近幀(有時(shí)可能僅前一幀)中尋找當(dāng)前幀中特定塊位置.幀間匹配塊的運(yùn)動(dòng)構(gòu)成一個(gè)運(yùn)動(dòng)向量，所有匹配塊的運(yùn)動(dòng)向量構(gòu)成整個(gè)視頻幀的運(yùn)動(dòng)向量.

塊匹配法原理簡(jiǎn)單、實(shí)現(xiàn)方便，在傳統(tǒng)2D視頻穩(wěn)像中擁有廣泛的應(yīng)用.Chen[6]使用基于塊的參數(shù)運(yùn)動(dòng)模型進(jìn)行視頻穩(wěn)像，其參數(shù)運(yùn)動(dòng)模型通過(guò)塊匹配運(yùn)動(dòng)估計(jì)得到.在Chen[6]工作基礎(chǔ)上，Bhaskar等人[7]使用塊匹配法，提出一種基于移動(dòng)平均濾波和Kalman濾波的運(yùn)動(dòng)補(bǔ)償機(jī)制.

上述塊匹配法方案實(shí)現(xiàn)簡(jiǎn)便，但在以下2種場(chǎng)景中效果并不好：一是場(chǎng)景中有快速運(yùn)動(dòng)物體或運(yùn)動(dòng)物體離鏡頭很近；二是場(chǎng)景較平坦變化少.這也是之后傳統(tǒng)2D視頻穩(wěn)像應(yīng)用塊匹配法時(shí)重點(diǎn)解決的問(wèn)題，即如何提高塊匹配法的準(zhǔn)確度.常用的策略包括以下3種：區(qū)分前景和背景、過(guò)濾局部運(yùn)動(dòng)矢量、優(yōu)化全局運(yùn)動(dòng)估計(jì)算法.這3種策略也經(jīng)常聯(lián)合使用.

i) 區(qū)分前景和背景

例如Vella等人[8]使用經(jīng)驗(yàn)法：假定圖像中心某閾值內(nèi)的區(qū)域?yàn)榍熬岸溆嗫拷鼒D像邊緣部分為背景.同年作者還提出另外一種基于塊匹配的算法[9]，文章使用同樣方法區(qū)分前景和背景，并使用加權(quán)平方直方圖方法分別估計(jì)出前景和背景的運(yùn)動(dòng)矢量，然后根據(jù)組成前景和背景的塊數(shù)來(lái)決定穩(wěn)定前景還是背景.

ii) 過(guò)濾局部運(yùn)動(dòng)矢量

塊匹配法獲取的塊運(yùn)動(dòng)矢量即為局部運(yùn)動(dòng)矢量，由于計(jì)算誤差、匹配誤差、運(yùn)動(dòng)物體等原因，直接使用它們進(jìn)行全局運(yùn)動(dòng)估計(jì)往往誤差較大.常用的局部運(yùn)動(dòng)矢量的過(guò)濾策略有：去除低信噪比(signal noise ratio， SNR)塊(過(guò)于復(fù)雜的塊)、去除平坦塊(無(wú)明顯特征的塊)、去除絕對(duì)差和(sum of absolute difference， SAD)值過(guò)低塊、去除重復(fù)類(lèi)型塊等.

例如，Yang等人[10]為去除局部運(yùn)動(dòng)向量(local motion vector， LMV)的偏值，在穩(wěn)像算法中去除了缺少特征點(diǎn)、低SNR以及重復(fù)類(lèi)型的塊.算法全局運(yùn)動(dòng)向量(global motion vector， GMV)通過(guò)取所有LMV均值的簡(jiǎn)單操作來(lái)估計(jì).Battiato等人[11]使用塊匹配法獲取局部運(yùn)動(dòng)矢量，然后使用簡(jiǎn)單快速的過(guò)濾規(guī)則去除偏值，獲取可靠的局部運(yùn)動(dòng)矢量.這些規(guī)則包括初級(jí)過(guò)濾規(guī)則和記憶過(guò)濾規(guī)則，前者是通用的過(guò)濾規(guī)則，文章貢獻(xiàn)點(diǎn)在于后者：對(duì)于當(dāng)前幀中新塊的局部運(yùn)動(dòng)矢量，拒絕其中一定比例來(lái)降低大塊運(yùn)動(dòng)物體的影響.

iii) 優(yōu)化全局運(yùn)動(dòng)估計(jì)算法

常用策略包括權(quán)值法、統(tǒng)計(jì)法、聚類(lèi)法等.

Chen等人[12]對(duì)局部運(yùn)動(dòng)矢量使用聚類(lèi)過(guò)程確定全局運(yùn)動(dòng)向量：構(gòu)建局部運(yùn)動(dòng)向量的直方圖，然后通過(guò)加權(quán)平均方法計(jì)算全局運(yùn)動(dòng)向量.Puglisi等人[13]使用基于選舉的方法來(lái)從局部運(yùn)動(dòng)向量計(jì)算全局運(yùn)動(dòng)向量，方案還將窮盡搜索與卷積投影誤差函數(shù)結(jié)合來(lái)獲取局部運(yùn)動(dòng)向量.Tang等人[14]使用一種基于加權(quán)直方圖的統(tǒng)計(jì)方法來(lái)計(jì)算全局抖動(dòng)運(yùn)動(dòng)向量，最后通過(guò)累加得到整體全局運(yùn)動(dòng)鏈.

② 相位相關(guān)算法

相位相關(guān)算法是一種非線性、基于傅氏功率譜的頻域相關(guān)算法，其理論基礎(chǔ)是傅里葉變換.它只取互功率譜中的相位信息，減少了對(duì)圖像內(nèi)容的依賴(lài)性，位移檢測(cè)范圍較大，有很高的匹配精度；同時(shí)，相位相關(guān)技術(shù)對(duì)圖像灰度依賴(lài)較小，因而具有一定抗干擾能力.相位相關(guān)法用于運(yùn)動(dòng)估計(jì)的解決方案有很多[15-25]，用于視頻穩(wěn)像的應(yīng)用也很多.

Erturk[26]使用基于子圖像相位相關(guān)的全局運(yùn)動(dòng)估計(jì)方法進(jìn)行視頻穩(wěn)像，算法首先將圖像分為4個(gè)子圖像，然后對(duì)每個(gè)子圖像使用相位相關(guān)法進(jìn)行局部運(yùn)動(dòng)估計(jì)，最后基于4個(gè)子圖像的局部運(yùn)動(dòng)來(lái)完成全局運(yùn)動(dòng)的估計(jì).同年，作者使用相位相關(guān)和對(duì)數(shù)極坐標(biāo)幅度譜表示法來(lái)獲取運(yùn)動(dòng)參數(shù)(平移、旋轉(zhuǎn)和縮放)，然后使用Kalman濾波器進(jìn)行運(yùn)動(dòng)平滑來(lái)進(jìn)行視頻穩(wěn)像[27].Sanjeev等人[28]提出一種基于Fourier-Mellin域相位相關(guān)的穩(wěn)像算法，算法分粗粒度和精細(xì)粒度2個(gè)階段.Jia等人[29]的穩(wěn)像算法首先對(duì)Fourier-Mellin變換圖像通過(guò)相位相關(guān)法獲得旋轉(zhuǎn)和縮放參數(shù)并對(duì)目標(biāo)圖像進(jìn)行旋轉(zhuǎn)和縮放，然后使用相位相關(guān)法來(lái)計(jì)算空間平移參數(shù)完成運(yùn)動(dòng)估計(jì).Zhang等人[30]基于中心子圖像的相位相關(guān)法提出一種適用于車(chē)載攝像頭的視頻穩(wěn)像方法.

③ 光流法

光流法的概念最早由美國(guó)心理學(xué)家Gibson在20世紀(jì)40年代提出，當(dāng)時(shí)是為了實(shí)現(xiàn)描述動(dòng)物運(yùn)動(dòng)的視覺(jué)仿真[31].在圖像處理領(lǐng)域，光流描述的是圖像中亮度的視運(yùn)動(dòng)，它計(jì)算不同時(shí)刻的2張圖像上每個(gè)像素的運(yùn)動(dòng)情況.Barron等人[32]對(duì)微分法、匹配法、基于能量法和基于相位法光等多種知名流算法從光流測(cè)量的準(zhǔn)確度、可靠性和密度等方面進(jìn)行了其性能的研究對(duì)比.

Lucas與Kanade[33]為光流法在視頻穩(wěn)像中的應(yīng)用提供了基礎(chǔ).作者將圖像進(jìn)行塊劃分，并假設(shè)若塊足夠小，則塊中各像素的運(yùn)動(dòng)向量是一致的，此時(shí)可以使用塊中心的運(yùn)動(dòng)矢量代表塊中各像素的運(yùn)動(dòng)矢量.基于上述假設(shè)，Chang等人[34]首先基于Lucas-Kanade法計(jì)算連續(xù)幀間的光流值，接著將光流域結(jié)果應(yīng)用到簡(jiǎn)化的仿射運(yùn)動(dòng)模型中進(jìn)行相機(jī)運(yùn)動(dòng)估計(jì)并完成視頻穩(wěn)像.Chang等人[35]首先使用光流法計(jì)算圖像局部運(yùn)動(dòng)向量，求出每一個(gè)像素的運(yùn)動(dòng)速率，然后應(yīng)用最小二乘法估計(jì)平移和旋轉(zhuǎn)運(yùn)動(dòng)參數(shù)，最后運(yùn)用上述運(yùn)動(dòng)參數(shù)去除抖動(dòng).Cai等人[36]使用Lucas-Kanade金字塔法[37]進(jìn)行光流估計(jì)，并使用排序局部運(yùn)動(dòng)直方圖來(lái)估計(jì)相機(jī)運(yùn)動(dòng)，這利用了每個(gè)運(yùn)動(dòng)直方圖的峰值位置對(duì)估計(jì)誤差不敏感且不受運(yùn)動(dòng)物體影響的特點(diǎn).之后作者又研究提出使用增量光流法(delta optical flow)的視頻穩(wěn)像方案[38]，以增強(qiáng)存在大面積運(yùn)動(dòng)物體的場(chǎng)景視頻穩(wěn)像的穩(wěn)健性.文章使用光流排序隊(duì)列和增量光流法來(lái)選擇特征點(diǎn)以避免影響運(yùn)動(dòng)物體，進(jìn)而避免全局運(yùn)動(dòng)估計(jì)受估計(jì)誤差和運(yùn)動(dòng)物體影響.

2) 基于特征點(diǎn)的方法

特征點(diǎn)檢測(cè)法將高維的圖像數(shù)據(jù)進(jìn)行簡(jiǎn)化表達(dá)，常見(jiàn)的特征點(diǎn)檢測(cè)方法有角點(diǎn)檢測(cè)法、斑點(diǎn)檢測(cè)法、邊檢測(cè)法等.在視頻穩(wěn)像應(yīng)用中，角點(diǎn)檢測(cè)和斑點(diǎn)檢測(cè)是最常用的技術(shù).

角點(diǎn)也叫極值點(diǎn)，是指在某方面屬性特別突出的點(diǎn).視頻穩(wěn)像方案中常用的角點(diǎn)檢測(cè)算法有Harris算法[39]、FAST(features from accelerated segment test)算法[40]以及KLT(Kanade-Lucas-Tomasi)算法[33,41]等.斑點(diǎn)檢測(cè)法檢測(cè)圖像中比它周?chē)袼鼗叶戎荡蠡蛐〉膮^(qū)域.視頻穩(wěn)像中實(shí)現(xiàn)斑點(diǎn)檢測(cè)的主要方法是尺度不變特征轉(zhuǎn)換方法(scale-invariant feature transform， SIFT)[42]和加速穩(wěn)健特征算法(speeded up robust features， SURF)[43].SIFT算法對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；SURF算法作為SIFT算法的加速版，基本實(shí)現(xiàn)了實(shí)時(shí)處理，它能提高速度的理論基礎(chǔ)是使用積分圖像haar求導(dǎo).

Amisha等人[44]對(duì)FAST，BRIEF，SIFT，SURF等特征點(diǎn)檢測(cè)方法進(jìn)行了分析對(duì)比.

Censi等人[45]通過(guò)KLT特征點(diǎn)跟蹤方法計(jì)算相機(jī)運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行視頻穩(wěn)像，并使用圖像形變結(jié)果來(lái)幫助預(yù)估特征點(diǎn)的位置，以增強(qiáng)特征點(diǎn)跟蹤的可靠性.Hu等人[46]采用2D仿射模型，使用SIFT特征點(diǎn)和最小二乘法來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)并完成視頻穩(wěn)像.Yang等人[47]將粒子濾波器在目標(biāo)跟蹤中的傳統(tǒng)應(yīng)用擴(kuò)展到相機(jī)運(yùn)動(dòng)的投影仿射模型中.算法首先使用SIFT特征點(diǎn)跟蹤法進(jìn)行全局運(yùn)動(dòng)估計(jì)，然后對(duì)SIFT特征點(diǎn)進(jìn)行粒子濾波來(lái)整合圖像強(qiáng)度信息，最終得到更加平滑的相機(jī)運(yùn)動(dòng)估計(jì).Shen等人[48]使用基于SIFT特征點(diǎn)的主成分分析法(principal component analysis， PCA)來(lái)降低特征點(diǎn)空間的維度，獲取到PCA-SIFT特征點(diǎn)用來(lái)估計(jì)幀間抖動(dòng)運(yùn)動(dòng).之后使用粒子濾波框架來(lái)進(jìn)行相機(jī)運(yùn)動(dòng)濾波完成穩(wěn)像功能.Pinto等人[49]使用SURF作為幀間跟蹤的穩(wěn)定特征點(diǎn)來(lái)進(jìn)行2D仿射運(yùn)動(dòng)參數(shù)的全局運(yùn)動(dòng)估計(jì)，使用離散Kalman濾波器來(lái)平滑運(yùn)動(dòng)向量，最終得到穩(wěn)定視頻.Zhou等人[50]對(duì)每幀圖像提取并跟蹤SURF特征點(diǎn)，使用RANSAC算法來(lái)估計(jì)仿射運(yùn)動(dòng)參數(shù)，并利用自適應(yīng)運(yùn)動(dòng)向量積分法進(jìn)行相機(jī)抖動(dòng)運(yùn)動(dòng)平滑，最終完成視頻穩(wěn)像.Zhang等人[51]使用類(lèi)似的方法，應(yīng)用SURF特征點(diǎn)進(jìn)行局部運(yùn)動(dòng)向量估計(jì)，并用穩(wěn)定后的幀來(lái)修補(bǔ)抖動(dòng)幀，完成全幀視頻穩(wěn)像.Zheng等人[52]使用SURF作為特征描述子，利用RANSAC算法提純特征點(diǎn)，并使用最小二乘法估計(jì)2D仿射模型運(yùn)動(dòng)參數(shù)，最后使用帶有自適應(yīng)阻尼系數(shù)的運(yùn)動(dòng)矢量積分法來(lái)平滑全局運(yùn)動(dòng)，最終完成視頻穩(wěn)像.

基于像素點(diǎn)和基于特征點(diǎn)的方法各有優(yōu)缺點(diǎn)，關(guān)于它們的討論最終以2篇結(jié)論性的論文而收官：Irani和Anandan所著基于像素點(diǎn)方法的綜述[53]以及Torr和Zisserman所著基于特征點(diǎn)方法的綜述[54].

1.1.2 運(yùn)動(dòng)補(bǔ)償

在穩(wěn)像技術(shù)中，相機(jī)運(yùn)動(dòng)補(bǔ)償是用來(lái)產(chǎn)生新的相機(jī)運(yùn)動(dòng)的算法，它抑制抖動(dòng)生成更加穩(wěn)定的相機(jī)運(yùn)動(dòng).對(duì)于2D視頻穩(wěn)像來(lái)說(shuō)，運(yùn)動(dòng)補(bǔ)償機(jī)制接收相機(jī)2D運(yùn)動(dòng)數(shù)據(jù)，經(jīng)算法計(jì)算產(chǎn)生新的平滑2D運(yùn)動(dòng)數(shù)據(jù).運(yùn)動(dòng)補(bǔ)償總體上分為2類(lèi)方案：運(yùn)動(dòng)路徑平滑和運(yùn)動(dòng)路徑擬合.

1) 運(yùn)動(dòng)路徑平滑

穩(wěn)定視頻所對(duì)應(yīng)的相機(jī)運(yùn)動(dòng)數(shù)據(jù)應(yīng)該也是平滑的，相反抖動(dòng)視頻的相機(jī)運(yùn)動(dòng)數(shù)據(jù)存在小幅抖動(dòng)的“噪聲”.從數(shù)字信號(hào)處理角度來(lái)說(shuō)，運(yùn)動(dòng)平滑就是消除這些運(yùn)動(dòng)噪聲.視頻穩(wěn)像方案中常用的平滑濾波器有移動(dòng)平均(moving average)濾波器、Gaussian濾波器、Kalman濾波器[55]、粒子濾波器以及其他多項(xiàng)式濾波器[56].

① 移動(dòng)平均濾波器

移動(dòng)平均濾波器是一種低通濾波器，它將連續(xù)的采樣數(shù)據(jù)看成一個(gè)長(zhǎng)度固定的隊(duì)列，每完成一次新的處理，隊(duì)列向前移動(dòng)，即去掉隊(duì)列首數(shù)據(jù)，隊(duì)尾插入新數(shù)據(jù).這種濾波方法簡(jiǎn)單易行，在視頻穩(wěn)像方案中經(jīng)常采用.Chen[6]使用了簡(jiǎn)單的移動(dòng)平均濾波器進(jìn)行運(yùn)動(dòng)平滑.無(wú)限沖擊響應(yīng)(infinite impulse response, IIR)濾波器屬于移動(dòng)平均濾波器，它也被稱(chēng)為運(yùn)動(dòng)向量整合法(motion vector integration， MVI).Ko等人[3]在其視頻穩(wěn)像方案中，基于位平面匹配法使用一階IIR濾波器進(jìn)行運(yùn)動(dòng)平滑.Yang等人[10]使用簡(jiǎn)單的一階自適應(yīng)IIR移動(dòng)平均濾波器進(jìn)行運(yùn)動(dòng)平滑，為實(shí)現(xiàn)自適應(yīng)性，濾波器通過(guò)動(dòng)態(tài)機(jī)制來(lái)確定平滑因子大小：通過(guò)連續(xù)3幀圖像的全局運(yùn)動(dòng)矢量來(lái)判斷當(dāng)前抖動(dòng)情況，并賦予其不同大小.Erturk[57]對(duì)MVI法進(jìn)行了分析總結(jié).

② Gaussian濾波器

Gaussian濾波器是根據(jù)Gaussian函數(shù)的形狀來(lái)選擇權(quán)值的線性平滑濾波器，對(duì)抑制服從正態(tài)分布的噪聲非常有效.而相機(jī)運(yùn)動(dòng)數(shù)據(jù)中的抖動(dòng)可以建模為符合Gaussian分布的噪聲，因此非常適合使用Gaussian濾波器來(lái)進(jìn)行濾波，抑制噪聲的過(guò)程即為平滑運(yùn)動(dòng)的過(guò)程.理想的Gaussian濾波器在計(jì)算機(jī)中實(shí)現(xiàn)復(fù)雜，因此有時(shí)采用效果近似同時(shí)計(jì)算簡(jiǎn)單的濾波方法，如Binomial濾波[58]等.Yasuyuki等人[59]使用Gaussian內(nèi)核完成運(yùn)動(dòng)補(bǔ)償，之后Hu等人[46]、Xu等人[60]在各自穩(wěn)像方案中使用了類(lèi)似方法進(jìn)行運(yùn)動(dòng)補(bǔ)償.

③ Kalman濾波器

Kalman濾波器是一種最優(yōu)化自回歸數(shù)據(jù)處理算法，能夠在線性Gaussian模型的條件下對(duì)目標(biāo)的狀態(tài)做出最優(yōu)估計(jì)，得到較好的跟蹤效果.非線性濾波問(wèn)題常用的處理方法是利用線性化技巧將其轉(zhuǎn)化為一個(gè)近似的線性濾波問(wèn)題.因此可以利用非線性函數(shù)的局部性特性將非線性模型局部化，再利用Kalman濾波算法完成濾波跟蹤.擴(kuò)展Kalman濾波(extended Kalman filter，EKF)就是基于此思想，將系統(tǒng)的非線性函數(shù)做一階Taylor展開(kāi)得到線性化的系統(tǒng)方程從而完成對(duì)目標(biāo)的濾波估計(jì)等處理.

Kalman濾波器用于視頻穩(wěn)像的應(yīng)用有很多.Erturk[26-27]使用Kalman濾波器進(jìn)行運(yùn)動(dòng)平滑，并實(shí)現(xiàn)實(shí)時(shí)穩(wěn)像.Erturk[61]將全局運(yùn)動(dòng)表示為常量加速運(yùn)動(dòng)和常量角速度運(yùn)動(dòng)，然后使用標(biāo)準(zhǔn)Kalman濾波框架去除短時(shí)間圖像抖動(dòng)，保留平滑運(yùn)動(dòng)，實(shí)現(xiàn)穩(wěn)像.Litvin等人[62]使用概率估計(jì)框架檢測(cè)抖動(dòng)，將幀間相機(jī)抖動(dòng)視為相機(jī)本意運(yùn)動(dòng)的噪聲觀察，并使用Kalman濾波框架來(lái)估計(jì)獲取用戶本意的運(yùn)動(dòng)參數(shù)完成視頻穩(wěn)像.Gullu等人[63]的穩(wěn)像方案使用2個(gè)并列的Kalman濾波器、1個(gè)穩(wěn)定Kalman濾波器和1個(gè)參考Kalman濾波器.前者用于平滑相機(jī)運(yùn)動(dòng)，后者引入模糊自適應(yīng)機(jī)制來(lái)調(diào)節(jié)控制運(yùn)動(dòng)補(bǔ)償偏移量.Wang等人[64]考慮運(yùn)動(dòng)平滑程度問(wèn)題：過(guò)度補(bǔ)償會(huì)導(dǎo)致圖像空白邊緣太大，影響圖像質(zhì)量.為解決此問(wèn)題，作者將此約束作為額外的狀態(tài)更新方程包含到Kalman濾波過(guò)程中，將運(yùn)動(dòng)軌跡穩(wěn)定問(wèn)題轉(zhuǎn)化為該約束下最優(yōu)化問(wèn)題.

④ 粒子濾波器

粒子濾波是20世紀(jì)90年代發(fā)展起來(lái)的一種新濾波算法，其核心思想是通過(guò)從后驗(yàn)概率中抽取的隨機(jī)狀態(tài)粒子來(lái)表達(dá)其分布，它克服了EKF的缺點(diǎn)，在非線性、非高斯系統(tǒng)中表現(xiàn)出優(yōu)越性.Gordon等人[65]為粒子濾波在視頻穩(wěn)像中的應(yīng)用奠定了基礎(chǔ).Yang等人[66]首先將粒子濾波法用于視頻穩(wěn)像，之后又對(duì)其進(jìn)行了改進(jìn)[67].

2) 運(yùn)動(dòng)路徑擬合

與運(yùn)動(dòng)路徑平滑不同，運(yùn)動(dòng)路徑擬合模仿專(zhuān)業(yè)電影攝影路徑，例如直線、拋物線等.這種方案能比運(yùn)動(dòng)路徑平滑獲取更加穩(wěn)定的運(yùn)動(dòng)補(bǔ)償結(jié)果，因?yàn)樗粌H能去除高頻抖動(dòng)，還能去除路徑中的無(wú)效低頻抖動(dòng).Chen等人[68]根據(jù)專(zhuān)業(yè)拍攝使用三腳架時(shí)相機(jī)運(yùn)動(dòng)路徑接近折線(polyline)的特點(diǎn)，采用擬合折線法來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償.其運(yùn)動(dòng)補(bǔ)償方案首先使用Kalman濾波器去除高頻抖動(dòng)，然后在此基礎(chǔ)上進(jìn)行折線路徑擬合，從而去除無(wú)效低頻抖動(dòng).Zhang等人[69]使用低級(jí)和高級(jí)雙通道優(yōu)化方法約束相機(jī)路徑進(jìn)行運(yùn)動(dòng)補(bǔ)償.方案首先進(jìn)行低級(jí)路徑優(yōu)化，自動(dòng)檢測(cè)畫(huà)面干擾并消除，再使用L1優(yōu)化框架來(lái)生成初級(jí)補(bǔ)償相機(jī)路徑；之后將相機(jī)路徑分解為縮放、旋轉(zhuǎn)、平移分量，通過(guò)分析這些分量將路徑分段，并為每段路徑擬合更簡(jiǎn)單的專(zhuān)業(yè)拍攝中使用的運(yùn)動(dòng)模型來(lái)達(dá)到運(yùn)動(dòng)補(bǔ)償目的.

當(dāng)然，運(yùn)動(dòng)路徑擬合法在獲取更平滑運(yùn)動(dòng)補(bǔ)償結(jié)果的同時(shí)，也會(huì)增加需要修補(bǔ)的缺失區(qū)域，即增加了圖像修補(bǔ)過(guò)程的難度.

1.1.3 圖像修補(bǔ)

在相機(jī)運(yùn)動(dòng)估計(jì)和相機(jī)運(yùn)動(dòng)補(bǔ)償完成后，得到一個(gè)新的、平滑的相機(jī)運(yùn)動(dòng)鏈.圖像修補(bǔ)操作根據(jù)新運(yùn)動(dòng)鏈在所采用的運(yùn)動(dòng)模型對(duì)原始圖像進(jìn)行形變處理，得到包含丟失部分(空白邊緣)的穩(wěn)定后圖像.此時(shí)處理方法有2種:剪切處理和填補(bǔ)空白邊緣.前者處理簡(jiǎn)單，但改變了圖像尺寸；后者保存圖像尺寸，最常用的方法是馬賽克法(mosaicing),馬賽克法根據(jù)圖像所要修補(bǔ)區(qū)域周邊的像素信息來(lái)完成圖像修補(bǔ).Litvin等人[62]使用馬賽克法來(lái)填補(bǔ)空白邊緣，作者聲明他們最先使用馬賽克法對(duì)穩(wěn)定后的視頻幀進(jìn)行圖像修補(bǔ)操作.Yasuyuki等人[59]的運(yùn)動(dòng)修補(bǔ)法是2D方案中的經(jīng)典圖像修補(bǔ)方案，它將運(yùn)動(dòng)估計(jì)的思想融入到圖像修補(bǔ)中：根據(jù)當(dāng)前幀或相鄰幀中像素的運(yùn)動(dòng)數(shù)據(jù)來(lái)估計(jì)空白區(qū)域的像素信息.Tang等人[14]和Yoo等人[70]的穩(wěn)像方案中，都綜合馬賽克法和運(yùn)動(dòng)修補(bǔ)法進(jìn)行圖像修補(bǔ).Chen等人[68]提出的方案對(duì)于動(dòng)態(tài)場(chǎng)景缺失域修補(bǔ)使用運(yùn)動(dòng)修補(bǔ)法，對(duì)于靜態(tài)場(chǎng)景缺失域修補(bǔ)使用像素修補(bǔ)法：根據(jù)仿射變換模型，直接從其他幀中尋找對(duì)應(yīng)像素點(diǎn)復(fù)制而來(lái).

1.2 傳統(tǒng)3D穩(wěn)像

相機(jī)在3D空間中運(yùn)動(dòng)，而圖像的像素在2D平面運(yùn)動(dòng).對(duì)于人眼而言，對(duì)于視頻運(yùn)動(dòng)的感知直接來(lái)源于像素的運(yùn)動(dòng).然而，事實(shí)證明，對(duì)2D圖像像素進(jìn)行簡(jiǎn)單直接的平滑操作并不能獲得很好的穩(wěn)像效果，因?yàn)閮H對(duì)2D圖像像素進(jìn)行的操作忽略了相機(jī)本身的3D空間運(yùn)動(dòng)信息.

2D圖像空間和相機(jī)3D空間之間是存在運(yùn)動(dòng)關(guān)聯(lián)的，3D穩(wěn)像方案同時(shí)考慮二者，采用相機(jī)3D運(yùn)動(dòng)模型，而非簡(jiǎn)單的2D運(yùn)動(dòng)模型來(lái)表示相機(jī)運(yùn)動(dòng).運(yùn)動(dòng)估計(jì)方式的不同也決定了運(yùn)動(dòng)補(bǔ)償方式的不同，以及相應(yīng)的圖像修補(bǔ)方式的不同.因?yàn)椴煌\(yùn)動(dòng)模型下2D圖像像素運(yùn)動(dòng)和3D真實(shí)相機(jī)運(yùn)動(dòng)的映射關(guān)系不同.

視頻3D穩(wěn)像是通過(guò)2D圖像信息來(lái)重構(gòu)相機(jī)的3D運(yùn)動(dòng)信息(有的方案還會(huì)恢復(fù)像素點(diǎn)的3D位置信息)；然后對(duì)恢復(fù)的相機(jī)運(yùn)動(dòng)進(jìn)行平滑處理去除抖動(dòng)，生成平滑后新的相機(jī)運(yùn)動(dòng)信息；最后根據(jù)這些新的運(yùn)動(dòng)信息(和像素點(diǎn)3D位置信息)來(lái)完成圖像的修補(bǔ).

3D穩(wěn)像方案也采用“黃金3步法”：相機(jī)3D運(yùn)動(dòng)估計(jì)、相機(jī)3D運(yùn)動(dòng)補(bǔ)償和2D圖像修補(bǔ).與傳統(tǒng)2D穩(wěn)像方案不同的是，3D穩(wěn)像基于相機(jī)3D運(yùn)動(dòng)模型來(lái)解決穩(wěn)像問(wèn)題，通常采用針孔相機(jī)模型下的投影變換運(yùn)動(dòng)模型[71]，傳統(tǒng)3D穩(wěn)像流程如圖3所示.

Fig. 3 Traditional 3D DVS techniques圖3 傳統(tǒng)3D穩(wěn)像技術(shù)

1.2.1 運(yùn)動(dòng)估計(jì)

3D穩(wěn)像中相機(jī)3D運(yùn)動(dòng)估計(jì)即為在針孔相機(jī)投影變換模型下，從圖像信息中恢復(fù)相機(jī)姿態(tài)的問(wèn)題.3D運(yùn)動(dòng)參數(shù)包括平移和旋轉(zhuǎn)參數(shù)，運(yùn)動(dòng)到結(jié)構(gòu)算法(structure from motion， SFM)正是用來(lái)解決此問(wèn)題的：從2D的圖像序列中恢復(fù)出相應(yīng)的3D信息，其中包括成像相機(jī)的運(yùn)動(dòng)參數(shù)以及場(chǎng)景的結(jié)構(gòu)信息.SFM問(wèn)題可以通過(guò)雙視角、三視角或者多視角方案來(lái)解決[71]，而3D穩(wěn)像中使用的是雙視角方法，即給定2個(gè)視角相機(jī)的圖像，恢復(fù)2個(gè)成像時(shí)間相機(jī)的位置信息.SFM算法的前提是特征點(diǎn)匹配的問(wèn)題得以解決，這正是2D穩(wěn)像方案中基于特征點(diǎn)的運(yùn)動(dòng)估計(jì)的相關(guān)技術(shù).SFM算法將3D運(yùn)動(dòng)估計(jì)轉(zhuǎn)化為在若干視角下，使用若干特征點(diǎn)對(duì)來(lái)構(gòu)建方程組求解相機(jī)外參的問(wèn)題.求解方法包括8點(diǎn)算法[72]、7點(diǎn)算法[71]、6點(diǎn)算法[73-74]、5點(diǎn)算法等[75-76]，Brückner等人[77]對(duì)這幾種算法進(jìn)行了系統(tǒng)的實(shí)驗(yàn)比較.SFM算法計(jì)算相對(duì)復(fù)雜，早期的穩(wěn)像方案并沒(méi)有采用這種方法.

Wang等人[78]使用SIFT特征點(diǎn)和RKHS圖形匹配技術(shù)[79]進(jìn)行SIFT特征點(diǎn)匹配，在旋轉(zhuǎn)角度極小的假設(shè)前提下(作者認(rèn)為幀間平移與旋轉(zhuǎn)量相對(duì)較小)，對(duì)旋轉(zhuǎn)矩陣進(jìn)行簡(jiǎn)化，這樣精簡(jiǎn)了相機(jī)3D運(yùn)動(dòng)的估計(jì)過(guò)程.Zhang等人[80]提出一種基于相機(jī)3D運(yùn)動(dòng)模型的穩(wěn)像方案，將視頻穩(wěn)像建模為平滑和相似約束條件下的二次成本函數(shù)，并通過(guò)對(duì)穩(wěn)像過(guò)程中平滑性和相似性一對(duì)矛盾的平衡來(lái)獲取視頻的穩(wěn)定性.Liu等人[81]提出的3D穩(wěn)像方案被視為近些年來(lái)最經(jīng)典的3D穩(wěn)像方案，它首先使用SFM算法恢復(fù)相機(jī)3D原始運(yùn)動(dòng)以及3D場(chǎng)景點(diǎn)云，然后進(jìn)行自動(dòng)或交互的運(yùn)動(dòng)平滑來(lái)獲取穩(wěn)定的相機(jī)運(yùn)動(dòng)，最后使用3D場(chǎng)景點(diǎn)云和參考幀圖像完成運(yùn)動(dòng)平滑后的圖像形變修復(fù).Lee等人[82]在Liu等人[81]的工作基礎(chǔ)上，提出了基于興趣域(region of interest，ROI)形變的穩(wěn)像方法.方案首先篩選特征點(diǎn)，篩選后的特征點(diǎn)所在區(qū)域是抖動(dòng)最嚴(yán)重區(qū)域ROI并予以重點(diǎn)處理，僅使用ROI區(qū)域的特征點(diǎn)作為參數(shù)來(lái)進(jìn)行Liu等人[81]的算法.如果ROI區(qū)域特征點(diǎn)在篩選后剩余量少于設(shè)定的閾值，則算法變?yōu)長(zhǎng)iu等人[81]的方法.Ryu等人[83]借助零均值歸一化互相關(guān)匹配法(zero mean normalized cross-correlation，ZNCC)和KLT算法來(lái)進(jìn)行相機(jī)3D運(yùn)動(dòng)估計(jì)，提出一種類(lèi)人眼的視頻穩(wěn)像方案.文章還引入了受啟發(fā)于人眼前庭動(dòng)眼反射的方法(vestibulo ocular reflex，VOR)用于加快運(yùn)動(dòng)估計(jì)的速度.

1.2.2 運(yùn)動(dòng)補(bǔ)償

對(duì)于3D視頻穩(wěn)像來(lái)說(shuō)，平滑濾波器接收相機(jī)3D運(yùn)動(dòng)數(shù)據(jù)，經(jīng)算法計(jì)算產(chǎn)生平滑后的3D運(yùn)動(dòng)數(shù)據(jù).與2D運(yùn)動(dòng)不同，3D運(yùn)動(dòng)數(shù)據(jù)不僅包括相機(jī)位置信息，還包括相機(jī)方向信息矩陣R.因此，3D運(yùn)動(dòng)補(bǔ)償要比2D運(yùn)動(dòng)補(bǔ)償復(fù)雜.在針孔相機(jī)投影變換模型下，相機(jī)3D運(yùn)動(dòng)數(shù)據(jù)中的位置信息向量T和方向信息矩陣R為2個(gè)獨(dú)立運(yùn)動(dòng)，因此二者的運(yùn)動(dòng)補(bǔ)償可以分開(kāi)進(jìn)行.位置信息向量T的運(yùn)動(dòng)補(bǔ)償技術(shù)原理與2D運(yùn)動(dòng)補(bǔ)償類(lèi)似，區(qū)別在于3D位置向量多一個(gè)分量.3D運(yùn)動(dòng)補(bǔ)償?shù)碾y點(diǎn)在于方向信息的運(yùn)動(dòng)補(bǔ)償.

盡管3D位置信息平滑有很多方法，但這些方法不能簡(jiǎn)單應(yīng)用到3D方向信息的平滑中，因?yàn)?D方向信息是非線性的.方向信息的表示有若干種形式，包括歐拉角、軸角、旋轉(zhuǎn)矩陣、四元數(shù)等.

這些表示方法中，四元數(shù)因其諸多優(yōu)點(diǎn)成為目前最流行的形式.四元數(shù)平滑的難點(diǎn)在于四元數(shù)空間的非線性屬性，這導(dǎo)致無(wú)法直接使用通用線性時(shí)不變(linear time-invariant， LTI)濾波器進(jìn)行平滑.為解決此問(wèn)題，研究者提出一些方法.Azuma等人[84]提出將四元數(shù)4個(gè)分量分開(kāi)處理，然后再重規(guī)格化(re-normalize)濾波響應(yīng)來(lái)保證單位性.重規(guī)格化的缺點(diǎn)是會(huì)帶來(lái)副作用，例如奇點(diǎn)、畸變等.另外一種方法是使用全局線性化方法，例如使用指數(shù)與對(duì)數(shù)映射法[85-87]來(lái)避免重規(guī)格化.這種方法的缺點(diǎn)是當(dāng)輸入信號(hào)接近奇點(diǎn)時(shí)會(huì)產(chǎn)生不確定結(jié)果.Shoemake球面線性插值 (spherical linear interpolation， SLERP)方法[88]的提出為四元數(shù)平滑濾波提供了新方案，之后基于此的非線性濾波方法也逐漸提出[89-90].Lee等人[91]提出一種濾波方式，將旋轉(zhuǎn)數(shù)據(jù)轉(zhuǎn)為向量空間上的表達(dá)，然后在向量空間進(jìn)行濾波，最后將濾波后的向量空間數(shù)據(jù)再反轉(zhuǎn)為旋轉(zhuǎn)空間數(shù)據(jù).這種方法是一種局部線性化方法，它對(duì)旋轉(zhuǎn)數(shù)據(jù)的表示方式?jīng)]有限制，是一種通用的旋轉(zhuǎn)數(shù)據(jù)濾波方式.Morimoto等人[92]使用單位四元數(shù)來(lái)表示幀間旋轉(zhuǎn)量，并使用EKF來(lái)完成運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償.Liu等人[81]將3D運(yùn)動(dòng)向量分為平移和旋轉(zhuǎn)分量來(lái)分別平滑，旋轉(zhuǎn)分量使用了Lee[91]的方法.

1.2.3 圖像修補(bǔ)

3D相機(jī)運(yùn)動(dòng)補(bǔ)償完成后，得到了平滑的運(yùn)動(dòng)軌跡，穩(wěn)像最后一步即是根據(jù)新的軌跡渲染生成新的穩(wěn)定的圖像.3D穩(wěn)像中常用的圖像修補(bǔ)的類(lèi)型總體包括兩大類(lèi)：一是圖像空白邊緣的處理；二是基于圖像域的處理.前者與傳統(tǒng)2D穩(wěn)像方案中的技術(shù)一樣.基于圖像域的處理方案，目前流行的有2種：一是基于3D模型的渲染(3D model-based rendering)；二是基于圖像的渲染(image-based rendering， IBR).Kang[93]對(duì)基于3D模型的渲染方法與基于圖像的渲染方法進(jìn)行了比對(duì).

1) 基于3D模型的渲染

基于3D模型的渲染是根據(jù)已重構(gòu)(或近似重構(gòu))的場(chǎng)景3D模型來(lái)計(jì)算新視角下的場(chǎng)景圖像.3D場(chǎng)景模型可以使用CAD建模工具獲取，也可以從實(shí)際數(shù)據(jù)中通過(guò)場(chǎng)景重構(gòu)算法計(jì)算得到.Liu等人[81]為防止修復(fù)的圖像產(chǎn)生畸變，提出保存內(nèi)容的形變技術(shù)(content-preserving warps)，將稀疏場(chǎng)景點(diǎn)的位移視為軟約束條件.此方法穩(wěn)像效果優(yōu)異，被視為3D穩(wěn)像的經(jīng)典；缺點(diǎn)是計(jì)算復(fù)雜，運(yùn)算消耗大.Zhang等人[80]3D穩(wěn)像方案中的圖像修補(bǔ)階段也采用了基于3D場(chǎng)景點(diǎn)的渲染技術(shù).

2) 基于圖像的渲染

與基于3D模型的渲染方法不同，基于圖像的渲染通過(guò)同一場(chǎng)景不同視角的圖像來(lái)插值成一副新視角的圖像，是一種新視角插值技術(shù).圖像渲染技術(shù)研究已有多年，Kang[93]將圖像渲染技術(shù)按像素索引屬性分為四大類(lèi)：基于非物理圖像映射法、馬賽克法、深度采樣插值法以及幾何有效像素重投影法.這些方法的一個(gè)缺點(diǎn)是鬼影效果(ghosting effect)，這是因?yàn)镮BR方法假設(shè)前提是場(chǎng)景是靜態(tài)的，當(dāng)在不同視角下場(chǎng)景中有明顯運(yùn)動(dòng)的物體或光照變化時(shí)，合成的圖像會(huì)有“重影”.因此本技術(shù)直接使用于3D穩(wěn)像方案時(shí)，在動(dòng)態(tài)場(chǎng)景下穩(wěn)像效果會(huì)帶來(lái)明顯副作用.要克服此問(wèn)題，一種直觀的方案是在動(dòng)態(tài)場(chǎng)景下檢測(cè)運(yùn)動(dòng)物體并提出，然后只對(duì)剩余的靜態(tài)背景進(jìn)行圖像渲染，最后將運(yùn)動(dòng)物體重新合成到場(chǎng)景中去.然而這些步驟中的每一步都是巨大的挑戰(zhàn)，實(shí)現(xiàn)困難.為解決IBR的這個(gè)問(wèn)題，研究者在IBR基礎(chǔ)上提出了很多改進(jìn)方案.Shade等人[94]提出一種使用分層深度圖像的渲染方法，允許單個(gè)像素可以進(jìn)行多層深度編碼，每層內(nèi)深度固定.Kang等人[95]在1999年提出一種“多層IBR算法”，將視頻分為多層，每層均進(jìn)行獨(dú)立的重投影，并最終合并為一幀圖像.Buehler等人[96]在2001年提出非結(jié)構(gòu)流明圖渲染方法，它主要作為一種IBR渲染框架來(lái)擴(kuò)展當(dāng)時(shí)的IBR算法；之后又提出一種非度量IBR算法[97]，在上述算法基礎(chǔ)上進(jìn)行了改善，將所有的測(cè)量在圖像域進(jìn)行，而非度量域.文章提出的基于圖像渲染技術(shù)的視頻穩(wěn)像方案被視為最早的3D穩(wěn)像方案.Buehler等人指出基于圖像的渲染技術(shù)用于視頻穩(wěn)像的3個(gè)必備技術(shù)條件：1)幀間匹配特征點(diǎn)；2)幀間插值；3)場(chǎng)景中虛擬相機(jī)軌跡操作.

1.3 本節(jié)小結(jié)

傳統(tǒng)穩(wěn)像方案采用運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、圖像修補(bǔ)“黃金3步曲”.根據(jù)運(yùn)動(dòng)模型選取的不同，本節(jié)將傳統(tǒng)穩(wěn)像方案劃分為傳統(tǒng)2D穩(wěn)像和傳統(tǒng)3D穩(wěn)像并按照3個(gè)關(guān)鍵步驟分別進(jìn)行了綜述.相機(jī)運(yùn)動(dòng)模型選擇的不同，導(dǎo)致3個(gè)關(guān)鍵步驟都不盡相同.傳統(tǒng)2D穩(wěn)像方案原理簡(jiǎn)單、計(jì)算量小，但穩(wěn)像效果一般；傳統(tǒng)3D穩(wěn)像方案效果好，但計(jì)算復(fù)雜.二者的應(yīng)用場(chǎng)景也會(huì)根據(jù)效果和速度這一對(duì)矛盾進(jìn)行適當(dāng)選取.

2 新興數(shù)字穩(wěn)像技術(shù)方案

隨著智能終端時(shí)代的來(lái)臨，傳統(tǒng)穩(wěn)像技術(shù)已逐漸無(wú)法滿足智能設(shè)備的應(yīng)用需求，新興技術(shù)正逐漸涌現(xiàn).一方面，研究者在尋求新興的2D穩(wěn)像技術(shù)，不再局限于傳統(tǒng)穩(wěn)像“3步曲”；另一方面，借助智能設(shè)備中的微機(jī)電傳感器，研究者在尋求新興的基于傳感器的穩(wěn)像技術(shù)，使運(yùn)動(dòng)估計(jì)過(guò)程更加有效.

2.1 新興2D穩(wěn)像

與傳統(tǒng)2D穩(wěn)像方案不同，新興2D穩(wěn)像既不遵循“黃金3步曲”，也不像傳統(tǒng)3D穩(wěn)像那樣重建完整3D相機(jī)運(yùn)動(dòng)，而是使用新興的2D方法來(lái)盡力獲取與3D方法相似的防抖效果.這些方案不盡相同，但共同點(diǎn)是將相機(jī)3D運(yùn)動(dòng)重建過(guò)程的約束條件放松，繞過(guò)復(fù)雜的3D重建操作.新興2D穩(wěn)像按其采用的策略可以劃分為特征點(diǎn)軌跡法和幾何約束條件法.

1) 特征點(diǎn)軌跡法

此方法將相機(jī)3D運(yùn)動(dòng)重建問(wèn)題的約束放寬，轉(zhuǎn)化為處理相應(yīng)2D圖像空間特征點(diǎn)軌跡的問(wèn)題.

Wang等人[98]用貝塞爾曲線表示特征點(diǎn)軌跡，提出一種時(shí)空優(yōu)化法，將穩(wěn)像問(wèn)題轉(zhuǎn)化為平滑特征曲線并避免視覺(jué)畸變的時(shí)空優(yōu)化問(wèn)題.作者認(rèn)為貝塞爾曲線表示法能夠有效平滑特征軌跡，同時(shí)能夠減少優(yōu)化問(wèn)題中的變量數(shù)目，從而提高穩(wěn)像效率.Lee等人[99]提出，可靠的跟蹤特征點(diǎn)通常落在背景區(qū)域；大部分相機(jī)運(yùn)動(dòng)已經(jīng)足夠穩(wěn)定，而無(wú)需進(jìn)行運(yùn)動(dòng)平滑導(dǎo)致過(guò)多的空白邊緣.因此作者使用穩(wěn)健特征軌跡進(jìn)行視頻穩(wěn)像，在保證視頻穩(wěn)定的前提下盡量控制空白邊緣，力求二者的平衡.文章使用的特征提取算法融合SIFT算法和粒子視頻法，利用SIFT算法空域運(yùn)動(dòng)的連續(xù)性減少誤匹配以及粒子視頻法軌跡時(shí)域運(yùn)動(dòng)的相似性保證大范圍特征跟蹤.Liu等人[1]根據(jù)3D剛體場(chǎng)景圖像的運(yùn)動(dòng)軌跡矩陣可以近似表示在低維度子空間內(nèi)[100]的理論，提出子空間穩(wěn)像法.方案先使用標(biāo)準(zhǔn)2D特征點(diǎn)跟蹤方法建立稀疏場(chǎng)景點(diǎn)的2D軌跡矩陣；然后對(duì)其做移動(dòng)分解變換(moving factorization)來(lái)尋找對(duì)輸入運(yùn)動(dòng)的一個(gè)時(shí)變子空間近似，以將運(yùn)動(dòng)估計(jì)局部表示為2部分的乘積：一是稱(chēng)為“特征軌跡”的基向量，二是將特征點(diǎn)描述為這些特征軌跡線性組合的系數(shù)矩陣；之后對(duì)特征軌跡進(jìn)行運(yùn)動(dòng)平滑，將平滑后的特征軌跡與原始系數(shù)矩陣重新相乘來(lái)得到平滑后的輸出軌跡；最后使用渲染方案完成視頻穩(wěn)像.Ryu等人[101]使用KLT跟蹤器來(lái)跟蹤特征點(diǎn)軌跡，然后使用Kalman濾波器來(lái)生成平滑特征點(diǎn)軌跡，最后在2D仿射模型下采用雙線性插值法進(jìn)行圖像拼接完成穩(wěn)像.Ringaby等人[102]使用KLT跟蹤器對(duì)Harris角點(diǎn)進(jìn)行跟蹤，將相機(jī)旋轉(zhuǎn)參數(shù)化為帶有節(jié)點(diǎn)的連續(xù)曲線，并使用非線性最小二乘法來(lái)求解曲線參數(shù)，然后平滑此曲線來(lái)完成相關(guān)旋轉(zhuǎn)序列的平滑.Liu等人[103]將“as-similar-as-possible”的思想[81]引入到相機(jī)運(yùn)動(dòng)估計(jì)中來(lái)提高運(yùn)動(dòng)估計(jì)的魯棒性，提出一種多重的、時(shí)空可變的相機(jī)路徑模型，讓不同位置可以有獨(dú)自的相機(jī)路徑.此方法無(wú)須進(jìn)行長(zhǎng)時(shí)間特征軌跡跟蹤或稀疏3D重建，而使用多相機(jī)路徑建模相機(jī)運(yùn)動(dòng)，并使用基于網(wǎng)格的空間可變運(yùn)動(dòng)表示法以及自適應(yīng)的時(shí)空路徑優(yōu)化法.Zhang等人[69]使用KLT跟蹤器來(lái)跟蹤特征點(diǎn)軌跡，并根據(jù)特征點(diǎn)顯著度(saliency)來(lái)判斷其是否位于運(yùn)動(dòng)物體，去掉高顯著度的特征點(diǎn)后使用仿射模型來(lái)估計(jì)相機(jī)運(yùn)動(dòng)路徑，并提出一種“雙通道”優(yōu)化方法進(jìn)行運(yùn)動(dòng)補(bǔ)償完成視頻穩(wěn)像.基于Liu等人[103]的多路徑方案，Bai等人[104]提出一種用戶輔助的視頻穩(wěn)像方案，將跟蹤到的特征軌跡進(jìn)行聚類(lèi)并顯示，用戶可以根據(jù)需要選擇或去除不合適的特征軌跡類(lèi)，用戶還可以直接自定義視頻幀中某個(gè)區(qū)域如何進(jìn)行形變，這可以幫助減少視頻穩(wěn)像后的畸變，最后根據(jù)用戶對(duì)于特征軌跡的篩選和指定區(qū)域的形變來(lái)生成穩(wěn)定視頻.Wang等人[105]使用多平面結(jié)構(gòu)實(shí)現(xiàn)視頻穩(wěn)像.文章首先進(jìn)行平面檢測(cè)：根據(jù)多視角幾何的平面單應(yīng)變換產(chǎn)生的重投影誤差來(lái)將特征軌跡進(jìn)行分類(lèi)，相同類(lèi)型的特征軌跡位于同一平面；然后對(duì)每個(gè)平面進(jìn)行單獨(dú)特征軌跡平滑操作；最后使用保存內(nèi)容的圖像形變[82]來(lái)融合圖中所有平滑過(guò)的平面，生成最終穩(wěn)定視頻.

2) 幾何約束條件法

幾何約束條件法不直接進(jìn)行相機(jī)3D運(yùn)動(dòng)重建，而是尋找一些重要的幾何約束條件，將復(fù)雜3D運(yùn)動(dòng)重建過(guò)程近似為遵循這些約束條件的求解問(wèn)題.

Goldstein等人[106]提出一種穩(wěn)像方案，將計(jì)算復(fù)雜的3D運(yùn)動(dòng)恢復(fù)簡(jiǎn)化為簡(jiǎn)單的像素點(diǎn)與極線的幾何約束條件.這種方法可以獲得接近3D方法的穩(wěn)像結(jié)果，同時(shí)增強(qiáng)了穩(wěn)健性并減小了運(yùn)算開(kāi)銷(xiāo).方案首先使用KLT法來(lái)跟蹤特征點(diǎn)，然后計(jì)算包含了相機(jī)運(yùn)動(dòng)信息的基礎(chǔ)矩陣，再使用Gaussian濾波器完成估計(jì)平滑，最后使用對(duì)極點(diǎn)轉(zhuǎn)移法[107]來(lái)確定平滑后特征點(diǎn)的位置.Hsu等人[108]基于單應(yīng)一致性約束提出一種穩(wěn)像算法.作者認(rèn)為穩(wěn)定視頻應(yīng)滿足2個(gè)條件：一是平滑的運(yùn)動(dòng)軌跡，二是連貫的幀間過(guò)渡.傳統(tǒng)方法大多只解決第1個(gè)問(wèn)題，它們需要合適的、特定場(chǎng)景的參數(shù)設(shè)置，無(wú)法通用于不同場(chǎng)景.針對(duì)此問(wèn)題，作者使用KLT跟蹤器跟蹤Harris角點(diǎn)來(lái)進(jìn)行特征點(diǎn)匹配，并基于單應(yīng)一致性的幾何約束來(lái)直接提取最佳平滑軌跡并使得幀間過(guò)渡均勻分布.

2.2 借助傳感器穩(wěn)像

隨著微機(jī)電(micro-electro-mechanical system，MEMS)傳感器近些年在智能設(shè)備中的逐漸普及并且精度越來(lái)越高，基于MEMS傳感器的視頻穩(wěn)像的新興方案逐漸出現(xiàn).傳感器用來(lái)獲取相機(jī)運(yùn)動(dòng)極大簡(jiǎn)化了運(yùn)動(dòng)估計(jì)的計(jì)算量，且可以應(yīng)用在特征點(diǎn)不明顯甚至無(wú)法檢測(cè)到特征點(diǎn)情況下，提高視頻穩(wěn)像的穩(wěn)健性.

Ryu等人[109]使用慣性傳感器獲取3D旋轉(zhuǎn)信息來(lái)預(yù)測(cè)特征點(diǎn)初始位置，使其盡量接近跟蹤搜索范圍，以加速特征點(diǎn)跟蹤.方案將傳感器與KLT跟蹤器結(jié)合，采用相機(jī)3D旋轉(zhuǎn)模型，并且引入受啟發(fā)于人眼前庭動(dòng)眼反射的方法來(lái)完成視頻穩(wěn)像.Karpenko等人[110]聲稱(chēng)，他們率先使用陀螺儀來(lái)解決手機(jī)應(yīng)用的數(shù)字視頻防抖.作者使用陀螺儀獲取相機(jī)3D旋轉(zhuǎn)信息，并使用相機(jī)3D旋轉(zhuǎn)模型建模解決視頻穩(wěn)像問(wèn)題.作者指出，使用3D旋轉(zhuǎn)運(yùn)動(dòng)模型的原因有3點(diǎn)：1)加速度傳感器需要二次積分運(yùn)算來(lái)獲取位移信息，然而二次積分帶來(lái)的誤差太大，嚴(yán)重影響平移參量估計(jì)的準(zhǔn)度；2)即便獲取精確的平移參量，沒(méi)有深度信息它們也無(wú)法用于穩(wěn)像；3)旋轉(zhuǎn)是造成視頻抖動(dòng)的主要原因，平移帶來(lái)的抖動(dòng)相對(duì)于選擇而言可以忽略.Hanning等人[111]使用加速度傳感器和陀螺儀傳感器，采用3D旋轉(zhuǎn)畸變模型來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)，并使用擴(kuò)展Kalman濾波器EKF進(jìn)行運(yùn)動(dòng)平滑，實(shí)現(xiàn)視頻穩(wěn)像.Jia等人[112-113]基于流體優(yōu)化法提出一種使用陀螺儀的穩(wěn)像方案，針對(duì)已標(biāo)定相機(jī)使用3D旋轉(zhuǎn)運(yùn)動(dòng)模型，利用流形黎曼幾何法來(lái)平滑視頻幀的相機(jī)旋轉(zhuǎn)矩陣，將運(yùn)動(dòng)平滑規(guī)劃為基于測(cè)地距的非線性流形約束回歸問(wèn)題.為解決構(gòu)建的流形約束平滑問(wèn)題，方案使用黎曼幾何計(jì)算目標(biāo)函數(shù)的梯度和海森矩陣，并且將歐氏空間中的二度量映射算法擴(kuò)展到非線性流形結(jié)構(gòu)中，以提高解決流形優(yōu)化問(wèn)題的效率.作為Karpenko等人[110]工作的續(xù)篇，Bell等人[114]針對(duì)定焦已標(biāo)定相機(jī)，采用投影相機(jī)模型，借助陀螺儀傳感器完成相機(jī)3D旋轉(zhuǎn)抖動(dòng)的穩(wěn)像.文章提供一種非線性濾波方法，去掉所有小幅運(yùn)動(dòng)(不管其頻率)，對(duì)于大幅運(yùn)動(dòng)，采用平滑相機(jī)角速度的方法來(lái)輸出平滑運(yùn)動(dòng).另外一種方案，Sun[115]使用深度攝像頭解決視頻穩(wěn)像問(wèn)題，由于深度攝像頭輸出的深度信息有噪聲、深度圖像不完整且分辨率低，作者將深度圖像與原圖像結(jié)合來(lái)進(jìn)行相機(jī)3D運(yùn)動(dòng)估計(jì)，即在2D特征點(diǎn)基礎(chǔ)上使用深度信息完成相機(jī)3D運(yùn)動(dòng)估計(jì)并最終完成視頻穩(wěn)像.

這些使用傳感器來(lái)輔助完成相機(jī)運(yùn)動(dòng)估計(jì)的方法的優(yōu)點(diǎn)是減小了視頻穩(wěn)像算法的運(yùn)算量，能夠適用于計(jì)算能力相對(duì)較弱的智能設(shè)備.

2.3 本節(jié)小結(jié)

不同于傳統(tǒng)技術(shù)的“黃金3步曲”，新興穩(wěn)像技術(shù)試圖平衡效果和速度這一對(duì)矛盾，力求用接近傳統(tǒng)2D方案的計(jì)算復(fù)雜度來(lái)達(dá)到近似傳統(tǒng)3D方案的穩(wěn)像效果.本節(jié)將新興方案分為2類(lèi)：新興2D穩(wěn)像技術(shù)和借助傳感器穩(wěn)像技術(shù).新興2D穩(wěn)像將相機(jī)3D運(yùn)動(dòng)重建過(guò)程的約束條件放松，繞過(guò)復(fù)雜的3D重建操作，從特征軌跡和幾何約束條件2個(gè)方面尋找新的穩(wěn)像方案；借助傳感器穩(wěn)像方案將運(yùn)動(dòng)估計(jì)過(guò)程由傳統(tǒng)圖像處理方法轉(zhuǎn)化為更加簡(jiǎn)單高效的硬件方法，極大提高運(yùn)動(dòng)估計(jì)速度，簡(jiǎn)化穩(wěn)像過(guò)程.

3 總結(jié)與展望

3.1 總 結(jié)

本文對(duì)數(shù)字視頻穩(wěn)像技術(shù)進(jìn)行了調(diào)研和綜述.數(shù)字穩(wěn)像技術(shù)發(fā)展的近40年間，從最初簡(jiǎn)單2D穩(wěn)像技術(shù)發(fā)展到3D穩(wěn)像，再發(fā)展到新興2D穩(wěn)像技術(shù)以及借助傳感器穩(wěn)像技術(shù).

Fig. 4 Development of DVS techniques圖4 數(shù)字視頻穩(wěn)像技術(shù)發(fā)展

最初簡(jiǎn)單2D穩(wěn)像技術(shù)流行，一方面是因?yàn)楫?dāng)時(shí)視頻設(shè)備的計(jì)算能力較弱，另一方面是因?yàn)楫?dāng)時(shí)視頻質(zhì)量較差，2D穩(wěn)像可以達(dá)到應(yīng)用需求.隨著穩(wěn)像技術(shù)的深入研究、視頻設(shè)備計(jì)算體能的提高以及特征匹配問(wèn)題的精確解決等一系列因素的驅(qū)動(dòng)，3D穩(wěn)像技術(shù)逐漸發(fā)展成熟并得以應(yīng)用.近幾年，隨著智能終端設(shè)備占據(jù)主流市場(chǎng)，智能傳感器的使用越來(lái)越普及，以及人們對(duì)于應(yīng)用時(shí)效性的要求越來(lái)越高，研究者開(kāi)始研究尋找更高效同時(shí)穩(wěn)像效果接近3D穩(wěn)像技術(shù)的方案，并取得了不錯(cuò)的成果，新興2D穩(wěn)像技術(shù)和借助傳感器的穩(wěn)像技術(shù)涌現(xiàn)出來(lái)，并突破了傳統(tǒng)穩(wěn)像技術(shù)的固定框架.這些技術(shù)的共同特點(diǎn)是用更簡(jiǎn)單的計(jì)算量達(dá)到接近3D穩(wěn)像的效果.本文對(duì)數(shù)字視頻穩(wěn)像技術(shù)發(fā)展的總結(jié)如圖4所示：

3.2 展 望

通過(guò)對(duì)數(shù)字視頻穩(wěn)像技術(shù)發(fā)展的總結(jié)分析，本文展望數(shù)字視頻技術(shù)發(fā)展趨勢(shì)和挑戰(zhàn)熱點(diǎn)為：

1) 視覺(jué)處理與傳感器深入融合

即傳統(tǒng)圖像處理法與傳感器的深入融合.在機(jī)器視覺(jué)和機(jī)器人應(yīng)用中，視覺(jué)處理和傳感器融合的方法應(yīng)用較成熟.但在視頻穩(wěn)像應(yīng)用中，鑒于設(shè)備計(jì)算能力和成本問(wèn)題，二者融合的方案還并不多見(jiàn).如何有效利用智能終端設(shè)備中的傳感器資源，使之與圖像處理算法更加高效地融合，會(huì)成為將來(lái)視頻穩(wěn)像技術(shù)的一個(gè)研究點(diǎn).

2) 新型傳感器的出現(xiàn)

陀螺儀等角速度傳感器在視頻穩(wěn)像中的應(yīng)用很多，而且效果不錯(cuò).然而正如一些研究者在其研究成果的不足之處所提到的，借助傳感器的方案都將運(yùn)動(dòng)模型選擇為旋轉(zhuǎn)模型，而忽略了平移對(duì)視頻抖動(dòng)的影響.理由是視頻抖動(dòng)主要由選擇運(yùn)動(dòng)造成，因?yàn)橐话闱闆r下場(chǎng)景離相機(jī)較遠(yuǎn).在智能終端設(shè)備普及的當(dāng)前時(shí)代，室內(nèi)或其他近距離視頻應(yīng)用場(chǎng)景越來(lái)越多，此時(shí)平移運(yùn)動(dòng)造成的抖動(dòng)并不能簡(jiǎn)單忽略.另一方面，從學(xué)術(shù)研究角度看，完整的3D穩(wěn)像研究也是必要的.當(dāng)前加速度傳感器無(wú)法直接用于精度要求較高的視頻穩(wěn)像應(yīng)用，如果有精度更高的新型傳感器出現(xiàn)，能夠滿足視頻穩(wěn)像的精度要求，則平移估計(jì)問(wèn)題就迎刃而解.

3) 實(shí)時(shí)運(yùn)動(dòng)補(bǔ)償?shù)难芯?/p>

不管是傳統(tǒng)技術(shù)還是新興技術(shù)，都涉及到運(yùn)動(dòng)補(bǔ)償?shù)膯?wèn)題，它的處理速度制約著視頻穩(wěn)像的處理速度.目前運(yùn)動(dòng)補(bǔ)償常用的是Gaussian濾波器以及Kalman濾波器.Gaussian濾波器平滑效果很好，但適用于線下處理，即需要知道更多的運(yùn)動(dòng)狀態(tài)(包括過(guò)去的和將來(lái)的)；Kalman濾波器能夠預(yù)測(cè)將來(lái)狀態(tài)，但沒(méi)有Gassian平滑效果好.如今智能終端設(shè)備對(duì)于應(yīng)用的實(shí)時(shí)要求越來(lái)越高，例如實(shí)時(shí)視頻聊天，急需更高效的實(shí)時(shí)運(yùn)動(dòng)平滑濾波器.

[1]Liu Feng, Gleicher M, Wang Jue, et al. Subspace video stabilization[J]. ACM Trans on Graphics, 2011, 30(1): 623-636

[2]Rawat P, Singhai J. Review of motion estimation and video stabilization techniques for hand held mobile video[J]. International Journal of Signal & Image Processing, 2011, 2(2): 159-168

[3]Ko S J, Lee S H, Lee K H. Digital image stabilizing algorithms based on bit-plane matching[J]. IEEE Trans on Consumer Electronics, 1998, 44(3): 617-622

[4]Morimoto C, Chellappa R. Automatic digital image stabilization[COL]Proc of IEEE Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 1996 [2016-02-19]. https:www.researchgate.netpublication247372692_Automatic_Digital_Image_Stabilization

[5]Irani M, Rousso B, Peleg S. Recovery of ego-motion using image stabilization[C]Proc of Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 1994: 454-460

[6]Chen Ting. Video stabilization algorithm using a block-based parametric motion model, EE392J[R]. Palo Alto, CA: Stanford University, 2000

[7]Bhaskar H, Bez H E. A novel block motion estimation model for video stabilization applications[C]Proc of Int Conf on Informatics in Control, Automation and Robotics. Piscataway, NJ: IEEE, 2007: 303-306

[8]Vella F, Castorina A, Mancuso M, et al. Digital image stabilization by adaptive block motion vectors filtering[J]. IEEE Trans on Consumer Electronics, 2002, 48(3): 796-801

[9]Vella F, Castorina A, Mancuso M, et al. A robust digital image stabilization algorithm using block motion vectors[C]Proc of Int Conf on Consumer Electronics. Piscataway, NJ: IEEE, 2002: 234-235

[10]Yang S H, Jheng F M. An adaptive image stabilization technique[C]Proc of IEEE Int Conf on Systems, Man and Cybernetics. Piscataway, NJ: IEEE, 2006: 1968-1973

[11]Battiato S, Puglisi G, Bruna A R. A robust video stabilization system by adaptive motion vectors filtering[C]Proc of ICME. Piscataway, NJ: IEEE, 2008: 373-376

[12]Chen Homer H, Liang Chiakai, Peng Yuchun, et al. Integration of digital stabilizer with video codec for digital video cameras[J]. IEEE Trans on Circuits & Systems for Video Technology, 2007, 17(7): 801-813

[13]Puglisi G, Battiato S. A Robust image alignment algorithm for video stabilization purposes[J]. IEEE Trans on Circuits & Systems for Video Technology, 2011, 21(10): 1390-1400

[14]Tang Chongwu, Yang Xiaokang, Chen Li, et al. A fast video stabilization algorithm based on block matching and edge completion[C]Proc of the 13th IEEE Int Workshop on Multimedia Signal Processing. Piscataway, NJ: IEEE, 2011: 1-5

[15]Foroosh H, Zerubia J, Berthod M. Extension of phase correlation to subpixel registration[J]. IEEE Trans on Image Processing, 2002, 11(3): 188-200

[16]Li Min, Biswas M, Kumar S. DCT-based phase correlation motion estimation[C]Proc of Int Conf on Image Processing. Piscataway, NJ: IEEE, 2004: 445-448

[17]Kumar S, Biswas M, Nguyen T. Efficient phase correlation motion estimation using approximate normalization[C]Proc of the 38th Asilomar Conf on Signals Systems and Computers. Piscataway, NJ: IEEE, 2004: 1727-1730

[18]Bi Lingyan, Chan Kowkping, Yu Yinglin. Modified CLT-domain motion estimation based on phase correlation[J]. Journal of Electronics, 2004, 21(2): 110-115

[19]Argyriou V, Vlachos T. A study of sub-pixel motion estimation using phase correlation[C]Proc of the British Machine Vision Conf. Durham, UK: BMVA, 2006: 387-396

[20]Ahmed J, Jafri M N. Improved phase correlation matching[G]Image and Signal Processing. Berlin: Springer, 2008: 128-135

[21]Yan Hongshi, Liu Jianguo. Robust phase correllation based motion estimation and its applications[C]Proc of the British Machine Vision Conf. Durham, UK: BMVA, 2008: 1045-1054

[22]Vera E, Torres S. Subpixel accuracy analysis of phase correlation registration methods applied to aliased imagery[C]Proc of the 16th European Signal Processing Conf. Piscataway, NJ: IEEE, 2008: 1-5

[23]Liu Yangke, De Jifu, Li Bo, et al. Real-time global motion vectors estimation based on phase correlation and gray projection algorithm[C]Proc of the 2nd Int Congress on Image and Signal Processing. Piscataway, NJ: IEEE, 2009: 1-5

[24]Chen Yueting, Wu Jiagu, Li Qi, et al. A windowed phase correlation algorithm for subpixel motion estimation[G]SPIE 7850: Proc of Int Society for Optical Engineering. Bellingham, WA: SPIE, 2010: 2280-2283

[25]Lai Lijun, Xu Zhiyong. Global motion estimation based on Fourier Mellin and phase correlation[C]Proc of the 2nd Int Conf on Civil, Materials and Environmental Sciences. Paris: Atlantis, 2015: 636-639

[26]Erturk S. Digital image stabilization with sub-image phase correlation based global motion estimation[J]. IEEE Trans on Consumer Electronics, 2003, 49(4): 1320-1325

[27]Erturk S. Translation, rotation and scale stabilization of image sequences[J]. Electronics Letters, 2003, 39(17): 1245-1246

[28]Sanjeev K, Haleh A, Mainak B, et al. Real-time affine global motion estimation using phase correlation and its application for digital image stabilization[J]. IEEE Trans on Image Processing, 2011, 20(12): 3406-3418

[29]Jia Ruiming, Zhang Hong, Wang Lei, et al. Digital image stabilization based on phase correlation[C]Proc of IEEE Int Conf on Artificial Intelligence and Computational Intelligence. Piscataway, NJ: IEEE, 2009: 485-489

[30]Zhang Yuefei, Xie Mei, Tang Dongming. A central sub-image based global motion estimation method for in-car video stabilization[C]Proc of the 3rd IEEE Int Conf on Knowledge Discovery and Data Mining. Piscataway, NJ: IEEE, 2010: 204-207

[31]Arnheim R. The perception of the visual world[J]. Journal of Aesthetics & Art Criticism, 1952, 11(2): 231-235

[32]Barron J, Fleet D, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1): 236-242

[33]Lucas B, Kanade T. An iterative image registration technique with an application to stereo vision[C]Proc of Int Joint Conf on Artificial Intelligence. Menlo Park, CA: AAAI, 1981: 674-679

[34]Chang Hungchang, Lai Shanghong, Lu Kuangrong. A robust and efficient video stabilization algorithm[C]Proc of IEEE Int Conf on Multimedia and Expo. Piscataway, NJ: IEEE, 2004: 29-32

[35]Chang J Y, Hu Wenfeng, Cheng Muhuo, et al. Digital image translational and rotational motion stabilization using optical flow technique[J]. IEEE Trans on Consumer Electronics, 2002, 48(1): 108-115

[36]Cai Jinhai, Walker R A. Robust motion estimation for camcorders mounted in mobile platforms[C]Proc of Digital Image Computing: Techniques and Applications. Piscataway, NJ: IEEE, 2008: 491-497

[37]Bouguet J Y. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[R]. Santa Clara, CA: Intel Corporation Microprocessor Research Labs, 2000

[38]Cai Jinhai, Walker R. A Robust video stabilization algorithm using feature point selection and delta optical flow[J]. IET Computer Vision, 2010, 3(4): 176-188

[39]Harris C, Stephens M. A combined corner and edge detector[C]Proc of the 4th Alvey Vision Conf. Durham, UK: BMVA, 1988: 147-151

[40]Edward R, Reid P, Tom D. Faster and better: A machine learning approach to corner detection[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2010, 32(32): 105-119

[41]Shi Jiaobo, Tomasi C. Good features to track[C]Proc of IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 1994: 593-600

[42]Lowe D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[43]Bay H, Tuytelaars T, Gool L V. SURF: Speeded up robust features[J]. Computer Vision & Image Understanding, 2006, 110(3): 404-417

[44]Amisha P. A survey on video stabilization techniques[J]. International Journal of Engineering Sciences & Research Technology, 2015, 4(2): 338-342

[45]Censi A, Fusiello A, Roberto V. Image stabilization by features tracking[C]Proc of IEEE Int Conf on Image Analysis and Processing. Piscataway, NJ: IEEE, 1999: 665

[46]Hu Rong, Shi Rongjie, Shen Ifan, et al. Video stabilization using scale-invariant features[C]Proc of the 17th IEEE Int Conf on Information Visualization. Piscataway, NJ: IEEE, 2007: 871-877

[47]Yang Junlan, Schonfeld D, Mohamed M. Robust video stabilization based on particle filter tracking of projected camera motion[J]. IEEE Trans on Circuits & Systems for Video Technology, 2009, 19(7): 945-954

[48]Shen Yao, Guturu P, Damarla T, et al. Video stabilization using principal component analysis and scale invariant feature transform in particle filter framework[J]. IEEE Trans on Consumer Electronics, 2009, 55(3): 1714-1721

[49]Pinto B, Anurenjan P R. SURF based robust video stabilization using Kalman filter[C]Proc of Int Conf on Technological Trends. Piscataway, NJ: IEEE, 2011 [2016-02-17]. https:www.researchgate.netpublication260384456_SURF_based_Robust_Video_Stabilization_Using_Klman_Filter

[50]Zhou Minqi, Asari V K. A fast video stabilization system based on speeded-up robust features[G]Advances in Visual Computing. Berlin: Springer, 2011: 428-435

[51]Zhang Kun, Xu Tingfa, Wang Ping, et al. Real-time full-frame digital image stabilization system by SURF[J]. Optics & Precision Engineering, 2011, 19(8): 1964-1972 (in Chinese)(張坤, 許廷發(fā), 王平, 等. 高精度實(shí)時(shí)全幀頻SURF電子穩(wěn)像方法[J]. 光學(xué)精密工程, 2011, 19(8): 1964-1972)

[52]Zheng Xie, Cui Shaohui, Wang Gang, et al. Video stabilization system based on speeded-up robust features[C]Proc of Int Industrial Informatics and Computer Engineering Conf. Paris: Atlantis, 2015: 1995-1998

[53]Irani M, Anandan P. About direct methods[G]LNCS 1883: Vision Algorithms: Theory and Practice. Berlin: Springer, 1999: 267-277

[54]Torr P H S, Zisserman A. Feature based methods for structure and motion estimation[G]LNCS 1883: Vision Algorithms: Theory and Practice. Berlin: Springer, 1999: 278-294

[55]Kalman R E. A new approach to linear filtering and prediction problems[J]. Journal of Basic Engineering, 1960, 82(1): 35-45

[56]Valiviita S, Ovaska S J, Vainio O. Polynomial predictive filtering in control instrumentation: A review[J]. IEEE Trans on Industrial Electronics, 1999, 46(5): 876-888

[57]Erturk S. Image sequence stabilization: Motion vector integration (MVI) versus frame position smoothing(FPS)[C]Proc of the 2nd Int Symp on Image and Signal Processing and Analysis. Piscataway, NJ: IEEE, 2001: 266-271

[58]Jahne B B. Digital Image Processing: Concepts, Algorithms and Scientific Applications[M]. Berlin: Springer, 1992

[59]Yasuyuki M, Eyal O, Ge Weina, et al. Full-frame video stabilization with motion inpainting.[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2006, 28(7): 1150-1163

[60]Xu Jie, Chang Huawen, Yang Shuo, et al. Fast feature-based video stabilization without accumulative global motion estimation[J]. IEEE Trans on Consumer Electronics, 2012, 58(3): 993-999

[61]Erturk S. Real-time digital image stabilization using Kalman filters[J]. Real-Time Imaging, 2002, 8(4): 317-328

[62]Litvin A, Konrad J, Karl W C. Probabilistic video stabilization using Kalman filtering and mosaicking[G]SPIE 5022: The Int Society for Optical Engineering. Bellingham, WA: SPIE, 2003: 663-674

[63]Gullu M K, Yaman E, Erturk S. Image sequence stabilisation using fuzzy adaptive Kalman filtering[J]. Electronics Letters, 2003, 39(5): 429-431

[64]Wang Dechong, Liang Aimin. Constraint translational and rotational motion filtering for video stabilization[C]Proc of the 13th European Signal Processing Conf. Piscataway, NJ: IEEE, 2005, 2005: 64-70

[65]Gordon N, Arulampalam M, Maskell S, et al. A tutorial on particle filters for online nonlinearnon-Gaussian Bayesian tracking[J]. IEEE Trans on Signal Process, 2002, 50(2): 174-188

[66]Yang Junlan, Schonfeld D, Chen Chong, et al. Online video stabilization based on particle filters[C]Proc of Int Conf on Image Processing. Piscataway, NJ: IEEE, 2006: 1545-1548

[67]Yang Junlan, Schonfeld D, Mohamed M. Robust video stabilization based on particle filter tracking of projected camera motion[J]. IEEE Trans on Circuits & Systems for Video Technology, 2009, 19(7): 945-954

[68]Chen Bingyu, Lee Kenyi, Huang Weiting, et al. Capturing intention-based full-frame video stabilization[J]. Computer Graphics Forum, 2008, 27(7): 1805-1814

[69]Zhang Fanglue, Wang Jue, Zhao Han, et al. Simultaneous camera path optimization and distraction removal for improving amateur video[J]. IEEE Trans on Image Processing, 2015, 24(12): 5982-5994

[70]Yoo S, Katsaggelos A K, Jo G, et al. Video completion using block matching for video stabilization[C]Proc of the 18th IEEE Int Symp on Consumer Electronics. Piscataway, NJ: IEEE, 2014: 1-2

[71]Hartley R, Zisserman A. Multiple View Geometry in Computer Vision[M]. 2nd ed. Cambridge, UK: Cambridge University Press, 2003

[72]Hartley R. In defense of the eight-point algorithm[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1997, 19(6): 580-593

[73]Stewenius H, Nister D, Kahl F, et al. A minimal solution for relative pose with unknown focal length[C]Proc of IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2005: 789-794

[74]Kukelova Z, Bujnak M, Pajdla T. Polynomial eigenvalue solutions to minimal problems in computer vision[J]. IEEE Trans on Software Engineering, 2012, 34(7): 1381-1393

[75]Nister D. An efficient solution to the five-point relative pose problem[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2004, 26(6): 756-770

[76]Li Hongdong, Hartley R. Five-point motion estimation made easy[C]Proc of the 18th Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2006: 630-633

[77]Brückner M, Bajramovic F, Denzler J. Experimental evaluation of relative pose estimation algorithms[C]Proc of the 3rd Int Conf on Computer Vision Theory and Applications. Piscataway, NJ: IEEE, 2008: 431-438

[78]Wang Jungming, Chou Hanping, Chen Seiwang, et al. Video stabilization for a hand-held camera based on 3D motion model[C]Proc of the 16th IEEE Int Conf on Image Processing. Piscataway, NJ: IEEE, 2009: 3477-3480

[79]van Wyk M A, Durrani T S, van Wyj B J. A RKHS interpolator-based graph matching algorithm[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2002, 24(7): 988-995

[80]Zhang Guofeng, Hua Wei, Qin Xueying, et al. Video stabilization based on a 3D perspective camera model[J]. Visual Computer, 2009, 25(11): 997-1008

[81]Liu Feng, Gleicher M, Jin Hailin, et al. Content-preserving warps for 3D video stabilization[J]. ACM Trans on Graphics, 2009, 28(3): 341-352

[82]Lee T H, Lee Y G, Song B C. Fast 3D video stabilization using ROI-based warping[J]. Journal of Visual Communication & Image Representation, 2014, 25(5): 943-950

[83]Ryu Y G, Roh H C, Chung M J. 3D video stabilization for humanoid eyes using vision and inertial sensors inspired by human VOR[C]Proc of IEEE Int Conf on Robotics and Biomimetics. Piscataway, NJ: IEEE, 2010: 1780-1785

[84]Azuma R, Bishop G. Improving static and dynamic registration in an optical seethrough HMD[C]Proc of the 21st Annual Conf on Computer Graphics and Interactive Techniques. New York: ACM, 1994: 197-204

[85]Grassia F S. Practical parameterization of rotations using the exponential map[J]. The Journal of Graphics Tools, 1998, 3(3): 29-48

[86]Hanotaux G, Peroche B. Interactive control of interpolations for animation and modeling[COL]Proc of Graphics Interface. 1993: 201-208 [2016-02-19]. https:www.researchgate.netpublication243782403_Interactive_Control_of_Interpolations_for_Animation_and_Modeling

[87]Johnstone J K, Williams J P. Rational control of orientation for animation[COL]Proc of Graphics Interface. 1995: 179-186[2016-02-19]. https:www.researchgate.netpublication243781796_Rational_control_of_orientation_for_animation

[88]Shoemake K. Animating rotation with quaternion curves[J]. ACM SIGGRAPH Computer Graphics, 1985, 19(3): 245-254

[89]Hsieh C C, Fang Y C, Wang M E, et al. Noise smoothing for VR equipment in quaternions[J]. IIE Transactions, 1998, 30(7): 581-587

[90]Lee J, Shin S Y. Motion fairing[C]Proc of Computer Animation. Piscataway, NJ: IEEE, 1996: 136-143

[91]Lee J, Shin S Y. General construction of time-domain filters for orientation data[J]. IEEE Trans on Visualization and Computer Graphics, 2002, 8(2): 119-128

[92]Morimoto C, Chellappa R. Fast 3D stabilization and mosaic construction[C]Proc of IEEE Computer Society Conf on Computer Vision & Pattern Recognition. Piscataway, NJ: IEEE, 1997: 660-665

[93]Kang Singbing. Survey of image-based rendering techniques[G]SPIE 4067: The Int Society for Optical Engineering. Bellingham, WA: SPIE, 1997: 2-16

[94]Shade J, Gortler S, He Liwei, et al. Layered depth images[C]Proc of the 25th Annual Conf on Computer Graphics and Interactive Techniques. New York: ACM, 1998: 231-242

[95]Kang S B, Dinh H Q. Multi-layered image-based rendering[J]. Graphics Interface, 1999, 1(7): 2-13

[96]Buehler C, Bosse M, Mcmillan L, et al. Unstructured lumigraph rendering[C]Proc of Association for Computing Machinery. New York: ACM, 2001: 425-432

[97]Buehler C, Bosse M, Mcmillan L. Non-metric image-based rendering for video stabilization[C]Proc of the 2001 IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2001: 609-614

[98]Wang Yushuen, Liu Feng, Hsu Pushen, et al. Spatially and temporally optimized video stabilization[J]. IEEE Trans on Visualization & Computer Graphics, 2013, 19(8): 1354-1361

[99]Lee Kenyi, Chuang Yungyu, Chen Bingyu, et al. Video stabilization using robust feature trajectories[C]Proc of IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2009: 1397-1404

[100]Tomasi C, Kanade T. Shape and motion from image streams under orthography: A factorization method[J]. International Journal of Computer Vision, 1992, 9(2): 137-154

[101]Ryu Y G, Chung M J. Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation[J]. IEEE Signal Processing Letters, 2012, 19(4): 223-226

[102]Ringaby E, Forssén P E. Efficient video rectification and stabilization for cell-phones[J]. International Journal of Computer Vision, 2012, 96(3): 335-352

[103]Liu Shuaicheng, Yuan Lu, Tan Ping, et al. Bundled camera paths for video stabilization[J]. ACM Trans on Graphics, 2013, 32(4): 96-96

[104]Bai J, Agarwala A, Agrawala M, et al. User-assisted video stabilization[C]Proc of the 25th Eurographics Symp on Rendering. New York: ACM, 2014: 61-70

[105]Wang Zhongqiang, Zhang Lei, Huang Hua. Multiplane video stabilization[C]Proc of Computer Graphics Forum. Hoboken, NJ: John Wiley & Sons, 2013: 265-273

[106]Goldstein A, Fattal R. Video stabilization using epipolar geometry[J]. ACM Trans on Graphics, 2012, 31(5): 573-587

[107]Laveau S, Faugeras O. 3-D scene representation as a collection of images[C]Proc of the 12th Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 1994: 689-691

[108]Hsu Yufeng, Chou Chengchuan, Shih Mingyu. Moving camera video stabilization using homography consistency[C]Proc of the 19th IEEE Int Conf on Image Processing. Piscataway, NJ: IEEE, 2012: 2761-2764

[109]Ryu Y G, Roh H C, Chung M J. Video stabilization for robot eye using IMU-aided feature tracker[C]Proc of IEEE Int Conf on Control Automation and Systems. Piscataway, NJ: IEEE, 2010: 1875-1878

[110]Karpenko A, Jacobs D, Baek J, et al. Digital video stabilization and rolling shutter correction using gyroscopes[R]. Palo Alto, CA: Stanford University, 2011

[111]Hanning G, Forslow N, Forssen P E, et al. Stabilizing cell phone video using inertial measurement sensors[C]Proc of IEEE Int Conf on Computer Vision Workshops. Piscataway, NJ: IEEE, 2011: 1-8

[112]Jia Chao, Evans B L. 3D rotational video stabilization using manifold optimization[C]Proc of Int Conf on Acoustics, Speech, and Signal Processing. Piscataway, NJ: IEEE, 2013: 2493-2497

[113]Jia Chao, Evans B L. Constrained 3D rotation smoothing via global manifold regression for video stabilization[J]. IEEE Trans on Signal Processing, 2014, 62(13): 3293-3304

[114]Bell S, Troccoli A, Pulli K. A non-linear filter for gyroscope-based video stabilization[C]Proc of European Conf on Computer Vision. Berlin: Springer, 2014: 294-308

[115]Sun Jian. Video stabilization with a depth camera[C]Proc of IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 89-95

Xie Wei, born in 1974. PhD. Professorate Senior Engineer. His main research interests include IC design and image processing.

He Zhiqiang, born in 1963. Professor, PhD supervisor. Member of CCF. His main research interests include computer architecture and computer application technology.

Digital Video Stabilization Techniques: A Survey

Wei Shanshan1,2, Xie Wei2, and He Zhiqiang3

1(SchoolofComputerScienceandEngineering,BeihangUniversity,Beijing100191)2(SoCCenter,LenovoCorporateResearch&Development,Beijing100085)3(Ecosystem&CloudServicesBusinessGroup,LenovoGroup,Beijing100085)

Digital video stabilization (DVS) techniques have been developing for over 30 years. The improvement of device computing ability, the research on related algorithms as well as the market needs have always been driving the development of DVS techniques: from simple solutions aimed at computing simplicity in early years to complex solutions aimed at stabilization effect, and further to advanced solutions trying to meet both computing simplicity and stabilization effect in recent years. In this survey, we first analyze the existing DVS techniques chronologically and then classify them into two basic catalogues: traditional techniques and emerging techniques. Traditional techniques are strictly based on typical motion models and rely on image processing algorithms for motion estimation. Emerging techniques relax the motion models and introduce novel techniques for motion estimation. According to the motion model they adopt, the traditional techniques are further divided into traditional 2D techniques and traditional 3D techniques. Similarly, the emerging techniques are further divided into emerging 2D techniques and sensor-based techniques. In each technique survey, we first analyze the key techniques it relies on and then list its applications in DVS. Finally, we summarize the existing DVS techniques and look into the challenges and developing trend of DVS techniques in the future.

digital video; stabilization; survey; traditional techniques; emerging techniques

his BSc and MSc degrees in computer science in North China Electric Power University in 2008 and 2011. Currently PhD candidate of computer science and technology in Beihang University. His main research interests include image processing and computer vision.

2016-02-19；

2016-12-09

TP391