電子穩(wěn)像中的參考幀選擇策略

黃文娟，王敬東，薛重飛，王 崟

?

電子穩(wěn)像中的參考幀選擇策略

黃文娟，王敬東，薛重飛，王 崟

（南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210016）

在電子穩(wěn)像中合理的選擇參考幀是全局運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)幕A(chǔ)。為了解決傳統(tǒng)參考幀選擇策略帶來(lái)的幀間跳變的缺陷，給出一種基于累積變換的參考幀更新策略，通過(guò)相鄰幀間運(yùn)動(dòng)參數(shù)的累積變換得到當(dāng)前幀相對(duì)于第一幀的累積全局運(yùn)動(dòng)參數(shù)，統(tǒng)一了補(bǔ)償基準(zhǔn)，并針對(duì)過(guò)程中產(chǎn)生的累積誤差問(wèn)題，通過(guò)設(shè)定匹配閾值調(diào)整參考幀更換條件，減少參數(shù)的傳遞次數(shù)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法能夠有效解決幀間跳變問(wèn)題，緩解誤差的累積進(jìn)程，輸出平穩(wěn)的結(jié)果視頻。

全局運(yùn)動(dòng)估計(jì)；參考幀選??；累積變換參數(shù)；累積誤差

0 引言

隨著攝像設(shè)備的日益廣泛以及攝像平臺(tái)的多樣化，電子穩(wěn)像技術(shù)[1]成為視頻處理應(yīng)用中不可或缺的一部分。電子穩(wěn)像的主要部分是運(yùn)動(dòng)估計(jì)[2]和運(yùn)動(dòng)校正[3]兩大模塊，其中最核心的是全局運(yùn)動(dòng)參數(shù)的估計(jì)，它的估計(jì)精度決定了系統(tǒng)的抖動(dòng)校正性能。

在全局運(yùn)動(dòng)參數(shù)估計(jì)和運(yùn)動(dòng)補(bǔ)償[4]部分，由于參數(shù)計(jì)算以及補(bǔ)償過(guò)程都具有一定相對(duì)性，都是當(dāng)前幀針對(duì)某一幀而言，所以合理的選擇參考幀顯得尤為重要，不同的選擇策略會(huì)帶來(lái)不同的穩(wěn)像效果。迄今為止國(guó)內(nèi)外也有很多相應(yīng)的研究，通常，根據(jù)拍攝內(nèi)容、目的和方式的不同，參考幀選取方式主要分為兩種：固定參考幀模式和相鄰參考幀[5]模式，對(duì)此，國(guó)外波士頓大學(xué)的Andrew Litvin等人對(duì)其進(jìn)行了深入研究[6]，國(guó)內(nèi)長(zhǎng)春光學(xué)精密機(jī)械與物理研究所的鐘平、西安電子科技大學(xué)的朱娟娟等人[7-8]也進(jìn)行了相應(yīng)的翻譯和應(yīng)用工作。對(duì)于攝像系統(tǒng)保持不動(dòng)或者運(yùn)動(dòng)幅度較小的情況，固定參考幀模型是首選，簡(jiǎn)單的說(shuō)就是在一段視頻中，一直以固定的某一幀作為所有視頻幀的參考幀，進(jìn)行全局運(yùn)動(dòng)估計(jì)，這種參考幀選取方式計(jì)算量小，不需要實(shí)時(shí)的變換參考幀，算法的魯棒性好。但是隨著攝像機(jī)的運(yùn)動(dòng)，圖像會(huì)逐漸發(fā)生變化，幀間重疊區(qū)域慢慢減小，視頻中無(wú)定義區(qū)域[9]不斷增大甚至導(dǎo)致穩(wěn)像失敗，這時(shí)就需要變換參考幀，而參考幀變換準(zhǔn)則的不同，會(huì)直接影響到穩(wěn)像的效果。

本文對(duì)全局運(yùn)動(dòng)估計(jì)進(jìn)行了深入的研究，針對(duì)更換參考幀的原理和存在的問(wèn)題進(jìn)行了分析，采用基于累積變換的參考幀選取策略進(jìn)行了初步改進(jìn)，解決了穩(wěn)像過(guò)程中出現(xiàn)的視頻幀突變問(wèn)題，達(dá)到了良好的穩(wěn)像效果；隨后針對(duì)改進(jìn)過(guò)程中出現(xiàn)的累積誤差[10]問(wèn)題，在初步改進(jìn)基礎(chǔ)上對(duì)參考幀更新準(zhǔn)則進(jìn)行了調(diào)整，通過(guò)設(shè)定匹配閾值降低了參考幀更換頻率，大大減少了參數(shù)的傳遞，改善了累積誤差。本文算法已通過(guò)編程具體實(shí)現(xiàn)，并通過(guò)實(shí)驗(yàn)對(duì)算法的有效性和準(zhǔn)確性進(jìn)行了驗(yàn)證。

1 視頻穩(wěn)像中的更新參考幀策略及其存在的問(wèn)題

圖1(a)為更新參考幀方式，常用的更新準(zhǔn)則有兩種，第一種是設(shè)定一個(gè)最大的運(yùn)動(dòng)矢量閾值，當(dāng)檢測(cè)到的運(yùn)動(dòng)量超過(guò)這個(gè)閾值，就放棄原參考幀，將當(dāng)前幀作為參考幀繼續(xù)穩(wěn)像；第二種是間隔固定幀數(shù)重新選取一幀作為參考幀，不管是哪一種變換策略，都會(huì)對(duì)穩(wěn)像效果帶來(lái)負(fù)面的影響。

第一種方法的主要問(wèn)題在于：在更新參考幀前后，視頻幀中所拍攝的場(chǎng)景在空間位置上會(huì)發(fā)生相對(duì)變化，如果此差異較明顯，視覺(jué)上即表現(xiàn)為圖像序列的突變，即一段時(shí)間內(nèi)視頻中的景物在某一位置，更新參考幀后它們就突變到了下一個(gè)位置。圖1(b)反映了參考幀更新前后過(guò)程，矩形表示視頻幀，射線代表相機(jī)的意向運(yùn)動(dòng)方向，虛線陰影為第2幀與第1幀的場(chǎng)景重疊部分，實(shí)線陰影為第3幀與第1幀的場(chǎng)景重疊部分。首先以第1幀為參考幀，假設(shè)第2幀檢測(cè)到的運(yùn)動(dòng)量在設(shè)定閾值范圍之內(nèi)，則以第1幀為參考幀進(jìn)行抖動(dòng)分量的補(bǔ)償；假設(shè)第3幀檢測(cè)到的運(yùn)動(dòng)量超過(guò)了設(shè)定閾值，則做出實(shí)時(shí)調(diào)整，用第3幀原始圖像代替穩(wěn)定幀直接輸出，并將其更新為參考幀，繼續(xù)進(jìn)行后續(xù)視頻幀的處理直到下一次更換參考幀?？梢钥闯?，分別擔(dān)任參考幀的第1幀與第3幀之間重疊區(qū)域較小，場(chǎng)景空間位置發(fā)生明顯變化，此時(shí)就會(huì)出現(xiàn)視頻幀的“跳變”現(xiàn)象，可參看第3章實(shí)驗(yàn)結(jié)果中的示例。

第二種方法的主要問(wèn)題在于：處理較機(jī)械，更新幀數(shù)固定，不具有自適應(yīng)性，若更換前后的兩個(gè)參考幀之間重疊區(qū)域較小，同樣會(huì)出現(xiàn)幀間跳變；否則說(shuō)明原參考幀對(duì)后續(xù)幀仍有參考作用，不必更換。

2 基于累積參數(shù)的參考幀選取策略

2.1 幀間跳變問(wèn)題的改進(jìn)

通過(guò)對(duì)上述分析可以知道，幀間“跳變”問(wèn)題之所以存在，是因?yàn)樵谔幚磉^(guò)程中相當(dāng)于將視頻分成了若干段，每一段分別以不同的參考幀為基準(zhǔn)進(jìn)行參數(shù)的計(jì)算與補(bǔ)償，由于不同的參考幀之間存在場(chǎng)景空間的差異，所以會(huì)出現(xiàn)“跳變”，因此解決辦法就是讓所有視頻幀在同一個(gè)基準(zhǔn)下進(jìn)行參數(shù)的計(jì)算和補(bǔ)償，通常將這個(gè)“基準(zhǔn)”定為視頻的第1幀。具體方法如圖2(a)所示：即對(duì)每相鄰的兩幀圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，對(duì)這些全局運(yùn)動(dòng)矢量進(jìn)行累積，以累積后的運(yùn)動(dòng)矢量作為相對(duì)于第1幀的全局運(yùn)動(dòng)矢量，然后通過(guò)對(duì)該矢量的濾波得到意向運(yùn)動(dòng)部分，并對(duì)當(dāng)前幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。由于全局運(yùn)動(dòng)矢量計(jì)算以及運(yùn)動(dòng)補(bǔ)償最終都是以第1幀為基準(zhǔn)，不存在參考幀之間場(chǎng)景相對(duì)位置的變化，因此也就解決了幀間跳變的問(wèn)題。

2.2 改進(jìn)過(guò)程中累積誤差的出現(xiàn)

但是改進(jìn)后的方法也存在一定缺陷，由于當(dāng)前幀的全局運(yùn)動(dòng)矢量是所有幀間運(yùn)動(dòng)矢量累積的結(jié)果，容易出現(xiàn)累積誤差甚至穩(wěn)像失敗。

圖1 更新參考幀圖示

圖中隨機(jī)選取了實(shí)驗(yàn)視頻后半部分中的5幀，第一行為原視頻幀，第二行為穩(wěn)像后的結(jié)果幀，可以看出，隨著處理時(shí)長(zhǎng)的增加，處理結(jié)果視頻中出現(xiàn)了越來(lái)越大的無(wú)定義區(qū)域，累積誤差越來(lái)越大，處理結(jié)果視頻出現(xiàn)了劇烈的抖動(dòng)，其抖動(dòng)程度甚至超過(guò)了原拍攝視頻，并最終失穩(wěn)。

2.3 累積誤差的改善

初步的改進(jìn)方案雖然解決了幀間跳變的問(wèn)題，卻導(dǎo)致了累積誤差的出現(xiàn)，為了同時(shí)解決這兩個(gè)問(wèn)題，本文在原改進(jìn)方法的基礎(chǔ)上，設(shè)定匹配閾值來(lái)調(diào)節(jié)參考幀的更新，而不是直接對(duì)相鄰兩幀進(jìn)行運(yùn)動(dòng)估計(jì)。此處更新的參考幀只作為中間量，參與后續(xù)視頻幀的全局運(yùn)動(dòng)參數(shù)計(jì)算部分，并不作為補(bǔ)償?shù)幕鶞?zhǔn)，所有視頻幀仍以第1幀為基準(zhǔn)進(jìn)行補(bǔ)償，這樣既解決了幀間突變的問(wèn)題，又降低了參數(shù)計(jì)算時(shí)的參考幀更新頻率，減小了誤差累積的幅度和速度，原理如圖4所示。

首先以第1幀為參考幀進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償，每次更新參考幀之后，后續(xù)幀與更新后的參考幀進(jìn)行匹配并計(jì)算兩幀之間參數(shù)，然后算出其相對(duì)于第1幀的全局運(yùn)動(dòng)參數(shù)，分離出該參數(shù)中的意向運(yùn)動(dòng)部分并進(jìn)行補(bǔ)償。在整個(gè)計(jì)算過(guò)程中，更新后的參考幀擔(dān)任匹配和參數(shù)計(jì)算中間橋梁的作用，第1幀擔(dān)任補(bǔ)償基準(zhǔn)的作用，而參考幀與當(dāng)前幀之間的其他幀不參與該過(guò)程，避免了連續(xù)幀參數(shù)計(jì)算的誤差累積。在每次判斷參考幀更新與否時(shí)本文用匹配閾值來(lái)衡量：若當(dāng)前幀與參考幀的成功匹配點(diǎn)對(duì)數(shù)小于，則更新當(dāng)前幀為參考幀。關(guān)于匹配閾值的選?。河捎谠谌诌\(yùn)動(dòng)參數(shù)計(jì)算時(shí)選取六參數(shù)仿射模型，理論上需要3對(duì)匹配點(diǎn)對(duì)，但實(shí)際計(jì)算時(shí)遠(yuǎn)遠(yuǎn)超過(guò)3對(duì)，一般計(jì)算其最小二乘解。為了充分利用特征點(diǎn)信息，并保證有足夠的匹配點(diǎn)對(duì)參與最終的參數(shù)計(jì)算，這里對(duì)進(jìn)行了下限設(shè)定：當(dāng)參考幀提取到的特征點(diǎn)數(shù)＞100時(shí)，設(shè)為所提取特征點(diǎn)數(shù)的一半即0.5，當(dāng)提取到的特征點(diǎn)數(shù)＜100時(shí)，設(shè)為50。

2.4 基于累積變換的參數(shù)計(jì)算

關(guān)于參數(shù)的計(jì)算，由于每一幀最終得到的全局運(yùn)動(dòng)矢量以及補(bǔ)償矢量都是相對(duì)于第一幀而言，其計(jì)算過(guò)程要經(jīng)過(guò)一個(gè)“累積”的步驟，所以這里將這些參數(shù)統(tǒng)稱為“累積運(yùn)動(dòng)參數(shù)”，其在全局運(yùn)動(dòng)估計(jì)、濾波和補(bǔ)償3個(gè)階段分別對(duì)應(yīng)“累積全局運(yùn)動(dòng)參數(shù)”、“累積意向運(yùn)動(dòng)參數(shù)”和“累積補(bǔ)償參數(shù)”。

圖2 基于累積參數(shù)的參考幀選取

則補(bǔ)償參數(shù)滿足如下公式：

3 實(shí)驗(yàn)結(jié)果及分析

按上述改進(jìn)后的參考幀選取策略以及推導(dǎo)出的累積參數(shù)計(jì)算公式，用VS2010＋OpenCV編程實(shí)現(xiàn)穩(wěn)像過(guò)程，將改進(jìn)前后的穩(wěn)像效果進(jìn)行對(duì)比。

幀間跳變問(wèn)題改進(jìn)前后的效果如圖5所示，第791幀為更新后的參考幀。為了方便比較，選取豎直方向?yàn)槔?，在改進(jìn)前后的第790幀中選取同一個(gè)參照點(diǎn)，即建筑物的右上角，并畫一條穿過(guò)該點(diǎn)的水平線，可以看出，改進(jìn)前第791幀中對(duì)應(yīng)的點(diǎn)在直線下方，并與直線有明顯的距離，說(shuō)明這兩幀之間在豎直方向上出現(xiàn)了較大位移，即幀間跳變?cè)谪Q直方向上的表現(xiàn)，而改進(jìn)后的第791幀中，對(duì)應(yīng)的點(diǎn)仍在直線上，說(shuō)明改進(jìn)后的兩幀在豎直方向上沒(méi)有明顯位移，水平方向同理，綜上，該改進(jìn)方法有效地解決了幀間跳變問(wèn)題。

累積誤差問(wèn)題改進(jìn)前后的效果如圖6所示，依然選取實(shí)驗(yàn)視頻中的對(duì)應(yīng)5幀，圖中第一行為改進(jìn)前的穩(wěn)像結(jié)果，第二行為改進(jìn)后的穩(wěn)像結(jié)果，可以看出，隨著處理時(shí)長(zhǎng)增加，第一行無(wú)定義區(qū)域明顯增加，累積誤差慢慢變大，而第二行沒(méi)有出現(xiàn)明顯的累積誤差，依舊能夠輸出平穩(wěn)的處理幀，有效地緩解了累積誤差的問(wèn)題。

圖5 幀間跳變消除前后對(duì)比圖

幀間變換保真度[12]可以有效地測(cè)量幀間的平滑度，因此被廣泛用來(lái)檢測(cè)視頻穩(wěn)像效果，可以由式(3)計(jì)算得到：

式中：frame是視頻的總幀數(shù)；PSNR()是連續(xù)兩幀(,＋1)的峰值信噪比，可由式(4)計(jì)算得到：

其中：max是最大亮度值。由于峰值信噪比PSNR()可以簡(jiǎn)單有效地測(cè)量?jī)煞鶊D像間的相似度，因此，非常適合用來(lái)對(duì)穩(wěn)像算法進(jìn)行定量的評(píng)價(jià)。

表1是改進(jìn)前后的ITF結(jié)果比較，從結(jié)果來(lái)看，最終算法的ITF值明顯升高，進(jìn)一步說(shuō)明改進(jìn)后的方法具有更好的運(yùn)動(dòng)平滑能力，穩(wěn)像效果更好。

4 結(jié)束語(yǔ)

視頻拍攝過(guò)程中往往伴隨著不希望的旋轉(zhuǎn)、縮放和平移抖動(dòng)，為輸出平穩(wěn)視頻必須將抖動(dòng)從全局運(yùn)動(dòng)軌跡中分離，而全局運(yùn)動(dòng)估計(jì)的精度就顯得尤為重要。本文利用改進(jìn)后的參考幀選取策略來(lái)求取全局運(yùn)動(dòng)參數(shù)，保證了運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，并解決了幀間跳變問(wèn)題，改善了由于累積計(jì)算產(chǎn)生的誤差問(wèn)題，實(shí)驗(yàn)表明，本文方法能夠有效去除抖動(dòng)干擾，達(dá)到良好的穩(wěn)像效果。

圖6 累積誤差改進(jìn)效果對(duì)比圖

表1 穩(wěn)像效果定量評(píng)價(jià)（ITF）

[1] 范永杰, 陳華. 基于MEMS陀螺儀的實(shí)時(shí)電子穩(wěn)像技術(shù)[J]. 紅外技術(shù), 2015, 37(9): 724-727.

FAN Yong-jie, CHEN Hua. Real-time video stabilization system based on MEMS gyroscope[J], 2015, 37(9): 724-727.

[2] TICO M, ALENIUS S, VEHVILAINEN M. Method of motion estimation for image stabilization[C]// 2006,, 2006, 2(2): 277-280.

[3] ICIE P, R. Electronic image stabilization system based on global feature tracking[J].2008, 19(2):228-233.

[4] HUANG J C, HSIEH W S. Automatic feature-based global motion estimation in video sequences[J].2004, 50(3): 911-915.

[5] 張躍飛. 車載攝像機(jī)數(shù)字穩(wěn)像技術(shù)研究[D]. 成都: 電子科技大學(xué), 2011.

Zhang Yuefei. Research on digital image stabilization for in-car video camera[D]., 2011.

[6] LITVIN A, KONRAD J, KARL W C. Probabilistic video stabilization using Kalman filtering and mosaicking[C]//, 2003, 5022: 663-674.

[7] 鐘平, 于前洋, 金光. 基于特征點(diǎn)匹配技術(shù)的運(yùn)動(dòng)估計(jì)及補(bǔ)償方法[J]. 光電子 激光, 2004, 15(1):73-77.

ZHONG Ping, YU Qianyang, JIN Guang. Motion estimation and motion compensation based on matching technology of feature point[J].·, 2004, 15(1):73-77.

[8] 朱娟娟. 電子穩(wěn)像理論及其應(yīng)用研究[D]. 西安: 西安電子科技大學(xué), 2009.

ZHU Juanjuan. Research on Theory and Application of Electronic Image Stabilization[D]. Xi’an: Xidian University, 2009.

[9] 張坤, 許廷發(fā), 王平, 等. 高精度實(shí)時(shí)全幀頻SURF電子穩(wěn)像方法[J]. 光學(xué)精密工程, 2011(8): 1964-1972.

ZHANG Kun, XU Tingfa, WANG Ping, et al. Real-time full-frame digital image stabilization system by SURF[J].,2011 (8):1964-1972.

[10] 許杰, 楊碩, 王明輝. 基于無(wú)累積誤差濾波的數(shù)字穩(wěn)像算法[J]. 計(jì)算機(jī)應(yīng)用研究, 2014(7): 2213-2215.

XU Jie, YANG Shuo, WANG Minghui, et al. Low-pass filter based digital video stabilization without cumulative error [J].2014(7): 2213-2215.

[11] WANG C, KIM J H, BYUN K Y, et al. Robust digital image stabilization using the Kalman filter[J]., 2009, 55(1): 6-14.

[12] 黃晨, 王建軍, 高昕, 等. 電子穩(wěn)像中穩(wěn)像質(zhì)量評(píng)價(jià)方法研究[J]. 激光與紅外, 2013(5): 477-481.

HUANG Chen, WANG Jianjun, GAO Xin, et al. Study on video stabilization performance assessment in electronic image stabilization [J].,2013(5): 477-481.

The Reference Frame Selection Strategy in Electronic Image Stabilization

HUANG Wenjuan，WANG Jingdong，XUE Chongfei，WANG Yin

(,,210016,)

Reasonable selection of reference frames in the electronic image stabilization is the basis of global motion estimation and motion compensation. In order to solve the problem of frame jump caused by the traditional reference frame selection strategy, a reference frame update strategy based on the cumulative transformation is presented in this paper. By the cumulative transformation of the adjacent frames, the cumulative global motion parameter of the current frame with respect to the first frame is obtained, and the compensation standard is unified. Aiming at the problem of cumulative error in the process,the change of the reference frame is adjusted by setting the matching threshold, and the number of parameters is reduced. The experimental results show that this improved algorithm can effectively solve the problem of inter frame jump, alleviate the error accumulation process, and output a smooth video.

global motion estimation，reference frame selection，cumulative transformation parameter，cumulative error

TP391

A

1001-8891(2016)02-0163-05

2015-11-06；

2015-12-10.

黃文娟（1990-），女，江蘇宿遷人，碩士，主要研究方向?yàn)閿?shù)字圖像處理，E-mail：hwjnuaa@163.com。

國(guó)家自然基金（U1531110），中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助（NZ2015202）。