一種基于魯棒背景運動估計的電子穩(wěn)像算法

司書哲，徐晶，任正瑋，田穎，方明

（長春理工大學(xué)　計算機科學(xué)技術(shù)學(xué)院，長春　130022）

一種基于魯棒背景運動估計的電子穩(wěn)像算法

司書哲，徐晶，任正瑋，田穎，方明

（長春理工大學(xué)計算機科學(xué)技術(shù)學(xué)院，長春130022）

當場景中存在較大范圍運動前景時，通常的電子穩(wěn)像算法較難魯棒地提取背景的全局運動。針對這種情況，提出了利用前景運動掩膜和對極幾何關(guān)系抑制錯誤的全局運動估計，進而達到穩(wěn)像的目的。首先，估計相鄰幀間可視化密集光流圖；將該光流圖用顏色直方圖統(tǒng)計各顏色比重，進而分割出運動前景并制作掩膜；利用掩膜刪除掉分布在前景上的光流保留背景光流；之后進一步去除外點，利用剩余的光流進行全局運動估計；最后，采用卡爾曼濾波完成運動補償。三組不同環(huán)境的實驗結(jié)果均表明，該算法能夠有效抑制運動前景對穩(wěn)像結(jié)果的干擾，穩(wěn)像前后圖像的PSNR值提高了近36%，穩(wěn)像效果明顯。

電子穩(wěn)像；密集光流；卡爾曼濾波

電子穩(wěn)像是指通過確定圖像序列幀間映射關(guān)系來確定幀間偏移量，計算出運動估計模型參數(shù)來進行運動補償，目的是去除視頻序列中隨機抖動，獲得穩(wěn)定清晰視頻的技術(shù)［1］。

目前電子穩(wěn)像方法一般采用特征軌跡來進行運動估計，運動模型一般為2D仿射變換或透視變換。威斯康星大學(xué)Liu F利用SFM算法估計相機3D路徑［2］，能夠有效應(yīng)用于復(fù)雜運動，但其需要設(shè)計復(fù)雜的線性濾波器來平滑該3D運動，從運動中恢復(fù)結(jié)構(gòu)，估計出的3D路徑通常是脆弱且耗時。天津大學(xué)朱振伍等人利用CUDA編程加速和卡爾曼預(yù)測為電子穩(wěn)像實時性奠定了基礎(chǔ)［3］，但其使用SURF特征匹配估計幀間運動的技術(shù)容易受前景運動干擾。特別是，當特征軌跡空間分布不均和稀疏時處理起來更加復(fù)雜，其可能在視頻的任意幀開始或結(jié)束，獲取一個長的特征軌跡往往更加困難。Shi J提出了運動分段技術(shù)來檢測不同的運動，進而區(qū)分前景和背景［4］，然而運動分割本身就是一個困難的問題，其需要長的特征軌跡，由于相鄰幀間缺少足夠的運動對比，難以區(qū)分大的運動前景，本文使用密集光流進行運動估計，可以有效避免上述問題。

本文消除前景運動對全局運動的干擾，根據(jù)前景、背景分離的思想，提出了一種基于密集光流可視化顏色分割方法，并利用分割后的掩膜圖濾除不能反應(yīng)全局運動的點，計算幀間基礎(chǔ)矩陣，用RANSAC進一步剔除外點，提高全局運動估計精度。

1　運動估計

1.1密集光流可視化

光流是空間運動物體在觀察成像平面上的像素運動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當前幀之間存在的運動關(guān)系。本文采用文獻5方法估計每個像素的運動矢量。將矢量存于對應(yīng)的像素位置形成密集光流圖。采用Munsell顏色系統(tǒng)可視化該光流［6］。

圖1　Munsell顏色系統(tǒng)

圖1中，南北軸表示明度，從全黑到全白；經(jīng)度表示色相，把一周均分為五種色調(diào)和五種中間色；軸距表示色度（色調(diào)的純度）。這樣可視化的光流圖中，不同顏色表示不同的運動方向，深淺表示運動的快慢。可視化光流圖的效果如圖2所示。其中，（a）和（b）為參考幀圖像和當前幀圖像，場景中人在從右向左運動，同時相機存在不規(guī)則抖動。（c）為所估計的密集光流，（d）為Munsell顏色系統(tǒng)可視化的光流圖。由于背景與運動前景光流大小、方向不同，可視化后前景與背景顏色差異比較大，因此，可以利用顏色分割分離出背景的全局運動。

1.2顏色直方圖實現(xiàn)前景、背景分割

顏色直方圖直觀地顯示了圖像在色彩空間的分布狀況，本文將RGB圖像轉(zhuǎn)換到HSV空間，以色彩（H），飽和度（S）分量建立二維顏色直方圖。其中，H、S分量均被分為8個等級（h-bins=8，s-bins=8），首先計算H分量落在每級內(nèi)的像素數(shù)量，選取H分量像素數(shù)量占最大的前m級；在計算該級下S分量占比重最大的前n級。將計算出的H前m級、S前n級對應(yīng)的HSV轉(zhuǎn)換為RGB，用R、G分量范圍（R-min，R-max），（G-min，G-max）作為顏色分割的閾值，建立前景、背景分割的掩膜，如下式所示：

其中R（p）、G（p）是可視化密集光流圖對應(yīng)p點像素的R、G分量值，其中像素p滿足分割閾值的編碼為1，其余編碼為0，由于光流跟蹤失敗的地方可視化光流顏色為白色，故RGB位于白色范圍內(nèi)編碼為0。

圖3（a）為圖2（d）可視化光流的顏色直方圖，根據(jù)M（p）雙峰特性，本文m=1，n=3。圖3（b）為根據(jù)圖3（a）設(shè)定閾值的掩膜圖。

圖2　幀間光流運動矢量及可視化

圖3　顏色直方圖分割前景、背景效果

1.3對極幾何異常匹配點排除

根據(jù)H-S直方圖建立的掩膜M（P），由于密集光流估計每個點的運動矢量時，難免會產(chǎn)生誤差，用顏色直方圖分割前景、背景時由于閾值設(shè)置的不合適也會導(dǎo)致M（P）的一些點屬于外點，這些異常點會降低全局運動估計的精度。本文采用對極幾何約束來去除這些外點。

如圖4所示，兩個相機光心OlOr的連線稱為基線。通過兩個相機光心OlOr與目標點P構(gòu)成的平面π稱為對極平面。對極平面與相機像平面的交線Ll、Lr為極線。匹配點之間存在極線約束的關(guān)系，即像平面Ll上任意一點p，它在像平面上的匹配點一定位于極線上Lr；同理，像平面上任意一點p′，它在像平面上的匹配點p一定位于極線Ll上。

圖4　對極幾何模型

兩幅圖像的對極幾何約束可用圖像間基礎(chǔ)矩陣描述［7］：p′TFp=0

本文用RANSAC算法，用點數(shù)目=8求解出顏色直方圖分割后背景區(qū)域的基礎(chǔ)矩陣［8］。將計算矩陣時用到的內(nèi)點作為下一步估計全局運動的點，剔除錯誤的外點e。

1.4全局運動參數(shù)的估計

2D運動模型主要分為單應(yīng)性運動模型和仿射性運動模型。單應(yīng)性運動模型可表述多種復(fù)雜運動，但是單應(yīng)性運動模型的參數(shù)的計算復(fù)雜度高且難度大。仿射性運動模型能夠表示相機的平移運動、旋轉(zhuǎn)運動以及縮放，其參數(shù)少，計算簡單。本文采用仿射群中的歐式變換（公式2），它是一個剛體運動模型，包括旋轉(zhuǎn)θ，平移tx、ty等3個變量。

其中，（x，y）為前一幀圖像的任一點坐標，（x′，y′）為當前圖像的對應(yīng)點坐標。公式（3）為其分塊表達形式。

在確定運動模型之后，就要做模型參數(shù)估計，本文使用如下算法來估計全局運動：

前（prev）、后（cur）兩幀圖像使用密集光流估計每個像素點偏移量存入命名為flow的矩陣內(nèi)，得w×h對點對。

｛prev（x，y），cur（x+flow.x，y+flow.y）|0＜x＜w，0＜y＜h｝

forx=0tow//w圖像寬

fory=0toh//h圖像高

if（M（x，y）==1）//掩膜對應(yīng)像素值為1，對應(yīng)點對存入數(shù)組

//依次向vector＜Point2f＞pointArray存入點對

pointArray=

pointArray+｛prev（x，y），cur（x+flow.x，y+flow.y）｝

for i=0 to pointArray.size

if（e！=NULL） //e為不滿足極幾何約束的外點

pointArray=pointArray-e

根據(jù)前后兩幀，滿足全局運動的m個點對存入poinArray，用其求解歐式變換模型參數(shù)。求解最佳的歐式變換，可以轉(zhuǎn)換為求下式最小和：

由公式（6），容易獲得前后兩幀圖像的平移（dx，dy）和旋轉(zhuǎn)角度dθ。估計出的幀間運動矢量作為初始變換矩陣，需要對估計出的運動矢量進行濾波補償。

2　卡爾曼運動濾波

運動估計完成后，獲得歐式變換模型的參數(shù)dθ、dx和dy，記錄此時刻的運動矢量，其為全局運動，包含主動運動和隨機抖動分量。將幀間全局運動矢量累加起來作為圖像運動軌跡：

Δx（t）、Δy（t）和Δθ（t）分別是t時刻圖像x方向、y方向以及角度旋轉(zhuǎn)軌跡。

2.1卡爾曼模型

狀態(tài)模型：

觀測模型：

Δx（）k是圖像軌跡x方向k時刻測量值，其余兩項是k時刻y方向和角度測量值，測量變換矩陣也為3×3單位陣，R為觀測噪聲。可以根據(jù)估計視頻的晃動量設(shè)置，設(shè)定的越小，則濾波器估計的運動越平滑，但更新值對觀測值的反應(yīng)越慢［9］。其中，本文通過大量預(yù)實驗設(shè)置觀測噪聲為0.3。

2.2卡爾曼預(yù)測和更新

將通過幀間全局運動矢量累加計算得圖像軌跡z（k）進行卡爾曼濾波，對其軌跡進行平滑得X（k|k ）。

其中，X初始值可以設(shè)置任意值。P為協(xié)方差矩陣，初始值非0。本文X的初始值為（000）T，P初始值為（111）T。

首先計算最優(yōu)卡爾曼增益，如式（12）所示：

然后用最優(yōu)卡爾曼增益更新X與P；運動濾波后，X為平滑后的圖像路徑。繼而進行相鄰幀補償，補償量是平滑后圖像路徑與原始圖像路徑差量。補償后，建立新的幀間運動矢量，根據(jù)新的矢量對前一幀進行剛體變換。新的幀間運動矢量如式13所示：

圖5　濾波前后幀間偏移量

3　實驗

本文的計算機實驗環(huán)境為雙核3.10GHz處理器、4GB內(nèi)存，算法由VS2010編譯，使用了OpenCV視覺庫，處理640×480的視頻圖像效率為9幀/秒。

表1　三組實驗條件

表1為本文使用的3組實驗環(huán)境，對實驗1分別使用高斯混合模型（GMM）前景提取算法和本文方法進行前景、背景分離，實驗結(jié)果對比如圖6所示。

圖6（a）、（b）是實驗1視頻44、45幀使用高斯混合模型提取的前景，明顯看出抖動的背景（車）也被提取出作為前景。由于視頻是抖動的，故抖動的背景不滿足高斯分布［10］，前景、背景分離效果不理想。圖6（c）、（d）是本文算法處理的效果，比較理想?yún)^(qū)分出了前景運動，可以有效刪除前景運動對全局運動的影響，從而提高全局運動估計的精度。

如圖7（a）、（c）所示，對比矩形框出的輪胎與由中心點畫的十字線位置變化，上下抖動比較明顯。觀察圖7（b）、（d）對應(yīng)位置的變換，對應(yīng)輪胎與中心線的位置一樣，易知抖動得到了明顯的抑制。

實驗2為室外拍攝的視頻，場景內(nèi)無人但由于存在相機掃描運動（圍繞車掃描），因此可能會在背景車上產(chǎn)生視差干擾，從而會降低運動估計的精度。如圖8（a）、（d），相機繞左側(cè)車掃描時產(chǎn)生視差干擾，用本文算法所建的掩膜避免視差干擾。

圖8（b）、（e）存在繞左側(cè)車的一個掃描運動，觀察矩形框區(qū)域大廈的變化，存在因旋轉(zhuǎn)導(dǎo)致的抖動。根據(jù)圖8（c）、（f）矩形框區(qū)域處大廈幾乎相同，本文算法有效解決該抖動。

實驗3場景會在紋理不明顯處跟蹤光流失敗，所以需要去除此處的點，如圖9（a）、（d）所建的掩膜。

圖6　實驗1前景、背景分離對比

圖7　實驗1結(jié)果

圖8　實驗2掩膜圖像及結(jié)果

如圖9所示，由于手持相機存在向前掃描運動且隨機抖動，反應(yīng)在圖9（b）、（e）內(nèi)，矩形框椅子與由中心點畫的十字線位置存在較明顯變化。經(jīng)過本文算法的運動補償后，觀察圖9（c）、（f），椅子與中心線位置幾乎相同，穩(wěn)像效果較明顯。

圖9　實驗3掩膜圖像及結(jié)果

圖10　穩(wěn)像前后PSNR對比圖

本文通過公式14求解峰值信噪比評價兩幀圖像間對應(yīng)像素灰度的偏差值。

MSE（I1，I0）是兩幀圖像間對應(yīng)像素灰度的偏差值，幀間值越大代表圖像的灰度差別越小，穩(wěn)像的效果越好［11］。如圖10所示，穩(wěn)像后值比穩(wěn)像前平均提高約6，根據(jù)公式15，值提高了約36%，說明幀間相似性得到提高。

4　結(jié)論

本論文針對現(xiàn)有的穩(wěn)像算法，大多難以去除運動前景對全局運動估計的影像，提出了一種新的穩(wěn)像算法。該算法使用密集光流估計全局運動，用顏色直方圖建立的掩膜去除前景的運動矢量，再使用RANSAC去除剩余背景運動矢量的外點，采用歐式變換模型，進行卡爾曼濾波。多種實場景的實驗結(jié)果表明，當相機存在隨機抖動時或存在掃描運動時，即使場景中包含劇烈變化的前景干擾，系統(tǒng)的穩(wěn)像效果也非常明顯。本文算法使用了耗時的密集光流，為了提高處理速度，在實時處理時可以采用GPU技術(shù)。

［1］ 王志民，徐曉剛.電子穩(wěn)像技術(shù)綜述［J］.中國圖形圖像學(xué)報，2010，15（3）：2-3.

［2］Liu F，Gleicher M，Jin H，et al.Content-preserving warps for 3d video stabilization［J］.ACM Transactions on Graphics，2009，28（3）：255-231.

［3］ 朱振伍，何凱，王新磊.基于CUDA和卡爾曼預(yù)測的實時電子穩(wěn)像方法［J］.吉林大學(xué)學(xué)報，2015，33（1）：46-50.

［4］Shi J，Malik J.Motion segmentation and tracking using normalized［C］.In IEEE International Conderence on Computer Vision（ICCV），1998：1154-1160.

［5］Gunnar Farneb?ck.Two-Frame Motion Estimation Based on Polynomial Expansion［A］.SCIA'03 Proceedingsofthe13thScandinavianconferenceon Image analysis Pages.Berlin：Springer，2003：363-370.

［6］ Baker Simon，Scharstein Daniel，Lewis J P.A databaseandevaluationmethodologyforopticalflow［J］.International Journal of Computer Vision，2011，92（1）：1-31.

［7］Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.New York：Cambridge University Press，2004：159-176.

［8］ Hartley R I.In defense of the eight-point algorithm ［J］.IEEETransactionsonPatternAnalysisand Machine Intelligence，1997，19（6）：580-593.

［9］ 董晶，楊夏，于起峰.基于單應(yīng)軌跡的視頻實時穩(wěn)像算法［J］.國防科技大學(xué)學(xué)報，2014，36（2）：100-104.

［10］ 宋楊.基于高斯混合模型的運動目標檢測算法研究［D］.大連：大連理工大學(xué)，2008.

［11］ 黃晨，王建軍，高昕，等.電子穩(wěn)像中穩(wěn)像質(zhì)量評價方

法研究［J］.激光與紅外，2013（5）：478-479.

An Electronic Image Stabilization Algorithm Based on Robust Global Motion Estimation

SI Shuzhe，XU Jing，REN Zhengwei，TIAN Ying，F(xiàn)ANG Ming
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

When there is a scope of moving foreground，the common electronic image stabilization algorithm is difficult to be robust extraction of the global motion from background.It restrains the wrong global motion estimation with the use of the moving foreground mask and the epipolar geometry，to reach the goal of image stabilization.Firstly，the visualized dense optical flow between adjacent frames is estimated；then the proporation of this optical flow diagram with the color histogram is got.The moving foreground is detected and the mask is made；with the use of the mask the optical flow distributed in the foreground is removed and the background optical flow is retained.Then，further the exterior points are removed and the global motion estimation with the remaining optical flow is carried out.Finally，Kalman filtering is used to complete the motion compensation.The experiment results in three different environments all show that the interference of the moving foreground can be effectively restrained by this algorithm.The PSNR value has been increased nearly 36%after image stabilization and the effect of image stabilization is obvious.

electronic image stabilization；dense optical flow；kalman filtering

TP391

A

1672-9870（2015）05-0101-06

2015-07-01

吉林省科技發(fā)展計劃項目（20120333，20130101054JC，20140204047GX）；吉林省留學(xué)回國人員擇優(yōu)資助項目（RL201329）

司書哲（1989-），男，碩士研究生，E-mail：863978892@qq.com

方明（1977-），男，博士，副教授，E-mail：fangming@cust.edu.cn