固定場(chǎng)景下快速電子穩(wěn)像算法的實(shí)現(xiàn)

孫宇超，張　軍

（天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津300222）

?

固定場(chǎng)景下快速電子穩(wěn)像算法的實(shí)現(xiàn)

孫宇超，張軍

（天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津300222）

摘要：提出一種可應(yīng)用在固定場(chǎng)景條件下的快速電子穩(wěn)像算法。通過檢測(cè)參考圖像與當(dāng)前圖像的ORB特征，利用漢明距離匹配特征，將匹配好的特征點(diǎn)代入仿射變換模型，求得2幅圖像間的全局運(yùn)動(dòng)矢量并代入仿射變換模型，對(duì)當(dāng)前圖像進(jìn)行變換，從而實(shí)現(xiàn)穩(wěn)像目的。為達(dá)到更好的穩(wěn)像效果，在圖像預(yù)處理階段對(duì)圖像進(jìn)行高斯濾波，濾除圖像的噪聲；同時(shí)對(duì)在求得全局運(yùn)動(dòng)矢量使用的特征點(diǎn)對(duì)的選擇上采用點(diǎn)線法進(jìn)行判定，保證求得全局運(yùn)動(dòng)矢量的精度。實(shí)驗(yàn)結(jié)果表明，該算法能夠?qū)崿F(xiàn)在固定場(chǎng)景下的穩(wěn)像，并具有較好的實(shí)時(shí)性。

關(guān)鍵詞：電子穩(wěn)像；ORB特征；仿射變換模型；全局運(yùn)動(dòng)估計(jì)；固定場(chǎng)景

穩(wěn)像技術(shù)是一種廣泛應(yīng)用的視頻增強(qiáng)技術(shù)。穩(wěn)像技術(shù)應(yīng)用于存在隨機(jī)抖動(dòng)的拍攝環(huán)境下，能夠解決拍攝畫面不穩(wěn)定造成的畫面質(zhì)量下降問題。穩(wěn)像技術(shù)的發(fā)展經(jīng)歷了3個(gè)階段：機(jī)械穩(wěn)像、光學(xué)穩(wěn)像和電子穩(wěn)像。與傳統(tǒng)的機(jī)械和光學(xué)穩(wěn)像系統(tǒng)相比，電子穩(wěn)像系統(tǒng)具有易于操作、穩(wěn)像精度高、靈活性強(qiáng)、體積小、重量輕、能耗低以及高智能化的實(shí)時(shí)處理等優(yōu)點(diǎn)[1]。此外，市場(chǎng)上針對(duì)視頻和圖像處理上的專用數(shù)字信號(hào)處理器，其優(yōu)越的性能為視頻和圖像的實(shí)時(shí)處理提供了強(qiáng)有力的支持。目前，電子穩(wěn)像已應(yīng)用于航拍圖像、目標(biāo)檢測(cè)與跟蹤中[2-3]。ORB（oriented FAST and rotated BRIEF）特征是一種應(yīng)用于圖像匹配[4]、目標(biāo)檢測(cè)[5]、圖像拼接[6]方面的圖像特征檢測(cè)方法。目前被廣泛應(yīng)用的還有SIFT（scale-invariant features）、SURF（speeded -up robust features）和BRISK（binary robust invariant scalable keypoints）等特征，但ORB特征相對(duì)于這些特征具有明顯的計(jì)算速度優(yōu)勢(shì)。本文提出的穩(wěn)像算法采用ORB特征檢測(cè)和描述特征點(diǎn)，通過漢明距離對(duì)特征點(diǎn)進(jìn)行匹配，利用匹配好的特征點(diǎn)對(duì)計(jì)算圖像間的全局運(yùn)動(dòng)矢量，之后對(duì)待處理的圖像應(yīng)用全局運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，達(dá)到穩(wěn)像的目的。

1　ORB特征檢測(cè)算法

由于角點(diǎn)特征的檢測(cè)容易受到圖像噪聲的干擾，因此在進(jìn)行特征檢測(cè)之前要對(duì)圖像的噪聲進(jìn)行消除。高斯濾波是被廣泛采用的消除圖像噪聲方法，其實(shí)質(zhì)是對(duì)整幅圖像進(jìn)行加權(quán)平均，每一個(gè)像素點(diǎn)的值都由本身和其鄰域內(nèi)的其他像素經(jīng)過加權(quán)平均后得到。本文采用高斯濾波對(duì)圖像進(jìn)行去噪，之后進(jìn)行圖像角點(diǎn)特征的檢測(cè)。

ORB特征是由Rublee等[7]提出的，其最大的優(yōu)勢(shì)在于運(yùn)行速度。ORB特征是FAST（features from accelerated segment test）和BRIEF（binary robust independent elementary features）的結(jié)合。下面對(duì)FAST、BRIEF和ORB特征作簡(jiǎn)要介紹。

1.1FAST角點(diǎn)檢測(cè)算法

FAST是一種角點(diǎn)檢測(cè)算法，其檢測(cè)的角點(diǎn)定義為：如果在某一個(gè)像素的周圍有n個(gè)連續(xù)像素的灰度值與該像素的差大于某一個(gè)閾值，則認(rèn)為該像素為角點(diǎn)[8]。這里的周圍通常是指以角點(diǎn)為圓心的某個(gè)半徑大小的圓周，n的值可取9、12等。圖像的角點(diǎn)檢測(cè)如圖1所示。

圖1　角點(diǎn)檢測(cè)

1.2BRIEF特征描述算法

角點(diǎn)特征檢測(cè)完畢后，需要給予每一個(gè)角點(diǎn)一個(gè)描述符，描述符將作為2幅圖像中進(jìn)行角點(diǎn)特征匹配的依據(jù)。BRIEF[9]是一種特征描述方法，其主要思想是在特征點(diǎn)附近隨機(jī)選取若干點(diǎn)對(duì)，將這些點(diǎn)對(duì)的灰度值組合成一個(gè)二進(jìn)制串，并將這個(gè)二進(jìn)制串作為該特征點(diǎn)的特征描符。BRIEF算法的過程如下。

定義S×S大小的圖像鄰域P的準(zhǔn)則τ為：

式中：p（x）為平滑后的圖像鄰域P在x =（u，v）T處的像素灰度值。

如果nd有（x，y）個(gè)位置對(duì)，就可以唯一定義一個(gè)二進(jìn)制比特串，即BRIEF描述符為：

需要在已經(jīng)檢測(cè)出的特征點(diǎn)對(duì)中選擇nd對(duì)來(lái)計(jì)算其BRIEF描述符。作者提出5種方法對(duì)這nd對(duì)特征點(diǎn)位置進(jìn)行選擇，并對(duì)不同的選擇方式做出比較。nd可以為128、256、512等；取值時(shí)，需要對(duì)速度、存儲(chǔ)效率、識(shí)別率進(jìn)行比較。

1.3FAST和BRIEF結(jié)合的ORB特征

ORB特征分別對(duì)FAST和BRIEF進(jìn)行改進(jìn)并結(jié)合，對(duì)FAST檢測(cè)出的角點(diǎn)添加方向信息，并利用這個(gè)方向信息解決了BRIEF描述的特征點(diǎn)不具有旋轉(zhuǎn)不變性的缺陷。改進(jìn)之后的FAST和BRIEF可分別稱oFAST（oriented FAST）和sBRIEF（steered BRIEF），具體做法如下。

ORB使用灰度質(zhì)心法為角點(diǎn)加入方向信息，即用角點(diǎn)與質(zhì)心之間的偏移構(gòu)造一個(gè)方向。

定義鄰域矩為：

式中：I（x，y）表示圖像在（x，y）位置的像素值。

質(zhì)心為：

特征點(diǎn)與質(zhì)心的夾角定義為FAST特征點(diǎn)的方向，即

得到oFAST特征點(diǎn)之后，繼續(xù)為BRIEF添加旋轉(zhuǎn)信息。在位置（xi，yi）處，對(duì)于任意n個(gè)二進(jìn)制準(zhǔn)則特征集，定義一個(gè)2*n的矩陣為：

2　特征點(diǎn)匹配及優(yōu)質(zhì)特征點(diǎn)選取

在得到2幅圖像的ORB特征點(diǎn)后，需要對(duì)特征點(diǎn)進(jìn)行匹配。匹配時(shí)采用暴力搜索，距離度量采用漢明距離。由于BRIEF描述ORB特征時(shí)采用二進(jìn)制串作為其描述方式，因而特征匹配采用漢明距離進(jìn)行匹配能達(dá)到快速匹配的目的。此次匹配完成后，會(huì)出現(xiàn)誤匹配的特征點(diǎn)對(duì)，因此可將此次匹配視為粗匹配。粗匹配中的誤匹配點(diǎn)需要剔除。剔除方法是計(jì)算粗匹配好的特征點(diǎn)的最小漢明距離，并將小于2倍該距離的特征點(diǎn)對(duì)視為優(yōu)質(zhì)匹配的特征點(diǎn)對(duì)。

3　點(diǎn)線法選擇匹配點(diǎn)

特征點(diǎn)對(duì)經(jīng)過匹配后，需要從匹配出的優(yōu)質(zhì)特征點(diǎn)對(duì)中選擇3對(duì)代入仿射變換模型，求出相鄰幀之間的映射關(guān)系。選擇的這3對(duì)特征點(diǎn)對(duì)在空間位置上應(yīng)盡可能分散，使求出的相鄰幀之間的映射關(guān)系更為準(zhǔn)確。本文提出點(diǎn)線法作為特征點(diǎn)對(duì)的選擇方法，方法的大體思路如下。

圖像在計(jì)算機(jī)屏幕上顯示的像素位置關(guān)系如圖2所示。

圖2　圖像在計(jì)算機(jī)屏幕上的像素位置關(guān)系

圖2中原點(diǎn)位于圖像的左上角，向右和向下的方向?yàn)橄袼刈鴺?biāo)x、y增大的方向，而主對(duì)角線方向上x、y均增大。點(diǎn)線法步驟如下：

（1）計(jì)算匹配好的特征點(diǎn)坐標(biāo)x與y之和絕對(duì)值（|x+y|）的最大值和最小值。

（2）計(jì)算x與y之差絕對(duì)值（|x-y|）的最大值。

（3）找出這3個(gè)值對(duì)應(yīng)的特征點(diǎn)。

如此選出的3對(duì)特征點(diǎn)對(duì)的分布會(huì)比較分散。其中2個(gè)點(diǎn)大致位于x、y都增大的主對(duì)角線的2端附近，另一個(gè)點(diǎn)位于副對(duì)角線的一端附近。

算法的仿真如圖3所示，在300×250的區(qū)域內(nèi)隨機(jī)生成一些點(diǎn)來(lái)模擬已匹配好的特征點(diǎn)位置，圖中的“+”表示通過算法得到的特征點(diǎn)位置，共有3個(gè)。

在得到點(diǎn)線法選擇出來(lái)的3對(duì)匹配點(diǎn)之后，需要將這3對(duì)特征點(diǎn)代入仿射變換模型來(lái)估計(jì)出2幅圖像之間的相對(duì)運(yùn)動(dòng)。

圖3　點(diǎn)線法的Matlab仿真結(jié)果

4　仿射變換模型

2幅圖像之間的變換關(guān)系可以用仿射變換來(lái)表示[10]。一個(gè)任意的仿射變換都能表示為乘以一個(gè)矩陣（線性變換）再加上一個(gè)向量（平移）。因此，仿射變換能夠表示圖像之間的旋轉(zhuǎn)（線性變換）、平移（向量加）以及縮放（線性變換）。

仿射變換通常用2×3的矩陣M表示：

或

由矩陣A和矩陣B共包含6個(gè)元素可知，要計(jì)算出矩陣A和矩陣B需要6個(gè)方程。從式（9）可以看出，點(diǎn)線法挑選出來(lái)的每一對(duì)特征點(diǎn)代入式（9）可以得到2個(gè)方程，因此求解矩陣A和矩陣B需要3對(duì)特征點(diǎn)。這就是采用點(diǎn)線法選擇3對(duì)特征點(diǎn)的原因。

5　實(shí)驗(yàn)結(jié)果

本文采用240×320的圖像作為樣本，圖像來(lái)自于視頻的分幀。該視頻中，拍攝者在行駛中的汽車?yán)锱臄z前方不遠(yuǎn)處的行駛汽車。拍攝者所乘汽車的晃動(dòng)使拍攝出來(lái)的視頻存在抖動(dòng)，視頻分幀后，相鄰2幀圖像之間存在不同程度的相對(duì)運(yùn)動(dòng)情況，因此滿足算法的適用條件。實(shí)驗(yàn)所用PC機(jī)操作系統(tǒng)為XP SP3，CPU 為Pentium（R）Dual-Core，主頻為3.20 GHz，算法用OpenCV進(jìn)行開發(fā)。

高斯濾波后的相鄰2幀圖像如圖4所示，采用漢明距離匹配后的相鄰2幀圖像如圖5所示。由圖5可知，匹配后的特征點(diǎn)對(duì)包含正確的匹配和錯(cuò)誤的匹配，經(jīng)過挑選優(yōu)質(zhì)匹配的特征點(diǎn)對(duì)后，錯(cuò)誤的匹配被去除。挑選優(yōu)質(zhì)匹配點(diǎn)對(duì)后的相鄰2幀圖像如圖6所示。仿射變換后的圖像與參考幀圖像的對(duì)比如圖7所示，穩(wěn)像前后相鄰2幀圖像幀差對(duì)比如圖8所示。由圖7和圖8可以看出，本文提出的算法能夠很好地達(dá)到穩(wěn)像目的。

圖4　高斯濾波后的相鄰2幀圖像

圖5　采用漢明距離匹配后的相鄰2幀圖像

圖6　優(yōu)質(zhì)匹配后的相鄰2幀圖像

圖7　仿射變換后的圖像與參考幀圖像的對(duì)比

圖8　穩(wěn)像前后相鄰2幀圖像幀差對(duì)比

穩(wěn)像算法各個(gè)部分耗時(shí)及特征點(diǎn)匹配情況如表1所示，表1中第1列的序號(hào)（1～5）表示選取了5組相鄰幀進(jìn)行各指標(biāo)的統(tǒng)計(jì)。

將表1里算法每一部分耗時(shí)的數(shù)據(jù)計(jì)算平均值并進(jìn)行歸一化，可以得到算法每一部分占算法總耗時(shí)的百分比，如圖9所示。

圖9　穩(wěn)像算法各部分耗所占的百分比

由圖9可知，穩(wěn)像算法最耗時(shí)的部分是ORB特征描述部分，約占算法總耗時(shí)的43%；其次是ORB特征檢測(cè)部分，約占算法總耗時(shí)的32%；ORB特征的檢測(cè)、描述、匹配約占據(jù)整個(gè)算法耗時(shí)的90%。因此，采用何種特征點(diǎn)進(jìn)行運(yùn)動(dòng)估計(jì)對(duì)穩(wěn)像算法的耗時(shí)有決定性的影響。本文將主流的基于SIFT、SURF和BRISK特征的穩(wěn)像算法與基于ORB特征的穩(wěn)像算法進(jìn)行比較，4種算法具體的耗時(shí)情況如圖10所示。

圖10　SIFT、SURF、BRISK和ORB的穩(wěn)像算法耗時(shí)對(duì)比

在圖10中，SIFT、SURF和BRISK特征穩(wěn)像算法相對(duì)于ORB特征的穩(wěn)像算法進(jìn)行了歸一化。由圖10可知，基于ORB特征的穩(wěn)像算法相對(duì)于SIFT、SURF 和BRISK具有明顯的運(yùn)算速度優(yōu)勢(shì)，其耗時(shí)分別約為SIFT的1/16、SURF的1/13的以及BRISK的1/41。

6　結(jié)束語(yǔ)

本文提出了一種電子穩(wěn)像算法，算法提取2幅圖像的ORB特征，并進(jìn)行特征匹配，將匹配好的特征點(diǎn)代入仿射變換模型估計(jì)出全局運(yùn)動(dòng)矢量，通過對(duì)圖像進(jìn)行仿射變換來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償，進(jìn)而達(dá)到穩(wěn)像的目的。為使得到的全局運(yùn)動(dòng)矢量更準(zhǔn)確，算法采用一定的方法獲得優(yōu)質(zhì)匹配的特征點(diǎn)對(duì)，并通過點(diǎn)線法選擇出3對(duì)應(yīng)用于仿射變換模型。算法適用于固定場(chǎng)景下，對(duì)圖像間的平移、旋轉(zhuǎn)和縮放具有較好的穩(wěn)像效果。實(shí)驗(yàn)證明，該算法能夠?qū)崿F(xiàn)穩(wěn)像的目的，并具有較好的實(shí)時(shí)性。

參考文獻(xiàn)：

［1］王志民，徐曉剛.電子穩(wěn)像技術(shù)綜述[J].中國(guó)圖像圖形學(xué)報(bào)，2010，15（3）：470-479.

［2］雷寶權(quán)，趙春暉，花永強(qiáng)，等.基于SIFT算子和Kalman濾波器的航拍圖像電子穩(wěn)像算法[J].火力與指揮控制，2010，35（10）：47-50.

［3］邱家濤.電子穩(wěn)像算法和視覺跟蹤算法研究[D].西安：西安電子科技大學(xué)，2013.

［4］唐劍琪，謝林江，袁慶生，等.基于ORB的鏡頭邊界檢測(cè)算法[J].通信學(xué)報(bào)，2013，34（11）：184-190.

［5］李小紅，謝成明，賈易臻，等.基于ORB特征的快速目標(biāo)檢測(cè)算法[J].電子測(cè)量與儀器學(xué)報(bào)，2013，27（5）：455-460.

［6］王國(guó)東，文鵬程，程岳.一種利用ORB特征進(jìn)行航拍圖像拼接的方法[J].內(nèi)蒙古師范大學(xué)學(xué)報(bào)：自然科學(xué)漢文版，2014，43（4）：425-429.

［7］RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision.NJ：Institute of Electrical and Electronics Engineers Inc.Barcelona：IEEE，2011：2564-2571.

［8］ROSTEN E，PORTER R，DRUMMOND T.Faster and better：A machine learning approach to corner detector[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（1）：105-119.

［9］CALONDER M，LEPETIT V，OZUYSAL M，et al.BRIEF：Computing a local binary descriptor very fast[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（7）：1281-1298.

［10］喬磊.復(fù)雜抖動(dòng)的電子穩(wěn)像概述[J].山西電子技術(shù)，2013 （3）：91-93.

Realization of a fast algorithm for electron image stabilization under stationary scenes

SUN Yu-chao，ZHANG Jun
（School of Electronic Engineering，Tianjin University of Technology and Education，Tianjin 300222，China）

Abstract：A fast algorithm for electron image stabilization is presented which can be applied to the stationary scene conditions.The algorithm first detects the ORB features in the reference image and the current image and then matches the features by hamming distance.The matched features points are substituted for transformation model，so that the global motion vector between the two images is figured out.Finally，the global vector is applied to the current image for a affine transformation，and the images are stabilized.In order to achieve a better image stabilization，the images are filtered by Gauss filter and the noise of the images are filtered.In addition，the accuracy of the global motion vector is obtained by using the point -line method in the selection of the feature points.Experiments show that the algorithm can achieve stable image in a stationary scene and had a good real-time performance.

Key words：electron image stabilization；ORB feature；affine transformation model；global motion estimation；stationary scenes

作者簡(jiǎn)介：孫宇超（1989—），男，碩士研究生；張軍（1965—），男，教授，博士，碩士生導(dǎo)師，研究方向?yàn)檫b測(cè)遙控技術(shù)、遙感圖像信息處理技術(shù).

基金項(xiàng)目：天津市科技特派員項(xiàng)目（14JCTPJC00537）.

收稿日期：2015-10-30

中圖分類號(hào)：TP91.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095－0926（2016）01－0022－05