傳感器電子穩(wěn)像的塊匹配提前中止方法

李 冰，張 超

(1.河北師范大學(xué) 信息技術(shù)學(xué)院，石家莊050018;2.河北環(huán)境工程學(xué)院 現(xiàn)代化教學(xué)中心，河北 秦皇島066000)

傳感器電子穩(wěn)像的塊匹配提前中止方法

李 冰1，張 超2

(1.河北師范大學(xué) 信息技術(shù)學(xué)院，石家莊050018;2.河北環(huán)境工程學(xué)院 現(xiàn)代化教學(xué)中心，河北 秦皇島066000)

針對穩(wěn)像系統(tǒng)中運算速度與運算精度受到奇異點干擾的問題，提出一種基于傳感器電子穩(wěn)像的塊匹配提前中止方法。該方法利用陀螺傳感器得到攝像系統(tǒng)的運動信息，根據(jù)陀螺輸出估計出攝像系統(tǒng)的抖動方向。以該抖動方向為基礎(chǔ)，設(shè)計提前中止判定準(zhǔn)則對局部運動估計過程中的奇異點進行判定，同時中止奇異點的運動估計運算并將其濾除，此方法無需獲得全部局部運動矢量就可以有效剔除奇異點。實驗結(jié)果表明：穩(wěn)像系統(tǒng)的運算速度提高79.50%，精度提高13.04%。

陀螺；傳感器電子穩(wěn)像；運算速度；穩(wěn)像精度

0 引言

近些年來，數(shù)字?jǐn)z像系統(tǒng)在各個領(lǐng)域得到廣泛應(yīng)用。但是，由于攝像系統(tǒng)載體的不穩(wěn)定性導(dǎo)致圖像序列發(fā)生不規(guī)則抖動，不利于長時間的觀測，也影響到了視頻圖像的后續(xù)處理和分析，因此需要對視頻圖像進行穩(wěn)像處理[1]。電子穩(wěn)像是利用數(shù)字圖像處理的方法對存在抖動的視頻序列進行處理，達(dá)到輸出穩(wěn)定圖像的目的。電子穩(wěn)像的一個重要組成部分就是運動估計，為了提高估計精度，需要先將圖像分割為若干個部分進行局部運動估計，再對局部運動矢量集合進行全局運動估計。然而，由于前景物體的遮擋干擾、誤匹配、系統(tǒng)的抖動等原因會導(dǎo)致局部運動矢量的集合中存在與全局運動不一致的奇異點，這些奇異點對全局運動矢量的精度具有很大影響[2-4]。

為了解決此問題，北京理工大學(xué)的王鵬等人[5]將陀螺引入到穩(wěn)像系統(tǒng)中，利用陀螺獲得抖動的方位，然后對奇異點進行濾除得到了很好的穩(wěn)像效果。然而，此種方法是建立在對已有的局部運動矢量樣本統(tǒng)計分析基礎(chǔ)上來進行奇異點濾除的，因此需要對包括奇異點在內(nèi)的所有局部運動矢量求解，然后再進行濾除，最后通過最小二乘法解算全局運動參數(shù)。這種處理方式不僅計算復(fù)雜、難度大，而且對奇異點進行的運動估計大大增加了運算量與運算時間，影響穩(wěn)像系統(tǒng)的實時性。

針對以上問題，本文在復(fù)合傳感器電子穩(wěn)像算法基礎(chǔ)上，提出基于陀螺的塊匹配提前中止技術(shù)。該方法利用陀螺儀傳感器得到攝像系統(tǒng)的抖動信息，并以此為基礎(chǔ)來構(gòu)建中止判定準(zhǔn)則，對塊匹配局部運動估計過程進行奇異點判定，同時中止奇異點的宏塊運動估計并將其濾除。該方法不依賴運動矢量的統(tǒng)計特性，因而無需解算出全部局部運動矢量即可有效的濾除奇異點，使得算法精度得到提高。此外由于提前中止了奇異點的運動估計過程，減少了塊匹配的搜索步數(shù)，使得算法運算速度得到提升。

1 復(fù)合式傳感器電子穩(wěn)像方法

本文提出的提前中止方法是在復(fù)合式傳感器電子穩(wěn)像基礎(chǔ)上研究的，該穩(wěn)像方法是將陀螺傳感信息與塊匹配運動估計相結(jié)合。

1.1 塊匹配

塊匹配運動估計方法基本思想是將視頻圖像的每一幀分成互不重疊的規(guī)則的圖像塊，稱為宏塊[6]。然后通過一定的匹配準(zhǔn)則對后一幀(當(dāng)前幀)和前一幀(參考幀)中的搜索范圍(搜索窗口)內(nèi)的宏塊進行比對，找出相似度最高的宏塊，稱為匹配塊或預(yù)測塊[7-8]。塊匹配方法原理如圖1所示，圖中dx，dy即為所要估計的局部運動矢量。對圖像中的每一個宏塊都做上述匹配，即可實現(xiàn)當(dāng)前幀相對參考幀的局部運動估計。

1.2 復(fù)合式傳感器電子穩(wěn)像

圖1 塊匹配原理示意圖Fig.1Schematic of block matching algorithm

傳感器電子穩(wěn)像和塊匹配相結(jié)的復(fù)合式傳感器電子穩(wěn)像[9-10]的基本流程如圖2所示。利用陀螺傳感攝像系統(tǒng)的抖動，將陀螺輸出信息換算為像面上的位移量(下文簡稱陀螺位移)，以該位移指向位置作為初始搜索位置對圖像進行塊匹配，得到局部運動矢量。再通過最小二乘法等方法求解全局運動矢量，對圖像進行運動補償后，輸出穩(wěn)定的圖像序列。

2 塊匹配提前中止方法

圖2 復(fù)合式傳感器電子穩(wěn)像示意圖Fig.2Schematic of sensor electronic image stabilization(SEIS)

塊匹配方法的運算速度與精度很容易受到前方景物遮擋與抖動的影響，并且遮擋物越大、抖動越大其影響也越大，因此需要對由遮擋與抖動所產(chǎn)生的奇異點進行處理。本文提出的塊匹配局部運動矢量估計過程中的提前中止方法，簡稱提前中止，其原理如圖3所示。

利用陀螺位移設(shè)置判定準(zhǔn)則，在塊匹配搜索過程每一步后，對得到的最佳匹配點進行奇異點判定，如不滿足濾除條件則繼續(xù)下一個步驟的塊匹配運算，如果滿足濾除條件則中止算法跳入下一個宏塊的運算，

圖3 提前中止技術(shù)流程示意圖Fig.3Flow chart of early termination algorithm

重復(fù)以上過程直到圖像序列中的奇異點被剔除或算法結(jié)束得到可靠局部運動矢量。

2.1 提前中止判定準(zhǔn)則

本文根據(jù)向量性質(zhì)提出一種公式簡單的提前中止判定準(zhǔn)則。首先，向量有如下性質(zhì)：兩個非零向量的數(shù)量積小于等于零時，向量夾角大于等于90°。因此與陀螺估計位移矢量夾角大于90°的搜索窗口內(nèi)所有位置，可以通過對點坐標(biāo)的簡單計算公式來表示。

假設(shè)圖像中某一宏塊的搜索窗口中心為O(x，y)，陀螺位移為dx，dy，陀螺指向位置為A(x+dx，y+dy)第n步搜索的最佳匹配點為B(xn，yn)，則有：

設(shè)閾值T>0，將抖動分為大小兩種范圍分別處理，提前中止判定準(zhǔn)則的具體描述如下：

當(dāng)?shù)趎步最佳匹配點坐標(biāo)滿足判定準(zhǔn)則時，認(rèn)為該匹配點與陀螺位移指向方向相悖，判定為誤匹配，立刻中止當(dāng)前塊的運動估計進行下個順序宏塊的運算。

2.2 仿真實驗

選取原始圖像和存在小范圍遮擋和大范圍遮擋的三幅圖像做仿真實驗，如圖4所示。原始圖像作為參考幀，將平移后的三幅圖像作為當(dāng)前幀。平移量作為陀螺估計位移量構(gòu)造判定準(zhǔn)則，不改變塊匹配運動估計的初始位置，分別用復(fù)合傳感器穩(wěn)像算法不提前中止和本文的提前中止方法進行運動估計，得到局部運動矢量用最小二乘法解算全局運動矢量估計值。

圖4 仿真所用圖像Fig.4Images for simulation experiment

對于平移量的選擇需要進行大量的實驗與判定閾值進行比較。由于本文第一次提出了設(shè)置閾值來停止運動估計的運算，因此無論是在判定準(zhǔn)則還是在閾值選擇上目前并沒有論文、資料在此方面進行參考比對，只能夠通過最基本的方式逐次增加閾值的數(shù)值，然后比較圖像的質(zhì)量來實現(xiàn)取值。通過大量實驗：當(dāng)取值為2 pixel作為平移量時好，穩(wěn)像效果最好。

由圖5可以看出，無論是在原始圖像，還是在小范圍遮擋與大范圍遮擋的情況，搜索步數(shù)均有所減少，最多減少了18步。同時，局部運動矢量準(zhǔn)確比率有了明顯的提高，從而提升了全局運動矢量的精度。其中，

圖5 算法仿真驗證結(jié)果Fig.5Simulation results

準(zhǔn)確比率表達(dá)式：

式中：R為準(zhǔn)確比率，N為與真實全局運動矢量吻合的局部運動矢量個數(shù)，M為有效局部運動矢量總數(shù)。

仿真實驗表明提前中止算法有利于加快運算速度以及提升運算精度，與理論分析結(jié)果一致。

3 實驗及分析

實驗裝置如圖6所示，將陀螺儀固定在CCD攝像系統(tǒng)上，并將二者一起固定于三維振動平臺上。CCD采集到的視頻圖像及同步的陀螺儀數(shù)據(jù)通過數(shù)據(jù)線傳送至PC機(主頻2.9 GHz，內(nèi)存2 G)。最后通過MATLAB進行算法設(shè)計，來計算提前中止算法的運算時間以及穩(wěn)像精度。實驗中所使用的MEMS陀螺為ADI公司的ADXSRS150硅微機械陀螺儀，攝像系統(tǒng)為敏通MTV-1501CB商用CCD，像素為768×576。

圖6 實驗系統(tǒng)裝置圖(①攝像系統(tǒng)，MTV-1501CB,敏通；② 陀螺儀，ADXSRS150,ADI)Fig.6Schematic of the experimental apparatus(①Camera system,MTV-1501CB,MINTRON,②Gyro,ADXSRS150,ADI)

使用傳感器電子穩(wěn)像實驗系統(tǒng)采集一段視頻圖像及陀螺儀數(shù)據(jù)，從中選取幀間運動量大和有明顯前景物體運動干擾的15幀構(gòu)成圖像序列，如圖7所示。在這15幀實驗視頻序列中，每幀都存在前景物體局部運動干擾，并且?guī)g抖動范圍逐幀增大。

圖7 實驗圖像序列Fig.7Frames of image sequence

分別使用塊匹配菱形法、不提前中止的復(fù)合傳感器穩(wěn)像方法和本文的提前中止方法進行局部運動估計，得到局部運動矢量用最小二乘法解算全局運動矢量估計值。比較上述三種方法的運算時間和穩(wěn)像后圖像與參考幀圖像的峰值信噪比。其計算公式：

φmax是視頻信號的峰值強度，文中視頻數(shù)據(jù)為8 bit，故φmax=255。EMS是平均絕對誤差，其表達(dá)式為

式中：(i,j)為位移量，fk，fk-1分別為當(dāng)前幀和參考幀的灰度值，M，N為圖像的長、寬。

由圖8可以看出，1～7幀圖像中的抖動量與遮擋都比較小，在這種情況下，提前中止算法判定準(zhǔn)則嚴(yán)格，中止存在奇異點宏塊的運算，與另外兩種方法相比運算時間加快了6～7倍。8～15幀圖像抖動幅度增加、遮擋加大，中止判定范圍為與陀螺偏移矢量夾角大于90°的1/2搜索窗口，因而運算時間增加，但由于中止了部分奇異點的運動估計運算，仍較其他兩種方法速度快；在精度方面，提前中止方法由于濾除了奇異點，較其他兩種方法有很大提升。在8～15幀圖像中，其效果更為明顯：塊匹配菱形方法和不提前中止方法已經(jīng)無法正確得到全局運動矢量，信噪比不超過25 dB，而提前中止方法仍能保持較高穩(wěn)像精度，超過29 dB。

圖8 圖像序列實驗結(jié)果Fig.8Result of image sequences experiment

本文提前中止方法較不提前中止方法的運算精度與運算速度分別如式(7)、(8)所示。

式中：A為精度提高百分比，S為速度提高百分比。

4 結(jié)論

本文提出一種基于普通精度陀螺的塊匹配局部運動估計過程中的提前中止方法。該方法在局部運動估計過程中判定奇異點，同時中止奇異點的運動估計運算并將其濾除。該方法無需獲得全部局部運動矢量即可有效濾除奇異點，獲得一致性更好的局部運動矢量，從而提高了穩(wěn)像算法的運算速度與穩(wěn)像精度。實驗及仿真結(jié)果與理論分析一致，本文提出的提前中止方法較不中止方法的運算速度提高79.50%，精度提高13.04%。然而，此算法在對平移量的選擇上需要進行大量的實驗比對工作，因此限制了提前中止算法的普遍適用性。接下來需要在平移量的選擇上做更多研究，進行完善。

[1]王敬東，王智慧，張春，等.基于特征匹配的電子穩(wěn)像優(yōu)化技術(shù)[J].光子學(xué)報，2012，41(11)：1372-1376. WANG Jingdong，WANG Zhihui，ZHANG Chun，et al.Optimization Technique of Electronic Image Stabilization Based on Feature Matching[J].Opto-Electronic Engineering，2012，41(11)：1372-1376.

[2]Williams T L.Evaluation of the effect of image stabilisation in a digital camera on the quality of images[J].The Imaging Science Journal(S1368-2199)，2008，56(2)：104-106.

[3]LI Jing，WANG Junzheng，WANG Shoukun.A novel method of fast dynamic optical image stabilization precision measurement based on CCD[J].Optik-International Journal for Light and Electron Optics(S0030-4026)，2011，122(7)：582-585.

[4]石俊霞，薛旭成，郭永飛.衛(wèi)星振動對TDICCD成像質(zhì)量的影響及補償方法[J].光電工程，2010，37(12)：11-16. SHI Junxia，XUE Xucheng，GUO Yongfei.Effect of Satellite Vibration on Imaging Quality of TDICCD Camera and Compensation Method[J].Opto-Electronic Engineering，2010，37(12)：11-16.

[5]王鵬，趙躍進，孔令琴，等.預(yù)測掃描提前跳轉(zhuǎn)的電子穩(wěn)像方法[J].光學(xué) 精密工程，2012，20(10)：2268-2274. WANG Peng，ZHAO Yuejin，KONG Lingqin，et al.Scanning image stabilizing algorithm：Predicting scanning motion and jumping in advance[J].Optics and Precision Engineering，2012，20(10)：2268-2274.

[6]陳曉露，戴明，葛明，等.快速平滑點特征軌跡電子穩(wěn)像[J].紅外與激光工程，2014，43(6)：1988-1993. CHEN Xiaolu，DAI Ming，GE Ming，et al.Fast smoothing point-feature trajectories for digital image stabilization[J].Infrared and Laser Engineering，2014，43(6)：1988-1993.

[7]楊光，王睿，崔玉柱.二維面陣的電子穩(wěn)像與評價方法[J].紅外與激光工程，2011，40(7)：1364-1369. YANG Guang，WANG Rui，CUI Yuzhu.Electronic image stabilization and video quality assessment in 2-dimension-array[J]. Infrared and Laser Engineering，2011，40(7)：1364-1369.

[8]趙志強，陳盈.一種基于灰度投影與塊匹配的視頻序列快速穩(wěn)像算法[J].光電工程，2011，38(6)：146-150. ZHAO Zhiqiang，CHEN Ying.A Fast Electronic Image Stabilization Algorithm of Video Sequences Based on Gray Projection and Block Matching[J].Opto-Electronic Engineering，2011，38(6)：146-150.

[9]王斌，趙躍進，尹德森.基于電子穩(wěn)像的特征跟蹤算法[J].紅外與激光工程，2008，37(4)：607-610. WANG Bin，ZHAO Yuejin，YIN Desen.Digital image tracking algorithm based on electronic image stabilization[J].Infrared and Laser Engineering，2008，37(4)：607-610.

[10]Shih Y Y，SU Shunfeng，Rudas I J.Fuzzy Based Compensation for Image Stabilization in a Camera Hand-Shake Emulation System[J].International Journal of Fuzzy Systems(S1562-2479)，2014，16(3)：350.

Block Matching Early Termination Method Based on Sensor Electronic Image Stabilization

LI Bing1，ZHANG Chao2
(1.College of Information Technology,Hebei Normal University,Shijiazhuang050018,China;2.Modernization Teaching Center,Hebei University of Environmental Engineering,Qinhuangdao066000,Hebei,China)

A novel block matching early termination method,based on sensor electronic image stabilization,was proposed to improve operation speed and stabilization precision.It used a gyro to detect the motion situation of camera system and estimated the motion direction.According to the information captured by gyro,the early termination method could find out the singular points of local motion estimation,and then break the operation and got rid of the singular points.The method could reject the singular points without acquiring all local motion vector information,so it reduced the operation and increases calculation speed.Moreover,the image stabilization precision was improved by better consistency of local motion vector set.The experiment result indicates that the operation speed is increased 79.50 percent,the precision is improved 13.04 percent.

gyro;sensor electronic image stabilization;operation speed;operation precision

TP212

A

10.3969/j.issn.1003-501X.2016.11.012

1003-501X(2016)11-0076-06

2016-04-05；

2016-07-04

河北省教育廳項目(QN2015212)；河北師范大學(xué)校內(nèi)基金項目(L2015B18)

李冰(1984-)，男(漢族)，河北秦皇島人。講師，博士，主要從事電子穩(wěn)像、THz成像技術(shù)。E-mail：libing0804@126.com。

張超(1982-)，男(漢族)，河北秦皇島人。實驗員，碩士，主要從事電子穩(wěn)像。E-mail：82006507@qq.com。