基于ARM9的嵌入式電子穩(wěn)像系統(tǒng)研究和實(shí)現(xiàn)*

潘 全，高 山，伍先達(dá)

（華南師范大學(xué)物理與電信工程學(xué)院，廣州510006）

基于ARM9的嵌入式電子穩(wěn)像系統(tǒng)研究和實(shí)現(xiàn)*

潘 全，高 山，伍先達(dá)

（華南師范大學(xué)物理與電信工程學(xué)院，廣州510006）

針對攝像頭固定狀態(tài)下拍攝的視頻抖動，設(shè)計了一個可以快速消除視頻抖動現(xiàn)象的實(shí)時嵌入式電子穩(wěn)像系統(tǒng)。系統(tǒng)改進(jìn)了傳統(tǒng)的灰度投影算法，對采集的視頻幀序列進(jìn)行預(yù)處理，估計運(yùn)動矢量，投影濾波和運(yùn)動補(bǔ)償實(shí)現(xiàn)穩(wěn)像功能。通過差影法和峰值信噪比法對穩(wěn)像效果進(jìn)行了主客觀分析，分析結(jié)果表明該系統(tǒng)處理速度快，成本低，穩(wěn)像效果較好，在視頻監(jiān)控、圖像拼接、運(yùn)動目標(biāo)檢測等領(lǐng)域都有重要的應(yīng)用價值。

嵌入式；灰度投影；電子穩(wěn)像；運(yùn)動補(bǔ)償；差影；峰值性噪比

1 引 言

近年來電子穩(wěn)像技術(shù)發(fā)展迅猛，應(yīng)用也越來越廣泛，在軍事、民用等領(lǐng)域有著重要的應(yīng)用價值。攝像設(shè)備由于設(shè)備載體運(yùn)動、人為因素和自然因素等情況，采集的視頻出現(xiàn)抖動，如列車經(jīng)過火車道口的監(jiān)控攝像頭或者攝像頭受風(fēng)力等因素的影響，造成攝像頭晃動而使得視頻畫面出現(xiàn)抖動現(xiàn)象；及道路不平整或人為轉(zhuǎn)彎等原因，車載系統(tǒng)視頻監(jiān)控采集的畫面也容易出現(xiàn)抖動現(xiàn)象。穩(wěn)像技術(shù)就是用來消除或減弱攝像設(shè)備拍攝的視頻抖動現(xiàn)象。國內(nèi)外研究人員對電子穩(wěn)像技術(shù)近年來做了很多研究［1－4］，并取得了一定成績，提出了一些新的算法，但是大多數(shù)電子穩(wěn)像系統(tǒng)都是基于PC機(jī)的，雖然處理速率和精度都比較高，但是成本高、計算量大、不易攜帶。以下設(shè)計了一個成本低、效果好且可移動的實(shí)時嵌入式電子穩(wěn)像系統(tǒng)。

2 電子穩(wěn)像基本原理

電子穩(wěn)像是指在電子設(shè)備平臺上利用圖像算法來消除或者減弱人眼在顯示器上觀察到的圖像跳躍，移位等抖動現(xiàn)象。穩(wěn)像原理示意圖如圖1所示。

圖1 穩(wěn)像原理示意圖

圖中星星是圖形在9個像素塊中的成像，（a）圖代表第一幀圖像，（b）圖是相鄰幀圖像，（a）圖中，星星在1，2，4，5像素塊中成像，但是由于抖動影響，同一物體在2，3，5，6像素塊上也有成像，這時在顯示器上我們會同時在1，2，3，4，5，6像素塊上看到圖像，造成圖像和視覺的錯位。

3 灰度投影穩(wěn)像算法

灰度投影算法［5－6］是利用灰度圖像在x，y軸方向上的投影值，通過相關(guān)計算來確定運(yùn)動矢量，完成運(yùn)動補(bǔ)償?？煞譃閳D像預(yù)處理，圖像灰度映射，投影濾波，互相關(guān)計算四個部分。

3．1 圖像預(yù)處理

為了更準(zhǔn)確的進(jìn)行運(yùn)動矢量估計，提高穩(wěn)像效果，通常需要先用直方圖均衡化對每一幀圖像進(jìn)行預(yù)處理，讓灰度平均分配給所有的像素，得到均勻分布的灰度直方圖，使圖像的對比度增強(qiáng)。

3．2 圖像灰度映射

在對圖像進(jìn)行灰度映射時，采用相鄰兩幀的前一幀作為參考幀，后一幀為當(dāng)前幀（正在進(jìn)行穩(wěn)像處理的幀），此時只考慮兩幀之間存在的平移運(yùn)動（旋轉(zhuǎn)運(yùn)動較少可忽略）。將當(dāng)前幀的二維圖像（N×M）分別進(jìn)行行投影和列投影，使得二維圖像信息映射為兩個獨(dú)立的一維信息，從而在很大程度上降低了運(yùn)算量和復(fù)雜度。其投影公式為：

式（1）、（2）中Ck（j）、Ck（i）分別代表第k幀圖像的第j列和第i行的灰度投影值，Ck（i，j）表示第k幀圖像在（i，j）處的像素灰度值，圖像的高度和長度表示為M、N。實(shí)驗(yàn)采集320×240的視頻幀序列，其中一幀在水平、垂直兩個方向的灰度投影matlab仿真圖如圖2所示。

圖2 水平、垂直方向的灰度投影曲線

3．3 投影濾波

因?yàn)楫?dāng)采集的視頻抖動較明顯時，視頻幀的邊緣信息也有明顯變化，一定程度上對互相關(guān)峰值的計算結(jié)果造成影響［7］。為了降低邊緣信息變化對互相關(guān)峰值計算結(jié)果的影響，采用中值濾波器濾除邊緣信息變化的波形，而保留中心區(qū)域的波段。

3．4 改進(jìn)后的互相關(guān)計算

進(jìn)行投影濾波后，將當(dāng)前幀和參考幀的行投影灰度值進(jìn)行行投影互相關(guān)計算，以及將當(dāng)前幀的列投影灰度值和參考幀的列投影灰度值做列投影互相關(guān)計算，通過互相關(guān)心曲線唯一波谷值確定當(dāng)前幀相對于參考幀的行、列運(yùn)動矢量。以行投影互相關(guān)值計算公式為例：

其中1≤w≤2m＋1，第k幀第j列的灰度投影值用Ck（j）表示，Cr（j）表示參考幀第j列的灰度投影值，N表示列長度，m為位移矢量相對于參考幀在一側(cè)的搜索寬度，參考幀與當(dāng)前幀行投影互相關(guān)值曲線圖如圖3所示。

圖3 參考幀與當(dāng)前幀行投影互相關(guān)值曲線

計算出w的值使得L（w）最小，并用wmin表示，可以得到當(dāng)前幀相對于參考幀圖像垂直方向上的位移矢量Δy（水平方向上的位移矢量Δx的計算同理）：

最后把當(dāng)前幀圖像反方向運(yùn)動Δx和Δy，實(shí)現(xiàn)圖像的運(yùn)動補(bǔ)償。

傳統(tǒng)灰度投影算法在自相關(guān)計算時采用全局搜索法，即在一側(cè)搜索寬度m內(nèi)所有的像素點(diǎn)都須進(jìn)行一次自相關(guān)值計算，需要進(jìn)行2m＋1次（在一側(cè)搜素寬度為m范圍內(nèi)，總共有m＋1個點(diǎn)，另一側(cè)則有m個點(diǎn)）?？紤]到自相關(guān)曲線的單峰性和極值點(diǎn)靠近中心點(diǎn)的特點(diǎn)，對全局搜素法進(jìn)行改進(jìn)：在搜索寬度m范圍內(nèi)，均勻選取三個點(diǎn)，分別計算L（w）；接著以這三點(diǎn)中L（w）值最小的那個點(diǎn)為中心，在（m－1）／2搜索范圍內(nèi)再均勻選擇三個點(diǎn)，分別計算出L（w）；當(dāng)三點(diǎn)中使得L（w）的值最小的那個點(diǎn)不再變化時停止選取，此時的L（w）值就是要求的wmin。在搜索寬度m范圍內(nèi)，采用全局搜索法的計算量為2×m＋1，而改進(jìn)之后的搜索法計算量為3×log2（m＋1），運(yùn)算量減少（2×m＋1）－［3×log2（m＋1）］，且m值越大，計算量減少的越多。

4 基于ARM9 的嵌入式電子穩(wěn)像系統(tǒng)實(shí)現(xiàn)

4．1 硬件平臺

系統(tǒng)硬件平臺基于天嵌科技的ARM9開發(fā)板（TQ2440），CPU處理器為S3C2440，4G的SD卡、4．3寸LCD液晶顯示屏、支持64MB到1GB大小的Nand Flash；在版本為VMwave Workstation 10．0．3的虛擬機(jī)內(nèi)安裝RedHat 6．0系統(tǒng)；主機(jī)為聯(lián)想Think-Pad E40系列Intel i3處理器，2G內(nèi)存，XP系統(tǒng)。

4．2 電子穩(wěn)像系統(tǒng)開發(fā)環(huán)境構(gòu)建

使用ARM－LINUX－GCC交叉編譯器，配置、交叉編譯和鏈接相關(guān)的內(nèi)核、庫、開發(fā)工具，在TQ2440開發(fā)平臺上完成linux2．6．30內(nèi)核、UBOOT、YAFFS根文件系統(tǒng)、QT4．7．2、opencv2．4．9的移植和設(shè)置環(huán)境變量，并在內(nèi)核里加載OV9650視頻攝像頭驅(qū)動。

4．3 嵌入式電子穩(wěn)像軟件設(shè)計

系統(tǒng)架構(gòu)搭建后，在集成了OPENCV的QT環(huán)境下編寫電子穩(wěn)像應(yīng)用程序。添加頭文件cv．h、cxcore．h、highgui．h，直接調(diào)用OPENCV里相應(yīng)的API函數(shù)。使用多線程對攝像頭數(shù)據(jù)采集和穩(wěn)像處理，在QT中子類化Qthread創(chuàng)建Grabthread和Threadstable兩個線程，分別用于視頻采集和穩(wěn)像處理。灰度投影算法電子穩(wěn)像流程圖如圖4所示。

圖4 灰度投影算法電子穩(wěn)像流程圖

5 實(shí)驗(yàn)結(jié)果評價和分析

實(shí)驗(yàn)的抖動視頻是在攝像頭固定狀態(tài)下采集的，視頻幀序列之間存在平移運(yùn)動和少量的旋轉(zhuǎn)運(yùn)動（可忽略不計）。以20幀／s的速率采集13秒總共260幀圖像，經(jīng)過測算（內(nèi)部定時器獲?。?，系統(tǒng)處理這260幀圖像總共花費(fèi)了5．72s，所以每幀的處理時間為22ms，一般實(shí)時攝像系統(tǒng)的幀處理時間要小于25ms［8］，所以系統(tǒng)的實(shí)時性較好。以圖3相鄰兩幀的互相關(guān)值曲線圖為例分析可知，當(dāng)w為31時，為該曲線的唯一波谷值，采用傳統(tǒng)全局搜索法的計算量為61（搜索范圍m為30），而采用改進(jìn)之后搜索方法的計算量僅為15，計算量減少了75．41%。

為了驗(yàn)證電子穩(wěn)像系統(tǒng)的穩(wěn)像效果，采用差影法和峰值信噪比（PSNR）法對系統(tǒng)穩(wěn)像效果進(jìn)行主觀和客觀評價。差影法［9］：抖動視頻在處理前，相鄰兩幀圖像由于抖動的存在不能完全重合，差影法就是將相鄰兩幀圖片進(jìn)行相減，在不存在運(yùn)動背景的前提下，相鄰兩幀圖像做差的理想結(jié)果是零，差影幀不會顯示任何圖像信息。顯然相鄰兩幀的差值越小，說明輸出的視頻越穩(wěn)定，為零時，輸出的視頻是靜止的，這時候最穩(wěn)定，抖動視頻穩(wěn)像前后對應(yīng)相鄰兩幀的差影幀對比如圖5所示。

圖5 穩(wěn)像前后對應(yīng)相鄰兩幀的差像幀

從圖中可以看出原視頻第7、8兩幀的差影幀上顯示的圖片信息多，說明相鄰兩幀的相似度較低，而穩(wěn)像后的第7、8兩幀的差像幀上顯示的圖片信息少，說明相鄰兩幀的相似度較高，輸出的視頻更加連續(xù)穩(wěn)定。但是由于噪聲、計算誤差等干擾的影響，所以差像幀上還是會顯示少量信息。

峰值信燥比（PSNR）法［10］是指通過計算相鄰兩幀的峰值信噪比的值，來精準(zhǔn)衡量兩幅圖片的重合情況，PSNR值越大說明兩幀圖像越相似，穩(wěn)像效果越好。如果兩幀圖像完全重合，這時候PSNR值接近無窮大。其表示為：

式（6）中的MSE為相鄰兩幀之間的像素值均方誤差；N、M為圖像的寬和長；fk（m，n）表示第K幀像素灰度值，fk－1（m，n）為第（K－1）幀的像素灰度值。穩(wěn)像前后視頻幀序列之間的PSNR值曲線圖如圖6所示。

圖6中紅色曲線是原始視頻幀序列之間的PSNR曲線，黑色虛曲線表示的是去完抖動之后各幀之間的PSNR曲線。這里對穩(wěn)像前后的前80幀進(jìn)行比較。由圖可知，去抖動后的幀序列之間的PSNR值整體大于穩(wěn)像幀序列之間的PSNR值。這是因?yàn)榉€(wěn)像前由于抖動的存在使得相鄰兩幀之間的差異較大，而經(jīng)過穩(wěn)像處理后，在一定程度上消除了抖動影響，使得相鄰兩幀的差異變小，但是由于某些相鄰兩幀（如圖中48、49兩幀）可能做同樣幅度或者幅度相差不大的抖動，使得MSE增大，造成PSNR值變小，但這并不影響整體效果。

圖6 穩(wěn)像前后視頻幀序列之間的PSNR值曲線圖

6 結(jié)束語

通過改進(jìn)傳統(tǒng)灰度投影算法，設(shè)計了基于ARM9的實(shí)時嵌入式電子穩(wěn)像系統(tǒng)，并通過差影法和峰值信噪比對穩(wěn)像系統(tǒng)進(jìn)行了主客觀評價。實(shí)驗(yàn)結(jié)果和評價分析表明，該系統(tǒng)對攝像頭固定狀態(tài)下拍攝的抖動視頻能實(shí)時的進(jìn)行去抖處理，計算量大幅度減少且效果較好，具有成本低等優(yōu)點(diǎn)，能廣泛運(yùn)用于視頻監(jiān)控和采集等領(lǐng)域，應(yīng)用價值較高。

［1］ VERMA K．Fast and robust real time digital video stabilization with smear removal using integral projection curve warping technique［C］．／／IEEE Communications（NCC）．Kumar，Avnish，India，2014：1－6．

［2］ KRISHNA R．Real－time digital video stabilization for multi－media applications［C］．／／IEEE Trans on CAS for Video Tech．Sala，Avery，England，2013：69－72．

［3］ HUI W，PENG S．An electronic image stabilization algorithm based on gray projection and circle projection matching［J］．Materials Science and Engineering，2014，6（1）：817－820．

［4］ 丁磊，肖麗萍，鄧杰航，等．基于Android的移動電子穩(wěn)像系統(tǒng)的研究與實(shí)現(xiàn)［J］．計算機(jī)技術(shù)與應(yīng)用，2013，39（1）：112－114．Ding L，Xiao L P，Deng J H，et al．Research and realization of mobile video stabilization system bashed on Android［J］．Computer Technology and Its Applications，2013，39（1）：112－114．

［5］ Han Y L，Zhu D，Wang Y L．A real－time electronic image stabilization based on gray projection method［J］．Journal of Scientific Instrument，2008，29（8）：512－515．

［6］ CARLOS M，RAMA C．Fast electronic digital image stabilization for off－road navigation［J］．Real－time Imaging，1996，25（12）：285－296．

［7］ JASMIN B，MARK S．C＋＋GUI Programming with Qt 4［M］．Beijing：Publishing House of Electronics Industry，2008，255－264．

［8］ DUVAR，R．Real－time implementation of 1－dimensional projection based video stabilization on a mobile device［C］．Signal Processing and Communications Applications Conference（SIU），Trabzon，Turkey：Urhan，Oguzhan，2014：1914－1918．

［9］ MANISH O，PRABIR K B．Video stabilization using maximally stable extremely region features［J］．Multimedia Tools and Applications，2014，68（3）：947－968．

［10］ 任苗苗．用于視頻監(jiān)控的電子穩(wěn)像算法研究［D］．哈爾濱．哈爾濱工業(yè)大學(xué)，2010．Ren M M．Research of electronic image stabilization algorithm for video surveillance［D］．Harbin：Harbin Institute of Technology，2010．

Research and Implementation of Embedded Electronic Image Stabilization System Based on ARM9

Pan Quan，Gao Shan，Wu Xianda
（School of Physics and Telecommunication Engineering，South China Normal University，Guangzhou 510006，China）

For dithering video captured by the fixed camera，this paper designs a real－time embedded electronic image stabilization system which can quickly eliminate the dithered phenomenon among video frame sequences．This system realizes the image stabilization function by using the improved gray projection algorithm to preprocess the video frames，estimate the motion vector，filter the projection waves and compensate the motion vector．Through the methods of difference image and PSNR（Peak Signal to Noise Ratio）to analyze the image stabilization effect，the results show that the system has quick process，low cost and good image stabilization．It has significant application value in video surveillance，image stitching，moving target detection，etc．

Embedded；Gray projection；Electronic image stabilization；Motion compensation；Subtraction image；Peak signal to noise ratio

10．3969／j．issn．1002－2279．2015．04．021

TP399

A

1002－2279（2015）04－0081－04

廣東省教育部產(chǎn)學(xué)研項目（2012B091100062）；華南師范大學(xué)研究生科研創(chuàng)新基金（2013kyjj062，2014ssxm14）

潘全（1989－），男，湖南省永州市人，碩士研究生，主研方向：嵌入式電子穩(wěn)像和智能儀器與系統(tǒng)。

2014－12－26