基于Harris角點(diǎn)檢測(cè)的嵌入式穩(wěn)像系統(tǒng)設(shè)計(jì)

蔡耀儀，林海軍

(湖南師范大學(xué) 工學(xué)院，湖南 長(zhǎng)沙410081)

電子穩(wěn)像系統(tǒng)是應(yīng)用于車載、飛機(jī)、艦船等場(chǎng)合的攝像系統(tǒng)后端，消除圖像序列的抖動(dòng)。傳統(tǒng)穩(wěn)像系統(tǒng)中，圖像檢測(cè)和匹配算法全部由計(jì)算機(jī)完成，而計(jì)算機(jī)處理數(shù)據(jù)是一種單指令周期、串行處理數(shù)據(jù)方式，難以滿足穩(wěn)像系統(tǒng)實(shí)時(shí)性的要求。其次，基于通用PC的穩(wěn)像系統(tǒng)體積一般較大、穩(wěn)定性較差，難以滿足某些對(duì)系統(tǒng)體積要求和工作條件比較苛刻的場(chǎng)合的要求。所以采用新型的FPGA器件，研制專用的穩(wěn)像處理系統(tǒng)成為既有意義又有實(shí)際需求的工作。

現(xiàn)有嵌入式穩(wěn)像系統(tǒng)多數(shù)基于投影法(PA)［1］、位平面匹配法(BPM)［2］、塊匹配法(BMA)［3］等。其中PA和BPM法只針對(duì)攝像機(jī)的平移運(yùn)動(dòng)進(jìn)行穩(wěn)像，而BMA法經(jīng)過改進(jìn)能夠應(yīng)用于攝像機(jī)小角度的旋轉(zhuǎn)穩(wěn)像。這些算法很難直接適用于基于并行處理架構(gòu)的FPGA實(shí)現(xiàn)?；谏鲜鲈颍槍?duì)FPGA的結(jié)構(gòu)特點(diǎn)改進(jìn)了特征跟蹤算法中基于Harris角點(diǎn)檢測(cè)的特征點(diǎn)匹配算法［4］，求取特征點(diǎn)運(yùn)動(dòng)參數(shù)，利用基于距離準(zhǔn)則的特征點(diǎn)匹配驗(yàn)證方法［5］結(jié)合最小二乘法得到全局運(yùn)動(dòng)估計(jì)結(jié)果。

1 系統(tǒng)組成

系統(tǒng)以Xilinx公司的Virtex 5 FX100T系列為目標(biāo)器件，由視頻采集、視頻解碼輸入、運(yùn)動(dòng)估計(jì)模塊、運(yùn)動(dòng)補(bǔ)償模塊、視頻輸出模塊和時(shí)序控制模塊組成，如圖1所示。系統(tǒng)核心處理器件為Virtex 5 FX100T上的2個(gè)PowerPC處理核心，PAL制式的視頻信號(hào)通過A/D轉(zhuǎn)換子卡轉(zhuǎn)換成符合CCIR.656數(shù)字視頻流輸入到FPGA內(nèi)部寄存器中，經(jīng)過運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償模塊將處理后的視頻輸出到顯示器上顯示。系統(tǒng)的存儲(chǔ)部分包括片上BRAM對(duì)少數(shù)幀圖像進(jìn)行存儲(chǔ)，DDR SDRAM對(duì)待補(bǔ)償?shù)膱D像和補(bǔ)償后的圖像進(jìn)行存儲(chǔ)，整個(gè)過程的控制由時(shí)序控制模塊完成。

圖1 系統(tǒng)框架圖

2 軟件設(shè)計(jì)

2.1 攝像機(jī)參數(shù)模型

視頻序列圖像產(chǎn)生抖動(dòng)的原因來自于攝像機(jī)的運(yùn)動(dòng)，這種運(yùn)動(dòng)主要包括平移和旋轉(zhuǎn)。建立合適的數(shù)學(xué)模型描述攝像機(jī)的運(yùn)動(dòng)決定了算法能實(shí)現(xiàn)的功能和算法的精度。該系統(tǒng)采用Similarity模型描述攝像機(jī)的運(yùn)動(dòng)，通過此模型能實(shí)現(xiàn)圖像平移、旋轉(zhuǎn)和縮放的處理。

攝像機(jī)坐標(biāo)系中，由于圖像視頻序列是三維物體在二維平面的投影，此運(yùn)動(dòng)從時(shí)刻tk的坐標(biāo)p(X，Y)運(yùn)動(dòng)到時(shí)刻tk+1的坐標(biāo)p'(x'，y')，由Similarity模型可得計(jì)算方程為

式中:s為縮放因子;θ為旋轉(zhuǎn)因子;d1，d2為p'相對(duì)于p的偏移量，通過求解此方程，可得特征點(diǎn)運(yùn)動(dòng)參數(shù)。

2.2 改進(jìn)的Harris角點(diǎn)檢測(cè)算法

普通視頻分析系統(tǒng)一般采用DSP實(shí)現(xiàn)Harris角點(diǎn)檢測(cè)，計(jì)算量相當(dāng)大，從而影響穩(wěn)像系統(tǒng)的實(shí)時(shí)性，嚴(yán)重時(shí)將導(dǎo)致系統(tǒng)運(yùn)動(dòng)估計(jì)部分不能實(shí)時(shí)處理?；贖arris角點(diǎn)檢測(cè)結(jié)構(gòu)相對(duì)簡(jiǎn)單的特點(diǎn)，采用FPGA實(shí)現(xiàn)能夠較大程度地提高角點(diǎn)檢測(cè)的速度，從而保證穩(wěn)像系統(tǒng)的實(shí)時(shí)性。

Harris角點(diǎn)是一種基于信號(hào)點(diǎn)的特征提取算子，通過建立自相關(guān)函數(shù)相聯(lián)系的對(duì)稱矩陣M，求取M的兩個(gè)特征值λ1和λ2，則λ1和λ2代表的是自相關(guān)函數(shù)的一階曲率，若兩個(gè)特征值都很大，即代表自相關(guān)函數(shù)呈尖頂狀，即此點(diǎn)為角點(diǎn)。

不同于基于邊緣的Moravec角點(diǎn)檢測(cè)和和采用固定閾值的Susan算子角點(diǎn)檢測(cè)［6］，Harris算子對(duì)圖像旋轉(zhuǎn)、灰度變化、視角變化和亮度變化具有較好的穩(wěn)健性。Harris角點(diǎn)檢測(cè)的過程中利用水平、豎直差分算子對(duì)每個(gè)像素進(jìn)行濾波求得水平、豎直方向上的導(dǎo)數(shù)，由于Harris算子存在各向異性，所以M保持旋轉(zhuǎn)不變性。

式(2)中:Ix，Iy分別表示圖像中像素在水平、豎直方向的導(dǎo)數(shù)，而其表達(dá)的含義是分別對(duì)4個(gè)元素進(jìn)行高斯平滑濾波，由式(3)即高斯函數(shù)的形式可知，決定平滑程度即高斯濾波器的寬度由參數(shù)σ表征，在一般的Harris角點(diǎn)檢測(cè)中，通常取σ的值為2，大小為5×5的高斯模板，即可算出其模板系數(shù)為:(1/84)×［1，2，3，2，1;2，5，6，5，2;3，6，8，6，3;2，5，6，5，2;1，2，3，2，1］，采用此模板進(jìn)行FPGA實(shí)現(xiàn)，得到對(duì)1個(gè)像素進(jìn)行1次高斯濾波需要25個(gè)乘法器，24個(gè)加法器以及完成除以84操作的除法器，造成大量硬件資源的消耗，并提高了系統(tǒng)的復(fù)雜性和設(shè)計(jì)難度。而文獻(xiàn)［7］提出采用高斯濾波中采用矩形模板會(huì)在自相關(guān)檢測(cè)中引入噪聲?；谏鲜鲈?，采用圓形模板并將模板系數(shù)表示為2的整數(shù)次冪的方法對(duì)原有5×5高斯模板進(jìn)行改進(jìn)，其改進(jìn)后模板系數(shù)為:(1/32)×［0，1，1，1，0;1，2，2，2，1;1，2，4，2，1;1，2，2，2，1;0，1，1，1，0］。比較改進(jìn)后模板與原高斯模板結(jié)構(gòu)可知，兩者同樣為低通濾波器，能夠有效濾除噪聲，且與高斯圓形模板近似，能避免自相關(guān)檢測(cè)時(shí)引入的噪聲，是有效的高斯濾波模板。同時(shí)，采用改進(jìn)后的模板具有3個(gè)優(yōu)點(diǎn):1)提高了硬件實(shí)現(xiàn)程度。由于FPGA內(nèi)除法器的實(shí)現(xiàn)難度較大，而改進(jìn)后模板系數(shù)與圖像像素的乘積運(yùn)算只是簡(jiǎn)單的移位操作，即乘法運(yùn)算為向左移位操作，而除法運(yùn)算則是向右移位，極大地降低了設(shè)計(jì)難度。2)進(jìn)一步滿足系統(tǒng)實(shí)時(shí)性的要求。采用移位運(yùn)算能夠減少計(jì)算所占用的時(shí)鐘周期，改進(jìn)后模板僅需2個(gè)時(shí)鐘周期便可完成1次高斯濾波過程，而原有模板則會(huì)帶來變長(zhǎng)時(shí)鐘周期的延時(shí)，從而所耗費(fèi)時(shí)間遠(yuǎn)遠(yuǎn)超過2個(gè)時(shí)鐘周期。3)減少了硬件資源的開銷。對(duì)圖像像素的移位操作在原有的存儲(chǔ)空間中即可完成，不需要調(diào)用額外的硬件資源，從而大大節(jié)省了硬件資源的消耗。

2.3 基于距離準(zhǔn)則的特征點(diǎn)匹配驗(yàn)證

對(duì)當(dāng)前幀圖像中的特征點(diǎn)進(jìn)行正確提取后，需將當(dāng)前幀圖像和參考幀圖像中對(duì)應(yīng)的特征點(diǎn)進(jìn)行匹配，并求取匹配后特征點(diǎn)之間的運(yùn)動(dòng)參數(shù)。匹配搜索的方法分為全搜索法和局部搜索法2種。由于對(duì)系統(tǒng)精度的要求，采用計(jì)算量較大但精度較高的全搜索法求得運(yùn)動(dòng)參數(shù)。對(duì)特征點(diǎn)的匹配驗(yàn)證采用絕對(duì)誤差和(SAD)驗(yàn)證準(zhǔn)則，得到1組特征點(diǎn)對(duì)集合。

由于視野中運(yùn)動(dòng)物體在當(dāng)前幀的出現(xiàn)和消失會(huì)造成局部特征點(diǎn)，并且在匹配過程中容易產(chǎn)生誤匹配點(diǎn)，進(jìn)而嚴(yán)重影響運(yùn)動(dòng)估計(jì)的精度，從而需要采用一定方法剔除誤匹配點(diǎn)和局部特征點(diǎn)，該系統(tǒng)采用距離不變準(zhǔn)則來校正特征點(diǎn)對(duì)。具體算法為:

設(shè)A(ma，mb)和B(mb，nb)為任意2個(gè)參考幀圖像上的特征點(diǎn)，而當(dāng)前幀圖像上與其對(duì)應(yīng)的特征點(diǎn)為A'(m'a，m'b)和B'(n'a，n'b)。假設(shè)(A，A')與(B，B')之間是正確的匹配對(duì)，則滿足

基于以上方程描述距離準(zhǔn)則，設(shè)計(jì)匹配驗(yàn)證步驟為:

1)對(duì)已有的N個(gè)特征點(diǎn)對(duì)計(jì)算其橫縱坐標(biāo)之間的距離，采用桶形聚類方法將其分成k(k≤N)類。

2)統(tǒng)計(jì)和比較k類中特征點(diǎn)的個(gè)數(shù)ti(i=1，2，…，k)。

3)求取特征點(diǎn)距離對(duì)最多的類，即距離對(duì)數(shù)量滿足ti=max{ti|i=1，2，…，k)，即所有集合為全局特征點(diǎn)對(duì)。

2.4 最小二乘估計(jì)法計(jì)算全局運(yùn)動(dòng)矢量

通過局部運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量采用最小二乘法的思想求出全局特征點(diǎn)的信息，將Similarity模型轉(zhuǎn)換6參數(shù)仿射模型，得

公式(6)給出了變換后兩種參數(shù)模型的對(duì)應(yīng)關(guān)系。將當(dāng)前幀圖像特征點(diǎn)與參考幀圖像對(duì)應(yīng)特征點(diǎn)的坐標(biāo)分別記作(x'i，y'i)，(xi，yi)，i=1，2，···，n。則對(duì)每一個(gè)特征點(diǎn)匹配對(duì)，有

公式(7)中:i為特征點(diǎn)對(duì)的編號(hào)，Δxi，Δyi為當(dāng)前幀特征點(diǎn)對(duì)應(yīng)參考幀的運(yùn)動(dòng)矢量。在6參數(shù)模型的基礎(chǔ)上，定義能量函數(shù)ρx，ρy如

根據(jù)最小二乘法，當(dāng)ρx，ρy取得最小值時(shí)，即

可以得到幀間旋轉(zhuǎn)角度θ和縮放因子s為

3 硬件設(shè)計(jì)

系統(tǒng)采用模塊化設(shè)計(jì)，并借助ISE和EDK開發(fā)工具設(shè)計(jì)實(shí)時(shí)穩(wěn)像系統(tǒng)。

3.1 高斯濾波模塊設(shè)計(jì)

高斯濾波計(jì)算過程中，采用5行緩存，即需要將視頻數(shù)據(jù)流形成數(shù)據(jù)窗口，應(yīng)用改進(jìn)的高斯濾波模板完成計(jì)算。數(shù)據(jù)緩存器設(shè)計(jì)應(yīng)用FIFO存儲(chǔ)器結(jié)構(gòu)，在像素時(shí)鐘以及行同步信號(hào)的控制下完成數(shù)據(jù)緩存。由于模板中乘除法計(jì)算采用移位的形式，避免了復(fù)雜計(jì)算帶來的時(shí)間與資源消耗。窗口形成模塊設(shè)計(jì)如圖2所示。

圖2 基于FIFO的窗口形成模塊

對(duì)緩存的設(shè)計(jì)采用ISE工具集中的Core Generator高速緩存生成器生成所需緩存。其中模塊中FIFO存儲(chǔ)器是關(guān)鍵的設(shè)計(jì)。FIFO通常存在讀使能端口、寫使能端口、FIFO狀態(tài)端口、數(shù)據(jù)輸入輸出端口等信號(hào)端口，其狀態(tài)一般分為3種:滿、未滿或空。其中FIFO設(shè)計(jì)的深度等于圖像中列數(shù)，而其設(shè)計(jì)難點(diǎn)在于判斷數(shù)據(jù)的空/滿狀態(tài)。傳統(tǒng)的FIFO設(shè)計(jì)中，亞穩(wěn)態(tài)難以避免，而該設(shè)計(jì)中采用冗余的觸發(fā)器，即避免FIFO在真正發(fā)生空/滿狀態(tài)時(shí)設(shè)置空/滿標(biāo)志，而是提前設(shè)置標(biāo)志，使得FIFO能夠提前清空與寫入雙口RAM中。這樣設(shè)計(jì)勢(shì)必會(huì)浪費(fèi)一定的硬件資源，但保證了FIFO模塊的精度。

FIFO模塊系統(tǒng)仿真時(shí)序如圖3所示。由時(shí)序圖可知，F(xiàn)IFO很好地完成數(shù)據(jù)緩存與輸出，減小了亞穩(wěn)態(tài)出現(xiàn)的概率，能達(dá)到系統(tǒng)設(shè)計(jì)的要求。窗口模塊后的每個(gè)數(shù)據(jù)輸出端口均接入與改進(jìn)后的高斯模板系數(shù)相對(duì)應(yīng)的乘法器，即對(duì)數(shù)據(jù)完成相應(yīng)的左移位操作。對(duì)5行數(shù)據(jù)完成相應(yīng)系數(shù)的乘法操作后匯總進(jìn)行右移5位的操作，即完成對(duì)改進(jìn)后規(guī)范化系數(shù)的除法運(yùn)算。高斯濾波模塊每個(gè)時(shí)鐘周期即可得到相應(yīng)的濾波值，從而完成高斯濾波操作。

圖3 FIFO功能框圖及仿真時(shí)序圖(截圖)

3.2 求導(dǎo)計(jì)算與非局部最大值抑制模塊

對(duì)X與Y方向的求導(dǎo)計(jì)算同樣采用模板來完成，該模板與低通濾波模板類似，只改變模板的系數(shù)，只需1個(gè)時(shí)鐘周期的操作即可計(jì)算出X與Y方向的梯度算子，由于篇幅關(guān)系，在這里定制實(shí)現(xiàn)3個(gè)數(shù)據(jù)梯度計(jì)算的ladder_3模塊，如圖4所示。該系統(tǒng)所需梯度計(jì)算模塊即在此模塊上的擴(kuò)展，即將數(shù)據(jù)分別于相對(duì)應(yīng)的5×5計(jì)算模板系數(shù)相乘，其可利用Sobel模板求取梯度［8］。

圖4 梯度算子計(jì)算模塊

對(duì)計(jì)算后結(jié)果還需進(jìn)行興趣值領(lǐng)域的非極大值抑制，即只保留最佳結(jié)果。非極大值抑制在計(jì)算興趣值R時(shí)針對(duì)FPGA將小于零的R值置零。興趣值的計(jì)算需調(diào)用乘法器完成，其非極大值抑制在3×3領(lǐng)域內(nèi)完成。將得到的興趣值圖像與閾值進(jìn)行比較，若其大于設(shè)定閾值即為最終求得的角點(diǎn)。其Verilog代碼如

其中:iThreshold即為設(shè)定的門限值，將aData標(biāo)記為黑的點(diǎn)即為所求得的角點(diǎn)，從而能夠得到角點(diǎn)的坐標(biāo)。

3.3 運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償模塊

提取出角點(diǎn)信息后，需要進(jìn)行局部運(yùn)動(dòng)矢量的估計(jì)以及全局運(yùn)動(dòng)矢量的計(jì)算。單純采用FPGA結(jié)構(gòu)很難完成如此復(fù)雜的計(jì)算。應(yīng)用Virtex 5 Fx100T中嵌入的Power PC處理器構(gòu)建軟硬協(xié)同處理模式，通過PLB總線訪問高速緩存中的角點(diǎn)信息，最終計(jì)算出幀間全局運(yùn)動(dòng)矢量。

運(yùn)動(dòng)補(bǔ)償是通過對(duì)存儲(chǔ)在DDR SDRAM中的待補(bǔ)償幀圖像數(shù)據(jù)，利用Xilinx公司的MPMC(Multi-Port Memory Controller)IP核來完成內(nèi)存的讀寫管理在其專用開發(fā)工具EDK中完成。調(diào)用此IP核能夠?qū)⒄麄€(gè)DDR SDRAM分成8個(gè)互相獨(dú)立的端口，每個(gè)端口的操作類似于BRAM，即可以通過任意一個(gè)端口訪問內(nèi)存。在應(yīng)用MPMC核進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)，由于其寫入機(jī)制為先將數(shù)據(jù)寫入緩存后再完成寫入內(nèi)存操作，而對(duì)內(nèi)存數(shù)據(jù)的讀取是直接進(jìn)行。為了避免此沖突的發(fā)生，系統(tǒng)設(shè)定判定信號(hào)首先判定緩存是否為空，僅當(dāng)判定信號(hào)返回為空時(shí)才執(zhí)行讀取操作，從而避免了讀寫沖突造成的數(shù)據(jù)丟失。

4 實(shí)驗(yàn)與分析

系統(tǒng)采用PAL制式彩色工業(yè)線陣攝像頭，拍攝某室內(nèi)場(chǎng)景，數(shù)據(jù)流經(jīng)FPGA穩(wěn)像系統(tǒng)實(shí)時(shí)處理后顯示在VGA顯示器上。為了驗(yàn)證系統(tǒng)的性能，將系統(tǒng)放置在用于產(chǎn)生震動(dòng)的云臺(tái)上，以2 Hz的頻率進(jìn)行一定幅度震動(dòng)。圖5為結(jié)果的第1幀、第7幀、第14幀、第21幀。為了便于對(duì)比系統(tǒng)效果，顯示器左半邊為未進(jìn)行穩(wěn)像處理視頻流，右半平面為進(jìn)行穩(wěn)像處理后的同源視頻流。

圖5 實(shí)驗(yàn)結(jié)果

對(duì)比左右顯示結(jié)果可以明顯看出:左半平面內(nèi)容發(fā)生明顯的改變，而右半平面內(nèi)容基本保持不變。其中結(jié)果第7幀右半平面可以明顯看到系統(tǒng)進(jìn)行運(yùn)動(dòng)補(bǔ)償后產(chǎn)生的黑色空白區(qū)域。從而證明，系統(tǒng)具有良好的實(shí)時(shí)穩(wěn)像效果。

將系統(tǒng)與同樣移植程序的基于C6000系列的DSP穩(wěn)像平臺(tái)以及基于INTEL Pentium E5300 2.6 GHz、內(nèi)存為4 Gbyte的通用PC穩(wěn)像平臺(tái)處理時(shí)間對(duì)比如表1所示。

表1 不同平臺(tái)處理時(shí)間

由此看出，采用基于FPGA的處理平臺(tái)每秒處理幀數(shù)能夠達(dá)到100幀以上，處理速度遠(yuǎn)遠(yuǎn)高于DSP平臺(tái)以及通用PC平臺(tái)，能夠?qū)崿F(xiàn)高速視頻的穩(wěn)像。系統(tǒng)在某廠礦企業(yè)已經(jīng)運(yùn)行達(dá)2 000 h，事實(shí)證明其能穩(wěn)定工作。

5 結(jié)束語

系統(tǒng)針對(duì)FPGA的特點(diǎn)，改進(jìn)了基于Harris的角點(diǎn)檢測(cè)算法，并應(yīng)用距離準(zhǔn)則對(duì)角點(diǎn)對(duì)進(jìn)行驗(yàn)證。在得到角點(diǎn)的基礎(chǔ)上應(yīng)用硬核處理器對(duì)抖動(dòng)進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，實(shí)現(xiàn)了能夠高速處理抖動(dòng)視頻的嵌入式穩(wěn)像系統(tǒng)。實(shí)驗(yàn)表明，穩(wěn)像系統(tǒng)處理速度高，效果較好，能夠達(dá)到高速實(shí)現(xiàn)穩(wěn)像的要求，具有較高實(shí)用價(jià)值。但對(duì)運(yùn)動(dòng)補(bǔ)償部分即補(bǔ)償后畫面中空白區(qū)域的處理還缺乏研究。

［1］ZHANG Yongxiang，CHEN Fangmin.Implementation of gray projection image stabilization algorithm based on TMS320DM642［C］//Proc.IEEE 5th International Joint Conference on INC，IMS and IDC.［S.l.］:IEEE Press，2009:1724-1726.

［2］SUNG J K.Fast digital image stabilizer based on gray-coded bit-plane matching［J］.IEEE Trans.Consumer Electronics，1999，45(3):598-603.

［3］楊光宇，朱丹，佟新鑫，等.基于灰度投影法的電子穩(wěn)像平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)［J］.電視技術(shù)，2011，35(19):115-118.

［4］倪樂真，李玉山，劉洋，等.一種基于角點(diǎn)配對(duì)的穩(wěn)像算法［J］.電視技術(shù)，2009，33(S2):71-74.

［5］朱娟娟，郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)［J］.西安電子科技大學(xué)學(xué)報(bào):自然科學(xué)版，2007，34(3):418-422，452.

［6］賀菁，李慶華，王新賽.基于方向性SUSAN算子的圖像角點(diǎn)特征提?。跩］.小型微型計(jì)算機(jī)系統(tǒng)，2008，29(3):508-510.

［7］PIKAZ A，DISTEIN I.Using simple decomposition for smoothing and feature point detection of noisy digital curves［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1994，16(8):808-813.

［8］唐永鶴，胡謀法，盧煥章.抗噪型Sobel邊緣檢測(cè)算法及其硬件加速設(shè)計(jì)［J］.計(jì)算機(jī)工程，2011，37(24):204-206.