基于TI雙核處理器的艦船嵌入式穩(wěn)像技術(shù)

李 冰

(西安航空職業(yè)技術(shù)學(xué)院，陜西 西安710089)

0 引 言

隨著網(wǎng)絡(luò)和視頻技術(shù)的發(fā)展，視頻設(shè)備越來(lái)越多地應(yīng)用于各類航空、船舶、監(jiān)控等領(lǐng)域，人們對(duì)于視頻質(zhì)量的要求越來(lái)越高。不單單是要求拍攝的視頻分辨率足夠大，畫(huà)面足夠清晰，同時(shí)還要求視頻穩(wěn)定無(wú)抖動(dòng)。視頻清晰穩(wěn)定也是機(jī)器視覺(jué)自動(dòng)處理的關(guān)鍵前提。但由于攝像載體大部分都是運(yùn)動(dòng)的，這部分運(yùn)動(dòng)不單包括載體的主動(dòng)運(yùn)動(dòng)，同時(shí)還包括載體的隨機(jī)抖動(dòng)。正是這種隨機(jī)抖動(dòng)的存在，導(dǎo)致了成像不穩(wěn)定，給視頻觀察者和針對(duì)此視頻的后續(xù)處理工作帶來(lái)問(wèn)題。船舶工作環(huán)境比較惡劣，上面搭建的攝影平臺(tái)一般也都處于比較惡劣的工作環(huán)境，得到的視頻圖像都是抖動(dòng)不穩(wěn)定的，影響視頻圖像觀測(cè)者的觀看與分析，導(dǎo)致誤判和漏判現(xiàn)象，因此需要將這些抖動(dòng)的視頻信號(hào)轉(zhuǎn)化為高質(zhì)量的穩(wěn)定視頻［1］。

1 穩(wěn)像技術(shù)理論

穩(wěn)像技術(shù)是為了解決船舶這種運(yùn)動(dòng)載體上攝像機(jī)抖動(dòng)問(wèn)題造成的視頻不清晰，對(duì)獲取的抖動(dòng)不穩(wěn)的視頻圖像采用一定的技術(shù)手段進(jìn)行修正和補(bǔ)償，使其變得平穩(wěn)流暢。穩(wěn)像技術(shù)的發(fā)展從20 世紀(jì)80 年代經(jīng)歷了3 個(gè)階段，即從機(jī)械穩(wěn)像到光學(xué)穩(wěn)像，再到電子穩(wěn)像。

每種穩(wěn)像技術(shù)都有其優(yōu)缺點(diǎn)，適用于不同的應(yīng)用場(chǎng)合。其中電子穩(wěn)像技術(shù)由于其體積小、成本低、精度高等優(yōu)點(diǎn)，得到了廣泛的使用。電子穩(wěn)像技術(shù)通過(guò)數(shù)字圖像處理技術(shù)，對(duì)采集到的視頻圖像進(jìn)行運(yùn)動(dòng)估計(jì)，得到視頻圖像中的抖動(dòng)、旋轉(zhuǎn)等非正常偏移量，然后再針對(duì)性的對(duì)其進(jìn)行運(yùn)動(dòng)補(bǔ)償來(lái)除去這些非正常偏移，得到比較穩(wěn)定的視頻圖像。電子穩(wěn)像的核心部分是獲取視頻圖像中相鄰幀之間的位移部分，按照其處理方式的不同，一般可以分為傳感器檢測(cè)方式和算法實(shí)現(xiàn)方式2 種。

傳感器實(shí)現(xiàn)方式是利用各種距離、位置等傳感器件對(duì)攝像平臺(tái)的抖動(dòng)等參數(shù)進(jìn)行檢測(cè)，然后針對(duì)采集的抖動(dòng)參數(shù)再進(jìn)行相應(yīng)的補(bǔ)償。傳感器實(shí)現(xiàn)方式比較容易實(shí)現(xiàn)，其穩(wěn)像精度主要取決于所采用的傳感器的采集精度，一般精度較高的傳感器價(jià)格也比較高，所以為了達(dá)到一定的精度，整個(gè)穩(wěn)像系統(tǒng)的價(jià)格會(huì)比較高［5］。

算法實(shí)現(xiàn)方式是目前采用比較多的一種穩(wěn)像方式，主要工作原理是通過(guò)一定的計(jì)算機(jī)算法對(duì)得到的視頻圖像進(jìn)行分析，得到視頻圖像中相鄰幀之間的相對(duì)位移，然后進(jìn)行處理，分離出主要影響視頻穩(wěn)定性的高頻隨機(jī)抖動(dòng)參數(shù)。最后針對(duì)分離出的高頻隨機(jī)抖動(dòng)進(jìn)行相應(yīng)的補(bǔ)償，得到較為穩(wěn)定的視頻圖像。其流程如圖1 所示?；镜墓ぷ髁鞒?輸入抖動(dòng)視頻;然后進(jìn)行圖像的預(yù)處理，濾除原始圖像中的噪聲;估計(jì)出圖像的全局運(yùn)動(dòng)參數(shù);在估計(jì)出的運(yùn)動(dòng)矢量中分辨出攝像機(jī)運(yùn)動(dòng)和圖像中小目標(biāo)的運(yùn)動(dòng)及抖動(dòng)矢量，濾除抖動(dòng)，保留原來(lái)攝像機(jī)的正常掃描運(yùn)動(dòng);根據(jù)估計(jì)出的抖動(dòng)參數(shù)來(lái)補(bǔ)償原來(lái)的抖動(dòng)圖像，以獲得穩(wěn)定圖像;最后輸出穩(wěn)定視頻。

圖1 電子穩(wěn)像工作流程框圖Fig.1 The flowchart of the electronic image stabilization

2 電子穩(wěn)像算法設(shè)計(jì)

2.1 灰度投影穩(wěn)像算法

一般電子穩(wěn)像算法按照其處理方式可分為離線處理和在線處理兩類。離線處理是指在視頻采集完成后，通過(guò)計(jì)算機(jī)進(jìn)行后期的穩(wěn)像處理，這種算法一般追求較高的穩(wěn)像效果，可處理包含平移、旋轉(zhuǎn)、變焦等多參數(shù)抖動(dòng)視頻的穩(wěn)定，不過(guò)多考慮算法實(shí)時(shí)性和系統(tǒng)的復(fù)雜度。在線處理是指采集的同時(shí)將視頻穩(wěn)定，此類算法一般對(duì)實(shí)時(shí)性要求特別高，且多應(yīng)用于嵌入式平臺(tái)。由此可見(jiàn)，實(shí)時(shí)性和處理效果往往是一對(duì)矛盾同時(shí)存在，在硬件性能固定的前提下，只能在實(shí)時(shí)性和處理效果中折中考慮。

目前實(shí)現(xiàn)電子穩(wěn)像的算法也有很多種，基本原理都相似，只是算法不一樣。本文采用的是一種基于灰度投影的實(shí)時(shí)數(shù)字電子穩(wěn)像算法，其主要工作原理是是將復(fù)雜兩維的視頻圖像信息轉(zhuǎn)化為一維的投影曲線，然后在一維層面上進(jìn)行一次相關(guān)運(yùn)算，即可求出運(yùn)動(dòng)矢量，進(jìn)行補(bǔ)償。因此計(jì)算量比較小，可以實(shí)現(xiàn)較快的處理速度。同時(shí)灰度投影算法是對(duì)灰度圖像進(jìn)行直接處理，減少噪聲等干擾信號(hào)，因此灰度投影算法在計(jì)算量較小的同時(shí)還可以保證較高的準(zhǔn)確度。

灰度投影算法的工作過(guò)程可以分為圖像灰度映射過(guò)程和位移計(jì)算過(guò)程2 個(gè)階段［3］。

1)灰度映射

圖像灰度映射過(guò)程第1 個(gè)階段是灰度映射，主要是負(fù)責(zé)把輸入的視頻圖像先進(jìn)行濾波預(yù)處理，然后將二維的視頻圖像的灰度投影映射成2 個(gè)獨(dú)立的一維波形。具體的投影公式為:

式中:Gm(i，j)為第m 幀圖像上具體坐標(biāo)(i，j)處的灰度投影值;Gm(i)和Gm(j)為圖像的二維向量，表示第m 幀圖像的第i 行和第j 列的灰度投影值。

2)位移計(jì)算

相關(guān)位移計(jì)算是灰度投影穩(wěn)像算法的第2 個(gè)階段。在前一階段轉(zhuǎn)化好的一維波形的基礎(chǔ)上，將得到的某幀圖像的行、列灰度投影與預(yù)先選定的參考幀圖像的行、列灰度投影進(jìn)行對(duì)比和計(jì)算，得到相應(yīng)的行、列位移矢量值。

具體的計(jì)算公式如下:

式中:N 為投影圖像列的長(zhǎng)度;n 為位移矢量相對(duì)于選定的參考幀的距離寬度;vmin為使C(v)取最小時(shí)v 的取值。

位移矢量的計(jì)算公式為

式(3)可以用于得到固定幀水平方向和垂直方向相對(duì)于參考幀的位移矢量，其中δ 的正負(fù)表示位移的方向，數(shù)字表示位移距離的大小。在得到了當(dāng)前幀相對(duì)于參考幀的水平、垂直方向的位移矢量后，就可以對(duì)圖像進(jìn)行相關(guān)補(bǔ)償，即將當(dāng)前的圖像向參考幀的相反方向移動(dòng)δ 大小的距離，就得到補(bǔ)償后相對(duì)穩(wěn)定的視頻圖像［4］。

2.2 優(yōu)化的灰度投影穩(wěn)像算法

上一節(jié)中對(duì)灰度投影法算法進(jìn)行了介紹，雖然計(jì)算量比較小，可以實(shí)現(xiàn)較快的處理速度。但灰度投影法自身也有一定的缺陷，在圖像存在旋轉(zhuǎn)運(yùn)動(dòng)的情況下，很難計(jì)算出運(yùn)動(dòng)矢量，比配精度不高，因此其應(yīng)用范圍比較局限。

為了取得更加理想的穩(wěn)像效果，針對(duì)普通的灰度投影算法自身存在的缺陷，可以采取一些相應(yīng)的辦法對(duì)算法進(jìn)行優(yōu)化，在保證原有算法優(yōu)良的處理速度和精度等優(yōu)點(diǎn)的前提下，提高算法的整體性能，增強(qiáng)穩(wěn)像效果。

1)圖像預(yù)處理

灰度投影算最重要的是要得到相對(duì)運(yùn)動(dòng)矢量，所以對(duì)投影圖片的對(duì)比度有一定的要求，對(duì)于一些對(duì)比度較低的灰度圖像，對(duì)比不夠明顯，很難得到正確的運(yùn)動(dòng)矢量。因此，需要預(yù)先對(duì)圖像進(jìn)行直方圖均衡化預(yù)處理操作，來(lái)增強(qiáng)圖像的對(duì)比度，方便下一步的處理和分析。

2)優(yōu)化投影區(qū)域的選擇

針對(duì)分辨率不同的視頻圖像可以采用不同的投影測(cè)量方法，對(duì)于分辨率較低的圖像序列，可以講投影區(qū)域擴(kuò)大，或者可直接將全部圖像作為投影區(qū)域，對(duì)于分辨率較高的圖像序列，可以僅選擇其中的部分作為投影區(qū)域，優(yōu)先選擇灰度變化較大、對(duì)比強(qiáng)烈的區(qū)域。

3)優(yōu)化參考幀的選擇策略

考慮船舶攝像平臺(tái)的成像特點(diǎn)，以及攝像平臺(tái)所處的運(yùn)動(dòng)狀態(tài)，在整個(gè)算法中一直采用固定幀進(jìn)行對(duì)比和匹配不太適合。因?yàn)椴捎霉潭◣ヅ涞姆椒ǎ捎谄湔`差會(huì)慢慢積累，越來(lái)越大，導(dǎo)致計(jì)算量也慢慢增加，所以在一定程度上影響到整個(gè)算法處理的速度和精度。因此，可以根據(jù)待穩(wěn)圖像的抖動(dòng)參數(shù)，采用變參考幀的選擇策略，動(dòng)態(tài)的選取參考幀，這樣就既可以有效降低積累誤差，保證穩(wěn)像處理的速度，又可以在一定程度上保證穩(wěn)像的精度［8］。

通過(guò)以上3 點(diǎn)優(yōu)化策略，對(duì)灰度投影算法進(jìn)行優(yōu)化，提高其穩(wěn)像精度和速度。優(yōu)化過(guò)的算法流程如圖2 所示。

圖2 優(yōu)化的灰度投影穩(wěn)像算法流程圖Fig.2 Flow chart of optimized gray projection image stabilization algorithm

3 嵌入式穩(wěn)像器設(shè)計(jì)

目前，多核處理器因具有結(jié)構(gòu)簡(jiǎn)單、效率高、擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)已成為市場(chǎng)的主流。多核處理器是將2 個(gè)以上完全功能的核心集成在一個(gè)芯片內(nèi)，通過(guò)這樣的設(shè)計(jì)提升了處理器的并行性能，增強(qiáng)了處理器的運(yùn)行效率和計(jì)算性能［6］。

TI 公司生產(chǎn)的TMS320VC5421 芯片是一款基于多核技術(shù)的雙核DSP 芯片，它擁有2 個(gè)功能核心，即兩個(gè)相對(duì)獨(dú)立的DSP 子系統(tǒng)。2 個(gè)DSP 子系統(tǒng)共享1 套片外總線，彼此之間可以進(jìn)行互相通信。此外，2 個(gè)DSP 子系統(tǒng)都有獨(dú)立的數(shù)據(jù)和程序存儲(chǔ)空間，而且每個(gè)DSP 子系統(tǒng)都有2 K16 比特的片內(nèi)ROM［2］。

本文設(shè)計(jì)了一種基于DSP VC5421 雙核DSP 處理器的電子穩(wěn)像器，整個(gè)系統(tǒng)如圖3 所示。主要實(shí)現(xiàn)以下功能:

1)實(shí)現(xiàn)對(duì)抖動(dòng)輸入視頻的實(shí)時(shí)穩(wěn)像;

2)支持模擬視頻或數(shù)字視頻等格式的視頻輸入;

3)支持模擬視頻、數(shù)字視頻、SDI 視頻等格式的視頻輸出;

4)支持視頻信息的獲取，包括海拔高度信息、GPS 信息和慣導(dǎo)姿態(tài)信息等;

5)支持視頻的本地存儲(chǔ)，以備以后的使用。

軟件流程如圖4 所示，具體過(guò)程可分為以下6 個(gè)環(huán)節(jié):

圖3 基于DSP VC5421 雙核處理器的電子穩(wěn)像器設(shè)計(jì)框圖Fig.3 Diagram of electronic image stabilization device based on DSP VC5421 dual core processor

1)采集環(huán)節(jié)。輸入模塊實(shí)現(xiàn)對(duì)船舶攝像平臺(tái)拍攝的視頻圖像信號(hào)的采集，然后送至下一個(gè)環(huán)節(jié)。

2)保存環(huán)節(jié)。將上一環(huán)節(jié)采集到的視頻圖像保存在事先就已經(jīng)分配好的雙緩沖區(qū)中，同時(shí)將采集后的視頻圖像傳遞給預(yù)處理模塊進(jìn)行圖像預(yù)處理等操作。

3)計(jì)算環(huán)節(jié)。對(duì)緩沖區(qū)域之中的視頻圖像數(shù)據(jù)采用優(yōu)化的灰度值投影算法進(jìn)行穩(wěn)像，根據(jù)投影對(duì)比度優(yōu)化投影區(qū)域的選擇，選對(duì)投影圖像進(jìn)行直方圖均衡化預(yù)處理，增強(qiáng)圖像的對(duì)比度。然后采用動(dòng)態(tài)的參考幀選擇策略，分別計(jì)算出投影圖像的行、列的灰度值，計(jì)算出當(dāng)前幀圖像與選定的參考幀圖像之間的相對(duì)偏移矢量。

4)濾波環(huán)節(jié)。采用均值濾波法對(duì)得到的視頻圖像的幀間全局運(yùn)動(dòng)矢量的運(yùn)動(dòng)軌跡，進(jìn)行平滑濾波，得到船舶攝像平臺(tái)所受到的隨機(jī)的機(jī)械振動(dòng)的矢量。

5)補(bǔ)償環(huán)節(jié)。在獲取了全局運(yùn)動(dòng)矢量后，補(bǔ)償模塊通過(guò)對(duì)當(dāng)前幀圖像向位移矢量的相反方向進(jìn)行移動(dòng)操作，對(duì)視頻進(jìn)行反向補(bǔ)償。

6)輸出環(huán)節(jié)。將經(jīng)過(guò)改進(jìn)的灰度值投影電子穩(wěn)像算法進(jìn)行處理之后所得到的當(dāng)前幀圖像在內(nèi)存之中的起始地址輸出給視頻圖像輸出模塊，可以直接通過(guò)模擬或數(shù)字形式輸出穩(wěn)像后視頻，也可以綜合視頻信息采集模塊獲取的海拔高度、GPS 和慣導(dǎo)姿態(tài)信息，通過(guò)SDI 接口發(fā)送視頻。系統(tǒng)同時(shí)支持將穩(wěn)像后的本地視頻保存，以備后期應(yīng)用［7］。

圖4 軟件流程圖Fig.4 The software flow chart

4 結(jié) 語(yǔ)

本文對(duì)船舶穩(wěn)像技術(shù)進(jìn)行了闡述，重點(diǎn)對(duì)灰度投影穩(wěn)像算法進(jìn)行了研究。為了克服傳統(tǒng)的灰度投影穩(wěn)像算法缺點(diǎn)，在傳統(tǒng)算法的基礎(chǔ)上提出了3 點(diǎn)改進(jìn)優(yōu)化的方法，可以有效提高灰度投影實(shí)時(shí)穩(wěn)像算法的精度。之后本文設(shè)計(jì)了基于TI 雙核處理器DSP VC5421 的艦船嵌入式穩(wěn)像系統(tǒng)，采用優(yōu)化的灰度投影實(shí)時(shí)穩(wěn)像算法，對(duì)船舶攝像平臺(tái)上的抖動(dòng)視頻進(jìn)行實(shí)時(shí)穩(wěn)像操作，輸出穩(wěn)定的視頻圖像。

［1］ZHOU Yu-bin.Real-time electronic digital image stabilization system based on multi-core computation［C］//The Ninth International Conference on Electronic Measurement ＆Instruments，2009(4):308-314.

［2］周明宇.電子穩(wěn)像理論研究及DSP 實(shí)現(xiàn)［D］. 哈爾濱:哈爾濱工業(yè)大學(xué)，2012.

［3］張國(guó)棟，王明泉，郭棟.基于灰度投影算法的實(shí)時(shí)電子穩(wěn)像研究［J］.微電子學(xué)與計(jì)算機(jī)，2010，27(10).ZHANG Guo-dong，WANG Ming-quan，GUO Dong.Research on real time electronic image stabilization based on gray projection algorithm［J］. Microelectronics ＆Computer，2010，27(10).

［4］張宇，黃亞博，焦建彬.一種適用于高分辨率圖像的實(shí)時(shí)電子穩(wěn)像算法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2009，19(3).ZHANG Yu，HUANG Ya-bo，JIAO Jian-bin. A real time stabilization algorithm for high resolution video［J］.Computer Technology and Development，2009，19(3).

［5］趙天云，郭雷，余博.基于灰度投影的快速電子穩(wěn)像算法［J］.微電子學(xué)與計(jì)算機(jī)，2008，25(11).ZHAO Tian-yun，GUO Lei，YU Bo. Fast digital image stabilization algorithm based on gray projection［J］.Microelectronics ＆ Computer，2008，25(11).

［6］梁小龍.基于DSP 的嵌入式電子穩(wěn)像技術(shù)研究［D］.哈爾濱:哈爾濱工程大學(xué)，2012.

［7］范華春，王鈺，許大浦.車載實(shí)時(shí)視頻穩(wěn)像系統(tǒng)研究與設(shè)計(jì)［J］.計(jì)算機(jī)測(cè)量與控制，2007(7):922 -924.FAN Hua-chun，WANG Yu，XU Da-pu. Research and design of vehicle-borne real time video image stabilized system［J］. Computer Measurement ＆ Control，2007(7):922 -924.

［8］龔衛(wèi)國(guó)，王小立，李正浩.一種特征匹配的高精度電子穩(wěn)像方法［J］.計(jì)算機(jī)應(yīng)用研究，2010，27(7):2751 -2753.GONG Wei-guo，WANG Xiao-li，LI Zheng-hao. Highaccuracy electronic image stabilization method using feature matching［J］.Application Research of Computers，2010，27(7):2751 -2753.