基于FPGA的圖像數(shù)據(jù)融合技術研究

王 雪，劉 鵬，孫風雷，李 超，王曉曼

（1.長春理工大學電子信息工程學院，吉林長春 130022；2.長春理工大學空地激光通信技術國防重點學科實驗室，吉林長春，130022）

0 引 言

隨著圖像信息技術的發(fā)展，人們希望在最短的時間內(nèi)獲取最全面的信息，以對目標場景有更完整的描述和正確的判斷.因而依靠單一傳感器所獲得的信息，已經(jīng)不能滿足需求，進而使得多傳感器同時觀測數(shù)據(jù)這種方法得到了廣泛的應用.多傳感器信息融合技術的出現(xiàn)不僅提供了單一傳感器無法滿足的多源信息，而且可以最大限度地提高系統(tǒng)性能［1］.

數(shù)字CCD相機是獲取圖像信息的主要工具［2］，操作人員可根據(jù)CCD相機采集到的圖像信息對目標場景進行分析和判斷.信息融合技術的出現(xiàn)使得圖像數(shù)據(jù)融合成為研究熱點.在激光器動態(tài)測試中，數(shù)字CCD相機拍攝到激光器在運動靶板上形成的光斑圖像會產(chǎn)生畸變，本文針對這一問題提出了一種基于FPGA的多源信息數(shù)據(jù)采集及圖像數(shù)據(jù)融合的方法，利于有效地修正由于畸變所引起的系統(tǒng)誤差，并最終提高了測試系統(tǒng)精度.

圖1 系統(tǒng)總體框圖Fig.1 Schematic diagram of the overall layout

1 系統(tǒng)測試原理

在激光光斑測試系統(tǒng)中，測試靶板以某一速度在軌道上移動，在垂直軌道某處設置承載測試相機的跟蹤轉臺.激光器發(fā)射激光到移動靶板上，跟蹤轉臺實時跟蹤目標靶板，同時數(shù)字CCD相機實時采集靶板上的激光光斑圖像.由于目標與相機間的相對運動，靶板與跟蹤轉臺中數(shù)字CCD相機主光軸會產(chǎn)生一定角度，由于這個角度的存在，數(shù)字CCD相機拍攝到的光斑圖像會產(chǎn)生一定的“畸變”，影響光斑重心的提取，降低了對激光器動態(tài)性能的測試精度.

為保證測試精度，本文提出利用FPGA將采集到的激光光斑圖像、BD／GPS時間信息以及跟蹤轉臺角位置信息進行數(shù)據(jù)融合的方法.最后，利用融合后的信息來校正畸變圖像.

2 系統(tǒng)硬件功能設計與實現(xiàn)

系統(tǒng)主要包括以下幾個模塊：BD2／GPS授時模塊、微處理器模塊、數(shù)字CCD圖像采集模塊以及FPGA采集處理模塊.FPGA為整個系統(tǒng)的核心部分，完成時間信息、角位置信息和光斑圖像的融合.

圖2 系統(tǒng)原理框圖Fig.2 The system design diagram

系統(tǒng)方案設計圖如圖2所示，信號流程如下：①激光器發(fā)射激光信號到移動靶板，數(shù)字CCD相機抓拍靶板上的光斑圖像，Cameralink接口輸出的圖像數(shù)據(jù)經(jīng)電平轉換后傳輸給FPGA.②BD2／GPS模塊提供時間信息存儲在微處理器的緩沖區(qū)內(nèi)，PPS（PPS：One－Pulse Per Second）秒脈沖（Int1）每來一次更新一次時間.③視頻跟蹤轉臺的跟蹤相機對靶板中心進行跟蹤，兩個編碼器分別輸出方位和俯仰信息，微處理器采集輸出角位置信息并存儲在緩沖區(qū)內(nèi).④FPGA根據(jù)數(shù)字相機幀頻信號作為給微處理器

的中斷信號（Int2），以中斷方式將時間和角位置信息并行傳送給FPGA，在FPGA內(nèi)完成3路信息的融合.然后將融合數(shù)據(jù)分為兩路，一路用以實時監(jiān)測，另一路傳輸給上位機用于對畸變圖像校正處理.

2.1 BD／GPS時統(tǒng)單元

本文采用BD2／GPS雙系統(tǒng)芯片UM220為整個系統(tǒng)提供統(tǒng)一的參考時間，UM220由BD2和GPS雙系統(tǒng)集成，可以單獨或組合定位.輸出的信號有時間信息、方位信息和PPS秒脈沖，時間和定位信息的數(shù)據(jù)格式為ASCII碼［3］.在本文中，BD2／GPS接收單元提供的時間數(shù)據(jù)通過串口與微處理器進行通信.

圖3 微處理器解調(diào)時間信息流程Fig.3 Flow chat of microprocessor demodulating time information

2.2 視頻跟蹤轉臺

根據(jù)測試系統(tǒng)需求，在視頻跟蹤轉臺的選取設計上，選取二維跟蹤轉臺，水平方向和俯仰方向.其技術指標如下：① 跟蹤角度范圍：水平方向：±180°，俯仰方向：－10°～90°；②跟蹤轉臺的轉角速度：水平：5°／s，俯仰：5°／s；③跟蹤精度：10′.

2.3 微處理器單元

微處理器采用Atmel公司的ATmega128單片機，主要完成以下兩個工作：

1）獲取并處理時間信息，以時、分、秒、毫秒格式存儲在MCU的數(shù)據(jù)緩沖區(qū).當MCU檢測到PPS秒脈沖時，將觸發(fā)外部中斷1（Int1），執(zhí)行更新時間操作.FPGA根據(jù)數(shù)字CCD相機的幀頻信號同步觸發(fā)MCU，作為MCU的中斷信號（Int2）.產(chǎn)生中斷后將時間數(shù)據(jù)傳送給FPGA.微處理器解調(diào)時間信息流程如圖3所示.

2）采集二維跟蹤轉臺輸出的方位和俯仰信息，以中斷的方式傳送給FPGA.

2.4 數(shù)字CCD圖像采集模塊

當移動靶板進入指定的測量區(qū)域，激光器開始發(fā)射激光，數(shù)字CCD相機便對靶板上的光斑圖像進行抓拍，直至激光器停止發(fā)射激光.采集圖像的數(shù)字CCD相機，輸出幀頻為25Hz，接口為Camera Link接口，輸出低壓差分LVDS（Low Voltage Differential Signaling）電平的圖像信號，需要通過電平轉換處理單元將LVDS信號轉換成LVTTL（Low Voltage Transistor－Transistor Logic）電平的數(shù)字信號傳送給FPGA［4，5］.

根據(jù)數(shù)字CCD相機幀頻信號，F(xiàn)PGA向微處理器發(fā)送同步中斷指令（Int2），微處理器中斷后將緩沖區(qū)的時間和角位置信息并行傳給FPGA.

2.5 基于FPGA的信息融合單元

系統(tǒng)核心器件FPGA，完成多路信息的融合，選用Altera公司CyeloneII系列的EP2C8Q208C8芯片.主要完成以下幾個工作：①采集數(shù)字CCD相機抓拍的光斑圖像，通過外接兩片SDRAM，以乒乓操作方式對圖像進行緩存，以保證圖像數(shù)據(jù)的實時性采集、處理；② 根據(jù)相機的幀頻信號觸發(fā)微處理器，接收時間信息和角位置信息，存儲在緩沖區(qū)；③ 提取緩沖區(qū)的時間和角位置信息，運用融合算法與光斑圖像融合.

FPGA內(nèi)部功能框圖如圖4所示.collection模塊根據(jù)幀有效信號找到幀頭，當行有效信號為高時對圖像進行采集并鎖存，同時對行列進行計數(shù).wr buffer根據(jù)行列計數(shù)值產(chǎn)生寫地址，將采集到的視頻圖像數(shù)據(jù)按乒乓方式進行緩存，wr change信號負責乒乓寫入的切換.buffer control作為SDRAM的讀寫控制器；讀操作同理，讀出圖像數(shù)據(jù)，送到video out模塊，與時間和角位置信息進行融合處理［6，7］.

圖4 FPGA內(nèi)部功能框圖Fig.4 Functional block diagram of FPGA

3 數(shù)據(jù)融合及實驗結果分析

本文實現(xiàn)在FPGA內(nèi)完成數(shù)據(jù)圖像融合，而所謂數(shù)據(jù)融合（Data Fusion），是指對來自多個傳感器的數(shù)據(jù)進行多級別、多方面、多層次的處理，從而產(chǎn)生新的有意義的信息.數(shù)據(jù)融合按照數(shù)據(jù)抽象程度，分為3級，即像素級融合、特征級融合和決策級融合［8］.本設計所使用的數(shù)據(jù)融合僅限于像素級融合，是直接在采集到的原始數(shù)據(jù)層上進行的融合.

像素級融合的空間域數(shù)據(jù)融合是直接在圖像的像素灰度空間上進行融合，常用的融合算法有：加權融合、主成分分析、拉普拉斯變換、小波變換等.通過對相關算法的查閱和比較［9－11］，本系統(tǒng)采用改進的卡爾曼加權融合算法.

式中：即為多傳感器的融合狀態(tài)，是各傳感器狀態(tài)的線性組合.

圖5為連續(xù)3個時刻的融合結果，如圖5所示，一幅光斑圖像通過數(shù)據(jù)圖像融合攜帶了多種信息，以條形碼的形式表現(xiàn)，從左至右依次代表時間信息、水平方向以及俯仰方向角位置信息.事后通過自動判讀融合圖像的條形碼，根據(jù)時間信息提取此時的角位置信息并解決光斑畸變問題.同時，通過時間和角位置信息也可計算靶板的運動速度.

圖5 融合結果Fig.5 Fusion results

4 結 論

本文充分利用微處理器對信息的處理能力及FPGA對圖像的采集能力，結合改進的卡爾曼加權融合算法實現(xiàn)了基于FPGA的多源信息融合的研究，將時間和角位置信息融合疊加到光斑圖像的指定位置，再傳輸給上位機，上位機根據(jù)融合結果獲取光斑的時間和角位置信息，進而完成校正“畸變”光斑的工作，減小了畸變誤差對光斑重心檢測精度的影響.

［1］ 石章松，劉忠，王航宇，等.目標跟蹤與數(shù)據(jù)融合理論及方法［M］.北京：國防工業(yè)出版社，2010.

［2］ 黃萍莉，岳軍.圖像傳感器CCD技術［J］.信息記錄材料，2005，6（1）：50－54.

Huang Pingli，Yue Jun.Technology of CCD as image sensor［J］.Information Recording Materials，2005，6（1）：50－54.（in Chinese）

［3］ 單慶曉，楊俊.北斗／GPS雙模授時及其在CDMA系統(tǒng)的應用［J］.測試技術學報，2011，25（3）：223－228.

Shan Qingxiao，Yang Jun.Comqass／GPS dual mode timing and its application to CDMA system［J］.Journal of Test and Measurement Technology，2011，25（3）：223－228.（in Chinese）

［4］ 羅輝舞，洪海麗，任宇飛.基于Camera Link接口的圖像采集控制器的設計與實現(xiàn)［J］.電子測量技術，2010，33（7）：23－25＋39.

Luo Huiwu，Hong Haili，Ren Yufei.Design and realization of image acquisition controller based on the interface of Camera Link［J］.Electronic Measurement Technology，2010，33（7）：23－25＋39.（in Chinese）

［5］ 馬衛(wèi)紅，倪晉平，董濤，等.高精度CCD室內(nèi)立靶測試系統(tǒng)設計［J］.光學技術，2012，38（2）：180－183.

Ma Weihong，Ni Jinping，Dong Tao，et al.Design of high precision CCD vertical target coordinate measurement system used indoor［J］.Optical Technique，2012，38（2）：180－183.（in Chinese）

［6］ 楊海鋼，孫嘉斌，王慰.FPGA器件設計技術發(fā)展綜述［J］.電子與信息學報，2010，32（3）：715－722.

Yang Haigang，SunJiabin，Wang Wei.An overview to FPGA device esign technologies［J］.Journal of Electronics＆Information Technology，2010，32（3）：715－722.（in Chinese）

［7］ 黃釘勁，阮照軍，王剛，等.基于FPGA的圖像采集與遠程傳輸系統(tǒng)設計［J］.西安工業(yè)大學學報，2008，28（6）：577－580.

Huang Dingjin，Ruan Zhaojun，Wang Gang，et al.Design of video acquisition and long distance transmission system based on FPGA［J］.Journal of Xian Technological University，2008，28（6）：577－580.（in Chinese）

［8］ 何友，王國宏，陸大金，等.多傳感器信息融合及應用（第二版）［M］.北京：電子工業(yè)出版社，2010.

［9］ 彭冬亮，文成林，薛安克.多傳感器多源信息融合理論及應用［M］.北京：科學出版社，2010.

［10］ 李劍，張覃平.基于小波變換的實時圖像融合技術的實現(xiàn)［J］.儀器儀表用戶，2010，17（3）：56－58.

Li Jian，Zhang Tanping.The Implement of real－time image fusion based on wavelet－analysis［J］.Electronic Instrumentation Customer，2010，17（3）：56－58.（in Chinese）

［11］ 殷勤.智能車輛組合導航中數(shù)據(jù)融合算法［D］.長春：吉林大學，2012.