基于FPGA的雙光圖像實時采集處理系統(tǒng)

周培濤

【摘? 要】目前國內(nèi)多數(shù)紅外、可見圖像實時跟蹤系統(tǒng)采用PC機或DSP或DSP+FPGA為核心處理器的構(gòu)架，存在電路復(fù)雜、成本高的缺點。本文設(shè)計了以FPGA內(nèi)雙MicroBlaze軟核為核心的紅外、可見圖像雙光圖像實時采集處理系統(tǒng)，采用利用FPGA硬件邏輯實現(xiàn)圖像采集和預(yù)處理，利用雙軟核實現(xiàn)對紅外圖像非均勻校正處理和可見圖像的跟蹤捕獲，軟硬件協(xié)同處理，實驗結(jié)果表明，系統(tǒng)體積小、功耗低、實時性強，在各種復(fù)雜的場景下，能夠?qū)崟r穩(wěn)定地進行雙光圖像采集并處理圖像。

【關(guān)鍵詞】 FPGA;軟硬件協(xié)同;紅外和可見圖像實時處理

引言

紅外、可見雙光采集處理系統(tǒng)對實時性要求極高，要求系統(tǒng)必須具有并行快速處理大量數(shù)據(jù)的能力，以保證系統(tǒng)的實時性;其次對系統(tǒng)的體積、功耗、穩(wěn)定性等也有較嚴(yán)格的要求。本系統(tǒng)利用FPGA的邏輯部分實現(xiàn)圖像采集和拼接，利用FPGA內(nèi)的雙MicroBlaze實現(xiàn)對紅外探測器的非均勻校正算法和可見圖像的跟蹤捕獲，降低了成本，有效提高了資源利用率，并提高了系統(tǒng)復(fù)雜背景條件下目標(biāo)跟蹤的穩(wěn)定性。

1.紅外圖像采集系統(tǒng)硬件總體方案

（1）如圖1所示的紅外、可見光雙光圖像采集處理系統(tǒng)，以FPGA為核心處理器，紅外、可見光SENSOR對進行控制，紅外探測器輸出的模擬視頻信號經(jīng)差分放大器放大，然后采用AD9240為AD轉(zhuǎn)換器件進行AD轉(zhuǎn)換，送入FPGA的邏輯部分進行圖像預(yù)處理，可見光圖像可以直接用FPGA的邏輯部分進行采集控制，然后用兩個Microblaze核做紅外探測器的校正流程控制和可見光的圖像處理。

（2）雙MicroBlaze SOPC系統(tǒng)結(jié)構(gòu)硬件設(shè)計實現(xiàn)。①雙核硬件結(jié)構(gòu)。FPGA將采集到的紅外圖像進行排序，進行幀累加乘加系數(shù)等邏輯操作，F(xiàn)PGA內(nèi)的兩個MicroBlaze軟核，分別負(fù)責(zé)紅外探測器的非均勻校正流程任務(wù)控制和可見光圖像顯示調(diào)整和跟蹤捕獲處理。MicroBlaze SOPC系統(tǒng)結(jié)構(gòu)圖如圖2所示。從圖中可知，整個SOPC系統(tǒng)可以分為兩個處理器子系統(tǒng)，系統(tǒng)的通信結(jié)構(gòu)采用兩個PLB（Processor Local Bus）v46總線，所有的模塊都是間接或直接地連接到這兩個總線上。兩個總線上均掛有Mailbox和Mutex核用于處理器間通信和同步，因此兩個處理器并不是完全獨立的。

如圖2所示本SOPC系統(tǒng)中的兩個MicroBlaze處理器軟核，通過各自獨立的PLBv46總線隔離兩處理器子系統(tǒng)，可以確保兩個處理器系統(tǒng)在執(zhí)行各自的處理器事務(wù)時不會相互干擾。兩個軟核之間存在多個共享模塊，采用多端口結(jié)構(gòu)使多個處理器在訪問共享模塊時可以并行進行。兩個獨立的MicroBlaze處理器Mb_0和Mb_1，通過共享部件連接在一起，這些共享部件使得兩個MicroBlaze處理器之間可以各種方式通信并進行數(shù)據(jù)共享。②雙核交互通信與數(shù)據(jù)共享。本系統(tǒng)采用Mailbox和Shared Memory進行處理器之間的交互通信與數(shù)據(jù)共享。通過Mailbox可以實現(xiàn)處理器之間的中斷和通信，完成非均勻校正流程任務(wù)控制。每一個Mailbox核都有一個FIFO和一個雙端隊列，分別用來發(fā)送和接收信息，可以根據(jù)需要對它們的深度進行配置，主要通過分布式RAM或者BRAM來實現(xiàn)。兩處理器首先通過Mailbox交換字符串“55、AA”的形式匯合，以此來證明兩個處理器的連接情況，同時利用Mutex來防止兩個處理器同時對同一地址區(qū)域進行寫操作，臨界區(qū)域里的值是隨著處理器的訪問而更新，在沒有輸出時處理器會鎖定Mutex核，有輸出時解鎖Mutex核，這種同步機制使得處理結(jié)果正確可用，不會出現(xiàn)混亂的狀態(tài)。另外本設(shè)計兩個處理器利用Shared Memory來共享某個存儲器，從而實現(xiàn)存儲器共享圖像處理結(jié)果并方便進行大量數(shù)據(jù)的通信和數(shù)據(jù)共享。在本設(shè)計的處理器系統(tǒng)中，每一個處理器都有自己獨立的系統(tǒng)總線，MPMC存儲器和外圍設(shè)備是統(tǒng)一編址，兩者的地址范圍互不重疊，因此，所有的存儲器和直接或者間接連接到處理器上的外圍設(shè)備與共享元素都是分開的，避免了內(nèi)存錯亂現(xiàn)象。

2.雙核系統(tǒng)處理實驗結(jié)果

在實驗調(diào)試時，本系統(tǒng)采用調(diào)試模塊MDM分別對兩個處理器進行調(diào)試，通過超級終端輸出實驗測試結(jié)果。系統(tǒng)利用雙核來分別實現(xiàn)紅外探測器的非均勻校正計算和可見光的顯示調(diào)整和跟蹤捕獲處理，利用shared Memory來共享圖像細(xì)節(jié)和處理結(jié)果，從而更容易實現(xiàn)對目標(biāo)的識別捕獲與跟蹤，經(jīng)實驗測試系統(tǒng)完成后可同時實時處理640×512大小的紅外、可見圖像，完成非均勻校正等圖像處理并進行目標(biāo)捕獲和跟蹤，速度達到100幀每秒，資源得到高效利用。

3.結(jié)語

本系統(tǒng)利用FPGA作為平臺，以其內(nèi)的雙MicroBlaze軟核為基礎(chǔ)，來設(shè)計雙軟核片上系統(tǒng)，實現(xiàn)了同時對紅外探測器、可見光SENSOR的控制和圖像采集處理，并可以很好地實現(xiàn)兩軟核處理器間的通信和中斷功能，節(jié)約了硬件成本又可方便協(xié)同控制，具有一定創(chuàng)新性和較高的實用價值。

參考文獻

[1]馮亞楠.基于SOPC的嵌入式系統(tǒng)架構(gòu)及應(yīng)用驗證[D].內(nèi)蒙古大學(xué)，2014.

[2]陳科研.基于Nios Ⅱ的雙核處理器系統(tǒng)研發(fā)[D].西安電子科技大學(xué)，2009.