基于FPGA+ARM的實(shí)時(shí)大視場(chǎng)可視化圖像融合系統(tǒng)設(shè)計(jì)

陳炳權(quán), 劉宏立, 李波勇

(1. 湖南大學(xué) 電氣與信息工程學(xué)院, 湖南 長(zhǎng)沙, 410082；2. 吉首大學(xué) 物理科學(xué)與信息工程學(xué)院,湖南 吉首, 416000；3. 郴州職業(yè)技術(shù)學(xué)院 工業(yè)自動(dòng)化系, 湖南 郴州, 423000)

基于FPGA+ARM的實(shí)時(shí)大視場(chǎng)可視化圖像融合系統(tǒng)設(shè)計(jì)

陳炳權(quán)1,2, 劉宏立1, 李波勇3

(1. 湖南大學(xué) 電氣與信息工程學(xué)院, 湖南 長(zhǎng)沙, 410082；2. 吉首大學(xué) 物理科學(xué)與信息工程學(xué)院,湖南 吉首, 416000；3. 郴州職業(yè)技術(shù)學(xué)院 工業(yè)自動(dòng)化系, 湖南 郴州, 423000)

大視場(chǎng)可視化系統(tǒng)設(shè)備效果依賴于復(fù)雜的硬件系統(tǒng)和龐大的圖像處理系統(tǒng)，成本相對(duì)較高，低成本的高分辨率圖像實(shí)時(shí)采集處理系統(tǒng)是目前圖像處理領(lǐng)域的熱門研究課題. 筆者擬以FPGA為系統(tǒng)圖像處理和控制的核心芯片，ARM處理器為通信控制接口(實(shí)現(xiàn)上位機(jī)對(duì)圖像處理模塊的通信和控制)，重點(diǎn)闡述FPGA內(nèi)部模塊設(shè)計(jì).通過調(diào)用FPGA內(nèi)嵌的XtremeDSP模塊，可以高速地完成對(duì)圖像數(shù)據(jù)的乘累加運(yùn)算. 實(shí)踐結(jié)果表明：該系統(tǒng)可以應(yīng)用在大視場(chǎng)可視化系統(tǒng)中，完成對(duì)高分辨率高幀率圖像的實(shí)時(shí)處理，處理分辨率可達(dá)到1024×768，刷新率達(dá)60 Hz, 系統(tǒng)性能穩(wěn)定，降低了成本.

FPGA；ARM；圖像處理；大視場(chǎng)可視化系統(tǒng)

大屏幕顯示作為一種“半沉浸式”的虛擬環(huán)境,在視頻會(huì)議、公共場(chǎng)合演示等有著廣泛的應(yīng)用[1],大視場(chǎng)可視化系統(tǒng)[2]是一種可供多人同時(shí)使用的大屏幕交互式可視化系統(tǒng)，該系統(tǒng)以高沉浸感、實(shí)時(shí)性、交互性為特點(diǎn)，通常由圖形服務(wù)器、投影系統(tǒng)、屏幕及相關(guān)附屬設(shè)備等4個(gè)部分構(gòu)成. 目前世界上流行的大屏幕顯示系統(tǒng)是用多個(gè)投影儀陣列拼接的大屏幕顯示系統(tǒng)[3]，而拼接系統(tǒng)主要由大屏幕投影墻、投影機(jī)陣列、控制系統(tǒng)組成，其中控制系統(tǒng)是核心，其系統(tǒng)目前主要有硬件拼接系統(tǒng)、軟件拼接系統(tǒng)、軟件與硬件相結(jié)合的拼接系統(tǒng)等3種類型. 硬件拼接系統(tǒng)靈活性差、成本昂貴、擴(kuò)展性差且受建筑物空間的限制，因此采用軟件進(jìn)行控制的多投影儀無縫拼接受到歡迎.

國外著名的研究大屏幕投影拼接系統(tǒng)的機(jī)構(gòu)目前重點(diǎn)在研究投影的幾何校正、顏色校正、拼接圖像亮度混合等. 效果好的系統(tǒng)設(shè)備大多依賴復(fù)雜的硬件系統(tǒng)和龐大的圖像處理系統(tǒng)來完成，成本高.成本較低的系統(tǒng)在圖像處理的過程中還存在很多的問題，特別是在數(shù)據(jù)量龐大、圖像的幀率和分辨率均要求較高的情況下，目前已有的硬件處理芯片均無法獲得令人滿意的效果，因此對(duì)低成本的高分辨率圖像實(shí)時(shí)采集處理系統(tǒng)的研究迫在眉睫. 筆者將嵌入式處理器應(yīng)用到圖像處理系統(tǒng)上，避免使用PC機(jī)底板總線來連接各個(gè)模塊的局限性，從而實(shí)現(xiàn)了圖像處理板的分離式工作，能實(shí)現(xiàn)大視場(chǎng)可視化系統(tǒng)中圖形服務(wù)器的圖像幾何校正、邊緣融合和色彩校正等功能，同時(shí)可以完成對(duì)高分辨率、高幀率的視頻圖像數(shù)據(jù)的實(shí)時(shí)處理.

1 圖像融合系統(tǒng)中的相關(guān)算法

在大場(chǎng)景可視化系統(tǒng)中，由于投影面是曲面,加上投影位置的不同，在圖像被投影前，圖像融合處理系統(tǒng)需要根據(jù)實(shí)際的投影環(huán)境對(duì)圖像進(jìn)行幾何校正[2-4]，使經(jīng)過校正后的圖像投影到投影面上不發(fā)生失真和變形. 為了利用多臺(tái)投影儀得到一幅大型的無縫高分辨率圖像，需要對(duì)原始圖像進(jìn)行拼接,通過拼接的圖像需要進(jìn)行邊緣融合才能消除拼接所產(chǎn)生的影響. 由于投影儀之間顏色的差異，光度不平衡造成最后投影拼接圖像的顏色不一致性，所以需要對(duì)投影儀進(jìn)行最后的色彩校正.

圖像的幾何校正主要考慮數(shù)字圖像的幾何變換,一幅圖像的幾何運(yùn)算需要2個(gè)獨(dú)立的算法：定義圖像的空間變換本身, 描述每個(gè)像素點(diǎn)的“運(yùn)動(dòng)”；對(duì)校正后的圖像的每個(gè)像素點(diǎn)進(jìn)行灰度級(jí)的插值運(yùn)算，對(duì)每個(gè)坐標(biāo)位置的像素點(diǎn)進(jìn)行插值運(yùn)算，以盡可能地減少幾何運(yùn)算后所帶來的圖像失真. 目前常見的變換方法為空間變換法(平移、旋轉(zhuǎn)、縮放)、灰度插值法(最近鄰插值、雙線性插值、高階插值).為了在算法的復(fù)雜度和圖像處理效果之間得到平衡，筆者選擇了算法較容易實(shí)現(xiàn)同時(shí)插值效果也比較好的雙線性插值算法，其圖像邊緣處理得比較平滑，圖像效果令人滿意，該算法在FPGA中易于使用硬件邏輯實(shí)現(xiàn)，可以實(shí)現(xiàn)每幅圖像的高速處理.

圖像融合技術(shù)的核心任務(wù)就是把2幅圖像的重合區(qū)域融合在一起，使其既包含2幅圖像的特征,又具有良好的平滑性和視覺效果. 投影儀拼接過程中，對(duì)投影圖像的邊緣鄰接部分需要進(jìn)行邊緣融合，通常有硬邊融合、簡(jiǎn)單重疊、邊緣融合等方法，前2種方法拼接中對(duì)多投影的拼接部分處理效果不是很好，與目標(biāo)無縫拼接相差較遠(yuǎn)，因此在實(shí)際應(yīng)用時(shí)較多應(yīng)用邊緣融合法.

在不同的顏色系統(tǒng)中存在不同的色域，在不同的色域中，顏色的種類數(shù)量有所不同，常用RGB色域存在3個(gè)原色，通過原色的不同強(qiáng)度的混合, 可以得到RGB色域中的所有顏色. 對(duì)投影儀而言，即使是同一制造商和相同的類型，投影儀之間也有輕微的色域差異，不同類型的投影儀之間的色域差異更大. 顏色校正中，首先得到每個(gè)投影儀的投影顏色樣本，然后定義1個(gè)公共的色域作為標(biāo)準(zhǔn)色域, 再定義投影顏色樣本的投影標(biāo)準(zhǔn)顏色，最后建立顏色光學(xué)曲解模型，求取投影顏色到標(biāo)準(zhǔn)顏色的顏色變換函數(shù)，通過它把投影顏色變換到標(biāo)準(zhǔn)色域內(nèi).

2 系統(tǒng)硬件設(shè)計(jì)

在高分辨率圖像數(shù)據(jù)的實(shí)時(shí)處理中，影響系統(tǒng)實(shí)時(shí)處理速度的因素主要是數(shù)字信號(hào)處理器的運(yùn)算速度以及系統(tǒng)訪問外部存儲(chǔ)器的速度. 為了實(shí)時(shí)地處理圖像，文獻(xiàn)[5-6]使用FPGA作為系統(tǒng)控制和處理的核心，F(xiàn)PGA器件內(nèi)的各功能模塊可以同時(shí)工作，從而可以通過流水線并行地執(zhí)行，大大地加快了圖像處理的速度. 為了簡(jiǎn)化系統(tǒng)硬件處理器處理圖像算法運(yùn)算的復(fù)雜度，同時(shí)降低實(shí)時(shí)處理系統(tǒng)硬件設(shè)計(jì)的難度，筆者將復(fù)雜的圖像處理算法(即幾何校正算法、邊緣融合算法、色彩校正算法等)留在上位機(jī)完成，上位機(jī)根據(jù)圖像處理算法生成一個(gè)算法參數(shù)表. 再通過ARM處理器下載到Parameter SDRAM. FPGA內(nèi)部的圖像處理模塊根據(jù)計(jì)算好的參數(shù)表, 只需在內(nèi)部實(shí)現(xiàn)簡(jiǎn)單的乘累加就完成圖像的幾何校正或色彩校正處理.

由于圖像數(shù)據(jù)量很大，需要對(duì)原始圖像數(shù)據(jù)、處理后的結(jié)果數(shù)據(jù)以及圖像處理參數(shù)表進(jìn)行緩存.大量的數(shù)據(jù)必須使用外部存儲(chǔ)器[7]. 實(shí)時(shí)圖像融合處理系統(tǒng)對(duì)原始圖像進(jìn)行處理時(shí)主要是進(jìn)行幾何校正和邊緣融合等操作[8]，這些操作對(duì)原始圖像數(shù)據(jù)的訪問通常是隨機(jī)的，由于存儲(chǔ)原始圖像的存儲(chǔ)器通常選用SRAM以提高響應(yīng)速度，而對(duì)存儲(chǔ)結(jié)果數(shù)據(jù)和參數(shù)表的存儲(chǔ)器的訪問通常具有順序性，因此筆者選用SDRAM，從而在性能和價(jià)格之間得到平衡.

綜合上述設(shè)計(jì)思路，筆者采用了如圖1、圖2所示的基于FPGA的高分辨率實(shí)時(shí)圖像處理系統(tǒng)及其結(jié)構(gòu).

圖1 高分辨率實(shí)時(shí)圖像處理系統(tǒng)

圖2 實(shí)時(shí)圖像融合處理系統(tǒng)結(jié)構(gòu)

圖1中的高分辨率實(shí)時(shí)圖像融合處理系統(tǒng)包括圖像采集模塊、FPGA模塊、存儲(chǔ)器模塊、圖像輸出模塊、ARM處理器模塊以及上位機(jī). 從宏觀上可以將實(shí)時(shí)圖像融合處理系統(tǒng)分為3個(gè)大的模塊：上位機(jī)；用于通信控制接口的ARM處理器；數(shù)據(jù)處理相關(guān)的FPGA模塊. 上位機(jī)主要用于人機(jī)控制界面，實(shí)現(xiàn)圖像處理參數(shù)和色彩校正參數(shù)的計(jì)算功能.通過上位機(jī)，用戶可以選擇各種圖像處理方式，在系統(tǒng)的安裝和各模塊的調(diào)試階段，也通過上位機(jī)來完成相關(guān)的控制. ARM處理器主要用做通信控制接口，實(shí)現(xiàn)上位機(jī)對(duì)圖像處理模塊的通信和控制. 上位機(jī)和ARM處理器之間主要由串口和網(wǎng)口連接,串口主要用于上位機(jī)對(duì)ARM處理器的啟動(dòng)和控制，網(wǎng)口用于上位機(jī)下載參數(shù)表數(shù)據(jù).

FPGA模塊主要包括FPGA芯片和相關(guān)外圍電路. 外圍電路主要包括圖像采集芯片、片外SRAM、SDRAM以及圖像輸出控制芯片. FPGA模塊內(nèi)部集成了大量的乘累加器，適合實(shí)現(xiàn)并行算法結(jié)構(gòu). 為保證系統(tǒng)的實(shí)時(shí)性要求，在系統(tǒng)的FPGA邏輯設(shè)計(jì)部分，筆者引入了乒乓操作、流水線設(shè)計(jì)和同步設(shè)計(jì)方法，如圖3所示.

a. 數(shù)據(jù)采集模塊. 完成與專用采集芯片AD 9887A的接口邏輯，接收從A/D輸入的圖像數(shù)據(jù),同時(shí)在模塊內(nèi)部通過雙口RAM實(shí)現(xiàn)圖像數(shù)據(jù)的時(shí)鐘域轉(zhuǎn)換和圖像幀的選擇，最后把圖像數(shù)據(jù)傳輸給原始圖像SRAM接口模塊.

b. 原始圖像SRAM接口模塊. 用于對(duì)SRAM芯片的讀寫進(jìn)行控制，由于有2個(gè)原始圖像SRAM接口模塊，因此在圖像采集模塊和原始圖像SRAM接口模塊之間加入了多路選擇器MUX進(jìn)行2選1操作. 從圖像采集模塊輸出的圖像數(shù)據(jù)通過選擇器MUX的選擇被送入到被寫的原始圖像SRAM接口模塊. 當(dāng)對(duì)SRAM進(jìn)行讀操作時(shí)，原始圖像SRAM接口模塊根據(jù)圖像運(yùn)算模塊輸出的讀地址，將對(duì)應(yīng)位置的所需處理圖像數(shù)據(jù)讀出，送給圖像運(yùn)算模塊處理. 由于引入了2組圖像處理模塊，原始圖像SRAM接口模塊之間不再需要多路選擇器MUX進(jìn)行選擇.

c. 參數(shù)表SDRAM模塊. 用于圖像處理的相關(guān)參數(shù)，其中的每項(xiàng)對(duì)應(yīng)1個(gè)需要處理的結(jié)果像素所需的參數(shù)信息，參數(shù)表中的每項(xiàng)包含有對(duì)應(yīng)像素所需的4個(gè)像素中左上角像素的坐標(biāo)以及4個(gè)像素分別對(duì)應(yīng)的權(quán)值. 當(dāng)系統(tǒng)開機(jī)時(shí)，參數(shù)表SDRAM控制器模塊接受來自ARM接口模塊的參數(shù)，并將其寫入SDRAM中，此時(shí)的參數(shù)來自ARM處理器外掛的Flash芯片. 上位機(jī)中的新參數(shù)從網(wǎng)口下載到ARM處理器，ARM處理器通過FPGA內(nèi)部的ARM接口模塊將參數(shù)傳送到參數(shù)表SDRAM控制器模塊，最后寫入Parameter SDRAM.

e. 圖像輸出模塊.如圖4所示,該模塊主要完成輸出圖像的色彩校正以及芯片SiIl64的接口邏輯.該模塊的核心部件是一個(gè)用雙端口存儲(chǔ)器(DPRAM)實(shí)現(xiàn)的色彩查找表，即圖中的RGB Look Up Table.由于使用的RGB色彩格式, RGB色彩的3種顏色各用1個(gè)字節(jié)表示，其取值范圍為0～255，所以查找表也分為3路并行查找表, 即圖4所示的RGB Look Up Table中的R_LUT，G_LUT，B_LUT.

圖3 FPGA內(nèi)部模塊功能

圖4 圖像輸出模塊

f. ARM接口模塊. 該模塊主要作為FPGA和ARM處理器之間的接口，完成ARM的命令控制和參數(shù)傳遞. 當(dāng)系統(tǒng)上電后，ARM處理器將其外掛的Flash芯片中預(yù)先設(shè)定好的各種工作模式配置信息傳送至ARM接口模塊，完成對(duì)FPGA及各外圍模塊的配置. 然后設(shè)置默認(rèn)的色彩校正表，最后將預(yù)先設(shè)定的圖像處理參數(shù)通過ARM接口模塊傳送到Parameter SDRAM. 系統(tǒng)正常運(yùn)行時(shí)，該模塊處于閑置狀態(tài)，直到上位機(jī)通過ARM處理器請(qǐng)求進(jìn)行新的工作模式配置或者新的參數(shù)信息時(shí)，ARM接口模塊再次傳遞新的配置信息或參數(shù)到FPGA.

3 FPGA圖像處理模塊設(shè)計(jì)及仿真

圖像處理模塊是整個(gè)系統(tǒng)的核心，其先以250 MHz的速率從FIFO中讀取參數(shù)中的地址信息，并將其轉(zhuǎn)換為讀SRAM存儲(chǔ)器的地址信號(hào)，然后以250 MHz的速率從FIFO中讀取參數(shù)中的權(quán)值信息，并等待原始數(shù)據(jù)的到來，當(dāng)以250 MHz的速率從SRAM中連續(xù)地得到結(jié)果像素的4個(gè)相鄰的原始數(shù)據(jù)后，將權(quán)值信息和原始圖像數(shù)據(jù)對(duì)齊，最后使用DSP48對(duì)原始圖像進(jìn)行處理計(jì)算. 為了保證圖像處理的連續(xù)性，從參數(shù)表SDRAM存儲(chǔ)器中讀出的參數(shù)先要緩存在Read Par FIFO中，從而屏蔽讀SDRAM時(shí)每行數(shù)據(jù)都進(jìn)行激活操作帶來的間斷性.一旦進(jìn)入處理過程，Read Par FIFO就會(huì)保證有參數(shù)可讀，直到處理完一幀圖像數(shù)據(jù). 從Read Par FIFO中讀取的參數(shù)信息都是連續(xù)的，對(duì)于每個(gè)結(jié)果像素所需的參數(shù)，前面32位為原始圖像的二維坐標(biāo)，后面32位為對(duì)應(yīng)4個(gè)原始像素的權(quán)值.

3.1 讀取原始圖像及其權(quán)值信息

讀原始圖像及其權(quán)值需用到的系統(tǒng)信號(hào)如下：a. 讀寫時(shí)鐘信號(hào)為250 MHz的CLK_250變量；b.仲裁與控制器的圖像處理狀態(tài)變量frame_A和frame_B信號(hào)；c. 仲裁與控制模塊的4進(jìn)制計(jì)數(shù)器Arbi_counter信號(hào)，用于控制讀取4個(gè)原始圖像數(shù)據(jù)；d. Read Par FIFO的絕對(duì)空信號(hào)rfifo_empty，進(jìn)行圖像處理狀態(tài)后，一旦Read Par FIFO非空，即可從中讀取參數(shù)信息.

對(duì)于每個(gè)結(jié)果圖像，從Read Par FIFO讀其對(duì)應(yīng)的參數(shù)信息只需要2個(gè)周期，因而讀Read Par FIFO的使能信號(hào)Read_from_Read_ FIFO也是每2個(gè)時(shí)鐘周期跳變1次. 通過該使能信號(hào)，從FIFO中讀2個(gè)周期參數(shù)再暫停2個(gè)時(shí)鐘周期. 從FIFO中讀出的參數(shù)前1個(gè)周期是32位的坐標(biāo)信息，后面32位為權(quán)值信息. 當(dāng)從Read Par FIFO中取得第i個(gè)結(jié)果圖像的參數(shù)Di_XY后，可以根據(jù)公式Addrl2=x+ 1 024y計(jì)算出左上角原始圖像的地址. 該地址通過1st_Addr_EN信號(hào)寄存在1st_Addr寄存器內(nèi)，對(duì)該地址加1即可得到第2個(gè)原始圖像數(shù)據(jù)的地址. 為了得到第2組地址信息，在寄存第1個(gè)原始圖像的地址信息時(shí)通過第2組地址參數(shù)寄存信號(hào)SRLl6_ 0_Yplus對(duì)參數(shù)Di_XY信息中的縱坐標(biāo)Y進(jìn)行加1后寄存，而x坐標(biāo)不變，根據(jù)第2組地址公式Addr 34=x+1 024(y+1)得到第3個(gè)原始圖像參數(shù)的地址，并通過3nd_Addr_EN允許信號(hào)寄存在3nd_Addr寄存器內(nèi). 通過從原始圖像參數(shù)的坐標(biāo)生成4個(gè)地址連續(xù)地送到SRAM接口，就可以連續(xù)地從SRAM_ DataOut端口得到1個(gè)結(jié)果像素所需的4個(gè)原始圖像數(shù)據(jù).

3.2 對(duì)齊計(jì)算數(shù)據(jù)

從坐標(biāo)信息到得到原始圖像數(shù)據(jù)共需要5個(gè)時(shí)鐘周期，因而需要對(duì)提前得到的權(quán)值參數(shù)進(jìn)行寄存并對(duì)齊. 在Xilinx公司的FPGA中，可以直接調(diào)用SRLl6進(jìn)行移位寄存，使得權(quán)值參數(shù)與從SRAM中得到的原始圖像參數(shù)同步地送入到DSP48的前端寄存器. 原始圖像數(shù)據(jù)與權(quán)值參數(shù)的對(duì)齊時(shí)序如圖5，其中SRAM_DataOut代表從SRAM的數(shù)據(jù)端口送出的原始圖像數(shù)據(jù)，該數(shù)據(jù)被SRAM接口取得并被寄存在Ori_Data_Register寄存器內(nèi)，Ori_Data_ Register中的數(shù)據(jù)每4個(gè)1組，對(duì)應(yīng)1個(gè)結(jié)果像素所需的原始圖像數(shù)據(jù)和Register原始圖像數(shù)據(jù)，且與四進(jìn)制計(jì)數(shù)器Arbi_counter中00到11這4個(gè)狀態(tài)相對(duì)應(yīng).

3.3 圖像處理

為了并行地對(duì)圖像實(shí)時(shí)處理，需要3路這樣的連接模塊同步進(jìn)行操作，每路處理模塊需要7個(gè)DSP48單元，通過虛線將連接圖分為3個(gè)級(jí). 最前面4個(gè)DSP48單元P1至P4分別進(jìn)行乘法運(yùn)算，完成Ri×Ki(i=l,2,3,4)運(yùn)算. 該部分除了對(duì)前上級(jí)數(shù)據(jù)的寄存外，需要2個(gè)時(shí)鐘周期. 中間的P5和P6單元分別對(duì)前一級(jí)的4個(gè)乘積進(jìn)行兩兩相加，這一級(jí)只需要1個(gè)時(shí)鐘. 最后1級(jí)的P7用1個(gè)時(shí)鐘實(shí)現(xiàn)對(duì)前1級(jí)的部分和進(jìn)行累加，從而得到校正過的R路顏色. 完成1個(gè)結(jié)果圖像的處理模塊需要5個(gè)時(shí)鐘沿，即每4個(gè)時(shí)鐘周期就可從P7端口得到1個(gè)結(jié)果圖像數(shù)據(jù). 對(duì)于1 024×768@60的圖像，完成一幀圖像的處理大約需要12.6 ms(1 024×768×4×4= 12.58 ms). 而系統(tǒng)時(shí)間為16. 666 ms，因而該圖像處理模塊能夠滿足系統(tǒng)的時(shí)序要求. 圖6是圖像處理時(shí)序圖，該圖與前面數(shù)據(jù)對(duì)齊時(shí)的時(shí)序圖是連貫的.

圖5 原始圖像數(shù)據(jù)與權(quán)值參數(shù)的對(duì)齊時(shí)序

圖6 圖像處理時(shí)序

4 結(jié)語

筆者介紹了大視場(chǎng)實(shí)時(shí)圖像融合處理系統(tǒng)的實(shí)現(xiàn)方案，闡述了該圖像融合系統(tǒng)的各個(gè)分模塊，分析了影響系統(tǒng)實(shí)時(shí)處理速度，設(shè)計(jì)的大視場(chǎng)實(shí)時(shí)圖像融合處理系統(tǒng)可以實(shí)時(shí)地處理分辨率為1024× 768且刷新率為60 Hz的視頻圖像. 為了能夠?qū)崟r(shí)處理并輸出高幀率的圖像，就需要在極短的時(shí)間內(nèi)完成對(duì)1幅圖像的采集、處理和輸出，筆者采用2組片外SRAM芯片以乒乓操作的方式工作，并以增加FPGA的I/O端口為代價(jià)，從而保證了系統(tǒng)實(shí)時(shí)處理圖像的速度達(dá)到60幀／s.

[1] Thomas F, Kai L. Large-Format Displays[J]. Computer Graphics and Applications, 2006, 35(11)： 20-21.

[2] 黃思敏. 視頻圖像幾何校正卡的設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué), 2005： 33-56.

[3] 何 斌, 馬天予, 王運(yùn)堅(jiān), 等. Visual C++數(shù)字圖像處理[M]. 2版. 北京： 人民郵電出版社, 2003： 120-135.

[4] 巨安麗, 郝重陽, 徐建榮. 邊緣融合組合屏圖像顯示技術(shù)與系統(tǒng)研究[J]. 計(jì)算機(jī)仿真, 2006, 23(2)： 267-269.

[5] 劉明章. 基于FPGA的嵌入式系統(tǒng)設(shè)計(jì)[M]. 北京： 國防工業(yè)出版社, 2007： 60-63.

[6] 潘松, 焚繼業(yè). SOPC技本實(shí)用教程[M]. 北京： 清華大學(xué)出版社, 2005： 115-163.

[7] 蘇光大, 左永榮. 鄰域圖像幀存儲(chǔ)體的理論及其實(shí)現(xiàn)[J]. 電子學(xué)報(bào), 1999, 27(2)： 85-88.

[8] 賈慶軒, 阮瑞, 孫漢旭, 等. 多投影面顯示系統(tǒng)高度均衡的實(shí)現(xiàn)[J]. 系統(tǒng)仿真學(xué)報(bào), 2006, 18(2)： 478-482.

Design of real-time large field visualization image fusion system based on FPGA+ARM

CHEN Bing-quan1,2, LIU Hong-li1, LI Bo-yong3
(1. College of Electrical and Information Engineering, Hunan University, Changsha 410082, China；2. College of Physical Science and Information Engineering, Jishou University, Jishou 416000, China；3. Department of Industrical Automation, Chenzhou Vocational Technical College, Chenzhou 423000, China)

The effect of large field visualization system depends on complex hardware system and huge image processing system, which costs a great. Therefore, the study on real-time image acquisition and processing system of low cost and high resolution becomes the hot subject in the field of image processing. The authors take FPGA as the image processing and controlling core chip of the system, and ARM processor as the communication controlling interface; thus the host computer can achieve communication with and controlling of the image processing module. Emphasis is laid on the detailed description of the FPGA interior module design, and its image processing module is the core of overall system. Xtreme DSP module embedded in FPGA is used to realize multiply-accumulation of the image data. The practice results show that the system can be used in large field visualization system and in the real-time processing of high-resolution and high-frame image. The resolution rate is 1024×768, and refresh rate is 60 Hz. The system is stable, and it reduces the design cost.

FPGA; ARM; image processing; large field visualization system

TN 911.73

：A

1672-6146(2010)04-0066-06

10.3969/j.issn.1672-6146.2010.04.018

2010-06-20

湖南省科技廳科技計(jì)劃項(xiàng)目(2010FJ4107)；湖南省教育廳科學(xué)研究項(xiàng)目(08C714)

陳炳權(quán)(1972-), 男, 副教授, 博士研究生, 主要研究方向?yàn)槟Ｊ阶R(shí)別、信號(hào)處理與智能控制.