基于通用架構(gòu)的一體化紅外圖像信息處理器設(shè)計(jì)

摘 要： 針對(duì)嵌入式系統(tǒng)在紅外圖像處理領(lǐng)域的應(yīng)用，提出在紅外圖像處理方面構(gòu)建一種一體化信息處理器。采用基于SOPC+DSP的體系架構(gòu)，實(shí)現(xiàn)雙波段紅外圖像的預(yù)處理、圖像壓縮、目標(biāo)檢測(cè)與識(shí)別、與其他系統(tǒng)的通信等功能。給出了一種適用于該領(lǐng)域的通用架構(gòu)，并對(duì)該架構(gòu)進(jìn)行了論證，結(jié)合具體應(yīng)用進(jìn)行硬件和軟件設(shè)計(jì)。在此基礎(chǔ)上，對(duì)系統(tǒng)架構(gòu)進(jìn)行測(cè)試，經(jīng)過(guò)驗(yàn)證，硬件平臺(tái)運(yùn)行結(jié)果與軟件仿真結(jié)果誤差很小，達(dá)到設(shè)計(jì)要求。同時(shí)，該系統(tǒng)可以完成兩路紅外圖像的處理工作，提高了系統(tǒng)處理速度，減少了CPU的工作量。

關(guān)鍵詞： 通用架構(gòu)； 嵌入式系統(tǒng)； 紅外圖像； SOPC； DSP

中圖分類號(hào)： TN929.1?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）03?0039?04

Integrated design of infrared image information processor based on general architecture

CHEN Peng

（College of Economic and Management， Taizhou University， Taizhou 225300， China）

Abstract： Aiming at the application of embedded system in the field of infrared image processing， the method that an integration information processor is constructed in the aspect of infrared image processing is put forward. The system architecture based on SOPC+DSP is adopted to accomplish the dual band infrared image preprocessing， image compression， target detection， target recognition， communication with other systems and other functions. A general architecture suiting for this field is given and demonstrated. The hardware and software were designed in combination with the specific application， and based on this， the system architecture was tested. The test results show that the error coming from the operation result of hardware platform and software simulation result is very small， which can meet the test requirement. The system can complete the processing work of two?channel infrared image， improve the processing speed， and reduce the workload of CPU.

Keywords： general architecture； embedded system； infrared image； SOPC； DSP

0 引 言

非PC信息設(shè)備與具體應(yīng)用相結(jié)合，應(yīng)用范圍廣泛，而其主體正是嵌入式系統(tǒng)[1]。目前在一些發(fā)達(dá)國(guó)家，以嵌入式系統(tǒng)為基礎(chǔ)的數(shù)字電視的市場(chǎng)值已達(dá)到相當(dāng)規(guī)模，另外，基于實(shí)時(shí)操作系統(tǒng)（RTOS）的EI（Embedded Internet）也成為了該領(lǐng)域的一個(gè)新熱點(diǎn)。在國(guó)內(nèi)，基于嵌入式系統(tǒng)的信息家電也是信息技術(shù)領(lǐng)域的研究熱點(diǎn)之一[2]。嵌入式系統(tǒng)的發(fā)展是基于特定應(yīng)用的，因此即使對(duì)同一應(yīng)用而言，采用的處理系統(tǒng)架構(gòu)也各不相同。這也導(dǎo)致了嵌入式技術(shù)雖然發(fā)展快速，但是開(kāi)發(fā)過(guò)程零散，同時(shí)重復(fù)開(kāi)發(fā)成本高[3]。因此，如果能在如此專用的嵌入式技術(shù)的發(fā)展中加入更多的通用性，針對(duì)某一類應(yīng)用，設(shè)計(jì)一種通用化、可編程、可擴(kuò)展的處理器就顯得非常有意義。

1 紅外圖像信息處理系統(tǒng)架構(gòu)設(shè)計(jì)

一般硬件驅(qū)動(dòng)由設(shè)備廠商提供，而操作系統(tǒng)由專門開(kāi)發(fā)操作系統(tǒng)的公司提供，如Microsoft，Google，Apple等。用戶程序開(kāi)發(fā)者只需在應(yīng)用層開(kāi)發(fā)相應(yīng)的程序，不需要硬件基礎(chǔ)。但是對(duì)于紅外圖像處理領(lǐng)域則不然。紅外圖像處理領(lǐng)域沒(méi)有一個(gè)統(tǒng)一的軟硬件標(biāo)準(zhǔn)，對(duì)于不同的系統(tǒng)功能需求，采取不同的設(shè)計(jì)方法[4]。

紅外圖像信息處理領(lǐng)域具有處理任務(wù)多種多樣、結(jié)構(gòu)差異大、算法復(fù)雜度相差大、實(shí)時(shí)性和可靠性要求高[5]、對(duì)體積和功耗的要求也越來(lái)越高等特點(diǎn)?；谶@些特點(diǎn)，目前紅外圖像信息處理器設(shè)計(jì)對(duì)訂制的要求較多，造成重復(fù)投入，研制周期加長(zhǎng)，成本提高。本文目的是要研究類似民用領(lǐng)域的通用化信息處理平臺(tái)，使得不同的程序可以運(yùn)行于同樣的硬件平臺(tái)上。

一個(gè)較好的方案是把對(duì)性能要求較高的常用圖像處理算法設(shè)計(jì)成硬件處理模塊，處理器選擇ARM，在進(jìn)行圖像處理時(shí)，ARM只需運(yùn)行頂層處理算法[6]，底層算法調(diào)用硬件模塊執(zhí)行。而且目前的ARM處理器處理能力越來(lái)越強(qiáng)，已經(jīng)發(fā)展到四核，主頻2 GHz，并配備專用浮點(diǎn)處理單元。

本文提出了一種適用于紅外圖像處理的通用架構(gòu)設(shè)計(jì)方案，如圖1所示。該架構(gòu)采用了一個(gè)ARM處理器，常用的數(shù)據(jù)密集型圖像處理算法采用硬件模塊實(shí)現(xiàn)。ARM主要負(fù)責(zé)頂層算法，特點(diǎn)是算法復(fù)雜度高但是數(shù)據(jù)量較少，其實(shí)現(xiàn)方式多樣，可以是SOPC，SoC，也可以是FPGA+ARM。其中的圖像預(yù)處理器主要完成紅外圖像非均勻校正、中值濾波、高斯濾波、降噪、電子穩(wěn)像等；視頻協(xié)處理器主要完成圖像壓縮、直方圖統(tǒng)計(jì)、灰度投影、角點(diǎn)檢測(cè)、連通域標(biāo)記等；視頻后處理器主要完成圖像顯示，包括視頻顯示控制、OSD（On Screen Display）、圖像縮放。

在該系統(tǒng)中，將目前最有發(fā)展前景的1394接口、RapidIO接口、光纖通道接口都集成到系統(tǒng)中，可根據(jù)不同需要連接不同接口；存儲(chǔ)器接口主要用于系統(tǒng)與外部存儲(chǔ)器連接，如DDR2 SDRAM，SBSRAM，F(xiàn)LASH等；其他接口可保留傳統(tǒng)接口，如RS 485，RS 422，開(kāi)關(guān)量接口等。

2 紅外圖像一體化信息處理器設(shè)計(jì)

紅外圖像一體化信息處理器包括信息處理單元（FPGA+DSP）、存儲(chǔ)器（SBSRAM，F(xiàn)LASH，DPRAM等）、外圍接口芯片、二次電源等一體化信息處理系統(tǒng)所需要的硬件資源，以及底層支持軟件和圖像處理軟件等。

其中，處理器采用SOPC+DSP為基本框架。 接口電路包括開(kāi)關(guān)量接口、RS 422/RS 485接口、LVDS接口。對(duì)處理器部分所要完成的功能要根據(jù)處理器的特點(diǎn)進(jìn)行功能劃分，以便充分利用處理器的資源，使處理器工作在最優(yōu)狀態(tài)。對(duì)上述體系結(jié)構(gòu)圖進(jìn)行細(xì)化得到如圖2所示的結(jié)構(gòu)。

2.1 硬件設(shè)計(jì)

紅外圖像一體化信息處理器的設(shè)計(jì)思路是采用SOPC+DSP技術(shù)，通過(guò)高性能的DSP完成復(fù)雜的控制算法和數(shù)據(jù)計(jì)算，采用SOPC技術(shù)在單片F(xiàn)PGA上完成信號(hào)流水處理、圖像預(yù)處理算法等。SOPC+DSP技術(shù)有效結(jié)合了兩種技術(shù)的優(yōu)點(diǎn)，互相彌補(bǔ)單獨(dú)采用某一種技術(shù)的不足，可以大大地提高系統(tǒng)的性能[7]。

處理器的硬件由FPGA，DSP，雙口RAM，SBSRAM，F(xiàn)LASH，配置芯片，開(kāi)關(guān)量接口，差分LVDS芯片，通信接口，視頻DA，電源芯片，連接器等組成。具體硬件組成框圖如圖3所示。

在處理器要完成的所有功能中，圖像預(yù)處理、圖像壓縮、RS 485通信中的HDLC協(xié)議等由FPGA邏輯來(lái)實(shí)現(xiàn)；兩個(gè)軟核CPU分別實(shí)現(xiàn)兩路紅外圖像的特征提取和初檢測(cè)。軟核CPU主要實(shí)現(xiàn)兩路圖像的特征提取及初檢測(cè)，并將處理后的圖像特征傳送給DSP。DSP的主要功能是完成圖像融合算法。在系統(tǒng)上電后，DSP將FLASH中存儲(chǔ)的程序調(diào)入相應(yīng)的RAM緩存中運(yùn)行，為了完成圖像融合算法，DSP需要通過(guò)EMIF總線讀取外部DPRAM中的紅外圖像特征數(shù)據(jù)，另外，DSP還要與外界進(jìn)行開(kāi)關(guān)量和RS 485通信，可通過(guò)外部中斷，GPIO口完成。

根據(jù)需要針對(duì)該架構(gòu)的功能需求進(jìn)行芯片選型，考慮到要預(yù)留一定的裕量，選用Altera公司的EP3SE110，其內(nèi)部邏輯單元約11萬(wàn)個(gè)，RAM約1 MB，硬件乘法器896個(gè)，其中內(nèi)部RAM的最高工作頻率為600 MHz，高性能DSP塊最高工作頻率為550 MHz。綜合對(duì)比C6701，C6711，C6713三款芯片，選用C6713?？紤]靜態(tài)RAM比動(dòng)態(tài)RAM可靠性高，采用同步靜態(tài)RAM，容量1M×36位，選用ISSI公司的IS61LPS102436A。為了滿足系統(tǒng)處理兩路紅外圖像的需求，包括特征提取，二值化，連通域標(biāo)記，目標(biāo)檢測(cè)與跟蹤等，兩路圖像各用一片SBSRAM，選用ISSI公司的IS61LPS102436A。FPGA外部DPRAM選用IDT公司的IDT70T3539M。進(jìn)一步地完成處理器所涉及的開(kāi)關(guān)量接口、RS 422/RS 485通信接口、圖像輸入/輸出等接口的設(shè)計(jì)。

2.2 軟件設(shè)計(jì)

在很多圖像處理系統(tǒng)中，單個(gè)成像器所得到的圖像信息往往不完整，精確度低[8]，此時(shí)，如果增加一個(gè)成像器提供補(bǔ)充數(shù)據(jù)，然后把兩個(gè)成像器的數(shù)據(jù)進(jìn)行融合就能夠獲得對(duì)該場(chǎng)景中更多、更精確的信息，降低單一成像器所造成的不確定性。因此，通過(guò)圖像融合技術(shù)可以在很大程度上提高圖像數(shù)據(jù)的可靠性和抗干擾性。

紅外目標(biāo)的圖像特征主要表現(xiàn)為目標(biāo)的外形輪廓、灰度、紋理等。對(duì)于要處理的紅外目標(biāo)，可以事先確定目標(biāo)的面積范圍、形狀特征[9]?？梢愿鶕?jù)目標(biāo)的面積和形狀復(fù)雜度對(duì)真假目標(biāo)進(jìn)行判斷。

本文采用的圖像幾何濾波的計(jì)算方法如下：

（1） 目標(biāo)面積計(jì)算。分別統(tǒng)計(jì)各疑似目標(biāo)所包含的總像素點(diǎn)數(shù)，作為疑似目標(biāo)的面積。

（2） 目標(biāo)外接矩形的長(zhǎng)度和寬度。通過(guò)同一目標(biāo)的[x，y]坐標(biāo)的取值范圍來(lái)確定。計(jì)算公式如下：

式中：[W]代表目標(biāo)外接矩形的寬度；[L]代表目標(biāo)外接矩形的長(zhǎng)度；[ymax]代表目標(biāo)[y]坐標(biāo)最大值；[ymin]代表目標(biāo)[y]坐標(biāo)最小值；[xmax]代表目標(biāo)[x]坐標(biāo)最大值；[xmin]代表目標(biāo)[x]坐標(biāo)最小值。

（3） 周長(zhǎng)計(jì)算：圖像處理中，目標(biāo)的周長(zhǎng)可以通過(guò)統(tǒng)計(jì)同一目標(biāo)邊界點(diǎn)的個(gè)數(shù)之和得到。在得到上述目標(biāo)特征之后，依據(jù)先驗(yàn)的目標(biāo)特征對(duì)疑似目標(biāo)逐一判斷，濾除不符合條件的疑似目標(biāo)。

對(duì)于要處理的紅外目標(biāo)，可以事先獲得紅外目標(biāo)的灰度分布情況，以此為依據(jù)對(duì)真假紅外目標(biāo)進(jìn)行識(shí)別?？刹捎玫幕叶忍卣饔校簣D像的均值、最大值位置、行均值提取、列均值提取。根據(jù)上述提取的計(jì)算特征，與先驗(yàn)?zāi)繕?biāo)特征比較，濾除不符合條件的疑似目標(biāo)。

單幀的目標(biāo)檢測(cè)算法無(wú)法完全提取真正的目標(biāo)，仍會(huì)存在一些干擾噪聲點(diǎn)。此時(shí)，需要利用序列圖像目標(biāo)運(yùn)動(dòng)的連續(xù)性即多幀軌跡關(guān)聯(lián)進(jìn)一步剔除噪聲提取真目標(biāo)。

本文所采用的圖像融合方法為決策級(jí)融合，對(duì)提取出的目標(biāo)特征信息進(jìn)行處理，利用的目標(biāo)特征信息包括目標(biāo)的形狀、大小、位置，通過(guò)決策級(jí)融合達(dá)到去除虛警點(diǎn)，準(zhǔn)確保留真實(shí)目標(biāo)的目的。

如圖4所示，在編碼端，首先輸入原始圖像，將原始圖像分割為8×8的基本處理模塊，首先根據(jù)前后幀的相關(guān)性來(lái)判別塊的編碼方式，如果是幀內(nèi)編碼，直接對(duì)塊圖像進(jìn)行JPEG編碼，即DCT變換、之字編碼、變長(zhǎng)編碼、添加塊信息，輸出碼流即可；如果是幀間編碼，則需要進(jìn)行運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)估計(jì)是將前一幀量化后的圖像經(jīng)過(guò)逆量化、反DCT變換還原后保存為參考幀，當(dāng)前塊經(jīng)運(yùn)動(dòng)估計(jì)及隨后的運(yùn)動(dòng)補(bǔ)償，然后原始圖像與重建圖像的差異值在經(jīng)過(guò)離散余弦變換、量化、之字編碼、變長(zhǎng)編碼、添加塊信息，輸出碼流。同時(shí)，運(yùn)動(dòng)矢量也傳給變長(zhǎng)編碼器進(jìn)行編碼傳遞。

根據(jù)HDLC協(xié)議的描述進(jìn)行FPGA實(shí)現(xiàn)的模塊劃分：發(fā)送或者接收控制，標(biāo)志字產(chǎn)生，數(shù)據(jù)的并/串轉(zhuǎn)換，數(shù)據(jù)發(fā)送，CRC校驗(yàn)，插0功能。其中發(fā)送或者接收控制模塊是核心模塊，控制整個(gè)發(fā)送或者接收數(shù)據(jù)的流程在各個(gè)功能模塊間進(jìn)行切換。

3 算法仿真與系統(tǒng)測(cè)試

中值濾波、最大值及均值計(jì)算、閾值判斷都在FPGA中完成，可不考慮處理時(shí)間。因此仿真時(shí)可以只針對(duì)二值化以后的圖像進(jìn)行仿真，主要仿真識(shí)別效果和運(yùn)行時(shí)間。仿真環(huán)境為NiosⅡ IDE，CPU系統(tǒng)時(shí)鐘為150 MHz，處理時(shí)間包括CPU中完成的所有工作，如特征提取、灰度映射、幾何濾波、軌跡關(guān)聯(lián)等。

當(dāng)有多個(gè)目標(biāo)滿足灰度特征，且?guī)缀螢V波后還有多個(gè)目標(biāo)時(shí)，僅跟蹤面積最大的目標(biāo)，處理時(shí)間348 μs，處理結(jié)果如圖5所示。跟蹤所有滿足灰度特征及幾何特征的目標(biāo)，四個(gè)目標(biāo)滿足條件，處理時(shí)間450 μs，處理結(jié)果如圖6所示。同時(shí)跟蹤10個(gè)目標(biāo)，處理時(shí)間為1.12 ms，處理結(jié)果如圖7所示。

FPGA部分的調(diào)試涉及到FPGA芯片和其外接芯片。

（1） JTAG接口和EPCS芯片測(cè)試：通過(guò)編寫(xiě)FPGA程序，并將程序加載到EPCS芯片，重新上電，通過(guò)程序運(yùn)行狀態(tài)判斷JTAG接口和EPCS芯片是否正常。

（2） FPGA外接存儲(chǔ)器測(cè)試：包括DPRAM，SBSRAM，F(xiàn)LASH。編寫(xiě)FPGA程序?qū)Υ鎯?chǔ)器進(jìn)行遍歷讀寫(xiě)，若沒(méi)有錯(cuò)誤則說(shuō)明存儲(chǔ)器正常。

（3） FPGA外接視頻DA測(cè)試：編寫(xiě)FPGA程序，通過(guò)ADV7123輸出固化在ROM中的LENA圖像，用電視盒接收?qǐng)D像，若接收?qǐng)D像無(wú)錯(cuò)誤，則說(shuō)明DA工作正常。

DSP部分的調(diào)試涉及到DSP芯片和其外接芯片。

（1） DSP芯片的外接存儲(chǔ)器測(cè)試，包括DPRAM，SBSRAM，F(xiàn)LASH，配置DSP的EMIF總線寄存器，對(duì)片外存儲(chǔ)器進(jìn)行遍歷讀寫(xiě)，沒(méi)有錯(cuò)誤。

（2） DSP與FPGA的通信測(cè)試：配置DSP的EMIF寄存器，DSP可以通過(guò)EMIF總線操作FPGA的DPRAM，將FPGA上的數(shù)據(jù)緩存讀取到DSP的內(nèi)存中。

軟件調(diào)試的驗(yàn)證方法通過(guò)對(duì)比硬件平臺(tái)上的處理結(jié)果與Matlab仿真的結(jié)果是否一致來(lái)判斷，下面對(duì)核心模塊連通域標(biāo)記部分進(jìn)行驗(yàn)證，對(duì)比連通域標(biāo)記的Matlab仿真結(jié)果和SOPC的CPU運(yùn)行結(jié)果。所采用的連通域標(biāo)記輸入圖像如圖8所示。處理結(jié)果如表1。

統(tǒng)計(jì)CPU處理時(shí)間，對(duì)于該輸入圖像來(lái)說(shuō)，目標(biāo)個(gè)數(shù)，復(fù)雜程度超過(guò)實(shí)際應(yīng)用，CPU頻率設(shè)置為100 MHz，處理時(shí)間為4.76 ms，滿足系統(tǒng)要求。將圖像數(shù)據(jù)傳輸給MPEG壓縮模塊，經(jīng)過(guò)壓縮模塊壓縮后輸出壓縮碼流，另一端通過(guò)上位機(jī)接收壓縮碼流，并對(duì)壓縮碼流進(jìn)行解碼顯示。經(jīng)測(cè)試，圖像壓縮模塊工作正常，上位機(jī)可以連續(xù)的接收壓縮碼流并進(jìn)行解碼顯示。

4 結(jié) 論

本文在研究當(dāng)前嵌入式技術(shù)現(xiàn)狀與前景的基礎(chǔ)上，以某一紅外圖像處理項(xiàng)目為依托，提出了一種基于通用架構(gòu)的紅外圖像一體化信息處理器，結(jié)合需求，給出了該架構(gòu)的硬件設(shè)計(jì)。研究了紅外圖像處理領(lǐng)域的相關(guān)圖像處理算法，主要有特征提取、二值化、連通域標(biāo)記、圖像融合、目標(biāo)檢測(cè)跟蹤和圖像壓縮等，另外還有通信接口所涉及的HDLC協(xié)議，給出了所有功能的軟件設(shè)計(jì)，并在硬件平臺(tái)上調(diào)試通過(guò)。在今后的研究中，主要在圖像處理算法部分仍需要根據(jù)實(shí)際圖像數(shù)據(jù)進(jìn)一步修改完善，保證其精度；在成像器接口、圖像處理算法、通信接口、處理器數(shù)據(jù)處理能力方面也需要進(jìn)一步完善。

參考文獻(xiàn)

[1] 楊恢先，王緒四，謝鵬鶴，等.改進(jìn)閾值與尺度間相關(guān)的小波紅外圖像去噪[J].自動(dòng)化學(xué)報(bào)，2011，37（10）：1167?1174.

[2] 堯征.基于SOPC嵌入式實(shí)時(shí)操作系統(tǒng)的應(yīng)用設(shè)計(jì)[D].上海：東華理工大學(xué)，2013.

[3] 蘇玉強(qiáng)，劉穎.基于消息的嵌入式系統(tǒng)應(yīng)用框架研究[J].計(jì)算機(jī)測(cè)量與控制，2011，19（5）：1142?1145.

[4] 游福成.數(shù)字圖像處理Digital Image Processing[M].北京：電子工業(yè)出版社，2011：67?68.

[5] SHEN L， JIA S， JI Z， et al. Extracting local texture features for image?based coin recognition [J]. IET Image Processing， 2011， 5（5）： 394?401.

[6] 王曉曦.紅外圖像活動(dòng)輪廓分割方法研究[D].重慶：重慶大學(xué)，2013.

[7] 康志亮，許麗佳.基于小波的紅外圖像去噪算法研究[J].計(jì)算機(jī)仿真，2011，28（1）：265?267.

[8] 岳改麗，王棟，楊蕊.幾種邊緣檢測(cè)算子在紅外圖像處理方面應(yīng)用研究[J].西安科技大學(xué)學(xué)報(bào)，2012，32（4）：500?504.

[9] 張會(huì)敏，謝澤奇，張?jiān)讫?紅外圖像報(bào)警系統(tǒng)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制，2011，19（2）：432?436.