紅外焦平面圖像處理系統(tǒng)的軟件設(shè)計(jì)＊

朱 卓

（東北電子技術(shù)研究所 錦州 121000）

1 引言

紅外焦平面陣列圖像處理系統(tǒng)主要包含三個(gè)功能模塊，分別是圖像采集功能模塊、圖像預(yù)處理功能模塊和圖像處理功能模塊，每個(gè)功能模塊均有其對(duì)應(yīng)的軟件，軟件是模塊功能實(shí)現(xiàn)的基礎(chǔ)。圖像處理系統(tǒng)軟件結(jié)構(gòu)框圖[1]，如圖1所示。

圖1 圖像處理系統(tǒng)軟件結(jié)構(gòu)框圖

紅外焦平面陣列圖像處理系統(tǒng)設(shè)計(jì)中主要包含的軟件有數(shù)據(jù)接口軟件、圖像預(yù)處理算法軟件和圖像處理算法軟件的設(shè)計(jì)。本文就圖像采集模塊軟件的設(shè)計(jì)、圖像預(yù)處理模塊軟件的設(shè)計(jì)、圖像處理模塊軟件的設(shè)計(jì)等，作進(jìn)一步的研究和探討。

2 圖像采集模塊軟件的設(shè)計(jì)

圖像采集模塊軟件設(shè)計(jì)主要包含配置設(shè)計(jì)、控制功能以及接口設(shè)計(jì)等幾大部分軟件功能模塊[2]。

2.1 接口設(shè)計(jì)

接口設(shè)計(jì)主要實(shí)現(xiàn)圖像采集模塊與圖像預(yù)處理模塊及圖像處理模塊的數(shù)據(jù)接口，以及圖像采集模塊內(nèi)部紅外焦平面陣列的圖像數(shù)據(jù)輸入接口的設(shè)計(jì)。紅外焦平面陣列輸出紅外圖像信號(hào)的流程如圖2所示[3]。

紅外焦平面陣列輸出的紅外圖像信號(hào)要依據(jù)其設(shè)定的時(shí)序信號(hào)，時(shí)序信號(hào)是由圖像采集模塊內(nèi)的時(shí)序電路所產(chǎn)生的，圖像采集模塊內(nèi)部接口如圖3所示。

圖2 紅外焦平面陣列紅外圖像輸出流程

圖3 圖像采集模塊接口框圖

2.2 配置模塊設(shè)計(jì)

紅外焦平面陣列的配置模塊是采用專用處理器控制來實(shí)現(xiàn)的。處理器通過并行或串行數(shù)據(jù)接口與紅外焦平面陣列進(jìn)行通信，并實(shí)現(xiàn)對(duì)紅外焦平面陣列的工作狀態(tài)、工作模式等的控制[4]。

表1 控制信息格式表

系統(tǒng)上電后，紅外焦平面陣列需要通過數(shù)據(jù)接口從處理器讀取控制信息，以確定其工作模式，其中包括陣列的信號(hào)增益強(qiáng)度、幀頻速度、圖像生成方式、積分時(shí)間等相關(guān)參數(shù)。以型號(hào)為UL03191的紅外焦平面陣列為例，其控制信息格式包含了積分時(shí)間、增益系數(shù)、紅外窗口大小、窗口位置等相關(guān)信息，表1所表示的是UL03191紅外焦平面陣列的控制信息格式以及其實(shí)現(xiàn)的功能。

Xlast、Xlast、Yfirst以及Ylast這四個(gè)參數(shù)是用來確定紅外焦平面陣列所配置的紅外窗口的位置以及打開窗口的大小。參數(shù)的設(shè)定必須滿足下面（1）以及 （2）所表示的兩個(gè)條件。

本系統(tǒng)設(shè)計(jì)中，紅外焦平面陣列窗口的大小為陣列的像元尺寸，陣列的增益系數(shù)設(shè)定為1，積分時(shí)間設(shè)定為20μs，陣列的掃描方式設(shè)定為從右側(cè)到左側(cè)的行掃方式，掃描順序從上到下。

2.3 控制功能設(shè)計(jì)

紅外焦平面陣列一般都是采用電子掃面的方式，系統(tǒng)視場(chǎng)內(nèi)目標(biāo)物體的自身溫度發(fā)生變化時(shí)，會(huì)導(dǎo)致紅外焦平面陣列所受到的紅外輻射強(qiáng)度的變化，輻射強(qiáng)度與紅外焦平面陣列的電流輸出大小直接相關(guān)，輻射強(qiáng)度變化引起的電流變化在脈沖偏置電壓的作用下被讀取電路讀出，紅外焦平面陣列每列的末端有放大器，放大器把電流信號(hào)轉(zhuǎn)換為電壓信號(hào)，再經(jīng)過多路復(fù)用器把放大后的電壓信號(hào)輸出，這個(gè)電壓信號(hào)就是最基本的紅外圖像信息。圖4所表示的是紅外焦平面陣列在工作狀態(tài)時(shí)的工作時(shí)序圖[5]。

圖4 紅外焦平面陣列工作時(shí)序圖

紅外焦平面陣列的初始化和驅(qū)動(dòng)時(shí)鐘等參數(shù)均由FPGA芯片來控制，其工作流程框圖如圖5所示。

圖5 紅外焦平面陣列工作流程框圖

FPGA芯片對(duì)紅外焦平面陣列控制的實(shí)現(xiàn)方法可參照?qǐng)D6中所采用的控制方法來實(shí)現(xiàn)。

3 圖像預(yù)處理模塊軟件的設(shè)計(jì)

圖像預(yù)處理模塊的軟件設(shè)計(jì)考慮兩個(gè)方面的內(nèi)容，分別是圖像信號(hào)的存儲(chǔ)和圖像預(yù)處理算法的設(shè)計(jì)[6]。

3.1 圖像存儲(chǔ)功能設(shè)計(jì)

紅外圖像的存儲(chǔ)采用專用的存儲(chǔ)器來實(shí)現(xiàn)，本設(shè)計(jì)中采用的存儲(chǔ)器型號(hào)為IS61LV512156的單口SRAM，圖像存儲(chǔ)器作為紅外圖像的緩存，將從圖像采集模塊得到的圖像信息數(shù)據(jù)傳輸?shù)綀D像預(yù)處理電路中。存儲(chǔ)控制結(jié)構(gòu)框圖如圖7所示。

圖6 紅外焦平面陣列控制程序原理圖

圖7 存儲(chǔ)控制結(jié)構(gòu)框圖

由圖7可以看出，存儲(chǔ)器通過SRAMA和SRAMB這兩個(gè)數(shù)據(jù)緩沖區(qū)對(duì)圖像信息數(shù)據(jù)進(jìn)行讀取輸入，在第一個(gè)存儲(chǔ)周期內(nèi)，先將圖像信息數(shù)據(jù)存儲(chǔ)到SRAMA中；第二個(gè)存儲(chǔ)周期內(nèi)，切換存儲(chǔ)單元為SRAMB，將下一幀圖像信息數(shù)據(jù)存儲(chǔ)到SRAMB中，同時(shí)SRAMA將內(nèi)部存儲(chǔ)的圖像信息數(shù)據(jù)送至圖像預(yù)處理電路；第三個(gè)存儲(chǔ)周期內(nèi)，切換存儲(chǔ)單元為SRAMA，將再下一幀圖像信息數(shù)據(jù)存儲(chǔ)到SRAMA中覆蓋上一幀圖像信息數(shù)據(jù)，同時(shí)將SRAMB中存儲(chǔ)的圖像信息數(shù)據(jù)送至圖像預(yù)處理電路，以后依次重復(fù)這三個(gè)周期的執(zhí)行方式。

3.2 紅外圖像預(yù)處理算法設(shè)計(jì)

紅外圖像預(yù)處理可采用的方法很多，一般來說紅外焦平面陣列圖像處理系統(tǒng)必須具備的圖像預(yù)處理算法有非均勻校正算法和盲點(diǎn)剔除算法。非均勻性校正算法是用來消除紅外焦平面陣列內(nèi)熱敏單元響應(yīng)率不同所產(chǎn)成的圖像誤差，盲點(diǎn)剔除是用來消除陣列內(nèi)熱敏單元失效所帶來的圖像誤差[7]。

1）非均勻性校正算法設(shè)計(jì)。紅外焦平面陣列的非均勻性對(duì)于其成像質(zhì)量有著直接的影響，因此在紅外焦平面陣列內(nèi)對(duì)熱敏單元進(jìn)行偏差和增益的校正工作，可以有效地提高系統(tǒng)的成像質(zhì)量。非均勻性校正有很多的方法，這里就不一一介紹，本系統(tǒng)設(shè)計(jì)中所采用的方法是兩點(diǎn)校正法。

兩點(diǎn)校正法從簡(jiǎn)單來講就是將熱敏單元輸出的不一致性通過該算法，使其一致的方法。假設(shè)圖8中所表示的是A、B、C三個(gè)熱敏單元，φ為輻射通量，X為熱敏單元的響應(yīng)量。圖8（a）中表示的是熱敏單元的實(shí)際輸出曲線，可以看到由于各熱敏單元的響應(yīng)率不同，其輸出的曲線斜率均不同，非均勻性校正就是將圖8（a）中的不同斜率曲線，通過算法轉(zhuǎn)換為圖8（c）的輸出曲線，保證每個(gè)熱敏單元響應(yīng)率一致，輸出曲線斜率相同。

圖8 兩點(diǎn)校正法的原理

兩點(diǎn)校正法就是將圖8（a）中不同斜率的輸出曲線通過設(shè)定標(biāo)準(zhǔn)曲線，并依據(jù)標(biāo)準(zhǔn)曲線對(duì)其他輸出曲線進(jìn)行旋轉(zhuǎn)和平移等操作，使輸出曲線保持一致。圖8（b）是輸出曲線依據(jù)標(biāo)準(zhǔn)曲線進(jìn)行平移后的結(jié)果。圖8（c）是在圖8（b）的基礎(chǔ)上對(duì)輸出曲線進(jìn)行旋轉(zhuǎn)的結(jié)果。兩點(diǎn)校正法就是使三條輸出曲線通過變換后完全重合。

2）非均勻性校正算法的實(shí)現(xiàn)。紅外焦平面陣列的非均勻性校正算法對(duì)于硬件實(shí)現(xiàn)來說，其結(jié)構(gòu)框圖可表示圖9所示內(nèi)容。

圖9 非均勻性校正算法框圖

校正系數(shù)的獲得是非均勻性校正算法實(shí)現(xiàn)工作中一項(xiàng)重要的工作，校正系數(shù)可以采用兩種方式獲得，一是利用系統(tǒng)內(nèi)存儲(chǔ)的系數(shù)，二是利用黑體進(jìn)行系數(shù)的更新校正。

利用黑體進(jìn)行校正系數(shù)的更新時(shí)，采用的計(jì)算流程如圖10所示。

對(duì)于增益系數(shù)接近1的紅外焦平面陣列而言，可采用二進(jìn)制來表示其增益補(bǔ)償系數(shù)和偏移系數(shù)，校正系數(shù)可表示為增益補(bǔ)償系數(shù)和偏移系數(shù)的結(jié)構(gòu)合，即增益補(bǔ)償系數(shù)和偏移系數(shù)分別占用1字節(jié)，校正系數(shù)占用2字節(jié)，校正系數(shù)的高8位為增益補(bǔ)償系數(shù)，低8位為偏移系數(shù)。

本系統(tǒng)中，非均勻性校正算法在采用Altera公司型號(hào)為EP3C25F324C8的FPGA芯片中實(shí)現(xiàn)，芯片提供的RAM空間可達(dá)0.594Mbit，由于只有加法和乘法運(yùn)算，因此采用二級(jí)流水線的設(shè)計(jì)方法。

3）盲點(diǎn)剔除算法設(shè)計(jì)及實(shí)現(xiàn)。盲點(diǎn)剔除技術(shù)可采用對(duì)比相鄰單元或者前后幀數(shù)據(jù)信息的方式進(jìn)行檢測(cè)。圖像數(shù)據(jù)信息一般來說具有一定的連續(xù)性，如果數(shù)據(jù)在某一點(diǎn)突變而隨后的數(shù)據(jù)又回歸正常，這個(gè)數(shù)據(jù)就會(huì)被當(dāng)作無效數(shù)據(jù)處理。

在進(jìn)行盲點(diǎn)剔除是一般采用插值理論進(jìn)行設(shè)計(jì)，其計(jì)算表達(dá)式為

圖10 校正系數(shù)計(jì)算流程框圖

假設(shè)，∑αr，s＝1，權(quán)系數(shù)αr，s要依據(jù)盲點(diǎn)相鄰的鄰域不同的情況做出相應(yīng)的選擇。

本系統(tǒng)設(shè)計(jì)，盲點(diǎn)剔除的方法采用的是八鄰域盲點(diǎn)替代的方式，也就是，對(duì)盲點(diǎn)相鄰的八個(gè)單元的平均值代替盲點(diǎn)輸出的值。盲點(diǎn)剔除需要與讀取圖像信息數(shù)據(jù)同時(shí)完成，圖11為盲點(diǎn)剔除算法的硬件實(shí)現(xiàn)結(jié)構(gòu)框圖。

圖11 盲點(diǎn)剔除算法硬件實(shí)現(xiàn)結(jié)構(gòu)框圖

4 圖像處理模塊軟件設(shè)計(jì)

從系統(tǒng)前端的圖像采集模塊及預(yù)處理模塊獲得圖像數(shù)據(jù)后，需要對(duì)圖像數(shù)據(jù)進(jìn)行處理，有感興趣目標(biāo)出現(xiàn)時(shí)，應(yīng)及時(shí)顯示，并提取出目標(biāo)的空間灰度質(zhì)心坐標(biāo)與目標(biāo)的外包絡(luò)矩形對(duì)角頂點(diǎn)坐標(biāo)等參數(shù)[8]。

4.1 目標(biāo)特性分析

由于系統(tǒng)是在全天候下持續(xù)搜索目標(biāo)，所以在圖像序列中的目標(biāo)將顯然具有這樣四個(gè)特性：

1）目標(biāo)出現(xiàn)時(shí)必然只占據(jù)少量像素（1～3個(gè)左右），并與周圍背景像素呈現(xiàn)出一定數(shù)量的灰度差異；

2）運(yùn)動(dòng)性，即相鄰兩副圖像中的目標(biāo)位置既相鄰又有差異；

3）導(dǎo)彈的形狀結(jié)構(gòu)、來襲方位與飛行姿態(tài)共同決定了其在焦平面上的投影幾何測(cè)度，據(jù)此可提取出計(jì)算機(jī)視覺不變量，作為目標(biāo)判別依據(jù)；

4）溫度和輻射強(qiáng)度變化率是識(shí)別判據(jù)的關(guān)鍵性參數(shù)。因?yàn)樗鼈兗蟹从沉四繕?biāo)的物理特征和動(dòng)力學(xué)特征。特別在紅外光學(xué)系統(tǒng)不能測(cè)距情況下。

4.2 圖像灰度值的統(tǒng)計(jì)特性分析

自然景觀紅外圖像灰度值的統(tǒng)計(jì)特性為：隨機(jī)噪聲大，像素灰度值的波動(dòng)量為2%左右；圖像灰度值統(tǒng)計(jì)特性基本呈正態(tài)分布，均值約為14－bit灰度滿量程的1／8，方差在150左右。另一方面，CCD存在壞元，且各像元的輸出存在較大的非均勻性。

據(jù)此，為提高圖像質(zhì)量，需進(jìn)行了盲點(diǎn)剔除以及非均勻性校正等圖像預(yù)處理工作；為增強(qiáng)信噪比，應(yīng)進(jìn)行灰度均衡化處理，同時(shí)保留圖像細(xì)節(jié)。這些預(yù)處理工作可以提高探測(cè)的魯棒性與靈敏性。

4.3 軟件系統(tǒng)流程設(shè)計(jì)

在目標(biāo)探測(cè)中，綜合應(yīng)用基于小波降噪、小波系數(shù)逐層配準(zhǔn)、多幀積累、差分、統(tǒng)計(jì)濾波等方法；在目標(biāo)跟蹤中，綜合應(yīng)用目標(biāo)亮度、形態(tài)、速度上的時(shí)空相關(guān)性，應(yīng)用聯(lián)合相關(guān)自適應(yīng)匹配器，穩(wěn)健跟蹤最危險(xiǎn)目標(biāo)；在目標(biāo)識(shí)別中，根據(jù)導(dǎo)彈不同部分在3～5μm紅外波段的輻射特性差異，應(yīng)用圖像的超分辨分析計(jì)算出目標(biāo)的溫度梯度場(chǎng)的分布，結(jié)合目標(biāo)投影幾何測(cè)度進(jìn)行識(shí)別，可以提高識(shí)別概率。軟件系統(tǒng)框圖如圖12所示，包含目標(biāo)探測(cè)、跟蹤、識(shí)別三部分，其中跟蹤與識(shí)別同步處理[9]。

4.4 主要算法原理描述

1）基于小波分析的圖像處理。根據(jù)Mallat算法，圖像的小波多分辨分析為

圖12 軟件設(shè)計(jì)系統(tǒng)框圖

重構(gòu)公式為

當(dāng)h（n），g（n）構(gòu)成正交鏡像濾波器對(duì)，且有

?因此，根據(jù)式（4）、（5），可以對(duì)圖像G進(jìn)行多分辨分解和重構(gòu)。從濾波器理論出發(fā)，h（n），相當(dāng)于一個(gè)低通濾波器，相應(yīng)的g（n），g～（n）相當(dāng)于一個(gè)高通濾波器。

上述多分辨分析可以理解為圖像在兩個(gè)垂直取向的空間頻率上進(jìn)行分解和重構(gòu)的過程。

2）小波降噪。小波分析去噪步驟：

（1）二維信號(hào)小波分解。選擇一個(gè)小波和小波分解的層次N，然后計(jì)算圖像的N層分解。

（2）逐層對(duì)高頻系數(shù)進(jìn)行閾值量化。

（3）二維小波的重構(gòu)。根據(jù)小波分解的第N層的低頻系數(shù)和經(jīng)修改的第1層到第N層的各層高頻系數(shù)計(jì)算二維信號(hào)的小波重構(gòu)。

3）基于小波模極大的逐級(jí)圖像配準(zhǔn)。除了相對(duì)平移，還存在旋轉(zhuǎn)和畸變這些嚴(yán)重阻礙高精度配準(zhǔn)的因素。我們的工作中，假設(shè)圖像中不存在畸變，只有位移和旋轉(zhuǎn)。在這樣的前提下，配準(zhǔn)工作采用仿射模型。

仿射變換模型如下：

式中：（x，y）為第一幅圖中點(diǎn)的坐標(biāo)經(jīng)變換后對(duì)應(yīng)第二幅圖中的坐標(biāo)（x’，y’）；θ為第一幅圖與第二幅圖間的旋轉(zhuǎn)因子；Δx、Δy為兩圖沿兩個(gè)正交軸方向的平移量。

將θ及Δx、Δy作為配準(zhǔn)參數(shù)，當(dāng)配準(zhǔn)參數(shù)正確時(shí)，兩圖像應(yīng)處于最佳匹配位置。具體的搜索策略為：對(duì)配準(zhǔn)參數(shù)θ及Δx、Δy設(shè)置范圍和步長(zhǎng)，逐步長(zhǎng)進(jìn)行互相關(guān)系數(shù)的計(jì)算，互相關(guān)系數(shù)最大處就是最佳匹配位置，對(duì)應(yīng)的配準(zhǔn)參數(shù)就是最佳配準(zhǔn)參數(shù)。將獲得的配準(zhǔn)參數(shù)施用于原圖像，就可實(shí)現(xiàn)圖像的配準(zhǔn)。

L層的小波模極大為

通過搜索在N＊N大小的區(qū)域內(nèi)ML－1（i，j）的最大和，即可確定配準(zhǔn)的種子區(qū)域F。

4）圖像差分法。該算法具有低復(fù)雜度、速度高的特點(diǎn)，適于實(shí)時(shí)處理。

5）基于高通濾波器的單幀檢測(cè)。由于是小目標(biāo)，因此目標(biāo)必然在頻域中呈現(xiàn)出高頻特性，而其周圍大面積背景圖案則處于低頻段，所以圖像經(jīng)高頻數(shù)字濾波后，留下的是高頻部分（目標(biāo)）。

6）自適應(yīng)門限檢測(cè)及圖像分割。利用Otsμ方法（以最佳門限將圖像灰度直方圖分割成兩部分，并使兩部分的類間方差取最大值）在圖像的目標(biāo)區(qū)域上自適應(yīng)地找出閾值，設(shè)為T，再用T對(duì)目標(biāo)區(qū)域進(jìn)行分割，以得到紅外小目標(biāo)的廣義邊緣二值圖象。進(jìn)行形態(tài)膨脹，結(jié)構(gòu)元素選為十字五點(diǎn)陣，將目標(biāo)可能斷開的邊緣點(diǎn)連成一體，然后計(jì)算圖中各可能目標(biāo)的幾何中心、面積、周長(zhǎng)等幾何側(cè)度，作為識(shí)別判據(jù)。

5 結(jié)語(yǔ)

本文主要以紅外焦平面圖像處理系統(tǒng)內(nèi)包含的圖像采集模塊、圖像預(yù)處理模塊和圖像處理模塊為設(shè)計(jì)中心，并根據(jù)各模塊所要實(shí)現(xiàn)的具體功能提出實(shí)現(xiàn)方法。采用數(shù)字設(shè)計(jì)工具對(duì)電路設(shè)計(jì)、綜合布線等進(jìn)行設(shè)計(jì)和仿真，提高了系統(tǒng)設(shè)計(jì)的效率，保證了系統(tǒng)的穩(wěn)定性和兼容性。系統(tǒng)設(shè)計(jì)中使用的DSP芯片和FPGA芯片不僅性能強(qiáng)勁，而且還具有可在線編程的優(yōu)點(diǎn)，使系統(tǒng)應(yīng)用的靈活性得到了很大的提升。本系統(tǒng)可以實(shí)現(xiàn)從紅外圖像的產(chǎn)生、傳輸、存儲(chǔ)、圖像增強(qiáng)、目標(biāo)識(shí)別等功能，可以應(yīng)用在安保監(jiān)控、戰(zhàn)場(chǎng)監(jiān)視、森林防護(hù)等很多領(lǐng)域。

[1]任陽(yáng)陽(yáng)，邵曉鵬.非制冷紅外焦平面陣列成像系統(tǒng)圖像處理軟件設(shè)計(jì)[J].電子科技，2009（5）：1－3.

[2]孫學(xué)金，高太長(zhǎng)，翟東力，等.基于非制冷紅外焦平面陣列的全天空紅外測(cè)云系統(tǒng)[J].紅外與激光工程，2008（5）：761－764.

[4]曾祥鴻，劉慧.320×240非制冷紅外焦平面陣列驅(qū)動(dòng)電路的設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2005，20：40－41.

[5]秦良，蔣亞東，呂堅(jiān)，等.非制冷紅外焦平面陣列CMOS讀出電路設(shè)計(jì)[J].國(guó)外電子測(cè)量技術(shù)，2006，6：32－34.

[6]秦文罡，讓星，高愛華.非制冷紅外焦平面陣列器件驅(qū)動(dòng)電路的研究[J].紅外，2008，06：1－4.

[7]周慧鑫，拜麗萍，秦翰林，等.基于自適應(yīng)濾波的紅外焦平面陣列非均勻性校正算法[J].強(qiáng)激光與粒子束，2009，11：1611－1614.

[8]張沛，祝紅彬，呂堅(jiān)，等.低噪聲非制冷紅外焦平面陣列驅(qū)動(dòng)電路的設(shè)計(jì)[J].紅外與激光工程，2010，5：806－810.

[9]李靜，金龍旭，郭偉強(qiáng).320×240元非制冷焦平面信號(hào)處理電路設(shè)計(jì)[J].激光與紅外，2005，12：935－937.

[10]干戈.一種基于DSP和USB的圖像處理系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)與數(shù)字工程，2008（11）.