提高局部信噪比的單幀紅外圖像非均勻性校正方法

趙 云, 朱鑫鑫, 桑苗苗, 何 宇

(中國(guó)人民解放軍63618部隊(duì),新疆 庫爾勒 841000)

0 引言

紅外探測(cè)能夠獲取目標(biāo)的輻射特性,反演目標(biāo)溫度分布,可以晝夜觀測(cè),對(duì)目標(biāo)的探測(cè)識(shí)別具有重要的意義。相對(duì)于可見光圖像,紅外圖像較模糊、細(xì)節(jié)紋理不清,分辨率低,圖像的非均勻性嚴(yán)重影響著目標(biāo)的提取、識(shí)別、跟蹤等。紅外小目標(biāo)成像像素少、與背景溫差小、信噪比低,高效高質(zhì)量的非均勻性校正算法將極大地改善圖像質(zhì)量,提高紅外小目標(biāo)的識(shí)別檢測(cè)概率。目前,非均勻性校正主要分為兩類:一類是基于輻射源定標(biāo)的校正方法[1],主要有一點(diǎn)校正、兩點(diǎn)校正以及多點(diǎn)校正法;另一類是基于場(chǎng)景的校正方法[2-7],主要包括時(shí)域高通法、神經(jīng)網(wǎng)絡(luò)法、恒定統(tǒng)計(jì)法、卡爾曼濾波法等?；谳椛湓炊?biāo)的方法校正精度高,但需要輻射源等定標(biāo)設(shè)備,且需要周期性停機(jī)來校正參數(shù)的漂移,限制了系統(tǒng)的連續(xù)工作;基于場(chǎng)景的校正方法利用圖像序列估計(jì)非均勻性校正參數(shù),是當(dāng)前研究的熱點(diǎn)。

基于場(chǎng)景的校正方法一般需要利用圖像序列進(jìn)行迭代訓(xùn)練,算法的收斂速度、校正參數(shù)等均需要通過大量的實(shí)驗(yàn)才能獲得較好的效果,且校正過程中的偽像及硬件實(shí)現(xiàn)是當(dāng)前亟待解決的問題。單幀場(chǎng)景的非均勻性校正方法不依賴于圖像序列的信息,便于硬件實(shí)現(xiàn),一直倍受關(guān)注,文獻(xiàn)[8]用二維高斯函數(shù)逼近背景灰度分布,實(shí)現(xiàn)了紅外成像系統(tǒng)的漸暈效應(yīng)校正;文獻(xiàn)[9]基于直方圖加權(quán)和Savitzky-Golay擬合的方法校正了紅外圖像的非均勻性條帶噪聲;文獻(xiàn)[10]基于背景反映圖像的非均勻性及非均勻函數(shù)連續(xù)平滑兩個(gè)約束條件,提出了一種無模型的非均勻性校正算法,消除了可見光圖像任意分布的散射光、漸暈效應(yīng)等。上述方法均能對(duì)紅外的非均勻性進(jìn)行校正,但僅關(guān)注校正前后非均勻性的變化,導(dǎo)致校正后圖像的局部信噪比未達(dá)到最大值,甚至局部信噪比有所降低。本文從紅外目標(biāo)的實(shí)時(shí)跟蹤測(cè)量出發(fā),基于Savitzky-Golay濾波(SG濾波)預(yù)處理的無模型單幀校正期望最大(EM)算法,提出了一種提高局部信噪比(Local Signal-to-Noise Ratio,LSNR)的方法求解最優(yōu)的SG濾波窗口,該方法不依賴非均勻性模型,利用紅外圖像的單幀場(chǎng)景信息即可實(shí)現(xiàn)非均勻性校正。

1 非均勻性的產(chǎn)生及圖像評(píng)價(jià)指標(biāo)

導(dǎo)致紅外圖像非均勻性的原因十分復(fù)雜,至今尚未完全建立準(zhǔn)確描述非均勻性產(chǎn)生的數(shù)學(xué)模型。從紅外輻射傳輸過程來看,目標(biāo)發(fā)出的紅外輻射首先要經(jīng)過大氣傳輸被光學(xué)系統(tǒng)接收、傳遞,接著在紅外探測(cè)器上光電轉(zhuǎn)換產(chǎn)生電信號(hào),經(jīng)積分電路累積后由讀出電路進(jìn)行傳輸、放大和處理等,最后AD轉(zhuǎn)換成為圖像的灰度輸出,整個(gè)過程的任何環(huán)節(jié)都可能引入圖像的非均勻性。

1.1 非均勻性產(chǎn)生的原因

大量研究表明,紅外圖像非均勻性產(chǎn)生的原因主要包括以下幾個(gè)方面。

1) 探測(cè)器陣列響應(yīng)不一致:與材料質(zhì)量、工藝制造水平有關(guān),如摻雜濃度、表面態(tài)密度、閾值電壓、量子轉(zhuǎn)移效率等,是非均勻性最根本的原因。

2) 紅外探測(cè)器工作狀態(tài)引入的非均勻性:探測(cè)器工作的溫度、讀出電路的驅(qū)動(dòng)信號(hào)、放大電路的工作狀態(tài)、1/f噪聲等。

3) 外界輸入引起的非均勻性:外界環(huán)境變化及輸入的背景輻射對(duì)紅外探測(cè)器的光譜響應(yīng)不一致。

4) 紅外光學(xué)系統(tǒng)的影響:光學(xué)鏡組、鏡頭的孔徑效應(yīng)、光軸的偏轉(zhuǎn)等。

上述原因均會(huì)使紅外系統(tǒng)產(chǎn)生非均勻性,多種非均勻性的影響同時(shí)存在且相互耦合,導(dǎo)致紅外圖像的非均勻性很復(fù)雜。

1.2 評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)紅外圖像校正前后的質(zhì)量,本文采用圖像的非均勻性(NU)和局部信噪比(LSNR)來評(píng)價(jià)算法的效果。

1) 圖像非均勻性(NU)。其算式為

(1)

2) 局部信噪比(LSNR)。

LSNR代表了信號(hào)在背景中的局部特征,LSNR越大,信號(hào)相對(duì)于背景越明顯,否則,信號(hào)可能淹沒在噪聲中無法識(shí)別。對(duì)于紅外實(shí)時(shí)跟蹤測(cè)量系統(tǒng),LSNR的大小直接決定了目標(biāo)能否從背景中被提取、檢測(cè)和跟蹤,它是紅外系統(tǒng)重要的指標(biāo)參數(shù),算式為

(2)

式中:S為目標(biāo)灰度均值;μ為背景灰度均值;σ為背景灰度標(biāo)準(zhǔn)差。RLSNR值越大,則目標(biāo)越易從背景噪聲中被識(shí)別和檢測(cè)。

2 提高局部信噪比的非均勻性校正方法

由于紅外圖像非均勻性的產(chǎn)生原因難以用準(zhǔn)確的數(shù)學(xué)模型進(jìn)行描述,所以不依賴模型的校正方法就顯得尤為重要。假設(shè)不受非均勻性影響的理想紅外圖像I0由均勻背景B、目標(biāo)T和噪聲ε組成,即

I0=B+T+ε。

(3)

由于非均勻性函數(shù)的作用,實(shí)際接收到的圖像I為

I=I0·f(B)

(4)

式中,f(B)為非均勻性函數(shù)。求解f(B),就可以得到理想圖像I0,即

I0=I/f(B)。

(5)

紅外圖像受到目標(biāo)、系統(tǒng)漸暈效應(yīng)、噪聲及背景雜波的影響,掩蓋了一部分背景信息,所以從背景中估計(jì)非均勻性函數(shù)就是求解不完全數(shù)據(jù)集的聚類問題。本文基于SG濾波對(duì)非均勻圖像進(jìn)行預(yù)處理,尋找提高局部信噪比(LSNR最大)的最優(yōu)濾波窗口,并使用EM算法求解背景缺失數(shù)據(jù)集的模型參數(shù),本文非均勻性校正算法步驟如下。

1) 設(shè)置濾波窗口大小H,對(duì)輸入的非均勻圖像I進(jìn)行SG濾波。

2) 背景估計(jì):SG濾波結(jié)果擬合生成背景圖像E,本文使用三階多項(xiàng)式進(jìn)行擬合。

3) 提取缺失數(shù)據(jù)集:理想情況下,紅外圖像I和背景圖像E的差值只有目標(biāo)和噪聲。當(dāng)差值圖像灰度大于設(shè)定閾值時(shí)認(rèn)為是目標(biāo),反之屬于背景,用矩陣R對(duì)圖像進(jìn)行標(biāo)記,即

(6)

式中,n·std(I-E)為閾值,std(·)為差值圖像的標(biāo)準(zhǔn)差,n用“3σ”原則選取。

4) 更新圖像:若像素位置為目標(biāo),則用估計(jì)的期望E更新,否則,用原圖像I進(jìn)行更新,則更新后的圖像為

I=E·R+I·(1-R)。

(7)

5) 迭代終止判斷:用全變分函數(shù)來估計(jì)背景的平滑程度,二維離散信號(hào)的全變分定義為

(8)

當(dāng)全變分函數(shù)的變化小于閾值時(shí),認(rèn)為背景已經(jīng)足夠平滑,EM算法終止,即

|Vk+1-Vk|/Vk

(9)

式中:TTh為終止閾值,本文取0.01;k為迭代次數(shù)。若不滿足終止條件,則繼續(xù)執(zhí)行2)。

6) 獲取非均勻性函數(shù):當(dāng)EM算法迭代終止后,背景估計(jì)的期望E表征了非均勻函數(shù)f(B)的大小,對(duì)E歸一化得

f(B)=E/mean(E)

(10)

式中,mean(E)為期望均值。將式(10)代入式(5)即可得到校正圖像I0。

7) 計(jì)算校正圖像I0的LSNR。改變SG濾波窗口H,重復(fù)2)～6),計(jì)算校正圖像中目標(biāo)的LSNR,將LSNR最大時(shí)的校正圖像作為無非均勻性的圖像I0輸出。

本文非均勻校正算法流程如圖1所示。

圖1 校正算法流程圖

3 實(shí)驗(yàn)結(jié)果及分析

采用中波紅外系統(tǒng)進(jìn)行實(shí)驗(yàn),探測(cè)器材料為碲鎘汞(HgCdTe),響應(yīng)波段為3.7～4.8 μm,分辨率為320×256,單位為像素,制冷方式為斯特林制冷。本文算法采用SG濾波對(duì)紅外圖像進(jìn)行預(yù)處理,濾波窗口的大小對(duì)非均勻性校正結(jié)果有重要的影響。濾波窗口越小,濾波結(jié)果越接近真實(shí)測(cè)量值,能識(shí)別背景中較小的非均勻性變化;濾波窗口越大,濾波結(jié)果越平滑,但無法有效擬合局部的非均勻性變化。為了實(shí)時(shí)跟蹤測(cè)量紅外目標(biāo),本文系統(tǒng)選擇使用LSNR最大時(shí)的SG濾波窗口進(jìn)行非均勻性校正。

3.1 不同場(chǎng)景下的非均勻性校正

為驗(yàn)證本文算法的正確性,在不同場(chǎng)景下進(jìn)行實(shí)驗(yàn),分析了NU和LSNR隨SG濾波窗口的變化規(guī)律。

3.1.1 紅外目標(biāo)場(chǎng)景

用無人機(jī)模擬紅外目標(biāo),利用本文算法進(jìn)行校正。圖2所示為紅外目標(biāo)場(chǎng)景下不同SG濾波窗口的校正結(jié)果。

圖2 紅外目標(biāo)場(chǎng)景下不同SG濾波窗口的校正結(jié)果

圖2(a)中,NU隨SG濾波窗口增大而逐漸變大,表明濾波窗口越大,NU值越大,圖像非均勻性變差;但與校正前NU為0.480 4相比,選擇任意濾波窗口進(jìn)行校正,NU均比校正前低,表明本文算法校正后的圖像非均勻性比校正前好;當(dāng)濾波窗口大于87像素時(shí),NU變化較小,此時(shí)增大濾波窗口,圖像非均勻性基本保持不變。圖2(b)中,SG濾波窗口為81像素時(shí)LSNR最大,表明校正后圖像中的目標(biāo)易被檢測(cè)和跟蹤;當(dāng)濾波窗口大于193像素時(shí),LSNR變化緩慢,此時(shí)增大濾波窗口,目標(biāo)的局部信噪比基本保持不變。對(duì)比圖2(a)和圖2(b),當(dāng)濾波窗口較小時(shí),NU和LSNR都較低,說明圖像非均勻性很小時(shí),目標(biāo)局部信噪比低,此時(shí)難以從背景中識(shí)別出目標(biāo)。

下文中均以校正前的圖像為基準(zhǔn),“-”號(hào)表示降低,“+”號(hào)(省略)表示提高,LSNR最大時(shí)校正前后的NU和LSNR如表1所示。

表1 紅外目標(biāo)場(chǎng)景下校正前后的對(duì)比

由表1可知,本文算法校正前后,紅外圖像的NU降低了56.8693%,LSNR提高了3.6877 dB。LSNR最大時(shí)圖像校正前后的對(duì)比如圖3所示。

圖3 紅外目標(biāo)場(chǎng)景下校正前后的對(duì)比

3.1.2 暗弱目標(biāo)場(chǎng)景

將中波紅外星作為暗弱目標(biāo),本文算法進(jìn)行校正的結(jié)果如圖4所示。

圖4 暗弱目標(biāo)場(chǎng)景下不同SG濾波窗口的校正結(jié)果

圖4(a)中,NU隨SG濾波窗口增大而逐漸變大,表明濾波窗口越大,NU越大,圖像非均勻性越差;與校正前NU為0.344 2相比,在任意濾波窗口下進(jìn)行校正,NU均比校正前低,表明校正后圖像的非均勻性更好。圖4(b)中,濾波窗口為59像素時(shí)LSNR最大,此時(shí)校正后圖像中的目標(biāo)易被檢測(cè)和跟蹤。

LSNR最大時(shí),暗弱目標(biāo)場(chǎng)景下校正前后的NU和LSNR如表2所示。

表2 暗弱目標(biāo)場(chǎng)景下校正前后的對(duì)比

由表2可知,本文算法校正前后,暗弱目標(biāo)圖像NU降低了85.9384%,LSNR提高了0.2569 dB。LSNR最大時(shí)暗弱目標(biāo)場(chǎng)景下圖像校正前后的效果如圖5所示,矩形框內(nèi)為暗弱目標(biāo)。

圖5 暗弱目標(biāo)場(chǎng)景下校正前后的對(duì)比

3.1.3 云層背景場(chǎng)景

用本文算法對(duì)云層背景干擾的目標(biāo)圖像進(jìn)行校正,結(jié)果如圖6所示。

圖6 云層背景場(chǎng)景下不同SG濾波窗口的校正結(jié)果

圖6(a)中,NU隨SG濾波窗口增大而逐漸變大,表明濾波窗口越大,NU值越大,圖像非均勻性越差;與校正前NU為0.446 6相比,選擇任意濾波窗口進(jìn)行校正,NU均比校正前低,表明校正后的圖像非均勻性更好。圖6(b)中,濾波窗口為27像素時(shí)LSNR最大,表明校正后圖像中的目標(biāo)易被檢測(cè)和跟蹤。

LSNR最大時(shí),云層背景場(chǎng)景下校正前后的NU和LSNR如表3所示。

表3 云層背景場(chǎng)景下校正前后的對(duì)比

由表3可知,本文算法校正前后,云層背景場(chǎng)景的紅外圖像NU降低了87.8863%,LSNR提高了3.5531 dB。云層背景圖像校正前后的對(duì)比如圖7所示,矩形框內(nèi)為目標(biāo)。

圖7 云層背景場(chǎng)景下校正前后的對(duì)比

由圖7可知,當(dāng)矩形框內(nèi)目標(biāo)的LSNR最大時(shí),SG濾波窗口相對(duì)于云層過小,導(dǎo)致云層被當(dāng)作非均勻背景處理。但對(duì)紅外實(shí)時(shí)跟蹤測(cè)量系統(tǒng)來說,僅需要跟蹤矩形框內(nèi)的目標(biāo)而非云層背景,所以本文的非均勻性校正算法對(duì)云層背景下的目標(biāo)跟蹤是有利的。

3.2 不同大小目標(biāo)的最優(yōu)濾波窗口

本文算法能在一定程度上提高目標(biāo)的LSNR,對(duì)于實(shí)際跟蹤測(cè)量中的暗弱目標(biāo)及強(qiáng)背景噪聲干擾的目標(biāo),很難實(shí)時(shí)進(jìn)行目標(biāo)分割和提取,所以有必要提前對(duì)不同大小的目標(biāo)進(jìn)行最優(yōu)濾波窗口(LSNR最大)的探索。使用實(shí)際獲取的非均勻背景疊加高斯圓斑目標(biāo)進(jìn)行非均勻性校正實(shí)驗(yàn)。改變目標(biāo)的大小,對(duì)模擬圖像進(jìn)行校正,則最優(yōu)的SG濾波窗口如圖8所示。

圖8 LSNR最大時(shí)目標(biāo)大小與SG濾波窗口的關(guān)系

由圖8可知,當(dāng)LSNR最大時(shí),SG濾波窗口隨目標(biāo)大小的增加而增加,濾波窗口近似為目標(biāo)大小的3～5倍。而對(duì)于尺寸小于21像素的目標(biāo),濾波窗口H與目標(biāo)大小ST的關(guān)系近似為

H≈4.6*ST+0.3

(11)

式中,H取最接近于計(jì)算結(jié)果的奇數(shù)。當(dāng)模擬圖像中目標(biāo)大小為15像素時(shí),非均勻圖像在濾波窗口H為69像素時(shí)的校正結(jié)果如圖9所示。

圖9 目標(biāo)大小為15像素的校正結(jié)果

圖9(a)中,NU為0.2219,LSNR為4.2942 dB;圖9(b)中,NU為0.0329,LSNR為8.9365 dB,對(duì)比可知,校正后圖像的非均勻性更低,目標(biāo)的局部信噪比更大。

由式(2)可知,LSNR與目標(biāo)和背景的空間分布有關(guān),實(shí)際跟蹤測(cè)量中,需對(duì)目標(biāo)進(jìn)行實(shí)時(shí)分割提取才能計(jì)算LSNR,進(jìn)而獲取最優(yōu)的濾波窗口。工程應(yīng)用中,該紅外系統(tǒng)主要對(duì)空間目標(biāo)進(jìn)行跟蹤測(cè)量,目標(biāo)小、距離遠(yuǎn),在紅外系統(tǒng)上的成像表現(xiàn)為點(diǎn)目標(biāo),則式(11)的近似關(guān)系成立。跟蹤測(cè)量過程中,一般采用全域搜索確定疑似目標(biāo),再進(jìn)行局部搜索對(duì)疑似目標(biāo)進(jìn)行判別。初始捕獲目標(biāo)時(shí),若未發(fā)現(xiàn)目標(biāo)或目標(biāo)不能提取,則可假設(shè)目標(biāo)不大于3像素,濾波窗口初值近似為15像素,利用本文算法進(jìn)行校正,可降低圖像的非均勻性,進(jìn)而提高目標(biāo)被檢測(cè)的概率。當(dāng)目標(biāo)可被檢測(cè)后,目標(biāo)和背景的空間分布已知,即可利用本文算法在最優(yōu)濾波窗口對(duì)圖像進(jìn)行進(jìn)一步的非均勻性校正。

4 結(jié)論

紅外系統(tǒng)的非均勻性嚴(yán)重影響紅外圖像的質(zhì)量,并可能導(dǎo)致暗弱紅外目標(biāo)不能被識(shí)別和跟蹤。本文從理論上對(duì)紅外圖像非均勻性的產(chǎn)生原因進(jìn)行分析,并基于SG濾波預(yù)處理的無模型校正EM算法,提出了一種提高局部信噪比的單幀紅外圖像校正方法,該方法通過求解LSNR最大時(shí)的SG濾波窗口,實(shí)現(xiàn)紅外圖像的非均勻性校正。設(shè)計(jì)了對(duì)比實(shí)驗(yàn),驗(yàn)證了本文方法能對(duì)不同場(chǎng)景下圖像的非均勻性進(jìn)行有效校正。本文方法在紅外目標(biāo)場(chǎng)景、暗弱目標(biāo)場(chǎng)景和云層背景場(chǎng)景條件下,能使紅外圖像的非均勻性NU分別降低56.8693%,85.9384%和87.8863%;同時(shí),該方法還提高了目標(biāo)的局部信噪比,上述場(chǎng)景中LSNR分別提高了3.6877 dB,0.2569 dB和3.5531 dB。最后討論了本文方法中目標(biāo)大小與最優(yōu)濾波窗口的選擇,得到濾波窗口與小目標(biāo)的關(guān)系為H≈4.6*ST+0.3,從工程應(yīng)用的角度探討了濾波初值的選取。結(jié)果表明,本文方法能在LSNR最大的前提下,利用紅外圖像的單幀場(chǎng)景信息對(duì)非均勻性進(jìn)行有效校正,具有一定的工程應(yīng)用價(jià)值。