基于紅外雙波段的盲元補(bǔ)償算法

李 謙，趙燦兵，劉 星，蘇俊波，洪聞青，蘇 蘭，樊佩琦，張潤琦

（1.昆明物理研究所，云南 昆明 650223；2.63850 部隊(duì)，吉林 白城 137000）

0 引言

紅外焦平面陣列由于受到制造工藝等的影響，常常會(huì)出現(xiàn)盲元，盲元包括固定盲元和隨機(jī)盲元，其表現(xiàn)形式通常是在圖像上形成暗點(diǎn)或者亮點(diǎn)。盲元會(huì)影響探測(cè)器成像的質(zhì)量，因此需要對(duì)焦平面陣列進(jìn)行盲元檢測(cè)和補(bǔ)償[1]。雙波段紅外焦平面陣列相對(duì)于傳統(tǒng)的單波段紅外焦平面陣列具有較大的優(yōu)勢(shì)，在環(huán)境條件極其復(fù)雜多變的現(xiàn)代戰(zhàn)場(chǎng)上，雙波段紅外焦平面陣列可以獲取更多的目標(biāo)信息，提高目標(biāo)的檢測(cè)和識(shí)別機(jī)率。但是雙波段紅外焦平面陣列依然存在盲元的困擾。

此前，國內(nèi)對(duì)盲元校正的研究通常是在單波段層面，在盲元檢測(cè)方面，可以分為基于定標(biāo)的檢測(cè)法和基于場(chǎng)景的檢測(cè)法[2]?；诙?biāo)的檢測(cè)法方面，張紅輝等人通過對(duì)定標(biāo)圖像進(jìn)行直方圖分解，估計(jì)出有效元分布情況進(jìn)行分類，針對(duì)不同情況使用不同的策略像元的均值差和標(biāo)準(zhǔn)差，進(jìn)而區(qū)分有效像元和盲元[3]。姚琴芬等人提出了一種基于雙參考源的盲元檢測(cè)方法，通過黑體在兩個(gè)不同溫度下采集圖像，然后利用閾值對(duì)盲元進(jìn)行檢測(cè)[4]。基于場(chǎng)景的檢測(cè)法方面，冷寒冰等人使用了時(shí)域多幀累加的檢測(cè)方法，可以較為有效地避免誤檢[5]。粟宇路等人根據(jù)盲元的時(shí)空域灰度分布特性，通過多幀圖像來對(duì)盲元進(jìn)行檢測(cè)[6]。張東閣等人利用無監(jiān)督學(xué)習(xí)的一類支持向量機(jī)以及隨機(jī)場(chǎng)景圖像序列，建立了更新的分類模型，可以實(shí)時(shí)地檢測(cè)盲元[7]。

過往通常使用的單波段盲元替換算法對(duì)大盲元簇及位于邊緣位置的盲元補(bǔ)償效果不盡如人意，隨著雙波段熱像的逐漸興起，本文提出了一種基于雙波段信息的盲元補(bǔ)償算法，利用雙波段之間的圖像差異來對(duì)盲元進(jìn)行檢測(cè)，并對(duì)雙波段紅外圖像中出現(xiàn)的不同盲對(duì)盲元進(jìn)行補(bǔ)償。

1 雙波段紅外圖像盲元檢測(cè)

國家軍用標(biāo)準(zhǔn)中通過將器件對(duì)黑體輻射的響應(yīng)程度作為量化標(biāo)準(zhǔn)，將其分為過熱像元與死像元兩類，過熱像元是像元噪聲電壓大于平均噪聲電壓10 倍的響應(yīng)像元，而死像元?jiǎng)t是指像元響應(yīng)率小于1/10 平均響應(yīng)率的像元。通常，過熱像元表現(xiàn)為白點(diǎn)和亮點(diǎn)，死像元表現(xiàn)為灰點(diǎn)和暗點(diǎn)，如圖1所示。

圖1 盲元圖像Fig.1 Image with blind pixels

在雙波段紅外成像中，由于目標(biāo)不同波段的輻射是通過同一光學(xué)系統(tǒng)被雙波段焦平面陣列接受，因此，同一目標(biāo)的不同波段輻射信息在雙波段紅外圖像中是有一定的相似性的，此外，雙波段探測(cè)器中，兩個(gè)波段的圖像中盲元位置較少有重疊，因此使用雙波段信息對(duì)盲元進(jìn)行補(bǔ)償是完全可行的。

在雙波段紅外圖像中，對(duì)于像元的判斷可以簡單的分為3 種情況：

①像元在一個(gè)波段正常響應(yīng)，而在另一個(gè)波段不正常響應(yīng)，則該像元在不響應(yīng)波段為盲元；

②像元在兩個(gè)波段都正常響應(yīng)，則該像元為正常像元；

③像元在雙波段都不正常響應(yīng)，則該像元在兩個(gè)波段皆為盲元。

對(duì)于盲元的檢測(cè)，前人做了許多工作，根據(jù)文獻(xiàn)[4]，可將紅外圖像看作不含盲元的理想圖像和盲元的疊加，即：

因此像元是否正常響應(yīng)可以通過以下公式判斷：

式中：YB(i,j)為原始圖像；XB(i,j)為理想無盲元圖像；B(i,j)盲元圖像；h為閾值。

在雙波段紅外圖像中，對(duì)于盲元的檢測(cè)，一般是對(duì)兩個(gè)波段的圖像進(jìn)行盲元檢測(cè)，分別標(biāo)記出兩個(gè)波段的盲元，最后再進(jìn)行運(yùn)算，也就意味著本文算法中需要進(jìn)行兩次盲元檢測(cè)。

此外，對(duì)于運(yùn)動(dòng)場(chǎng)景，由于場(chǎng)景信息比較復(fù)雜，因此本文對(duì)其進(jìn)行累計(jì)多幀的判斷，連續(xù)多幀判斷圖像中某一像元為盲元才會(huì)對(duì)其進(jìn)行標(biāo)記[7]。本文算法流程圖如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

2 盲元補(bǔ)償

在單波段的盲元替換中，通常都是使用鄰域平均的方法來對(duì)盲元進(jìn)行補(bǔ)償，當(dāng)盲元位于場(chǎng)景中的邊緣位置時(shí)，如果使用鄰域校正，則有可能讓部分非邊緣的信息參與到盲元補(bǔ)償過程，由于邊緣信息與非邊緣信息的差異較大，這就導(dǎo)致了盲元補(bǔ)償后，補(bǔ)償后的盲元與周圍像元差異依然比較明顯。

因此，本文在盲元補(bǔ)償過程中增加了對(duì)盲元的位置是否位于邊緣的判斷。先通過邊緣檢測(cè)得出圖像的邊緣，本文在進(jìn)行邊緣檢測(cè)時(shí)是使用的Sobel 算子，Sobel 算子兩個(gè)方向的模板如下所示：

提取出圖像的邊緣圖像后，可以對(duì)圖像中的盲元進(jìn)行分類，根據(jù)其是否位于邊緣采取不同的盲元補(bǔ)償策略。當(dāng)盲元位于圖像邊緣時(shí)，對(duì)盲元進(jìn)行鄰域平均補(bǔ)償時(shí)僅選取鄰域中同樣位于邊緣位置的且非盲元的像素，當(dāng)圖像位于非邊緣位置時(shí)，對(duì)盲元進(jìn)行鄰域平均補(bǔ)償時(shí)僅選取鄰域中同樣位于非邊緣位置的且非盲元的像素，雙波段盲元分布如圖3所示。

圖3 雙波段盲元圖像Fig.3 Dual-band image with blind pixels

此外，在雙波段紅外圖像中，雖然目標(biāo)不同波段的輻射是由同一焦平面陣列接收，但是由于各波段的光譜靈敏度曲線是非線性的，同一目標(biāo)的強(qiáng)度響應(yīng)在不同的波段內(nèi)的變化也是非線性的，這就導(dǎo)致了在使用雙波段信息進(jìn)行盲元替換，不能簡單使用另一波段的信息直接對(duì)其進(jìn)行替換補(bǔ)償，這時(shí)候就需要對(duì)兩個(gè)波段之間信息的相似性進(jìn)行評(píng)估了。

假設(shè)x、y是不同波段對(duì)于同一目標(biāo)接收到的信號(hào)，他們的相似性決定了是否能夠使用另一波段的信息對(duì)其進(jìn)行補(bǔ)償，在單幅圖像中，x、y可視為離散信號(hào)，其相似性問題可以使用求向量內(nèi)積來度量。

式中：Inner(x,y)為中波圖像x及長波圖像y中目標(biāo)的相似性；n為目標(biāo)大小。

如果x高的地方y(tǒng)也比較高，x低的地方y(tǒng)也比較低，那么整體的內(nèi)積是偏大的，也就是說x、y是相似的。

但是向量內(nèi)積是沒有界限的，有一種解決方法是除以長度之后再求內(nèi)積，即余弦相似度，余弦相似度與向量的幅值無關(guān)，只與向量的方向有關(guān)。

使用余弦相似度對(duì)雙波段圖像中一定大小的區(qū)域進(jìn)行度量后，可以評(píng)估出兩個(gè)波段圖像中此區(qū)域各個(gè)像素點(diǎn)之間的相似性。

評(píng)估出相似性后，可以根據(jù)兩個(gè)波段中盲元鄰域的相似性來決定對(duì)另一波段信息的使用情況，當(dāng)相似性高時(shí)，使用的另一波段信息較多，當(dāng)相似性低時(shí)，使用另一波段信息較少，這樣可以較為有效地減小補(bǔ)償后盲元與周圍像素的差異。

因此，考慮雙波段信息，邊緣信息，以及相似性后，本文使用的盲元補(bǔ)償方法如式(6)所示：

式中：Eij為邊緣圖像；bpxij為盲元圖像；dist(x,y)為相似性；xij為盲元所在波段信息；yij為另一波段信息。

3 仿真結(jié)果與分析

本文對(duì)提出的算法進(jìn)行了仿真分析。

圖4 為不同大小的中波信息對(duì)盲元簇的補(bǔ)償效果的影響，其中圖4(a)中為不使用中波信息，僅使用長波信息對(duì)長波圖像中的盲元進(jìn)行補(bǔ)償，其中圖4(b)中為使用50%的中波信息及50%的長波信息，對(duì)長波圖像中的盲元進(jìn)行補(bǔ)償，圖4(c)為使用本文算法對(duì)長波圖像中的盲元補(bǔ)償結(jié)果，可以發(fā)現(xiàn)，根據(jù)相似性來使用中波信息可以較為有效地減小補(bǔ)償后盲元與周圍像素的差異。

圖4 使用不同大小的中波信息補(bǔ)償結(jié)果Fig.4 Results were compensated using midwave information of different sizes

圖5 仿真使用的圖片來自某中長波熱像儀，其中長波圖像中有盲元，而中波圖像中沒有盲元，為了達(dá)到較好的驗(yàn)證效果，在仿真過程中，我們隨機(jī)賦予了長波圖像一個(gè)7×10 的盲元簇，仿真結(jié)果見圖5，其中圖(c)為僅使用單波段信息對(duì)盲元進(jìn)行補(bǔ)償?shù)慕Y(jié)果，圖(d)為本文算法結(jié)果。

圖5 本文算法和單波段盲元校正算法仿真結(jié)果Fig.5 Correction results of new algorithm and single band compensation algorithm

從仿真結(jié)果來看，僅使用單波段盲元對(duì)其進(jìn)行校正，得到的盲元補(bǔ)償后圖像中，雖然盲元簇有一定的改善，但是依然有較為大塊的盲元簇存在，而使用本文算法對(duì)盲元簇進(jìn)行補(bǔ)償后，圖像中的盲元現(xiàn)象得到了明顯的改善，盲元簇基本消失。

4 結(jié)論

傳統(tǒng)的單波段盲元替換算法對(duì)于大盲元簇及位于邊緣位置的盲元通常不能取得較為理想的補(bǔ)償結(jié)果，本文針對(duì)此問題并結(jié)合雙波段熱像儀的特點(diǎn)，提出了一種基于雙波段信息的盲元替換算法，實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)于場(chǎng)景中的大盲元簇及位于邊緣位置的盲元有著較為良好的補(bǔ)償效果。但是，在實(shí)驗(yàn)過程中，我們同樣也發(fā)現(xiàn)了一些問題，諸如硬件實(shí)現(xiàn)時(shí)資源需求過多等問題，依然有待后續(xù)改進(jìn)。