基于場(chǎng)景的掃描線非均勻性校正算法

蔡競(jìng)晨,許 靜,李江勇,劉紀(jì)洲

(華北光電技術(shù)研究所,北京 100015)

1 引 言

目前線列型紅外探測(cè)器在軍事偵察、導(dǎo)航與制導(dǎo),預(yù)警和跟蹤有著廣泛應(yīng)用[1]。由于器件的制造工藝受限,任何一個(gè)紅外探測(cè)器制造完成,就會(huì)存在非均勻性,這是紅外焦平面的固有屬性[2]。

去除非均勻性信息主要有兩種方法[3],第一種方法是提高成像探測(cè)元的制作工藝,然而目前的工藝水平很難使各探測(cè)元的光電響應(yīng)完全一致,即使在出廠時(shí)達(dá)到一致,隨著使用時(shí)間的增長(zhǎng),器件會(huì)有一定程度的損耗,導(dǎo)致新的非均勻性信息出現(xiàn)[4]。第二種方法是對(duì)帶有非均勻性信息的紅外圖像通過數(shù)字圖像處理手段,用非均勻性校正方法來去除非均勻性信息;該方法實(shí)現(xiàn)起來簡(jiǎn)單,成本低,不受環(huán)境制約,是目前主要的非均勻性校正方法,該方法可被分為基于定標(biāo)的校正方法和基于場(chǎng)景的非均勻校正方法[5]。

大部分的線列紅外探測(cè)器都采用基于定標(biāo)的非均勻性校正算法[6];基于定標(biāo)的校正方法雖然原理簡(jiǎn)單、操作方便,但是其假設(shè)的線性或者局部線性關(guān)系往往與真實(shí)的探測(cè)器響應(yīng)模型并不完全符合,而且紅外焦平面探測(cè)器在連續(xù)工作過程中,其工作狀態(tài)也會(huì)發(fā)生變化,這也會(huì)導(dǎo)致定標(biāo)法計(jì)算出的原校正參數(shù)不再適用,原校正參數(shù)甚至?xí)档统上褓|(zhì)量,造成圖像模糊[7]。

對(duì)于線列紅外探測(cè)器,通過單一的定標(biāo)校正算法并不能完全將圖像校正干凈,在圖像上甚至仍然會(huì)有著掃描線存在。本文針對(duì)紅外掃描熱像儀成像時(shí)產(chǎn)生的掃描線提出了一種基于線列探測(cè)器的場(chǎng)景校正算法。該算法可以更精確地提取掃描線,避免場(chǎng)景影響,再通過后續(xù)補(bǔ)償算法對(duì)特殊場(chǎng)景進(jìn)行識(shí)別、剔除,降低誤填率,提升補(bǔ)償效果,獲得更好的成像質(zhì)量。

2 掃描線非均勻性分析

掃描型紅外熱像儀成像時(shí)對(duì)同一目標(biāo)物體進(jìn)行多次掃描并將得到的信號(hào)積累后輸出。圖1是線列探測(cè)器掃描模型示意圖,可以看到熱像儀通過掃描每次讀取一行像素,后通過寄存器合成最終的成像畫面,如圖2所示。

圖1 線列探測(cè)器掃描模型示意圖

圖2 寄存器模型示意圖

通過分析發(fā)現(xiàn),對(duì)于線列紅外探測(cè)器,掃描系統(tǒng)的非均勻性是一維的,即掃描方向上存在的非均勻性尤為明顯,這也導(dǎo)致了采用傳統(tǒng)兩點(diǎn)校正算法校正后仍會(huì)出現(xiàn)掃描線。從圖3(a)、(b)可以看到掃描線會(huì)嚴(yán)重影響紅外圖像質(zhì)量,所以需要對(duì)線列校正后的圖像再進(jìn)行掃描線補(bǔ)償。

圖3 掃描線場(chǎng)景

傳統(tǒng)的掃描線補(bǔ)償算法一般采用列比較補(bǔ)償[8]。當(dāng)原始圖像輸入時(shí),首先計(jì)算4鄰域均值組成的比對(duì)矩陣。通過計(jì)算列之間的差值來求得校正矩陣。最后利用校正矩陣,進(jìn)行逐行校正。傳統(tǒng)的校正算法雖然簡(jiǎn)單方便,易于實(shí)現(xiàn),但無法準(zhǔn)確的識(shí)別提取與掃描線平行的線型特殊場(chǎng)景,常常會(huì)出現(xiàn)掃描線誤判,尤其是對(duì)建筑物掃描成像時(shí),常常造成電線衰減或是墻壁窗戶的邊沿消失的情況。

3 掃描線識(shí)別與提取

3.1 認(rèn)證點(diǎn)判定

傳統(tǒng)算法常常無法準(zhǔn)確識(shí)別掃描線,為了能夠更好地識(shí)別掃描線,本文算法將圖像像素點(diǎn)與其鄰域的標(biāo)準(zhǔn)差作為基礎(chǔ)識(shí)別,通過類標(biāo)準(zhǔn)差對(duì)圖像的差異信息進(jìn)行計(jì)算,從而改善像素偏差提取功能。在掃描線識(shí)別中,掃描線與其鄰域存在顯著的差異就是掃描線的認(rèn)證點(diǎn)個(gè)數(shù)應(yīng)該充分的多。

為了能更好地識(shí)別圖像邊緣,對(duì)圖像階躍性變化進(jìn)行有效提取,通過大量實(shí)驗(yàn),我們將算法矩陣擴(kuò)充至1×5大小,便于中心點(diǎn)與四周點(diǎn)差異的有效提取,這樣可以更好地識(shí)別圖像階躍,從而提取掃描線。在某些特殊環(huán)境(如物體邊沿,建筑物與填空銜接處,建筑物自身窗框等),像素點(diǎn)灰度數(shù)值有時(shí)呈現(xiàn)階躍現(xiàn)象,若利用傳統(tǒng)的掃描線識(shí)別算法進(jìn)行檢測(cè),極易照成誤判,為了解決這一問題,本算法還增加了像素灰度階躍檢測(cè)的特殊模塊,該部分能對(duì)像素灰度階躍進(jìn)行檢測(cè)篩除,對(duì)窗口內(nèi)所有可能的邊緣信息及逆行剔除,以此保留圖像的邊緣細(xì)節(jié)。

由于本文中所采用的探測(cè)器掃描方向?yàn)樨Q直方向,掃描線將以列形態(tài)出現(xiàn)。為了方便觀察,本文將圖片在輸出后進(jìn)行轉(zhuǎn)置,使其符合人眼觀察規(guī)律。根據(jù)當(dāng)前圖像的矩陣的內(nèi)一個(gè)像素進(jìn)行1×5的水平開窗操作,利用公式(1)計(jì)算像素點(diǎn)四鄰域均值矩陣,計(jì)算窗口各點(diǎn)與矩陣差值,并求出標(biāo)準(zhǔn)差均值矩陣c:

(1)

a是當(dāng)前紅外圖像的灰度矩陣;b是以a(i,j)為中心的1×5開窗中與其4個(gè)鄰域灰度值的均值矩陣;d1(i,j),d2(i,j),d3(i,j),d4(i,j),d5(i,j)是窗口各點(diǎn)與矩陣差值;c是標(biāo)準(zhǔn)差均值矩陣,利用dk(i,j)做標(biāo)準(zhǔn)差,求均值得到。為了能識(shí)別掃描線,設(shè)定基礎(chǔ)識(shí)別條件為當(dāng)像素點(diǎn)鄰域均差d1(i,j),d2(i,j),d4(i,j),d5(i,j)均小于c(i,j)的3倍且像素點(diǎn)均值差d3(i,j)大于c(i,j)的2倍,當(dāng)滿足上述條件,則判定為該像素點(diǎn)需要校正。如公式(2)所示:

(2)

通過公式(3)求得的像素點(diǎn)還需要再進(jìn)行篩選:去除符合階躍模型的像素點(diǎn),余下的點(diǎn)才是該列有效的需要校正的像素點(diǎn),也就是認(rèn)證點(diǎn)。

在1×5開窗中,若像素點(diǎn)符合階躍模型,則矩陣邊緣至中心點(diǎn)的差值會(huì)成階梯狀,且差值均大于閾值Th,如公式(3)～(6)所示。閾值Th通過大量實(shí)驗(yàn)后得出。在滿足基礎(chǔ)識(shí)別條件的像素點(diǎn)中,利用四個(gè)公式,將符合階躍模型的像素點(diǎn)剔除,從而求得認(rèn)證點(diǎn)。

(3)

(4)

(5)

(6)

圖4是某建筑物的窗戶模型,若利用傳統(tǒng)算法識(shí)別的像素點(diǎn)如圖所5示,圖6則是改進(jìn)的算法模型,白色為識(shí)別的像素點(diǎn)。如圖4所示,可以看到原算法的判定條件較為單一,誤判的像素點(diǎn)過多,且無法過濾掉圖像的邊緣信息。不僅如此,能明顯看到窗戶邊緣也被錯(cuò)誤識(shí)別為認(rèn)證點(diǎn)。如圖5所示,本文算法可以有效識(shí)別窗戶間的掃描線,并規(guī)避窗戶邊緣的信息,很好地識(shí)別窗戶間的掃描線。

圖4 某建筑物窗戶紅外圖像

圖5 原算法窗戶認(rèn)證點(diǎn)判定圖

圖6 改進(jìn)算法對(duì)窗戶認(rèn)證點(diǎn)判定圖

3.2 掃描線提取算法

在認(rèn)證點(diǎn)判定的基礎(chǔ)上,通過原理分析可以得到,掃描線應(yīng)滿足如下幾個(gè)條件:掃描線中認(rèn)證點(diǎn)數(shù)量較多;掃描線中認(rèn)證點(diǎn)數(shù)量符合該列補(bǔ)償平均值的概率關(guān)系;掃描線中所有認(rèn)證點(diǎn)的補(bǔ)償標(biāo)準(zhǔn)差較小,即對(duì)某一掃描線其與鄰域的灰度差異是一個(gè)基本固定的值。

在掃描線的判定中,掃描線與其鄰域存在最顯著的區(qū)別是,掃描線的認(rèn)證點(diǎn)個(gè)數(shù)應(yīng)該充分的多。由于在實(shí)際紅外熱像儀成像過程存在多種環(huán)境因素,認(rèn)證點(diǎn)統(tǒng)計(jì)結(jié)果數(shù)量也會(huì)隨著背景環(huán)境變化而不同,隨著場(chǎng)景信息的豐富,掃描線認(rèn)證點(diǎn)與非掃描線認(rèn)證點(diǎn)數(shù)量均呈上升趨勢(shì)。在進(jìn)行掃描線判定時(shí),算法采用固定數(shù)值法,但是該固定數(shù)值會(huì)隨著真實(shí)圖像中所有列的認(rèn)證點(diǎn)數(shù)量的平均值f對(duì)掃描線判定數(shù)值進(jìn)行實(shí)時(shí)調(diào)整。根據(jù)大量實(shí)驗(yàn)驗(yàn)證,確定當(dāng)某列認(rèn)證點(diǎn)數(shù)量大于f的2倍時(shí),認(rèn)為該列符合掃描線的認(rèn)證點(diǎn)數(shù)量特征。為避免環(huán)境等單一因素造成的誤判,還需要對(duì)f進(jìn)行下限保護(hù),設(shè)定限值。

在較為復(fù)雜的環(huán)境,某些物體可能符合掃描線與其鄰域的差異特征并滿足掃描線的認(rèn)證點(diǎn)數(shù)量判別條件(例如磚塊,電線等)。這些場(chǎng)景若是被誤判成掃描線,并進(jìn)行補(bǔ)償,對(duì)成像質(zhì)量會(huì)造成極大的影響。經(jīng)過大量仿真統(tǒng)計(jì)可以發(fā)現(xiàn),掃描線在數(shù)字響應(yīng)大時(shí),認(rèn)證點(diǎn)數(shù)量也會(huì)隨之變多;數(shù)字響應(yīng)小時(shí),認(rèn)證點(diǎn)數(shù)量也少。與磚塊電線等邊沿場(chǎng)景進(jìn)行對(duì),邊沿場(chǎng)景信息的灰度信息與場(chǎng)景所在的圖像列認(rèn)證點(diǎn)數(shù)量無明顯概率關(guān)系。該類場(chǎng)景的認(rèn)證點(diǎn)數(shù)量主要取決于場(chǎng)景的環(huán)境變量,如在實(shí)際場(chǎng)景里,電線的認(rèn)證點(diǎn)數(shù)量隨電線自身在圖片中的長(zhǎng)度,方向一致性等因素有關(guān);當(dāng)電線以探測(cè)器掃描的方向筆直的穿過圖像時(shí),其認(rèn)證點(diǎn)數(shù)量將達(dá)到最高值。但電線與其鄰域的差值是由輻射決定而相對(duì)固定的。因此可以通過某一列認(rèn)證點(diǎn)數(shù)量與該列列補(bǔ)償平均值的概率關(guān)系判斷該列是否為掃描線。

根據(jù)大量實(shí)驗(yàn)結(jié)果,可以發(fā)現(xiàn)掃描線認(rèn)證點(diǎn)統(tǒng)計(jì)數(shù)量與其補(bǔ)償值存在如下關(guān)系。如圖7所示,橫坐標(biāo)是認(rèn)證點(diǎn)數(shù)量,縱坐標(biāo)為補(bǔ)償值,黑色點(diǎn)為實(shí)際掃描線,灰色則是掃描線近似模型。可以基本認(rèn)定,當(dāng)認(rèn)證點(diǎn)大于512時(shí),該列必然是掃描線。

圖7 掃描線補(bǔ)償數(shù)量與其補(bǔ)償值

4 掃描線補(bǔ)償算法

4.1 補(bǔ)償算法設(shè)計(jì)

傳統(tǒng)算法對(duì)掃描線補(bǔ)償?shù)姆椒ㄊ菍?duì)整列像素使用相鄰的兩列數(shù)據(jù)的均值進(jìn)行補(bǔ)償,補(bǔ)償方法與盲元填充的思想類似,這就會(huì)導(dǎo)致圖像直接丟失該像元信息,從而使得補(bǔ)償后的圖像模糊失真,丟失大量細(xì)節(jié)(例如單像素線狀場(chǎng)景)。

為了可以保留更多的圖像信息,對(duì)原始算法進(jìn)行改進(jìn):

1)掃描線補(bǔ)償根據(jù)該列標(biāo)準(zhǔn)差δS(1,j)自動(dòng)選擇補(bǔ)償方式,當(dāng)δS(1,j)大于閾值時(shí)只補(bǔ)償認(rèn)證點(diǎn),反之則進(jìn)行整行補(bǔ)償;

當(dāng)算法對(duì)認(rèn)證點(diǎn)進(jìn)行鄰域補(bǔ)償時(shí),鄰域補(bǔ)償值為像素點(diǎn)灰度值與1×5矩陣中4鄰域均值的差,即像素點(diǎn)補(bǔ)償值變量s(i,j)。在均勻背景下,4鄰域均值具有良好的代表性,但是在復(fù)雜背景下,由背景變化劇烈,4鄰域均值極容易造成圖像背景扭曲等問題;為了能避免4鄰域?qū)D像邊緣所造成的影響,考慮在復(fù)雜背景的情況下,采用2鄰域均值作為圖片的補(bǔ)償值。當(dāng)4鄰域均值和2鄰域相差過大時(shí),掃描線補(bǔ)償值采用2均值效果將遠(yuǎn)好于4均值。經(jīng)過大量仿真實(shí)驗(yàn),可以發(fā)現(xiàn)當(dāng)差值大于10時(shí),選擇2鄰域均值可以很好地解決上述問題。

在對(duì)掃描線進(jìn)行認(rèn)證點(diǎn)補(bǔ)償時(shí),發(fā)現(xiàn)部分掃描線經(jīng)過補(bǔ)償后出現(xiàn)點(diǎn)狀像素,掃描線校正不完整;圖8是某建筑的外墻部分,僅對(duì)圖片進(jìn)行認(rèn)證點(diǎn)補(bǔ)償后,會(huì)出部分點(diǎn)狀像素;圖像中標(biāo)記位置出現(xiàn)保留了原掃描線中的非認(rèn)證點(diǎn)信息,與認(rèn)證點(diǎn)補(bǔ)償后的像素點(diǎn)形成圖像差異,如圖9所示。

圖8 某建筑物外墻

圖9 僅對(duì)認(rèn)證點(diǎn)補(bǔ)償后的掃描線

為了能夠減少掃描線補(bǔ)償不充分所帶來的影響,考慮設(shè)計(jì)一個(gè)梳狀濾波器,用于平滑補(bǔ)償值保留圖像原始信息,改善補(bǔ)償值引起的圖像差異。經(jīng)過實(shí)驗(yàn),設(shè)計(jì)好的梳狀濾波器可以將補(bǔ)償值趨近于(1,j),相對(duì)于直接使用鄰域均值補(bǔ)償有利于保留圖像的高頻信息。對(duì)補(bǔ)償值作梳狀濾波平滑處理后,可以看到點(diǎn)狀像素明顯消除不少,如圖10所示。

圖10 梳狀濾波前后對(duì)比圖

在實(shí)際成像中單像素格柵類場(chǎng)景也具備掃描線判斷條件,所以原始算法常常對(duì)該場(chǎng)景造成誤判。通過多次實(shí)驗(yàn)仿真可以發(fā)現(xiàn),由于光學(xué)的畸變,圖像邊緣大片的格柵在成像中并不是一條格柵對(duì)應(yīng)著一列像素,單條格柵常常在光學(xué)畸變的影響下由直線變?yōu)榍€,因此.多條格柵會(huì)在同一列像素上交錯(cuò)呈現(xiàn)。在認(rèn)證點(diǎn)識(shí)別中1×5矩陣仍具備差異識(shí)別特征,且由于格柵貫穿圖像的場(chǎng)景特征和紅外輻射特征滿足前文的掃描線判斷。如圖11所示,該建筑物由樓頂?shù)母駯藕拖虏糠值牟ＡТ皯艚M成,可以看到圖片上玻璃窗戶上分布著不少的掃描線,如圖12所示。這嚴(yán)重影響了成像效果,通過補(bǔ)償可以看到,掃描線都被很好地補(bǔ)償了,但是樓頂?shù)母駯沤?jīng)過補(bǔ)償后邊的模糊,故需要對(duì)格柵場(chǎng)景進(jìn)行剔除。

圖11 格柵場(chǎng)景原始圖像

圖12 格柵場(chǎng)景補(bǔ)償圖片

分析格柵的模型特征,可以發(fā)現(xiàn)格柵與掃描線相比所在列的標(biāo)準(zhǔn)差相差較大;不僅如此單像素格柵所在列的補(bǔ)償值時(shí)正時(shí)負(fù),統(tǒng)計(jì)補(bǔ)償值的正負(fù)數(shù)數(shù)量,發(fā)現(xiàn)正負(fù)數(shù)數(shù)量基本平均。因此為避免場(chǎng)景特征等因素引起的列認(rèn)證點(diǎn)的補(bǔ)償值標(biāo)準(zhǔn)差較大,綜合格柵模型特征,可以采用以下兩點(diǎn)作為判斷條件,在前文判斷的基礎(chǔ)上剔除誤判掃描線:

1)該列中所有認(rèn)證點(diǎn)的補(bǔ)償值標(biāo)準(zhǔn)差大于閾值;

2)該列中灰度差異的符號(hào)統(tǒng)計(jì)值大于認(rèn)證點(diǎn)統(tǒng)計(jì)量的二分之一。

閾值通過大量實(shí)驗(yàn)求得,調(diào)整后的格柵補(bǔ)償如圖13所示,可以看到格柵場(chǎng)景類型很好地從掃描線補(bǔ)償?shù)倪^程中剔除,且對(duì)其他場(chǎng)景不會(huì)造成影響。不僅如此,掃描線也被很好地補(bǔ)償。

圖13 樓頂格柵調(diào)整后補(bǔ)償圖

4.2 算法補(bǔ)償結(jié)果

為了能更好地驗(yàn)證掃描線補(bǔ)償?shù)男Ч?選取多個(gè)不同場(chǎng)景進(jìn)行仿真如圖14所示,選擇多個(gè)場(chǎng)景紅外圖像(左),仿真加入不同強(qiáng)度的掃描線(中),然后進(jìn)行校正(右)。圖14(a)可以看到校正后的圖像與原始圖像相比,并沒有造成窗戶邊緣消失與電線衰減的現(xiàn)象。圖14(b)則是電線場(chǎng)景的校正圖,可以發(fā)現(xiàn)校正后的電線與原圖基本一致,細(xì)節(jié)丟失少,這也說明了本文的算法可以很好地對(duì)掃描線進(jìn)行提取補(bǔ)償,且誤判率低。為了能驗(yàn)證復(fù)雜背景下,算法的校正效果,對(duì)圖像14(c)進(jìn)行仿真,可以看到校正后房子邊緣清晰可見,電線并未衰減;房子底部的格柵場(chǎng)景并未被誤判成掃描線錯(cuò)誤補(bǔ)償,校正后的格柵場(chǎng)景仍然清晰可見。由此可見算法的補(bǔ)償效果顯著。

(a)掃描線校正結(jié)果圖

5 結(jié) 語(yǔ)

本文提出了一種基于場(chǎng)景的非均勻校正算法,能夠有效地校正掃描型紅外熱像儀成像時(shí)出現(xiàn)的掃描線。該算法不僅計(jì)算簡(jiǎn)單,且可以根據(jù)場(chǎng)景進(jìn)行自適應(yīng)校正,還可以很好地避免窗戶,電線等場(chǎng)景的對(duì)掃描線識(shí)別造成誤判,滿足熱像儀的成像需求。試驗(yàn)結(jié)果表明,該算法校正效果顯著,能夠?yàn)楹罄m(xù)工程應(yīng)用提供思路。