基于紅外多目標(biāo)圖像序列的自動(dòng)判讀技術(shù)

李　銚　劉　文　劉朝暉

摘 要：提出了一種紅外多目標(biāo)圖像序列的自動(dòng)判讀方法，先著重闡述一種目標(biāo)序列段自動(dòng)變步長(zhǎng)搜索方法精確定位有用目標(biāo)序列段，然后對(duì)圖像二值化分割批處理方法以及判讀脫靶量計(jì)算等關(guān)鍵性技術(shù)進(jìn)行說(shuō)明,最后輸出準(zhǔn)實(shí)時(shí)脫靶量；探討目標(biāo)搜索中步長(zhǎng)和信號(hào)量閾值對(duì)搜索時(shí)長(zhǎng)以及精度的影響。實(shí)驗(yàn)結(jié)果表明，對(duì)于低SNR的紅外弱小多目標(biāo)圖像序列，該判讀方法能縮短判讀時(shí)間，提高判讀的準(zhǔn)確性。

關(guān)鍵詞：自動(dòng)判讀；自動(dòng)變步長(zhǎng)搜索；脫靶量；圖像處理

中圖分類(lèi)號(hào)：TP753文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1004 373X(2009)02 154 04

Automatic Interpretation Algorithm Based on Infrared Multi－target Sequence

LI Yao1,2 LIU Wen1,2,LIU Zhaohui1

(1.Xi′an Institute of Optics and Precision Mechanics,Chinese Academy of Sciences,Xi′an,710119,China;

2.Graduate School,Chinese Academy of Sciences,Beijing,100039,China)

Abstract：A method of automatic interpretation for infraredmulti－target image sequence is proposed.An automatic variable step size searching method of target sequence is applied to locate useful target segments precisionly.Then,key techniques such as image group binaryzation method and interpretation target－missing quantity calculation are discribed.Finally,interpretation results are calculated and exported in real－time.In addition,it discusses the influence of searching time caused by step size and signal measuring threshold in target searching.The results show that the time and precision and precision of interpretation are greatly improved for the image sequence with low SNR.

Keywords：automatic interpretation;variable step size searching;target－missing quality;image processing

0 引 言

視頻記錄與判讀系統(tǒng)是靶場(chǎng)紅外測(cè)量設(shè)備的重要組成部分，用來(lái)實(shí)時(shí)記錄目標(biāo)視頻圖像并完成對(duì)測(cè)量目標(biāo)的定位和判讀。在靶場(chǎng)測(cè)量中，準(zhǔn)確地提取圖像中弱小多目標(biāo)的脫靶量對(duì)于交匯計(jì)算目標(biāo)的彈道和落點(diǎn)等信息起決定作用。隨著現(xiàn)代科技的進(jìn)步,對(duì)靶場(chǎng)數(shù)據(jù)處理的效率提出了更高要求，數(shù)據(jù)量更大，處理速度更快，測(cè)量更精確。對(duì)于大數(shù)據(jù)量的紅外多目標(biāo)圖像序列，運(yùn)用合適的方法在圖像序列中自動(dòng)快速找到含有目標(biāo)的圖像序列段并對(duì)其進(jìn)行判讀是重點(diǎn)和難點(diǎn)。因此，研究紅外圖像多目標(biāo)段序列的自動(dòng)判讀技術(shù)具有重大意義。

在此，研究的目的是實(shí)現(xiàn)對(duì)目標(biāo)序列段的準(zhǔn)確定位以及測(cè)量結(jié)果的自動(dòng)判讀，對(duì)于紅外弱小多目標(biāo)的檢測(cè)，單幀檢測(cè)很難實(shí)現(xiàn)，必須基于目標(biāo)灰度與鄰域的差異為出發(fā)點(diǎn)，充分利用多幀圖像序列的相關(guān)信息，比如運(yùn)動(dòng)軌跡的連續(xù)性、一致性等。根據(jù)實(shí)際要求，先提出目標(biāo)序列段自動(dòng)變步長(zhǎng)搜索方法，在大量圖像數(shù)據(jù)中自動(dòng)搜索有用目標(biāo)段，然后對(duì)目標(biāo)序列段進(jìn)行判讀。實(shí)驗(yàn)結(jié)果表明，該技術(shù)在很大程度上了提高判讀的精度和實(shí)時(shí)性。

1 基本原理

1.1 目標(biāo)序列段自動(dòng)變步長(zhǎng)搜索

由于圖像采集時(shí)探測(cè)器為凝視狀態(tài)，在天空背景下云層的移動(dòng)是緩變的，而目標(biāo)的運(yùn)動(dòng)速度比較快，相對(duì)于高速記錄的圖像可以視為靜止，因此在目標(biāo)出現(xiàn)前后可以認(rèn)為背景是靜止不動(dòng)的。將含有目標(biāo)圖像與背景圖像相減即可將背景去除，累加目標(biāo)進(jìn)入視場(chǎng)前的相連M幀圖像f(x,y)，再求算術(shù)平均值。設(shè)包含目標(biāo)的紅外場(chǎng)景圖像f′(x,y)為：

f′(x,y)=f(x,y)+B(x,y)+N(x,y)(1)

其中B(x,y)為背景圖像；f(x,y)為目標(biāo)圖像；N(x,y)為噪聲圖像。

對(duì)目標(biāo)進(jìn)入視場(chǎng)前有f(x,y)=0，即:

f′(x,y)=B(x,y)+N(x,y)(2)

累加目標(biāo)進(jìn)入視場(chǎng)前的相連M幀圖像f′(x,y)，再求算術(shù)平均值，即得到平均背景g(x,y)。

g(x,y)=B(x,y)+1M∑Mi=1N璱(x,y)(3)

這樣可使噪聲方差由原來(lái)的σ2降為1/Mσ2,均方差降為原來(lái)的1/M，剩下的圖像只含有目標(biāo)和能量減少后的噪聲,其信息量為目標(biāo)和噪聲所占的像元數(shù)目。統(tǒng)計(jì)圖像序列的信息量,發(fā)現(xiàn)目標(biāo)開(kāi)始進(jìn)入視場(chǎng)時(shí)，信號(hào)量明顯增加，離開(kāi)視場(chǎng)時(shí)明顯減少，目標(biāo)在視場(chǎng)內(nèi)時(shí)信號(hào)量起伏不大。由此現(xiàn)象，可以通過(guò)計(jì)算相鄰步長(zhǎng)幀之間信息量增量來(lái)判斷并確定目標(biāo)進(jìn)入和離開(kāi)視場(chǎng)的時(shí)刻，從而搜索到有用目標(biāo)序列段。

整個(gè)搜索流程圖如圖1所示，用I璶=∑Mx=0∑Ny=0f璶(x,y) 表示第n幀統(tǒng)計(jì)的信號(hào)量，I璶+k=∑Mx=0∑Ny=0f璶+k(x,y)為第n+k幀統(tǒng)計(jì)的信號(hào)量。搜索步長(zhǎng)為k(k≤設(shè)定的目標(biāo)個(gè)數(shù)),則：ΔI璶=I璶+k-I璶為前后兩幅圖像信號(hào)增量。取閾值V璽h=0.4α+Lβ，式中L為權(quán)值，與圖像的噪聲情況相關(guān)，一般取值0.3~0.5。α,β分別為噪聲的信號(hào)量和目標(biāo)的信號(hào)量，α為設(shè)定的目標(biāo)個(gè)數(shù)乘以理論計(jì)算的目標(biāo)所占像元，β為連續(xù)10幀噪聲圖像的信號(hào)量的均值。則當(dāng)ΔI璶≥V璽h 令第n幀為有用的信息圖像序列的起始幀； 當(dāng)ΔI璶＜V璽h則令第n+k幀為有用的信息圖像序列的結(jié)束幀。第一步搜索結(jié)束后，減小搜索步長(zhǎng)，通常取值為(1/6) k～(1/8) k，選擇某一中間幀，分別向前向后進(jìn)行搜索，最終精確定位目標(biāo)起始幀和結(jié)束幀。

圖1 搜索目標(biāo)流程圖

1.2 圖像二值化分割批處理

在進(jìn)行減背景運(yùn)算后，噪聲方差由σ2降為1/Mσ2，均方差降為原來(lái)的1/M，差值圖像就只含有目標(biāo)和能量減少后的噪聲，更利于圖像分割。

1.2.1 基于直方圖的OTSU最大類(lèi)間方差法

OTSU最大類(lèi)間方差法是在最小二乘法原理的基礎(chǔ)上推導(dǎo)得出的。它通過(guò)利用直方圖零階、一階累積矩來(lái)最大化判別函數(shù)，選擇最佳閾值。設(shè)輸入圖像為f(x,y)，二值化后的圖像為g(x,y)，閾值為T(mén)，那么圖像二值化過(guò)程如下：

計(jì)算輸入圖像灰度級(jí)的歸一化直方圖，用h(i)表示。

計(jì)算灰度均值μ璗：

μ璗=∑255i=0ih(i)(4)

計(jì)算直方圖的零階累積矩ω(k)和一階累積矩μ(k)：

ω(k)=∑ki=0h(i)，k=0,1,2,…，255(5)

計(jì)算類(lèi)分離指標(biāo)：

σ瑽(k)=［μ璗ω(k)-μ(k)］2ω(k)［1-ω(k)］,k=0,1,2,…，255(6)

求σ瑽(k)(k=0,1,2,…，255)的最大值，并將其所對(duì)應(yīng)的k值作為最佳閾值T，對(duì)輸入圖像進(jìn)行二值化批處理：

g(x,y)=255,f(x,y)≥T0,f(x,y)＜T(7)

這樣可以簡(jiǎn)單快速的分割出只含目標(biāo)和能量減少的噪聲的差值圖像。

1.2.2 自適應(yīng)閾值分割方法

對(duì)于復(fù)雜圖像，背景的灰度值并不是常數(shù)，物體和背景的對(duì)比度在圖像中也有變化。這時(shí)，一個(gè)在圖像中某一區(qū)域效果良好的閾值在其他區(qū)域可能效果很差。當(dāng)圖像中有陰影、背景灰度變化時(shí)，只用一個(gè)固定閾值對(duì)整幅圖像進(jìn)行閾值化處理，則會(huì)由于不能兼顧圖像各處的情況而使分割效果受到影響。因此對(duì)于分割復(fù)雜圖像，要充分考慮圖像局部區(qū)域特性，將閾值選取成一個(gè)隨圖像中位置變化的函數(shù)值是比較合適的，這就是自適應(yīng)閾值。

自適應(yīng)閾值的原理是將原始圖像分為幾個(gè)子圖像，對(duì)每一個(gè)圖像分別求出最優(yōu)分割閾值。常用的方法有：

Chow和Kandeko將圖像均勻劃分成若干不相重疊的7×7子圖像，對(duì)每個(gè)具有雙峰直方圖的子圖像用最小誤差法確定閾值，而對(duì)于具有單峰直方圖的子圖像，由內(nèi)差得到分割閾值。

Bernsen給出一種比較簡(jiǎn)單的局部閾值算法。它是對(duì)每個(gè)像素確定以它為中心的一個(gè)窗口，計(jì)算窗口內(nèi)灰度級(jí)的最大值和最小值，并取其平均值作為閾值。

具體實(shí)現(xiàn)步驟是：

(1) 取圖像的四角為圖像的背景，取其平均值作為背景值，大于此值的作為目標(biāo)，目標(biāo)灰度的平均值作為目標(biāo)值。

(2) 在第t步，分別計(jì)算背景和目標(biāo)的灰度均值E瑽′和E璷′，其中在第t步將圖像分割為背景和目標(biāo)的閾值是T′，它是在前一步確定的。

E瑽′=∑(i,j)∈backgroundf(i,j)#background_pixels

E璷′ = ∑(i,j)∈objectsf(i,j)#objects_pixels(8)

(3) 計(jì)算：

Ti+1=(E瑽′+E璒′)/2(9)

(4) 如果Ti+1=Ti則停止；否則轉(zhuǎn)(2)。

由于經(jīng)過(guò)預(yù)處理后的圖像中目標(biāo)面積小，亮度變化小，因此可以采用單門(mén)限分割方法。即：

f璗(x,y)=1, f(x,y)≥T0,f(x,y)＜T(10)

可見(jiàn)，閾值分割實(shí)際上就是根據(jù)某個(gè)判決準(zhǔn)則來(lái)確定最佳閾值T的過(guò)程。為達(dá)到快速分割目標(biāo)的目的，在這里根據(jù)圖像的統(tǒng)計(jì)特性來(lái)確定門(mén)限，并根據(jù)所要求的虛警概率對(duì)初始選擇閾值進(jìn)行不斷修正。具體算法如下：

對(duì)待檢測(cè)圖像求其統(tǒng)計(jì)特征，即計(jì)算均值m和方差σ，從而計(jì)算初始閾值T1。即：

m=1M×N∑Mi=1∑Nj=1f(i,j)

σ=1M×N∑Mi=1∑Nj=12(11)

T1=m+k·σ(12)

式中，M,N分別為待檢測(cè)圖像的行數(shù)和列數(shù)；m為矩形鄰域窗口內(nèi)原圖像的均值；σ為標(biāo)準(zhǔn)差；k為系數(shù)，可通過(guò)實(shí)驗(yàn)得到。為了保證對(duì)圖像中小目標(biāo)盡可能高的檢測(cè)概率，同時(shí)又為了盡量虛警概率，將圖像的SNR作為一個(gè)考慮因素，取k為圖像的信噪比值。

1.3 判讀脫靶量計(jì)算

在視頻判讀中，脫靶量的測(cè)量結(jié)果對(duì)于檢驗(yàn)和評(píng)估導(dǎo)彈性能起著關(guān)鍵作用。下面簡(jiǎn)要介紹脫靶量計(jì)算原理。如圖2所示。

圖2 脫靶量原理圖

以靶面中心為原點(diǎn)建立笛卡爾坐標(biāo)系，如圖3~6所示，設(shè)A點(diǎn)為目標(biāo)像點(diǎn),它偏離坐標(biāo)原點(diǎn)的量稱為判讀脫靶量，記做Δx，Δy。計(jì)算出來(lái)的脫靶量Δx，Δy連同光測(cè)設(shè)備的測(cè)量信息作數(shù)據(jù)處理,可完成對(duì)目標(biāo)運(yùn)動(dòng)參數(shù)的事后分析。在判讀時(shí)，取其質(zhì)心作為判讀點(diǎn)，質(zhì)心即目標(biāo)可視部分圖像灰度分布重心。首先對(duì)存儲(chǔ)于硬盤(pán)中的圖像序列進(jìn)行二值分割，把目標(biāo)從背景中分割出來(lái)，然后根據(jù)重心計(jì)算公式求出目標(biāo)重心。物理學(xué)重心定義，設(shè)一幅M×N的圖像,目標(biāo)圖像在(x,y)點(diǎn)的灰度值f(x,y)，其重心為：

x-0=∑N-1x=0x∑M-1y=0f(x,y)/∑N-1x=0∑M-1y=0f(x,y)

y-0=∑N-1x=0y∑M-1y=0f(x,y)/∑N-1x=0∑M-1y=0f(x,y)(13)

則脫靶量為：

Δx=x0-x0

Δy=y0-y0(14)

其中x0，y0為靶面中心坐標(biāo)；0，0為計(jì)算出的重心點(diǎn)坐標(biāo)。

傳統(tǒng)的判讀為手動(dòng)判讀，其特點(diǎn)是：無(wú)論圖像中背景多復(fù)雜、對(duì)比度多低,只要人眼能夠識(shí)別目標(biāo),就可以實(shí)現(xiàn)判讀。而且由于充分結(jié)合了測(cè)量結(jié)果,只對(duì)測(cè)量不滿意的區(qū)段進(jìn)行判讀,與自動(dòng)判讀相比,判讀準(zhǔn)確性明顯提高。但是在處理多目標(biāo)圖像時(shí)，手動(dòng)判度很容易造成判度者的視覺(jué)疲勞，因此自動(dòng)判讀對(duì)減少判讀者的勞動(dòng)是有很大意義的。自動(dòng)判讀是計(jì)算重心過(guò)程,也是統(tǒng)計(jì)平均過(guò)程,它算出來(lái)的重心位置并不是個(gè)別最亮點(diǎn)位置或掃描隨機(jī)碰到的某一點(diǎn)位置,而是圖像中各個(gè)像元灰度加權(quán)平均位置,所以質(zhì)心判讀隨機(jī)誤差小、精度高、穩(wěn)定性好,簡(jiǎn)單而快速。

2 實(shí)驗(yàn)結(jié)果與判讀結(jié)果分析

取外場(chǎng)采集的以天空為背景的紅外多目標(biāo)圖像序列進(jìn)行處理。圖4為原始圖像序列中的1幀，它含有紅外弱小多目標(biāo)，圖像信噪比約為1.5。目標(biāo)在成像面上占2~4個(gè)像元，目標(biāo)做近似勻速直線運(yùn)動(dòng)，下落速度為1～3像素/幀。

圖3 平均背景圖像

圖4 原始圖像某一幀局部圖

取圖像幀序?yàn)?001~2000，共計(jì)1 000幀圖像序列進(jìn)行判讀，得到如圖5，圖6所示結(jié)果。

從含有全部目標(biāo)的圖像序列中連續(xù)取五幀分析統(tǒng)計(jì)出占不同像元大小的目標(biāo)個(gè)數(shù)如表1所示。

圖5 待判讀結(jié)果圖（一）

圖6 判讀結(jié)果圖（二）

表1 目標(biāo)的像元面積及目標(biāo)個(gè)數(shù)統(tǒng)計(jì)結(jié)果

目標(biāo)占像元個(gè)數(shù)54321

平均目標(biāo)個(gè)數(shù)0216389

表2討論不同步長(zhǎng)對(duì)判讀時(shí)間的影響。

表2 取不同步長(zhǎng)時(shí)的判讀時(shí)間表(括號(hào)內(nèi)為減小步長(zhǎng)后結(jié)果)

步長(zhǎng)序列段起始幀序列段結(jié)束幀查找總用時(shí) /s

70(10)1 266(1 250)1 328(1 318)13.69

60(9)1 267(1 275)1 312(1 305)13.64

50(8)1 280(1 258)1 317(1 308)13.43

30(5)1 267(1 260)1 312(1 310)15.32

表3討論步長(zhǎng)確定時(shí)不同閾值對(duì)判讀時(shí)目標(biāo)搜索的影響。

表3 步長(zhǎng)取值50時(shí)不同閾值對(duì)搜索目標(biāo)的影響

信號(hào)量閾值序列段起始幀序列段結(jié)束幀

V璽h=0.4α+0.4β1 2561 316

V璽h=0.4α+0.5β1 2591 308

V璽h=0.4α+0.6β1 2601 308

由實(shí)際處理結(jié)果可見(jiàn)，步長(zhǎng)太大，幀間跨度大，會(huì)影響搜索精度，太小則搜索時(shí)間長(zhǎng)；而信號(hào)量閾值的權(quán)值系數(shù)越大時(shí)，有用目標(biāo)段序列越短，越小則有用目標(biāo)段序列越長(zhǎng)。為保證有用目標(biāo)段序列檢測(cè)的速度和精度，一般情況下步長(zhǎng)設(shè)置在設(shè)定的目標(biāo)數(shù)中間段，信號(hào)量閾值設(shè)得稍微低一些，再利用多幀積累求平均噪聲，使每幅圖像的噪聲更接近統(tǒng)計(jì)噪聲，減少由于噪聲的突變導(dǎo)致起始幀或者結(jié)束幀的誤判。

3 結(jié) 語(yǔ)

針對(duì)紅外多目標(biāo)圖像序列的自動(dòng)判讀問(wèn)題，在要求快速精確的前提下，先提出了目標(biāo)序列段自動(dòng)變步長(zhǎng)搜索方法，在大量圖像數(shù)據(jù)中快速搜索出有用目標(biāo)段，然后對(duì)目標(biāo)序列段進(jìn)行二值化批處理并最終計(jì)算出目標(biāo)脫靶量。試驗(yàn)結(jié)果表明該判讀方法快速準(zhǔn)確，判讀效果好。

參考文獻(xiàn)

［1］徐英.紅外圖像序列中運(yùn)動(dòng)弱小目標(biāo)檢測(cè)的方法研究［J］.紅外技術(shù),2002,24(6):27－30.

［2］惠建江,劉朝暉,劉文.數(shù)學(xué)形態(tài)學(xué)在紅外多弱小目標(biāo)提取中的應(yīng)用［J］.光子學(xué)報(bào),2006,35(4):626－629.

［3］王萍,蘇秀琴,劉雅軒.新型視頻判讀系統(tǒng)［J］.現(xiàn)代電子技術(shù),2003(15):52－55.

［4］衰慧晶,王涌天.一種抗干擾的弱小目標(biāo)檢測(cè)方法［J］.光子學(xué)報(bào),2004,33(5):609－612.

［5］李清軍.快速視頻判讀方法的研究.光學(xué)精密工程,2000,8(4):321－324.

［6］于素芬,車(chē)宏,周洪武.一種新的紅外序列圖像運(yùn)動(dòng)小目標(biāo)分割算法［J］.電光與控制,2005,12(3):40－42.

［7］章毓晉.圖像處理和分析［M］.北京:清華大學(xué)出版社,1999.

［8］崔屹.圖像處理與分析數(shù)學(xué)形態(tài)學(xué)方法及應(yīng)用［M］.北京:科學(xué)出版社,2002.

［9］吳巍,彭嘉雄.紅外背景抑制與小目標(biāo)檢測(cè)算法［J］.紅外與激光工程,2003,32(2):148－152.

［10］Rafael C Gonzalez,Richard E Woods.數(shù)字圖像處理［M］.2版.阮秋琦,譯.北京:電子工業(yè)出版社,2003.

作者簡(jiǎn)介

李 銚 男，1983年出生，碩士研究生。研究方向?yàn)槟繕?biāo)識(shí)別與跟蹤。

劉 文 男，副研究員，碩士生導(dǎo)師。研究方向?yàn)閿?shù)字圖像處理與目標(biāo)識(shí)別。

劉朝暉 男，研究員。研究方向?yàn)楣怆娞綔y(cè)。