基于紅外成像的艦船目標(biāo)實(shí)時(shí)檢測(cè)跟蹤方法研究

張韓西子

(中國(guó)艦船研究院，北京100192)

0 引 言

紅外圖像中船舶目標(biāo)的檢測(cè)與跟蹤在海洋監(jiān)測(cè)、船舶交通、海上戰(zhàn)爭(zhēng)等方面均具有重要作用。

目前，國(guó)內(nèi)外已提出了大量針對(duì)船舶目標(biāo)檢測(cè)與跟蹤的計(jì)算機(jī)視覺(jué)系統(tǒng)。通常，這些系統(tǒng)包含3個(gè)處理步驟:圖像預(yù)處理、目標(biāo)檢測(cè)與目標(biāo)跟蹤。

圖像預(yù)處理方面，多采用圖像增強(qiáng)方法克服紅外圖像對(duì)比度低、噪點(diǎn)多的情況，常用的方法有直方圖均衡、平滑濾波、銳化等。同時(shí)，為了提高系統(tǒng)的處理效率，可加入一些限制條件，例如水天線檢測(cè)［1］等來(lái)縮小圖像掃描范圍，達(dá)到減少后續(xù)操作時(shí)間，提高系統(tǒng)實(shí)時(shí)性的目的。

目標(biāo)檢測(cè)的目的是從背景中分割出可能的艦船目標(biāo)，常用的方法包括基于閾值的分割方法［2］，基于聚類的分割方法［3］以及基于主動(dòng)輪廓的分割方法［4］等。

目標(biāo)跟蹤環(huán)節(jié)用于研究序列圖像，通過(guò)預(yù)測(cè)目標(biāo)運(yùn)動(dòng)的規(guī)律，實(shí)現(xiàn)對(duì)指定目標(biāo)準(zhǔn)確且連續(xù)的跟蹤。目前常用的跟蹤算法可分為以下幾類:根據(jù)目標(biāo)的運(yùn)動(dòng)特征，可分為圖像差分跟蹤算法、基于目標(biāo)光流特征的跟蹤算法等;根據(jù)跟蹤序列前后的相關(guān)性，可分為模板相關(guān)算法、基于特征點(diǎn)的相關(guān)算法等;根據(jù)目標(biāo)特征參數(shù)，可分為基于目標(biāo)輪廓的跟蹤算法、基于目標(biāo)特征點(diǎn)的跟蹤算法等［5］。

本文首先對(duì)紅外圖像進(jìn)行平滑濾波及銳化處理來(lái)消除圖像噪聲，突出目標(biāo)輪廓，再通過(guò)檢測(cè)水天線確定目標(biāo)可能存在的區(qū)域，在候選區(qū)域內(nèi)進(jìn)行圖像分割獲得可能的候選目標(biāo)作為感興趣區(qū)域(Regions of Interest，ROI)，對(duì)所有ROI 通過(guò)特征辨識(shí)完成艦船目標(biāo)的定位檢測(cè)，最后對(duì)檢測(cè)到的目標(biāo)進(jìn)行自適應(yīng)波門跟蹤。

1 圖像增強(qiáng)

紅外圖像往往含有由外界環(huán)境因素或成像系統(tǒng)本身原因造成的噪聲，從而造成圖像模糊問(wèn)題。為了提高圖像信噪比和后續(xù)目標(biāo)檢測(cè)與跟蹤階段的精度，需對(duì)紅外圖像進(jìn)行平滑濾波來(lái)抑制噪聲影響。

根據(jù)文獻(xiàn)［6］的研究結(jié)果，中值濾波具有平滑效果好、易于硬件實(shí)現(xiàn)和利于系統(tǒng)實(shí)時(shí)性等諸多優(yōu)點(diǎn)。本研究選擇該方法對(duì)紅外圖像進(jìn)行平滑處理，模板大小選為3 ×3，平滑結(jié)果如圖1所示。

圖1 圖像平滑F(xiàn)ig.1 Image smoothing

經(jīng)過(guò)平滑處理后的圖像雖然達(dá)到了噪聲抑制目的，但同時(shí)也提高了圖像模糊程度。為了提高目標(biāo)輪廓的清晰度，使后續(xù)目標(biāo)檢測(cè)與跟蹤的結(jié)果更為準(zhǔn)確，本研究采用微分銳化法中的拉普拉斯銳化［7］對(duì)平滑后的圖像進(jìn)行處理，結(jié)果如圖2所示。

圖2 圖像銳化Fig.2 Image sharpening

2 水天線檢測(cè)

對(duì)水天線的檢測(cè)采用邊緣檢測(cè)與Hough 變換相結(jié)合的方式進(jìn)行。這種方法與一些規(guī)定水天線總是處于水平方向的方法［8］相比，考慮到了水天線是傾斜的情況。首先通過(guò)canny 算子檢測(cè)圖像邊緣，然后通過(guò)累計(jì)概率Hough 變換(Progressive Probabilistic Hough Transform，PPHT)算法定位圖像空間中的直線位置。

PPHT 是標(biāo)準(zhǔn)霍夫變換 (Standard Hough Transform，SHT)的一種改進(jìn)算法，它不是對(duì)圖像中所有的邊緣點(diǎn)進(jìn)行圖像空間至參數(shù)空間的投影，而是只在參數(shù)空間中對(duì)圖像空間中的一部分點(diǎn)進(jìn)行累加，可以有效降低算法復(fù)雜度，提高系統(tǒng)實(shí)時(shí)性，該方法的算法流程如圖3所示。

圖3 累計(jì)概率Hough 變換算法流程Fig.3 The algorithm flow of PPHT

考慮到邊緣圖像中最長(zhǎng)的直線通常為艦船下緣，同時(shí)水天線應(yīng)在水平方向附近變化。故選擇邊緣圖像中與水平線夾角在±60°間的最長(zhǎng)直線作為檢測(cè)到的水天線。檢測(cè)結(jié)果如圖4所示，紅線為檢測(cè)到的水天線，綠色框?yàn)檫M(jìn)行后續(xù)操作的圖像區(qū)域。

圖4 水天線檢測(cè)Fig.4 Waterline detection

3 目標(biāo)定位檢測(cè)

由于紅外圖像中背景與目標(biāo)的灰度值不是常數(shù)，目標(biāo)與背景的對(duì)比度在圖像中是變化的，因此需從概率的角度選擇合適的閾值來(lái)對(duì)圖像進(jìn)行分割。本研究選擇大津閾值分割法對(duì)水天線檢測(cè)后獲得的區(qū)域進(jìn)行檢測(cè)。

設(shè)一幅圖像的灰度值為0～m－1 級(jí)，灰度值i的像素?cái)?shù)為ni，圖像的全部像素為N，則:

各個(gè)灰度值的概率:

整體圖像的灰度平均值:

閾值為T 時(shí)的灰度平均值:

然后用閾值T 將圖像的m 級(jí)灰度值劃分為2 組C0=(0，1，…，T)和C1=(T +1，T +2，…，m－1)，則C0和C1產(chǎn)生的概率、平均值和方差分別為:

C0產(chǎn)生的概率:

C1產(chǎn)生的概率:

C0的平均值:

C1的平均值:

C0的方差:

C1的方差:

全部采樣的灰度平均值為:

類間方差為:

在灰度值范圍內(nèi)改變T，令式(2)有最大值，則T*=maxδ2(T)即為所求的閾值，δ2(T)稱為閾值選擇函數(shù)。

此方法在圖像的灰度直方圖不存在明顯雙峰的情況下也能得到較滿意的結(jié)果，因此是自適應(yīng)閾值分割中的最優(yōu)方法。

大津閾值分割的結(jié)果如圖5(b)所示。對(duì)原圖像直接進(jìn)行大津閾值分割的結(jié)果如圖5(a)所示，可以看到圖像增強(qiáng)提高了圖像分割的準(zhǔn)確率。

圖5 圖像分割Fig.5 Image segmentation

對(duì)圖像分割后的所有ROI 進(jìn)行特征辨別，符合艦船目標(biāo)特征的作為最終檢測(cè)到的目標(biāo)，本研究通過(guò)分析紅外圖像中艦船目標(biāo)的各類特征，選擇面積和長(zhǎng)寬比對(duì)ROI 進(jìn)行判別。當(dāng)ROI的面積小于一定閾值時(shí)，認(rèn)為其不可能是艦船目標(biāo)，或是艦船目標(biāo)但距離過(guò)遠(yuǎn)尚無(wú)需檢測(cè)。根據(jù)實(shí)際艦船的形狀，目標(biāo)的長(zhǎng)寬比應(yīng)在一定范圍內(nèi)，若長(zhǎng)寬比超出該范圍，則認(rèn)為該ROI為虛假目標(biāo)。目標(biāo)檢測(cè)結(jié)果如圖6所示。

4 目標(biāo)跟蹤

波門跟蹤是目前跟蹤系統(tǒng)中一種常用的方法。利用波門進(jìn)行目標(biāo)跟蹤時(shí)，首先需要設(shè)計(jì)一個(gè)比目標(biāo)尺寸略大，但小于整個(gè)視場(chǎng)的波門，在跟蹤過(guò)程中該波門應(yīng)緊緊套住目標(biāo)圖像，是跟蹤系統(tǒng)中真正的處理窗口。這樣除了可以減少程序需要處理的數(shù)據(jù)，也可以減少跟蹤過(guò)程中其他因素的干擾。

圖6 目標(biāo)檢測(cè)結(jié)果Fig.6 Target detection results

跟蹤波門可分為固定與自適應(yīng)2 種，固定波門在跟蹤過(guò)程中尺寸始終不變，自適應(yīng)跟蹤波門的大小、中心位置會(huì)隨目標(biāo)大小及姿態(tài)的改變而變化。考慮到序列圖像中目標(biāo)的大小及運(yùn)動(dòng)姿態(tài)不可能完全不變，本文選擇自適應(yīng)波門法對(duì)目標(biāo)進(jìn)行跟蹤。跟蹤波門形狀選擇矩形?？紤]到目標(biāo)形心受姿態(tài)變化影響較小，且在戰(zhàn)爭(zhēng)中，形心是最好的瞄準(zhǔn)點(diǎn)，本文選擇目標(biāo)的形心位置作為波門跟蹤的參考點(diǎn)。

假設(shè)視頻中的某一幀經(jīng)過(guò)二值化后的圖像為g(x，y)，處理窗口尺寸為M×N，用(△X，△Y)來(lái)表示當(dāng)前幀中目標(biāo)的形心位置，則其由式(13)計(jì)算得出。

其中，g(x，y)為圖像中位于坐標(biāo)(x，y)處的像素點(diǎn)的灰度值，在這里用二值(0，1)表示，目標(biāo)區(qū)域上的像素點(diǎn)g(x，y)= 1，背景區(qū)域上的像素點(diǎn)g(x，y)= 0。

基于形心的波門跟蹤算法處理過(guò)程如圖7所示。

圖7 基于形心的波門跟蹤算法處理過(guò)程Fig.7 Process of window-tracking algorithm base on target centroid

對(duì)網(wǎng)上獲得的視頻［10］進(jìn)行檢測(cè)跟蹤，結(jié)果如圖8所示。淺色矩形框?yàn)楦櫜ㄩT。

圖8 目標(biāo)跟蹤結(jié)果Fig.8 Tracking results

5 實(shí)驗(yàn)結(jié)果分析

對(duì)500 幅艦船紅外圖像的檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)，檢測(cè)的準(zhǔn)確率可達(dá)到92%。在水天線檢測(cè)時(shí)，對(duì)于上層建筑較少的船只，船只上緣也會(huì)出現(xiàn)較長(zhǎng)的直線，而船只下緣由于一些干擾物的影響，可能會(huì)出現(xiàn)直線長(zhǎng)度小于上緣的情況，如圖9所示。由于水天線檢測(cè)只是為了縮小后續(xù)處理的區(qū)域，提高系統(tǒng)實(shí)時(shí)性。因此，只要艦船目標(biāo)仍在由水天線推斷出的候選區(qū)域中，則此情況不會(huì)影響到后續(xù)的處理效果。

圖9 水天線誤檢測(cè)情況Fig.9 Wrong detection of waterline

檢測(cè)時(shí)間受處理器性能及圖片大小等影響。本文實(shí)驗(yàn)平臺(tái)為L(zhǎng)enovo Y480 筆記本，CPU為Intel 酷睿i5－3210M，2.5 GHz，內(nèi)存容量4 GB，操作系統(tǒng)為Microsoft Windows 7。本文將圖片統(tǒng)一縮放至600×450 大小進(jìn)行定位檢測(cè)，檢測(cè)時(shí)間為紅外圖像中檢測(cè)到一個(gè)目標(biāo)所需的平均時(shí)間，各流程所需算法時(shí)間如表1所示。

表1 算法時(shí)間Tab.1 Process time

對(duì)序列圖像第一幀進(jìn)行檢測(cè)跟蹤的時(shí)間約為39.97 ms，對(duì)后續(xù)幀的操作因僅在波門內(nèi)進(jìn)行處理，故處理時(shí)間小于39.97 ms，可滿足系統(tǒng)實(shí)時(shí)性要求。

6 結(jié) 語(yǔ)

本研究對(duì)紅外成像過(guò)程中艦船目標(biāo)的檢測(cè)跟蹤方法進(jìn)行研究，主要分為以下3個(gè)階段:

預(yù)處理階段，首先通過(guò)圖像增強(qiáng)抑制噪聲，突出目標(biāo)輪廓，對(duì)原圖和增強(qiáng)后的圖像分別進(jìn)行閾值分割，對(duì)比結(jié)果證明該圖像增強(qiáng)方法可有效提高后續(xù)算法的準(zhǔn)確率。接著對(duì)圖像中的水天線進(jìn)行檢測(cè)，獲得目標(biāo)可能存在的候選區(qū)域，降低后續(xù)檢測(cè)算法的操作區(qū)域，提高了系統(tǒng)實(shí)時(shí)性。

檢測(cè)階段，首先對(duì)候選區(qū)域進(jìn)行閾值分割，獲得ROI 后進(jìn)行特征辨識(shí)，符合要求的作為最終的目標(biāo)檢測(cè)結(jié)果，實(shí)驗(yàn)結(jié)果證明該方法可獲得較高的準(zhǔn)確率。

跟蹤階段，采用基于形心的波門跟蹤算法實(shí)現(xiàn)序列圖像中艦船目標(biāo)的跟蹤。

對(duì)本研究提出的檢測(cè)跟蹤方法中各個(gè)算法流程的處理時(shí)間進(jìn)行統(tǒng)計(jì)分析，結(jié)果證明該方法具有較好的實(shí)時(shí)性。

［1］LI Heng，WANG Xin-yu.Automatic reccog-nition of ship types from infrared images using support vector machines［J］.2008 International Conference on Computer Science and Software Engineering，2008，6:483－486.

［2］LIAO M，WANG C.Using SAR images to detect ships from sea clutter［J］.IEEE Geosci.Remote Sens.Lett.，2008，5(2):194－198.

［3］COMANICIU D，MEER P.Mean shift:a robust approach toward feature space analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24:603－619.

［4］CHAN T F，VESE L A.Active contours without edges［J］.IEEE Transactions on Image Processing，2001，10:266－277.

［5］奚慧婷.剛性運(yùn)動(dòng)目標(biāo)的跟蹤算法研究［D］.吉林:吉林大學(xué)，2008.

［6］于天河，郝富春，康為民，等.紅外圖像增強(qiáng)技術(shù)綜述［J］.紅外與激光工程，2007，36(z2):335－338.YU Tian-he，HAO Fu-chun，KANG Wei-min，et al.Summarization on the infrared image enhancement technology［J］.Infrared and Laser Engineering，2007，36(z2):335－338.

［7］劉延武，何友金，孫旭輝.艦船目標(biāo)紅外圖像銳化處理［J］.紅外技術(shù)，2004，26(5):5－9.LIU Yan-wu，HE You-jin，SUN Xu-hui.Infrared image sharpening for warship targets［J］.Infrared Technology，2004，26(5):5－9.

［8］張?zhí)煨?成像自動(dòng)目標(biāo)識(shí)別［M］.武漢:湖北科學(xué)出版社，2005.

［9］劉延武.艦船紅外圖像的傳輸與識(shí)別［J］.計(jì)算機(jī)仿真，2011，28(2):316－319.LIU Yan-wu.Transmission and recognition of infrared image for warship［J］.Computer Simulation，2011，28(2):316－319.

［10］山東神戎.山東神戎電子紅外熱成像3kn 清晰觀察船只［EB/OL］.http://www.tudou.com/programs/view/TEP1_KYoXQg/.