基于SSD框架的紅外弱小目標(biāo)檢測技術(shù)研究

馬玉瑩,黃成章,黃靜穎,王偉丞

(華北光電技術(shù)研究所,北京 100015)

1 引 言

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法中較為復(fù)雜的一類方法,它的引入使學(xué)術(shù)研究與工程應(yīng)用更加接近于人們盼望達(dá)到的人工智能的目標(biāo)。深度學(xué)習(xí)的概念由Geoffrey Hinton等人于2006年率先提出,通過建立真正深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練機(jī)制來模擬人腦的學(xué)習(xí)過程,并希望以模擬人腦的多層抽象機(jī)制來實(shí)現(xiàn)對圖像、語音及文本等數(shù)據(jù)的抽象表達(dá),從而自動(dòng)完成特征提取過程,減少人為干預(yù)。深度學(xué)習(xí)中涉及的理論眾多,網(wǎng)絡(luò)及其豐富,有眾多的應(yīng)用領(lǐng)域和各自不同的適應(yīng)方法,而卷積神經(jīng)網(wǎng)絡(luò)作為當(dāng)中的一個(gè)重要分支,在基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)中,主要應(yīng)用的便是深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)部分。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是深度學(xué)習(xí)中非常重要的一個(gè)網(wǎng)絡(luò)模型[1],被用來設(shè)計(jì)解決圖像識(shí)別等問題,能夠避免復(fù)雜的特征提取工作。

隨著光電探測系統(tǒng)對探測距離的要求日漸提高,從獲取紅外目標(biāo)圖像的過程來看,在目標(biāo)與探測器距離較遠(yuǎn)時(shí)的一段時(shí)間內(nèi),開始時(shí)目標(biāo)在成像平面上所占的像素很少,表現(xiàn)為一個(gè)對比度非常低的亮點(diǎn),隨著距離的減小,通常在圖像中呈現(xiàn)為點(diǎn)狀的動(dòng)目標(biāo)。在該種情形下的目標(biāo)搜索檢測任務(wù)的難度體現(xiàn)在很難用傳統(tǒng)的特征描述方法去提取弱小目標(biāo)的特征。隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在其他領(lǐng)域取得的巨大突破,越來越多的人開始研究基于卷積神經(jīng)網(wǎng)絡(luò)的弱小目標(biāo)探測技術(shù)[2],但無論是傳統(tǒng)圖像處理算法設(shè)計(jì),還是基于卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型訓(xùn)練,都離不開圖像數(shù)據(jù),圖像數(shù)據(jù)庫成為制約卷積神經(jīng)網(wǎng)絡(luò)算法性能的關(guān)鍵因素之一。由于一切物體都會(huì)自發(fā)的輻射紅外信號(hào),光電系統(tǒng)中能接收到視場內(nèi)一切物體產(chǎn)生的背景輻射信號(hào),背景輻射信號(hào)中包含大量的“雜波”信號(hào),通常認(rèn)為“雜波”是場景中的干擾目標(biāo)探測與跟蹤性能的物體產(chǎn)生的“信號(hào)”,“雜波”已經(jīng)成為制約光電系統(tǒng)性能的一個(gè)瓶頸,如何對“雜波”引起的虛警進(jìn)行抑制,對提升光電系統(tǒng)的檢測指標(biāo)起著至關(guān)重要的作用。

鑒于以上原因以及在紅外圖像中,目標(biāo)與周圍的背景相比沒有明顯的亮度,且不能依賴于目標(biāo)的灰度信息、目標(biāo)的形狀和紋理等信息來區(qū)分目標(biāo)與雜波,考慮到這些因素給檢測帶來的困難,本文提出了一種基于深度學(xué)習(xí)方法(SSD框架)的紅外弱小目標(biāo)檢測技術(shù)來解決紅外弱小目標(biāo)的遠(yuǎn)距離探測和虛警抑制問題。

2 針對弱小目標(biāo)的SSD檢測框架

深度學(xué)習(xí)的核心思想體現(xiàn)在“非監(jiān)督特征學(xué)習(xí)”(Unsupervised Feature Learning,UFL)。深度學(xué)習(xí)不需要通過人工設(shè)計(jì)特征提取算法的傳統(tǒng)方式,而是讓機(jī)器在無監(jiān)督的條件下提取和選擇特征,將基于特征表達(dá)的圖像識(shí)別等任務(wù)統(tǒng)一在同一個(gè)理論框架下[3]?；谏疃葘W(xué)習(xí)的目標(biāo)檢測框架SSD(single shot multubox detector)[4]是目前的主流檢測框架之一,該框架使用了特征金字塔結(jié)構(gòu)進(jìn)行目標(biāo)檢測,檢測時(shí)在不同卷積層輸出的特征上同時(shí)進(jìn)行Softmax分類和位置回歸,該算法檢測時(shí)綜合利用了淺層和深層的特征信息,因此對弱小目標(biāo)能夠有較好的檢測精度。但是,紅外場景中的弱小目標(biāo)與其他場景弱小目標(biāo)相比,具有目標(biāo)更小,更難以分辨的特性,然而現(xiàn)有的SSD網(wǎng)絡(luò)主要是基于VGG_16網(wǎng)絡(luò),網(wǎng)絡(luò)層數(shù)較深,在卷積的過程中,紅外小目標(biāo)的特征信息容易丟失,紅外小目標(biāo)檢測效果仍然不夠理想。

針對上述問題,本文提出了一種基于雙閾值多尺度的SSD網(wǎng)絡(luò)框架。該網(wǎng)絡(luò)框架主要針對紅外圖像中的弱小目標(biāo)檢測需求進(jìn)行了兩方面的改進(jìn):第一,使用網(wǎng)絡(luò)層數(shù)較少的AlexNet替換SSD中的VGG_16,并且在卷積的過程中使用3×3的卷積核替換AlexNet中較大的卷積核,使得網(wǎng)絡(luò)既具有一定的復(fù)雜度,整體的感受野又不會(huì)太大,在卷積的過程中不至于丟失弱小目標(biāo)的特征信息；第二,借鑒了從粗粒度到細(xì)粒度的二級(jí)檢測思想,設(shè)計(jì)了基于雙閾值的粗粒度檢測器和細(xì)粒度檢測器。在目標(biāo)檢測任務(wù)中,對單閾值的設(shè)定往往要求比較高,閾值設(shè)置過高會(huì)漏掉許多真目標(biāo),導(dǎo)致檢測率降低,閾值設(shè)置過低則會(huì)混入假目標(biāo),導(dǎo)致虛警率高。本文設(shè)置了兩個(gè)閾值p1,p2(其中1>p1>p2>0),用于指導(dǎo)粗粒度檢測器和細(xì)粒度檢測器,緩解上述問題。

2.1 粗粒度檢測器

該粗粒度檢測器主要是基于SSD進(jìn)行改進(jìn)的,原始的SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,VGG_16網(wǎng)絡(luò)結(jié)構(gòu)作為基礎(chǔ),對VGG_16 conv4_3層及后續(xù)額外的網(wǎng)絡(luò)層的輸出特征圖進(jìn)行多尺度的目標(biāo)檢測。本文方法主要針對紅外弱小目標(biāo),目標(biāo)比一般小目標(biāo)更小,VGG_16網(wǎng)絡(luò)對于該類型目標(biāo)來說,網(wǎng)絡(luò)太深,隨著卷積層數(shù)的加深,目標(biāo)的特征信息可能丟失,因此本文方法使用卷積層數(shù)較少的AlexNet替換VGG_16,并且在卷積的過程中使用3×3的卷積核替換AlexNet中較大的卷積核,同時(shí)減少后續(xù)額外的網(wǎng)絡(luò)層數(shù),具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在檢測過程中,將待檢測原始紅外圖像送入粗檢測器中,進(jìn)行檢測,當(dāng)檢測結(jié)果的置信值高于設(shè)定的閾值p1,直接標(biāo)記該檢測結(jié)果；置信值低于閾值p2時(shí),則判定該區(qū)域無目標(biāo)；置信值大于p2且小于p1時(shí),則送入細(xì)粒度檢測器做進(jìn)一步更精細(xì)化的檢測。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 SSD network structure diagram

圖2 本文方法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network structure diagram of the method presented in this paper

2.2 細(xì)粒度檢測器

該細(xì)粒度檢測器的網(wǎng)絡(luò)結(jié)構(gòu)與粗粒度檢測器相同。對于粗粒度檢測器中,檢測結(jié)果置信度均小于p1并大于p2的區(qū)域可能存在著目標(biāo),該目標(biāo)可能由于目標(biāo)太小或者受到部分遮擋等因素,識(shí)別的確定性降低。本文將該區(qū)域裁剪出來,使用雙三次上采樣的超分辨技術(shù)[5]提升該區(qū)域的分辨率,然后送入細(xì)粒度檢測器中,做進(jìn)一步的目標(biāo)檢測,當(dāng)檢測結(jié)果的置信值高于設(shè)定的閾值p1,則標(biāo)記該檢測結(jié)果,最后的檢測結(jié)果綜合了粗粒度檢測器和細(xì)粒度檢測器的結(jié)果。該操作僅對粗粒度檢測器中,不易檢測的區(qū)域進(jìn)行更進(jìn)一步的檢測,僅增加了少量的計(jì)算量。

3 紅外弱小目標(biāo)檢測系統(tǒng)

紅外弱小目標(biāo)檢測算法的整體流程如圖3所示:粗粒度檢測器對原始紅外圖像進(jìn)行檢測,當(dāng)檢測置信度大于閾值p1時(shí),直接判定該類目標(biāo)；當(dāng)檢測結(jié)果的置信度小于閾值p1且大于閾值p2時(shí),則對該區(qū)域進(jìn)行上采樣,提高該區(qū)域的分辨率,然后送入細(xì)粒度檢測器中,進(jìn)行更進(jìn)一步的檢測。

3.1 雜波抑制

為了提高目標(biāo)檢測的準(zhǔn)確率,該方法在目標(biāo)檢測前對圖像進(jìn)行了噪聲抑制,減少噪聲干擾導(dǎo)致的虛警(如圖3所示)。紅外圖像中的盲閃元在空域中表現(xiàn)為孤立的點(diǎn)[6],而目標(biāo)距離較遠(yuǎn)時(shí),在圖像中只有一到幾個(gè)像素。因此,在目標(biāo)的檢測率較高時(shí),會(huì)出現(xiàn)大量因盲閃元引起的虛警。傳統(tǒng)的空域?yàn)V波算法,如中值濾波,雖然能去除孤立的噪聲點(diǎn),較好地保持物體邊緣,但是尺寸特別小的目標(biāo)也會(huì)被濾除,從而降低小目標(biāo)的檢測率。為了減小盲閃元對目標(biāo)檢測性能的影響,首先采用了自適應(yīng)平滑濾波,通過自適應(yīng)平滑濾波,使得圖像的灰度值更加均勻,避免中值濾波的過程中,將小目標(biāo)當(dāng)成噪聲去除,該自適應(yīng)平滑濾波的操作方式如下:

圖3 整體的檢測算法框架流程Fig.3 General framework flow of detection algorithm

其中,Kx,y表示以(x,y)為中心的自適應(yīng)平滑濾波核;濾波核大小為(2P+1)·(2P+1)。

3.2 訓(xùn)練損失函數(shù)

本文方法的損失函數(shù)與SSD算法一致,分成兩個(gè)部分,一部分計(jì)算通過Softmax類別的置信度損失,另一部分通過SmoothL1計(jì)算位置回歸。具體算法流程如下所示。

算法:基于雙閾值多尺度的SSD網(wǎng)絡(luò)框架訓(xùn)練流程輸入:待處理紅外圖像,閾值p1和p2,批處理量nb輸出:含目標(biāo)信息的圖像 1.對紅外圖像數(shù)據(jù)集進(jìn)行目標(biāo)檢測前噪聲抑制預(yù)處理得到數(shù)據(jù)集X^; 2.For num=1; num<迭代次數(shù) do 3.從訓(xùn)練集中隨機(jī)采樣待檢測圖像X^=x^(1),…,x^(nb) ; 4.獲取待檢測圖像對應(yīng)的類別和位置標(biāo)簽 C={c(1),…,c(nb)},L={l(1),…,l(nb)}; 5.將待檢測圖像送入粗粒度檢測器中,將檢測結(jié)果按照閾值大于p1和閾值大于p2且小于p1區(qū)域分別分成兩組g1和g2; 6.對g2中包含的區(qū)域進(jìn)行雙三次上采樣,送入到細(xì)粒度檢測器中進(jìn)行檢測; 7.計(jì)算訓(xùn)練的損失函數(shù),并通過梯度下降方式更新粗粒度和細(xì)粒度檢測器的參數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 評(píng)價(jià)指標(biāo)分析

虛警率:

檢測率:

紅外弱小目標(biāo)檢測算法的性能指標(biāo)主要包括檢測概率和虛警率。對于給定的算法,檢測概率和虛警率與檢驗(yàn)圖像之間的關(guān)系非常相關(guān)。傳統(tǒng)的理論推導(dǎo)建模方法完全采取數(shù)學(xué)推導(dǎo)對目標(biāo)特性與算法的檢測概率與虛警率的關(guān)系進(jìn)行理論建模。由于在建模之前作了大量的假設(shè)和簡化操作,這種方法在準(zhǔn)確性上與實(shí)際情況相差的較遠(yuǎn)。實(shí)際上,檢測算法的性能不僅僅依賴于目標(biāo)特性,而且與紅外圖像背景特性也有一定的關(guān)聯(lián)。

4.2 仿真結(jié)果分析

為了驗(yàn)證算法的有效性,研究過程中構(gòu)建了仿真數(shù)據(jù)庫,對確定的目標(biāo)和干擾進(jìn)行了半自動(dòng)人工標(biāo)注,獲取了大量的目標(biāo)及干擾樣本數(shù)據(jù)集。為了提高模型的泛化能力,樣本的選取綜合考慮了各種環(huán)境因素(純空背景、云層背景及地面背景)影響,從各種場景中等比例的抽取了正樣本及負(fù)樣本,采用留出法構(gòu)建了訓(xùn)練集(70%)和測試集(30%)。為了真實(shí)有效的評(píng)估算法性能,本文利用具有代表性的環(huán)境因素(天空背景、云層背景、地面背景等)的圖像進(jìn)行測試,將傳統(tǒng)算法的檢測概率和本文算法的檢測概率進(jìn)行了測試統(tǒng)計(jì)和對比。在這里定義檢測概率:

其中,Na為圖像序列中檢測到真實(shí)目標(biāo)個(gè)數(shù);Nb為圖像序列中實(shí)際目標(biāo)個(gè)數(shù)。

目標(biāo)分類中,研究者們關(guān)心的是存在的目標(biāo)的識(shí)別效果,識(shí)別率一般指檢測率,在上面的3種代表性場景中目標(biāo)檢測率如表1所示,在確保虛警率滿足系統(tǒng)指標(biāo)要求的前提下,算法的檢測率實(shí)現(xiàn)了最大限度的提升,其中天空背景的檢測率高達(dá)99%。

表1 不同復(fù)雜度場景的信噪比和檢測概率Tab.1 SNR and detection probability of scenarioswith different complexity

虛警的抑制效果以天空背景(場景1)、地面背景(場景2)、云層背景(場景3)這三類代表性場景為例,利用傳統(tǒng)目標(biāo)檢測算法仿真效果如圖4所示,算法中加入深度學(xué)習(xí)模型后達(dá)到的效果如圖5所示。其中,天空背景的復(fù)雜度是最低的,檢測的難度也相對效低,地面和云層背景復(fù)雜度較高,傳統(tǒng)方法中預(yù)處理等雜波抑制過程的效果有限,還是會(huì)存在較多的虛警。

圖4 傳統(tǒng)目標(biāo)檢測算法仿真效果Fig.4 Simulation effect of traditional target detection algorithm

圖5 本文目標(biāo)檢測算法仿真效果Fig.5 Simulation effect of target detection algorithm in this paper

從上述圖像的處理結(jié)果來看,算法中未加深度學(xué)習(xí)模型時(shí),在云層邊緣等梯度較大的區(qū)域,最容易產(chǎn)生虛警；算法中加入深度學(xué)習(xí)模型后,模型會(huì)根據(jù)每個(gè)像素點(diǎn)的局部區(qū)域計(jì)算置信度,只有置信度大于設(shè)定閾值時(shí),才會(huì)將其作為候選目標(biāo),進(jìn)行后續(xù)處理,可以較好地抑制虛警。

5 結(jié) 語

本文的創(chuàng)新點(diǎn)體現(xiàn)在以下兩個(gè)方面:利用真實(shí)紅外圖像建立了自己的數(shù)據(jù)庫,將深度學(xué)習(xí)技術(shù)應(yīng)用到了紅外弱小目標(biāo)檢測問題中；本文設(shè)置了兩個(gè)閾值用于指導(dǎo)粗粒度檢測器和細(xì)粒度檢測器,緩解了目標(biāo)檢測任務(wù)中,對單閾值的設(shè)定要求高的問題。基于真實(shí)紅外序列圖像的實(shí)驗(yàn)效果驗(yàn)證了本文的提出的方法有效性,在很大程度上提高了紅外弱小目標(biāo)的檢測概率的同時(shí)控制了虛警率,在光電系統(tǒng)目標(biāo)探測過程中具有很強(qiáng)的實(shí)用性。