基于YOLO智能網(wǎng)絡(luò)的紅外弱小多目標(biāo)檢測(cè)技術(shù)

鈕賽賽，周華偉，朱婧文，邵艷明，李少毅

(1. 上海航天控制技術(shù)研究所，上海 201109； 2. 中國(guó)航天科技集團(tuán)公司 紅外探測(cè)技術(shù)研發(fā)中心，上海 201109； 3. 西北工業(yè)大學(xué) 航天學(xué)院，陜西 西安 710072)

0 引言

彈載紅外圖像序列中包含多個(gè)弱小目標(biāo)時(shí)，存在目標(biāo)數(shù)量和位置不確定、信噪比低、缺乏背景統(tǒng)計(jì)的先驗(yàn)信息等問(wèn)題。因此，復(fù)雜環(huán)境下的弱小多目標(biāo)檢測(cè)是一個(gè)具有挑戰(zhàn)性的研究課題[1]。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)因其強(qiáng)大的特征表征能力[2]，已被成功應(yīng)用于目標(biāo)檢測(cè)和識(shí)別領(lǐng)域，并獲得了極好的效果[3]。2016年REDMON等[4]提出了YOLO(you only look once)網(wǎng)絡(luò)，其實(shí)質(zhì)是單個(gè)神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)系統(tǒng)，將目標(biāo)探測(cè)問(wèn)題看作是一個(gè)回歸問(wèn)題，在保證檢測(cè)精度的同時(shí)，檢測(cè)速度得到顯著提升。YOLO網(wǎng)絡(luò)為紅外弱小多目標(biāo)的檢測(cè)和跟蹤提供了新思路。

近年來(lái)，國(guó)內(nèi)外學(xué)者針對(duì)紅外弱小多目標(biāo)檢測(cè)和跟蹤問(wèn)題進(jìn)行了深入研究。龔俊亮等[5]結(jié)合弱小目標(biāo)描述模型，提出了基于尺度空間的紅外弱小多目標(biāo)檢測(cè)算法, 該算法對(duì)強(qiáng)雜波背景及高梯度邊緣目標(biāo)檢測(cè)具有良好的效果，但是對(duì)原始數(shù)據(jù)要求較高，容易將圖像序列中存在變化的目標(biāo)識(shí)別為新目標(biāo)。聶洪山等[6]利用自適應(yīng)目標(biāo)分割和目標(biāo)聚類，設(shè)計(jì)了一種針對(duì)紅外弱小目標(biāo)的檢測(cè)方法，實(shí)現(xiàn)了信噪比大于4的目標(biāo)檢測(cè)，但是當(dāng)信噪比小于4時(shí)，無(wú)法有效檢測(cè)出目標(biāo)。陳靜等[7]利用空域能量積累提高信噪比，實(shí)現(xiàn)弱小目標(biāo)檢測(cè)，但是該方法只適用于天空背景。陸福星等[8]提出了形態(tài)學(xué)Top-hat變換結(jié)合改進(jìn)的非線性擴(kuò)散模型的濾波算法，用于增強(qiáng)紅外弱小目標(biāo)信號(hào)，抑制復(fù)雜背景和噪聲，有效提高了紅外目標(biāo)的檢測(cè)概率。王靖宇等[9]提出了一種基于多隱含層深度神經(jīng)網(wǎng)絡(luò)的弱小無(wú)人機(jī)目標(biāo)檢測(cè)模型，設(shè)計(jì)了包含多個(gè)隱含層的多通道深度神經(jīng)網(wǎng)絡(luò)。吳帥等[10]系統(tǒng)總結(jié)了深度卷積網(wǎng)絡(luò)在目標(biāo)檢測(cè)領(lǐng)域的發(fā)展和應(yīng)用情況，該研究對(duì)于紅外弱小目標(biāo)檢測(cè)具有一定的啟示。深度學(xué)習(xí)算法在可見(jiàn)光目標(biāo)檢測(cè)領(lǐng)域取得了理想的效果，目前關(guān)于利用深度學(xué)習(xí)進(jìn)行紅外弱小目標(biāo)檢測(cè)的研究仍然較少。

本文借鑒YOLO目標(biāo)檢測(cè)算法，提出一種適合復(fù)雜環(huán)境下紅外弱小多目標(biāo)智能檢測(cè)的改進(jìn)模型，利用經(jīng)典的模板匹配算法和基于YOLO的智能網(wǎng)絡(luò)進(jìn)行紅外弱小多目標(biāo)檢測(cè)，通過(guò)實(shí)驗(yàn)對(duì)比分析了兩種方法的檢測(cè)性能。本文首次針對(duì)彈載環(huán)境的紅外圖像場(chǎng)景開(kāi)展了基于典型深度學(xué)習(xí)網(wǎng)絡(luò)模型的目標(biāo)識(shí)別應(yīng)用研究，相對(duì)于傳統(tǒng)模板匹配算法，基于深度學(xué)習(xí)的高維特征學(xué)習(xí)表征和推理可提升對(duì)紅外弱小目標(biāo)及多目標(biāo)的識(shí)別能力，促進(jìn)彈載智能信息處理技術(shù)發(fā)展。

1 模板匹配的目標(biāo)檢測(cè)算法

1.1 紅外圖像預(yù)處理

對(duì)于弱小目標(biāo)而言，目標(biāo)本身能量較弱，對(duì)雜波和噪聲較敏感，因此弱小多目標(biāo)檢測(cè)中圖像預(yù)處理環(huán)節(jié)對(duì)于檢測(cè)效果的影響顯著?，F(xiàn)有的圖像預(yù)處理方法眾多，常見(jiàn)的主要有中值濾波法、高通濾波法和自適應(yīng)濾波法等[11-12]。本文采用雜波抑制和圖像增強(qiáng)對(duì)圖像進(jìn)行預(yù)處理，然后將圖像作為模板匹配算法的輸入。

對(duì)于雜波和噪聲的抑制，可有效消除圖像中的麻點(diǎn)噪聲。鄰域平均法過(guò)程比較簡(jiǎn)單，運(yùn)算速度快，但會(huì)使目標(biāo)邊緣模糊，因而本文采用鄰域平均法的一種改進(jìn)方法——超限像素平滑法，對(duì)紅外圖像中的雜波進(jìn)行抑制[13-14]。該方法可表示為

(1)

式中：T為選定的一個(gè)非負(fù)閾值；S為以圖像中每個(gè)像素為中心分別選取的一個(gè)鄰域；M為S域內(nèi)包含的像素個(gè)數(shù)；f(x,y)代表處理前的圖像；g(x,y)代表雜波抑制后的圖像。

1.2 模板匹配算法原理

模板匹配算法是一種基于圖像相似度的識(shí)別跟蹤算法，將兩幅或多幅圖像在空間上對(duì)準(zhǔn)，在整個(gè)圖像中搜索最接近目標(biāo)模板的圖像，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。這種方法不需要對(duì)圖像進(jìn)行分割和特征提取，保留了整幅圖的所有信息，對(duì)于信息不豐富的弱小目標(biāo)檢測(cè)具有一定的優(yōu)勢(shì)。

目標(biāo)檢測(cè)過(guò)程就是利用已有的目標(biāo)模板在整個(gè)圖像上平移，并評(píng)估模板與子圖的相似程度，選取子圖中與模板最為接近的部分作為目標(biāo)檢測(cè)結(jié)果，輸出目標(biāo)位置。模板匹配法原理如圖1所示，圖像大小為N×N。子圖在整個(gè)圖像上滑動(dòng)，動(dòng)態(tài)搜索與目標(biāo)最相似的子圖，并確定該子圖區(qū)域?yàn)槟繕?biāo)位置。

圖1 模板匹配算法示意圖Fig.1 Diagram of template matching algorithm

一般利用測(cè)度D(i,j)來(lái)衡量模板與子圖的相似程度，即

(2)

式中：T(m,n)代表模板；M是模板大??；Si,j(m,n)代表模板覆蓋下的候選區(qū)域圖；(i,j)代表區(qū)域圖左上角像素點(diǎn)在測(cè)試圖上的坐標(biāo)；(m,n)代表區(qū)域圖內(nèi)坐標(biāo)。

1.3 匹配模板選擇和多目標(biāo)檢測(cè)實(shí)現(xiàn)

在目標(biāo)檢測(cè)開(kāi)始前，選定圖像中的8個(gè)小目標(biāo)作為匹配模板，通過(guò)實(shí)驗(yàn)確定最佳模板。選擇的模板是經(jīng)過(guò)濾波增強(qiáng)處理的紅外圖像，對(duì)于目標(biāo)探測(cè)的效果較好。

針對(duì)多紅外目標(biāo)，應(yīng)用模板匹配算法進(jìn)行了多次檢測(cè)。在仿真中，匹配超過(guò)兩次，則無(wú)法從模板中找出目標(biāo)，因此本文采用經(jīng)兩次匹配得到的結(jié)果作為目標(biāo)。

2 基于YOLO的弱小目標(biāo)檢測(cè)算法

2.1 YOLO模型簡(jiǎn)介

YOLO網(wǎng)絡(luò)突出的優(yōu)勢(shì)是網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)潔，一個(gè)CNN可同時(shí)預(yù)測(cè)多個(gè)邊界框，并且可給出每個(gè)邊界框中目標(biāo)的置信概率。相比于其他高性能的目標(biāo)檢測(cè)網(wǎng)絡(luò)，YOLO網(wǎng)絡(luò)在精度方面略有下降，但在速度方面遠(yuǎn)勝于其他目標(biāo)檢測(cè)網(wǎng)絡(luò)，如Faster RCNN等[15-16]。這對(duì)于軍用紅外探測(cè)跟蹤設(shè)備，尤其是紅外成像導(dǎo)彈等具有重要意義。YOLO網(wǎng)絡(luò)的另一個(gè)顯著優(yōu)點(diǎn)是其對(duì)于較小目標(biāo)的檢測(cè)也具有良好的效果。

2.2 基于YOLO的弱小多目標(biāo)檢測(cè)模型

根據(jù)YOLO網(wǎng)絡(luò)的特點(diǎn)，結(jié)合紅外多目標(biāo)檢測(cè)的具體實(shí)際，建立了基于YOLO的紅外弱小多目標(biāo)檢測(cè)模型。原始的YOLO模型將圖像分為7×7個(gè)方格,每個(gè)方格用于預(yù)測(cè)兩個(gè)目標(biāo)，輸出置信度和坐標(biāo)。對(duì)于尺寸較小的目標(biāo)，方格過(guò)于粗糙，對(duì)于弱小目標(biāo)則誤差較大，因此本文將圖像分為14×14個(gè)方格，從而提高對(duì)于弱小目標(biāo)的檢測(cè)效果。YOLO網(wǎng)絡(luò)的主要結(jié)構(gòu)如圖2所示。

圖2 YOLO網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of YOLO network

每個(gè)檢測(cè)框中有5個(gè)參數(shù)用于描述檢測(cè)框中目標(biāo)位置和類別，5個(gè)參數(shù)分別為(x,y,w,h,C)，其中(x,y)代表檢測(cè)框?qū)?yīng)的最小網(wǎng)格中心，w、h分別代表檢測(cè)框的寬度和高度，C代表置信度。Bounding box的中心位置坐標(biāo)是對(duì)某個(gè)網(wǎng)格的位置坐標(biāo)的歸一化，因此(x,y,w,h)均介于0～1之間。該區(qū)域存在目標(biāo)的概率P為

P=Pclassi|object×Pobject×PIoU=Pclassi×PIoU

(3)

式中：Pclassi|object為邊界框置信度下的條件概率；Pobject是邊界框概率；Pclassi是目標(biāo)類別概率；PIoU為檢測(cè)框與目標(biāo)的真實(shí)框之間的交并比，可表示為

(4)

式中：Bd為檢測(cè)框；Bgt為真實(shí)框。

2.2.1 紅外圖像預(yù)處理

紅外數(shù)據(jù)集中的數(shù)據(jù)格式為640×512的灰度圖像，為便于輸入YOLOv1，提高模型運(yùn)算速度，對(duì)輸入圖像進(jìn)行簡(jiǎn)單的預(yù)處理，將圖像大小調(diào)整為448×448。

2.2.2 網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整

YOLO網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)核心是Google-Net模型，它有深層和淺層兩個(gè)版本。深層結(jié)構(gòu)含有24個(gè)卷積層，如圖3(a)所示；淺層結(jié)構(gòu)含有9個(gè)卷積層，如圖3(b)所示。它們的卷積核主要為3×3、1×1的小卷積核，這對(duì)于捕捉圖像中的細(xì)節(jié)信息有一定的幫助。淺層YOLO可提升目標(biāo)檢測(cè)速度，因此本文采用Fast YOLO(淺層YOLO)模型作為目標(biāo)檢測(cè)模型的基礎(chǔ)模型，該模型包含9個(gè)級(jí)聯(lián)的卷積層和2個(gè)全連接層。

圖3 YOLO內(nèi)部詳細(xì)結(jié)構(gòu)Fig.3 Internal detailed structure of YOLO

2.2.3 模型訓(xùn)練

對(duì)Fast YOLOv1網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，首先在ImageNet上進(jìn)行預(yù)訓(xùn)練，然后在對(duì)訓(xùn)練好的網(wǎng)絡(luò)在紅外目標(biāo)訓(xùn)練集上進(jìn)行訓(xùn)練。為使輸出值范圍為[0,1]，需要對(duì)參數(shù)(x,y,w,h,C)進(jìn)行歸一化處理。訓(xùn)練的激勵(lì)函數(shù)在ReLU的基礎(chǔ)上進(jìn)行了改進(jìn)，主要是對(duì)產(chǎn)生的負(fù)數(shù)不再按零計(jì)，而是賦予一個(gè)0.1斜率的值，可表示為

(5)

訓(xùn)練中的損失函數(shù)采用YOLO原文模型中提取的損失函數(shù)，即

(6)

式(6)中等式右邊第一項(xiàng)是邊界框中心坐標(biāo)的誤差項(xiàng)，第二項(xiàng)是邊界框的高與寬的誤差項(xiàng)，第三項(xiàng)是包含目標(biāo)的邊界框的置信度誤差項(xiàng)，第四項(xiàng)是不包含目標(biāo)的邊界框置信度誤差項(xiàng)，最后一項(xiàng)是包含目標(biāo)的單元格的分類誤差項(xiàng)。

2.3 算法流程

YOLO網(wǎng)絡(luò)將目標(biāo)檢測(cè)問(wèn)題看作一個(gè)回歸問(wèn)題，不需要選擇滑窗或提取proposal的方式訓(xùn)練網(wǎng)絡(luò)，而是直接選用全圖訓(xùn)練模型。本文基于YOLO網(wǎng)絡(luò)的弱小目標(biāo)檢測(cè)算法的基本過(guò)程為：

1)圖像初始化。將輸入圖像進(jìn)行初始化，將其轉(zhuǎn)換為448×448的灰度圖像。

2)訓(xùn)練YOLO網(wǎng)絡(luò)。利用訓(xùn)練集中的數(shù)據(jù)，根據(jù)式(6)中的損失函數(shù)，對(duì)YOLO網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整，完成對(duì)YOLO網(wǎng)絡(luò)的訓(xùn)練。在訓(xùn)練過(guò)程中，對(duì)模型中的超參數(shù)進(jìn)行調(diào)整，結(jié)合弱小目標(biāo)的尺寸特征，設(shè)置置信度。

3)測(cè)試。針對(duì)每張圖像，預(yù)測(cè)得到196(14×14)個(gè)bounding box及其概率。通常利用一個(gè)cell可直接預(yù)測(cè)出一個(gè)物體對(duì)應(yīng)的bounding box，但是對(duì)于某些尺寸較大或靠近圖像邊界的物體，需要通過(guò)非極大抑制處理生成多個(gè)網(wǎng)格預(yù)測(cè)的結(jié)果。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 目標(biāo)檢測(cè)效果評(píng)價(jià)

3.1.1 目標(biāo)檢測(cè)率

檢測(cè)率代表在圖像中目標(biāo)被檢測(cè)出來(lái)的比例，是目標(biāo)檢測(cè)性能的重要依據(jù)。檢測(cè)率PD的計(jì)算式為

(7)

式中：ND為算法成功檢測(cè)出的目標(biāo)數(shù)量；NT為圖像中的目標(biāo)總數(shù)。

3.1.2 平均識(shí)別精度

(8)

式中：N為檢測(cè)框的數(shù)量。

3.2 圖像預(yù)處理結(jié)果分析

原始紅外圖像的灰度圖如圖4(a)所示，背景中有亮云、噪聲等復(fù)雜背景干擾，弱小目標(biāo)已經(jīng)難以分辨，對(duì)原始紅外圖像進(jìn)行預(yù)處理后的結(jié)果如圖4(b)所示，需要檢測(cè)的目標(biāo)特征更加明顯，大部分雜波干擾被抑制。因此本文所使用的圖像預(yù)處理方法對(duì)于紅外弱小目標(biāo)檢測(cè)是有效的。

3.3 傳統(tǒng)算法的檢測(cè)結(jié)果

通過(guò)選擇目標(biāo)模板，利用傳統(tǒng)的模板匹配算法進(jìn)行目標(biāo)檢測(cè)，檢測(cè)結(jié)果如圖5所示。圖5(a)為選定的目標(biāo)模板，圖5(b)為模板匹配算法的檢測(cè)結(jié)果。可發(fā)現(xiàn)，模板匹配算法不能很好地檢測(cè)所有目標(biāo)，漏檢率較高，其主要原因是目標(biāo)在飛行過(guò)程中姿態(tài)變化較大，特征模板不匹配。同理，模板匹配算法也不適用于目標(biāo)被云層遮擋、目標(biāo)相互遮擋等情況。

3.4 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)集介紹

實(shí)驗(yàn)平臺(tái)操作系統(tǒng)為Ubuntu 16.04LTS, 配置兩塊Nvidia GPU(GTX 1080Ti)，16GB內(nèi)存，2TB硬盤(pán)。

實(shí)驗(yàn)數(shù)據(jù)集源于基于某紅外成像導(dǎo)引頭在航展上的測(cè)試數(shù)據(jù)，背景為多亮云環(huán)境下的9個(gè)典型飛機(jī)目標(biāo)。采用一個(gè)目標(biāo)跟蹤序列中的4 500幅圖片作為訓(xùn)練集，另外500幅作為測(cè)試集。測(cè)試中，設(shè)置置信度閾值為0.8。

3.5 YOLO的檢測(cè)結(jié)果

在采用YOLO網(wǎng)絡(luò)進(jìn)行測(cè)試實(shí)驗(yàn)時(shí)，將外場(chǎng)測(cè)試數(shù)據(jù)分為3種典型場(chǎng)景類型：1) 無(wú)云層遮蔽且無(wú)相互遮擋；2) 部分目標(biāo)被云層遮蔽；3) 部分目標(biāo)之間相互遮擋。

3.5.1 無(wú)云層遮蔽且無(wú)相互遮擋

在無(wú)云層遮蔽且無(wú)相互遮擋的情況下，基于YOLO算法可將圖像中所有的目標(biāo)較為準(zhǔn)確地識(shí)別出來(lái)，識(shí)別效果明顯優(yōu)于傳統(tǒng)的模板匹配算法。YOLO算法的目標(biāo)檢測(cè)結(jié)果如圖6所示。

圖6 目標(biāo)檢測(cè)結(jié)果1Fig.6 Target detection result 1

3.5.2 部分目標(biāo)被云層遮蔽

在部分目標(biāo)被云層遮蔽的情況下，YOLO算法可將未被遮蔽的目標(biāo)檢測(cè)出來(lái)，但是對(duì)于目標(biāo)被云層完全遮蔽或者部分遮蔽的情況，則不能正確地檢測(cè)出目標(biāo)，此時(shí)YOLO算法的目標(biāo)檢測(cè)結(jié)果如圖7所示。

圖7 目標(biāo)檢測(cè)結(jié)果2Fig.7 Target detection result 2

3.5.3 部分目標(biāo)相互遮擋

在部分目標(biāo)相互遮擋的情況下，YOLO算法容易將多個(gè)相互遮擋的目標(biāo)識(shí)別為同一目標(biāo)，但是檢測(cè)框范圍沒(méi)有超出相互遮擋目標(biāo)組合的范圍，且圖像中所有目標(biāo)都被識(shí)別，此時(shí)YOLO算法的目標(biāo)檢測(cè)結(jié)果如圖8所示。

圖8 目標(biāo)檢測(cè)結(jié)果3Fig.8 Target detection result 3

3.6 仿真結(jié)果對(duì)比分析

根據(jù)仿真結(jié)果，分別統(tǒng)計(jì)模板匹配算法和基于YOLO網(wǎng)絡(luò)檢測(cè)算法的檢測(cè)率和平均識(shí)別精度，統(tǒng)計(jì)結(jié)果如表1所示。通過(guò)數(shù)據(jù)對(duì)比可看出，基于YOLO的紅外弱小多目標(biāo)識(shí)別性能均優(yōu)于傳統(tǒng)的模板匹配方法。

表1 檢測(cè)效果對(duì)比

4 結(jié)論

基于YOLO對(duì)紅外弱小多目標(biāo)進(jìn)行了檢測(cè)，并對(duì)比了傳統(tǒng)的模板匹配算法，可得出以下結(jié)論：1)YOLO算法在目標(biāo)之間無(wú)相互遮擋且沒(méi)有云層遮蔽的情況下，可實(shí)現(xiàn)對(duì)紅外弱小多目標(biāo)的準(zhǔn)確識(shí)別；2)在相同情況下，YOLO算法的目標(biāo)識(shí)別效果明顯好于傳統(tǒng)的模板匹配算法；3)在目標(biāo)之間相互遮擋或者云層遮蔽的情況下，傳統(tǒng)的模板匹配算法和YOLO都無(wú)法準(zhǔn)確地識(shí)別出圖像中的所有目標(biāo)。因此，針對(duì)圖像劣化或目標(biāo)部分被遮擋的紅外弱小目標(biāo)檢測(cè)還需要做進(jìn)一步研究：一方面是通過(guò)樣本增廣方法研究擴(kuò)大訓(xùn)練/測(cè)試集的樣本容量，提升網(wǎng)絡(luò)模型的泛化能力；另一方面是設(shè)計(jì)針對(duì)彈載有限樣本紅外圖像的專用網(wǎng)絡(luò)模型，進(jìn)一步提升紅外弱小多目標(biāo)智能檢測(cè)識(shí)別能力，并在上述研究基礎(chǔ)上，開(kāi)展深度學(xué)習(xí)網(wǎng)絡(luò)模型的嵌入式硬件實(shí)現(xiàn)研究。