小樣本紅外圖像的樣本擴增與目標(biāo)檢測算法

吳 晗,張志龍,李楚為,李航宇

(國防科技大學(xué)電子科學(xué)學(xué)院自動目標(biāo)識別重點實驗室,湖南長沙 410073)

1 引言

紅外成像系統(tǒng)利用目標(biāo)和環(huán)境間的紅外輻射差異成像,具有動態(tài)范圍大、穿透性強、溫度靈敏性高、可晝夜工作等優(yōu)點.因此利用紅外成像設(shè)備偵察是當(dāng)代軍事領(lǐng)域中感知敵方戰(zhàn)場的重要手段,并且隨著我國軍民融合政策的實施,大量的紅外成像系統(tǒng)被利用在社區(qū)防盜監(jiān)控或者大型工廠、企業(yè)的設(shè)備安全監(jiān)測等,目前使用紅外監(jiān)測圖像且結(jié)合目標(biāo)檢測的分析手段在民用和軍事領(lǐng)域的重要性日益提高.

在計算機視覺領(lǐng)域,基于傳統(tǒng)手工特征設(shè)計的目標(biāo)檢測器在目標(biāo)檢測任務(wù)上展現(xiàn)出了較好的性能.在深度學(xué)習(xí)興起之前,手工特征提取算法一直占據(jù)了重要地位,典型代表為:SIFT[1]算法、HOG[2]算法、neocognitron[3]算法等.其中,Fukushima提出的neocognitron算法是一種具有生物視覺啟發(fā)意義的平移不變性模型,這一模型引發(fā)了學(xué)者們對傳統(tǒng)目標(biāo)檢測領(lǐng)域中手工提取特征等方法的反思.

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,LeCun證明隨機梯度下降通過反向傳播[4]可以訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),這一結(jié)論大大加速了卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測領(lǐng)域上的應(yīng)用.Ross Girshick的R–CNN模型[5]第一次將卷積神經(jīng)網(wǎng)絡(luò)運用到目標(biāo)檢測領(lǐng)域,其兩階段進(jìn)行檢測識別的思想也深刻影響了后來的Fast R–CNN算法[6]與Faster R–CNN算法[7].針對兩階段目標(biāo)檢測算法存在的運行速度較慢和難以實現(xiàn)工程化等問題,YOLO算法[8]和SSD算法[9]先后被提出,它們將目標(biāo)檢測任務(wù)視為一個回歸問題,在不影響檢測精度的同時大幅度地提高了檢測速度.

注意力機制是人類視覺系統(tǒng)固有的一種篩選圖像信息和聚焦顯著物體的信息處理機制[10],深度學(xué)習(xí)中注意力機制借鑒了人類的視覺注意力思維方式.人類可以通過快速瀏覽整體圖像,迅速尋找出需要重點關(guān)注的區(qū)域,從而抑制次要信息對整體的影響,極大地提高了視覺信息處理的效率與準(zhǔn)確性.深度卷積神經(jīng)網(wǎng)絡(luò)在經(jīng)過多層卷積處理后將產(chǎn)生大量的高維特征圖,這些由各層網(wǎng)絡(luò)生成的特征圖包含輸入圖像的各種紋理、特征、形態(tài)等信息[11].Jie Hu的SE模型[12]將這些飽含信息的特征圖在傳遞給更深層網(wǎng)絡(luò)前賦予不同的權(quán)值.Sanghyun的CBAM模型[13]通過并行的特征信息編碼將特征圖賦予相應(yīng)的權(quán)值.上述模型都能在增加相應(yīng)計算量的前提下,使最終深度網(wǎng)絡(luò)模型的輸出更多地受到包含關(guān)鍵區(qū)域特征圖的影響.

軍事復(fù)雜戰(zhàn)場環(huán)境下獲取大量完備紅外圖像數(shù)據(jù)進(jìn)行作戰(zhàn)分析的難度較高,因此基于深度學(xué)習(xí)的紅外目標(biāo)檢測算法的性能一直難以獲得有效提升.近年來有些學(xué)者提出了一些具有啟發(fā)意義的樣本擴增技術(shù),Alex提出的PCA Jittering算法[14]采用對原始數(shù)據(jù)通道做PCA處理以及對其主成分添加高斯噪聲的策略,使得訓(xùn)練得到的模型降低了1%的錯誤率.Zhang提出了一種融合現(xiàn)有樣本、擴展訓(xùn)練分布的數(shù)據(jù)增強方法[15],通過構(gòu)建虛擬的訓(xùn)練樣本,增強樣本之間的線性表達(dá),提升神經(jīng)網(wǎng)絡(luò)的泛化能力.上述方法只是緩解了深度學(xué)習(xí)模型過擬合的程度,并沒有從根本上對紅外數(shù)據(jù)本身進(jìn)行有效增強,于是有些研究人員開始研究如何對已獲得的紅外數(shù)據(jù)進(jìn)行擴增處理,試圖通過擴增的紅外樣本來完善并重構(gòu)原始紅外環(huán)境狀況.

本文提出了一種小樣本條件下紅外圖像的樣本擴增與目標(biāo)檢測算法.該算法通過生成對抗網(wǎng)絡(luò)尋找可見光域與紅外域的高維數(shù)據(jù)表征,并采用注意力機制將圖像從可見光域映射至紅外域,在保留關(guān)鍵區(qū)域的前提下實現(xiàn)完備的圖像風(fēng)格遷移.這一策略能夠?qū)颖緮?shù)量充足、視角信息豐富的可見光圖像轉(zhuǎn)換為對應(yīng)的紅外圖像,從而有效解決紅外圖像數(shù)據(jù)集樣本稀缺的難題.最后用生成對抗網(wǎng)絡(luò)生成的紅外數(shù)據(jù)和原始紅外樣本作為訓(xùn)練集,訓(xùn)練改進(jìn)后的YOLOv3模型,進(jìn)一步地提高紅外目標(biāo)檢測的精度.結(jié)合上述2種策略,本算法在小樣本條件下的紅外場景上實現(xiàn)了具有良好魯棒性、準(zhǔn)確的目標(biāo)檢測.

2 相關(guān)工作

生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[16]旨在生成不存在于真實世界的數(shù)據(jù).在傳統(tǒng)圖像仿真領(lǐng)域,圖像的仿真需經(jīng)過建模、添加紋理和光照、渲染等一系列復(fù)雜的步驟.GAN網(wǎng)絡(luò)的出現(xiàn)簡化了這一過程,其利用深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建生成器和判別器,生成器負(fù)責(zé)生成偽樣本,而判別器用于分辨樣本的真?zhèn)?生成器和判別器之間采用對抗博弈的方法自動學(xué)習(xí)樣本數(shù)據(jù)的真實分布,從而實現(xiàn)圖像的樣本擴增,GAN網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖1所示.

圖1 GAN網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Generative adversarial network structure diagram

在動態(tài)博弈的過程中,GAN網(wǎng)絡(luò)的生成器和判別器取樣于隨機噪聲.這樣生成的偽樣本狀態(tài)并不可控,即生成的紅外域樣本圖像的具體內(nèi)容并不受用戶控制.此外,由隨機噪聲生成的偽樣本還存在圖像邊緣不清晰、細(xì)節(jié)模糊等問題.

為解決GAN網(wǎng)絡(luò)生成圖像狀態(tài)不可控的問題,目前主流的方法是對輸入樣本進(jìn)行約束性選擇.以pix-2pix[17]算法為例,該算法有條件地使用用戶輸入樣本,將成對的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練,從而讓模型尋找原始域和目標(biāo)域之間的映射關(guān)系.然而,在復(fù)雜戰(zhàn)場環(huán)境下,具有價值的紅外樣本數(shù)據(jù)的獲取較為困難,因此使用大量成對的可見光原始域與紅外目標(biāo)域樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練這一設(shè)想是難以實現(xiàn)的.

當(dāng)可見光和紅外數(shù)據(jù)的樣本數(shù)量不匹配時,pix2-pix算法難以進(jìn)行有效訓(xùn)練,因此有學(xué)者提出了Cycle-GAN算法[18]來解決這一數(shù)據(jù)顯示配對問題.然而CycleGAN網(wǎng)絡(luò)在訓(xùn)練過程中容易產(chǎn)生模型崩潰的現(xiàn)象,即原始域輸入圖像都映射到相同的目標(biāo)域輸出圖像,并且優(yōu)化無法取得有效的進(jìn)展.

針對上述GAN網(wǎng)絡(luò)中存在的問題,本文算法在CycleGAN算法的基礎(chǔ)上進(jìn)行改進(jìn),利用其未成對數(shù)據(jù)定義網(wǎng)絡(luò)的輸入和輸出策略(如圖2所示),并使用注意力機制區(qū)分源域和目標(biāo)域,幫助生成對抗網(wǎng)絡(luò)模型集中轉(zhuǎn)換關(guān)鍵區(qū)域,從而有效緩解高維數(shù)據(jù)跨域重復(fù)映射問題.

圖2 由成對或未成對數(shù)據(jù)定義網(wǎng)絡(luò)輸入輸出示意圖Fig.2 Network input and output diagrams are defined by paired or unpaired data

3 基于生成對抗網(wǎng)絡(luò)的樣本擴增

3.1 網(wǎng)絡(luò)架構(gòu)

本文中生成對抗網(wǎng)絡(luò)采用未成對樣本數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型,需給網(wǎng)絡(luò)增加限制條件使得網(wǎng)絡(luò)學(xué)習(xí)高維數(shù)據(jù)間的映射關(guān)系.為了將可見光域的圖像轉(zhuǎn)換為紅外域的圖像,本文采用2個判別器和2個生成器構(gòu)成循環(huán)的網(wǎng)絡(luò)結(jié)構(gòu),2個生成器G1和G2用于對可見光域和紅外域的圖像進(jìn)行相互轉(zhuǎn)換,2個判別器D1和D2分別辨別紅外域和可見光紅外域圖像的真?zhèn)?

如圖3所示,可見光域圖像x經(jīng)過生成器G1后生成一幅紅外域上的偽樣本圖像G1(x),本文利用判別器D1來辨別真?zhèn)魏蟮贸雠袆e器D1的損失函數(shù)接著將這個偽樣本再次經(jīng)過生成器G2生成一幅可見光域上的重構(gòu)圖像G2(G1(x)),然后將重構(gòu)圖像G2(G1(x))同原始輸入圖像x進(jìn)行對比分析得出重構(gòu)損失L1.既然網(wǎng)絡(luò)構(gòu)成一個環(huán)形結(jié)構(gòu),那么輸入圖像若為紅外域圖像y,也將經(jīng)過上述類似的過程得到判別器損失函數(shù)和重構(gòu)損失L2,具體流程如圖4所示.網(wǎng)絡(luò)模型在訓(xùn)練的過程中不斷優(yōu)化目標(biāo)損失函數(shù),從而學(xué)習(xí)到高維數(shù)據(jù)的特征分布,并構(gòu)建出可見光域至紅外域的映射關(guān)系.

圖3 輸入為可見光域樣本的單網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 The input is the schematic diagram of the single network structure of the visible sample

圖4 輸入為紅外域樣本的單網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.4 The input is the schematic diagram of the single network structure of the infrared sample

通過將2個單向的生成對抗網(wǎng)絡(luò)耦合成一個環(huán)狀網(wǎng)絡(luò)結(jié)構(gòu),可以構(gòu)建可見光域至紅外域的映射關(guān)系.加入重構(gòu)損失函數(shù)后,生成對抗網(wǎng)絡(luò)在訓(xùn)練的過程中給生成偽樣本的生成器添加了強制性約束,即真實樣本與通過連續(xù)的生成器所生成的偽樣本間的差異應(yīng)盡可能的小.這可以在一定程度上緩解生成對抗網(wǎng)絡(luò)中普遍存在的模式崩潰問題,即來自一個域的多個模式的數(shù)據(jù)映射到另一個域的單個模式,從而實現(xiàn)可見光域圖像至紅外域圖像的風(fēng)格遷移.

3.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文算法將注意力機制模型添加至生成對抗網(wǎng)絡(luò)的生成器網(wǎng)絡(luò)結(jié)構(gòu)中.如圖5所示,將可見光域圖像輸入生成器下采樣后,將經(jīng)過多個殘差塊處理后得到的特征圖送入注意力機制模型.模型為包含不同區(qū)域關(guān)鍵信息的特征圖賦予相應(yīng)的權(quán)值,最后經(jīng)殘差塊處理后,上采樣得到紅外域生成圖像.

圖5 生成器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.5 Schematic diagram of generator network

生成器中注意力機制模型的結(jié)構(gòu)圖如圖6所示,模型將輸入的特征圖經(jīng)過全局平均池化和全局最大池化操作得到依托通道數(shù)的特征向量.將特征向量經(jīng)過全連接層、拼接處理后送入分類器做源域和目標(biāo)域的分類,反向傳播學(xué)習(xí)到特征圖對應(yīng)的權(quán)值wn,n為特征圖對應(yīng)的通道數(shù).最后,wn和特征圖進(jìn)行位乘得到經(jīng)過注意力機制增強的特征圖,使生成器著重于可見光域圖像的關(guān)鍵區(qū)域信息以實現(xiàn)紅外風(fēng)格遷移.

圖6 生成器的注意力模型結(jié)構(gòu)示意圖Fig.6 Schematic of the attention model for the generator

4 YOLOv3算法的網(wǎng)絡(luò)改進(jìn)

4.1 骨干網(wǎng)絡(luò)的注意力機制改進(jìn)

YOLOv3算法能夠取得比其他單階段目標(biāo)檢測算法更好的檢測精度,其關(guān)鍵在于YOLOv3的基礎(chǔ)網(wǎng)絡(luò)骨干(backbone):DarkNet53.本文采用注意力機制模型改進(jìn)DarkNet53,使其在通道和局部空間維度上對特征圖進(jìn)行基于注意力的加權(quán),使得模型能更加關(guān)注輸入圖像的關(guān)鍵區(qū)域.

如圖7所示,本文算法將DarkNet53通過殘差塊卷積操作得到的特征圖輸入到通道注意力模型中,經(jīng)過全局平均池化操作后得到當(dāng)前特征圖的全局壓縮特征向量,通過激活函數(shù)Relu后再接入由1?1 卷積層構(gòu)建的瓶頸結(jié)構(gòu)(bottleneck).如式(5)所示,wc為經(jīng)上述池化與卷積操作后,輸入特征圖的各個通道所對應(yīng)的權(quán)重回歸值;c為特征圖所對應(yīng)的通道.wc經(jīng)Sigmoid層歸一化后得weight與原始輸入的特征圖進(jìn)行位乘,其中特征圖中包含語義特征、目標(biāo)邊緣等信息更豐富的通道(weight值越大)得到更高程度的響應(yīng),最終將加權(quán)得到的特征圖輸入到空間注意力機制模型中.

圖7 通道注意力模型示意圖Fig.7 Schematic diagram of channel attention model

空間注意力模型以通道注意力模型的輸出為輸入,如圖8所示.在完成基于通道并行的全局最大池化和全局平均池化操作后,模型將兩個操作產(chǎn)生的特征向量拼接,輸入到后續(xù)卷積層進(jìn)行處理,如式(6)所示,w(i,j)為經(jīng)上述并行編碼等操作后,輸入特征圖的各個區(qū)域所對應(yīng)的權(quán)重回歸值;(i,j)為特征圖所對應(yīng)的空間區(qū)域.經(jīng)Sigmoid層歸一化后輸出空間注意力特征w.最后，將w與模塊的輸入進(jìn)行位乘,得到最終基于通道與空間注意力機制的特征圖.

圖8 空間注意力模型示意圖Fig.8 Schematic diagram of spatial attention model

基于注意力機制改進(jìn)的YOLOv3算法在后續(xù)進(jìn)行邊界回歸任務(wù)的過程中,會更多地關(guān)注輸入圖像中包含目標(biāo)的關(guān)鍵區(qū)域,即經(jīng)過上述注意力網(wǎng)絡(luò)模型的池化與卷積等操作后,特征圖中對應(yīng)語義信息豐富的區(qū)域得到更高程度的響應(yīng),從而使得模型在訓(xùn)練的過程中對于包含目標(biāo)的關(guān)鍵圖像區(qū)域具有選擇性,最終提高神經(jīng)網(wǎng)絡(luò)對于目標(biāo)檢測任務(wù)的泛化能力.

不同于僅對特征圖通道作加權(quán)處理的注意力機制模型,添加空間注意力機制后,模型將降低背景信息對目標(biāo)檢測任務(wù)的干擾,從而提高目標(biāo)檢測模型的魯棒性和檢測精度.

4.2 學(xué)習(xí)率設(shè)置

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中,通常采用梯度下降的方式來優(yōu)化目標(biāo)損失函數(shù),而越接近損失函數(shù)的全局最優(yōu)解時,其學(xué)習(xí)率應(yīng)設(shè)置為較小值,從而使得深度網(wǎng)絡(luò)損失函數(shù)盡可能收斂至全局最優(yōu)點.但是隨著學(xué)習(xí)率衰減,深度網(wǎng)絡(luò)的訓(xùn)練容易陷入局部最優(yōu)困境,這將導(dǎo)致最終模型泛化能力的不足.而余弦退火(cosine annealing)[19]通過余弦函數(shù)來降低學(xué)習(xí)率,并且在模擬退火與熱重啟的過程中可以使得學(xué)習(xí)率有一個不斷變化的趨勢,這種學(xué)習(xí)率下降模式能夠有效的避免模型陷入局部最優(yōu)解.

本文采用余弦退火算法來優(yōu)化YOLOv3網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)率的衰減方式,即學(xué)習(xí)率α在單個退火過程中余弦衰減,Tmax次迭代后進(jìn)行熱重啟,以此循環(huán)直至網(wǎng)絡(luò)訓(xùn)練完成.新的學(xué)習(xí)率衰減函數(shù)如式(7)所示,αmax和αmin分別表示學(xué)習(xí)率的最大值和最小值,Tmax為單個退火過程中算法需要執(zhí)行的總步數(shù),Tcur為單個退火過程中已經(jīng)迭代的步數(shù).

5 實驗結(jié)果與分析

本文中實驗所采用的硬件平臺為:Intel i5–9400 CPU@2.90GHz,NVIDIA 2080TI顯卡、32GB內(nèi)存.操作系統(tǒng)為Ubuntu 16.04,深度學(xué)習(xí)框架為Pytorch,軟件環(huán)境為CUDA 10.0,CUDNN 7.4,訓(xùn)練過程中采用余弦退火算法優(yōu)化的學(xué)習(xí)率設(shè)置為

其中:epoch設(shè)置為200,batch-size設(shè)置為8,numtrain為訓(xùn)練集圖像總數(shù)量.

5.1 樣本擴增實驗結(jié)果分析

本部分實驗在公開的Grayscale-Thermal 數(shù)據(jù)集[20]與OSU Color-Thermal紅外–可見光數(shù)據(jù)集[21]上展開,利用2個數(shù)據(jù)集中的1000對(盡可能地多)可見光–紅外域圖像數(shù)據(jù)進(jìn)行生成對抗網(wǎng)絡(luò)的訓(xùn)練,其中1000對可見光–紅外域圖像數(shù)據(jù)采用圖2中未成對數(shù)據(jù)的匹配方式.訓(xùn)練迭代10000次的訓(xùn)練結(jié)果如圖9所示,由圖9可以看出,生成對抗網(wǎng)絡(luò)生成的行人和車輛序列紅外樣本數(shù)據(jù)保留了可見光域行人和車輛圖像序列的連續(xù)性.

圖9 生成對抗網(wǎng)絡(luò)樣本擴增結(jié)果Fig.9 The amplification result of the generative adversarial network sample

本文將有無注意力機制模型改進(jìn)的生成對抗網(wǎng)絡(luò)樣本擴增結(jié)果進(jìn)行對比分析,如圖10所示.實驗結(jié)果表明:經(jīng)注意力機制模型改進(jìn)的生成對抗網(wǎng)絡(luò)在對含多目標(biāo)、小目標(biāo)的可見光圖像進(jìn)行紅外風(fēng)格遷移時,能夠更好地關(guān)注可見光域圖像中包含目標(biāo)的關(guān)鍵區(qū)域,減少數(shù)據(jù)信息的丟失.

圖10 有無注意力機制的GAN網(wǎng)絡(luò)樣本擴增結(jié)果對比Fig.10 Comparison of amplification results of GAN network samples with or without attention model

5.2 紅外–可見光數(shù)據(jù)集目標(biāo)檢測實驗結(jié)果分析

本節(jié)實驗中所使用的訓(xùn)練集與測試集圖像均來源于Grayscale-Thermal與OSU Color-Thermal紅 外–可見光數(shù)據(jù)集,數(shù)據(jù)集中主要包含行人和車輛目標(biāo).訓(xùn)練集中,紅外域圖像2000幅,可見光域圖像2000幅(其中1000幅可見光域圖像與1000幅紅外圖像一一配對).

在本節(jié)實驗中,本文首先利用第5.1節(jié)中訓(xùn)練好的CylceGAN網(wǎng)絡(luò)與改進(jìn)后的生成對抗網(wǎng)絡(luò)對未配對的可見光圖像進(jìn)行紅外風(fēng)格遷移,得到2組1000幅擴增后的紅外樣本.在此基礎(chǔ)上,展開后續(xù)對照試驗:1)用2000幅可見光圖像對原始YOLOv3進(jìn)行訓(xùn)練;2)用2000幅真實紅外域圖像對原始YOLOv3進(jìn)行訓(xùn)練;3)用2000幅真實紅外圖像對改進(jìn)的YOLOv3進(jìn)行訓(xùn)練;4)用1000幅未配對的真實紅外圖像對原始YOLOv3進(jìn)行訓(xùn)練;5)用1000幅未配對的真實紅外圖像對改進(jìn)后的YOLOv3進(jìn)行訓(xùn)練;6)用1000幅未配對的真實紅外圖像和1000幅由CycleGAN網(wǎng)絡(luò)遷移得到的紅外圖像作為訓(xùn)練集,對原始YOLOv3進(jìn)行訓(xùn)練;7)用1000幅未配對的真實紅外圖像和1000幅由Cycle GAN網(wǎng)絡(luò)遷移得到的紅外圖像作為訓(xùn)練集,對改進(jìn)后的YOLOv3進(jìn)行訓(xùn)練;8)用1000幅未配對的真實紅外圖像和1000幅由改進(jìn)的生成對抗網(wǎng)絡(luò)遷移得到的紅外圖像作為訓(xùn)練集,對原始YOLOv3進(jìn)行訓(xùn)練;9)用1000幅未配對的真實紅外圖像和1000幅由改進(jìn)的生成對抗網(wǎng)絡(luò)遷移得到的紅外圖像作為訓(xùn)練集,對改進(jìn)后的YOLOv3進(jìn)行訓(xùn)練;10)用2000幅真實紅外圖像和1000幅由改進(jìn)的生成對抗網(wǎng)絡(luò)遷移得到的紅外圖像作為訓(xùn)練集,對改進(jìn)后的YOLOv3進(jìn)行訓(xùn)練.

表1與表2展示了在測試集上(測試集的劃分:紅外圖像500幅;可見光圖像500幅)不同的圖像域、不同數(shù)量的訓(xùn)練集、不同的網(wǎng)絡(luò)結(jié)構(gòu)對目標(biāo)檢測識別性能(平均精準(zhǔn)度(average precision,AP);所有類別下AP的均值(mean average precision,mAP))與檢測速率(FPS:每秒檢測圖像數(shù))的影響.

表1 各算法的環(huán)境與檢測速率Table 1 The environment and detection rate of each algorithm

表2 在測試集上各算法中行人和車輛檢測的AP與mAPTable 2 AP and mAP of person and car detection are implemented in each algorithm on the test set

表3展示了用2000幅紅外域圖像作為訓(xùn)練集對現(xiàn)有的一些小樣本目標(biāo)檢測算法進(jìn)行訓(xùn)練,最終在測試集上(測試集的劃分:紅外圖像500幅)對目標(biāo)檢測識別性能與檢測速率的對比分析.

表3 在測試集上各小樣本目標(biāo)檢測算法指標(biāo)對比Table 3 The indexes of each object detection algorithm with small samples are compared on the test set

實驗結(jié)果表明:1)在紅外稀缺樣本條件下,本文所提出的生成對抗網(wǎng)絡(luò)進(jìn)行紅外樣本擴增方法能有效地提升目標(biāo)檢測精度;2)經(jīng)本文改進(jìn)的YOLOv3算法仍可在原有的檢測精度基礎(chǔ)上提升近2%.

圖11展示了本文算法在測試集上的目標(biāo)檢測結(jié)果.可以看出,在復(fù)雜場景下,當(dāng)紅外域樣本中出現(xiàn)多個目標(biāo)且目標(biāo)尺寸較小時,本文算法仍具有良好的檢測效果.

圖11 本文算法在測試集上的目標(biāo)檢測結(jié)果Fig.11 The algorithm of this paper on the test set of the object detection results

5.3 通用數(shù)據(jù)集目標(biāo)檢測實驗結(jié)果分析

為了驗證本文所改進(jìn)的目標(biāo)檢測算法的通用性,本文在公開的Microsoft Common Objects in Context(COCO)數(shù)據(jù)集[25]與PASCAL–VOC2012數(shù)據(jù)集[26]上展開目標(biāo)檢測精度評估實驗.在實驗過程中所使用的COCO數(shù)據(jù)集包含80個目標(biāo)類別,82783張圖像作為訓(xùn)練集,20504張圖像作為驗證集,10775張圖像作為測試集,平均每幅圖像有5個標(biāo)簽信息.所使用的VOC數(shù)據(jù)集包含20個目標(biāo)類別,總共包含5717張圖像,平均每幅圖像有2個標(biāo)簽信息.在實驗過程中,VOC數(shù)據(jù)集劃分為:4002張圖像作為訓(xùn)練集,572張圖像作為驗證集,1143張圖像作為測試集.

IOU(交并比)衡量的是2個區(qū)域的重疊程度,是2個區(qū)域重疊部分面積占二者總面積的比例,常用于目標(biāo)檢測數(shù)據(jù)集中測量真實框與預(yù)測框之間的相關(guān)度,相關(guān)度越高,該值越大.

表4與表5分別展示了在COCO數(shù)據(jù)集與VOC數(shù)據(jù)集上,本文改進(jìn)后的YOLOv3算法與當(dāng)前主流目標(biāo)檢測算法的目標(biāo)檢測精度與速度對比(在COCO數(shù)據(jù)集上測試IOU=0.75下的mAP;在VOC數(shù)據(jù)集測試IOU=0.5下的mAP).

表4 在COCO數(shù)據(jù)集上各目標(biāo)檢測算法指標(biāo)對比Table 4 The indexes of each object detection algorithm are compared on COCO data set

表5 在VOC數(shù)據(jù)集上各目標(biāo)檢測算法指標(biāo)對比Table 5 The indexes of each object detection algorithm are compared on VOC data set

實驗結(jié)果表明:1)本文改進(jìn)后的YOLOv3算法與當(dāng)前主流目標(biāo)檢測算法相比,具有較好的目標(biāo)檢測性能;2)本文改進(jìn)后的YOLOv3算法可在提升目標(biāo)檢測精度的同時保證檢測速率,基本可以滿足工程應(yīng)用前景下嵌入式設(shè)備部署所需求的高效性與實時性.

6 結(jié)論

本文提出了一種小樣本紅外圖像的樣本擴增與目標(biāo)檢測算法.該算法將生成對抗網(wǎng)絡(luò)應(yīng)用于紅外圖像的樣本擴增,并與改進(jìn)的YOLOv3網(wǎng)絡(luò)相結(jié)合,有效地提高了紅外目標(biāo)檢測的性能.實驗結(jié)果表明,該算法可以在保留可見光域圖像關(guān)鍵區(qū)域的前提下實現(xiàn)紅外風(fēng)格遷移,在Grayscale-Thermal與OSU Color-Thermal紅外–可見光數(shù)據(jù)集上的檢測精度比原始YOLOv3算法提升了近20%.下一步將繼續(xù)優(yōu)化生成對抗網(wǎng)絡(luò)模型的結(jié)構(gòu),以生成分辨率更高、細(xì)節(jié)更豐富的紅外圖像.