YOLOv5與光流相結(jié)合的紅外小目標(biāo)檢測(cè)算法

劉寶林,范有臣,秦明宇,謝鵬飛,郭惠超,張來(lái)線

(航天工程大學(xué),北京 101416)

1 引 言

高于熱力學(xué)零度的物體都會(huì)輻射紅外線,紅外輻射穿透云、霧、煙塵的能力強(qiáng),紅外探測(cè)成像是被動(dòng)接收紅外輻射成像,具有良好的抗干擾能力和隱蔽性,能夠探測(cè)到幾公里到幾十公里遠(yuǎn)的目標(biāo)。紅外成像系統(tǒng)視場(chǎng)大,遠(yuǎn)距離目標(biāo)成像呈現(xiàn)點(diǎn)狀,目標(biāo)成像大小介于3×3和9×9個(gè)像素[1],所占的像素?cái)?shù)少,成像面積占整幅圖像比例很小,信雜比低[2-3],檢測(cè)難度大。由于散射的影響,目標(biāo)邊緣信息微弱,缺少固定的形狀和紋理信息,不利于特征的提取。紅外小目標(biāo)檢測(cè)算法分為基于單幀檢測(cè)和基于多幀檢測(cè)的算法[4]。單步目標(biāo)檢測(cè)算法中較典型的是YOLO方法[5-7],該方法由物體中心的格子來(lái)完成目標(biāo)預(yù)測(cè),提取目標(biāo)特征、候選框邊界回歸及分類(lèi)都在同一個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)的,檢測(cè)速度可達(dá)到100 FPS以上,解決了實(shí)時(shí)檢測(cè)的任務(wù)要求。

復(fù)雜背景中包含多個(gè)與真實(shí)小目標(biāo)相像的點(diǎn),目標(biāo)的檢測(cè)難度大,在訓(xùn)練數(shù)據(jù)集有限的條件下,利用已有的小目標(biāo)訓(xùn)練權(quán)重進(jìn)行檢測(cè),容易漏掉真實(shí)的小目標(biāo)。為了將可能的小目標(biāo)都檢測(cè)出來(lái),本文在使用YOLOv5檢測(cè)時(shí),用低檢測(cè)網(wǎng)絡(luò)對(duì)復(fù)雜背景圖像進(jìn)行檢測(cè),檢測(cè)結(jié)果中除了真實(shí)小目標(biāo)外,包括多個(gè)虛假目標(biāo),不易提取目標(biāo)的軌跡。文將LK和HS兩種光流算法進(jìn)行了對(duì)比,用單樣本K-S檢驗(yàn)得到分布擬合度,構(gòu)建Q-Q圖來(lái)計(jì)算平臺(tái)真實(shí)運(yùn)動(dòng)量,結(jié)合YOLOv5校正檢測(cè)目標(biāo)校正目標(biāo)軌跡,實(shí)現(xiàn)了目標(biāo)軌跡的提取。

2 紅外小目標(biāo)數(shù)據(jù)集的訓(xùn)練

實(shí)驗(yàn)室拍攝的旋翼無(wú)人機(jī)天空背景紅外視頻,提取其中圖片1651張,圖像背景均勻,大小為567×273,其中圖像如圖1所示,圖1(a)中紅外小目標(biāo)的灰度值較高,與背景的灰度值對(duì)比明顯,圖1(b)中灰度值比圖1(a)明顯,不容易觀察出來(lái)。

選擇地/空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)數(shù)據(jù)圖片[8]文件夾data5、data8共3396張,圖像大小為256×256,其中典型圖像如圖2所示,圖2(a)中紅外小目標(biāo)的灰度高于局部背景區(qū)域,圖2(b)中紅外小目標(biāo)灰度值與局部背景區(qū)域灰度接近,不易與背景區(qū)分,同樣存在著與小目標(biāo)灰度和形狀接近的小區(qū)域。

實(shí)驗(yàn)是在安裝Window10的服務(wù)器上完成,服務(wù)器的CPU:Intel(R)Xeon(R)Silver 4116 CPU @2.1 GHz 2.1GHz(2處理器),內(nèi)存32GB,顯卡NVIDIA GeForce RTX-3090 32 GB,cuda11.1.0_456.43_win10,cudnn-11.1-windows-x64-v8.0.4.30,Aanconda3-2020.02-Windows-x86_64版本搭建Pytorch1.7,python 3.7.6,pycharm-community-2020.1.3×64。

圖2 單目標(biāo)復(fù)雜背景數(shù)據(jù)集圖像

將單目標(biāo)的簡(jiǎn)單和復(fù)雜背景圖像使用labelImg軟件標(biāo)注,共得到標(biāo)注圖像5047張,對(duì)應(yīng)標(biāo)注xml文檔5047個(gè),區(qū)分訓(xùn)練圖4015張,驗(yàn)證圖1032張。用YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四種模型訓(xùn)練數(shù)據(jù)50次、100次、200次、300次、400次、500次和600次,如圖3所示。

隨著訓(xùn)練次數(shù)的增加,四種模型的訓(xùn)練準(zhǔn)確率隨著次數(shù)的增加,總體上是在逐漸提高,YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x訓(xùn)練600次的準(zhǔn)確率分別為0.9608、0.9485、0.9605、0.977,在準(zhǔn)確率上,震蕩程度最大的是YOLOv5s,收斂最快的是YOLOv5x。單一模型損失率的隨訓(xùn)練次數(shù)增加損失率總體呈現(xiàn)波動(dòng)降低趨勢(shì),訓(xùn)練600次的最終損失率在0.01581、0.01478、0.0145、0.01408,數(shù)值相近,全部低于0.02,訓(xùn)練收斂效果較好。

3 運(yùn)動(dòng)背景下的單目標(biāo)檢測(cè)

3.1 光流算法

光流是圖像中亮度保持不變,即運(yùn)動(dòng)前后對(duì)應(yīng)像素亮度值相同,而不隨時(shí)間而變化可表示為:

I(x+dx,y+dy,t+dt)=I(x,y,t)

(1)

其中,I(x,y,t)是圖像中各點(diǎn)的像素值；(x,y)表示空間中的位置；t是時(shí)間變量；dt是圖像連續(xù)幀的間隔時(shí)間；(dx,dv)表示在t時(shí)刻空間中的(x,y)點(diǎn)的位置變化量,在相鄰兩幀圖像中的點(diǎn)(x,y)有位移(dx,dy),單位時(shí)間上的位置變化量就是速度矢量。

用泰勒級(jí)數(shù)實(shí)施一階展開(kāi)為:

(2)

Ixu+Iyv+It=0

(3)

對(duì)選擇地/空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)數(shù)據(jù)中的連續(xù)兩幀圖像進(jìn)行實(shí)驗(yàn),圖像大小為256×256,如圖4所示。圖4中兩幅圖像的光照條件沒(méi)有變化,同一區(qū)域的灰度值也比較一致。從兩幅圖像中地物對(duì)比可以看出,圖4(b)幀明顯比圖4(a)幀靠右,判斷平臺(tái)向右側(cè)運(yùn)動(dòng)。

圖4 連續(xù)兩幀圖像

選取HS和LK計(jì)算結(jié)果50×150的部分放大,顯示的結(jié)果如圖5所示。

從選取部分放大后可以看出,HS算法光流圖中光流值錯(cuò)誤的多,且各個(gè)方向都有無(wú)法看出總體規(guī)律。而LK算法光流值總體向右,與平臺(tái)實(shí)際移動(dòng)方向較為一致。用LK法對(duì)這種場(chǎng)景計(jì)算運(yùn)動(dòng)量比較合適。

3.2 光流值的校正

平臺(tái)真實(shí)運(yùn)動(dòng)量需要通過(guò)取光流值的有效部分得到,首先用HS、LK算法計(jì)算光流分量,然后通過(guò)單樣本K-S檢驗(yàn)計(jì)算分布擬合度,構(gòu)建Q-Q圖得到上下界數(shù)值,最后取上下界間的均值取整得到校正值。

光流法對(duì)光線較為敏感,得到的光流場(chǎng)中存在一些極端值,為了通過(guò)光流場(chǎng)解算出平臺(tái)移動(dòng)情況,用不同光流算法得到的光流場(chǎng)對(duì)真實(shí)情況進(jìn)行預(yù)測(cè),因此引入tLocation-Scale分布函數(shù)對(duì)極端值進(jìn)行濾除。

1)tLocation-Scale分布基于t分布[10],其概率密度函數(shù)為:

(4)

其中,μ為位置參數(shù);σ為尺度參數(shù);ν為自由度。Γ(x)為伽馬函數(shù),相較于t分布,由于引入了位置參數(shù)和尺度參數(shù),tLocation-Scale分布具有更好的自適應(yīng)性。

2) 擬合優(yōu)度檢驗(yàn),單樣本K-S檢驗(yàn)可用于檢驗(yàn)觀測(cè)到的數(shù)據(jù)是否符合某已知的理論分布。Matlab中使用kstest函數(shù)實(shí)現(xiàn)K-S檢驗(yàn)功能,返回參數(shù)[h,p,ksstat,cv],其中,h表示檢驗(yàn)決策,p值反映原假設(shè)成立的可能性,ksstat為統(tǒng)計(jì)量的值,cv為接受域與拒絕域的邊界值。使用LK算法得出的光流場(chǎng)的豎直分量數(shù)據(jù)測(cè)試tLocation-Scale分布的擬合程度,對(duì)比正態(tài)分布的擬合結(jié)果數(shù)值,得到的擬合曲線如圖6所示,參數(shù)計(jì)算結(jié)果如表1所示。

圖6 t Location-Scale擬合曲線與正態(tài)分布擬合曲線

表1 K-S檢驗(yàn)結(jié)果

從表1中可以看出,tLocation-Scale分布的ksstat值遠(yuǎn)小于正態(tài)分布,且p值大正態(tài)分布,說(shuō)明tlocation-Scale分布有著更好的擬合度。

3) Q-Q圖可用于評(píng)估兩組數(shù)據(jù)是否來(lái)自同一分布,假設(shè)大部分?jǐn)?shù)據(jù)數(shù)據(jù)均可用且符合tLocation-Scale分布,用Quantile-Quantile圖(Q-Q圖)對(duì)不可用部分?jǐn)?shù)據(jù)進(jìn)行篩選。

Q-Q圖的橫坐標(biāo)為理想分布的分位數(shù),縱坐標(biāo)為樣本分位數(shù)。因此要構(gòu)建Q-Q圖,首先要確定分位數(shù)。

若有一容量為n的樣本x1,x2,x3,…,xn,其p分位數(shù)xp的計(jì)算公式為:

(5)

可使用random函數(shù)在理想分布模型中隨機(jī)抽取樣本得到近似的理想分布樣本分位數(shù)。結(jié)合qqplot函數(shù)進(jìn)行Q-Q圖的構(gòu)建,如圖7、圖8所示。

由Q-Q圖的特性可知,分布于直線附近的點(diǎn)與理想tLocation-Scale分布較為符合,可認(rèn)為該點(diǎn)對(duì)應(yīng)數(shù)據(jù)為可用數(shù)據(jù)。得到HS和LK算法上下界,計(jì)算上下界均值,得到實(shí)際速度如表2所示。

表2 HS、LK算法的水平和豎直分量上下界

LK法得出的水平分量的有效取值范圍為[4.4392,14.111],LK法得出的豎直分量的有效取值范圍為[-0.37501,0.44059],HS法得出的水平分量的有效取值范圍為[-1.6717,4.6349],HS法得出的豎直分量的有效取值范圍為[-3.5068,3.4087]。對(duì)比HS和LK兩種算法運(yùn)動(dòng)分量結(jié)果,可以得出LK算法水平分量9.54,豎直分量-0.03,水平分量四舍五入為10,豎直分量四舍五入為0,速度分量結(jié)果與觀察到的實(shí)際運(yùn)動(dòng)相符,選用LK算法計(jì)算這種場(chǎng)景下的運(yùn)動(dòng)。

3.3 實(shí)驗(yàn)結(jié)果與分析

通常紅外圖像背景較為復(fù)雜,存在類(lèi)似小目標(biāo)的虛假目標(biāo)許多干擾點(diǎn)。使用訓(xùn)練權(quán)重對(duì)紅外圖像中的小目標(biāo)檢測(cè)結(jié)果中包括真實(shí)的小目標(biāo)和虛假目標(biāo),光流法可計(jì)算得到幀與幀之間的橫向和縱向運(yùn)動(dòng)量,從而補(bǔ)償平臺(tái)運(yùn)動(dòng)的影響,將多幀圖像中檢測(cè)點(diǎn)表示在一幅圖像中,真實(shí)的目標(biāo)軌跡是一條曲線,而虛假目標(biāo)點(diǎn)相對(duì)背景的位置沒(méi)有發(fā)生變化,通過(guò)光流補(bǔ)償計(jì)算后的位置通常聚集在一小區(qū)域,能夠區(qū)分真實(shí)目標(biāo)和虛假目標(biāo),從而檢測(cè)出真實(shí)的目標(biāo)。檢測(cè)流程如圖9所示。

圖9 單目標(biāo)復(fù)雜運(yùn)動(dòng)背景檢測(cè)流程

實(shí)驗(yàn)中,權(quán)重采用YOLOv5s訓(xùn)練200次的best權(quán)重,為了把所有可能的小目標(biāo)都提取出來(lái),需要設(shè)置較低的置信度,將置信度設(shè)置為0.001,檢測(cè)地空背景圖像數(shù)據(jù)集data18中的500幀單個(gè)無(wú)人機(jī)目標(biāo)樹(shù)林運(yùn)動(dòng)背景的紅外圖像,第1、19、39、55幀的檢測(cè)結(jié)果如圖10所示。

其中,圖10(a)圖像中的目標(biāo)是真實(shí)目標(biāo),從圖10(b)、(c)、(d)圖像中可以看出,該目標(biāo)從向樹(shù)林左下方運(yùn)動(dòng),目標(biāo)與背景位置有明顯的相對(duì)運(yùn)動(dòng),平臺(tái)隨運(yùn)動(dòng)目標(biāo)整體向左下移動(dòng),背景向左下運(yùn)動(dòng),檢測(cè)到的假目標(biāo)的坐標(biāo)值發(fā)生變化。地面輻射強(qiáng),圖像上的灰度值較高,形狀與紅外小目標(biāo)類(lèi)似,被檢測(cè)為小目標(biāo)。圖10(b)中檢測(cè)到1個(gè)目標(biāo),圖10(c)檢測(cè)到1個(gè)目標(biāo),這些檢測(cè)到的固定目標(biāo)的中心坐標(biāo)隨著平臺(tái)移動(dòng),發(fā)生變化了,但相對(duì)背景位置沒(méi)有發(fā)生變化。

選取其中第1到55的連續(xù)55幀圖像,用LK方法求相鄰幀圖像的橫向和縱向光流變化量,從第2幀到第n幀的光流量變化量取整后的累加值,就是平臺(tái)運(yùn)動(dòng)補(bǔ)償量,如式(6)所示:

(6)

其中,u,v分別是通過(guò)LK法計(jì)算相鄰幀圖像得到光流的水平和垂直方向的取整結(jié)果；Un,Vn分別是第1幀圖像到第n幀圖像間平臺(tái)水平和垂直方向運(yùn)動(dòng)量。從第1幀到第100幀圖像預(yù)測(cè)點(diǎn)的橫縱坐標(biāo)xn,yn分別與平臺(tái)運(yùn)動(dòng)補(bǔ)償量求和,得到圖像的中各點(diǎn)的真實(shí)位置,如式(7)所示:

(7)

將校正前的坐標(biāo)點(diǎn)和校正后的坐標(biāo)點(diǎn)在第1幀圖像的xy坐標(biāo)圖上畫(huà)出,結(jié)果如圖11所示。

55幀圖像中12個(gè)目標(biāo)的點(diǎn)數(shù)如表3所示。

其中,圖11(a)是光流法校正前的圖像,目標(biāo)1、2、3、5、6、7、8、9、11、12對(duì)應(yīng)的坐標(biāo)比較集中,目標(biāo)1、3、4、6、7、9、12坐標(biāo)點(diǎn)數(shù)是4個(gè)以?xún)?nèi),是虛假的目標(biāo),目標(biāo)8、10、11的點(diǎn)數(shù)分別是7個(gè)、9個(gè)、7個(gè),目標(biāo)4和目標(biāo)10坐標(biāo)變化較大,是位置發(fā)生變化的點(diǎn),點(diǎn)的軌跡呈與平臺(tái)運(yùn)動(dòng)方向一致變化的曲線,可判斷為虛假的目標(biāo)。圖11(b)是經(jīng)過(guò)光流法校正后的圖像,目標(biāo)1的坐標(biāo)軌跡是向左下方運(yùn)動(dòng)的曲線,符合運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)方向,其他目標(biāo)經(jīng)校正后的坐標(biāo)都較集中,在第1幀圖像中的檢測(cè)目標(biāo)附近,是背景中的虛假目標(biāo)。

表3 檢測(cè)目標(biāo)出現(xiàn)次數(shù)

4 結(jié) 論

文中采用基于YOLOv5的深度學(xué)習(xí)方法對(duì)紅外弱小目標(biāo)提取,并對(duì)軌跡進(jìn)行校正,較好的實(shí)現(xiàn)了目標(biāo)軌跡的復(fù)原。結(jié)合拍攝到的簡(jiǎn)單背景和公開(kāi)的復(fù)雜背景的數(shù)據(jù)集在網(wǎng)絡(luò)中訓(xùn)練,而后對(duì)紅外小目標(biāo)檢測(cè),檢測(cè)準(zhǔn)確率在90 %以上,損失率在2 %以下,結(jié)果比較理想。給出了提出軌跡的流程,對(duì)比了兩種光流算法,得到適于推算場(chǎng)景變化量的算法,進(jìn)行分布擬合,構(gòu)建Q-Q圖得到平臺(tái)真實(shí)運(yùn)動(dòng)量,通過(guò)光流與YOLOv5相結(jié)合的方式校正了目標(biāo)的運(yùn)動(dòng)軌跡,克服了提出軌跡不正確的問(wèn)題。

紅外弱小目標(biāo)檢測(cè)的研究始終是一個(gè)熱點(diǎn)問(wèn)題。目標(biāo)所處的背景千變?nèi)f化,除了林地和天空背景外,還有云層、海洋、城市和鄉(xiāng)村等多種多樣的背景,如何從這些復(fù)雜的背景中檢測(cè)到真實(shí)的目標(biāo)有著很大的難度,需要不斷加以學(xué)習(xí)研究。除了背景多變外,紅外目標(biāo)自身有著不同的形狀,有的規(guī)則的方形,也有的形狀是弧形等多種,實(shí)現(xiàn)正確的檢測(cè)是今后研究工作中需要努力的。