紅外小目標(biāo)SSD-DSST算法與目標(biāo)模擬系統(tǒng)研究

王 磊，高 揚(yáng)，張 慧，郝永平

(沈陽理工大學(xué)機(jī)械工程學(xué)院，遼寧 沈陽 110159)

0 引言

紅外小目標(biāo)檢測(cè)被廣泛應(yīng)用于紅外制導(dǎo)、預(yù)警等軍事領(lǐng)域[1]。紅外小目標(biāo)的像素與整張圖的像素比不超過圖像整體的0.15%,成像面積只有幾個(gè)像素到十幾個(gè)像素,在復(fù)雜背景的情況下,小目標(biāo)往往只含有少量的語義特征。由于目標(biāo)在成像系統(tǒng)較遠(yuǎn)處,紅外輻射的能量在距離上顯著衰弱狀態(tài),紅外小目標(biāo)易淹沒在背景之中,目標(biāo)檢測(cè)難度較大,在此條件下的檢測(cè)能力具有理論意義和應(yīng)用價(jià)值。

為提升小目標(biāo)的檢測(cè)能力,國(guó)內(nèi)外學(xué)者通過深度學(xué)習(xí)的計(jì)算機(jī)視覺技術(shù)在目標(biāo)檢測(cè)領(lǐng)域獲得了重大進(jìn)展[2-11]。目前,基于卷積神經(jīng)網(wǎng)絡(luò)[4]的深度學(xué)習(xí)檢測(cè)算法成為主流,按照是否存在候選區(qū)可分為一階段目標(biāo)檢測(cè)[5]和兩階段目標(biāo)檢測(cè)[6]算法。兩階段算法是在產(chǎn)生候選框的前提下在對(duì)候選區(qū)域內(nèi)目標(biāo)進(jìn)行分類和回歸,如CNN[7],R-CNN[8],Fast R-CNN[9]等,算法雖精度高,實(shí)時(shí)性差,檢測(cè)小目標(biāo)效果差;一階段算法不對(duì)候選區(qū)進(jìn)行提取,只用一級(jí)網(wǎng)絡(luò)完成了分類和回歸,這類算法主要有SSD[10],YOLO[11]等,算法雖實(shí)時(shí)性高,但檢測(cè)精度低。

針對(duì)紅外小目標(biāo)識(shí)別過程受到復(fù)雜背景的干擾,目標(biāo)特征不明顯,易丟失等問題,提出了一種基于改進(jìn)SSD與DSST方法的紅外小目標(biāo)檢測(cè)算法,通過通道-空間注意力機(jī)制與FPN特征金字塔結(jié)構(gòu)改進(jìn)SSD網(wǎng)絡(luò),采用DSST對(duì)目標(biāo)下一幀目標(biāo)進(jìn)行位置和尺度預(yù)測(cè)。在PC端與ZYNQ嵌入式平臺(tái)聯(lián)合搭建了目標(biāo)融合模擬系統(tǒng),可將待測(cè)小目標(biāo)融入到復(fù)雜背景下,實(shí)現(xiàn)預(yù)定場(chǎng)景模擬,對(duì)所提算法進(jìn)行評(píng)估和驗(yàn)證。

1 改進(jìn)的SSD檢測(cè)網(wǎng)絡(luò)

1.1 加入通道-空間注意力機(jī)制的SSD算法

傳統(tǒng)SSD卷積網(wǎng)絡(luò)特征非線性程度不夠,僅靠目標(biāo)訓(xùn)練不能獲得理想的識(shí)別精度[11]。在主干檢測(cè)網(wǎng)絡(luò)生成特征圖階段引入注意力機(jī)制,使檢測(cè)網(wǎng)絡(luò)更加關(guān)注特征圖中目標(biāo)可能存在的位置區(qū)域,提高卷積對(duì)特征圖的遍歷速度和小目標(biāo)識(shí)別準(zhǔn)確率。同時(shí)增加目標(biāo)上下文信息,縮小檢測(cè)范圍,提升紅外小目標(biāo)的檢測(cè)能力算法原理為:通過CBAM機(jī)制對(duì)網(wǎng)絡(luò)生成的特征圖Z分別產(chǎn)生一維通道注意力、二維空間注意力共兩個(gè)尺度的特征圖,推斷出特征圖的注意力權(quán)重系數(shù)。特征圖中每一個(gè)通道作為一個(gè)特征檢測(cè)器,選擇利用最大池化和平均池化的方法學(xué)習(xí)目標(biāo)的判別性特征,將特征送入一個(gè)共享的多層感知機(jī)(MLP)網(wǎng)絡(luò)中得到通道注意力權(quán)重,將每個(gè)通道的權(quán)重與原卷積的特征加權(quán)融合[11]來提取目標(biāo)特征信息,通道注意力參數(shù)矩陣為:

Mc(Z)=σ(W1(W0(Zavg,c))+W1(W0(Zmax,c)))

(1)

其中:Z為輸入特征圖;σ為激活函數(shù);Zavg,c和Zmax,c分別表示平均池化和最大池化;W0,W1為兩個(gè)全連接層各自的權(quán)重參數(shù)。

對(duì)于空間注意力機(jī)制關(guān)注特征圖中重要信息的位置,將通道注意力產(chǎn)生的特征圖拼接起來,對(duì)拼接起來的特征圖上進(jìn)行卷積操作產(chǎn)生最終的空間注意力特征圖,空間注意力參數(shù)矩陣為:

Ms(Z)=σ(f7×7(Zavg,c;Zmax,c))

(2)

其中f表示卷積核為7×7的卷積核。

將通道注意力機(jī)制生成的通道注意力矩陣與輸入特征圖進(jìn)行元素級(jí)相乘得到Z′,再將Z′與空間注意力矩陣進(jìn)行元素級(jí)相乘得到輸出特征圖Z″,如式(3)、式(4)所示,式中?表示元素級(jí)相乘。

Z′=Mc(Z)?Z

(3)

Z″=Ms(Z)?Z′

(4)

1.2 FPN 算法改進(jìn)SSD網(wǎng)絡(luò)

針對(duì)紅外圖像對(duì)比度較低、分辨細(xì)節(jié)能力差、目標(biāo)特征不明顯問題,以及傳統(tǒng)SSD卷積網(wǎng)絡(luò)模型中并沒有使用原始圖像的底層特征,其深層特征的語義信息無法與淺層結(jié)構(gòu)信息融合,造成目標(biāo)細(xì)節(jié)信息丟失。

利用FPN算法將檢測(cè)網(wǎng)絡(luò)的淺層次特征與高層次特征在“自下而上”的數(shù)據(jù)流向基礎(chǔ)上采用橫向連接,把高層語義信息傳遞給淺層檢測(cè)網(wǎng)絡(luò),實(shí)現(xiàn)多尺度的信息融合,豐富底層特征圖的語義信息,提升小目標(biāo)的檢測(cè)能力。FPN算法改進(jìn)的SSD網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 FPN算法改進(jìn)SSD網(wǎng)絡(luò)架構(gòu)圖Fig.1 Improved SSD network architecture of FPN algorithm

以VGG16的SSD網(wǎng)絡(luò)為基礎(chǔ)對(duì)卷積網(wǎng)絡(luò)進(jìn)行改進(jìn),紅色箭頭代表Conv1×1卷積核的卷積操作,意在改變特征的輸出個(gè)數(shù)的同時(shí),不改變特征尺度,將反卷積和卷積輸出的特征圖保持?jǐn)?shù)據(jù)一致性。綠色箭頭代表上采樣,通過反卷積操作使進(jìn)行反卷積之后的深層特征圖與鄰近上一層特征圖保持大小和通道數(shù)相同?！皑挕北硎緦⑸喜蓸雍虲onv1×1卷積后的特征圖對(duì)應(yīng)元素線性疊加,所疊加兩個(gè)特征圖的寬度、高度以及通道數(shù)均相等。改進(jìn)網(wǎng)絡(luò)輸出6種不同尺度的特征圖,利用3×3卷積核對(duì)融合疊加結(jié)果進(jìn)行卷積計(jì)算來解決上采樣的混疊效應(yīng)。

2 基于改進(jìn)的SSD網(wǎng)絡(luò)與DSST的紅外小目標(biāo)檢測(cè)算法

上述的空間-通道注意力機(jī)制與FPN算法改進(jìn)的SSD檢測(cè)網(wǎng)絡(luò)對(duì)紅外小目標(biāo)的檢測(cè)能力有明顯提高,但在復(fù)雜背景下易受其他目標(biāo)干擾,導(dǎo)致小目標(biāo)丟失和誤檢。為解決問題,將DSST算法與改進(jìn)的SSD檢測(cè)網(wǎng)絡(luò)相結(jié)合,利用上一幀對(duì)目標(biāo)當(dāng)前幀位置和尺度進(jìn)行精確估計(jì),實(shí)現(xiàn)目標(biāo)檢測(cè)。通過給改進(jìn)的SSD檢測(cè)網(wǎng)絡(luò)設(shè)置閾值來判別檢測(cè)是否準(zhǔn)確,將檢測(cè)不準(zhǔn)確的圖像輸入到DSST算法進(jìn)行二次檢測(cè),此方法有效避免改進(jìn)的SSD網(wǎng)絡(luò)誤檢和漏檢問題?；诟倪M(jìn)SSD網(wǎng)絡(luò)與DSST的紅外小目標(biāo)檢測(cè)算法總流程圖如圖2所示。

圖2 改進(jìn)SSD網(wǎng)絡(luò)與DSST的紅外小目標(biāo)檢測(cè)流程圖Fig.2 Flow chart of improving SSD network and DSST infrared small target detection

將待檢測(cè)圖像輸入到FPN算法改進(jìn)的SSD卷積檢測(cè)網(wǎng)絡(luò),生成6種不同尺度大小的特征圖。隨后利用通道-空間注意力機(jī)制計(jì)算目標(biāo)可能存在的區(qū)域權(quán)重,經(jīng)過非極大值抑制,實(shí)現(xiàn)目標(biāo)檢測(cè)。計(jì)算檢測(cè)目標(biāo)框的置信度α,通過實(shí)驗(yàn)條件下得到的不同閾值下AP值的對(duì)比關(guān)系,確定合適的閾值A(chǔ)大小。當(dāng)α≥A, 說明檢測(cè)結(jié)果準(zhǔn)確,算法直接輸出檢測(cè)結(jié)果;當(dāng)α

(5)

式中:hl為第l個(gè)通道對(duì)應(yīng)的濾波器;p為訓(xùn)練樣本特征;λ為正則化參數(shù)為了提高運(yùn)算速度;s為樣本對(duì)應(yīng)的高斯函數(shù)輸出。

為提高運(yùn)算速度,將ε轉(zhuǎn)化為頻域計(jì)算,通過極值點(diǎn)求導(dǎo)法則得到濾波器輸出H:

(6)

(7)

對(duì)于新的一幀,在前一幀的位置基礎(chǔ)上,提取三倍目標(biāo)大小的圖像特征,進(jìn)行傅里葉逆變換:

y=F-1(Yt)

(8)

此時(shí)響應(yīng)最大對(duì)應(yīng)的區(qū)域即為當(dāng)前幀目標(biāo)區(qū)域。對(duì)于新位置的尺度大小,用目標(biāo)的33個(gè)尺度樣本特征訓(xùn)練原理相同的尺度濾波器,來負(fù)責(zé)檢測(cè)目標(biāo)的尺度變化,通過位置與尺度兩個(gè)濾波器的相互作用,實(shí)現(xiàn)對(duì)新一幀的目標(biāo)檢測(cè)。

3 嵌入式與PC平臺(tái)的目標(biāo)融合與識(shí)別模擬系統(tǒng)

為模擬復(fù)雜背景下紅外小目標(biāo)的運(yùn)動(dòng)情況,開發(fā)了能夠把目標(biāo)圖片融合到背景,進(jìn)行目標(biāo)估計(jì)設(shè)定、檢測(cè)與跟蹤的目標(biāo)融合識(shí)別系統(tǒng)。系統(tǒng)包括下位機(jī)嵌入式ZYNQ7000的開發(fā)平臺(tái)[12],通過紅外或可見光攝像頭完成復(fù)雜背景的圖像采集,圖像預(yù)處理、VDMA數(shù)據(jù)讀取、以太網(wǎng)控制等;通過UDP網(wǎng)絡(luò)傳輸協(xié)議把ZYNQ采集的高清背景圖像傳輸?shù)絇C端進(jìn)行圖像數(shù)據(jù)樣本解析和處理。PC端的圖像接收程序采用VC++開發(fā)了通過發(fā)送,應(yīng)答,再發(fā)送,接收數(shù)據(jù)的雙握手協(xié)議,實(shí)現(xiàn)復(fù)雜背景下圖像預(yù)處理后的傳輸與接收。通過定制上位機(jī)PC端MATLAB GUI(graphical user interface)平臺(tái),實(shí)現(xiàn)背景圖像合成,目標(biāo)疊加,疊加視頻生成,峰值信噪比PSNR(peak signal to noise ratio)的計(jì)算、目標(biāo)識(shí)別等功能。通過PC MATLAB, Visual C++, 嵌入式ZYNQ7000等軟硬件平臺(tái)完成協(xié)同設(shè)計(jì)與測(cè)試仿真,軟件的控制流程與功能模塊如圖3所示。

圖3 嵌入式與PC平臺(tái)的目標(biāo)融合與識(shí)別系統(tǒng)Fig.3 Target fusion and recognition system based on embedded and PC platform

系統(tǒng)通過不同目標(biāo)在復(fù)雜背景下的疊加融合實(shí)現(xiàn)預(yù)設(shè)場(chǎng)景的高效模擬與測(cè)試,驗(yàn)證和評(píng)測(cè)不同目標(biāo)檢測(cè)和跟蹤算法、避免復(fù)雜驗(yàn)證實(shí)驗(yàn),節(jié)約成本,提高效率。

在得到不同場(chǎng)景下的背景圖像后,通過定制開發(fā)的PC端MATLAB GUI目標(biāo)融合與檢測(cè)跟蹤系統(tǒng)可以方便選擇不同分辨率的目標(biāo)圖片,目標(biāo)數(shù)量,實(shí)現(xiàn)目標(biāo)圖片融合到背景圖片或視頻的功能;融合系統(tǒng)實(shí)現(xiàn)對(duì)不同的幀率的背景照片進(jìn)行圖像視頻生成,可設(shè)定目標(biāo)的運(yùn)動(dòng)軌跡,在不同的測(cè)試背景中變化;對(duì)生成仿真測(cè)試視頻進(jìn)行動(dòng)態(tài)展示和存儲(chǔ)。

系統(tǒng)通過人機(jī)界面菜單或按鈕可分別顯示背景視頻、目標(biāo)和背景的融合視頻、融合目標(biāo)的跟蹤視頻等,還可實(shí)現(xiàn)對(duì)融合后的圖像視頻進(jìn)行實(shí)現(xiàn)峰值信噪比(PSNR)計(jì)算,曲線顯示,實(shí)際目標(biāo)軌跡的繪制等功能,可對(duì)生成的圖像視頻按照不同路徑進(jìn)行保存。采用所提算法,對(duì)融合后小目標(biāo)進(jìn)行檢測(cè)跟蹤,其在系統(tǒng)后臺(tái)運(yùn)行。

4 實(shí)驗(yàn)研究與分析

為了進(jìn)一步驗(yàn)證ZYNQ硬件平臺(tái)與VC、 MATLAB系統(tǒng)聯(lián)合仿真能力,ZYNQ可作為視頻背景測(cè)試源處理后結(jié)果返回到PC平臺(tái),對(duì)提出的目標(biāo)檢測(cè)算法進(jìn)行實(shí)驗(yàn)測(cè)試。通過搭建系統(tǒng)可采集不同的真實(shí)實(shí)驗(yàn)場(chǎng)景下的背景數(shù)據(jù)。上位機(jī)作為接收端,可實(shí)現(xiàn)對(duì)ZYNQ嵌入式板卡采集的高清圖片或視頻的傳輸。通過配置不同需求的可見光攝像頭或紅外攝像頭等可實(shí)現(xiàn)對(duì)不同場(chǎng)景下背景環(huán)境數(shù)據(jù)的采集,為在PC端MATLAB GUI進(jìn)行目標(biāo)融合疊加、融合提供背景環(huán)境圖像樣本數(shù)據(jù)。

搭建了半實(shí)物仿真系統(tǒng)包括上位機(jī)PC端筆記本電腦,1個(gè)嵌入式ZYNQ7000開發(fā)板,千兆以太網(wǎng)線等。PC端采用所提的改進(jìn)SSD目標(biāo)識(shí)別算法識(shí)別待測(cè)目標(biāo),視頻圖像數(shù)據(jù)接收平臺(tái)采用VC++語言編制。下位機(jī)嵌入式平臺(tái)采用ZYNQ,在VIVADO環(huán)境下編制,燒錄仿真器為XDS100V1型。融合后的視頻文件可保存。

為保證模擬系統(tǒng)的目標(biāo)融合效果,對(duì)融合后的圖片進(jìn)行峰值信噪比(PSNR)計(jì)算,結(jié)果如圖4所示。

圖4 不同紅外背景區(qū)域PSNR值Fig.4 PSNR value of different infrared background areas

圖4(a)為8×8點(diǎn)目標(biāo)插入到背景上半部分區(qū)域所得到的峰值信噪比下降比率曲線;圖4(b)為點(diǎn)目標(biāo)插入到動(dòng)態(tài)變化的背景(下半部分)中峰值信噪比的曲線,相應(yīng)的不同區(qū)域PSNR下降百分比結(jié)果如表1所示。

表1 PSNR下降百分比均值Table 1 Mean value of PSNR decrease percentage %

計(jì)算8×8分辨率下目標(biāo)圖片融合到紅外視頻內(nèi)生成仿真測(cè)試視頻的全區(qū)域PSNR變化均值, 全區(qū)域疊加視頻PSNR下降不超過5%,保證圖像質(zhì)量的前提下滿足實(shí)驗(yàn)測(cè)試要求。

為驗(yàn)證所提算法在復(fù)雜環(huán)境干擾下對(duì)小目標(biāo)的識(shí)別能力,點(diǎn)目標(biāo)分別疊加于背景上、下區(qū)域,如圖5所示。通過對(duì)PSNR的計(jì)算,上半?yún)^(qū)域PSNR下降值小,整體PSNR值較大,圖像失真量少,目標(biāo)的輪廓信息清晰,用以模擬簡(jiǎn)單背景下的識(shí)別;下半?yún)^(qū)域有艦船等其他移動(dòng)目標(biāo)和干擾的噪點(diǎn),PSNR值變化均值大,識(shí)別過程中有疑似目標(biāo)干擾,模擬復(fù)雜背景。

圖5 模擬復(fù)雜背景下紅外小目標(biāo)Fig.5 Simulating small infrared targets in complex background

實(shí)驗(yàn)選取了紅外小目標(biāo)和背景圖像共300張樣本數(shù)據(jù),對(duì)其進(jìn)行特征訓(xùn)練,選擇150張不同復(fù)雜背景程度下紅外小目標(biāo)圖像進(jìn)行測(cè)試。利用平均精度AP值作為評(píng)價(jià)指標(biāo),與傳統(tǒng)SSD檢測(cè)算法進(jìn)行比較分析,對(duì)算法性能進(jìn)行評(píng)估,識(shí)別結(jié)果如圖6所示。圖中方框區(qū)域則是通過算法檢測(cè)的目標(biāo)位置。

由圖6(a),圖6(b)對(duì)比可見,圖6(a)中真實(shí)目標(biāo)設(shè)置在背景上半?yún)^(qū)域時(shí),傳統(tǒng)SSD算法深層由于特征語義信息不能與淺層結(jié)構(gòu)信息融合,使目標(biāo)細(xì)節(jié)信息丟失,當(dāng)受到下半?yún)^(qū)域艦船等移動(dòng)目標(biāo)干擾,未能有效識(shí)別真實(shí)目標(biāo),誤識(shí)別了下半?yún)^(qū)域的偽目標(biāo)。圖6(b)所提算法通過當(dāng)前幀目標(biāo)位置和尺度進(jìn)行精確估計(jì),能有效識(shí)別出上半?yún)^(qū)域的真實(shí)目標(biāo)。由圖6(c),圖6(d)對(duì)比可見,真實(shí)目標(biāo)設(shè)置在背景下半?yún)^(qū)域時(shí),目標(biāo)附近背景復(fù)雜,識(shí)別難度增加,傳統(tǒng)SSD算法受復(fù)雜背景干擾識(shí)別了下半?yún)^(qū)域的疑似偽目標(biāo)物體,不能準(zhǔn)確的檢測(cè)到真實(shí)目標(biāo),所提算法通過對(duì)混淆區(qū)域內(nèi)目標(biāo)框置信度閾值的計(jì)算與判斷,結(jié)合DSST算法,實(shí)現(xiàn)當(dāng)前幀圖像目標(biāo)位置和尺度預(yù)測(cè),在不同復(fù)雜程度背景下準(zhǔn)確的識(shí)別小目標(biāo)。

通過對(duì)運(yùn)動(dòng)目標(biāo)多幀檢測(cè)研究,所提算法與傳統(tǒng)SSD算法的精度對(duì)比如表2所示,針對(duì)選取150幀小目標(biāo)樣本圖片進(jìn)行檢測(cè),傳統(tǒng)SSD算法有效檢測(cè)129張,所提算法有效檢測(cè)147張。傳統(tǒng)算法識(shí)別的召回率為74.10%,AP值為86.89%;所提算法召回率為83.71%,AP值為98.17%,平均精度提高了11.28%,算法在復(fù)雜場(chǎng)景下具有一定的自適應(yīng)性,改善了目標(biāo)識(shí)別能力。

表2 不同算法的檢測(cè)精度對(duì)比Table 2 Comparison of detection accuracy of different algorithms

5 結(jié)論

提出改進(jìn)的SSD網(wǎng)絡(luò)與DSST紅外小目標(biāo)檢測(cè)算法,通過加入特征金字塔網(wǎng)絡(luò)來豐富卷積層,在特征圖生成階段加入通道-空間注意力機(jī)制提高小目標(biāo)的區(qū)域權(quán)值;在改進(jìn)檢測(cè)網(wǎng)絡(luò)提高小目標(biāo)檢測(cè)能力的同時(shí),通過閾值判斷結(jié)合DSST算法,對(duì)當(dāng)前幀圖像目標(biāo)進(jìn)行位置和尺度預(yù)測(cè),檢測(cè)目標(biāo)位置。搭建了嵌入式ZYNQ與PC平臺(tái)的目標(biāo)融合模擬系統(tǒng),利用嵌入式ZYNQ平臺(tái)進(jìn)行背景圖像采集,將背景圖像樣本數(shù)據(jù)傳輸給PC端,進(jìn)行數(shù)據(jù)解析后,實(shí)現(xiàn)背景圖像合成,目標(biāo)疊加,目標(biāo)軌跡設(shè)定、疊加視頻生成,峰值信噪比PSNR的計(jì)算、融合后目標(biāo)識(shí)別等功能。針對(duì)實(shí)驗(yàn)采集的紅外樣本,采用傳統(tǒng)SSD與所提算法進(jìn)行測(cè)試實(shí)驗(yàn)和精度對(duì)比,AP值提高了11.28%,驗(yàn)證了所提算法有效性。