基于紅外智能視頻檢測(cè)的自適應(yīng)加速檢測(cè)算法

祁海軍,劉智嘉,趙金博,夏寅輝,高旭輝

(北京波譜華光科技有限公司,北京 100015)

1 引 言

紅外熱像儀可在黑暗、雨霧以及煙云條件下對(duì)周圍環(huán)境及探測(cè)目標(biāo)成像,所以熱像儀具有全天候及全時(shí)段工作的特點(diǎn)而廣泛應(yīng)用于國防及安全領(lǐng)域。由于早期的紅外成像設(shè)備較為昂貴,使用紅外成像設(shè)備的車輛輔助駕駛系統(tǒng)僅針對(duì)軍用車輛使用而開發(fā),以便在煙塵、無照明條件的野外以及各種可視條件不佳的情況下為軍用車輛提供駕駛輔助信息。隨著半導(dǎo)體技術(shù)的發(fā)展及紅外焦平面探測(cè)器成本的不斷下降,紅外熱像儀的應(yīng)用已經(jīng)從軍用領(lǐng)域逐漸擴(kuò)展至民用領(lǐng)域。

早期的紅外圖像目標(biāo)檢測(cè)算法主要基于傳統(tǒng)的圖像處理方法,如HOG[1],LBP[2-3]以及SIFT[4-5]等方法。傳統(tǒng)檢測(cè)方法的基本原理均采用人工設(shè)計(jì)的樣本輪廓特征提取方法,這樣的做法通常不可避免如下缺點(diǎn):一方面對(duì)設(shè)計(jì)人員要求較高,需要設(shè)計(jì)人員具有相當(dāng)程度的專業(yè)知識(shí)和設(shè)計(jì)經(jīng)驗(yàn)；另一方面由于僅使用簡單的輪廓作為判斷特征,識(shí)別準(zhǔn)確率很難隨算法改進(jìn)而不斷提高?；趥鹘y(tǒng)圖像算法的紅外車輛輔助駕駛系統(tǒng)也沒有消除上述缺點(diǎn)。

近些年隨著人工智能技術(shù)的發(fā)展,智能車輛輔助駕駛系統(tǒng)已經(jīng)越來越成熟,隨著智能檢測(cè)算法在很多領(lǐng)域取得接近甚至超過人類對(duì)相同目標(biāo)的識(shí)別準(zhǔn)確率,一些廠商已經(jīng)推出具備自動(dòng)駕駛功能的車輛。不過,當(dāng)前的智能車輔幾乎都是基于可見光成像設(shè)備,工作環(huán)境受到可見光成像條件的制約。將紅外成像和智能識(shí)別的優(yōu)勢(shì)相結(jié)合就成為解決上述一系列問題的重要方法之一。作為智能檢測(cè)算法種非常重要的組成部分——深度學(xué)習(xí)檢測(cè)算法利用大量卷積運(yùn)算對(duì)圖像中樣本特征進(jìn)行全面提取并自主抽象高級(jí)別特征,具有傳統(tǒng)識(shí)別算法無法比擬的檢測(cè)準(zhǔn)確率,常用的方法如R-CNN[6]、Fast R-CNN[7]、Faster R-CNN[8]、SSD[9-10]及YOLO[11-12]等。由于深度學(xué)習(xí)檢測(cè)算法對(duì)硬件的算力要求較高,所以智能檢測(cè)算法雖然在檢測(cè)準(zhǔn)確率的表現(xiàn)上遠(yuǎn)超傳統(tǒng)檢測(cè)算法,但其檢測(cè)速度卻相對(duì)緩慢得多,如何在保證檢測(cè)準(zhǔn)確率的前提下提升檢測(cè)速度一直相關(guān)研究的重點(diǎn)和難點(diǎn)。特別是紅外智能車輔系統(tǒng)關(guān)系到目視條件較差的行車安全問題,所以應(yīng)用中的實(shí)時(shí)性需要絕對(duì)保證。

紅外智能車輛輔助系統(tǒng)硬件部分均為可部署于車輛的移動(dòng)終端,通常使用嵌入式硬件平臺(tái)或FPGA。盡管近些年移動(dòng)終端在小型化、低功耗、高性能方面取得了不小的進(jìn)步,但相對(duì)于使用專業(yè)計(jì)算卡的計(jì)算機(jī)性能仍相差甚遠(yuǎn),所以大部分嵌入式硬件平臺(tái)即使可以部署深度學(xué)習(xí)算法,也要在檢測(cè)準(zhǔn)確率和檢測(cè)速度之間進(jìn)行取舍。目前基于深度學(xué)習(xí)的紅外目標(biāo)檢測(cè)方法的終端應(yīng)用優(yōu)化主要利用對(duì)卷積網(wǎng)絡(luò)中卷積層數(shù)量進(jìn)行壓縮以減少卷積運(yùn)算,提高整體運(yùn)行速度。但是這樣的結(jié)果會(huì)導(dǎo)致檢測(cè)準(zhǔn)確率下降和目標(biāo)漏檢及誤檢。為了盡可能不降低算法模型的檢測(cè)準(zhǔn)確率,優(yōu)化策略往往選擇在滿足實(shí)時(shí)檢測(cè)的最低條件下盡可能少的降低檢測(cè)準(zhǔn)確率。但是,在實(shí)際應(yīng)用中由于車速突然改變或者檢測(cè)背景發(fā)生較大變化時(shí),可能會(huì)出現(xiàn)檢測(cè)速度突然明顯下降的情況,導(dǎo)致紅外智能車輛輔助駕駛系統(tǒng)的顯示畫面出現(xiàn)卡頓。上述情況的出現(xiàn)不僅影響車輛輔助駕駛系統(tǒng)對(duì)成像視野內(nèi)目標(biāo)的檢測(cè),也會(huì)嚴(yán)重影響對(duì)外界環(huán)境成像,妨礙駕駛者判斷,甚至導(dǎo)致惡性交通事故發(fā)生。

2 智能算法視頻檢測(cè)原理分析

紅外智能識(shí)別算法檢測(cè)視頻的本質(zhì)是先將視頻分解為逐幀圖像,然后對(duì)分解圖像依照順序進(jìn)行逐幀檢測(cè),再將帶有檢測(cè)信息的圖像合成視頻輸出至顯示設(shè)備。每幀圖像的檢測(cè)信息包括圖片內(nèi)所有被檢測(cè)出目標(biāo)的檢測(cè)框坐標(biāo)信息和目標(biāo)的類別信息,并根據(jù)當(dāng)前圖像檢測(cè)速度計(jì)算出即時(shí)視頻檢測(cè)速度,即每秒檢測(cè)幀數(shù)(FPS):

(1)

式中,t為檢測(cè)模型檢測(cè)單張圖像所用時(shí)間,FPS也稱即時(shí)檢測(cè)幀率,由智能識(shí)別算法實(shí)時(shí)獲得并輸出。

深度學(xué)習(xí)算法網(wǎng)絡(luò)模型逐幀檢測(cè)流程如下(如圖1所示):

(1)視頻信號(hào)輸入；

(2)視頻被拆分為逐幀圖像；

(3)逐幀圖像送入智能檢測(cè)模型；

(4)對(duì)圖像進(jìn)行檢測(cè)并對(duì)識(shí)別目標(biāo)進(jìn)行標(biāo)記；

基建工程是一項(xiàng)龐大而繁雜的工程，它不僅歷時(shí)較長，耗資巨大，而且在施工過程中，所涉及的單位、人員也比較多，所需專業(yè)面也非常廣。基建檔案作為工程項(xiàng)目建設(shè)的第一手資料，可以為企業(yè)各環(huán)節(jié)的工作提供重要依據(jù)，減少資源浪費(fèi)現(xiàn)象，有效維護(hù)企業(yè)權(quán)益，促進(jìn)企業(yè)健康持續(xù)的發(fā)展。

(5)將標(biāo)記后圖像序列合成視頻；

(6)合成視頻輸出至顯示設(shè)備。

圖1 逐幀智能檢測(cè)流程圖

通過上述檢測(cè)流程,輸入視頻經(jīng)過智能檢測(cè)算法模型檢測(cè)標(biāo)記后再輸出顯示,為駕駛員提供駕駛輔助信息。當(dāng)每幀圖像檢測(cè)時(shí)間小于40 ms時(shí),即FPS不少于25時(shí)實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。若使用中FPS小于25,則顯示畫面會(huì)出現(xiàn)卡頓,駕駛者不能實(shí)時(shí)獲得檢測(cè)及成像信息。

3 自適應(yīng)隔幀檢測(cè)算法

自適應(yīng)隔幀檢測(cè)算法原理說明:

為了方便敘述定義變量如下:IB為存儲(chǔ)檢測(cè)模型對(duì)被檢圖像檢測(cè)過程中生成的最新目標(biāo)檢測(cè)信息及檢測(cè)幀率(FPS)的臨時(shí)變量；JF為隔幀總數(shù),表示檢測(cè)模式為每隔JF幀圖像檢測(cè)一幀圖像,缺省值為0；RJF為當(dāng)前隔幀數(shù),若RJF>0,表示當(dāng)前圖像為被隔圖像,若RJF=0,則當(dāng)前圖像需進(jìn)行目標(biāo)檢測(cè),RJF缺省值為0；LT為閾值下限,預(yù)設(shè)為25；HT為閾值上限,預(yù)設(shè)為為32,閾值可根據(jù)具體使用場(chǎng)景設(shè)置；JFPS為整體輸出幀率即每秒輸出圖像數(shù)量,由于檢測(cè)過程輸出的即時(shí)速度不包括隔幀幀數(shù),所以應(yīng)重新計(jì)算全部圖像的輸出幀率,計(jì)算公式為:

JFPS=(JF+1)×FPS

(2)

當(dāng)逐幀檢測(cè)時(shí),JF為0,JFPS即為FPS。若隔幀總數(shù)為1,則速度加快一倍。

視頻信號(hào)輸入后被拆分為逐幀圖像,圖像依次進(jìn)入檢測(cè)系統(tǒng)前通過RJF數(shù)值對(duì)當(dāng)前圖像是否需要檢測(cè)進(jìn)行判斷。由于參數(shù)設(shè)置,首幀圖像默認(rèn)為被檢圖像,檢測(cè)所獲得的目標(biāo)檢測(cè)信息及速度信息保存于IB中并根據(jù)圖像檢測(cè)速度對(duì)JF進(jìn)行操作:若檢測(cè)速度高于實(shí)時(shí)檢測(cè)速度,則保持目前檢測(cè)狀態(tài)不變；若檢測(cè)速度低于實(shí)時(shí)檢測(cè)速度,則JF值增加并將更新后的JF值賦于RJF,從檢測(cè)下一幀圖像開始增加隔幀數(shù)量,以提升檢測(cè)速度,直至滿足實(shí)時(shí)檢測(cè)及顯示的速度需求。被隔圖像跳過檢測(cè)流程直接將IB中的檢測(cè)信息復(fù)制至圖像并顯示檢測(cè)框及類別信息,并根據(jù)IB中保存的速度信息計(jì)算根據(jù)公式(2)計(jì)算即使速度JFPS,并根據(jù)JFPS進(jìn)行判斷以選擇后續(xù)隔幀檢測(cè)模式。

當(dāng)JFPS超過HT則說明檢測(cè)條件好轉(zhuǎn),可減少隔幀數(shù)量,則JF減少并賦值于RJF,立即增加檢測(cè)圖像數(shù)量,隨后根據(jù)JFPS繼續(xù)判斷是否需要繼續(xù)減少JF,直至恢復(fù)逐幀檢測(cè)。

由于被隔圖像不進(jìn)行目標(biāo)檢測(cè),圖像中缺少檢測(cè)信息,所以將IB中的檢測(cè)信息直接復(fù)制至被隔圖像,以避免因合成視頻中僅被檢圖像具有檢測(cè)框而出現(xiàn)顯示畫面閃爍的問題,方便使用者觀察。并利用保存在IB中的檢測(cè)速度信息計(jì)算不同隔幀模式下的整體即時(shí)檢測(cè)速度。結(jié)合智能檢測(cè)算法的整體流程如圖2。

圖2 自適應(yīng)隔幀智能檢測(cè)流程圖

整體檢測(cè)流程如下:

(1)采集視頻或者已錄制視頻作為輸入讀入至識(shí)別網(wǎng)絡(luò)；

(2)待檢測(cè)視頻拆分為順序逐幀圖像；進(jìn)行圖像是否被檢測(cè)判斷:如果 RJF > 0:復(fù)制檢測(cè)信息至被隔圖像,并將檢測(cè)框標(biāo)注至被隔圖像相應(yīng)位置；轉(zhuǎn)至流程(6)；否則:進(jìn)行下一步；

(3)被檢圖像送至檢測(cè)模型；

(4)檢測(cè)模型對(duì)送入圖像進(jìn)行檢測(cè)并標(biāo)記檢測(cè)信息,并將檢測(cè)信息及當(dāng)前圖像目標(biāo)檢測(cè)的速度信息更新至變量IB；

(6)利用公式(2)計(jì)算當(dāng)前整體即時(shí)檢測(cè)速度；

(7)檢測(cè)速度判斷:如果JFPS < LT:JF=JF+1;RJF=JF；如果 JFPS > 30:如果JF>0,JF=JF-1;RJF=JF；否則:RJF=RJF-1；如果 RJF<0:RJF=JF；

(8)依照拆分順序合成視頻；

(9)終端顯示。

視頻的檢測(cè)過程為上述過程的持續(xù)循環(huán),直至視頻檢測(cè)結(jié)束。

由于實(shí)時(shí)檢測(cè)最低檢測(cè)速度為25 f/s,故LT設(shè)定為25。根據(jù)紅外視頻的智能檢測(cè)在實(shí)際應(yīng)用中檢測(cè)速度會(huì)在較小范圍內(nèi)波動(dòng)的現(xiàn)象,將HT設(shè)定為32 f/s,該值可根據(jù)具體檢測(cè)算法和檢測(cè)環(huán)境自行設(shè)定。通過閾值判斷進(jìn)行增減隔幀數(shù)量實(shí)現(xiàn)對(duì)序列圖像檢測(cè)模式的改變,保證紅外智能車輛輔助駕駛系統(tǒng)檢測(cè)及成像的實(shí)時(shí)性。

4 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

本文對(duì)同一智能檢測(cè)算法模型分別使用逐幀和隔兩幀檢測(cè)模式進(jìn)行速度對(duì)比實(shí)驗(yàn),通過實(shí)驗(yàn)結(jié)果分析,驗(yàn)證自適應(yīng)隔幀算法對(duì)智能檢測(cè)算法模型檢測(cè)速度提升的有效性。為使實(shí)驗(yàn)平臺(tái)更接近實(shí)際應(yīng)用終端硬件性能,本次實(shí)驗(yàn)選擇Nvidia Jetson TX2嵌入式平臺(tái),算法模型使用相同的Darknet深度學(xué)習(xí)框架下的YOLOv3改進(jìn)模型。由于使用相同軟硬件進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果具有可對(duì)比性。

表1 Nvidia Jetson TX2主要參數(shù)

圖3 Nvidia Jetson TX2

實(shí)驗(yàn)對(duì)同一視頻分別利用逐幀檢測(cè)和隔兩幀檢測(cè)模式進(jìn)行檢測(cè),結(jié)果如圖4所示。

圖4(a)為使用逐幀檢測(cè)模式檢測(cè)幀率,最低檢測(cè)幀率及最高檢測(cè)幀率分別為29.1 f/s和32 f/s。圖4(b)所示為使用隔兩幀檢測(cè)模式下整體檢測(cè)幀率,檢測(cè)最低幀率和檢測(cè)最高幀率分別為55 f/s和77.2 f/s。通過圖中所示實(shí)驗(yàn)結(jié)果對(duì)比可以看出使用隔兩幀檢測(cè)模式相對(duì)于逐幀檢測(cè)模式的檢測(cè)速度提升效果顯著。

相同圖像使用逐幀與隔兩幀檢測(cè)模式效果對(duì)比如圖5所示,圖5(a)為逐幀檢測(cè)模式效果圖像,圖5(b)所示為隔兩幀檢測(cè)同一圖像效果。圖像中目標(biāo)行人從攝像設(shè)備左側(cè)向右側(cè)步行通過,距離適中。從圖像中可以看到,使用相同模型對(duì)同一圖像進(jìn)行檢測(cè),但是由于采用不同隔幀檢測(cè)模式所以檢測(cè)效果有較明顯區(qū)別。逐幀檢測(cè)圖像檢測(cè)框緊貼行人外輪廓,定位準(zhǔn)確。隔兩幀檢測(cè)由于檢測(cè)信息為前兩幀圖像檢測(cè)信息直接復(fù)制獲得,檢測(cè)框相對(duì)檢測(cè)樣本有輕微偏移現(xiàn)象,行人身體有很小部分在檢測(cè)框外,但被檢目標(biāo)絕大部分仍在檢測(cè)框包圍面積內(nèi)。

行人徑向移動(dòng)是逐幀和隔兩幀模式下檢測(cè)效果對(duì)比如圖6所示。圖中行人以徑向遠(yuǎn)離攝像設(shè)備方向步行移動(dòng),距離攝像設(shè)備距離適中。其中圖6(a)為逐幀檢測(cè)圖像,圖像中檢測(cè)框緊貼行人外輪廓,檢測(cè)效果良好。圖6(b)為相同圖像使用隔兩幀檢測(cè)方式檢測(cè)效果圖像,可以看到檢測(cè)框的位置和形態(tài)與上圖完全一樣,這是因?yàn)?(b)為6(a)隔1幀后圖像,圖像中檢測(cè)框?yàn)?(a)圖檢測(cè)信息復(fù)制獲得,所以行人有部分身體在檢測(cè)框外,其中以左側(cè)行人更加明顯。圖6(c)為(b)圖像逐幀檢測(cè)效果,可見檢測(cè)框緊貼行人,行人身體完全在檢測(cè)框內(nèi),檢測(cè)效果良好。

通過對(duì)使用隔幀檢測(cè)的檢測(cè)速度進(jìn)行定量對(duì)比實(shí)驗(yàn)可以看到隔幀算法對(duì)檢測(cè)提速具有明顯效果,證明了算法的有效性。而后通過檢測(cè)效果實(shí)驗(yàn)可以看到,使用了隔幀檢測(cè)算法后雖然檢測(cè)框相對(duì)于檢測(cè)目標(biāo)稍有偏移,但樣本的絕大部分面積仍然被檢測(cè)框覆蓋,對(duì)于駕駛者來說仍然具有一定程度的提示和輔助意義。并且使用自適應(yīng)隔幀算法的紅外智能車輛輔助系統(tǒng)即使在完全不能進(jìn)行目標(biāo)檢測(cè)的極端情況,也可以保證紅外智能車輛輔助系統(tǒng)對(duì)環(huán)境的實(shí)時(shí)探測(cè)成像,這對(duì)于駕駛者在可視條件不佳的狀況下安全駕駛具有重要意義。

5 結(jié) 論

本文針對(duì)紅外智能車輔在應(yīng)用過程中可能出現(xiàn)的檢測(cè)速度下降而導(dǎo)致的畫面卡頓及不能實(shí)時(shí)成像的問題,通過對(duì)常規(guī)智能算法模型檢測(cè)模式流程的分析,提出了自適應(yīng)隔幀檢測(cè)算法。該算法可以在紅外智能車輔使用過程中根據(jù)當(dāng)前檢測(cè)速度對(duì)檢測(cè)策略進(jìn)行自動(dòng)調(diào)整,自主平衡檢測(cè)精度和速度的關(guān)系,確保紅外智能車輔檢測(cè)及成像的實(shí)時(shí)性。通過實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果分析,自適應(yīng)隔幀算法對(duì)檢測(cè)速度提升的有效性得到驗(yàn)證。根據(jù)圖像檢測(cè)效果實(shí)驗(yàn)的結(jié)果,證明使用隔幀檢測(cè)模式的檢測(cè)圖像仍具有一定的輔助提示作用,實(shí)現(xiàn)了算法提出的預(yù)期目的。與此同時(shí),在算法的改進(jìn)提出的過程中仍有一些不足,如是否可以簡單預(yù)測(cè)被隔圖像的檢測(cè)框信息,使隔幀圖像的檢測(cè)信息更為準(zhǔn)確,可以作為下一步改進(jìn)的方向。