基于Fsater R-CNN的超像素定位引導(dǎo)的圖像火焰檢測(cè)方法

柳同軍，年福東，呂 剛，蔣鵬飛，吳 超

(合肥學(xué)院 先進(jìn)制造工程學(xué)院，安徽 合肥 230601)

火災(zāi)是人類社會(huì)生產(chǎn)活動(dòng)中最普遍的災(zāi)害之一，火災(zāi)發(fā)生突然不易控制，并且會(huì)對(duì)社會(huì)生產(chǎn)造成嚴(yán)重的阻礙，對(duì)人們的生命財(cái)產(chǎn)安全構(gòu)成嚴(yán)重的威脅。因此，實(shí)時(shí)的火災(zāi)監(jiān)測(cè)系統(tǒng)對(duì)維持社會(huì)穩(wěn)定，保障人類的生命財(cái)產(chǎn)安全有著至關(guān)重要的作用，圖像火焰檢測(cè)技術(shù)是一種基于圖像的火災(zāi)檢測(cè)方法，具有檢測(cè)精度高，效率快等優(yōu)點(diǎn)，被越來(lái)越多的用于火災(zāi)檢測(cè)和早期預(yù)警[1-4]。火焰有多種顏色，它的形狀和輪廓會(huì)隨著時(shí)間變化而變化，它具有閃爍和動(dòng)態(tài)紋理特征，火焰的形狀、輪廓、運(yùn)動(dòng)和紋理特征不可預(yù)測(cè)。傳統(tǒng)的火焰檢測(cè)方法，包括通過(guò)傳感器檢測(cè)溫度的方法[5-7]，但是由于技術(shù)缺陷，存在誤檢、漏檢、檢測(cè)延時(shí)等問(wèn)題[8-11]，很難達(dá)到實(shí)時(shí)監(jiān)測(cè)并進(jìn)行預(yù)警的目的。隨著圖像處理技術(shù)和計(jì)算機(jī)視覺(jué)的發(fā)展，圖像火焰檢測(cè)技術(shù)得到了大量的研究[12-14]。目前，圖像火焰檢測(cè)方法主要有基于人工設(shè)計(jì)的圖像特征和基于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 提取的圖像的深度特征。在基于圖像的深度特征的方法中，一般將火焰檢測(cè)看作分類任務(wù)，將卷積神經(jīng)網(wǎng)絡(luò)作為分類器，這種方法一般準(zhǔn)確率較低，且無(wú)法定位火焰準(zhǔn)確位置[15]。我們提出一種基于超像素定位火焰區(qū)域引導(dǎo)的Faster R-CNN的模型，結(jié)合掩膜卷積技術(shù)，在超像素定位的火焰區(qū)域中的超像素的聚類中心設(shè)置錨點(diǎn)，使得僅在超像素定位的火焰區(qū)域附近生成錨，大大減少了錨的數(shù)量，減少了Faster R-CNN火焰檢測(cè)的計(jì)算量，提高了檢測(cè)效率，并提高了圖像火焰檢測(cè)的性能。

1 材料與方法

1.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用的硬件平臺(tái)均為Inter(R) Xeon(R) W-2123 CPU @3.6GHz和32G顯存的NVIDIA Quadro P4000 GPU，軟件開發(fā)環(huán)境為python，搭建模型使用的框架為TensorFlow，所使用的操作系統(tǒng)為Ubuntu16.0.4。實(shí)驗(yàn)過(guò)程中，F(xiàn)aster R-CNN使用的網(wǎng)絡(luò)為ResNet50。此外，還使用到了opencv 3.4.4庫(kù)。模型訓(xùn)練過(guò)程中，動(dòng)量參數(shù)(momentum)設(shè)定為0.9，學(xué)習(xí)率(learning rate)設(shè)定為0.001，批處理大小(batch size)設(shè)定為64。

1.2 超像素定位火焰區(qū)域及拋錨策略

超像素是具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺(jué)意義的不規(guī)則像素塊，它利用像素之間特征的相似性將像素分組,用少量的超像素代替大量的像素來(lái)表達(dá)圖片特征,很大程度上降低了圖像處理的復(fù)雜程度。簡(jiǎn)單的線性迭代聚類(SLIC)是實(shí)現(xiàn)超像素分割的一種算法，它將彩色圖像轉(zhuǎn)化為CIELAB顏色空間和XY坐標(biāo)下的5維特征向量，然后對(duì)5維特征向量構(gòu)造距離度量標(biāo)準(zhǔn)，對(duì)圖像像素進(jìn)行局部聚類。原始圖像和SLIC算法處理后的圖像如下圖1和圖2所示。

圖1 原始圖像

圖2 SLIC算法處理后圖像

為了通過(guò)超像素定位火焰區(qū)域，我們通過(guò)Santos等[16]提出的標(biāo)注超像素的方法，在數(shù)據(jù)集中選取一部分圖片進(jìn)行超像素真實(shí)標(biāo)簽的標(biāo)注，其中包含火焰的圖片為823張，不包含火焰的圖片為1084張，供后續(xù)模型的訓(xùn)練、驗(yàn)證和測(cè)試。通過(guò)超像素火焰區(qū)域檢測(cè)產(chǎn)生的不規(guī)則輪廓均被轉(zhuǎn)換為邊界矩形，并判斷它與真實(shí)標(biāo)簽的交集，若相交比例大于0.5，則判定對(duì)應(yīng)的超像素為火焰區(qū)域；若不大于0.5，則判定為非火焰區(qū)域。通過(guò)這種方法，結(jié)合Inception網(wǎng)絡(luò)，訓(xùn)練出模型，即達(dá)到通過(guò)超像素對(duì)火焰區(qū)域進(jìn)行初步定位的目的。通過(guò)超像素定位火焰區(qū)域模型定位火焰區(qū)域的效果如下圖3所示，其中灰色框代表非火焰區(qū)域超像素，白色框代表火焰區(qū)域模型。

圖3 超像素定位火焰區(qū)域效果圖

Faster R-CNN進(jìn)行目標(biāo)檢測(cè)的過(guò)程中，對(duì)于非特定目標(biāo)的檢測(cè)任務(wù)，為了保證整個(gè)圖像被合適的錨覆蓋，要求錨點(diǎn)廣泛地分布在圖像的每個(gè)區(qū)域。但對(duì)于火焰檢測(cè)任務(wù)，圖像區(qū)域的種類只有火焰和背景，密集的拋錨策略會(huì)使得錨生成在很多沒(méi)有火焰的圖像區(qū)域，嚴(yán)重影響檢測(cè)效率。本文中，我們通過(guò)超像素目標(biāo)定位方法訓(xùn)練模型，來(lái)檢測(cè)圖像中的候選火焰區(qū)域，受到Wang等[17]提出的引導(dǎo)性拋錨策略的啟發(fā)，提出了基于超像素定位火焰區(qū)域模型引導(dǎo)的稀疏的拋錨策略，僅在超像素定位的候選火焰區(qū)域的聚類中心設(shè)置錨點(diǎn)，對(duì)應(yīng)圖中綠色框表示的火焰區(qū)域的聚類中心設(shè)為錨點(diǎn)。每個(gè)錨點(diǎn)生成9種不同形狀大小的錨，從而提升火焰檢測(cè)的效率與準(zhǔn)確性。

1.3 模型結(jié)構(gòu)

設(shè)計(jì)了一個(gè)由超像素定位引導(dǎo)的Faster R-CNN的模型結(jié)構(gòu)，該結(jié)構(gòu)如下圖4所示。首先，將圖像輸入預(yù)先訓(xùn)練好的超像素定位火焰模型，獲取基于該模型生成的火焰候選區(qū)域；然后將超像素定位后的圖片輸入卷積層，進(jìn)行特征提取，輸出特征圖；接著將特征圖輸入RPN網(wǎng)絡(luò)，同時(shí)通過(guò)超像素定位火焰模型進(jìn)行引導(dǎo)，在候選火焰區(qū)域每一個(gè)超像素的聚類中心生成錨，得到經(jīng)過(guò)篩選和回歸后的火焰區(qū)域；最后，將火焰區(qū)域輸入分類網(wǎng)絡(luò)，得到最終的分類和精準(zhǔn)的檢測(cè)框。其中RPN網(wǎng)絡(luò)，經(jīng)過(guò)超像素定位火焰模型的引導(dǎo)，僅在候選火焰區(qū)域進(jìn)行卷積，其他區(qū)域置零，從而減少計(jì)算量，提高模型的檢測(cè)效率。

圖4 由超像素定位引導(dǎo)的Faster R-CNN的模型結(jié)構(gòu)

1.4 模型訓(xùn)練

對(duì)于模型的訓(xùn)練，參考Ren等[18]的訓(xùn)練策略進(jìn)行訓(xùn)練。模型結(jié)構(gòu)中的RPN網(wǎng)絡(luò)和分類網(wǎng)絡(luò)會(huì)進(jìn)行候選框的分類和回歸，均會(huì)產(chǎn)生計(jì)算誤差。對(duì)于分類誤差，本文采用交叉熵?fù)p失計(jì)算；對(duì)于候選框的回歸誤差，則采用平滑L1損失函數(shù)計(jì)算。此外，本文利用Aslan等[11]提出的訓(xùn)練策略，以端對(duì)端的形式進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中，將通過(guò)超像素定位的候選火焰區(qū)域外的候選框?yàn)V除，僅火焰區(qū)域的候選框參加訓(xùn)練。訓(xùn)練過(guò)程中的損失包含上述四個(gè)誤差，利用交叉熵?fù)p失計(jì)算RPN和分類網(wǎng)絡(luò)中的候選框分類誤差，利用平滑L1損失函數(shù)計(jì)算候選框的回歸誤差，整個(gè)模型的損失為四個(gè)誤差之和，損失函數(shù)公式如公式 (1) 所示。

(1)

其中fce為交叉熵?fù)p失函數(shù)，fsL1為平滑L1損失函數(shù)，ci為第i個(gè)候選框是否包含火焰的置信度，ci*為該候選框?qū)?yīng)真實(shí)候選框的置信標(biāo)簽，ri為該候選框的回歸的修正量，ri*為該候選框?qū)?yīng)真實(shí)候選框回歸需要的修正量。

2 結(jié)果與分析

2.1 檢測(cè)數(shù)據(jù)集分析

通過(guò)數(shù)據(jù)挖掘技術(shù)抓取圖像，以及作者模擬場(chǎng)景采集火焰視頻數(shù)據(jù)形成數(shù)據(jù)集，圖5為部分?jǐn)?shù)據(jù)集圖片，包括含火焰和不含火焰圖片總共32089張，其中含火焰圖片17156張，不含火焰圖片14933張。在實(shí)驗(yàn)過(guò)程中我們選擇數(shù)據(jù)集中的一部分圖片作為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并預(yù)先對(duì)訓(xùn)練和驗(yàn)證集進(jìn)行標(biāo)注，訓(xùn)練集、驗(yàn)證集和測(cè)試集中的正負(fù)樣本數(shù)量如表1所示?；谇懊嫣岢龅膶?shí)驗(yàn)環(huán)境，通過(guò)表1中的訓(xùn)練集訓(xùn)練模型，利用驗(yàn)證集進(jìn)行模型優(yōu)化，得到基于各方法的檢測(cè)模型。

表1 訓(xùn)練、驗(yàn)證及測(cè)試集的圖片數(shù)量

2.2 檢測(cè)模型的測(cè)試分析

利用測(cè)試集對(duì)檢測(cè)模型進(jìn)行測(cè)試。表2展示了原始Faster R-CNN方法與本文的超像素定位引導(dǎo)的Faster R-CNN的比較。從表2可以看到：通過(guò)超像素定位引導(dǎo)的Faster R-CNN方法得到的檢測(cè)模型檢測(cè)性能優(yōu)于原始Faster R-CNN生成的模型，檢測(cè)效率也優(yōu)于原始Faster R-CNN生成的模型。

表2 原始Faster R-CNN方法和超像素定位引導(dǎo)的Faster R-CNN的比較

2.3 檢測(cè)模型的有效性分析

通過(guò)表3和表4，我們比較了原始Faster R-CNN方法、黃杰等人[14]的方法和超像素定位引導(dǎo)的Faster R-CNN方法在檢測(cè)性能和效率方面的差異。由表3和表4可以看出，超像素定位引導(dǎo)的Faster R-CNN方法的生成的模型測(cè)試時(shí)所需的運(yùn)行時(shí)間更短，模型評(píng)估的精準(zhǔn)度更好，因此，我們判定超像素定位引導(dǎo)的Faster R-CNN方法生成的模型的檢測(cè)效率更高，性能更好。

表3 三種Faster R-CNN方法的運(yùn)行時(shí)間的比較

表4 三種Faster R-CNN方法的精準(zhǔn)度的比較

此外，圖5展示了實(shí)驗(yàn)環(huán)境下，通過(guò)測(cè)試集測(cè)試的對(duì)火焰圖像的檢測(cè)結(jié)果，可以看出，圖像中的火焰均被正確檢出，說(shuō)明我們的模型是有效的。

圖5 檢測(cè)結(jié)果實(shí)例

3 結(jié)語(yǔ)

本文基于Faster R-CNN的目標(biāo)檢測(cè)方法，提出了由超像素定位火焰模型引導(dǎo)的火焰檢測(cè)方法，僅在火焰區(qū)域的超像素的聚類中心生成錨。這種改變提高了Faster R-CNN算法在圖像火焰檢測(cè)上的性能和效率。在本文的數(shù)據(jù)集下，對(duì)現(xiàn)有的幾種方法進(jìn)行比較，對(duì)這些模型進(jìn)行評(píng)估后，本文的方法在檢測(cè)速度方面提升了16%，并且有較好的檢測(cè)精度。通過(guò)實(shí)驗(yàn)，驗(yàn)證了該方法生成的模型對(duì)圖像火焰檢測(cè)有較好的性能和效率。在未來(lái)的方向上，通過(guò)優(yōu)化超像素定位火焰區(qū)域模型，進(jìn)一步提高檢測(cè)效率，減少計(jì)算量。此外，考慮將本文方法應(yīng)用于實(shí)際場(chǎng)景，例如森林火災(zāi)檢測(cè)、工廠火災(zāi)監(jiān)控等存在火災(zāi)風(fēng)險(xiǎn)的場(chǎng)景中。