改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)在圖像煙霧檢測的應(yīng)用

魏偉航 馬乾力 高治良 趙錦成

摘 要：目前基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測主要通過若干個有序的卷積層的學(xué)習(xí)識別煙霧。為了提高煙霧檢測的精確度，提出了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)框架。該框架增加了批量歸一化層和輕量級的卷積結(jié)構(gòu)，并提取網(wǎng)絡(luò)中不同卷積層的特征圖進(jìn)行聯(lián)合訓(xùn)練。改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)更小，訓(xùn)練參數(shù)更少。在仿真實(shí)驗(yàn)中，對訓(xùn)練數(shù)據(jù)進(jìn)行了圖像擴(kuò)增，結(jié)果證明了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)能夠有效提高煙霧識別的準(zhǔn)確率和識別速度。

關(guān)鍵詞： 煙霧檢測;卷積神經(jīng)網(wǎng)絡(luò);圖像擴(kuò)增

文章編號： 2095-2163（2019）03-0040-05?中圖分類號： TP391?文獻(xiàn)標(biāo)志碼： A

0?引?言

煙霧檢測作為防治火災(zāi)的一種重要且有效的方法，一直是國內(nèi)外火情預(yù)警研究的重要方向。傳統(tǒng)的煙霧檢測方案主要采用溫度感應(yīng)傳感器、濕度感應(yīng)傳感器和煙感應(yīng)式傳感器等[1]，這些傳感器價廉物美，準(zhǔn)確度高，但是感應(yīng)范圍較小、且容易損壞，難以大面積鋪設(shè)，不適用于一些空間較大的高火災(zāi)隱患場所。隨著圖像、視頻等數(shù)據(jù)大規(guī)模普及和深度學(xué)習(xí)的興起，基于圖像識別的煙霧檢測技術(shù)成為了更加方便，科學(xué)的火災(zāi)探測手段。

卷積神經(jīng)網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò)模型，主要應(yīng)用于圖像識別，僅就過去的不到10年期間，即在目標(biāo)識別、物體定位等領(lǐng)域中取得了巨大的成就?，F(xiàn)有的基于圖像識別的煙霧檢測方法主要采用局部模式特征、灰度共生矩陣或者各類統(tǒng)計(jì)量（如標(biāo)準(zhǔn)差、均值、傾斜度等）特征對煙霧進(jìn)行建模[2]，而使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煙霧檢測的算法卻不多。陳俊周等人[3]在卷積神經(jīng)網(wǎng)絡(luò)中綜合了視頻的靜態(tài)紋理信息和動態(tài)紋理信息，將原始圖像及其光流序列分別作為靜態(tài)紋理和動態(tài)紋理的輸入，有效地降低了誤檢率。李誠等人[4]使用了GoogLeNet[5]的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行火焰和煙霧檢測。Yin 等人[6]?提出了基于深度歸一化化卷積神經(jīng)網(wǎng)絡(luò)的圖像煙霧檢測算法，該網(wǎng)絡(luò)在每個卷積層后增加了批量歸一化層[7]，有效抑制了訓(xùn)練中產(chǎn)生的梯度消失和過擬合等問題，加速了網(wǎng)絡(luò)的收斂速度，對文中提出的數(shù)據(jù)集的準(zhǔn)確率接近98%。

當(dāng)前煙霧識別卷積網(wǎng)絡(luò)模型層數(shù)較深，模型訓(xùn)練參數(shù)較多，網(wǎng)絡(luò)模型冗余。因此，本文采用了深度可分離卷積結(jié)構(gòu)[8-9]，減少網(wǎng)絡(luò)參數(shù)，并提取不同網(wǎng)絡(luò)層的特征進(jìn)行融合訓(xùn)練，抑制由于網(wǎng)絡(luò)泛化導(dǎo)致的有效煙霧特征彌散現(xiàn)象，再針對正負(fù)樣本不平衡的問題，對訓(xùn)練數(shù)據(jù)進(jìn)行了數(shù)據(jù)擴(kuò)增，在減小網(wǎng)絡(luò)模型的同時，得到更高的分類精度和識別度。

1?改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)

1.1?深度可分離卷積結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)一般由卷積層、非線性激活函數(shù)層、池化層和全連接層組成，其中卷積層主要為網(wǎng)絡(luò)提供權(quán)重參數(shù)，在迭代訓(xùn)練的過程中，網(wǎng)絡(luò)在某種確定的損失函數(shù)和隨機(jī)梯度下降算法的指導(dǎo)下不斷更新卷積層提供的權(quán)重參數(shù)，使權(quán)重更趨向于正確的分類界面。常規(guī)的卷積運(yùn)算如圖1所示，在計(jì)算時使用卷積核的權(quán)重參數(shù)遍歷每個輸入通道得到特征圖，再疊加每個輸入通道對應(yīng)的特征圖后獲得一個完整的特征圖。

這一過程涉及的參數(shù)和計(jì)算量非常大，因此，2017年谷歌提出了一種輕量級的卷積神經(jīng)網(wǎng)絡(luò)：MobileNet[9]，可將常規(guī)卷積結(jié)構(gòu)轉(zhuǎn)換為深度可分離卷積結(jié)構(gòu)，這種新的卷積結(jié)構(gòu)在準(zhǔn)確率基本不變的情況下，計(jì)算速度提高了9倍，參數(shù)數(shù)量降為原來的七分之一。深度可分離卷積結(jié)構(gòu)可以分為兩層卷積層，分別為深度卷積層和逐點(diǎn)卷積層。如圖2所示，深度卷積對每個輸入通道進(jìn)行獨(dú)立的空間卷積，去除了疊加特征圖的步驟;逐點(diǎn)卷積運(yùn)算與常規(guī)的卷積運(yùn)算相同，只將卷積核的尺寸固定為1×1。深度可分離卷積將空間特征和通道特征的學(xué)習(xí)進(jìn)行分離的做法，減少了權(quán)重參數(shù)數(shù)量，降低了網(wǎng)絡(luò)的計(jì)算量。

1.2?批量歸一化層

在卷積神經(jīng)網(wǎng)絡(luò)中，卷積運(yùn)算后特征圖的數(shù)據(jù)分布會發(fā)生極大的變化，這種不可控的改變增加了網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的難度。批量歸一化有效地解決了這個問題并能夠抑制訓(xùn)練過擬合現(xiàn)象，輸入的特征圖在卷積計(jì)算后進(jìn)行批量歸一化，使其數(shù)據(jù)分布趨向于一個均值為0，方差為1的高斯分布，在這一過程中信息不丟失，并且批量歸一化的運(yùn)用使訓(xùn)練的難度大大減低，減少了訓(xùn)練過程中調(diào)整學(xué)習(xí)率的操作。

區(qū)別于常規(guī)的歸一化操作，批量歸一化也加入網(wǎng)絡(luò)的訓(xùn)練，數(shù)學(xué)公式如下所示：

1.3?改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的卷積神經(jīng)網(wǎng)絡(luò)分為主體部分和旁支部分，網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示。

主體部分由6個深度可分離卷積層和一個全連接層組成，每個深度可分離卷積層后進(jìn)行批量歸一化和非線性函數(shù)激活。批量歸一化對輸入數(shù)據(jù)進(jìn)行正則化，加速網(wǎng)絡(luò)收斂和抑制過擬合，第一、二個卷積層后使用了雙曲正切激活函數(shù)，防止網(wǎng)絡(luò)的底層卷積泛化時煙霧信息損失過多，在之后的4個卷積層采用ReLU激活函數(shù)，第二、四卷積層后使用最大值池化，最后一個卷積層后通過全局均值池化[10]將每個特征圖融合為一個特征點(diǎn)，全局均值池化層實(shí)際等同對整個特征圖正則化，有利于防止過擬合，能大幅度減少全連接層的神經(jīng)元數(shù)量，但會降低收斂速度。

旁支部分中，前面的卷積層的輸出不僅為下一個卷積層提供輸入數(shù)據(jù)，并且通過均值池化作為更深的卷積層輸入特征圖的一部分，均值池化對特征圖進(jìn)行不失真的下采樣，保證不同尺寸的特征圖在拼接層進(jìn)行特征圖合并。在改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型中，采用了3個拼接層對不同卷積層輸出的特征圖進(jìn)行合并。這一部分網(wǎng)絡(luò)的設(shè)計(jì)主要來源于深度殘差卷積神經(jīng)網(wǎng)絡(luò)[11]，深度殘差卷積神經(jīng)網(wǎng)絡(luò)利用短連接來抑制梯度消失，以此增加網(wǎng)絡(luò)層數(shù)，在多分類任務(wù)中具有顯著的效果。在2015年的ILSVRC挑戰(zhàn)中，引入短連接的網(wǎng)絡(luò)結(jié)構(gòu)得到了較先進(jìn)的性能，其性能類似于InceptionV3網(wǎng)絡(luò)[5]。本文給出了明確的實(shí)驗(yàn)數(shù)據(jù)，證明使用短連接的訓(xùn)練顯著加速了網(wǎng)絡(luò)的訓(xùn)練。對于煙霧檢測這一類二分類任務(wù)，采用了類似于短連接的方式能夠得到不同泛化程度的煙霧特征，這些組合起來的特征能夠防止煙霧信息丟失，有利于網(wǎng)絡(luò)的優(yōu)化和訓(xùn)練。

2?數(shù)據(jù)擴(kuò)增與實(shí)驗(yàn)結(jié)果

2.1?獲取擴(kuò)增數(shù)據(jù)集

進(jìn)行實(shí)驗(yàn)使用的初始數(shù)據(jù)來自于文獻(xiàn)[6]中提供的煙霧檢測數(shù)據(jù)集，這個圖像數(shù)據(jù)集中一共有24 217幅圖像，包括5 695幅煙霧圖像及18 522幅非煙霧圖像。本文采用了該數(shù)據(jù)集的圖像訓(xùn)練了一個初始改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型，使用python網(wǎng)絡(luò)爬蟲從YouTube網(wǎng)站和優(yōu)酷網(wǎng)站上下載了500多個含有煙霧的相關(guān)視頻，利用初始模型結(jié)合光流幀移法從有煙視頻中獲取煙霧圖像，再通過人工檢查剔除錯誤檢測得到的煙霧圖像，共獲取16 234張煙霧圖像，并從imagenet數(shù)據(jù)集中隨機(jī)挑選了25 000張不同場景的非煙霧圖像，因此本文實(shí)驗(yàn)所采用的數(shù)據(jù)集包含了21 929張煙霧圖像和43 522張非煙霧圖像，圖像示例如圖4所示。

2.2?實(shí)驗(yàn)設(shè)置

本文中實(shí)驗(yàn)所使用的計(jì)算機(jī)配置為Intel（R） Xeon（R） CPU E5-2630 v4 @ 2.20 GH和Nvidia GTX 1080 GPU，內(nèi)存為32 GB。計(jì)算機(jī)的操作系統(tǒng)為Ubuntu 16.04.4 LTS，使用的深度學(xué)習(xí)框架為Tensorflow 1.7和Keras。

將2.1節(jié)所獲取的圖像隨機(jī)分為3個數(shù)據(jù)集，分別為訓(xùn)練數(shù)據(jù)集，測試數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集。具體劃分情況見表1。網(wǎng)絡(luò)的所有參數(shù)以均值為零，標(biāo)準(zhǔn)差為0.01的高斯分布生成的隨機(jī)數(shù)進(jìn)行初始化，網(wǎng)絡(luò)優(yōu)化算法采用了AdaDelta梯度下降算法[12]，對比起原始的梯度下降算法，該算法能夠動態(tài)地調(diào)整學(xué)習(xí)率，并且不用設(shè)置初始化學(xué)習(xí)率這一超參。每次訓(xùn)練輸入的圖像數(shù)量為64，輸入圖像尺寸為64×64×3，批量歸一化時設(shè)置衰減度和epsilon為0.05和0.01。停止訓(xùn)練的標(biāo)準(zhǔn)為通過對驗(yàn)證數(shù)據(jù)集的檢驗(yàn)判定網(wǎng)絡(luò)是否訓(xùn)練完成，網(wǎng)絡(luò)的性能評判通過對測試數(shù)據(jù)集進(jìn)行校驗(yàn)比較，判別標(biāo)準(zhǔn)為準(zhǔn)確率和誤檢率。其中，準(zhǔn)確率為煙霧圖像和非煙霧圖像準(zhǔn)確判斷的數(shù)量與測試數(shù)據(jù)集圖像總數(shù)量的比值，誤檢率為非煙霧圖像被錯誤判斷的數(shù)量與非煙霧圖像總數(shù)量的比值，準(zhǔn)確率越高，誤檢率越低，網(wǎng)絡(luò)的性能越好。

2.3?實(shí)驗(yàn)結(jié)果與分析

本文選擇了InceptionV3 [5]、MobileNet[9]、ResNet[11]和DNCNN[6]四種網(wǎng)絡(luò)模型進(jìn)行對比試驗(yàn)， Inception-v3，MobileNet和ResNet都采用了開源的超參設(shè)置，4種模型的預(yù)計(jì)訓(xùn)練的參數(shù)量分別為13 835萬、2 563萬、425萬和2 434萬，而改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)所需訓(xùn)練的參數(shù)量僅有52萬。為了便于比較，對于不同的網(wǎng)絡(luò)結(jié)構(gòu)，統(tǒng)一了輸入圖像的尺寸。初始和擴(kuò)增數(shù)據(jù)集在改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)上的檢測結(jié)果比較見表2。表2的實(shí)驗(yàn)結(jié)果證明了擴(kuò)增的數(shù)據(jù)集對比初始數(shù)據(jù)集具有顯著的提升，因此在表3的所有對比算法都使用了數(shù)據(jù)擴(kuò)增后的數(shù)據(jù)集。

幾種卷積神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果見表3。proposed1的網(wǎng)絡(luò)模型為圖3所述結(jié)構(gòu)，proposed2在proposed1的基礎(chǔ)上去除了旁支部分。proposed1的準(zhǔn)確率超過99%，誤檢率也僅有0.22%，檢測性能低于ResNet，與MobileNet的性能相當(dāng)，現(xiàn)實(shí)生活中無煙霧的場景較為常見，因此要求網(wǎng)絡(luò)的誤檢率比較低，盡管在準(zhǔn)確率上低于MobileNet，但具有更強(qiáng)的魯棒性。當(dāng)旁支部分被移除時，網(wǎng)絡(luò)的準(zhǔn)確率和誤檢率都有所下降，證明了旁支部分對網(wǎng)絡(luò)的性能提升有積極的作用。對比一幅圖像在GPU上測試的運(yùn)行時間，改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算成本要遠(yuǎn)低于其他對比網(wǎng)絡(luò)模型。

proposed1和proposed2兩個模型在訓(xùn)練時的收斂情況如圖5所示。由圖5可知，proposed1收斂速度較快，在大約15個訓(xùn)練周期后，訓(xùn)練準(zhǔn)確率就達(dá)到99%，而且后續(xù)的訓(xùn)練也非常穩(wěn)定。proposed2需要訓(xùn)練到30個周期后才逐步收斂。由表2和圖5可得，增加了旁支部分的網(wǎng)絡(luò)對煙霧識別的準(zhǔn)確率更高，訓(xùn)練時收斂更快。

3?結(jié)束語

本文通過數(shù)據(jù)擴(kuò)增與設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)很好地提高了煙霧檢測的準(zhǔn)確率，在基于原有數(shù)據(jù)的基礎(chǔ)上，通過網(wǎng)絡(luò)爬蟲、煙霧檢測和人工篩選的方式對數(shù)據(jù)庫進(jìn)行了圖像擴(kuò)增，增強(qiáng)了圖像質(zhì)量;對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，深度可分離卷積層的使用大大減少了網(wǎng)絡(luò)的參數(shù)量，加快了單幀處理速度，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)增加的旁支部分能夠加快網(wǎng)絡(luò)收斂。通過仿真驗(yàn)證實(shí)驗(yàn)，本文提出的網(wǎng)絡(luò)模型提高了對于煙霧圖像的檢測精度，同時具有較強(qiáng)的魯棒性，是一種可靠、且高精度的圖像煙霧檢測算法。

參考文獻(xiàn)

[1]YUAN Feiniu. Rotation and scale invariant local binary pattern based on high order directional derivatives for texture classification[J]. Digital Signal Processing， 2014， 26：142-152.

[2]?史勁亭， 袁非牛， 夏雪. 視頻煙霧檢測研究進(jìn)展[J]. 中國圖象圖形學(xué)報， 2018，23（3）：0303-0322.

[3]?陳俊周， 汪子杰， 陳洪翰， 等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的視頻動態(tài)煙霧檢測[J]. 電子科技大學(xué)學(xué)報， 2016， 45（6）：992-996.

[4]?李誠，唐李洋， 潘李偉. 城鎮(zhèn)森林交界域視頻檢測算法[J]. 計(jì)算機(jī)工程， 2018，44（1） ：258-262.

[5]?SZEGEDY C， LIU Wei， JIA Yangqing， et al. Going deeper with convolutions[C]// 2015 IEEE CVPR. Boston：IEEE Computer Society， 2015：1-12.