基于深度學(xué)習(xí)的火場(chǎng)灰度圖像去煙算法

馬 悅

(陜西中醫(yī)藥大學(xué)，陜西 咸陽(yáng) 712046)

0 引 言

在多種災(zāi)害形式當(dāng)中，火災(zāi)是最常見的，不僅會(huì)對(duì)社會(huì)大眾的生命造成嚴(yán)重的威脅，還會(huì)導(dǎo)致社會(huì)恐慌。為了更有效地加強(qiáng)火災(zāi)的預(yù)防和監(jiān)測(cè)，建筑物內(nèi)的視頻監(jiān)控系統(tǒng)起到關(guān)鍵作用。但火災(zāi)發(fā)生時(shí)，會(huì)伴隨有大量的煙氣生成，嚴(yán)重影響視頻拍攝的清晰度。救援工作人員需要根據(jù)視頻所提供的畫面來(lái)確定受困人員所在的詳細(xì)位置，在拍攝清晰度嚴(yán)重受到影響的情況下，會(huì)導(dǎo)致救援行動(dòng)無(wú)法及時(shí)開展，嚴(yán)重影響救援行動(dòng)的下一步實(shí)施。相反，若火災(zāi)現(xiàn)場(chǎng)所拍攝的視頻十分清晰，救援人員能夠精準(zhǔn)地得知現(xiàn)場(chǎng)詳細(xì)位置以及其它的相關(guān)信息，這對(duì)于救援工作來(lái)說具有至關(guān)重要的意義[1]。

基于此，需要對(duì)火場(chǎng)情形下建筑物內(nèi)監(jiān)控系統(tǒng)的灰度圖像的精細(xì)度進(jìn)行優(yōu)化。在目前全球的相關(guān)研究當(dāng)中，火災(zāi)現(xiàn)場(chǎng)的圖像清晰化處理方式往往與圖像去霧算法聯(lián)系在一起[2-5]。但火災(zāi)時(shí)的煙霧通常分布不均勻，再加上燃燒過程中會(huì)產(chǎn)生大量顆粒的吸收和散射，從而使監(jiān)控畫面亮度變暗，相比于室外霧天圖像的處理難度更大。

從是否需要進(jìn)行圖像退化模型這一角度來(lái)說，能夠把圖像的清晰度處理問題分成以下2種情況：第1種是基于物理模型；第2種是基于非物理模型。

1)基于物理模型這一處理方式能夠通過大氣散射模型來(lái)表示。散射光與圖像信號(hào)混合，導(dǎo)致場(chǎng)景的視覺亮度和顏色發(fā)生變化。此外，攝像機(jī)從場(chǎng)景點(diǎn)接收到的信號(hào)沿著視線衰減，降解量隨深度增加而增加。煙霧圖像退化可以建模為上述因素的相加組合，用公式可以表示為：

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中，I(x)和J(x)是觀察到的模糊圖像和清晰的場(chǎng)景圖像，A是全局大氣光，t(x)是描述未散射并到達(dá)相機(jī)的場(chǎng)景傳輸圖。假設(shè)煙霧是均勻的，t(x)進(jìn)一步可以表示為：

t(x)=exp (-βd(x))

(2)

其中，β是大氣散射系數(shù)，d(x)是場(chǎng)景深度(物體到相機(jī)之間的距離)。從模型式可以看出，基于物理模型的圖像清晰化方法其實(shí)就是求解J(x)的過程[6]。

但對(duì)于火場(chǎng)環(huán)境來(lái)說，主要是建筑室內(nèi)環(huán)境居多，而大氣散射模型并不適合于室內(nèi)煙氣環(huán)境的圖像恢復(fù)。在這一模型中，散射項(xiàng)能夠有效提高拍攝現(xiàn)場(chǎng)的亮度，若使用到火災(zāi)現(xiàn)場(chǎng)當(dāng)中，會(huì)導(dǎo)致含煙圖像的亮度變暗，甚至完全看不清圖像內(nèi)容。

2)基于非物理模型的圖像去煙霧方法，則不用考慮圖像退化的物理成因，代表算法有直方圖均衡化、同態(tài)濾波、Retinex、小波變換等。本文提出一種端到端的深度學(xué)習(xí)算法，不考慮室內(nèi)煙氣的物理模型即可直接恢復(fù)輸出清晰的圖像。

1 算法比較

1.1 基于傳統(tǒng)增強(qiáng)的方法

直方圖均衡化往往用于提升圖像整體或者是部分對(duì)比度，特別是在圖像有用數(shù)據(jù)對(duì)比度相似的情況下，因此該算法特別適應(yīng)于灰度圖像清晰度增強(qiáng)。但如果沒有對(duì)所需要處理的數(shù)據(jù)信息進(jìn)行篩選，會(huì)導(dǎo)致背景的干擾聲對(duì)比度下降，影響信號(hào)的對(duì)比情況的檢測(cè)結(jié)果[7]。所以，若將其使用于火災(zāi)現(xiàn)場(chǎng)煙霧處理，會(huì)有一定的限制性。

同態(tài)濾波指的是集頻率過濾與灰度變換有效結(jié)合在一起的圖像處理方式，這一方式確保圖像處理符合人眼對(duì)于亮度響應(yīng)的非線性特性，避免直接對(duì)圖像進(jìn)行傅里葉變換最終導(dǎo)致其真實(shí)度受到影響[8]。但是這一方式的計(jì)算過程十分繁瑣，若將其使用到火災(zāi)現(xiàn)場(chǎng)，需要較長(zhǎng)的時(shí)間來(lái)對(duì)其進(jìn)行處理，因此，該方式不能滿足實(shí)時(shí)性的要求。

小波變換指的是能夠有效改變時(shí)間窗與頻率窗時(shí)頻局部化處理的方式。在低頻的情況下?lián)碛械蜁r(shí)間分辨率以及高頻率分辨率，反之亦成立[9]。但是在小波變換使用在其它情況時(shí)仍舊需要進(jìn)行大量的研究來(lái)選擇最佳參數(shù)，計(jì)算過程十分繁瑣，所以，該計(jì)算方式無(wú)法廣泛使用。

Retinex方法基本上已經(jīng)經(jīng)歷了3個(gè)發(fā)展階段：?jiǎn)纬叨萊etinex(SSR)、多尺度Retinex(MSR)和具有色彩還原操作的MSR。在火場(chǎng)煙霧彌漫的環(huán)境中，MSR方法似乎更有效。它基于顏色恒定性理論，該理論認(rèn)為人類感知的物體的顏色在不同的光照條件下不會(huì)改變[10-12]。因此，照明條件和顆粒顏色對(duì)輸出的影響是有限的。但在應(yīng)用中計(jì)算復(fù)雜度更大，處理時(shí)間也最長(zhǎng)。針對(duì)這一不足，文獻(xiàn)[13]提出了一種采用色彩還原的多尺度Retinex算法GL-MSR。該算法用高斯金字塔來(lái)取代原先的高斯函數(shù)的濾波函數(shù)，并且在對(duì)數(shù)查表法的基礎(chǔ)上進(jìn)行加速計(jì)算，較原先的Retinex算法在處理效果和處理速度方面有了很大的提高。

1.2 基于深度學(xué)習(xí)的方法

隨著深度學(xué)習(xí)的興起，近些年來(lái)也提出了許多神經(jīng)網(wǎng)絡(luò)的方法來(lái)處理圖像去煙問題。文獻(xiàn)[14]提出了一種用卷積神經(jīng)網(wǎng)絡(luò)(CNN)構(gòu)建的圖像去煙霧模型，稱為一體化除煙霧網(wǎng)絡(luò)(AOD-Net)。它是基于重新配制的大氣散射模型設(shè)計(jì)的，不同于先前模型那樣分別估算傳輸圖和大氣光，而是通過輕量級(jí)CNN直接生成清晰圖像。文獻(xiàn)[15]提出了一種基于顏色通道的去煙機(jī)器學(xué)習(xí)算法，稱為CSR-Net。文獻(xiàn)[16]提出了一種利用深度神經(jīng)網(wǎng)絡(luò)提高圖像視頻質(zhì)量的去煙方案，稱為DSR-Net。眾所周知，這些深度學(xué)習(xí)的方法需要額外的時(shí)間來(lái)完成數(shù)據(jù)預(yù)處理和模型訓(xùn)練以達(dá)到煙霧消除。

2 網(wǎng)絡(luò)模型

由于建筑物內(nèi)火場(chǎng)煙霧的形成十分復(fù)雜，和室內(nèi)光源、燃燒物、燃燒時(shí)間等因素有關(guān)，很難建立統(tǒng)一的物理模型。因此本文提出的深度神經(jīng)網(wǎng)絡(luò)是以端到端的形式進(jìn)行，直接讓網(wǎng)絡(luò)學(xué)習(xí)無(wú)煙圖像和有煙圖像之間的差異。

受文獻(xiàn)[17]的啟發(fā)，本文提出一種迭代煙霧消除算法，以將每次迭代的輸出作為下一次迭代的輸入來(lái)消除不均勻的煙霧。從宏觀角度考慮，煙霧檢測(cè)和去除所關(guān)注的圖像區(qū)域相同，檢測(cè)到的煙霧可以引導(dǎo)其去除。因此，本文采用一種串聯(lián)的方式來(lái)檢測(cè)和去除圖像中的煙，這樣煙霧的準(zhǔn)確估計(jì)可以促進(jìn)煙霧的去除，去除子網(wǎng)絡(luò)通過反向傳播也會(huì)調(diào)節(jié)煙霧的檢測(cè)，使得煙霧檢測(cè)和去除能夠互相促進(jìn)。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文網(wǎng)絡(luò)整體結(jié)構(gòu)示意圖

本文網(wǎng)絡(luò)是由檢測(cè)子網(wǎng)絡(luò)和去除子網(wǎng)絡(luò)串聯(lián)這2個(gè)部分組成，前者用于檢測(cè)圖像當(dāng)中煙霧的位置情況，后者則對(duì)檢測(cè)子網(wǎng)絡(luò)返回的結(jié)果進(jìn)行去除，檢測(cè)和去除2個(gè)子網(wǎng)絡(luò)在學(xué)習(xí)過程中相互促進(jìn)。

2.1 檢測(cè)子網(wǎng)絡(luò)

圖像退化問題是隨著網(wǎng)絡(luò)層數(shù)的增加，在訓(xùn)練集上的準(zhǔn)確度達(dá)到了飽和或下降。為了解決這類問題，本文的檢測(cè)子網(wǎng)絡(luò)采用殘差學(xué)習(xí)[18]的方式。該網(wǎng)絡(luò)包含3個(gè)殘差學(xué)習(xí)模塊來(lái)檢測(cè)圖像中的煙霧，一個(gè)模塊由10個(gè)殘差塊構(gòu)成，一個(gè)殘差塊由2層3×3的卷積層組成，每2層都通過殘差的形式連接起來(lái)，詳見圖2。此外還通過引入正則化中間層來(lái)預(yù)防梯度消失。

圖2 殘差學(xué)習(xí)模塊示意圖

2.2 去除子網(wǎng)絡(luò)

通過檢測(cè)子網(wǎng)絡(luò)檢測(cè)到圖像中的煙霧區(qū)域后，本文采用U-net結(jié)構(gòu)[19]作為去除子網(wǎng)絡(luò)的框架，其最大的優(yōu)勢(shì)在于更好地保留圖像恢復(fù)的細(xì)節(jié)。U-net網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 U-net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

該子網(wǎng)絡(luò)由收縮路徑和擴(kuò)展路徑組成，用收縮路徑來(lái)捕捉圖像中的信息，用擴(kuò)展路徑來(lái)定位圖像中需關(guān)注的部分。同時(shí)為了確保網(wǎng)絡(luò)各層之間的最大信息流，本文在去除子網(wǎng)絡(luò)中選擇使用Dense Block模塊[20]將所有匹配的特征映射連接起來(lái)，將低層特征復(fù)用到高層，提高去除煙霧的準(zhǔn)確性。這樣保留了前向傳播的特點(diǎn)，每層的結(jié)果都是在前面層結(jié)果的基礎(chǔ)上得出的，能夠有效增強(qiáng)檢測(cè)子網(wǎng)絡(luò)傳遞到的特征傳播，同時(shí)促進(jìn)特征復(fù)用[21]。

去除子網(wǎng)絡(luò)由Dense Block模塊、批標(biāo)準(zhǔn)化、池化層、反卷積層等組成，各層連接如圖4所示。

圖4 去除子網(wǎng)絡(luò)結(jié)構(gòu)示意圖

批標(biāo)準(zhǔn)化主要由標(biāo)準(zhǔn)化操作以及帶有ReLu激活的卷積操作構(gòu)成，池化層指的是對(duì)初始圖像進(jìn)行步長(zhǎng)為2下采樣操作的過程。

2.3 損失函數(shù)

均方誤差(MSE)和L2損失是應(yīng)用最廣泛的圖像清晰化的損失函數(shù)。然而文獻(xiàn)[22]指出，在PSNR和SSIM指標(biāo)方面，許多L1損失的圖像恢復(fù)任務(wù)訓(xùn)練取得了比L2損失更好的性能。遵循同樣的策略，本文默認(rèn)采用簡(jiǎn)單的L1損失。目標(biāo)圖像y和生成圖像G(x,z)之間的L1損失計(jì)算如下：

LL1=Ex,y,z[‖y-G(x,z)‖1]

(3)

3 實(shí)驗(yàn)過程

3.1 數(shù)據(jù)集

與當(dāng)前的深度學(xué)習(xí)方法相類似，本文的方法需要相對(duì)大量的成對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練。由于室內(nèi)火場(chǎng)沒有公開的煙霧數(shù)據(jù)集，因此本文合成了一個(gè)綜合實(shí)驗(yàn)數(shù)據(jù)集。該數(shù)據(jù)集包含6960組室內(nèi)模擬著火起煙、未起煙的成對(duì)圖像，其中訓(xùn)練集包含6000組，測(cè)試集包含960組。

3.2 訓(xùn)練細(xì)節(jié)

訓(xùn)練指的是通過誤差反向傳播來(lái)不斷地更新網(wǎng)絡(luò)信息，將損失函數(shù)降到最低的過程。本文的網(wǎng)絡(luò)被訓(xùn)練在Nvidia GTX 1080(4 GB)計(jì)算顯卡上。本文中的網(wǎng)絡(luò)通過Tensorflow這一框架來(lái)實(shí)現(xiàn)，并且在Adam優(yōu)化器的幫助下執(zhí)行梯度下降訓(xùn)練，為了確保擬合與梯度等結(jié)果不受影響，需要通過旋轉(zhuǎn)、裁剪以及變換操作來(lái)使數(shù)據(jù)得以強(qiáng)化。此外將學(xué)習(xí)率值設(shè)置為0.001，總共迭代訓(xùn)練100個(gè)周期后至收斂。

4 實(shí)驗(yàn)結(jié)果對(duì)比與分析

為了說明本文深度學(xué)習(xí)網(wǎng)絡(luò)的有效性，在合成和真實(shí)數(shù)據(jù)上分別做定量和定性分析對(duì)比實(shí)驗(yàn)，將其與前文提及的MSR、GL-MSR、AOD-Net、CSR-Net、DSR-Net共5種現(xiàn)有的火場(chǎng)圖像去煙算法進(jìn)行可視化比較。

4.1 合成圖像對(duì)比實(shí)驗(yàn)

首先，在合成數(shù)據(jù)集上對(duì)本文網(wǎng)絡(luò)進(jìn)行測(cè)試評(píng)估，圖5展示了其中的一個(gè)對(duì)比場(chǎng)景。

(a) 輸入合成起煙圖像 (b) MSR結(jié)果圖

(c) GL-MSR結(jié)果圖 (d) AOD-Net結(jié)果圖

(e) CSR-Net結(jié)果圖 (f) DSR-Net結(jié)果圖

(g) 本文算法結(jié)果圖 (h) 合成場(chǎng)景原始圖

從圖5中可以看出，深度學(xué)習(xí)方法的去除效果比傳統(tǒng)方法有了顯著提升。其中GL-MSR較MSR有了明顯的改進(jìn)，但依然殘留余量煙霧，且圖像的對(duì)比度和細(xì)節(jié)會(huì)變差。AOD-Net由于在訓(xùn)練過程中的強(qiáng)度不夠，故對(duì)濃煙的處理并不理想。CSR-Net和DSR-Net雖與本文方法有競(jìng)爭(zhēng)優(yōu)勢(shì)，但在圖像邊緣的恢復(fù)上不足。相比之下，本文的網(wǎng)絡(luò)輸出結(jié)果不僅在清晰程度上優(yōu)勝于其他算法，同時(shí)還很好地保持了圖像的邊緣，使圖像有良好的視覺效果。

此外，采用PSNR、SSIM這2個(gè)圖像質(zhì)量評(píng)價(jià)指標(biāo)來(lái)評(píng)估處理后的圖像情況。PSNR代表的是峰值信噪比，以像素點(diǎn)間誤差作為基礎(chǔ)來(lái)評(píng)價(jià)圖像的質(zhì)量，并且將煙霧去除的有效性體現(xiàn)出來(lái)。SSIM代表的是結(jié)構(gòu)相似性，主要從亮度、對(duì)比度以及結(jié)構(gòu)這幾個(gè)方面來(lái)評(píng)價(jià)圖像的相似情況[23]。這2個(gè)客觀評(píng)價(jià)指標(biāo)的值越大，圖像處理效果越好，可以從表1中看出本文表現(xiàn)出最好的性能。此外，還測(cè)試了不同算法的運(yùn)算時(shí)間。

表1 不同算法在合成數(shù)據(jù)集上的定量比較

用于火場(chǎng)環(huán)境，還需要滿足實(shí)時(shí)性的要求，本文的網(wǎng)絡(luò)運(yùn)算時(shí)間性能在這些算法中排名第2。GL-MSR算法結(jié)合了對(duì)數(shù)查找表進(jìn)行加速運(yùn)算，在處理時(shí)間方面相對(duì)有很大的優(yōu)勢(shì)，但本文算法的PSNR值比它高出7.37 dB，SSIM值提升了0.322?？傮w來(lái)看，本文方法簡(jiǎn)單、快速，效果更好。

4.2 真實(shí)圖像對(duì)比實(shí)驗(yàn)

為了確保真實(shí)性，本文收集了許多發(fā)生在建筑物內(nèi)部的火災(zāi)現(xiàn)場(chǎng)監(jiān)控拍攝圖像，并對(duì)相關(guān)的圖像進(jìn)行了測(cè)試。圖6展示了其中的一個(gè)對(duì)比場(chǎng)景，可以從結(jié)果對(duì)比中很直觀地看到本文算法的優(yōu)勢(shì)。

(a) 輸入真實(shí)起煙圖像 (b) MSR結(jié)果圖

(c) GL-MSR結(jié)果圖 (d) AOD-Net結(jié)果圖

(e) CSR-Net結(jié)果圖 (f) DSR-Net結(jié)果圖

(g) 本文算法結(jié)果圖 (h) 真實(shí)場(chǎng)景景深圖

從圖6可以看出，MSR、GL-MSR、AOD-Net這3種算法在真實(shí)圖像上并沒有看到很明顯的去煙效果，甚至加大了圖像中的噪聲或者引入了新的噪聲。盡管GL-MSR是基于MSR方法開發(fā)的，但是還發(fā)現(xiàn)了一種現(xiàn)象，即無(wú)論比例參數(shù)和權(quán)重如何，通過GL-MSR方法處理真實(shí)著火起煙場(chǎng)景圖像的視覺效果都比MSR差，可以得出GL-MSR不具有良好的魯棒性和泛化能力。而CSR-Net和DSR-Net這2種算法的處理結(jié)果比較接近，但依然存留部分明顯的煙沒有完全去除。相比之下，通過本文的網(wǎng)絡(luò)去除煙霧區(qū)域是最徹底的，保持了監(jiān)控圖像的目標(biāo)信息，提高了監(jiān)控的有效性。經(jīng)過精煉的圖像對(duì)于協(xié)助那些被困人員的救援過程非常重要，也有利于疏散過程。

5 結(jié)束語(yǔ)

本文提出了基于深度學(xué)習(xí)的火場(chǎng)灰度圖像去除煙霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)由檢測(cè)子網(wǎng)絡(luò)和去除子網(wǎng)絡(luò)串聯(lián)組成，用來(lái)解決室內(nèi)火場(chǎng)中視頻監(jiān)控系統(tǒng)圖像清晰度下降的問題。將本文的網(wǎng)絡(luò)與現(xiàn)有的5種主流算法進(jìn)行定性和定量的對(duì)比，采用峰值信噪比、結(jié)構(gòu)相似性、運(yùn)行處理時(shí)間3個(gè)指標(biāo)評(píng)估對(duì)比效果，數(shù)據(jù)結(jié)果展現(xiàn)出本文的網(wǎng)絡(luò)在火場(chǎng)灰度圖像清晰化上的優(yōu)勢(shì)，具有運(yùn)行速度快、恢復(fù)效果好的特點(diǎn)。下一步，將繼續(xù)深入研究火場(chǎng)彩色圖像的清晰化處理問題。