基于深度融合網(wǎng)絡的煤礦圖像塵霧清晰化算法

智 寧,毛善君,李 梅,蘇 穎

(1.北京大學 地球與空間科學學院,北京 100871; 2.中國科學院 電子學研究所,北京 100190)

煤礦視頻圖像能夠實時傳遞煤礦井下生產作業(yè)及開采環(huán)境等信息,在煤礦信息化建設中扮演著重要的角色[1]。由于井下環(huán)境特殊,在煤礦煤炭生產、運輸?shù)拳h(huán)節(jié)產生了大量懸浮于空中的粉塵顆粒;同時,為了避免煤塵過大產生的重大危險,礦井采用了很多噴霧降塵設備,使得礦井產生大量的霧氣和水滴。在粉塵顆粒及霧氣等的作用下,光線在井下傳播過程中發(fā)生散射和吸收,造成井下獲取圖像存在明顯的塵霧影響[2],不利于圖像信息的判別和進一步的應用。為充分發(fā)揮圖像在煤礦井下安全生產和監(jiān)測監(jiān)控中的作用,有必要對煤礦井下塵霧圖像進行清晰化處理。

煤礦井下塵霧圖像清晰化算法主要包括3類,即基于模型的清晰化算法[3-5]、基于圖像增強的清晰化算法[6-7]和基于學習優(yōu)化的算法[8-10]?；谀Ｐ偷那逦惴ㄊ窃趬m霧圖像成像機理的基礎上結合先驗知識求取清晰圖像,其中何凱明等[3]提出的基于暗通道先驗原理的清晰化算法得到廣泛的應用和研究?；趫D像增強的清晰化算法將塵霧圖像看作降質圖像,并使用對比度增強函數(shù)、色調調整函數(shù)等來提升圖像的視覺效果。隨著深度學習的發(fā)展,基于學習的優(yōu)化算法在機器視覺和圖像處理領域有了較多的應用,包括卷積神經(jīng)網(wǎng)絡[8-9]、生成對抗網(wǎng)絡[10]等?；趯W習優(yōu)化的算法使用機器學習算法來學習清晰圖像和塵霧圖像之間的映射關系,并利用學習到的知識指導塵霧圖像的復原。

現(xiàn)有的塵霧圖像清晰化算法在對煤礦圖像處理時普遍存在過增強的問題,即處理后圖像的整體亮度偏暗,不利于人眼的辨識;同時,現(xiàn)有算法大多針對良好光照下的霧霾環(huán)境,對煤礦圖像的適用性不足,限制了工程實踐中的應用。筆者圍繞煤礦井下塵霧圖像清晰化問題,將圖像處理中的融合策略和深度學習中卷積神經(jīng)網(wǎng)絡結合,提出基于深度融合網(wǎng)絡的煤礦圖像塵霧清晰化算法。

1 煤礦塵霧圖像形成的物理機理

煤礦塵霧環(huán)境下,由于塵霧影響,光線發(fā)生散射、吸收、輻射等現(xiàn)象,使得井下獲取的圖像存在明顯的退化現(xiàn)象。在光與懸浮顆粒的交互作用中,光的散射是圖像質量影響的關鍵,而吸收、輻射等方面的影響較少。大氣散射作用主要包括2個方面:① 散射作用使得物體表面反射到達成像設備的光能量減少,從而降低光強度;② 散射造成其它物體反射的光(稱之為環(huán)境光)彌漫在大氣中,從而影響物體的成像。NARASIMHAN等[11-12]在McCartney的基礎上提出了大氣散射模型,該模型主要包含衰減模型和環(huán)境光模型，分別刻畫大氣散射作用的2個方面，可以指導井下塵霧圖像清晰化復原。

衰減模型描述了到達成像設備的光強與物體表面反射光強之間的關系,即

Ed(d,λ)=E0(λ)e-β(λ)d

(1)

其中,d為物體與成像設備之間的距離,即景深;λ為入射光的波長;E0(λ)為物體表面反射光的光強,即輻照度;β(λ)為大氣散射系數(shù),描述單位體積內大氣粒子對光線的散射能力。

環(huán)境光模型描述大氣中其它光源對物體成像的影響,主要包括天空漫反射光、地面反射光以及直射的光源等,可以表示為

Ea(d,λ)=E(λ)(1-e-β(λ)d)

(2)

式中,E(λ)為總的環(huán)境光光強。

由式(1)，(2)可以看出,由于大氣散射的作用,隨著景深的增加,入射光的光強呈指數(shù)形式衰減,而環(huán)境光也越來越多,從而使得圖像呈現(xiàn)出灰白色的效果。

在圖像處理領域,通常假設散射系數(shù)對于各通道是相同的,因此可以將塵霧影響的圖像成像模型簡化為

Ic(x,y)=Jc(x,y)t(x,y)+A[1-t(x,y)]

(3)

t=e-βd

(4)

其中,c為顏色通道,即紅、黃、藍;t(x,y)為介質傳輸率,該參數(shù)由散射系數(shù)β以及景深d決定;A為環(huán)境光光強;Ic(x,y)為(x,y)位置上獲取的塵霧影響的圖像的像素值;Jc(x,y)為無塵霧影響時的圖像像素值。為實現(xiàn)圖像的清晰化復原,需要求解式(3),但公式中t和A都是未知的,使得該方程的求解是一個未定的問題。

2 卷積神經(jīng)網(wǎng)絡理論及多尺度融合技術

2.1 卷積神經(jīng)網(wǎng)絡概述

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)是基于前饋神經(jīng)網(wǎng)絡發(fā)展的一種深度網(wǎng)絡[13]。卷積表示一種特殊的線性運算。早在1998年LeCun等人提出了用于手寫字體識別的LeNet,即包含CNN常用的卷積層、池化層以及全連接層。當前,CNN已經(jīng)被廣泛的應用于語音識別、目標識別、圖像分類、圖像處理等領域,許多機器學習任務準確率得到了很大的提高。

隨著CNN的發(fā)展,根據(jù)不同的應用需求產生了許多新的結構組件。CNN的基本結構通常包括輸入層、卷積層(Convolutional layer)、池化層(Pooling Layer)、全連接層(Fully connected layers)以及輸出層。一個典型的卷積網(wǎng)絡如圖1所示，其中C表示卷積層，S表示下采樣層。卷積神經(jīng)網(wǎng)絡通過稀疏交互、權值共享、等變表示3個方面有效的提升了機器學習的性能。

2.2 空洞卷積與多尺度信息提取

空洞卷積(Dilated Convolution)由YU Fisher等[14]于2016年在國際學習表征會議(International Conference on Learning Representations,ICLR)提出。它是為了解決全卷積網(wǎng)絡(Fully Convolutional Network,FCN)在圖像分割領域的問題而提出的新的卷積類型。由于空洞卷積具有的良好的處理圖像上下文信息的能力,已被廣泛的應用于卷積神經(jīng)網(wǎng)絡中,包括自然語言處理、圖像超分辨率重建、圖像綜合處理等。

空洞卷積在傳統(tǒng)卷積的基礎上擴展而來,本文首先介紹卷積的數(shù)學表達式,在此基礎上對空洞卷積進行討論。

令F:2→為離散函數(shù),Ωr=[-r,r]2∩2，其中r為濾波半徑。k:Ωr→為(2r+1)2大小的離散濾波。離散卷積操作可以被定義為

(5)

對式(5)進行推廣,令l表示空洞因子,可得空洞卷積的公式:

(6)

式(6)稱為尺度為l的空洞卷積。式(4)可以看作為尺度為1的空洞卷積。

圖2展示了一般卷積和空洞卷積。以3×3的卷積核為例,傳統(tǒng)卷積將卷積核與輸入張量中相鄰的3×3的區(qū)域逐點相乘再求和作為卷積并輸出的，如圖2(a)所示,紅色圓點表示卷積核進行運算輸入的位置,綠色可以認為是原輸入感知野。空洞卷積則是將卷積核與輸入張量的間隔一定位置的3×3像素進行運算并輸出，如圖2(b)所示,若去掉一個池化層,則需要將傳統(tǒng)卷積層換成一個尺度為2的空洞卷積層。這樣,卷積核將輸入張量每隔一個“像素”的位置作為輸入?yún)^(qū)域進行計算。此時,相比于原輸入,卷積運算的感知野擴大為7×7;同理,若再去掉一個池化層,則需要將之后的卷積層換成尺度為4的空洞卷積層,如圖2(c)所示。由此可見,空洞卷積能夠保證網(wǎng)絡在舍棄掉池化層之后其感知野仍保持不變,從而保障圖像上下文信息參與到圖像局部和全局信息的提取。

圖2 空洞卷積示意Fig.2 Schematic diagram of dilated convolution

根據(jù)塵霧圖像成像機理,塵霧圖像清晰化需要同時考慮全局信息(環(huán)境光的強度)和局部信息(介質傳輸率或景深),因此在設計網(wǎng)絡的時候需要添加某種機制實現(xiàn)上下文信息的交互。將在空洞卷積的基礎上提出一種更加有效的實現(xiàn)上下文交互的模塊即雙金字塔模塊實現(xiàn)圖像的塵霧清晰化。

3 基于深度融合網(wǎng)絡的清晰化算法

為實現(xiàn)煤礦井下塵霧圖像清晰化復原,本文構建了基于融合策略的多尺度圖像清晰化網(wǎng)絡。相比于現(xiàn)有的清晰化網(wǎng)絡,本文提出的網(wǎng)絡具有如下特點:① 受基于融合策略的圖像處理算法的啟發(fā),提出了深度融合網(wǎng)絡,實現(xiàn)了圖像端對端的清晰化處理;② 基于空洞卷積設計了能夠進行雙向多尺度上下文信息融合的雙金字塔模塊,相比于空洞空間金字塔池化,該模塊能夠更加有效的實現(xiàn)圖像全局信息的提取。

3.1 融合策略下的圖像預處理

受圖像處理中融合策略的啟發(fā),通過提取圖像各方面的特征并進行融合,可以使網(wǎng)絡能夠兼顧圖像的對比度、色度、顯著性等各方面的優(yōu)點,最終取得更好的效果。設計了基于融合策略的圖像預處理。

在融合策略的塵霧圖像去霧算法中,需要首先提取圖像的特征圖。參考ANCUTI等[6]做法,特征圖主要包括2個方面,即圖像的色調調整和圖像的對比度增加。本文選擇圖像對比度增強函數(shù)、亮度增強函數(shù)和伽馬校正函數(shù)來進行圖像預處理。

本文選取的圖像對比度增強函數(shù)的表達式為

(7)

選取的亮度調整算法為

(8)

選取的伽馬校正算法的表達式為

(9)

由于網(wǎng)絡輸入圖像的像素值分布未知,不能夠自適應的調整上述算法的參數(shù)。為此,分別為每種算法設置4個不同的參數(shù),從而使其能夠獲取不同程度的圖像特征。具體來講,設置圖像對比度增強算法中的參數(shù)λ為{2,3,4,5};設置圖像亮度調整算法中的參數(shù)δ為{-0.5,-0.4,-0.3,-0.2};設置伽馬校正算法中的參數(shù)γ為{1.5,2.5,3.5,4.5}。圖3展示了圖像預處理的效果。3個增強函數(shù)都能夠突出圖像某方面的特征,為此將預處理后的圖像進行連接操作(concat)然后整體輸入到網(wǎng)絡中。

3.2 雙金字塔模塊

為了提取圖像中多尺度的上下文信息,許多研究者在空洞卷積的基礎上提出了新型的網(wǎng)絡架構,主要包括空洞空間金字塔池化技術[15]以及上下文信息聚合網(wǎng)絡[16]?？斩纯臻g金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)是將多個尺度的空洞卷積并聯(lián),實現(xiàn)圖像多尺度上下文信息的提取,如圖4(a)所示。上下文信息聚合網(wǎng)絡(Context aggregation network)由陳啟峰等[16]提出。該網(wǎng)絡主要是通過對多個尺度的空洞卷積按尺度由小到大進行串聯(lián)實現(xiàn)了圖像多尺度信息的提取,如圖4(b)所示。

ASPP以并聯(lián)的方式將多個尺度信息提取并融合,完成上下文信息的提取。上下文信息聚合網(wǎng)絡以串聯(lián)的方式對圖像多個尺度的信息進行提取和融合,并且隨著網(wǎng)絡層數(shù)的增加,空洞卷積的尺度也逐漸增加。對于圖像處理,這種信息提取的順序是有失偏頗的。以圖像塵霧清晰化復原為例,環(huán)境光等全局信息

圖3 圖像預處理效果Fig.3 Schematic diagram of image preprocessing results

圖4 基于空洞卷積的3種多尺度上下文交互信息模式Fig.4 Three kinds of context information extraction models based on dilated convolution

應該參與網(wǎng)絡各個階段的特征處理,而并非在網(wǎng)絡的最后階段參與運算。在ASPP和上下文信息聚合網(wǎng)絡的基礎上,提出了雙金字塔模塊。該模塊包括兩個空洞卷積的串聯(lián)子塊,其中一個子塊是以對多個尺度的空洞卷積按尺度由小到大進行串聯(lián)組成,另一個子塊是以對多個尺度的空洞卷積按尺度由大小進行串聯(lián)組成,如圖4(c)所示。然后將這2個串聯(lián)子塊進行并聯(lián),從而構成雙金字塔模塊。該模塊能夠發(fā)揮ASPP和上下文信息聚會網(wǎng)絡的優(yōu)點,使圖像的多尺度信息在多個層次和多個方面進行融合,從而有望提升圖像處理的精度。

3.3 深度融合網(wǎng)絡的網(wǎng)絡架構和訓練細節(jié)

提出的深度融合網(wǎng)絡主要包括3個部分,即圖像預處理層,特征融合層以及圖像輸出層。深度融合網(wǎng)絡的網(wǎng)絡結構如圖5所示。

(1)圖像預處理層。

圖像預處理層對輸入圖像進行預處理,得到不同增強函數(shù)下不同增強參數(shù)處理后的圖像序列。本文中,分別使用對比度增強函數(shù)、亮度調整函數(shù)、伽馬校正函數(shù)對其進行處理,每類函數(shù)設置4個不同的增強參數(shù),從而得到12幅反映塵霧圖像不同方面特征的圖像序列。然后對獲取的12幅圖像進行連接(concat)操作,得到預處理后的圖像的特征張量。

(2)特征融合層。

特征融合層主要對反映塵霧圖像不同方面特征的圖像序列的特征進行融合,從而獲取最終的清晰化圖像。根據(jù)塵霧圖像的成像機理,圖像塵霧清晰化需要對圖像的全局信息和局部信息同時進行提取,使用雙金字塔模塊,實現(xiàn)從上到下和從下到上雙通管道的圖像多尺度上下文信息的提取。兩條路線上的空洞卷積分別按序列{1，2，4，8，16}及{16，8，4，2，1}進行串聯(lián)。雙金字塔模塊的具體參數(shù)見表1。

圖5 深度融合網(wǎng)絡結構示意Fig.5 Schematic diagram of deep fusion network structure

層名稱上一層名稱空洞卷積大小空洞卷積尺度特征圖數(shù)目激活函數(shù)Input_1———12LReLUPath_1_1Input_13×3112LReLUPath_1_2Path_1_13×3212LReLUPath_1_3Path_1_23×3412LReLUPath_1_4Path_1_33×3812LReLUPath_1_5Path_1_43×31612LReLUPath_2_1Input_13×31612LReLUPath_2_2Path_2_13×3812LReLUPath_2_3Path_2_23×3412LReLUPath_2_4Path_2_33×3212LReLUPath_2_5Path_2_43×3112LReLUConcat_1Path_1_5,Path_2_5——24LReLUOutput_1Concat_13×3124LReLU

(3)圖像輸出層。

圖像輸出層主要對特征融合層獲取的特征進行處理,從而輸出三通道圖像,即為最終的塵霧清晰化圖像。1×1卷積核相當于使用多個線性函數(shù)擬合函數(shù),能夠增加不同通道間的信息交互,從而提升網(wǎng)絡的擬合能力。同時,相比于全連接,能夠有效降低圖像的參數(shù),提升網(wǎng)絡效率。

本文使用一類線性修正單元Leaky ReLU或LReLU[17]作為激活函數(shù)。該單元能夠在一定程度上解決激活函數(shù)激活值為0的問題,即“dying ReLU”。Leaky ReLU的表達式為

(10)

其中，a為一個比較小的常量,在此取a=0.2。由式(10)可以看出,當x<0時,激活函數(shù)將有一個非常小的斜率即a。筆者提出的融合網(wǎng)絡參數(shù)見表2。

表2深度融合網(wǎng)絡模型參數(shù)
Table2Parametersofdeepfusionnetwork

層名稱上一層名稱層類型卷積尺度特征圖數(shù)目激活函數(shù)Input_0———1—PreProces1Input_0對比度增強—4—PreProces2Input_0亮度調整—4PreProces3Input_0伽馬校正—4Concat_0PreProces1,PreProces2,PreProces3,PreProces4連接層12—DPB1Concat_0雙金字塔模塊—24—Conv1DPB1卷積層3×324LReLUConv2Conv1卷積層1×13—

3.4 模型訓練和損失函數(shù)

(11)

(12)

(13)

其中,Cj,Hj及Wj分別為特征圖的通道數(shù)目、高和寬。

最終,深度融合網(wǎng)絡的損失函數(shù)可以表示為最小平方誤差損失函數(shù)和內容損失函數(shù)的加權和,即

L=Lmse+0.8Lcontent

(14)

其中內容損失函數(shù)是在VGG-19網(wǎng)絡的基礎上提取relu_5_4層的輸出特征圖進行計算的。

4 實驗和分析

4.1 訓練數(shù)據(jù)集準備

為了更好的訓練網(wǎng)絡,采用分步訓練的方式,首先使用自然場景下獲取的仿真數(shù)據(jù)對網(wǎng)絡進行初步訓練,然后使用防爆相機獲取井下多個場景的清晰圖像的基礎上構建的數(shù)據(jù)集對網(wǎng)絡進行精準訓練。深度信息的獲取是塵霧仿真圖像獲取的關鍵。自然場景下的霧霾仿真圖像常使用的數(shù)據(jù)集包括Make3D數(shù)據(jù)集[20],KITTI數(shù)據(jù)集[21]等,對于煤礦井下圖像,當前缺乏帶有深度圖的數(shù)據(jù)集。在此,筆者將著重介紹煤礦井下塵霧圖像仿真數(shù)據(jù)集的構建方法。

考察煤礦井下圖像可以發(fā)現(xiàn),圖像的像素值和景深符合一定的相關性,即像素值比較小的區(qū)域其景深相對比較大,而像素值比較大的區(qū)域其景深相對比較小。為此,通過對圖像的負片進行操作獲取圖像的隨機深度值,進而獲取仿真的煤礦塵霧圖像。

算法流程為:

(1)將原圖像J從RGB顏色空間轉換到HSV顏色空間,并提取圖像的明度(V)通道,用Jv表示;

(2)使用帶有保邊特性的雙邊濾波器對Jv進行濾波,獲取模糊后的圖像,用 BF(Jv)表示;

(3)對BF(Jv)進行歸一化,然后進行求反操作,獲得負片I=1-BF(Jv);

(4)設置隨機變量x∈[3,15],然后獲得原圖像的隨機深度圖D=x*I;

(5)設置隨機環(huán)境光A∈[0.6,1],以及散射系數(shù)β∈{0.4,0.6,0.8,1.0,1.2},根據(jù)式(3)生成仿真塵霧圖像。

煤礦塵霧圖像生成過程如圖6所示。

圖6 煤礦塵霧圖像生成算法流程Fig.6 Coal mine dust simulation image generation algorithm flow chart

考慮到塵霧水平的不一致,針對每幅圖像分別生成4張不同塵霧程度的塵霧仿真圖像。最終,構建的自然場景下霧霾圖像數(shù)據(jù)集共包括2 000幅圖像,其中1 500幅作為訓練集,500幅作為測試集;構建的煤礦塵霧圖像數(shù)據(jù)集共包括5 200幅圖像,其中照度均衡的塵霧圖像3 600幅,低照度的塵霧圖像1 600幅,將其中的3 900幅圖像作為訓練集,1 300幅圖像作為測試集。

使用Adam算法實現(xiàn)對深度融合網(wǎng)絡的優(yōu)化。Adam算法即自適應矩估計(adaptive moment estimation),它能夠根據(jù)損失函數(shù),對網(wǎng)絡中每個參數(shù)梯度的一階矩估計和二階矩估計進行動態(tài)調整。Adam 算法由基于梯度下降的方法發(fā)展而來,但每次都會將迭代參數(shù)的學習步長限定在固定的范圍內,同時使參數(shù)的值保持比較穩(wěn)定。算法的學習率設置為α=0.001。參照文獻[16]的方式,將整張圖片輸入到網(wǎng)絡中進行計算。在前50輪迭代中,使用基于Make3D構建的仿真數(shù)據(jù)集進行訓練,使深度融合網(wǎng)絡能夠獲取到與深度相關的塵霧特征信息,進而在后續(xù)150輪迭代中使用煤礦塵霧圖像數(shù)據(jù)集進行訓練,并獲得最終結果。

4.2 主觀評價結果

為評價本文提出的基于深度融合網(wǎng)絡的清晰化算法的有效性,選取其他6種有代表性的清晰化算法進行對比,包括孟高峰等[22]提出的基于邊界約束和上下文正則化的塵霧清晰化算法(Efficient Image Dehazing with Boundary Constraint and Contextual Regularization,BCCR),蔡博侖等[8]提出的基于卷積神經(jīng)網(wǎng)絡的DehazeNet算法,ANCUTI等[6]提出的基于融合策略的清晰化算法,任文琦等[9]提出的基于多尺度卷積神經(jīng)網(wǎng)絡的霧霾清晰化(MultiScale Convolution Neural Network,MSCNN)算法,何凱明等[3]提出的基于暗通道先驗原理(Dark channel priori,DCP)的清晰化算法,TAREL等[5]提出的快速可視化復原(Fast Visibility Restoration,FVR)算法進行對比。相關算法的代碼均來自于作者提供的項目網(wǎng)站,且均基于matlab實現(xiàn)。其參數(shù)參照論文中推薦的參數(shù)進行設置。

實驗對比的部分結果如圖7～11所示。由圖中可以看出,基于融合的塵霧清晰化算法和快速可視化復原算法對于煤礦井下塵霧圖像的復原效果比較差?；谌诤系膲m霧清晰化算法使得圖像的塵霧分布更加不均勻,只能對于對比度比較大的部分區(qū)域實現(xiàn)清晰化復原。這主要是由于融合策略下的權重圖設計的不盡合理,如顯著性權重圖在煤礦塵霧圖像的清晰化中意義不大。快速可視化復原算法使得圖像的局部對比度有所增加,如圖8中運輸車上的銹痕部分,但圖像整體泛白,并未有效實現(xiàn)塵霧的清晰化。

圖7 場景1塵霧清晰化實驗對比結果Fig.7 Comparison results of dust and fog image clear restoration algorithms (Scene 1)

圖8 場景2塵霧清晰化實驗對比結果Fig.8 Comparison results of dust and fog image clear restoration algorithms (Scene 2)

圖9 場景3塵霧清晰化實驗對比結果Fig.9 Comparison results of dust and fog image clear restoration algorithms (Scene 3)

圖10 場景4塵霧清晰化實驗對比結果Fig.10 Comparison results of dust and fog image clear restoration algorithms (Scene 4)

圖11 場景4塵霧清晰化結果局部效果Fig.11 Comparison local results of dust and fog image clear restoration algorithms (Scene 4)

BCCR算法、DehazeNet、MSCNN算法以及基于暗通道先驗原理的去霧算法清晰化效果都比較明顯。這些算法都有效的解決了圖像泛白的問題,并且圖像整體的對比度均有所勝,圖像的細節(jié)有所突顯。

DehazeNet和MSCNN算法都是基于卷積神經(jīng)網(wǎng)絡實現(xiàn)的圖像塵霧清晰化算法。兩種網(wǎng)絡都能夠在一定程度上實現(xiàn)對煤礦井下塵霧清晰化的復原。但清晰化效果并不明顯。如圖7～11所示,處理后圖像的白化現(xiàn)象有所減弱,但仍然給人以塵霧的感覺。這主要是由于:① 兩種網(wǎng)絡對圖像多尺度的上下文信息提取的能力不足,使得圖像清晰化效果不明顯;② 兩種網(wǎng)絡的訓練數(shù)據(jù)均為理想光照下的塵霧仿真圖像,從而使得針對煤礦圖像塵霧圖像的清晰化效果較差。

基于暗通道先驗原理的清晰化算法和BCCR算法處理的圖像整體清晰度和對比度都有所增強,塵霧圖像所特有的泛白現(xiàn)象也得到解決?；诎低ǖ老闰炘淼那逦瘡驮惴ㄔ趫D像部分區(qū)域存在明顯的暈圈效應,即邊緣部分存在明顯的白邊。這主要是由于以下原因:① 暗通道先驗原理主要適用于室外無霧圖像,對于受限空間內圖像的適用性有待驗證;② 基于暗通道先驗原理的去霧算法使用軟摳圖實現(xiàn)介質傳輸圖的精細化。BCCR算法通過邊緣約束和上下文正則化,將精細介質傳輸圖的求解轉化為優(yōu)化問題。由于存在邊緣約束及上下文正則化,使得通過優(yōu)化獲取的介質傳輸圖更加精細,從而有效避免了光暈現(xiàn)象的產生,其去霧效果相較于基于暗通道先驗原理的去霧算法更加明顯和準確。

DCP算法和BCCR算法均存在明顯的過增強現(xiàn)象,即處理后的圖像整體上偏暗。圖7～10中除顏色變化和對比度變化較大的區(qū)域能夠較好的實現(xiàn)圖像復原,其它色彩單調和對比度較小的區(qū)域如墻壁等,都存在嚴重的過度清晰化問題。圖11為圖10的局部放大圖像,由圖11中可以看出,BCCR算法和基于暗通道先驗原理的算法處理后的墻壁顏色亮度比較低,偏離了正常的墻壁顏色。這主要是由于以下原因:① 暗通道先驗原理是對大量室外無霧圖像的統(tǒng)計得到的,在原理提出之初就面臨著天空區(qū)域不符合該先驗原理的問題。對于煤礦井下獲取的圖像,圖像的色彩和對比度相對比較單一,例如巷道的墻壁、機械設備的表面等,這些區(qū)域并不滿足圖像的暗通道先驗原理。因此,容易出現(xiàn)過度清晰化的現(xiàn)象。② 兩種方法都是基于塵霧圖像的機理實現(xiàn)圖像的復原,不同于景深變化相對較大的室外圖像,井下獲取圖像的景深變化一般都比較小。2種方式在求取圖像介質傳輸圖時,都傾向于將景深的變化估計的比較大,極易造成圖像過增強的現(xiàn)象。

相比于其它算法,本文算法的清晰化結果能夠有效解決圖像的泛白問題,恢復圖像原有的色彩和對比度,實現(xiàn)圖像清晰度和對比度的提升。

4.3 客觀評價結果

在圖像增強方面,結構相似度指數(shù)(Structural Similarity Index,SSI)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)被廣泛應用于處理后的圖像質量。為衡量圖像去霧的水平,本章將通過計算這2個客觀指標對上述所列方法進行評價。

SSIM通常用來衡量兩幅圖像相似的程度,如SSIM值越大,表示圖像失真越小,當兩幅圖像完全一樣時,取值為1。SSIM的計算公式為

(15)

峰值信噪比是另一種有參考的圖像客觀評價指標。通常,PSNR的數(shù)值越大表示處理后的圖像失真越小,它的計算公式為

(16)

(17)

式中,n為每個像素的比特數(shù),通常為8;MSE為處理后的圖像I和原圖像即參考圖像R的均方誤差;M為圖像像素數(shù);Ii和Ri表示處理后的圖像I和原圖像即參考圖像R在位置i的像素值。

為客觀評價算法效率,使用結構相似度指數(shù)和峰值信噪比對4.2節(jié)的塵霧圖像進行評價。表3為塵霧圖像清晰化各算法的客觀指標評價結果。

由表3可以看出,除融合算法之外,其它6種算法能夠在一定程度上提升圖像清晰化程度。本文算法在大多數(shù)圖像的結構相似度指數(shù)中都取得了最高的分數(shù),表明本文算法能夠有效保持原圖像的細節(jié)結構信息,處理結果與真實無塵霧圖像最接近。就各圖像結構相似度指數(shù)的平均值而言,DehazeNet和MSCNN算法取得了第二、第三的結果,表明兩種算法都能夠在在一定程度上實現(xiàn)煤礦塵霧圖像的清晰化。

表3塵霧圖像清晰化各算法客觀指標評價結果
Table3Objectiveevaluationresultsofdustandfogimageclearrestorationalgorithms

評價指標編號塵霧圖像BCCR算法DehazeNet融合算法MSCNNDCPFVR本文算法場景10.530.730.770.470.690.780.570.83峰值信噪比評價場景20.740.810.880.560.870.620.750.96指標(PSNR)場景30.350.530.610.300.490.750.370.76場景40.820.630.910.560.890.530.840.96場景117.6817.0122.5611.7718.3218.1816.4333.10結構相似度指數(shù)場景220.6919.7924.6413.3522.2620.5619.8235.39評價指標(SSIM)場景320.7020.1724.8813.6021.6021.5520.4436.35場景421.5021.1925.9913.4525.1621.5120.4535.77

同時，由表3可以看出,除融合算法和快速可視化恢復(FVR)算法之外,其它5種算法都有效減少了圖像的失真。本文算法處理后的圖像的峰值信噪比都是最高的,表明本文算法能夠非常好的恢復塵霧圖像,使得清晰化恢復后的圖像更加接近真實圖像。另外，DehazeNet和MSCNN算法處理的結果緊隨本文算法,其次是BCCR算法和基于暗通道先驗原理的清晰化算法。出現(xiàn)這種現(xiàn)象的原因是BCCR算法和基于暗通道先驗的清晰化算法在處理煤礦井下塵霧圖像存在過度清晰化的問題。從視覺效果來看,兩種算法處理的圖像的清晰度和對比度都比較高,但由于過度清晰化的原因,使得圖像中色彩和對比度單一的區(qū)域信息損失比較大。

5 結 語

本文提出了一種基于深度融合網(wǎng)絡的煤礦圖像塵霧清晰化方法。對于輸入圖像,深度融合網(wǎng)絡首先提取輸入圖像在不同的圖像增強方法及增強參數(shù)下的特征圖,然后對其融合輸入到網(wǎng)絡中。在深度融合網(wǎng)絡的設計中,基于空洞卷積提出了能夠進行雙向的上下文提取的雙金字塔模塊,并用于對塵霧圖像全局和局部信息的提取。實驗表明,基于深度融合網(wǎng)絡的清晰化算法在主觀評價和客觀評價方面(PSNR,SSIM)均優(yōu)于經(jīng)典的塵霧清晰化算法。