霧塵條件下糧庫圖像去霧算法研究

桂便 祝玉華 甄彤

（河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 河南 鄭州? 450001）

摘? 要： 針對現(xiàn)有去霧方法在含有大面積亮白區(qū)域的圖像中，傳統(tǒng)方法有可能導(dǎo)致大氣光值估計不準確，提出基于四叉樹分解的方法，避免亮白區(qū)域?qū)Υ髿夤夤烙嫷挠绊?，在天空區(qū)域內(nèi)對大氣光進行準確估計;同時，為避免手工特征提取及假設(shè)條件的限制，利用三個不同尺度的卷積核對原始霧圖進行卷積操作，經(jīng)過網(wǎng)絡(luò)的一系列特征學(xué)習之后得到待細化傳播圖;然后使用圖像融合方法對其進行細化;最后，將估計的參數(shù)代入大氣散射模型從而反演出清晰圖像。合成和真實世界的糧庫霧塵圖像的定量和定性實驗結(jié)果表明，該算法對于圖像紋理細節(jié)以及天空區(qū)域的處理上有較好效果，且魯棒性高，普適性強。

關(guān)鍵詞： 糧庫圖像; 圖像去霧; 四叉樹分解; 光值估計; 卷積網(wǎng)絡(luò); 圖像融合

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）14?0121?04

Research on Grain Depot Image defogging Algorithm in Hazy Environment

GUI Bian， ZHU Yuhua， ZHEN Tong

（College of Information Science and Engineering， Henan University of Technology， Zhengzhou 450001， China）

Abstract： As the traditional defogging method could cause the inaccurate estimation of atmospheric light value in the images containing large areas of bright white， a method based on Quadtree decomposition is proposed， which avoids the effect of bright white areas on the atmospheric light estimate， and accurately estimates the atmosphere light in the sky area. In order to avoid the limitation of handwork feature extraction and assumed condition， the convolution operation of the original fog map is conducted by means of the three different?scale convolution kernels， the diffusion map to be refined is obtained by a series of feature learning of the network， and then the image fusion method is used to refine it. The estimated parameters are incorporated into the atmospheric scattering model to produce a clear image. The experimental results of quantitative and qualitative of the synthetic and real?world grain depot fog image demonstrate that the algorithm has better effect on image texture details and the processing of sky area， and has high robustness and strong universality.

Keywords： grain image; image fogging; Quadtree decomposition; light value estimation; convolution network; image fusion

單幅有霧圖像去霧算法一般需要估計霧圖像形成模型中的透射率和天空亮度參數(shù)這兩個關(guān)鍵部分。為了完成這兩部分的估計，傳統(tǒng)基于先驗的方法發(fā)現(xiàn)各種各樣新的霧相關(guān)先驗或者通過提出新的方法來使用它們。但是，對于現(xiàn)實生活中各種各樣不同的場景，霧相關(guān)先驗可能會失效。相比之下，基于學(xué)習的方法通過數(shù)據(jù)驅(qū)動的方式來探索霧圖及其對應(yīng)透射圖之間的映射模型，改進了傳統(tǒng)基于假設(shè)的方法，得到更加準確的透射圖。然而，該類方法仍采用傳統(tǒng)方法對天空亮度參數(shù)進行估計，導(dǎo)致對明暗變化強烈的圖像處理時圖像暗部細節(jié)丟失，引入了色偏、過增強等一系列的負面效應(yīng)。故本文提出基于四叉樹分解的方法。

1? 本文算法實現(xiàn)

1.1? 獲取大氣光

大量實驗證明，天空區(qū)域在視覺效果表現(xiàn)上其亮度值明顯高于非天空區(qū)域，局部區(qū)域相對平滑，即像素強度較大，像素值之間差值較小，標準差較小[1]。因此，基于這兩種特性，本文具體實現(xiàn)算法如下：

1） 設(shè)定閾值X值為100，劃分子像素塊長寬方向像素值乘積（Wn×Hn）小于100作為分解的終止條件。

2） 將輸入圖像平均劃分為4個象限，即[Pin]，n為劃分的迭代次數(shù)，i[∈][1，2，3，4]，分別代表左上限、右上限、左下限、右下限。

3） 對每一個象限，分別計算像素強度平均值和標準差，分別定義為Avg（[Pin]）和Std（[Pin]）。

4） 計算每個象限的最終結(jié)果Total（[Pin]），表達公式為：

[Total（Pin）=Avg（Pin）-Std（Pin）] （1）

5） 將Total（[Pin]）最大的象限分解為4個子象限，重復(fù)步驟3）、步驟4），直至滿足迭代終止條件：Wn×Hn<100。

6） 當?shù)K止時，將Total最高區(qū)域[Totalhighn]內(nèi)的亮度強度平均值作為大氣光[2]A，表示為：

[A=1Wn×Hnx∈TotalhighnI（x）] （2）

圖1選擇一幅有霧圖像進行測試，并與現(xiàn)有方法（He方法、Shwartz方法以及Tan方法）進行試驗對比。從圖中很明顯看出，本文方法準確定位出了大氣光位置（如圖1b）中方框圈出的區(qū)域），相比之下，對比方法將大氣光都定位在了干擾物上。

1.2? 透射率估計

為估計出精確的傳輸圖，建立霧塵圖像及其傳輸圖之間的映射關(guān)系，本文提出了MS_CNN，一個可訓(xùn)練的端到端系統(tǒng)[3]，通過有監(jiān)督學(xué)習方式準確地學(xué)習有霧圖像及其對應(yīng)傳輸圖之間的映射關(guān)系。

1.2.1? 網(wǎng)絡(luò)設(shè)計

1） 多尺度特征提取。在霧圖像輸入到模型之前先對圖像做預(yù)處理，預(yù)處理階段首先將原始的RGB有霧圖像歸一化到320×240，同時由于圖像灰度圖含有豐富的圖像邊緣信息，在細化傳輸圖時能起到很大作用，但是實際操作中運算會比較復(fù)雜。因此，需要對歸一化之后的RGB圖像進行下采樣處理，下采樣率設(shè)置為1.05，縮短網(wǎng)絡(luò)訓(xùn)練時的運行時間，分別保留下采樣之后的RGB圖像并將其轉(zhuǎn)換為灰度圖像。經(jīng)過預(yù)處理之后的RGB圖像大小為304×228作為網(wǎng)絡(luò)第一層的輸入[4]。

采用3個不同尺度的卷積核對輸入圖像提取不同尺度的霧相關(guān)特征，用96個大小分別為11×11，9×9，7×7的卷積核，卷積跨步設(shè)為4，經(jīng)過卷積之后特征圖大小為74×55，基于Maxout激活函數(shù)強大的擬合能力，能夠擬合任意凸函數(shù)的特性，本文在多尺度特征提取階段的卷積層使用Maxout激活函數(shù)，取每張?zhí)卣鲌D的最大值作為輸出結(jié)果，將3種尺度卷積得到的結(jié)果經(jīng)過Maxout激活層后獲得霧相關(guān)特征圖。最后將獲得的霧相關(guān)特征圖按通道疊加以便之后的特征學(xué)習[5]。每個卷積核對有霧圖像進行特征提取并將其表示為高維向量的過程定義為F1，具體表示如下：

[F1=max（0，W1x+b1）]? ? ? （3）

2） 特征學(xué)習。由于進行非線性變換前的激活輸入值（y=wx+b，x為輸入）隨著網(wǎng)絡(luò)深度不斷加深或?qū)W(wǎng)絡(luò)進行訓(xùn)練時，其分布不斷發(fā)生偏移，整體分布向非線性函數(shù)取值區(qū)間的極限飽和區(qū)靠攏，導(dǎo)致網(wǎng)絡(luò)收斂速度越來越慢，出現(xiàn)梯度消失的問題[6]，因此，本文在第3層、第4層、第5層的卷積層之后引入批標準化（Batch Normalization，BN），通過一定的標準化手段，將每個隱含層神經(jīng)元的輸入值x的分布強制拉回到正態(tài)分布，均值為0，方差為1，以此避免梯度消失的問題。其計算公式如下：

[BNδ，β（x）=y=δx-μσ2+φ+β]? ?（4）

式中：[μ]為x的均值;[σ2]為方差。在批標準化層之后采用ReLu作為激活函數(shù)。該激活函數(shù)在特征提取中對特征的平移、縮放和旋轉(zhuǎn)具有不變性，相比其他激活函數(shù)，省去了復(fù)雜的運算，收斂速度較快。其定義如下：

[F（x）=max（0，x）] （5）

第6層為池化層以下采樣的方式，適當?shù)乇３痔卣餍畔?，降低特征維度，本文采用最大池化，Padding為0，Stride為1。為了保持輸出的傳輸圖大小與輸入圖像大小一致，本文在網(wǎng)絡(luò)的第8層增加了一個上采樣層，由于上采樣會將圖像線性放大，若上采樣率過大輸出圖像將會變得模糊，而且在一定程度上限制了圖像特征[7]。因此，本文將上采樣率設(shè)置為4.2，最后輸出圖像大小為73×54。

3） 非線性回歸。由于網(wǎng)絡(luò)提取到的特征在輸出前的上采樣層有多個通道，因此，本文采用一個非線性結(jié)合器在上采樣層之后結(jié)合特征通道。

1.2.2? 網(wǎng)絡(luò)訓(xùn)練

1） 數(shù)據(jù)集。本文選擇2 000幅與糧庫場景大致相同的清晰圖像及其對應(yīng)的深度圖，之后基于式（2）和大氣散射模型生成傳輸圖像及其對應(yīng)的霧霾圖像。利用式（2）生成傳輸圖像時，散射系數(shù)[β]取值區(qū)間為[0.75，1.5]。[β]值過小，合成圖像中霧濃度太薄且有噪點產(chǎn)生;[β]值過大，透射率值t（x）超于0。基于大氣散射模型生成霧霾圖像時，光照強度A=（k，k，k），k[∈][0.7，1.0]。在合成圖像時，[β]在[0.75，1.5]隨機取4個值，最終在合成圖像中獲得8 000幅霧霾圖像和傳輸圖像數(shù)據(jù)集[8]。同理，利用Middlebury立體數(shù)據(jù)集生成40幅圖像作為驗證集。

2） 網(wǎng)絡(luò)訓(xùn)練。先對所有權(quán)重[Wni，j]和偏置[bni，j]參數(shù)進行初始化，初始偏置設(shè)為0。初始化完成后，本文利用隨機梯度下降法更新權(quán)重[Wni，j]和偏置[bni，j]，更新規(guī)則為：

[Wni，j=Wni，j-α??Wni，jJW，b] （6）

[bni，j=bni，j-α??bni，jJW，b] （7）

式中，[α]表示學(xué)習率，初始[α]為0.001，迭代次數(shù)每增加20次，學(xué)習率下降0.1，迭代值為70。采用式（8） 作為所提網(wǎng)絡(luò)模型的損失函數(shù)，來比較真實傳輸圖[tix]與預(yù)測傳輸圖[t*ix]之間的差值。

[Ltix，t*ix=1mi=1m（Δti）2]? （8）

式中：[Δti=tix-t*ix];i是像素點;m是訓(xùn)練集中有霧圖像的數(shù)量。本文所提模型的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

1.2.3? 傳輸圖的細化

考慮到圖像灰度圖含有豐富的圖像邊緣信息，因此本文在經(jīng)過多尺度卷積神經(jīng)網(wǎng)絡(luò)獲取到圖像的粗略傳輸圖之后，采用圖像融合的方法，將灰度圖像和粗略傳輸圖像融合成高質(zhì)量的傳輸圖像。圖像融合能夠?qū)⒒叶葓D像和粗略傳輸圖像中對同一對象的有力信息結(jié)合起來[9]，對圖像的可靠信息充分利用，改善目標圖像的清晰度。本文采用加權(quán)平均融合，可以最大限度地保留原始圖像中的細節(jié)信息。加權(quán)方法公式為：

[I（x，y）=θ1·i1（x，y）+θ2·i2（x，y）] （9）

式中：[θ1]和[θ2]為加權(quán)系數(shù)，滿足[θ1]+[θ2]=1;[（x，y）]為像素的坐標位置;[i1（x，y）]為灰度圖像;[i2（x，y）]為粗略傳輸圖像，經(jīng)過實驗，選定加權(quán)系數(shù)[θ1]為0.4，[θ2]為0.6。

1.2.4? 復(fù)原無霧圖像

利用所提算法獲得A和t（x）的估計值之后，開始復(fù)原清晰圖像。但是當傳輸t（x）的值趨近于0時，J（x）值偏大，容易出現(xiàn)噪點[10]，因此本文對于t（x）的值設(shè)定一個下限值0.1，最終的去霧公式如下：

[J（x）=I（x）-Amax{0.1，t（x）}+A]? （10）

2? 實驗結(jié)果與分析

為驗證本文所提方法的有效性，在真實和合成霧霾圖像上進行了幾組實驗。將實驗結(jié)果與先進算法（He方法、Tarel方法、Meng方法、DehazeNet方法）等作對比，同時進行定性和定量分析。實驗平臺為Matlab 2016a，運行環(huán)境為64位Windows 7，計算機配置為Intel[?]Core（TM） i5?3470 CPU @3.20 GHz，內(nèi)存8 GB。

2.1? 合成圖像對比實驗

本文使用4個例子：車輛、道路、庫區(qū)、門口。同時，為公平起見，本實驗圖像尺寸均為304×228，在同一臺PC機，同一環(huán)境運行。圖3展示了不同算法的去霧結(jié)果。從圖3可以看出，He方法和DehazeNet方法結(jié)果更接近于地面清晰圖像，但He方法基于無霧圖像的暗通道圖像往往趨于0，傾向于高估霧厚度，最終導(dǎo)致去霧后圖像顏色偏暗;Meng方法過度去霧，導(dǎo)致去霧結(jié)果顏色偏深;Tarel去霧效果較差，去霧結(jié)果上下對比明顯，下半部分沒有實現(xiàn)去霧[11];DehazeNet方法去霧結(jié)果有一些殘余的霧度，去霧結(jié)果偏暗。相比之下，本文所提算法從視覺效果上看更舒適，顏色較亮，對于天空區(qū)域的處理也較為自然，且對于較遠處的物體，能較好地去除霧氣。

2.2? 真實圖像對比實驗

圖4為真實圖像上不同算法去霧后各個指標的結(jié)果。

相比He算法，本文算法運行時間明顯縮短。所有算法中本文算法的MSE值是最低的，說明本文算法去霧結(jié)果失真差異較小，圖像內(nèi)容更接近于原圖像。

總體上來說，本文算法的PSNR指標占有優(yōu)勢，說明該算法的去霧結(jié)果受噪聲影響較小，結(jié)果比較清晰;同時，在SSIM指標上，本文算法結(jié)果明顯高于Meng算法和Tarel算法，與He方法和DehazeNet方法結(jié)果大致相當，說明所提算法在圖像邊緣細節(jié)處處理結(jié)果較好。

3? 結(jié)? 語

針對基于學(xué)習的方法在進行圖像復(fù)原時，往往采用傳統(tǒng)方法估計大氣光，造成圖像暗部細節(jié)丟失，同時為克服亮白區(qū)域?qū)Υ髿夤庵倒烙嫷挠绊?，本文首先采用四叉樹分解的方法對大氣光進行準確估計;然后利用多尺度卷積神經(jīng)網(wǎng)絡(luò)通過學(xué)習的方式獲得粗略傳輸圖，避免了傳統(tǒng)手工特征提取以及先驗條件的限制;之后基于灰度圖像含有豐富的邊緣信息，采用圖像融合的方法對傳輸圖進行細化。

對于含有亮白區(qū)域和天空區(qū)域的有霧圖像，獲取大氣光和傳輸圖的準確值，能夠保持較高的魯棒性，經(jīng)大氣散射模型復(fù)原的清晰圖像視覺效果上更為自然，細節(jié)信息突出，沒有出現(xiàn)光暈或偽影現(xiàn)象，表現(xiàn)出較好的去霧效果。

注：本文通訊作者為甄彤。

參考文獻

[1] 向文鼎，楊平，許冰.基于自適應(yīng)閾值分割和融合透射率的圖像去霧算法[J].計算機工程，2019（5）：1?8.

[2] 趙建堂.基于深度學(xué)習的單幅圖像去霧算法[J].激光與光電子學(xué)進展，2019（31）：1?13.

[3] 于平平，徐建格，劉學(xué)孔，等.基于明亮區(qū)域和天空識別的圖像去霧算法[J].河北工業(yè)科技，2019（3）：1?6.

[4] 雎青青，李朝鋒，桑慶兵.改進多尺度卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法[J].計算機工程與應(yīng)用，2019，55（10）：179?185.

[5] JIANG Y T， SUN C M， ZHAO Y， et al. Image dehazing using adaptive bi?channel priors on super?pixels [J]. Computer vision & image understanding， 2017， 165： 17?32.

[6] SINGH Dilbag， KUMAR Vijay. Image dehazing using Moore neighborhood?based gradient profile prior [J]. Image communication， 2019， 70： 131?144.

[7] LIU T， SONG W， DU C， et al. Fast single image defogging method based on physical model [C]// Eighth International Conference on Digital Image Processing. Chengdu： IEEE， 2016： 101?113.

[8] HE X Y， MAO J X， LIU Z W， et al. A fast algorithm for image defogging [C]// Chinese Conference on Pattern Recognition. Heidelberg： Springer， 2014： 149?158.

[9] MAKOVETSKII A， VORONIN S， KOBER V. Image dehazing using total variation regularization [M]// Rohit M Thanki， Ashish M Kothari. Applications of digital image processing XLI. Ontario： Springer， 2018： 143?150.

[10] LIU Qi， GAO Xinbo， HE Lihuo. Single image dehazing with depth?aware non?local total variation regularization [J]. IEEE transactions on image processing， 2018（7）： 202?212.

[11] KAPLAN N H， AYTEN K K， DUMLU A. Single image dehazing based on multiscale product prior and application to vision control [J]. Signal image video process， 2017，11（8）： 1389.