天空區(qū)域分割修正的圖像去霧新算法

暴婉婷，王俊平，魏書蕾，李艷波，周 勇

(西安電子科技大學(xué) 通信工程學(xué)院，陜西 西安 710071)

隨著霧霾日益嚴重，圖像去霧的研究越來越重要。降低或消除圖像中霧氣對場景的影響，實現(xiàn)有霧圖像的清晰化，是近年來國內(nèi)外的研究熱點[1]。目前從3個方向劃分圖像去霧技術(shù)：①以圖像增強技術(shù)為基礎(chǔ)的方法增強了圖像的對比度，如直方圖均衡化[2]、雙邊濾波[3]、曲波變換[4]、形態(tài)學(xué)濾波[5]和RETINEX算法[6]等方法。此類方法沒有考慮圖像退化的本質(zhì)原因，導(dǎo)致重要信息特征的丟失。②以圖像融合技術(shù)為基礎(chǔ)的方法通過從多重來源通道中最大化有效信息最終形成高質(zhì)量圖像。ANCUTY等[7]首次提出一個融合的技術(shù)來去霧。在該方法中原始圖像的兩個輸入被3個歸一化權(quán)重圖所衡量，通過多尺度融合消除霧的影響。③以圖像復(fù)原技術(shù)為基礎(chǔ)的方法基于大氣散射模型及其逆過程。幾種代表性算法如下：文獻[8]中假設(shè)透射率與表面陰影局部不相關(guān)，估計場景的反照率和介質(zhì)透射率來恢復(fù)圖像，但是對濃霧圖像的去霧效果不是很好；文獻[9]中在圖像經(jīng)過白平衡后，估計大氣面紗，再利用中值濾波器進行細化，該算法去霧速度快，但效果一般；HE等[10]提出暗通道先驗假設(shè)，求出暗通道模型，得到粗略的透射率圖，利用軟摳圖技術(shù)細化透射率，最終復(fù)原得到無霧圖像。但這些算法存在細節(jié)信息丟失、大氣光強值估計偏低、天空區(qū)域去霧效果不佳等不足。因此，針對以上不足提出了天空區(qū)域分割修正的彩色圖像去霧新算法，并通過實驗驗證其有效性和可行性。

1 圖像去霧相關(guān)理論基礎(chǔ)

1.1 大氣散射模型與暗通道先驗?zāi)Ｐ?/h3>

暗通道先驗去霧[11]是基于文獻[12]中提出的大氣散射模型并對其進行變換：

F(x)=t(x)J(x)+(1-t(x))A，

(1)

其中，F(xiàn)(x)是已知量，表示帶霧原圖；t(x)為透射率；J(x)是去霧后的清晰圖像；t(x)J(x)是光在媒質(zhì)中的衰減；(1-t(x))A是由散射引起的大氣光成分。

對于被霧霾干擾的圖像來說，暗通道白色或灰色的強度值明顯變高。暗通道先驗?zāi)Ｐ蚚13]為

(2)

其中，F(xiàn)c為原始帶霧圖像F的RGB這 3個顏色通道之一，F(xiàn)dark為原始帶霧圖像F的暗通道先驗?zāi)Ｐ?，?x)是以x為中心的領(lǐng)域。

與暗通道先驗?zāi)Ｐ拖鄬?yīng)的亮通道先驗?zāi)Ｐ蚚14]為

(3)

其中，F(xiàn)c為原始帶霧圖像F的RGB 這3個顏色通道之一，F(xiàn)bright為原始帶霧圖像F的亮通道先驗?zāi)Ｐ停?x)是以x為中心的領(lǐng)域。

1.2 SLIC超像素圖像分割算法

簡單線性迭代聚類(Simple Linear Iterative Cluster, SLIC)算法[15]可以生成圖像的超像素，實現(xiàn)圖像從RGB空間至Lab空間的轉(zhuǎn)換，將每個像素的(L,a,b)和(x,y)元素結(jié)合成五維向量V(L,a,b,x,y)，通過計算兩個像素間的向量距離來度量其相似性。向量距離越小，相似性越大。SLIC超像素圖像分割算法采用k均值聚類方法高效地生成超像素，生成大量的超像素時簡潔靈活，可以更好地獲取邊界，擴展至更大的規(guī)模，具有更快的速度和更高的內(nèi)存效率，可顯著提高分割的性能。因此，選用SLIC超像素圖像分割算法可分割出圖像的天空區(qū)域。

1.3 基于非線性模型的圖像增強技術(shù)

圖像增強技術(shù)通過改善圖像的視覺效果，使圖像更加清晰。基于非線性模型的圖像增強技術(shù)可以實現(xiàn)圖像灰度動態(tài)范圍的壓縮和圖像對比度的增強。這種增強技術(shù)使用了數(shù)學(xué)學(xué)科的技巧，因為人眼視覺系統(tǒng)對圖像亮度具有類似對數(shù)運算的非線性特性。這里選取COPLIP模型[16]和MSR模型[6]的圖像增強技術(shù)處理分割出來的天空區(qū)域。這兩種模型均屬于非線性模型，改善了由于線性模型線性圖像信息的嚴重丟失使人們無法獲得視覺愉悅的圖像的問題，處理后的效果較好。

2 天空區(qū)域分割修正的圖像去霧新算法

筆者提出了天空區(qū)域分割修正的圖像去霧新算法。該算法在暗通道先驗算法的基礎(chǔ)上，對暗通道與亮通道先驗?zāi)Ｐ瓦M行帶參線性加權(quán)運算，并提出基于此參數(shù)驅(qū)動的自適應(yīng)圖像去霧模型，以自適應(yīng)求取大氣光強值對應(yīng)的參數(shù)。此外，還針對圖像分割后的天空區(qū)域部分，提出一種加權(quán)平均融合COPLIP模型和MSR模型的天空區(qū)域修正新模型，并通過圖像融合技術(shù)得出最終的去霧圖像。

2.1 參數(shù)驅(qū)動的自適應(yīng)圖像去霧模型

基于暗通道先驗提出參數(shù)M，并提出暗通道與亮通道模型針對參數(shù)M的線性加權(quán)運算，從而自適應(yīng)求取大氣光強值A(chǔ)。在文獻[17]中提到了一系列針對去霧后圖像質(zhì)量評價的客觀標準，筆者選取其中7個客觀評價指標，分別為標準偏差(STandard Deviation, STD)，峰值信噪比(Peak Signal to Noise Ratio, PSNR)，平均梯度(Mean Gradient, MG)，信息熵(Information Entropy, IE)，結(jié)構(gòu)相似性(Structure SIMilarity, SSIM)，邊緣保護指數(shù)(Edge Preserve Index, EPI)，均方誤差(Mean Squared Error, MSE)。其中，STD, AG, IE, PSNR, SSIM的評價標準為：指標數(shù)值越大，說明對應(yīng)的圖像去霧處理后質(zhì)量越高；而MSE, EPI的評價標準為：指標數(shù)值越小，對應(yīng)的圖像處理后質(zhì)量越高，并基于此評價標準建立參數(shù)驅(qū)動的自適應(yīng)圖像去霧模型(PAIDM)。該模型綜合地表述了圖像去霧處理后質(zhì)量評價結(jié)果。該模型結(jié)果數(shù)值越大，說明去霧后圖像質(zhì)量越高。

2.2 天空區(qū)域修正及圖像融合

分別使用COPLIP模型和MSR模型對分割出的天空區(qū)域進行處理。設(shè)L(x,y)表示經(jīng)過COPLIP模型處理后的圖像，Z(x,y)表示經(jīng)過MSR模型處理后的圖像，則參數(shù)N驅(qū)動的加權(quán)平均融合算法可以表示為

C(x,y)=N×L(x,y)+(1-N)×Z(x,y) ，

(4)

其中，參數(shù)N=0.5。當N=1時，表示的是COPLIP模型處理分割的天空區(qū)域，融合操作處理后的圖像邊緣塊效應(yīng)較小，但處理后天空區(qū)域去霧不徹底；當N=0時，表示的是MSR模型處理分割的天空區(qū)域，融合操作處理后天空區(qū)域去霧徹底，但顏色較暗且邊緣塊效應(yīng)較大。因此取參數(shù)N=0.5時，加權(quán)平均融合COPLIP模型和MSR模型處理分割的天空區(qū)域，可以綜合實現(xiàn)天空區(qū)域徹底去霧與邊緣塊效應(yīng)降低的效果。

將參數(shù)驅(qū)動的自適應(yīng)去霧結(jié)果圖像J(x,y)進行SLIC超像素圖像分割處理后保留非天空區(qū)域圖像I(x,y)，并將處理過的天空區(qū)域圖像C(x,y)與I(x,y)進行圖像融合操作：

Q(x,y)=C(x,y)+I(x,y) ，

(5)

從而得到最終的去霧圖像。

2.3 天空區(qū)域分割修正的圖像去霧新算法實現(xiàn)步驟

基于天空區(qū)域分割修正的圖像去霧新算法步驟描述如下：

步驟1 輸入原始圖像F(x)，由式(2)求取暗通道先驗?zāi)Ｐ虵dark，由式(3)求取亮通道先驗?zāi)Ｐ虵bright。

步驟2 選取暗通道先驗圖像Fdark和亮通道先驗圖像Fbright中前0.1%亮度最大的像素點，對應(yīng)到原帶霧圖像中的像素點，選取帶霧圖像對應(yīng)點中亮度最大點的像素值為Fdark(0.1)和Fbright(0.1)。

步驟3 結(jié)合Fdark和Fbright，基于參數(shù)M自適應(yīng)地求取大氣光強值A(chǔ)。

步驟4 假定大氣光強值A(chǔ)已求得，根據(jù)式(1)可得到去霧后的結(jié)果圖像。

步驟6 根據(jù)步驟5的參數(shù)M的取值得到初步去霧實驗結(jié)果圖像J(x)。

步驟7 利用SLIC超像素圖像分割算法對原始帶霧圖像進行分割，得到天空區(qū)域像素值為1且非天空區(qū)域像素值為0的二值圖像，并將該二值圖像與步驟6中所得實驗結(jié)果進行乘法操作，從而得到待修正的天空區(qū)域。

步驟8 分別對步驟7中得到的待修正的天空區(qū)域進行MSR算法與COPLIP算法的運算，并利用式(4)實現(xiàn)加權(quán)平均融合COPLIP模型和MSR模型的天空區(qū)域修正新模型以修正天空區(qū)域。

步驟9 通過式(5)將修正后的天空區(qū)域圖像與SLIC超像素圖像分割算法處理初步去霧結(jié)果圖像后的結(jié)果圖像進行融合操作，從而得到最終的去霧結(jié)果圖像，并與現(xiàn)有經(jīng)典圖像去霧算法進行主客觀對比分析。

2.4 天空區(qū)域分割修正的圖像去霧新算法可行性分析

天空區(qū)域分割修正的彩色圖像去霧新算法首先引入與暗通道先驗?zāi)Ｐ拖鄬?yīng)的亮通道先驗?zāi)Ｐ停Π低ǖ琅c亮通道先驗?zāi)Ｐ瓦M行帶參線性加權(quán)計算，選取參數(shù)M取值范圍是(0,1)，M的計算精度為0.1，經(jīng)過11次步驟3、步驟4的計算后，可以對大氣光強值進行補償優(yōu)化，從而得到更好的去霧效果；其次，針對天空區(qū)域去霧效果不佳的情況，先對初步去霧圖像中的天空區(qū)域利用SLIC超像素圖像分割算法分割出圖像的天空區(qū)域，因為SLIC超像素圖像分割算法可以高效地生成超像素，簡潔靈活且易獲取邊界，具有更快的速度和更高的內(nèi)存效率，顯著提高了分割的性能；最后，提出加權(quán)平均融合COPLIP模型和MSR模型的天空區(qū)域修正新模型對分割后的天空區(qū)域進行修正，COPLIP模型和MSR模型均屬于非線性圖像增強模型，可以使人們獲得視覺愉悅的圖像并改善了圖像信息嚴重丟失的問題。新算法的步驟1至步驟9所描述的算法操作都是通過基本運算的有限次執(zhí)行來實現(xiàn)的，因此它具有可行性和可操作性。

3 實驗結(jié)果與分析

為了驗證文中去霧新算法的有效性，將去霧新算法與FATTAL、MSR和HE去霧算法的去霧效果進行比較。為了確?？陀^性和統(tǒng)一性，基于暗通道先驗的方法計算暗通道時,窗口大小均為3×3；使用了引導(dǎo)濾波[18]的方法對透射率進行精確估計，實驗過程中均采用相同的濾波參數(shù)，半徑r=8，正則化參數(shù)λ=0.04;MSR模型增強算法中低尺度為a1=25，nr=31，中尺度為a2=729，ng=161，高尺度a3=4 489，nb=401；COPLIP模型增強算法中參數(shù)n=300，k=300；分割天空區(qū)域算法中參數(shù)為步距S(S=8)，空間距離的影響程度m=0.5，收斂條件c=50 000。下面分別從主客觀方面對去霧新算法進行去霧效果評價。

3.1 實驗結(jié)果

文中通過對圖像去霧領(lǐng)域的標準測試圖譜進行實驗和分析，選取一張含有天空區(qū)域的原始帶霧圖像并詳細列舉實驗結(jié)果，如圖1所示。圖1(a)表示的是原始帶霧圖像，圖1(b)表示的是暗通道先驗?zāi)Ｐ?，圖1(c)表示的是亮通道先驗?zāi)Ｐ?，圖1(d)表示的是參數(shù)驅(qū)動去霧算法實驗結(jié)果圖，圖1(e)表示的是SLIC超像素圖像分割算法結(jié)果圖，圖1(f)表示的是MSR模型天空區(qū)域修正結(jié)果圖，圖1(g)表示的是COPLIP模型天空區(qū)域修正結(jié)果圖，圖1(h)是去霧新算法天空區(qū)域修正結(jié)果圖。首先通過參數(shù)驅(qū)動的自適應(yīng)圖像去霧模型求取了相對應(yīng)的參數(shù)M的數(shù)值；然后對結(jié)果圖像進行天空區(qū)域分割，并對分割后的天空區(qū)域部分進行修正。由表1可知，圖1(a)在M=0.1時，參數(shù)M驅(qū)動的自適應(yīng)圖像去霧模型數(shù)值最大，說明此時原始帶霧圖像去霧后圖像質(zhì)量綜合評價最高。原始帶霧圖像圖1(a)中存在大面積的天空區(qū)域，因此通過自適應(yīng)去霧算法初步去霧后，從實驗結(jié)果圖1(d)中可以看出，初步去霧后的天空區(qū)域顏色過于偏黃，無論是從理論上還是實際中都應(yīng)該對天空區(qū)域進行修正。因此采用加權(quán)平均融合COPLIP模型和MSR模型的天空區(qū)域修正新模型處理分割出的天空區(qū)域，并利用圖像融合技術(shù)得出最終的去霧實驗結(jié)果圖像，如圖1(h)所示。

圖2展示了幾種經(jīng)典去霧算法的實驗結(jié)果圖，圖2(a)表示的是FATTAL算法實驗結(jié)果圖，圖2(b)表示的是HE算法實驗結(jié)果圖，圖2(c)表示的是MSR算法實驗結(jié)果圖。經(jīng)過主觀分析，與經(jīng)典去霧算法相比，文中提到的去霧新算法結(jié)果圖邊緣保持較好，景物細節(jié)更加清晰，圖像色彩鮮艷程度適宜，可以獲得更好的視覺效果。此外，實驗結(jié)果表明，MSR模型對天空區(qū)域處理后，邊緣的一定范圍內(nèi)存在較明顯的塊效應(yīng)，如圖1(f)所示。而引入COPLIP模型進行加權(quán)平均融合后，在一定程度上減小了邊緣的塊效應(yīng)。對于其他無天空區(qū)域的原始帶霧圖像，不需要進行天空區(qū)域修正的部分，初步的參數(shù)驅(qū)動去霧算法即可達到需要的效果，并且針對不同的圖像對應(yīng)得到不同的參數(shù)值，從而達到自適應(yīng)去霧的效果。

圖1 帶霧原始圖像與去霧后的圖像

圖2 典型的去霧算法實驗結(jié)果

MSTDAGIEMSEPSNRSSIMEPIPAIDM1.01.00001.00000.00001.00000.00000.00001.00000.00000.90.89620.86060.05320.74050.01000.19070.86600.40420.80.79230.73940.10390.52680.21300.36770.74570.94380.70.74440.61820.24960.35480.33920.53260.63491.49430.60.58010.50910.41230.73220.49060.68210.53241.40960.50.46920.41210.52560.12340.57630.80930.43572.23340.40.35170.31520.62480.05740.67460.91070.33762.48200.30.22310.20610.77810.01610.80980.97770.22802.75070.20.11450.11520.89670.00000.94491.00000.12622.94510.10.04620.04850.95270.00101.00000.99830.05412.99060.00.00000.00001.00000.00730.98750.98630.00002.9665

3.2 客觀評價

由于主觀評價方法需要進行多次重復(fù)實驗，且易受到觀測者個人因素的影響，而客觀評價是用數(shù)學(xué)的方法計算得出，容易讓人信服。文中采取4個常用的圖像質(zhì)量客觀評價指標IE、PSNR、SSIM、EPI，對去霧后圖像質(zhì)量進行評價。其中，圖像質(zhì)量客觀評價指標IE的評價標準為：圖像處理后所得IE值越大，圖像處理后信息含量越高，結(jié)果圖像質(zhì)量越好；圖像質(zhì)量客觀評價指標PSNR的評價標準為：圖像處理后所得PSNR值越大，圖像處理后峰值信噪比越大，結(jié)果圖像質(zhì)量越好；圖像質(zhì)量客觀評價指標SSIM的評價標準為：圖像處理后所得SSIM值越接近于1，圖像處理后結(jié)構(gòu)相似度越高，結(jié)果圖像質(zhì)量越好；圖像質(zhì)量客觀評價指標EPI的評價標準為：圖像處理后所得EPI值越接大，圖像處理后邊緣保護指數(shù)與1的偏差越大，結(jié)果圖像質(zhì)量越差。由表2可以看出，筆者提出的去霧新算法在處理原始帶霧圖像圖1(a)后所得的PSNR、SSIM、EPI這3個客觀圖像質(zhì)量評價指標上，遠遠優(yōu)于FATTAL算法、MSR算法和HE算法；雖然在IE評價指標上略低于MSR算法，但是MSR算法其他評價指標結(jié)果較差，且新算法在綜合評價上優(yōu)于MSR算法。因此從客觀評價方面，新算法的圖像去霧處理的指標評價均優(yōu)于FATTAL算法、MSR算法和HE算法。

表2 不同算法對圖像去霧處理結(jié)果的客觀評價

3.3 幾種經(jīng)典去霧算法計算時間消耗

在具有相同條件的實驗環(huán)境下，分別仿真實現(xiàn)原始帶霧圖像圖1(a)的FATTAL算法、MSR算法、HE算法、COPLIP算法和筆者提出的天空區(qū)域分割修正的圖像去霧新算法的時間消耗，其實驗結(jié)果如表3所示。

表3 不同算法圖像去霧處理結(jié)果的時間消耗

由于筆者提出的天空區(qū)域分割修正的圖像去霧新算法是在HE暗通道先驗去霧算法基礎(chǔ)上進行改進和優(yōu)化，并且提出了加權(quán)平均融合COPLIP模型和MSR模型的天空區(qū)域修正新模型，所以由表3可知，去霧新算法所消耗的時間既少于HE暗通道先驗去霧算法，又少于MSR算法與COPLIP算法所消耗的時間之和。因此天空區(qū)域分割修正圖像去霧新算法在計算時間消耗方面獲得了一定的優(yōu)化和改進。

4 總 結(jié)

筆者提出的天空區(qū)域分割修正的圖像去霧新算法是在HE提出的暗通道先驗去霧算法的基礎(chǔ)上，引入了與暗通道先驗?zāi)Ｐ拖鄬?yīng)的亮通道先驗?zāi)Ｐ?，并將暗通道與亮通道先驗?zāi)Ｐ蛶⒕€性加權(quán)，以自適應(yīng)求取大氣光強值，從而獲得更優(yōu)化的去霧效果。同時提出了參數(shù)驅(qū)動的自適應(yīng)圖像去霧模型，該模型綜合了現(xiàn)有的7個經(jīng)典客觀圖像質(zhì)量評價指標的評價結(jié)果，從而自適應(yīng)地求取參數(shù)值。此外，針對原始帶霧圖像在天空區(qū)域的處理效果不佳的問題，還提出了加權(quán)平均融合COPLIP模型和MSR模型的天空區(qū)域修正新模型處理分割出的天空區(qū)域，并利用圖像融合技術(shù)得到最終的去霧實驗結(jié)果圖像。筆者提出的去霧新算法在圖像去霧方面取得了一定的優(yōu)化成果，并在一定程度上修正了天空區(qū)域去霧的偏差。