結(jié)合自適應(yīng)分割策略的圖像去霧算法*

王文杰 景志宇 梁曉瑞，2 潘 婷 楊秋翔

（1.中北大學(xué)軟件學(xué)院 太原 030051）（2.中北大學(xué)儀器科學(xué)與動(dòng)態(tài)測(cè)試教育部重點(diǎn)實(shí)驗(yàn)室 太原 030051）

1 引言

霧霾天氣環(huán)境下，大氣中存在著大量的水蒸氣、灰塵等懸浮粒子，造成戶外成像設(shè)備采集的圖像產(chǎn)生對(duì)比度降低、色彩缺失等問(wèn)題［1］。對(duì)安防、監(jiān)控以及無(wú)人機(jī)等戶外成像設(shè)備采集高質(zhì)量的圖像造成巨大的挑戰(zhàn)［2～3］。因此，在計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的應(yīng)用領(lǐng)域中，如何獲得霧天環(huán)境下高質(zhì)量的圖像具有重要的研究意義［4～5］。

目前，圖像去霧方法總體分為兩類：基于圖像增強(qiáng)方法和基于物理模型方法。基于圖像增強(qiáng)方法有直方圖均衡化［6］、小波變換［7］、Retinex［8］等，但此類方法只注重增強(qiáng)圖像的視覺(jué)效果，而忽略了霧天圖像的形成原理，處理后的圖像往往會(huì)產(chǎn)生色彩失真、細(xì)節(jié)缺失等問(wèn)題?；谖锢砟Ｐ偷姆椒?，以大氣散射模型為基礎(chǔ)，反演出無(wú)霧圖像?；谖锢砟Ｐ头椒梢苑譃槿悾夯诰拔锷疃刃畔⒎椒?、基于光的偏振特性方法以及基于先驗(yàn)信息方法［9］?；诰拔锷疃刃畔⒌乃惴ㄐ枰走_(dá)設(shè)備提供景深信息，過(guò)程復(fù)雜且代價(jià)高昂?；诖髿夤馄裉匦缘乃惴▽?duì)于霧氣較濃的圖像效果不佳，適用范圍有限［10］?；谙闰?yàn)信息的算法由于其過(guò)程簡(jiǎn)單，代價(jià)較小，近些年來(lái)獲得了較為優(yōu)異的成果。文獻(xiàn)［11］提出的結(jié)合馬爾可夫場(chǎng)和圖割理論的去霧方法，但容易引起Halo 效應(yīng)和色彩過(guò)飽和現(xiàn)象。文獻(xiàn)［12］通過(guò)獨(dú)立成分分析來(lái)獲得較為自然的去霧圖像，但需要足夠的顏色信息，對(duì)于景深較大和霧氣較濃的圖像效果不佳。文獻(xiàn)［13］通過(guò)最小化代價(jià)函數(shù)的方法來(lái)提高對(duì)比度，取得了較好的效果，但極易引起色偏，甚至徹底修改圖像的局部顏色。文獻(xiàn)［14］利用中值濾波估計(jì)大氣耗散函數(shù)，但該方法在處理邊緣位置易產(chǎn)生Halo效應(yīng)。

近些年基于暗通道先驗(yàn)（Dark Channel Prior，DCP）的圖像去霧方法［15］成為圖像去霧領(lǐng)域研究的熱點(diǎn)。并采用軟摳圖或?qū)驗(yàn)V波［16］的方法來(lái)得到較為精細(xì)的透射率圖像。但該方法本身對(duì)于有大面積天空區(qū)域的圖像存在嚴(yán)重的色彩失真問(wèn)題。文獻(xiàn)［17］通過(guò)對(duì)比區(qū)域梯度信息、亮度分量來(lái)分割天空區(qū)域。文獻(xiàn)［18］通過(guò)引入容差機(jī)制來(lái)區(qū)分識(shí)別天空區(qū)域。這兩種方法取得了一定的效果，但對(duì)于邊緣細(xì)節(jié)的處理仍不理想。

針對(duì)以上問(wèn)題，本文從暗通道圖像的直方圖出發(fā)，提出一種結(jié)合自適應(yīng)分割策略的圖像去霧方法。通過(guò)實(shí)驗(yàn)論證，戶外圖像的暗通道直方圖分布有明顯分離特性，基于此先驗(yàn)知識(shí)，利用最大化類間方差的策略，自適應(yīng)地獲取暗通道圖像分割閾值，結(jié)合閾值并引入容差機(jī)制重新計(jì)算透射率，采用四叉樹(shù)分解得到圖像全局大氣光值，最后，使用Gamma矯正提升圖像整體亮度。

2 相關(guān)原理

2.1 大氣散射模型

圖像處理常用的大氣散射模型［19］來(lái)描述圖像退化過(guò)程，其表達(dá)式如式（1）：

其中，x為圖像像素，I（x）為成像設(shè)備采集的圖像，A為大氣光值，t（x）為介質(zhì)透射率，J（x）為清晰自然圖像。圖1展示了大氣散射模型的成像過(guò)程。

圖1 大氣散射模型

2.2 暗通道先驗(yàn)理論

暗通道先驗(yàn)理論描述為戶外自然圖像矩形像素鄰域內(nèi)（邊長(zhǎng)為7或9的矩形）某一顏色通道值趨于0的現(xiàn)象，其形式表達(dá)如式（2）：

其中，Ω(x)為局部像素鄰域，Jdark（x）為暗通，c 為r、g、b分別為三個(gè)顏色通道。

根據(jù)以上理論，在均質(zhì)圖像中，由式（3）獲得粗略的透射率：

根據(jù)大氣散射模型反推真實(shí)的自然圖像J（x），其表達(dá)式如式（5）：

其中，t0是為防止透射率過(guò)小引起失真而加入的參數(shù)，常取值為0.1。

3 本文算法

3.1 大氣光值估計(jì)

傳統(tǒng)基于物理模型的方法采用圖像全局最亮像素作為大氣光值。文獻(xiàn)［15］采用暗通道圖像中最亮前0.1%像素均值作為大氣光值。文獻(xiàn)［17］采用RGB 各個(gè)顏色通道圖像天空區(qū)域均值作為大氣光值。以上獲取大氣光值的方法都不能有效避開(kāi)圖像場(chǎng)景中白色物體的影響。

本文通過(guò)四叉樹(shù)分解估計(jì)大氣光值，并同時(shí)考慮圖像亮度分量與透射率的影響。因此，首先將觀測(cè)圖像轉(zhuǎn)換到Y(jié)CbCr空間，即式（6）：

其中，Dy為圖像亮度分量，Dcb和Dcr為圖像的兩個(gè)色度分量。將亮度分量與透射率結(jié)合為式（7）：

其中，φ為判定參數(shù)，α為權(quán)重參數(shù)，大小設(shè)置為0.5，以保持透射率和亮度分量同等的影響力。

圖2 為四叉樹(shù)分解的原理圖，其具體描述為將圖像等分為四個(gè)區(qū)域，并設(shè)定選擇條件，確定滿足條件的區(qū)域并繼續(xù)劃分，循環(huán)操作，直至確定區(qū)域滿足結(jié)束條件。

圖2 四叉樹(shù)分解

自然圖像天空區(qū)域普遍存在兩種特征：細(xì)節(jié)稀少、整體平滑?；谶@種因素，四叉樹(shù)分解暗通道的流程如下。

1）對(duì)子區(qū)域進(jìn)行編號(hào)為Rm，m∈(1，2，3，4)分別代指左上角、右上角、左下角以及右下角4 個(gè)子區(qū)域。

2）由式（7）計(jì)算子區(qū)域的φ值與暗通道像素標(biāo)準(zhǔn)差S，并定義子區(qū)域得分gra，計(jì)算公式如式（8）：

3）取gra最高的區(qū)域，重復(fù)上述步驟，直到滿足終止條件后分解完成；此時(shí)子區(qū)域的像素均值為圖像全局大氣光值。

防止個(gè)別異常像素的影響，采用由Reinhard［13］提出的獲取像素均值的方式，最終大氣光值如（9）：

其中，G（x）為子區(qū)域內(nèi)像素均值，ξ是為防止計(jì)算結(jié)果出現(xiàn)無(wú)窮小的情況所設(shè)置的常數(shù)，通常取值為0.0001，n為像素總數(shù)，此處n為子區(qū)域長(zhǎng)寬乘積。

大氣光值的獲取應(yīng)由適當(dāng)數(shù)量的數(shù)據(jù)支持，為防止數(shù)據(jù)量偏少而使得大氣光值估計(jì)出現(xiàn)偏差，所以，四叉樹(shù)分解終止條件為子區(qū)域的長(zhǎng)寬乘積小于300。由圖3 可知本文獲取大氣光值的過(guò)程可以有效避開(kāi)亮白物體，獲取大氣光值的過(guò)程更為合理。

圖3 四叉樹(shù)分解過(guò)程

3.2 自適應(yīng)分割暗通道

根據(jù)自然圖像天空區(qū)域特性分析，并結(jié)合圖4的實(shí)驗(yàn)觀測(cè)發(fā)現(xiàn)，戶外有霧圖像暗通道分布直方圖呈雙峰分布或雙峰分布明顯的多峰分布，適用于最大化類間方差分割圖像。本文方法認(rèn)為在直方圖中最右側(cè)尖峰為戶外自然圖像天空區(qū)域的直方圖分布。基于此發(fā)現(xiàn)，采用最大類化間方差的策略獲取位于直方圖峰谷之中的分割閾值T，因此具體流程如下。

圖4 直方圖觀測(cè)結(jié)果

1）根據(jù)直方圖獲取初始閾值T，并根據(jù)輸入圖像長(zhǎng)寬計(jì)算像素總數(shù)Count。

2）根據(jù)T 將圖像分為兩個(gè)部分，強(qiáng)度大于T 的記為G1，反之記為G2。

3）分別計(jì)算G1和G2中像素的個(gè)數(shù)為m1、m2與平均強(qiáng)度u1、u2。

5）計(jì)算類間方差g(T)=ω1×ω2×(u1-u2)2，重復(fù)以上步驟，取最大化類間方差，此時(shí)T 為最佳閾值。

3.3 透射率優(yōu)化

暗通道理論下戶外自然圖像天空區(qū)域透射率的估計(jì)值較小于實(shí)際值，導(dǎo)致Halo 效應(yīng)的出現(xiàn)，如式（11）：

實(shí)際上，天空區(qū)域整體具有景深相同、細(xì)節(jié)相似的特點(diǎn)，透射率相近。因此，對(duì)暗通道進(jìn)行如式（12）的優(yōu)化：

其中，T 為由式（10）求得的閾值，G（Jdark（x））為根據(jù)Reinhard［13］的方法求得暗通道天空區(qū)域像素均值。采取L1梯度最小化對(duì)天空區(qū)域透射率進(jìn)行優(yōu)化，以進(jìn)一步消除色彩失真問(wèn)題，計(jì)算公式如式（13）：

由圖5 展示了透射率優(yōu)化后的效果對(duì)比，其中，圖像5（c）天空區(qū)域透射率相比圖5（b）中明顯提升，且整體平滑，有效地避免了Halo效應(yīng)。

圖5 透射率修正

3.4 亮度矯正

采用Gamma 矯正來(lái)解決處理后圖像整體偏暗的問(wèn)題。具體計(jì)算過(guò)程如式（14）：

其中，IG（x）為輸出圖像，I（x）為輸入圖像，γ為大于0矯正系數(shù)，由式（15）確定：

其中，mask（x）為對(duì)原圖反色處理后進(jìn)行半徑為1的高斯模糊的圖像，根據(jù)一般規(guī)律，如果mask（x）值大于128，說(shuō)明像素x 及其鄰域以暗像素為主。因此需要矯正系數(shù)小于0 以便將其增亮，并且mask（x）距離128越遠(yuǎn)，矯正的量越大。

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境為Intel（R）Core（TM）i5-8250@1.60 GHz，8GB RAM 的筆記本電腦，Python3.7 為工具。實(shí)驗(yàn)圖像采集至各類文獻(xiàn)提供的經(jīng)典實(shí)驗(yàn)圖像，圖6 實(shí)驗(yàn)結(jié)果由上至下分別為河流、黃昏、居民區(qū)、城市、山景。

圖6 各算法效果對(duì)比

4.1 主觀評(píng)價(jià)

為論證本文方法的有效性，選取文獻(xiàn)［4，16～17］中的方法進(jìn)行對(duì)比實(shí)驗(yàn)。

根據(jù)圖6 可知，文獻(xiàn)［16］處理后的圖像整體效果不佳，在戶外圖像天空區(qū)域出現(xiàn)明顯的色彩失真現(xiàn)象，并且圖像整體亮度較低，不利于觀測(cè)。文獻(xiàn)［4］在一定程度上緩解了天空區(qū)域的色彩失真（Halo 效應(yīng)）。但仍然不能解決圖像整體偏暗的問(wèn)題，部分圖像色彩失真現(xiàn)象依然嚴(yán)重。文獻(xiàn)［17］結(jié)果整體視覺(jué)效果優(yōu)于前面兩種算法，但在近景處亮度明顯降低，甚至出現(xiàn)黑色的斑點(diǎn)。本文算法解決了在圖像天空區(qū)域的色彩失真效應(yīng)，圖像整體明亮自然，視覺(jué)效果良好。

4.2 客觀評(píng)價(jià)

本文以信息熵和信噪比作為參數(shù)客觀的分析實(shí)驗(yàn)結(jié)果。信息熵表示圖像蘊(yùn)涵信息的豐富程度，從理論上說(shuō)，信息熵?cái)?shù)值越大，所包含的信息越多，圖像也越清晰。就信噪比而言，其數(shù)值越大表示圖像質(zhì)量高，去霧方法效果好。

根據(jù)表1 給出的數(shù)據(jù)，本文方法處理后的圖像信息熵較其他算法有較明顯的提升，獲得了較為良好的去霧效果，這是得益于本文方法處理后的圖像對(duì)比度較高，同時(shí)沒(méi)有引起色彩失真等問(wèn)題。

表1 信息熵計(jì)算結(jié)果

根據(jù)表2 的統(tǒng)計(jì)結(jié)果，本文方法處理后的圖像能保存較高的信噪比，這主要得歸功于本文方法能夠有效抑制天空區(qū)域的色彩失真現(xiàn)象。

表2 信噪比計(jì)算結(jié)果

5 結(jié)語(yǔ)

本文針對(duì)暗通道去霧算法的缺陷，提出了結(jié)合自適應(yīng)分割策略的圖像去霧算法。實(shí)驗(yàn)結(jié)果表明，本文算法獲得較為徹底的去霧效果，有效抑制了戶外圖像天空區(qū)域的顏色失真問(wèn)題，主觀視覺(jué)感受良好。客觀評(píng)價(jià)對(duì)比其他算法有所提升。