結(jié)合天空區(qū)域分割和暗通道先驗的去霧算法

尹 靜，何金玉，羅榮鑫，俞文靜

(廣州軟件學院，廣東 廣州 510990)

0 引 言

霧霾[1]對人們的交通出行和身體健康都造成了十分嚴重的影響。霧霾不僅會降低物體的能見度，使采集到的戶外圖像嚴重降質(zhì)，還會對人們的身體健康造成很大的危害，導致疾病傳播的風險增高。圖像去霧也一直是計算機視覺的熱點問題，因此，探索一種有效的去霧方法具有重要的研究價值。

圖像去霧算法主要分為圖像增強和圖像復原兩類[2-3]，經(jīng)過國內(nèi)外學者多年的研究，出現(xiàn)了眾多有效的圖像去霧算法。例如，Jobson等[4]在SSR算法的基礎上提出了MSR(多尺度Retinex)算法，該算法可以實現(xiàn)圖像顏色恒常性，增強圖像的色彩；He等[5]提出了一種簡單且有效的去除單幅霧霾圖像的方法，即暗通道先驗算法，該算法使用大氣散射模型和軟摳圖插值方法復原圖像，但在處理天空區(qū)域時，白邊效應十分明顯；Xu等[6]在對天空區(qū)域進行分割的基礎上，針對不同區(qū)域分別估算大氣光值和透射圖，最后利用優(yōu)化后的合成全局圖生成去霧圖像。

針對暗通道先驗算法去除天空區(qū)域霧霾效果不理想、大氣誤提取以及傳統(tǒng)閾值分割需要多次觀測獲取分割閾值的問題，提出了一種結(jié)合透射率圖的單閾值分割和暗通道先驗的方法，將輸入的霧霾圖像分割為天空區(qū)域和非天空區(qū)域，從天空區(qū)域提取大氣光值，對非天空區(qū)域使用暗通道先驗算法處理，最后合并天空區(qū)域圖像和非天空區(qū)域圖像，獲得清晰的復原圖像。

1 研究基礎

1.1 圖像閾值分割

圖像分割就是把圖像中具有獨特性質(zhì)的區(qū)域區(qū)分開并提取出目標區(qū)域的技術[7]，該文采用單閾值分割算法對輸入霧霾圖像的天空區(qū)域和非天空區(qū)域進行分割。

閾值分割法[8]是一種基于區(qū)域的圖像分割方法，其結(jié)果很大程度上取決于閾值的選擇，其原理是：通過設定不同的特征閾值，把圖像像素點分為若干類。設(x,y)為二維數(shù)字圖像的平面坐標，圖像灰度級的取值范圍是G={0,1,…,L-1},0表示最暗的像素點，L-1表示最亮的像素點，位于坐標點(x,y)上的像素點的灰度值為f(x,y)。設t∈G為分割閾值，單閾值分割方法就是確定一個分割閾值t，若取b0=0(黑)，b1=1(白),則表示圖像的二值圖，于是圖像函數(shù)g(。,。)在閾值t上的分割結(jié)果表示為[7]：

(1)

閾值分割的計算簡單、高效且實用，在圖像的信息處理、挖掘和視覺效果改善應用廣泛，具有很大的研究價值和研究意義。

1.2 暗通道先驗算法理論

暗通道先驗[5]基于大量戶外無霧圖像的觀察提出：在大多數(shù)非天空局部區(qū)域中，至少有一個顏色通道的像素值很低，甚至接近于0。其數(shù)學表達式如下：

(2)

其中，Jc表示顏色通道，Ω(x)表示一個以x為中心、大小為15×15的局部區(qū)域子塊，Jdark表示圖像J的暗通道，無霧圖像非天空區(qū)域的暗通道趨于0。

第一步：估計透射率。

在處理原圖像時應保留少量霧霾，可引入如下數(shù)學表達式達到圖像自然的效果：

(3)

第二步：軟摳圖。

采用軟摳圖算法[9]來改善傳輸。

(4)

其中，L是Levin[9]提出的拉普拉斯矩陣，λ是正則化參數(shù)。第一項是平滑項，第二項是數(shù)據(jù)項。

第三步：恢復場景輻射亮度。

大氣散射模型的數(shù)學模型如下[10]：

I(x)=J(x)t(x)+A(1-t(x))

(5)

利用透射率圖，根據(jù)方程式(5)可以恢復場景輻射。但是，當透射率t(x)接近于0時，直接衰減項J(x)t(x)可能非常接近于0，直接恢復的場景輻射易受噪聲影響。因此，將透射率t(x)限制在下限t0,在非常密集的霧霾區(qū)域保留少量霧霾。最終場景輻射J(x)通過以下方程式恢復：

(6)

t0通常取值為0.1。因為場景輻射亮度通常不如大氣光明亮，所以消除霧霾的圖像看起來很暗。因此，增加J(x)的曝光度來顯示。

第四步：選擇暗通道中最亮的10%像素估計大氣光值。

2 算法思路及設計

2.1 輸入霧霾圖像的處理

暗通道先驗算法和傳統(tǒng)閾值分割在處理天空區(qū)域時存在以下問題：

(1)暗通道先驗算法對天空區(qū)域并不適用。

(2)暗通道先驗算法會錯誤地從非天空區(qū)域中選取大氣光值。

(3)傳統(tǒng)閾值分割算法在分割不同圖像的天空區(qū)域時需要人為變換算法以及通過大量的手動調(diào)試和對比才能確定閾值。

針對以上問題，該文提出一種分割天空區(qū)域的方法，利用透射率圖中非天空域的透射率值大于天空透射率值的特點進行分割。為了避免非天空區(qū)域出現(xiàn)誤分割的現(xiàn)象，將透射率圖進行初次分割，一部分為包含天空和天空與非天空交界處圖像，使用改進的MSR算法降低透射率值后，再進行二次分割，另一部分為非天空圖像，將其透射率值均設為255；最后，合并這兩部分圖像形成二值圖，并據(jù)此二值圖分割，從天空域提取大氣光值用于非天空域進行去霧，最終合并輸出復原圖像。算法流程設計如圖1所示。

圖1 算法流程設計

2.2 基于透射率圖的霧霾圖像分割

2.2.1 透射率圖的特點分析

暗通道先驗算法在處理天空區(qū)域圖像時不理想，根據(jù)公式計算出的天空透射率偏小，其平均透射率趨近于0，而非天空區(qū)域的平均透射率值大于0.5，經(jīng)引導濾波細化后的透射率圖呈現(xiàn)以下特點：

(1)透射率圖的直方圖顯示，天空區(qū)域的像素值主要集中在0～50這一低閾值范圍內(nèi)，并在視覺上呈現(xiàn)較為黑暗[11]，如圖2所示。

圖2 透射率圖及其直方圖

(2)在天空區(qū)域和非天空區(qū)域的交界處，選取小部分區(qū)域進行觀察。豎直和水平方向上看：從天空區(qū)域到非天空區(qū)域，像素的變化從低到高，天空區(qū)域和非天空區(qū)域交界處的像素值差值比較明顯；并且在天空區(qū)域中遠離交界處的像素值都在0～10這個范圍內(nèi)，而靠近交界處的像素值雖然大于10，但與非天空區(qū)域的像素值依然存在明顯的差值，如圖3所示。

圖3 天空區(qū)域和非天空區(qū)域交界處像素值局部圖

2.2.2 使用改進的MSR算法處理透射率圖

受文獻[12-13]啟發(fā)，該文利用透射率圖中天空透射率遠低于非天空透射率的特點，采用Retinex算法中將圖像轉(zhuǎn)換為對數(shù)域的思想處理透射率圖[13]，即將透射率值變換到對數(shù)域的負數(shù)區(qū)域后乘以h系數(shù)進行縮小，最后再反變換到實數(shù)域中進行歸一化，使得天空區(qū)域透射率值在歸一化過程中，由于天空區(qū)域的透射率值過小而被近似計算為0，從而達到將天空區(qū)域的透射率值降低至約為0的目的。其計算公式如下：

(7)

其中，T(x,y)為經(jīng)引導濾波處理的透射率圖，其像素值的范圍是0～255，h為該公式用于縮小透射率的系數(shù)，取值為3。若T(x,y)=0則直接將像素值置為0，若T(x,y)≠0則轉(zhuǎn)換到對數(shù)域中乘以系數(shù)h進行縮小。

經(jīng)改進MSR算法處理后透射率圖呈現(xiàn)以下特點：

經(jīng)改進MSR算法處理后的透射率圖，整幅圖像的像素值會降低，這樣可以使天空區(qū)域0～10的像素值降低到趨近于0或等于0，而在天空區(qū)域和非天空區(qū)域的交界處像素值都大于0，如圖4所示。

圖4 改進的MSR算法處理后天空區(qū)域和非天空區(qū)域交界處像素值局部圖

依據(jù)透射率圖和經(jīng)改進MSR算法處理的透射率圖的特點，該文設計出一種新的天空區(qū)域分割算法，具體步驟如下：

(1)輸入霧霾圖像，將其轉(zhuǎn)換為透射率圖。

(2)將透射率圖分割為上下兩部分，分割的原理為：天空區(qū)域的上部分圖像的像素值均小于50，非天空區(qū)域的下部分像素值的均值大于50。

(3)對天空區(qū)域上部分使用改進的MSR算法處理，選取閾值為0進行分割。

(4)將非天空區(qū)域下部分的像素值全部設置為255。

(5)整合天空區(qū)域上部分圖像和非天空區(qū)域下部分圖像，形成二值圖，如圖5所示。

(6)天空區(qū)域和非天空區(qū)域的分割完成。

圖5 分割結(jié)果

2.3 大氣光值A的選取

為避免從暗通道錯誤地選取大氣光值[14]，可以從分割后的天空區(qū)域圖像提取大氣光值，具體步驟如下：

隨后，“嘉賓報告”環(huán)節(jié)主題論壇正式拉開，論壇由MM新自動化與驅(qū)動雜志執(zhí)行主編李崢主持，各位行業(yè)專家圍繞改革開放40年中國制造的發(fā)展與展望做了精彩的主旨演講。

(1)統(tǒng)計天空區(qū)域各個灰度級對應的像素數(shù)目，并求其總和為S。

(2)計算灰度級為0的像素數(shù)目，并計算其占S的百分比，若在0%～1%內(nèi)，則在灰度級為0的像素數(shù)目的基礎上繼續(xù)累加灰度級為1的像素數(shù)目，并繼續(xù)計算其占S的百分比，以此類推，直到其占S的百分比在1%以上，最終得到滿足條件的計算比例kj的集合,從該集合中取最小灰度級j作為大氣光值。

此計算可以較為準確地獲得大氣光值，以下為大氣光值A的計算公式[15]：

(8)

其中，kj表示灰度級為j的計算比例，xi表示灰度級為i的像素數(shù)目，xt表示灰度級為t的像素數(shù)目。

3 實驗結(jié)果與分析

對大量戶外霧霾圖像進行實驗驗證，這里隨機展示4組由不同去霧算法處理得到的結(jié)果，如圖6所示。

圖6 各方法處理對比圖

圖(a)為原始霧霾圖像；圖(b)為采用直方圖均衡化算法得到的結(jié)果；圖(c)為經(jīng)引導濾波處理后的暗通道先驗去霧算法得到的結(jié)果；圖(d)為采用文中算法得到的結(jié)果。

為了進一步驗證該算法的復原效果，采用均方誤差(MSE)、峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)、運行時間這四項評價性能指標對圖中的4組圖像進行客觀評價，數(shù)據(jù)結(jié)果見表1。

表1 各方法不同性能指標比較

由表1可以得出，文中算法在均方誤差、峰值信噪比、結(jié)構(gòu)相似性這三個方面，大體優(yōu)于傳統(tǒng)暗通道先驗算法。根據(jù)實驗測試數(shù)據(jù)，可以得出以下結(jié)論：

(1)以MSE作為評測指標，圖(1)、圖(3)經(jīng)過文中算法處理后，其指標值均低于經(jīng)直方圖均衡化算法處理的圖像，文中算法處理的4幅圖像的指標值均低于經(jīng)暗通道先驗算法處理的圖像，這表明文中算法預測模型描述實驗數(shù)據(jù)具有更好的精確度。

(2)從PNSR的測試數(shù)據(jù)來看，文中算法復原的圖(1)優(yōu)于直方圖均衡化算法，而所復原的圖(2)、圖(3)、圖(4)要低于直方圖均衡化算法，不過文中算法與暗通道先驗算法相比，其PNSR值均大于暗通道先驗算法，即文中算法的PNSR基本處于暗通道先驗和直方圖均衡化算法之間，說明文中算法有效減少了圖像失真的情況，改善了傳統(tǒng)暗通道先驗算法的不足。

(3)分析測得的SSIM的數(shù)據(jù)，圖(1)、圖(2)、圖(3)均優(yōu)于直方圖均衡化算法，而圖(4)略低于直方圖均衡化算法，4幅圖像的SSIM指標值均高于傳統(tǒng)的暗通道先驗算法。

(4)從運行時間的結(jié)果來看，文中算法運行時間最長，為經(jīng)引導濾波細化后的暗通道先驗算法的3倍，直方圖均衡化算法的15倍。

實驗結(jié)果和測試數(shù)據(jù)均證實了文中算法的可行性與有效性，尤其在處理輕度和中度霧霾時，具有很強的適用性。通過分析實驗數(shù)據(jù)，相較于傳統(tǒng)的暗通道先驗算法，文中算法在去霧性能和效果上得到了提升；從視覺上看，文中算法不但避免了直方圖均衡化算法處理霧霾圖像后其對比度過高或過低導致圖像不自然的缺點，而且解決了傳統(tǒng)的暗通道先驗算法在處理天空區(qū)域不理想以及大氣光值誤提取的問題，但從運行時間上看，文中算法的運行速度比前兩種傳統(tǒng)的去霧算法慢，因此，降低文中算法的時間復雜度，將是下一步研究的重點。

4 結(jié)束語

結(jié)合閾值分割法和暗通道先驗算法，針對暗通道先驗算法在處理帶有天空區(qū)域的霧霾圖像不理想的問題，提出并設計了一種結(jié)合天空區(qū)域分割和暗通道先驗的方法。實驗結(jié)果表明：

(1)該算法有效解決了暗通道先驗算法處理天空區(qū)域效果不佳的問題，在均方誤差、峰值信噪比、結(jié)構(gòu)相似性等方面均優(yōu)于傳統(tǒng)的暗通道先驗算法。

(2)結(jié)合閾值分割法、多尺度Retinex算法(MSR)、暗通道先驗算法對輸入的霧霾圖像進行處理，其中只對圖像的上部分使用改進的MSR算法，盡可能地減少改進的MSR算法對非天空區(qū)域的影響，減少圖像的誤分割。

(3)傳統(tǒng)的閾值分割法需要多次觀察和測試以確定分割閾值，該文使用改進的MSR算法對透射率圖做處理，使透射率圖呈現(xiàn)天空區(qū)域等于0或趨近于0，非天空區(qū)域大于0的特點，將分割閾值限制為0，可以使用同樣的閾值進行分割，增大了閾值分割的效率。

(4)對于天空區(qū)域和非天空區(qū)域交界處，由于存在遠景和近景，在改進的MSR算法處理后的透射率圖中，遠景的像素值先變?yōu)?，這樣就會產(chǎn)生誤分割。

相較于傳統(tǒng)的去霧算法，該算法無論是復原圖像的清晰度還是各項評價性能指標均取得不錯的結(jié)果，但是也存在很多的不足，對于分割出來的天空區(qū)域圖像仍需進一步研究，且該算法的時間復雜度相對較大，算法的實時性有待提高。