航拍圖像去霧優(yōu)化算法研究

劉翠響，張 莎，王寶珠，袁香偉

河北工業(yè)大學(xué)電子信息工程學(xué)院，天津 300401

隨著信息技術(shù)的快速發(fā)展，高樓大廈的逐漸增多，航拍圖像已成為獲取地面信息的重要來(lái)源之一．但近年來(lái)，由于環(huán)境污染的加重，許多航拍圖像受到霧霾的影響，造成所拍攝的景物辨識(shí)度下降、細(xì)節(jié)不明顯和色彩度低等現(xiàn)象，致使目標(biāo)識(shí)別、土地測(cè)繪、災(zāi)情勘探、遙感定位等系統(tǒng)受到影響[1]．妥善解決霧霾天氣條件下的航拍圖像的快速去霧問(wèn)題具有現(xiàn)實(shí)意義．現(xiàn)有的圖像去霧算法主要分為兩種：一種是圖像增強(qiáng)方法，即強(qiáng)調(diào)有用信息，抑制無(wú)用信息，但該方法因未考慮霧的成像模型，去霧效果欠佳；另一種是圖像復(fù)原方法，即通過(guò)研究霧圖的形成原理，從成像模型上進(jìn)行去霧處理，該方法在實(shí)踐中應(yīng)用更廣．目前采用圖像復(fù)原去霧的算法已有很多成果．FATTAL[2]提出基于統(tǒng)計(jì)學(xué)的去霧方法，但該方法需充足的色彩信息和顏色的變化； 2011年，HE等[3]提出暗原色先驗(yàn)理論，但該方法僅對(duì)一張圖像去霧，低估了物體的透射率，且復(fù)雜度高；隨后，HE等[4]提出導(dǎo)向?yàn)V波器算法，能快速保留邊緣信息，且可以優(yōu)化透射率；2015年，HE等[5]又提出快速導(dǎo)向?yàn)V波器概念，采用該方法進(jìn)行圖像去霧，處理速度加速10倍的同時(shí)，處理效果幾乎無(wú)可見(jiàn)退化；KIM等[6-7]采用了四叉樹(shù)搜索的算法來(lái)精確估計(jì)大氣光；王殿偉等[8-9]針對(duì)明亮區(qū)域內(nèi)色彩失真問(wèn)題對(duì)透射率進(jìn)行自適應(yīng)校正；張江鑫等[10]提出了圖像分塊處理算法，降低了復(fù)雜度；汪云飛等[11]提出基于超像素的均值-均方差暗通道算法，提高了在霧較濃時(shí)圖像的可見(jiàn)性；王澤勝等[12]采用自適應(yīng)色階調(diào)整對(duì)暗通道進(jìn)行改進(jìn)；余朋等[13]提出改進(jìn)的異質(zhì)大氣光估計(jì)和非線性顏色衰減先驗(yàn)?zāi)Ｐ?；郭翰等[14]對(duì)暗原色理論和導(dǎo)向?yàn)V波算法中的可調(diào)參數(shù)進(jìn)行討論；SINGH等[15]采用改進(jìn)的聯(lián)合三邊過(guò)濾器來(lái)估計(jì)大氣光．這些算法都只是針對(duì)單一問(wèn)題的改進(jìn)，本研究通過(guò)綜合優(yōu)化暗通道先驗(yàn)、四叉樹(shù)結(jié)構(gòu)搜索和快速導(dǎo)向?yàn)V波算法，達(dá)到同時(shí)對(duì)暗通道優(yōu)化、大氣光優(yōu)化估計(jì)和透射率優(yōu)化的效果．

1 暗通道去霧算法

1.1 暗通道先驗(yàn)理論

文獻(xiàn)[1]提出一個(gè)霧天成像模型：

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中，x為像素點(diǎn)的坐標(biāo)；I(x)為有霧圖像；J(x)為所求的無(wú)霧圖像；A為大氣光值；t(x)為透射率，計(jì)算式為

t(x)=e-βd(x)

(2)

其中，β為大氣散射系數(shù)；d(x)為場(chǎng)景深度．如果對(duì)現(xiàn)有的有霧圖像剔除環(huán)境光部分，并進(jìn)行補(bǔ)償，可得到無(wú)霧圖像．

HE等[3]觀察了大量的戶外圖像，并通過(guò)實(shí)驗(yàn)分析，提出暗原色先驗(yàn)理論，即在大多數(shù)非天空的局部區(qū)域中包含一些像素，這些像素至少在1個(gè)顏色通道中強(qiáng)度非常?。畵?jù)統(tǒng)計(jì)，圖像的暗通道可表示[3]為

(3)

其中，Jc為圖像的每個(gè)顏色通道；Ω(x)為以像素x為中心的窗口；y為圖像的像素點(diǎn)．

暗通道先驗(yàn)理論[3]指出

Jdark→0

(4)

因此，根據(jù)式(1)和式(4)可推導(dǎo)出透射率的預(yù)估值為

(5)

實(shí)際上，即便沒(méi)有霧，空氣中也存在一些粉塵顆?；蛩蚨?，有必要在去霧時(shí)保留一定程度的霧，即需在式(5)中引入一個(gè)因子ω， 一般取值約為0.95，則式(5)修正為

(6)

由式(1)，可用I、t和A解出J為

(7)

但是，當(dāng)透射率t很小時(shí)，會(huì)使J嚴(yán)重受到噪聲的影響，因此需設(shè)定一個(gè)閾值t0， 使t≥t0， 一般取t0=0.1或0.2， 則最終所求圖像J為

(8)

1.2 導(dǎo)向?yàn)V波[4]

2013年，HE等[4]提出導(dǎo)向?yàn)V波器來(lái)對(duì)暗通道進(jìn)行改進(jìn)．導(dǎo)向?yàn)V波器旨在保持邊緣信息的同時(shí)降低時(shí)間復(fù)雜度，它需要一個(gè)導(dǎo)向圖，使濾波器能夠辨識(shí)出圖像邊緣，同時(shí)盡量減少輸出圖像的誤差．

圖1 導(dǎo)向?yàn)V波示意圖[4]Fig.1 (Color online) Guide filter[4]

假設(shè)導(dǎo)向圖像I和濾波輸出q之間存在一種局部線性關(guān)系，則定義導(dǎo)向?yàn)V波器為

qi=akIi+bk, ?i∈ωk

(9)

其中，i為像素的平面坐標(biāo)；Ii為i坐標(biāo)對(duì)應(yīng)的導(dǎo)向圖像；qi為i坐標(biāo)對(duì)應(yīng)的濾波輸出圖像；ak和bk是以像素k為中心的窗口ωk的線性關(guān)系系數(shù)．為使輸出圖像最優(yōu)，ak和bk需滿足如式(10)的價(jià)值函數(shù)．

(10)

這里，ε為防止ak過(guò)大的正規(guī)化參數(shù)；pi為濾波輸入圖像．用線性回歸求得最優(yōu)解為

(11)

(12)

因?yàn)橐粋€(gè)像素可能會(huì)被多個(gè)窗口包含，所以要具體求某一點(diǎn)的輸出值時(shí)，只需將所包含該點(diǎn)的線性函數(shù)值取平均

(13)

2 優(yōu)化的去霧算法

2.1 改進(jìn)的暗通道快速去霧算法

文獻(xiàn)[3]算法去霧效果可達(dá)到大部分的去霧要求，但其實(shí)時(shí)性和精確性還有可提升空間[11]．采用不同的Matlab的編程方法去實(shí)現(xiàn)如式(3)的暗通道，達(dá)到的去霧結(jié)果也會(huì)有差別．現(xiàn)有文獻(xiàn)多是先對(duì)圖像進(jìn)行擴(kuò)展，再用min(min())語(yǔ)句實(shí)現(xiàn)，這種方式確實(shí)能達(dá)到去霧效果，但其并未遵從式(3)的實(shí)際意義．本研究按照暗通道的物理意義進(jìn)行編程，首先求出每個(gè)像素顏色(rgb)通道中的最小值，再將該值存放到一幅和原始有霧圖像大小相同的灰度圖中，最后對(duì)此灰度圖進(jìn)行最小值濾波[16]．圖2是采用文獻(xiàn)[3]算法和采用本研究提出的去霧方法的結(jié)果對(duì)比，由圖2可見(jiàn)，采用本研究方法所得顏色和清晰度均較好．

圖2 兩種暗通道優(yōu)化對(duì)比Fig.2 (Color online) Comparison of dark channel optimization results

為更客觀地比較兩種方法的效果，本研究在Matlab平臺(tái)下，分別分析采用這兩種方法得到的去霧圖像的對(duì)比度、峰值信噪比和執(zhí)行時(shí)間，結(jié)果如表1．由表1可見(jiàn)，本研究方法在清晰度方面雖然僅略高于文獻(xiàn)[3]，但耗時(shí)卻縮短了78%．

表1 采用兩種不同暗通道方法進(jìn)行去霧優(yōu)化的效果評(píng)價(jià)Table 1 Evaluation of the effects of defogging optimization using two different dark channel methods

2.2 大氣光的獲取

以前，大氣光A的估計(jì)值大多由圖像中最亮的顏色決定，這是因?yàn)榇罅康撵F霾可能會(huì)產(chǎn)生一個(gè)發(fā)白(或發(fā)亮)的顏色，但此情況下，有些顏色比大氣光更亮的物體(如白色汽車(chē)或建筑物)將被選中，導(dǎo)致不應(yīng)作為大氣光參考值的結(jié)果被選作大氣光的估計(jì)值[7]．HE算法[3-5]中大氣光A借助暗通道來(lái)優(yōu)化其估計(jì)值，首先對(duì)經(jīng)過(guò)暗通道的圖像按亮度大小進(jìn)行排序，并選取其前0.1%的像素，然后在待去霧圖像中找到相應(yīng)的具有最高亮度的像素值作為大氣光值．這種基于暗通道優(yōu)先的簡(jiǎn)單方法，雖然比原始算法的魯棒性更好，但運(yùn)算量大．為保證該算法的魯棒性，同時(shí)減少運(yùn)算量，本研究采用基于四叉樹(shù)子空間劃分的層次搜索方法[6]．

四叉樹(shù)是一種劃分空間的高效方法，基本思想是將空間遞歸劃分為不同層次的樹(shù)結(jié)構(gòu)．圖3為基本的四叉樹(shù)結(jié)構(gòu)圖，將已知范圍的空間等分成4個(gè)子空間，若達(dá)到要求則停止，否則繼續(xù)將子空間分成4個(gè)空間，如此遞歸，直至樹(shù)的層次達(dá)到一定深度或者滿足某種要求后停止分割．

圖3 基本的四叉樹(shù)示意Fig.3 Basic quadtree diagram

圖4 采用四叉樹(shù)方法進(jìn)行大氣光估計(jì)Fig.4 (Color online) Atmospheric light estimation using quadtree method

2.3 透射率的優(yōu)化

采用式(6)計(jì)算透射率的預(yù)估值，所得透射率圖會(huì)過(guò)于粗糙．為取得更精細(xì)的透射率圖，文獻(xiàn)[5]提出快速導(dǎo)向?yàn)V波算法．快速導(dǎo)向?yàn)V波算法的具體步驟與導(dǎo)向?yàn)V波基本相同：① 對(duì)濾波圖像和導(dǎo)向圖像進(jìn)行二次采樣；② 計(jì)算局部線性系數(shù)，方法跟導(dǎo)向?yàn)V波一樣，這里不再贅述．接下來(lái)對(duì)所得系數(shù)進(jìn)行過(guò)采樣；③ 使用過(guò)采樣后的系數(shù)與導(dǎo)向圖像計(jì)算輸出圖像，方法與導(dǎo)向?yàn)V波相同(具體過(guò)程請(qǐng)掃描文末二維碼)．

本研究將基于暗通道規(guī)律的快速去霧、大氣光的優(yōu)化獲取和透射率的快速優(yōu)化算法整合處理，實(shí)現(xiàn)航拍有霧圖像的優(yōu)化去霧，再與HE算法及只改變單個(gè)部分的方法進(jìn)行實(shí)驗(yàn)對(duì)比和分析．

3 結(jié)果與分析

從360圖片網(wǎng)(http://image.so.com)搜索“霧霾航拍圖”，找到受霧霾影響的帶有顏色信息的建筑物航拍圖像進(jìn)行實(shí)驗(yàn)，來(lái)驗(yàn)證算法的有效性．本研究使用Matlab語(yǔ)言，分別對(duì)暗通道算法、只改進(jìn)暗通道、只優(yōu)化大氣光、只優(yōu)化透射率和本研究算法進(jìn)行實(shí)驗(yàn)效果對(duì)比．從圖5(a)可見(jiàn)，霧霾下的部分景象比較模糊，以致細(xì)節(jié)不清，且色彩信息出現(xiàn)偏移．從去霧后的效果圖(圖5(a)—(f))可見(jiàn)，所有算法都能達(dá)到較好的去霧效果，圖像清晰度和對(duì)比度均有所提高，并還原了景物的色彩，但采用其他優(yōu)化算法所得圖像多少有一些失真，景物的線條銳度過(guò)高，而采用本研究算法所得圖像狀況則比較好，且景物顏色較亮，視覺(jué)效果較佳．

為進(jìn)一步驗(yàn)證本研究算法的有效性，分別對(duì)采用不同優(yōu)化算法后的圖片的對(duì)比度、峰值信噪比和耗時(shí)指標(biāo)進(jìn)行量化分析，結(jié)果如表2．

表2 采用不同優(yōu)化算法的去霧效果評(píng)價(jià)

圖5 霧霾航拍圖像的去霧效果圖Fig.5 (Color online) Defogging effect pictures of smoggy aerial images

從表2可見(jiàn)，單獨(dú)優(yōu)化某一項(xiàng)指標(biāo)，所得圖像的對(duì)比度均有所提高，表明去霧后的圖像更清晰，細(xì)節(jié)更清楚，顏色也比較飽和；但采用本研究算法，所得對(duì)比度比其他優(yōu)化算法至少提高了11.57%，峰值信噪比至少增加了1.88%，而耗時(shí)比單一優(yōu)化算法至少縮短了37.49%，表明實(shí)時(shí)性提高了至少2倍．

為驗(yàn)證本研究算法的可行性和普適性，本研究又從360圖片網(wǎng)下載雨天有雨且有建筑物的霧天圖像和雪天有雪有建筑物有霧的圖像，并分別對(duì)它們進(jìn)行去霧實(shí)驗(yàn)，結(jié)果請(qǐng)掃描文末二維碼．由附加材料圖2可見(jiàn)，本研究算法失真較小，亮度較高，可更清晰地看到湖中的雨滴和遠(yuǎn)處的亭子．由附加材料圖3可見(jiàn)，其他算法對(duì)右邊邊緣顏色恢復(fù)過(guò)重，而本研究算法效果要好很多且整體比較明亮，可清楚看到花園中的小路．

分別分析這些圖片的對(duì)比度、峰值信噪比和耗時(shí)，結(jié)果如表3和表4．由表3和表4可見(jiàn)，本研究算法對(duì)于雨天有霧天氣和雪天有霧天氣都同樣適用，得到的去霧圖像清晰度高且用時(shí)短．通過(guò)實(shí)驗(yàn)結(jié)果分析可得，本研究算法不僅適用于霧霾天氣情況下的去霧，對(duì)雨天和雪天所產(chǎn)生的朦朧天氣同樣適用．

表3 雨天去霧效果評(píng)價(jià)

表4 雪天去霧效果評(píng)價(jià)

為驗(yàn)證本研究算法更加適用于受環(huán)境或抖動(dòng)影響的航拍圖像，選擇了一幅霧霾天氣下的航拍圖像，同時(shí)采用多尺度Retinex算法，直方圖去霧算法和本研究算法進(jìn)行去霧實(shí)驗(yàn)，結(jié)果如圖6．由圖6可見(jiàn)，圖6(b)多尺度Retinex算法達(dá)到了去霧效果，對(duì)比度也較高，但整體亮度較暗；圖6(c)直方圖去霧算法有一定的去霧效果，但清晰度并不高；圖6(d)本研究算法的去霧效果明顯，且整體亮度較亮，色彩恢復(fù)度也較好．

為表示本研究算法對(duì)航拍圖像的適用性，采用對(duì)比度、峰值信噪比和執(zhí)行時(shí)間對(duì)這3種算法進(jìn)行量化對(duì)比分析，結(jié)果如表5．由表5可見(jiàn)，采用多尺度Retinex算法和直方圖去霧算法的執(zhí)行時(shí)間比采用本研究算法快了近2倍，但他們對(duì)應(yīng)的對(duì)比度和峰值信噪比均比本研究算法低，即清晰度遜于本研究算法．然而，去霧的本質(zhì)就是要求圖像的清晰度，所以采用本研究算法比采用兩種常規(guī)去霧算法更適于航拍圖像．

表5 不同算法的去霧效果評(píng)價(jià)

圖6 不同去霧算法的結(jié)果圖Fig.6 (Color online) Results of different dehazing algorithms

結(jié) 語(yǔ)

針對(duì)航拍圖像受環(huán)境特點(diǎn)和處理圖像的實(shí)時(shí)性要求，本研究提出適用于航拍圖像的實(shí)時(shí)去霧的整合算法．分別選取霧霾航拍圖像、雨天有霧圖像和雪天有霧圖像進(jìn)行實(shí)驗(yàn)，來(lái)驗(yàn)證本研究算法的可行性和普適性，并選用多尺度Retinex算法和直方圖去霧算法與本研究算法進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證本研究算法對(duì)航拍圖像的適用性．但是，研究仍有一些問(wèn)題沒(méi)有很好的解決，如對(duì)于大片空白區(qū)域，會(huì)出現(xiàn)一定的色彩失真；對(duì)大火航拍圖像的實(shí)驗(yàn)效果并不理想．今后將針對(duì)這些問(wèn)題進(jìn)行深入研究．