基于超像素分割的圖像去霧算法

鄭良緣，王 平，高穎慧

(國(guó)防科技大學(xué)電子科學(xué)與工程學(xué)院 ATR重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073)

在霧天等惡劣氣候條件下，成像系統(tǒng)由于受到大氣散射的影響會(huì)發(fā)生嚴(yán)重的圖像質(zhì)量下降的情況，諸如圖像能見(jiàn)度降低、對(duì)比度減小、色彩失真等問(wèn)題。這種降質(zhì)的圖像極大地限制和影響了戶(hù)外視覺(jué)系統(tǒng)效用的發(fā)揮，因此恢復(fù)霧天圖像的清晰度就顯得尤為重要。

近年來(lái)，基于單幅圖像去霧的算法成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)，多數(shù)方法都建立在先驗(yàn)假設(shè)基礎(chǔ)之上。Tan.R［1］方法是基于同一場(chǎng)景無(wú)霧時(shí)的對(duì)比度高于有霧時(shí)的對(duì)比度的先驗(yàn)條件，通過(guò)最大化局部對(duì)比度來(lái)恢復(fù)圖像，但該方法沒(méi)有基于物理模型恢復(fù)反照率或深度，只是增強(qiáng)了視覺(jué)效果，導(dǎo)致恢復(fù)的圖像會(huì)出現(xiàn)過(guò)飽和現(xiàn)象;Fattal.R［2］方法是基于物體表面投影與大氣光傳播局部不相關(guān)的先驗(yàn)條件，通過(guò)估計(jì)場(chǎng)景的輻照度來(lái)推導(dǎo)透射率，但該方法需要輸入的圖像含有充分的顏色信息，因此復(fù)原后圖像失真較大，且在濃霧條件下圖像恢復(fù)效果較差。Kratz［3］方法基于場(chǎng)景深度和反照度在概率統(tǒng)計(jì)上是獨(dú)立的先驗(yàn)條件，通過(guò)求解一個(gè)最大后驗(yàn)概率估計(jì)景深和輻照度，但該類(lèi)方法大多以經(jīng)驗(yàn)值來(lái)設(shè)定參數(shù)，實(shí)用性不強(qiáng)。Tarel［4］方法是基于大氣幕在絕大部分時(shí)間內(nèi)是平滑的先驗(yàn)條件，通過(guò)快速邊緣濾波估計(jì)大氣幕函數(shù)來(lái)恢復(fù)圖像，但該方法參數(shù)較多，不易調(diào)整，且不恰當(dāng)?shù)膮?shù)設(shè)置易引入Halo效應(yīng)，得不到很好的去霧效果。He［5］方法是基于暗原色先驗(yàn)條件，通過(guò)估計(jì)傳輸圖并利用軟摳圖(soft matting)算法進(jìn)行修正，恢復(fù)出清晰無(wú)霧圖像。但基于暗原色先驗(yàn)條件的去霧算法其暗原色區(qū)域的大小需要人為憑經(jīng)驗(yàn)值設(shè)定，若區(qū)域的尺寸偏大，則不能滿(mǎn)足介質(zhì)透射率在相應(yīng)的小區(qū)域內(nèi)是不變的假設(shè);若區(qū)域的尺寸偏小，則該區(qū)域有可能不存在暗原色值趨于0的情況，暗原色先驗(yàn)規(guī)律失效，因此不能保證得到精準(zhǔn)的介質(zhì)透射率。另外，軟摳優(yōu)化透射率計(jì)算復(fù)雜，耗時(shí)較長(zhǎng)，無(wú)法滿(mǎn)足實(shí)時(shí)性要求。

本文提出了基于超像素分割的圖像去霧算法，使得透射率的計(jì)算更加準(zhǔn)確，并在提高去霧速度的同時(shí)能更好地保持圖像的邊緣細(xì)節(jié)。

1 基于暗原色先驗(yàn)的單幅圖像去霧算法

1.1 霧天成像模型

目前對(duì)于霧天圖像的處理方法主要分為兩類(lèi):一是基于圖像處理的增強(qiáng)算法;另一類(lèi)是基于物理模型的復(fù)原方法。本文主要采用基于模型的方法對(duì)霧天成像建立物理模型。依據(jù)Mc Cartney［6］提出的大氣散射模型，將霧天降質(zhì)圖像光學(xué)模型表示為

其中:I(x)為觀察到的有霧圖像;J(x)表示理想天氣條件下場(chǎng)景輻射照度，即清晰無(wú)霧的圖像;A為整體大氣光值;t(x)為介質(zhì)傳輸率，代表場(chǎng)景的光線(xiàn)通過(guò)大氣透射到成像設(shè)備而沒(méi)有被散射的部分。當(dāng)大氣環(huán)境是均勻的各向同性的介質(zhì)時(shí)，傳輸率可表示為

其中:β為大氣散射系數(shù);d(x)是場(chǎng)景與相機(jī)之間的距離。另外，式(1)中，右邊的第1項(xiàng)J(x)t(x)為直接衰減項(xiàng)［1］，稱(chēng)為衰減模型，它描述景物光線(xiàn)在透射媒介中經(jīng)衰減后的部分;第2項(xiàng)(1－t(x))A是大氣光成分［7］，稱(chēng)為大氣光模型。去霧的目標(biāo)是從I(x)中復(fù)原J(x)。

1.2 暗原色先驗(yàn)去霧的基本原理

文獻(xiàn)［5］提出了暗原色先驗(yàn)理論(dark channel prior)。對(duì)無(wú)霧圖像進(jìn)行統(tǒng)計(jì)分析獲得的規(guī)律表明:對(duì)于戶(hù)外晴天圖像的任一局部區(qū)域中，至少在r、g、b三個(gè)顏色通道中有一個(gè)通道其像素值Jdark(x)非常小，接近于0，稱(chēng)之為暗原色。通常對(duì)于一幅圖像J(x)，其暗原色圖像各像素點(diǎn)的值可以表示為

其中:Jc為原圖像的一個(gè)顏色通道;Ω(x)是以x為中心像素的一塊方形區(qū)域。該暗原色圖像的物理意義是通過(guò)局部最小值濾波，濾去可能干擾大氣光取值的白色場(chǎng)景目標(biāo)，從而使A的取值盡可能準(zhǔn)確。假設(shè)大氣光值A(chǔ)已知，透射率t(x)在某一個(gè)局部區(qū)域內(nèi)是恒定不變的，將式(1)兩邊進(jìn)行局部區(qū)域大小為Ω(x)的最小值濾波，則式(1)可變形為:

根據(jù)暗原色先驗(yàn)原理，在無(wú)霧情況下Jdark(x)值趨近于0，即

因Ac為正值，故可以推導(dǎo)出:

將式(7)代入到式(5)中，可以求得粗略估計(jì)的透射率:

為使圖像更加自然真實(shí)，保證晴朗天空下場(chǎng)景遠(yuǎn)處仍存有一定的霧氣，在式(8)中引入一個(gè)常量參數(shù) ω(0＜ω＜1)，通常情況下其值設(shè)置為0.95，以使圖像達(dá)到遠(yuǎn)近層次感。

將式(9)代入到式(1)中，同時(shí)考慮到入射光衰減模型項(xiàng)J(x)t(x)在傳輸圖t(x)趨近于0時(shí)t(x)也近似為0［5］，因此將傳輸圖t(x)限制在一個(gè)較小的范圍內(nèi)。令t0=0.1，使傳輸圖t(x)有一個(gè)下限，以保證在原圖霧氣濃度較深的區(qū)域保留少量的霧氣影響。因此，通過(guò)粗略估計(jì)透射率得到的去霧圖像可以表示為

由式(9)估計(jì)出介質(zhì)透射率屬于粗略估計(jì)，求得的去霧圖像會(huì)因?yàn)V波窗口尺寸選取偏大產(chǎn)生明顯的“halo”效應(yīng)，不能很好地保留原始圖像的邊緣特征。為了得到更精確的透射圖，He使用Levin等［8］提出的soft matting方法，將透射圖優(yōu)化的過(guò)程轉(zhuǎn)變?yōu)樽钚』絻r(jià)值函數(shù)的過(guò)程，如式(11)所示。

從而得到優(yōu)化后的透射圖t，并根據(jù)已知大氣光值A(chǔ)和觀測(cè)得到的有霧圖像I(x)，利用式(10)求得精確估計(jì)透射率條件下的去霧圖像J。

1.3 基于暗原色先驗(yàn)去霧存在的問(wèn)題

He方法是通過(guò)固定區(qū)域求取暗原色，然后依據(jù)暗原色先驗(yàn)理論，對(duì)大氣散射模型公式進(jìn)行數(shù)學(xué)轉(zhuǎn)化運(yùn)算求得介質(zhì)透射率的估計(jì)值。該算法求解成立必須滿(mǎn)足一個(gè)前提條件，即在求取暗原色的固定區(qū)域內(nèi)假設(shè)該區(qū)域內(nèi)介質(zhì)透射率的值是一樣的。但依據(jù)均勻大氣介質(zhì)中介質(zhì)透射率公式t(x)=e－βd(x)可知，介質(zhì)透射率和物體對(duì)各種波段散射的散射系數(shù)β以及場(chǎng)景深度d(x)有關(guān)。實(shí)際操作中為保證區(qū)域內(nèi)存在暗原色值，在確定區(qū)域范圍時(shí)需要盡量設(shè)定較大窗口，但若選取的區(qū)域覆蓋多個(gè)景深的場(chǎng)景，則d(x)會(huì)產(chǎn)生較大的變化，邊緣部分暗原色值就會(huì)被錯(cuò)誤估計(jì)，導(dǎo)致粗略恢復(fù)圖在場(chǎng)景深度發(fā)生變化的邊緣地帶產(chǎn)生較為明顯的光暈現(xiàn)象(見(jiàn)圖2(d)內(nèi)紅色實(shí)線(xiàn)框內(nèi)所示)。

基于暗原色先驗(yàn)去霧算法在使用暗原色先驗(yàn)律的過(guò)程中需進(jìn)行對(duì)原始霧天圖像在小鄰域內(nèi)求最小的操作。受小的鄰域內(nèi)最小操作的影響，在得到的介質(zhì)透射率的初始估計(jì)中存在大量的方塊效應(yīng)。為了消除上述方法造成的方塊效應(yīng)，文獻(xiàn)［5］采用圖像軟摳算法。但該摳圖算法涉及對(duì)一個(gè)大型Laplacian矩陣求逆運(yùn)算，而大型矩陣求逆運(yùn)算的時(shí)間和空間復(fù)雜度非常高，且其編程實(shí)現(xiàn)也較困難。

2 基于分割的單幅圖像去霧算法

針對(duì)霧天圖像目標(biāo)邊緣模糊、對(duì)比度低等特點(diǎn)，本文采用基于信息熵率的超像素分割算法［9］分別對(duì)各個(gè)小區(qū)域求取透射率，其目的在于通過(guò)分割減少圖像中邊緣部分暗原色值誤判的概率，減小方塊效應(yīng)。之后根據(jù)分割區(qū)域估計(jì)暗原色值獲取透射率圖像。最后采用相對(duì)簡(jiǎn)單的指導(dǎo)濾波器算法代替摳圖算法獲得優(yōu)化后的傳輸率圖，并通過(guò)暗原色圖定位大氣光所在區(qū)域，恢復(fù)霧天圖像。具體算法流程如圖1所示。

圖1 算法流程

2.1 局部區(qū)域分割

目前，圖像分割的算法主要可以分為基于特征空間(feature-space based)、基于圖像空間(image-domain based)、基于物理特征(physics based)三大類(lèi)。本文算法基于圖論理論［10］，針對(duì)霧天圖像目標(biāo)邊緣模糊、對(duì)比度低等特點(diǎn)，采用超像素分割方法［9］，其主要思想是將圖像分割問(wèn)題轉(zhuǎn)換為基于圖的區(qū)域相似性的問(wèn)題，利用最大轉(zhuǎn)移概率定義相應(yīng)的目標(biāo)函數(shù)，通過(guò)求解目標(biāo)函數(shù)最大值獲得相應(yīng)的區(qū)域，即超像素。然后將分割出的圖像進(jìn)行暗通道計(jì)算來(lái)估算透射率，以減少圖像中邊緣部分暗原色值誤判的概率。

2.2 引導(dǎo)濾波

通過(guò)超像素分割后求取的透射率相對(duì)更準(zhǔn)確，利用粗略透射率恢復(fù)的霧天圖像的方塊效應(yīng)明顯減少。在這種情況下，利用軟摳圖來(lái)細(xì)化透過(guò)率t就不再必要，且利用優(yōu)化透射率的算法會(huì)耗費(fèi)大量的運(yùn)算時(shí)間，為此采用引導(dǎo)濾波［12］的方法，對(duì)經(jīng)過(guò)分割后獲得的介質(zhì)透射率圖像進(jìn)行精細(xì)化操作。

引導(dǎo)濾波原理:輸出的矩陣在局部范圍內(nèi)為指導(dǎo)矩陣的線(xiàn)性變換，因此引導(dǎo)濾波過(guò)程可以表示為

其中:I為指導(dǎo)矩陣;p為輸入矩陣;q為輸出矩陣;ij為矩陣中元素，wij(I)是引導(dǎo)濾波器的核，影響輸出矩陣q對(duì)場(chǎng)景結(jié)構(gòu)信息的保持性。根據(jù)引導(dǎo)濾波定義，在圖像處理中，引導(dǎo)濾波器即在像素k處的輸出是指導(dǎo)矩陣I中以像素k為中心的窗口wk中所有元素的線(xiàn)性組合，表達(dá)式為

其中ak和bk是窗口wk中和輸入圖像P有關(guān)的常量線(xiàn)性變換系數(shù)。為求得ak和bk，將最小化輸入圖像P和輸出圖像Q之間的差異性問(wèn)題轉(zhuǎn)化為代價(jià)函數(shù)的極小值問(wèn)題，定義代價(jià)函數(shù)

其中ε為防止ak過(guò)大的歸一化參數(shù)。對(duì)式(15)取最小值，可以得到ak和bk。最后對(duì)所有局部窗口應(yīng)用上述局部線(xiàn)性模型，得到最終的濾波效果，輸出圖像Q為

本文算法中，將觀測(cè)到的原始有霧圖像I(x)設(shè)定為指導(dǎo)圖，將經(jīng)過(guò)超像素分割后獲取的粗略透射率估計(jì)圖作為輸入圖像P，通過(guò)引導(dǎo)濾波得到精細(xì)化透射率圖像Q。由于利用指導(dǎo)濾波的時(shí)間復(fù)雜度僅為O(N)，大大減少了軟摳算法中矩陣的求逆運(yùn)算，因此運(yùn)算速度明顯提高。

2.3 估計(jì)大氣光值A(chǔ)

本文采用He［5］方法估算大氣光值。首先對(duì)暗原色信息圖中的像素強(qiáng)度從高到低排序，選取排序后亮度值為前0.1%的像素點(diǎn)。在這些像素對(duì)應(yīng)于原圖像的像素點(diǎn)中，選取亮度最大值作為大氣光A的值。該方法能快速、準(zhǔn)確、有效地估計(jì)出A的值。

2.4 圖像去霧

利用獲取的傳播圖信息t(x)和大氣光A，根據(jù)式(10)可求得去霧后的圖像J(x)。為保證整體去霧效果，同時(shí)為避免因去霧過(guò)度產(chǎn)生圖像失真問(wèn)題，本文選取t0=0.3，可以較好地抑制天空部分的噪聲影響。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的效果，對(duì)相關(guān)網(wǎng)頁(yè)中霧天圖像進(jìn)行算法驗(yàn)證對(duì)比實(shí)驗(yàn)。將本文基于超像素分割求取的暗通道圖和利用固定區(qū)域分塊求取的暗通道圖進(jìn)行比較，固定區(qū)域與本文算法的去霧效果對(duì)比見(jiàn)圖2。圖2中:(a)和(e)為同一幅有霧圖像(614×953);(b)是采用9×9區(qū)域得到的暗原色通道暗通道圖像;(f)是采用基于超像素分割算法得到的暗通道圖像;為了從視覺(jué)上更加直觀地展現(xiàn)兩個(gè)算法的差別，(c)和(g)分別對(duì)(b)和(f)作了彩色化操作，暗原色值相等的部分用同一種顏色來(lái)表示;(d)和(h)分別是基于9×9尺寸區(qū)域求得的粗略透射率估計(jì)值恢復(fù)的無(wú)霧圖像和基于超像素分割后求取粗略透射率估計(jì)值恢復(fù)的無(wú)霧圖像;(b1)和(f1)分別為兩種方法獲取的暗原色圖局部放大部分;(d1)和(h1)分別為恢復(fù)的霧天圖像局部放大部分。

通過(guò)對(duì)圖2中幾個(gè)關(guān)鍵環(huán)節(jié)效果的對(duì)比可以發(fā)現(xiàn):圖(d)中紅色實(shí)線(xiàn)框標(biāo)記處白邊較多、較粗，光暈現(xiàn)象較明顯，說(shuō)明基于固定區(qū)域分塊求取暗通道圖的方法存在較高概率的暗原色值誤判;相比而言，(h)中紅色實(shí)線(xiàn)框標(biāo)記處白邊較少、較細(xì)，光暈現(xiàn)象輕微，說(shuō)明采用本文算法估計(jì)出的透射率相比原固定區(qū)域估計(jì)透射率的方法其數(shù)值更為準(zhǔn)確。此外，在視覺(jué)效果方面，本文算法更能體現(xiàn)圖像的遠(yuǎn)近層次感。從(d)中紅色虛線(xiàn)標(biāo)記處可以看到，遠(yuǎn)處與天空相接的房屋整體上亮度值較低，基本未達(dá)到去霧的效果;而從(h)中紅色虛線(xiàn)標(biāo)記處可以看到，其房屋處亮度值由近至遠(yuǎn)逐漸降低，在保證去霧效果的同時(shí)又體現(xiàn)了圖像的層次感。

圖2 固定區(qū)域法與本文算法的去霧效果對(duì)比

為了更加直觀地顯示本文算法的效果，將本文算法與Fattal去霧算法、He去云霧算法進(jìn)行比較，對(duì)比實(shí)驗(yàn)結(jié)果如圖3所示。其中:(a)～(c)組圖像為霧氣較濃時(shí)的圖像，(d)組圖像為薄霧時(shí)的圖像。末位數(shù)字為1的圖像為原始霧天圖像，末位數(shù)字為2的圖像為采用Fattal算法恢復(fù)的無(wú)霧圖像，末位數(shù)字為3的圖像為He算法恢復(fù)的無(wú)霧圖像，末位數(shù)字為4的圖像為本文算法恢復(fù)的無(wú)霧圖像。

從整體上看，F(xiàn)attal去霧算法對(duì)于去薄霧情況效果較好，但隨著霧氣加重，恢復(fù)后的圖像會(huì)使圖像對(duì)比度增加，特別是在濃霧情況下，恢復(fù)后的霧天圖像出現(xiàn)明顯失真。圖3中:(a2)中遠(yuǎn)處的布娃娃因亮度值過(guò)大，導(dǎo)致基本無(wú)法看出物體的輪廓，灰度值與大氣光值相近部分也會(huì)受到其影響而無(wú)法識(shí)別，如邊緣部分的白色物體;(c2)中樹(shù)木細(xì)節(jié)無(wú)法識(shí)別，例如紅色虛線(xiàn)標(biāo)記處所示。另外，從(a2)、(a3)、(a4)中紅色實(shí)線(xiàn)標(biāo)記對(duì)比中可以看出，經(jīng)過(guò)Fattal算法去霧后的布娃娃頭發(fā)顏色出現(xiàn)明顯失真;經(jīng)過(guò)He去云霧算法后，布娃娃細(xì)節(jié)部分如眼睛、鼻子與面部灰度相近比較暗淡，而本文算法去霧后的布娃娃頭發(fā)、臉部等細(xì)節(jié)更加清晰和突出，臉部與頭發(fā)之間的對(duì)比度更顯自然。

在體現(xiàn)場(chǎng)景目標(biāo)的層次感方面，本文算法也具有一定優(yōu)勢(shì)。從圖3第2組圖中的紅色實(shí)線(xiàn)標(biāo)記對(duì)比可以看到:對(duì)于由近及遠(yuǎn)接近大氣光的部分，(b2)的去霧效果不是很明顯，與天空相接處仍有霧存在;(b3)和(b4)相比，兩者都實(shí)現(xiàn)了去霧，但前者圖像標(biāo)記部分較模糊，后者圖像清晰，在樹(shù)葉與樹(shù)葉之間、樹(shù)葉與樹(shù)枝之間的細(xì)節(jié)方面表現(xiàn)更好，且邊緣交接部分層次更為清晰。最后，從(d2)、(d3)、(d4)的紅色虛線(xiàn)標(biāo)記對(duì)比中可以看出:Fattal算法和He云霧算法去霧后的圖像整體偏暗，而本文算法去霧后的圖像亮度相對(duì)較高，有利于后期的圖像處理。

圖3 不同算法的去霧效果比較

4 結(jié)束語(yǔ)

本文提出一種基于超像素分割的圖像去霧新算法，其主要思想是用圖像分割確定的小區(qū)域來(lái)代替固定區(qū)域，再對(duì)分割后的小區(qū)域分別求取透射率，目的是通過(guò)分割減少圖像中邊緣部分暗原色值誤判的概率，減少光暈效應(yīng)，然后根據(jù)分割區(qū)域估計(jì)各區(qū)域暗原色值獲取透射率圖像，最后采用相對(duì)簡(jiǎn)單的指導(dǎo)濾波器算法代替摳圖算法獲得優(yōu)化后的傳輸率圖。實(shí)驗(yàn)結(jié)果表明:本文算法在提高圖像去霧運(yùn)算速度的同時(shí)有效抑制了光暈效應(yīng)，不僅不會(huì)降低圖像的對(duì)比度，而且能很好地保留邊緣細(xì)節(jié)。

［1］Tan R.Visibility in bad weather from a single image.CVPR［M］.Anchorage，Alaska:IEEE Computer Society，2008:1-8.

［2］Fattal R.Single image dehazing［J］.Los Angeles:ACM Transactions on Graphics，2008，27(3):1-9.

［3］Kratz L，Nishino K.Factorizing scene albedo and depth from a single foggy image［C］//Proceedings of the IEEE International Conference on Computer Vision.Kyoto，Japan:IEEE，2009:1701-1708.

［4］Tarel J P，Hautiere N.Fast visibility restoration from a single color or gray level image［C］//Proceedings of the 12thIEEE International Conference on Computer Vision.Kyoto，Japan:IEEE，2009:2201-2208.

［5］He K M，Sun J，Tang X O.Single image haze removal using dark channel prior［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Miami.USA:IEEE，2009:1956-1963.

［6］McCartney E J.Optics of the Atmosphere:Scattering by molecules and particles［J］.John wiley and sons，1975(11):371－379.

［7］KOSCHMIEDER H.Theorie der horizontalen sichtweite［J］.Beitr Phys Frei Atmos，1924(12):171-181.

［8］Levin A，Lischinski D，Weiss Y.A closed form solution to natural image matting［J］.IEEE Transactions on Pattern Analysis andMachineIntelligence，2008，30(2):228-242.

［9］Ming-Yu Liu，Oncel Tuzel，Srikumar Ramalingam.Rama Chellappa［Z］.Entropy Rate Superpixel Segmentation，CVPR2011.

［10］王朝瑞.圖論［M］.3版.北京:北京理工大學(xué)出版社，2004.

［11］ACHANTA R，SHAJI A.SLIC superpixels compared to state-of-the-art superpixel methods［J］.IEEE Transactions on PAMI，2012，34(11):2274-2282.

［12］HE Kai-ming，SUN Jian，TANG Xiao-ou.Guided image filtering［C］//Proc of ICCV.USA:［s.n.］，2010:1-14.