基于半選擇性曝光融合的霧天圖像復(fù)原算法

陳照春

(1.福建省特種設(shè)備檢驗研究院,福建 福州 360008;2.國家特種機器人產(chǎn)品質(zhì)量檢驗中心(福建),福建 福州 360008)

霧是一種自然現(xiàn)象,在有光的條件下,會產(chǎn)生大氣散射,對于戶外采集的圖像會造成遮擋問題,同時也會引起圖像的對比度降低和顏色退化,嚴(yán)重影響基于機器視覺的系統(tǒng)的工作,如交通監(jiān)控、地形勘探、智能導(dǎo)航和無人駕駛等。為了有效提高出行的安全,減少霧對人們生命財產(chǎn)的影響,對于霧天圖像的復(fù)原具有重要意義。

圖像去霧最早起源于對大氣散射和損失的研究,根據(jù)反射與散射的關(guān)系,發(fā)展出兩種模型：基于人眼視網(wǎng)膜雙皮層[1]和大氣散射模型[2]。前者是NASA為了提高航天發(fā)射的安全性開發(fā)的一種圖像增強模型,該基礎(chǔ)模型演化出三種：單尺度Retinex[3]、多尺度Retinex[4]和帶顏色恢復(fù)的多尺度Retinex[5]。雖然很多學(xué)者對其改進(jìn),不斷突破,有了較大的發(fā)展,但該類模型主要針對的是低對比度圖像,對于霧天圖像的復(fù)原有很大的局限性,主要表現(xiàn)在容易造成色彩畸變和過增強等問題。

鑒于基于人眼視網(wǎng)膜雙皮層方法的缺陷,學(xué)者根據(jù)大氣散射和損失關(guān)系,建立了基于大氣散射模型的模型[6]。該模型是通過圖像中目標(biāo)的深度信息來進(jìn)行復(fù)原,因此在建立之初很受限制。之后,He等[7]通過大量的統(tǒng)計試驗發(fā)現(xiàn)了暗通道先驗理論(DCP),該方法簡化了大氣散射模型的求解,從而大大提高了算法的應(yīng)用性。由于該模型處理后會出現(xiàn)一定的色彩畸變和亮度損失問題,之后,很多學(xué)者在該模型的基礎(chǔ)上不斷的進(jìn)行研究。

目前,針對暗通道先驗方法的研究主要集中在以下兩類：基于神經(jīng)網(wǎng)絡(luò)的方法和基于模型修正的方法。

基于神經(jīng)網(wǎng)絡(luò)的方法是最近幾年隨著人工智能方法發(fā)展才開始在該領(lǐng)域得到應(yīng)用。Cai等[8]通過有霧圖像與無霧圖像的關(guān)聯(lián)關(guān)系,提出了一個去霧的網(wǎng)絡(luò)。Zhang等[9]提出了一個帶有殘塊的密集連接的金字塔網(wǎng)絡(luò)。Ren等[10]提出了一個門控融合網(wǎng)絡(luò)的端到端的訓(xùn)練模型。Qin等[11]提出了一個殘差注意力塊的FFA-Net。雖然這些基于深度學(xué)習(xí)的方法很好的解決了圖像去霧的問題,但這些模型需要大量的樣本進(jìn)行訓(xùn)練。對于自然環(huán)境下的霧天圖像,隨機性較大,因此這些方法也不能很好的適應(yīng)。

基于模型修正的方法是一種對影響暗通道先驗變量進(jìn)行精細(xì)化修正的方法。眾所周知,暗通道理論中影響復(fù)原結(jié)果的變量為：全局大氣背景光和透射率。因此,模型修正方法中主要針對的是以上2個方向。針對全局大氣背景光的修正,主要是通過分割和識別的方法,剔除圖像中非天空區(qū)域的高反射目標(biāo),如Wang等[12]提出一種區(qū)域分解和融合的方法將圖像分為天空區(qū)域和非天空區(qū)域進(jìn)行復(fù)原,Zhu等[13]采用圖割的方法進(jìn)行分割天空區(qū)域,通過能量最小化進(jìn)行求解,獲取無霧的圖像。針對透射率的優(yōu)化,主要集中在一些先驗方法的開發(fā),如彩色線[14],霧線[15],顏色損失先驗[16],加權(quán)導(dǎo)向濾波[17],局部常數(shù)假設(shè)[18]等。這些方法根據(jù)先驗信息,很好地修正了透射率,但由于先驗信息的不確定性,自然環(huán)境中霧的多變性,造成了很多先驗方法的魯棒性不高。

圖像融合借助相關(guān)特征,通過融合的思想很好的解決了復(fù)原中不缺性的問題,所以,受此啟發(fā),結(jié)合霧天圖像構(gòu)造中,圖像的清晰和模糊區(qū)域類似于曝光的特征。本文提出了一種基于半選擇性曝光融合的霧天圖像復(fù)原算法。為了解決曝光的問題,運用統(tǒng)計學(xué)方法,分析霧圖的直方圖特征,對明亮區(qū)域進(jìn)行了分割,以準(zhǔn)確獲得不同的全局大氣背景光。為了減少光暈偽像,本文提出了一種基于邊界限制的快速自適應(yīng)雙邊濾波來優(yōu)化傳輸。為了提高復(fù)原的視覺效果,本文構(gòu)造了一種選擇性曝光融合方法。為了減少計算開銷,本文使用圖像縮放的方法進(jìn)行傳輸。

本文通過統(tǒng)計先驗的方法,解決了圖像的亮度失真問題。通過構(gòu)造基于邊界限制的快速自適應(yīng)雙邊濾波來優(yōu)化透射率圖像,減少了光暈現(xiàn)象。最后,開發(fā)了多曝光融合方法,改善了圖像去霧的視覺效果。

1 算法

經(jīng)典的暗原色理論被描述成以下數(shù)學(xué)模型[19,20]

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：I(x)表示霧天采集的圖像,J(x)表示復(fù)原后的圖像,t(x)表示透射率圖像,A表示全局大氣背景光值。該理論通過先驗假設(shè),結(jié)合式(1)得到復(fù)原后的圖像為

J(x)=(I(x)-A)/max(t1(x),t0)+A

(2)

式中：t1(x)經(jīng)過導(dǎo)向濾波優(yōu)化后的透射率。t0為限值,一般設(shè)定0.1。

霧天圖像的復(fù)原是一個不適定問題,建立在經(jīng)典的暗原色理論之上的求解,都是在尋找一種最優(yōu)的復(fù)原方法。本文在統(tǒng)計試驗的基礎(chǔ)上,通過大量分析霧天圖像有霧區(qū)域的特征,對霧天圖像進(jìn)行分割,獲取天空的區(qū)域;之后通過自適應(yīng)邊界的相對快速雙邊濾波對透射率圖像進(jìn)行優(yōu)化。最后,結(jié)合大氣背景光有效范圍,運用多權(quán)重曝光融合,復(fù)原霧天圖像,其流程圖如圖1所示。

圖1 算法的流程圖

1.1 大氣背景光獲取

經(jīng)典的方法對全局大氣背景光的求取采用的是全局方法,該方法不能兼顧圖像中明暗的變化,從而容易出現(xiàn)偏移,造成圖像強亮度邊緣的光暈現(xiàn)象。

運用統(tǒng)計學(xué)方法,分析霧天圖像的直方圖特征,發(fā)現(xiàn)霧的區(qū)域梯度均勻且偏小,亮度偏大?；诖颂攸c,本文提出一種基于先驗統(tǒng)計的方法,實現(xiàn)對霧天圖像進(jìn)行分割,獲取圖像中明亮區(qū)域,也就是霧存在的區(qū)域,精準(zhǔn)地實現(xiàn)對大氣背景光的獲取。

考慮到霧天圖像的特點,本文從兩個方面對圖像進(jìn)行區(qū)域分割處理。亮度色空間的分割：首先將圖像轉(zhuǎn)化到HSI色空間,獲取圖像的亮度空間;其次對亮度空間進(jìn)行自動閾值處理、中值濾波處理;最后進(jìn)行小區(qū)域的形態(tài)學(xué)腐蝕,文中通過試驗,設(shè)定的腐蝕最小面積為圖像的1/1 000。梯度域的分割：首先將圖像轉(zhuǎn)化為灰度圖像;其次獲取灰度圖像的梯度,運用梯度的閾值,進(jìn)行特定的二值分割;最后通過中值濾波處理和形態(tài)學(xué)最小區(qū)域腐蝕,獲得分割的區(qū)域。通過以上的兩種分割區(qū)域,綜合判斷圖像中明亮的區(qū)域。

ac=f1(Ic(x)),c∈{r,g,b}

(3)

式中：ac是每個通道圖像的明亮區(qū)域圖像,f1(·)為通過最優(yōu)逼近原理對圖像直方圖的局部分割點的求取方法,Ic(x)為輸入的霧天圖像,ac為每個通道內(nèi)圖像的分割閾值點,r、g、b表示輸入圖像的三個通道。

傳統(tǒng)的暗原色理論中天空的亮度值A(chǔ)求取,采用的是暗通道圖像中亮度最大的0.1%的像素的均值,通過對大量的霧天圖像進(jìn)行處理發(fā)現(xiàn),該估算的方法會造成圖像的亮度偏暗,且對于不同亮度霧景,由于天空的亮度值估計的不準(zhǔn)確,其效果往往相差很大。本文在試驗的基礎(chǔ)上,對大量的不同亮度的霧天圖像進(jìn)行統(tǒng)計,并與實際的天空的亮度值對比,構(gòu)建擬合出大氣背景光值的有效范圍函數(shù)。

A=[min(nac),max(nac)]

(4)

式中：nac=[min(ac),at,max(nac)],其中at是每個通道內(nèi)大于min(ac)值中占比最多的像素點。圖2是根據(jù)統(tǒng)計先驗獲取的閾值進(jìn)行明亮區(qū)域分割的效果圖,魯棒性比較高。

圖2 大氣背景光區(qū)域的提取

1.2 透射率圖像的優(yōu)化

采用固定邊界限制求取的初始透射率圖像一定程度地避免了暗通道圖像的“階梯”效應(yīng),但直接采用,可能會出現(xiàn)一定的光暈現(xiàn)象,尤其是在濃霧和亮度明顯變化的區(qū)域[22]。為了解決這個問題,本文提出一種基于邊界限制的自適應(yīng)雙邊濾波方法來優(yōu)化透射率圖像。

首先將輸入圖像縮小一半,根據(jù)輻射立方體的定義,邊界約束定義為

(5)

針對邊界約束后的初始透射率圖新,本文設(shè)計了一種自適應(yīng)雙邊濾波的方法,來優(yōu)化初始透射率圖像,其泛函為

t2(x)=f2(ti(x))

(6)

式中：t2(x)優(yōu)化后的透射率圖像,f2(·)是自適應(yīng)雙邊濾波的平滑方法,根據(jù)文獻(xiàn)[23],定義如下

(7)

式中：Ω是一個以原點為中心的窗口,中心φi和寬度ω(j)是空間變化的函數(shù)。

(8)

(9)

式中：窗口通常設(shè)置為φi(t)=[-3ρ,3ρ]2。文中采用文獻(xiàn)[24]提出的解析逼近方法進(jìn)行求解。如圖3所示,對透射率圖像進(jìn)行二次優(yōu)化,可以有效解決DCP方法中的‘階梯’效應(yīng),從而降低光暈現(xiàn)象。

圖3 透射率圖像優(yōu)化過程

1.3 半選擇性曝光融合圖像融合

在邊界限制的自適應(yīng)雙邊濾波方法和基于直方圖特征的大氣背景光值范圍提取基礎(chǔ)上,本文設(shè)計了一種選擇性曝光融合方法。首先,對多個不同曝光程度圖像的進(jìn)行構(gòu)造

Ji(x)=(I(x)-Ai)/(max(t2(x)↑n,t0))λ

(10)

式中：Ji(x)是初始復(fù)原后的圖像,↑n是上采樣運算,λ是gamma校正的參數(shù)。

經(jīng)過初始復(fù)原,獲得了曝光度不同的圖像,為了獲取更好的視覺效果,根據(jù)圖像曝光特征,提出了一種半選擇性多權(quán)重曝光融合方法。

眾所周知,圖像熵反映圖像平均信息量的多少。在獲取初始曝光圖像過程中,信息量越大,圖像越清晰,因此本文在這里通過圖像的信息熵設(shè)計一個半選擇器,對圖像進(jìn)行初選。

首先,本文需要設(shè)計半選擇函數(shù),其定義如下

H=Fmb(EJ)

(11)

式中：Fmb(·)表示求解局部最優(yōu)值。EJ表示圖像熵的值。H表示輸出的參與融合的圖像。其中,EJ的求解如下

(12)

式中：pi是直方圖圖像J中第i個統(tǒng)計小區(qū)間值。N是總的統(tǒng)計區(qū)間,一般設(shè)置為256。由于圖像的熵獲取輸入是灰度圖,因此需要把輸入的圖像Ji(x)轉(zhuǎn)化為灰度圖,之后縮放到50×50,提高處理速度。

其次,設(shè)計多圖像融合方法。融合具體步驟如下。

通過高斯平滑濾波操作,獲取局部對比度權(quán)重Cωi,公式如下

(13)

式中：Cgi=G(Ji(x)*h(x))表示對Ji(x)進(jìn)行高斯濾波,G(·)表示灰度處理。Cωi表示不同圖像的對比度權(quán)重,i表示每個通道。

根據(jù)初始復(fù)原后的圖像,獲取亮度映射權(quán)重。由于圖像存在曝光和欠曝光問題,通過一定的閾值操作,直接獲取視覺感較好的區(qū)域

(14)

式中：Bi表示亮度分割的閾值,其值范圍為[10,30]。Bωi表示最終的亮度權(quán)重。最后,通過不同圖像的顏色差異獲取顏色差異性權(quán)重Dωi,其公式如下

Dωi=(Clωi⊕s1)?s2

(15)

式中：Clωi表示計算的圖像顏色差異性,Clωi=exp((Hei(x)-Hmi(x))/δ2),Hmi(x)是中值濾波處理函數(shù),Hei(x)表示直方圖均衡函數(shù),s1、s2表示半徑為r1、r2圓狀腐蝕盤,⊕、?表示膨脹和腐蝕。

對三個權(quán)重進(jìn)行規(guī)整和規(guī)則化濾波,獲取最終的融合權(quán)重Wfi,公式如下

Wfi=Rf(Cωi×Nf(Bωi×Dωi))

(16)

式中：Rf(·)表示遞歸濾波處理,Nf(·)表示歸一化處理方法。

通過最終的融合權(quán)重,獲取復(fù)原結(jié)果如下

(17)

式中：Jf(x)表示最終融合的圖像。如圖4所示,獲取的初始復(fù)原的圖像有2個,分別是圖4的(b、c),之后通過融合獲取最終的復(fù)原圖。

圖4 多曝光融合的結(jié)果

2 試驗結(jié)果及分析

本文的試驗平臺為Matlab R2018a,系統(tǒng)為雙核2.4GHz CPU好Windows 10操作系統(tǒng),試驗的對象為當(dāng)前經(jīng)典的霧天數(shù)據(jù)庫SOTS。為了有效地對算法的效果進(jìn)行評價,本文對HE[7]、Meng[22]、Cai[8]、Bui[16]、Gao[25]、Ju[26]進(jìn)行主觀和客觀評價?？陀^評價采用全參考和無參考兩種評價方法對多種經(jīng)典算法進(jìn)行分析。此外,為了更加有效地說明算法的效率,本文對算法處理時間進(jìn)行分析。

2.1 算法效果的主觀分析

目前,霧天圖像分為自然狀態(tài)下的和合成狀態(tài)下,為了更加合理地對算法的效果進(jìn)行客觀分析,本文將從這2個方面分別進(jìn)行試驗,對算法進(jìn)行主觀分析。

圖5是戶外自然霧天圖像的多種算法處理效果,其中第一列是原圖,第2列到第6列分別是上述的5種對比方法,最后一列是本文算法的方法。由于天空區(qū)域?qū)η笕〈髿獗尘肮獾闹岛苤匾?影響著霧天圖像復(fù)原結(jié)果,因此本文在戶外自然圖像的選用中,著重用天空區(qū)域占比不同的圖像,以便檢驗本文算法對不同天空區(qū)域的魯棒性。本文將從顏色保真度,清晰度和圖像的視覺感三個方面進(jìn)行分析。

圖5 戶外自然霧天圖像的多種算法處理效果

在顏色保真度方面,圖5里在天空區(qū)域占比比較低的圖像中,如第一行,每種方法復(fù)原結(jié)果顏色保真度都比較好,圖像中各種目標(biāo)的顏色得到有效的復(fù)原,但隨著天空區(qū)域占比擴大,如第四行和第二行,在天空區(qū)域,HE、Meng和Bui出現(xiàn)了明顯的光暈現(xiàn)象,發(fā)生色彩畸變。Gao 的方法比以上三種方法稍弱,針對不同的圖像,出現(xiàn)一定程度的色彩畸變。Ju的方法部分出現(xiàn)了顏色畸變。Cai和本文方法復(fù)原后的圖像色彩保真度比較好。

在清晰度方面,圖5中,每種方法都能達(dá)到增強復(fù)原的目的,但每種方法增強的程度不同。HE和Bui方法增強的程度最強,導(dǎo)致復(fù)原后圖像的對比出現(xiàn)過增強現(xiàn)象,圖像亮度偏低,很多細(xì)節(jié)無法辨認(rèn),如第5行圖像,圖中的高樓基本被掩蓋,出現(xiàn)細(xì)節(jié)丟失問題。Meng的方法增強程度弱于以上方法,但在天空區(qū)域也出現(xiàn)了一定程度的過增強現(xiàn)象。Gao的方法很大程度增強了圖像的細(xì)節(jié),每個景物都清晰可見,但出現(xiàn)一定的顏色畸變問題。Cai和本文方法復(fù)原后的圖像很好的恢復(fù)了圖像的清晰度。Ju的方法復(fù)原后的圖像對比度比較大,圖中的目標(biāo)比較清楚,圖整體清晰度最好。

在圖像的視覺感方面,以上7種方法在一定程度上都提高了圖像的視覺感,但提高的程度不同。HE、Meng、Bui、Ju這4種方法通過增強濾波的方法提高圖像的清晰度,達(dá)到提高視覺感,但其中某些強亮度邊緣區(qū)域出現(xiàn)了光暈現(xiàn)象,嚴(yán)重影響圖像整體的視覺感。Gao的方法雖然豐富了圖像的細(xì)節(jié),但由于局部過增強,也影響視覺感的提高。Cai的方法在視覺感方面明顯優(yōu)于以上的5種方法,但處理后圖像亮度有所損失,低對比度的目標(biāo)無法清晰可辨,且圖像表面仍有淡淡的薄霧,這些都在一定程度上影響著視覺感。Ju的方法雖然清晰度有很大提升,但與輸入的霧圖像顏色有一定的改變。與以上算法進(jìn)行對比,本文算法針對天空區(qū)域占比不同的圖像,在該區(qū)域沒有出現(xiàn)顏色畸變,在顏色保真方面具有較高的魯棒性,此外,本文算法在提高圖像清晰度的同時,也很好地提高了圖像的視覺感。

圖6是合成霧天圖像的多種算法處理效果,其中第一列是原圖,第2列到第7列分別是上述的六種和本文方法對比方法,最后一列是無霧的圖像。

圖6 合成霧天圖像的多種算法處理效果

在圖6中,HE、Meng和Bui這三種處理的霧天圖像,出現(xiàn)了嚴(yán)重的色彩畸變和亮度損失問題,圖像的清晰度和視覺感也不能有效提高,如以上6幅圖像。Cai和Gao的方法很好地復(fù)原了圖像,圖中大部分景物都清晰可辨,在天空區(qū)域,也沒有出現(xiàn)較大的色彩畸變,但視覺效果上,距離無霧的圖像還有較大的差距。Cai的方法降低了圖像的亮度,圖中低對比度區(qū)域無法可見,如第二行和第六行圖像。Gao的方法雖然很大程度提高了圖像的亮度,但局部的過增強依然影響圖像的視覺感,如第四行和第六行圖,圖中的建筑物頂端出現(xiàn)了一定的過增強現(xiàn)象。Ju的方法很好地提高了圖像的清晰度,但是在這過程中的增強,影響了圖像的顏色恢復(fù),造成一定的色畸變。

與以上方法相比,本文算法很好地復(fù)原霧天圖像,在天空區(qū)域沒有出現(xiàn)畸變,圖中各種目標(biāo)都清晰可見,如第三行圖,本文算法在視覺效果上明顯優(yōu)于無霧的圖像。此外,在圖像的亮度方面,本文算法處理后,圖像的亮度基本和原圖保持一致,處理后的視覺效果基本和無霧圖像一致。

2.2 算法的客觀評價分析

戶外霧天圖像由于在采集過程隨機性非常大,且很難獲取相同視場角度下的無霧的圖像,因此針對戶外自然狀態(tài)下有霧的圖像,本文采用無參考的評價方法(ENIQA)[27];針對合成的霧天圖像,本文采用無參考(ENIQA)[27]和全參考的評價方法(SSIM)[28]。

無參考的評價方法值越大,說明圖像的視覺感越好。全參考的評價方法的值越接近于1,說明和參考圖像約接近。表1是針對圖5做的評價,表2是針對圖6做的評價。在評價中,本文把最好的兩種方法用黑體表示。

表1 圖5質(zhì)量評價

在圖5中,客觀評價采用無參考的評價方法,具體的客觀評價值如表1所示。

從表1可以看出,針對這10幅自然狀態(tài)下的圖像,文獻(xiàn)[7]與[26]表現(xiàn)最差,沒有產(chǎn)生一個最高值的評價值,主要原因是DCP和IDE方法在處理自然圖像時,缺乏有效的判斷和優(yōu)化。文獻(xiàn)[22]優(yōu)于前2個,只產(chǎn)生了一個最高值。文獻(xiàn)[25]與[8]的處理結(jié)果,優(yōu)于前4種方法,但只產(chǎn)生了3個最大值。在所有的對比文獻(xiàn)中,只有方法[16]表現(xiàn)得最好,產(chǎn)生了4個最大值。與以上的優(yōu)秀對比方法相比,本文方法產(chǎn)生7個最大值,優(yōu)于以上的各種方法。

在表2中,針對無參考的評價方法,表現(xiàn)最差的是文獻(xiàn)[22]、[8]、[25]和[26],均沒有產(chǎn)生一個最大值。文獻(xiàn)[7]的結(jié)果優(yōu)于以上4個對比方法,產(chǎn)生了3個最大值。對比方法中,效果最好的是文獻(xiàn)[16],產(chǎn)生了4個最大值。與這5種文獻(xiàn)相對比,本文方法產(chǎn)生了5個最大值。

針對全參考圖像評價方法,從表2可以看出,本文算法最接近與實際場景中無霧的圖像,產(chǎn)生了6個最大值。其次是文獻(xiàn)[8],也產(chǎn)生了6個最大值,但其值略小于本文方法。其余的幾種對比方法都基本類似,沒有產(chǎn)生最大值,與無霧的圖像差距較大。

為了對算法的復(fù)雜度進(jìn)行評價,本文根據(jù)對圖6的6個圖進(jìn)行平均時間的計算,如表3所示。

表3 算法的平均處理時間對比 s

在表3中可以看出平均處理時間最短的是文獻(xiàn)[16],其次是文獻(xiàn)[7],其余的都在2s以上。本文方法平均處理時間排在第5,主要原因是通過融合來復(fù)原,增加了算法的復(fù)雜度,但從表1和表2可以看出,處理后圖像的視覺效果是最好的。

3 結(jié)論

傳統(tǒng)的基于暗原色理論算法在處理霧天圖像時,會出現(xiàn)一定程度的亮度損失、強亮度邊緣區(qū)域會出現(xiàn)“光暈”現(xiàn)象、算法的復(fù)雜度較高和效率低等問題。鑒于此,本文在大量統(tǒng)計試驗的基礎(chǔ)上,結(jié)合圖像分割理論,實現(xiàn)對圖像中明亮區(qū)域的有效分割,準(zhǔn)確估計出大氣背景光值范圍。對于透射率圖像,本文設(shè)計了一種自適應(yīng)邊界限制的雙邊濾波方法,對透射率圖像進(jìn)行優(yōu)化。結(jié)合圖像融合的優(yōu)勢,本文構(gòu)造了一種選擇性曝光融合方法,通過融合多圖像,獲得比較符合人眼視覺的去霧圖像。通過主客觀試驗對比證明本文方法能有效地解決去霧過程中出現(xiàn)的色彩和曝光問題,同時還提高視覺效果。此外,由于采用融合的方法進(jìn)行復(fù)原,增加了算法的復(fù)雜度,這也是本文下一步的重點研究工作。