基于顯著性權(quán)重的多曝光融合的單幅霧天圖像復(fù)原算法

李紅云 施 云 高 銀

①(泉州職業(yè)技術(shù)大學(xué) 晉江 362200)②(泉州裝備制造研究所 晉江 362200)

1 引言

在霧天，拍攝的圖像出現(xiàn)能見度和顏色失真等問題對戶外的道路監(jiān)控、智能導(dǎo)航、目標(biāo)識(shí)別等產(chǎn)生嚴(yán)重干擾。因此，為了得到高質(zhì)量的目標(biāo)信息，迫切需要一種對霧天圖像進(jìn)行有效的復(fù)原的方法。

眾所周知，圖像去霧是個(gè)不適定問題，即使幾年來替代深度測量，也依然難以取得理想的效果。由于忽略霧天圖像降級(jí)的機(jī)制，所以很多復(fù)原方法受到限制。例如，直方圖均衡方法是通過擴(kuò)大3個(gè)通道的靜態(tài)范圍來優(yōu)化整個(gè)局部對比度，卻無法擴(kuò)展每個(gè)局部區(qū)域的有效信息[1]。自適應(yīng)平衡化方法可有效地解決局部問題，但增加了算法復(fù)雜性[2]。圖像去霧中早期的模型，retinex方法[3—5]，具有較佳的動(dòng)態(tài)壓縮能力和色彩再現(xiàn)能力，但缺乏邊緣保持的能力，導(dǎo)致恢復(fù)后圖像呈現(xiàn)光暈偽影。后來許多學(xué)者進(jìn)行改進(jìn)，但依舊不能在復(fù)原的清晰度和色彩保真度方面達(dá)到更好的權(quán)衡。

Nayar等人[6]提出大氣散射模式去復(fù)原霧天圖像，但引入了無限遠(yuǎn)點(diǎn)和近距離點(diǎn)的求解，很容易導(dǎo)致深度區(qū)域過飽和。文獻(xiàn)[7]使用不同的偏振角去霧，但所需條件比較困難。因此，這些方法缺乏在實(shí)際應(yīng)用中的實(shí)踐性。近幾年，單模型去霧引起人們廣泛的關(guān)注，尤其是先驗(yàn)方法。Fattal[8]提出單成分分析方法，但以輸入圖像的統(tǒng)計(jì)特性為基礎(chǔ)的先驗(yàn)普適性較差，尤其是針對自然戶外圖像。之后，F(xiàn)attal[9]又設(shè)計(jì)出顏色線模型，卻不適用于單色圖像。早期的大氣散射模型需要場景的深度求解困難，因此發(fā)展應(yīng)用一直受限制，但He等人[10]借助先驗(yàn)概率的理論，提出一種新的暗原色先驗(yàn)去霧的方法(Dark Channel Prior， DCP)，大大促進(jìn)單圖像去霧的發(fā)展，但在亮度變化區(qū)域出現(xiàn)視覺感損失問題。為了提高DCP的復(fù)原的效果，出現(xiàn)了各向異性高斯濾波[11]、多圖像融合[12]和基于拉普拉斯機(jī)制[13]來優(yōu)化透射率。為了提高算法效率，文獻(xiàn)[14，15]尋求一種新的方法，來代替軟摳圖算法，但并沒有從根本上解決DCP的固有缺陷。Meng等人[16]提出一種邊界約束和上下文正則化方法，但對于霧天的局部曝光圖像，仍出現(xiàn)光暈問題。Zhu等人[17]通過有監(jiān)督的學(xué)習(xí)方法，建立顏色損失先驗(yàn)的線性模型，但遺憾的是，由于散射系數(shù)不確定，復(fù)原的質(zhì)量也得到不到保證。

最近，基于機(jī)器學(xué)習(xí)的方法被應(yīng)用到圖像去霧領(lǐng)域。文獻(xiàn)[18—20]通過混合已建立的假設(shè)或先驗(yàn)知識(shí)來訓(xùn)練，為去霧提供新的線索。雖然他們的系統(tǒng)可以在很大程度上彌補(bǔ)相關(guān)特征的弱點(diǎn)，但所采用的復(fù)雜的機(jī)器學(xué)習(xí)方法降低實(shí)時(shí)性能。Zhang等人[21]構(gòu)建金字塔密集連接的透射圖估計(jì)和全局大氣光估計(jì)網(wǎng)絡(luò)來恢復(fù)霧天圖像，但該方法仍然依靠DCP先驗(yàn)?zāi)Ｐ?。為了擺脫其干擾，Zhang等人[22]提出一種感知金字塔深度網(wǎng)絡(luò)，直接復(fù)原霧天圖像，但需要成對的大量樣本。之后Wang等人[23]提出了一種大氣光照先驗(yàn)網(wǎng)絡(luò)解決配對問題，用于去霧。但是這些基于學(xué)習(xí)的方法，仍然離不開準(zhǔn)確的大氣散射模型參數(shù)。因此，當(dāng)使用這些可論證的訓(xùn)練模型來處理不在訓(xùn)練數(shù)據(jù)集中的霧天圖像時(shí)，這些基于學(xué)習(xí)的方法可能會(huì)遭遇模型失敗。

為了解決這些不良的視覺感，融合原理被引入到圖像去霧中。Ancuti等人[24]通過白平衡和對比度增強(qiáng)過程，構(gòu)建兩個(gè)輸入圖像，然后將兩個(gè)對應(yīng)的映射圖通過多尺度方法進(jìn)行融合。由于融合對象不足和全局大氣光不準(zhǔn)確，該方法視覺效果不理想。Galdran等人[25]提出一種基于融合的變分方法對霧天圖像進(jìn)行復(fù)原，但僅使用增強(qiáng)的變分圖像去模糊迭代優(yōu)化，這只消除圖像中部分的霧。最近，Gao等人[26]采用自構(gòu)造的方法對霧天圖像進(jìn)行復(fù)原，該方法提高了圖像的視覺感，但增加了算法的復(fù)雜度。

綜上所述，這些基于融合的方法增加了計(jì)算復(fù)雜性，即使是減少融合的數(shù)量，降低算法的復(fù)雜度也是有限的。在最近的基于融合的去霧文獻(xiàn)中，這些方法通過在一定程度上權(quán)衡方法來獲得更好的視覺效果。這種策略在視覺效果和算法復(fù)雜度上取得了較好的權(quán)衡。基于此思想，我們提出基于快速多曝光融合的單幅霧天圖像復(fù)原算法。本文方法主要貢獻(xiàn)是：(1)提出一種創(chuàng)新的方法去估計(jì)全局大氣背景光的范圍，通過該方法可以構(gòu)造不同曝光程度的圖像，解決亮度損失問題；(2)提出一種自適應(yīng)邊界限制的Kirsh算子的高階差分濾波方法，更加準(zhǔn)確地優(yōu)化透射率圖像；(3)提出一種基于顯著性權(quán)重的快速曝光圖像融合方法，解決圖像視覺效果的問題。

2 本文算法

經(jīng)典的DCP模型[10]表示如式(1)

其中，I(x)是輸入圖像。J(x)是去霧后的圖像。t(x)表示介質(zhì)的透射率，早期采用導(dǎo)向?yàn)V波[15]進(jìn)行優(yōu)化。A是全局大氣背景光的值。由于該模型算法處理后圖像的視覺感損失較嚴(yán)重，很多學(xué)者開始不斷地對該模型進(jìn)行修正。

針對DCP的固有缺陷，本文在構(gòu)建模型和統(tǒng)計(jì)實(shí)驗(yàn)的基礎(chǔ)上，提出了一種基于權(quán)重多曝光融合的單幅霧天圖像復(fù)原算法，算法流程如圖1所示。

圖1 算法的流程圖

2.1 圖像中較亮區(qū)域分割

針對暗通道獲取全局大氣背景光值的缺陷，本文提出一種基于直方圖分析的局部尋優(yōu)閾值分割方法。通過分割，分離較亮區(qū)域，求取全局大氣背景光的有效值，在去霧的時(shí)候就能有效地解決局部過曝光或者光暈現(xiàn)象，達(dá)到最優(yōu)的視覺效果。

首先，運(yùn)用高斯濾波平滑處理，或者直方圖；其次利用二分法求解直方圖中的局部最小值

式中，fc(x)為平滑后的單通道圖像。Hc(x)是輸入圖像的直方圖。g(x)是高斯濾波函數(shù)，h，σ是高斯卷積核的尺寸和標(biāo)準(zhǔn)差，*是卷積操作。對直方圖進(jìn)行倒序，mHc(x)取Hc(x)的最大值。Lm(·)是二分法對局部最小值的求解函數(shù)。p是二分法求取的一系列局部最小值，p ∈[0，mHc(x))。ac是霧天圖像每個(gè)通道較亮區(qū)域范圍的下限閾值，全局大氣背景光的有效值正是在該范圍內(nèi)。對于每個(gè)通道，根據(jù)不同的高斯核和標(biāo)準(zhǔn)差給出分割的結(jié)果。如圖2所示，本文方法分割天空區(qū)域有較高的普適性。

圖2 區(qū)域分割的對比圖

通過統(tǒng)計(jì)實(shí)驗(yàn)，構(gòu)建出較亮區(qū)域的亮度值函數(shù)，其公式為

式中，A1，A2，A3為分割后較亮區(qū)域像素的最大值，中間值和最小值。中間值可能包含多個(gè)值，其求解函數(shù)fm求取過程如下：首先獲取fc(x)直方圖占比最大的像素A1，其次獲取占比最大值像素的95%的點(diǎn)At，作為閾值點(diǎn)，最后獲取At與A1中間的值，作為中間值。這些值就是本文全局大氣背景光的值。

2.2 透射率圖像的優(yōu)化

DCP中對透射率圖像的優(yōu)化經(jīng)過He等人[10]改進(jìn)，引入導(dǎo)向?yàn)V波，雖然減少了處理時(shí)間，卻增加了算法的復(fù)雜度。本文通過大量的實(shí)驗(yàn)發(fā)現(xiàn)，處理完的圖像的平滑度直接影響處理后圖像的視覺效果，并且針對不同場景的圖像，透射率的優(yōu)化程度也應(yīng)該不同。因此，考慮到算法復(fù)雜度和處理效果，本文提出一種新的基于自適應(yīng)邊界限制的Kirsh算子的高階差分濾波方法，其步驟如下。

首先，根據(jù)輻射立方體理論，本文重新定義一種針對任何霧天圖像的自適應(yīng)邊界限制條件

其次，構(gòu)造Kirsh算子的高階差分濾波方法，對獲得的透射率圖像進(jìn)行優(yōu)化處理。

由于Kirsh算子單獨(dú)運(yùn)行可以增強(qiáng)圖像的細(xì)節(jié)，但是對于霧天圖像，對透射率的優(yōu)化是在保持邊緣的基礎(chǔ)上，達(dá)到對梯度較小區(qū)域的平滑。因此需要借助高階差分濾波的方法，把Kirsh算子的8方向模板融合到該濾波之中，具體的構(gòu)造為

2.3 顯著性權(quán)重多曝光圖像融合

經(jīng)過自適應(yīng)邊界限制的Kirsh算子的高階差分濾波處理，透射率的圖像得到不同程度的平滑。在DCP基礎(chǔ)上，可以獲取不同程度去霧的初始圖像。

其中，Ji(x)是不同全局大氣背景光Ai和透射率圖像Ti下求取的去霧后的結(jié)果，i的取值為1， 2， 3。d是一個(gè)調(diào)節(jié)參數(shù)，取值范圍為[0， 1]。T0是透射率圖像的Ti下邊界限制值。

由于全局大氣背景光Ai在暗原色理論中起到調(diào)節(jié)處理后圖像亮度的作用，復(fù)原完成后圖像出現(xiàn)不同程度的曝光。本文根據(jù)此特點(diǎn)，提出一種基于顯著性權(quán)重的多曝光圖像融合方法，其表示為

其中，NJ(x)是融合后的圖像。ME(·)是多曝光融合算法，其具體的步驟如下。

3 實(shí)驗(yàn)結(jié)果及分析

為了提高算法的普適性，我們把圖像庫中400個(gè)霧天圖像作為樣本，運(yùn)用統(tǒng)計(jì)學(xué)方法獲得圖像分割的一般性規(guī)律，在雙核2.4 GHz CPU，Matlab R2015a和Windows 7操作系統(tǒng)基礎(chǔ)上，對本文算法進(jìn)行驗(yàn)證。文中從區(qū)域分割和透射率圖像優(yōu)化方面進(jìn)行分析，說明本文分割算法和新的濾波方法的作用。為測試算法的有效性，本文與文獻(xiàn)[10，16，28—31]進(jìn)行比較，從主觀和客觀兩個(gè)方面對算法進(jìn)行分析。其中合成圖像從RESIDE的測試集SOTS隨機(jī)取出[32]。

3.1 區(qū)域分割的對比和透射率圖像優(yōu)化的分析

對霧天圖像的全局處理，容易引起圖像中的色彩過度飽和對比度過大等問題，因此，尋找一種能對霧天圖像中不同區(qū)域進(jìn)行分割的方法，對每個(gè)不同的分割區(qū)域采用不同方法處理，是處理霧天圖像的關(guān)鍵之一?？紤]到一天中不同部分時(shí)間段的影響，文中采用不同場景和時(shí)間段采集的圖像，測試算法處理的普適性，其處理效果如圖4所示。

在圖4中，第1行圖像是沒有較亮區(qū)域的，分割出的部分是圖像中反射率比較大的部分，該部分由于反射率比較大，顯現(xiàn)的圖像亮度值就比較高，可以作為全局大氣背景光的值所在的區(qū)域。第2行圖像是有小部分的較亮區(qū)域的圖像，分割出的結(jié)果是圖中比較亮的部分，但不包含路燈，本文分割算法可以有效地消除路燈的干擾。第3行為較亮區(qū)域占比比較大的圖像，從分割的結(jié)果可以看出，本文算法可以有效地分離出主要的較亮區(qū)域，去掉大部分“霧帶”的干擾。3幅圖像的復(fù)原結(jié)果都很好地保留了原圖的色彩，比較接近人眼可視的視覺感。

圖3 顯著性多曝光融合過程

圖4 濾波后透射率圖像的對比

為了有效地說明本文提出的透射率算法的有效性，我們與經(jīng)典的導(dǎo)向?yàn)V波[15]方法進(jìn)行對比分析。

在圖4中，通過文獻(xiàn)[10]的方法獲取的暗通道圖像細(xì)節(jié)比較清晰，經(jīng)過導(dǎo)向?yàn)V波的處理，圖像中大部分得到了平滑優(yōu)化，復(fù)原后的結(jié)果色彩保真度也很好，但有些圖像中殘存有霧氣，如第1行文獻(xiàn)[10]處理的結(jié)果。此外文獻(xiàn)[10]處理后的結(jié)果有亮度損失的現(xiàn)象，如第3行圖像，主要原因是作者采用統(tǒng)計(jì)先驗(yàn)的方法估計(jì)全局大氣背景光，造成該值出現(xiàn)偏差。導(dǎo)向?yàn)V波的方法是對全局的平滑處理，促使圖像失去了深度感，圖像中物體的邊緣損失嚴(yán)重，如圖4(c)所示。本文首先通過自適應(yīng)邊界限制的方法獲取初始透射率圖像，如圖4(e)所示，圖中物體的深度信息比圖4(b)明顯；其次通過Kirsh算子的高階差分濾波方法對初始透射率圖像進(jìn)行保邊平滑處理，如圖4(f)所示，圖中每個(gè)物體的深度信息依然很突出，并且在保留圖像邊緣細(xì)節(jié)的同時(shí)，增加大量的低頻信息，明顯提高暗原色理論模型的增強(qiáng)優(yōu)化效果。此外，經(jīng)過本文算法的處理，在較平滑的區(qū)域，如圖4(g)中的第1行所示，紅色的墻體表面沒有殘存霧氣，色彩保真度明顯優(yōu)于暗原色理論算法，其余的2幅圖像，本文算法處理后，圖像的對比度明顯得到增強(qiáng)，視覺可視度也得到明顯的提高。因此，本文算法在透射率圖像優(yōu)化方面有明顯的優(yōu)勢。

3.2 本文算法效果的對比分析

根據(jù)對比分析的一致性原則，本文分別采用不同類別的自然圖像和合成圖像，與當(dāng)前最新的暗原色理論模型及其修正方法進(jìn)行對比，文獻(xiàn)[10，16，28—31]通過主觀和客觀數(shù)據(jù)分析進(jìn)行評價(jià)?？陀^評價(jià)中，表1分別用黑體標(biāo)注最優(yōu)的兩種方法。

由于自然環(huán)境下的圖像缺少真實(shí)的無霧圖像，對其評價(jià)沒有可參考對象，所以對自然圖像的評價(jià)采用無參考的圖像評價(jià)方法[33，34]。圖5采用的是戶外霧天圖像，分別命名為工地、寺廟、稻田和原野。表1是針對圖5進(jìn)行的客觀評價(jià)，評價(jià)方法為ILNIQE[33]和ENIQA[34]。ILNIQE是通過圖像的特征，對自然圖像進(jìn)行評價(jià)，評價(jià)的值越小，說明該圖像質(zhì)量越高。ENIQA是一種無參考圖像評價(jià)方法，評價(jià)的值越大，圖像質(zhì)量越好。

圖5 自然圖像去霧對比圖

在圖5中，色彩畸變最大的為文獻(xiàn)[28]處理后的圖像，4幅圖像中較亮區(qū)域均出現(xiàn)了顏色畸變，物體的表面殘存有大量的霧氣，整體視覺感較差。其次是文獻(xiàn)[31]的方法，在4幅圖像中，有3幅都出現(xiàn)了一定程度的顏色畸變，圖像的亮度整體偏暗，局部區(qū)域出現(xiàn)過增強(qiáng)現(xiàn)象。文獻(xiàn)[16]的結(jié)果和文獻(xiàn)[30]的結(jié)果類似，有一半的圖像出現(xiàn)了色彩畸變。文獻(xiàn)[30]的方法對圖像的局部有明顯的對比度增強(qiáng)，這一方面，文獻(xiàn)[16]的弱一點(diǎn)。文獻(xiàn)[29]的方法和文獻(xiàn)[10]的方法處理后的結(jié)果，在較亮區(qū)域只有一小部分出現(xiàn)了顏色畸變，圖像的保真度明顯優(yōu)于前幾種方法，但處理后物體表面的霧氣，文獻(xiàn)[29]的方法這一方面明顯優(yōu)于文獻(xiàn)[10]的方法。文獻(xiàn)[10]的方法處理后的結(jié)果，殘留的霧氣較多，并且以犧牲圖像亮度來增強(qiáng)圖像的對比度。

與以上6種方法對比，本文的方法處理后的圖像在較亮區(qū)域沒有出現(xiàn)顏色畸變，圖像的保真度也比較好，由近及遠(yuǎn)，處理后圖像的深度保持比較好，圖像整體達(dá)到較好的可視度。

在客觀評價(jià)方面，表1中，文獻(xiàn)[10]和文獻(xiàn)[31]的方法沒有產(chǎn)生較好的評價(jià)值；文獻(xiàn)[16]和文獻(xiàn)[28]的方法只產(chǎn)生一個(gè)較好的評價(jià)值；文獻(xiàn)[29]的方法產(chǎn)生2個(gè)較好的評價(jià)值；文獻(xiàn)[30]的方法產(chǎn)生3個(gè)較好的評價(jià)值。與以上幾種方法進(jìn)行對比分析，本文算法產(chǎn)生7個(gè)較好的評價(jià)值，說明本文算法在處理效果上明顯優(yōu)于以上6種方法。

表1 自然圖像中不同方法的客觀評價(jià)分析

為了更加直觀地分析算法的有效性，本文采用合成圖對本文算法進(jìn)行對比分析，其中最后一列是輸入圖像的真實(shí)結(jié)果。考慮到實(shí)驗(yàn)圖中有合成圖像，所以在客觀評價(jià)中對該類圖像采用全參考的圖像評價(jià)方法[33]。圖6是從RESIDE的測試集SOTS[32]取出的圖像，分別命名為校園、小區(qū)、馬路和宮殿，通過6種經(jīng)典的方法進(jìn)行主觀的分析。表2是針對圖6進(jìn)行的客觀評價(jià)。為了更加合理地對自然圖像進(jìn)行評價(jià)，本文采用兩種評價(jià)方法：PSNR和RVSIM[35]。PSNR是峰值信噪比的簡稱，PSNR越大，代表圖像越接近真實(shí)圖像，質(zhì)量越好。RVSIM是一種基于視覺敏感度的全參考圖像評價(jià)方法，評價(jià)的值越大，說明該圖像失真度越小，質(zhì)量越好。

在圖6中，文獻(xiàn)[10]和文獻(xiàn)[31]的結(jié)果是7種方法中最差的，在4幅圖像中較亮區(qū)域均出現(xiàn)色彩畸變，圖像出現(xiàn)局部過增強(qiáng)現(xiàn)象，圖像亮度損失也較多，很多物體的細(xì)節(jié)無法辨析，如圖6(b)、圖6(g)所示。其次，文獻(xiàn)[16]的結(jié)果在亮度方面，損失少于以上兩種方法，但在較亮區(qū)域依舊出現(xiàn)色彩畸變和過增強(qiáng)問題，并且出現(xiàn)一定程度的“漣漪”現(xiàn)象，如圖6(c)所示。文獻(xiàn)[28]的結(jié)果優(yōu)于以上3種方法，在較亮區(qū)域色彩失真較為明顯，雖然圖像亮度得到提高，但處理后圖像仍殘存一層淡淡的霧氣，如圖6(d)所示。文獻(xiàn)[29]和文獻(xiàn)[30]的方法是這幾種對比方法最好的，圖像中只有局部較亮區(qū)域出現(xiàn)色彩畸變，圖像中物體的細(xì)節(jié)雖然有些不太清楚，但整體視覺感得到一定程度的提高，如圖6(e)、圖6(f)所示。與真實(shí)的圖像進(jìn)行對比，6種對比方法均無法達(dá)到真實(shí)無霧圖像的效果。

圖6 合成圖像去霧對比圖

與以上6種方法進(jìn)行對比，本文算法處理后的圖像亮度和可視度均較好，較亮區(qū)域的色彩保真度也較好，圖像中的物體的細(xì)節(jié)保留非常完整，清晰可辨，此外，與真實(shí)無霧結(jié)果對比，本文處理后的圖像非常接近無霧的圖像。

在客觀評價(jià)方面，表2中，文獻(xiàn)[10]、文獻(xiàn)[28]和文獻(xiàn)[31]均沒有產(chǎn)生較好的評價(jià)值；文獻(xiàn)[16]產(chǎn)生一個(gè)較好的評價(jià)值；文獻(xiàn)[30]產(chǎn)生2個(gè)較好的評價(jià)值；文獻(xiàn)[29]產(chǎn)生4個(gè)較好的評價(jià)值。與以上6種方法相對比，本文的方法產(chǎn)生8組較好的評價(jià)值，說明本文算法在處理合成圖像時(shí)，其處理的效果明顯優(yōu)于以上6種方法。

表2 合成圖像中不同方法的客觀評價(jià)分析

此外，為了更好地驗(yàn)證算法的效率，本文利用圖5的圖像進(jìn)行對比實(shí)驗(yàn)，單位是s，如表3所示。

表3 各種算法的處理時(shí)間對比(s)

對比以上7種處理方法，文獻(xiàn)[29]和文獻(xiàn)[31]的處理速度最快，效率最高，但效果比不上本文方法。其次是本文算法，影響效率的主要原因是圖像融合。文獻(xiàn)[30]的方法效率比本文方法稍弱，但強(qiáng)于文獻(xiàn)[10]等方法的處理效率。效率最慢的是文獻(xiàn)[28]等的方法。

4 結(jié)束語

在本文中，通過分析大量的霧天圖像直方圖，提出一種新的霧天圖像亮度區(qū)域分割方法，更有效地獲取全局大氣背景光；根據(jù)Kirsh算子的性質(zhì)，設(shè)計(jì)一種新的Kirsh算子的高階差分濾波方法，綜合各個(gè)方向優(yōu)點(diǎn)對透射率圖像進(jìn)行優(yōu)化；利用圖像顯著性方法，構(gòu)造一種顯著性多曝光融合方法，提高復(fù)原后的圖像視覺效果。霧天圖像的視覺效果一直是該方向的追求，本文構(gòu)建顯著性圖，通過多曝光融合方法，根據(jù)主觀和客觀實(shí)驗(yàn)對比分析發(fā)現(xiàn)，本文避免了亮度區(qū)域的光暈現(xiàn)象和圖像的色彩失真問題，很好地提高復(fù)原后圖像的視覺效果?？紤]到透射率優(yōu)化和多曝光融合過程中涉及多圖像的處理，未來工作重點(diǎn)將針對算法的效率和復(fù)原后圖像的質(zhì)量之間的平衡。