基于超像素和暗通道先驗的圖像去霧復(fù)原方法*

徐 浩，譚一博，劉博文，王國宇

(中共海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100)

圖像去霧處理方法是當(dāng)前計算機(jī)視覺和圖像處理領(lǐng)域的研究熱點之一。散射介質(zhì)(包括霧天和水下)成像退化的原因來自介質(zhì)對光的吸收和散射效應(yīng)。相比于吸收效應(yīng)，影響成像質(zhì)量的主要因素是散射效應(yīng)，按照對成像的影響分為前向散射和后向散射。前向散射發(fā)生在目標(biāo)光在向傳感器傳輸?shù)倪^程中，即目標(biāo)點的成像光線由于前向散射而發(fā)生偏移，導(dǎo)致目標(biāo)點模糊，一般可以用成像系統(tǒng)的點擴(kuò)散函數(shù)來描述；后向散射發(fā)生光源在照射目標(biāo)時，照明光在介質(zhì)中傳輸時產(chǎn)生的后向散射光被傳感器接收，形成一種“霧化”背景，降低了圖像對比度。在霧天和水下成像中，影響觀測的主要障礙是后向散射導(dǎo)致的圖像對比度下降。圖像去霧處理的目的就是消除后向散射從而提高圖像對比度并還原顏色信息。

目前已有大量關(guān)于圖像去霧處理方法的研究，包括基于非物理模型的圖像增強(qiáng)方法和基于物理模型的圖像復(fù)原方法以及基于深度學(xué)習(xí)的方法[1-3]。其中基于物理模型的圖像復(fù)原方法因其物理有效性已成為圖像去霧研究的熱點。此類方法是從散射介質(zhì)成像退化模型出發(fā)，根據(jù)觀測圖像估計模型中的相關(guān)參數(shù)，反演獲得無霧條件下的場景清晰圖像[4-11]。最常用的霧天圖像退化模型是Nayer和Narasimhan所提出的散射介質(zhì)成像模型(1)。

I(x)=Jt(x)+A(1-t(x))。

(1)

其中:I是觀察圖像強(qiáng)度；J是場景輻射強(qiáng)度；A是大氣光強(qiáng)度；t為透射率。上述模型中包含了RGB三個通道。

對于單幅圖像去霧問題，基于模型(1)的圖像復(fù)原本質(zhì)上是一個病態(tài)問題，所以需要先驗信息或附加約束求解。其中比較有代表性的也是應(yīng)用最廣泛的就是基于暗通道先驗(Dark Channel Prior,DCP)的去霧算法[10-11]。He等通過觀察大量無霧圖像得出統(tǒng)計規(guī)律，即圖像場景中大部分像素的RGB三個通道中存在一個暗通道，其亮度值等于或接近零，據(jù)此由散射成像模型估計出透射率圖，并使用軟摳圖(Soft Matting)算法對透射率進(jìn)行細(xì)化，從而恢復(fù)出無霧場景圖像。后來He等[11]又提出引導(dǎo)濾波(Guided Filter)代替軟摳圖來細(xì)化透射率，提高了算法效率。該算法簡單有效且適應(yīng)性較強(qiáng)，因而得到廣泛應(yīng)用。

在暗通道算法實現(xiàn)中，暗通道的提取是在固定大小的窗口內(nèi)進(jìn)行的，一個窗口中可能覆蓋遠(yuǎn)近不同的多個物體，存在深度不連續(xù)的窗口像素的透射率變得不確定，這會導(dǎo)致局部透射率的錯誤估計，導(dǎo)致透射率圖存在“塊”效應(yīng)，復(fù)原圖像的物體邊緣處也可能產(chǎn)生偽影問題，因而需要對透射率圖進(jìn)行細(xì)化。He提出了軟摳圖算法和導(dǎo)向濾波算法對初始估計的透射率圖進(jìn)行細(xì)化，雖然算法獲得了良好的去霧效果，但是其對透射率圖的濾波處理是以改善視覺效果為前提的，本質(zhì)上仍屬于圖像增強(qiáng)的手段，如典型的導(dǎo)向濾波算法中以輸入圖像作為透射率圖的引導(dǎo)圖像，但實際上透射率僅與景深相關(guān)，與場景的亮度并不相關(guān)，所以依此對透射率圖進(jìn)行細(xì)化仍欠缺物理有效性的解釋。

本文提出了一種基于圖像分割和暗通道先驗的透射率優(yōu)化估計方法，該方法的主要思想是：首先，應(yīng)用超像素提取算法對輸入圖像進(jìn)行分割，用分割后的不規(guī)則區(qū)域替代傳統(tǒng)的暗通道算法中的固定窗口。由于分割區(qū)域內(nèi)的像素在亮度、色相和飽和度屬性上具有一致性，可以認(rèn)為它們在景深以及透射率上也具有一致性，因此在對這些局部區(qū)域提取暗通道時，可以獲得魯棒性和精確性更好的透射率估計，避免了景深不連續(xù)時的錯誤估計，也降低了噪聲干擾。實驗證實，在無需進(jìn)行濾波細(xì)化等增強(qiáng)手段的情況下，直接用超像素透射率估計得到的去霧復(fù)原效果優(yōu)于傳統(tǒng)的暗通道算法。同時，由于不再需要基于增強(qiáng)的濾波細(xì)化步驟，保持了基于暗通道先驗的圖像去霧處理的物理有效性解釋。

1 超像素分割簡介

超像素概念在2003年由Ren 等[12]首先提出，主要用于圖像分割上。超像素是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊。該技術(shù)利用像素之間的相似性將像素分組，用少量的超像素代替大量的像素來表達(dá)圖片特征，很大程度上降低了圖像后處理的復(fù)雜度，所以通常作為分割算法的預(yù)處理步驟。超像素分割的主要優(yōu)點包括：(1) 超像素塊可以作為支持特征向量區(qū)域，在表述圖像局部特征上超像素塊遠(yuǎn)遠(yuǎn)優(yōu)于固定的矩形窗口劃分，超像素塊只屬于一種目標(biāo)，而固定窗口可能覆蓋多種；(2) 超像素分割可以保證邊界的完整性。物體邊緣是超像素邊緣的子集；(3) 超像素可以大幅提高計算效率。超像素分割技術(shù)已被廣泛應(yīng)用于計算機(jī)視覺領(lǐng)域[13-15]。

超像素分割算法主要有基于圖論的算法和基于梯度下降的算法[16-20]。其中，SLIC算法是一種基于顏色相似度和空間距離關(guān)系的局部迭代聚類算法，相比于其他分割算法，SLIC 算法具有較好的邊緣貼合度和可控的超像素緊密度，并且運算時間較短，因此本文應(yīng)用SLIC 算法來對輸入圖像進(jìn)行超像素分割，其實現(xiàn)步驟包括：

(1) 初始化聚類中心。CIELAB 彩色空間中定義5維特征向量Ci=[li,ai,bi,xi,yi]T，其中{l,a,b}是CIELAB空間中的3維顏色特征，{x,y}是圖像平面中的位置，{i}為聚類中心編號。初始化k個聚類中心，即在間隔S個像素的均勻網(wǎng)格上進(jìn)行采樣，尋找每一個采樣點的3×3鄰域中梯度最低的點，將其設(shè)為聚類中心，并計算特征向量。這樣可以避免將超像素的中心點定位到圖像中物體的邊緣上，同時減少噪聲點的影響。

(2) 像素聚類。圖像中每一個像素都會被賦予與其距離最近的聚類中心標(biāo)簽，為了提高計算效率，算法將搜索范圍限定在聚類中心的鄰域范圍內(nèi)，使得計算復(fù)雜度與超像素(聚類中心)數(shù)量k無關(guān)。

(3) 更新聚類中心。當(dāng)每一個像素都與其距離最近的聚類中心關(guān)聯(lián)后，算法進(jìn)行聚類中心的更新，新的聚類中心位于該聚類中心所屬像素的平均值位置。當(dāng)聚類中心更新完畢后，算法重新進(jìn)行像素聚類。反復(fù)迭代直至聚類中心位置的改變量小于預(yù)先設(shè)定的閾值，迭代停止。

(4) 后處理。當(dāng)算法停止迭代后，可能出現(xiàn)具有相同標(biāo)簽號的像素之間并不鄰接，即出現(xiàn)了兩個或多個具有相同標(biāo)簽號的超像素。算法采用簡單的近鄰合并策略將出現(xiàn)相同標(biāo)簽號的超像素與各自相鄰的面積最大的超像素合并。因此 SLIC 算法實際生成的超像素數(shù)量一般會略小于用戶的設(shè)定值k。

將上述超像素分割算法應(yīng)用于霧天圖像，其結(jié)果如圖1所示。

2 基于超像素和暗通道先驗的透射率估計

對輸入圖像進(jìn)行超像素提取后，分割后的不規(guī)則區(qū)域在亮度、色相和飽和度屬性上具有一致性，可以認(rèn)為它們在景深以及透射率上也具有一致性。在對輸入圖像求取暗通道時，我們用分割后的區(qū)域替代傳統(tǒng)的暗通道算法中的固定窗口，然后應(yīng)用暗通道先驗來估計超像素塊的透射率。

首先將式(1)表示為如下歸一化形式：

(2)

公式(2)對應(yīng)了每一個獨立的通道c(r,g,b)。在暗通道算法中，對公式(2)兩邊進(jìn)行局部區(qū)域為(x)的最小值濾波，并且假定在此局部區(qū)域內(nèi)的透射率為常量，得到

(3)

由暗通道先驗可知

(4)

((a) 超像素數(shù)=300 Number of superpixels is 300；(b) 超像素數(shù)=2000 Number of superpixels is 2 000.)圖1 超像素分割示例Fig.1 Example of superpixel segmentation

因此由(3)式，可得

(5)

對輸入圖像進(jìn)行超像素分割后，我們用超像素塊代替(3)中的固定窗口(x)。可以合理地假設(shè)，單個超像素塊內(nèi)的所有像素的暗通道是相同的。所以，考慮到噪聲等干擾因素，為了提高估計的魯棒性，在對超像素區(qū)域應(yīng)用暗通道先驗時，我們對傳統(tǒng)算法中的最小值濾波進(jìn)行了松弛處理，即將暗通道最小值及其之后的若干值排除，將式(3)修正為：

(6)

其中S((x)是以x為中心的超像素塊中，排除最小的前5%暗通道值之后剩下的像素集合。由暗通道先驗可得

(7)

實驗證實，由于超像素分割后的窗口區(qū)域具有透射率一致性的特點，采用松弛后的透射率估計可以減少噪聲干擾，獲得更好的復(fù)原效果。圖2的例子說明了直接使用經(jīng)典的最小值濾波與使用松弛算法所得到的透射率在復(fù)原效果上的差異?？梢钥闯?，使用最小值濾波的復(fù)原結(jié)果在與天空交界的山脊處出現(xiàn)明顯錯誤(紅線圈出)，而使用改進(jìn)的松弛算法并沒有出現(xiàn)此問題。

((a)原圖 Input image；(b)最小值濾波 Minimum filtering；(c)松弛算法 Relaxation algorithm.)圖2 基于超像素透射率得到的復(fù)原結(jié)果Fig.2 Restoration result based on transmittance of superpixels

基于超像素分割的透射率估計方法在保持估計的準(zhǔn)確性的同時，其另一個優(yōu)點是可以保證邊界的完整性。因為物體邊緣是超像素邊緣的子集，所以獲得的透射率圖具有邊緣保持性。實驗證實，即使不采用傳統(tǒng)算法中的導(dǎo)向濾波步驟，在圖像去霧復(fù)原時也可以避免邊緣處的偽影現(xiàn)象。

在得到大氣光照強(qiáng)度A及透射率圖的基礎(chǔ)上，根據(jù)公式(1)即可恢復(fù)出無霧場景J，即

(8)

其中t0為預(yù)先設(shè)定的透射率估計的下限。

3 實驗結(jié)果

將基于超像素分割得到的透射率代入成像模型(1)，根據(jù)式(8)就可以得到去霧復(fù)原圖像。對大氣光值的估計我們?nèi)匀徊捎肏e的傳統(tǒng)算法中所使用的方法。實驗中進(jìn)行超像素分割時的超像素數(shù)目取2 000。

圖3給出用本算法得到的透射率圖，作為比較，同時給出傳統(tǒng)算法(本文稱為He算法)的結(jié)果。圖4給出了應(yīng)用本算法和He算法以及經(jīng)典的Tarel算法的去霧結(jié)果比較。

( (a)He算法結(jié)果 He’s method；(b)本算法結(jié)果 The proposed method.)圖3 透射率圖Fig.3 Transmission map

(自左至右分別為：原始圖像，He算法，Tarel算法，本算法。From left to right:Input image,He’s method,Tarel’s method and the proposed method.)圖4 本算法和其它經(jīng)典算法的復(fù)原結(jié)果Fig.4 Restoration results using the proposed and the compared methods

進(jìn)一步用去霧評價指標(biāo)[21]進(jìn)行比較，結(jié)果如表1和表2所示。表1的評價指標(biāo)e是去霧后圖像中新增可見邊緣的比例；表2的評價指標(biāo)r是去霧后和去霧前圖像中邊緣的梯度大小變化的平均比值，用于評價平均能見度(對比度)增強(qiáng)效果。理論上e和r值越大，表明去霧效果越好。從表中數(shù)據(jù)可以看出，對于圖4中的實驗樣本，本算法的量化評價結(jié)果優(yōu)于大多數(shù)He方法的結(jié)果，與Tarel方法的平均結(jié)果相當(dāng)。另外可以看到，本算法在不用導(dǎo)向濾波進(jìn)行透射率細(xì)化的情況下，圖像的細(xì)節(jié)部分基本沒有出現(xiàn)偽影現(xiàn)象。考慮到在實際應(yīng)用中，較好的算法需要兼顧人眼觀察效果和量化指標(biāo)之間的權(quán)衡。因此綜合人眼觀察和量化評價，本算法的去霧效果優(yōu)于經(jīng)典算法。

表1 可見邊緣評價指標(biāo) eTable 1 Visible edge evaluation index e

表2 梯度評價指標(biāo) rTable 2 Gradient evaluation index r

4 結(jié)語

在基于物理模型的圖像去霧復(fù)原方法中，暗通道先驗算法因其簡單有效且適應(yīng)性強(qiáng)而得到廣泛應(yīng)用，但原有算法中暗通道的提取是在固定大小的窗口內(nèi)進(jìn)行的，因此存在局部透射率的錯誤估計和透射率圖的“塊”效應(yīng)，而該算法中對透射率圖進(jìn)行細(xì)化的軟摳圖和導(dǎo)向濾波方法本質(zhì)上屬于圖像增強(qiáng)的手段，從而在某種程度上破壞了圖像復(fù)原的物理有效性解釋。本文提出了一種基于超像素分割和暗通道先驗的透射率優(yōu)化估計方法，應(yīng)用超像素分割獲得的不規(guī)則區(qū)域替代傳統(tǒng)算法中的固定窗口，從而克服了原有算法中對初始透射率圖的估計存在塊效應(yīng)的問題，并采用松弛策略以獲得魯棒性和準(zhǔn)確性更好的透射率結(jié)果。由于超像素分割對局部透射率描述具有良好的適應(yīng)性，所以無需進(jìn)行另外的濾波細(xì)化步驟即可完成圖像去霧復(fù)原，從而保持了圖像去霧的物理有效性解釋。實驗結(jié)果表明，本文所提出的方法在復(fù)原效果上優(yōu)于傳統(tǒng)的暗通道算法和其它幾種經(jīng)典的去霧算法。