基于暗通道先驗(yàn)的航拍圖像去霧效果優(yōu)化

李力, 胡瀟, 彭軍

(1.湖北省氣象信息與技術(shù)保障中心，武漢 430074； 2.國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局，北京 100088)

0 引言

隨著無(wú)人機(jī)技術(shù)的不斷發(fā)展，利用無(wú)人機(jī)遙感航拍采集高分辨率影像從而快速獲取信息的方式已廣泛應(yīng)用于氣象、農(nóng)業(yè)、地質(zhì)、水文及環(huán)境監(jiān)測(cè)等方面。由于無(wú)人機(jī)的飛行高度主要為中低空，可見(jiàn)光和紅外線在大氣中傳播容易受到霧霾天氣的影響，使得獲取到的遙感圖像內(nèi)容模糊質(zhì)量下降。1988年Oakley等[1-2]第一次提出了有霧圖像的退化處理，由于課題極高的應(yīng)用型和前瞻性，經(jīng)多年研究已經(jīng)對(duì)單幅圖像的去霧算法有了突破性進(jìn)展。Tan等[3]通過(guò)統(tǒng)計(jì)分析得出無(wú)霧圖像相對(duì)于有霧圖像對(duì)比度更高的先驗(yàn)條件，從而通過(guò)最大化復(fù)原圖像的局部對(duì)比度達(dá)到去霧目的。該算法改進(jìn)了單幅圖像的去霧處理，但僅最大化局部對(duì)比度，去霧圖像容易過(guò)飽和而產(chǎn)生嚴(yán)重的光暈現(xiàn)象，并非真正去霧。普遍使用的暗通道先驗(yàn)(dark channel prior，DCP)算法雖然去霧效果顯著，但復(fù)雜程度較高，尤其是引導(dǎo)濾波(guided filter，GF)和暗通道濾波過(guò)程[4]，針對(duì)無(wú)人機(jī)航拍圖像數(shù)據(jù)量大、圖幅多、圖像中云霧情況復(fù)雜等要求，暗通道先驗(yàn)去霧算法在該領(lǐng)域的應(yīng)用效果仍需進(jìn)一步優(yōu)化。

本文分析有霧圖像的退化過(guò)程，改進(jìn)無(wú)人機(jī)航拍圖像暗通道先驗(yàn)算法的去霧效果。針對(duì)原始圖像云霧厚薄不均的情況，考慮使用增強(qiáng)大氣透射率圖層對(duì)比度的方法改善輸出圖像的清晰度； 針對(duì)原始有霧圖像暗通道先驗(yàn)去霧后降低了亮度的情況，考慮對(duì)算法中的無(wú)霧圖像使用自動(dòng)對(duì)比度或自動(dòng)顏色兩種增強(qiáng)處理方法來(lái)提高輸出圖像亮度。通過(guò)計(jì)算機(jī)編碼實(shí)現(xiàn)優(yōu)化算法進(jìn)行實(shí)驗(yàn)，利用無(wú)參考的客觀圖像質(zhì)量評(píng)價(jià)方法開(kāi)展量化評(píng)價(jià)，用信息熵、圖像梯度和圖像方差作為圖像質(zhì)量的3個(gè)指標(biāo)，評(píng)價(jià)算法的優(yōu)化效果，以期在運(yùn)算時(shí)間改變不大的前提下，提高無(wú)人機(jī)航拍圖像的去霧質(zhì)量。

1 暗通道先驗(yàn)圖像去霧方法

1.1 光線透射率模型

光在傳播中由于散射使得從光源發(fā)出的輻射只有部分能到達(dá)接收傳感器，其他則被散射到傳播介質(zhì)中。假設(shè)距離較小時(shí)散射光強(qiáng)與距離是線性關(guān)系，當(dāng)光源距離傳感器無(wú)限接近時(shí)，光的衰減值可近似為：βr，其中β為空氣的散射系數(shù)；r為光源與傳感器間的距離。大氣密度均勻時(shí)，光線透射率的數(shù)學(xué)模型為：

(1)

式中：D為場(chǎng)景深度；t為光線透射率，用于量化傳感器接收光強(qiáng)與光源表面光強(qiáng)間的比例關(guān)系，即沒(méi)有被散射的輻射與光源輻射間的比例關(guān)系。

1.2 暗通道先驗(yàn)理論

基于統(tǒng)計(jì)大量清晰圖像得到的暗通道先驗(yàn)理論是指大部分不含天空的優(yōu)質(zhì)圖像的所有像素在R，G，B這3個(gè)通道中最少存在一個(gè)顏色通道灰度值相當(dāng)?shù)鸵灾邻吔?[5]，也就是在一定的微小區(qū)域里最小輻射強(qiáng)度值極低。一幅圖像J可定義為：

(2)

式中：Jdark為圖像J的暗通道值；Jc為圖像J的c通道灰度值； Ω(x)為以像素x為中心的局部微小區(qū)域；y為區(qū)域內(nèi)任一像素。

1.3 暗通道先驗(yàn)圖像去霧處理

圖像去霧的目標(biāo)是將傳感器接收到的有霧圖像利用獲得的有用信息通過(guò)去霧還原出清晰圖像。暗通道先驗(yàn)圖像去霧處理是根據(jù)暗通道原理獲取先驗(yàn)知識(shí)，再利用有霧圖像退化模型實(shí)現(xiàn)圖像去霧效果。

1.3.1 圖像退化模型

在計(jì)算機(jī)視覺(jué)圖形學(xué)領(lǐng)域，有霧圖像的退化模型為[6]：

I(x)=J(x)t(x)+A(1-t(x))，

(3)

式中：I(x)為傳感器接收到的場(chǎng)景信號(hào)，即輸入的有霧影像； 場(chǎng)景輻射J(x)為信號(hào)處理后的清晰圖像；A為環(huán)境光照強(qiáng)度；t(x)為大氣透射率。J(x)t(x)稱(chēng)為直接衰減項(xiàng)，用來(lái)量化場(chǎng)景輻射和傳播中的信號(hào)損失。A(1-t(x))表示圖像接收到的大氣散射光強(qiáng)[7]，它是引起色彩偏移和云霧效果的直接原因。

1.3.2 估算環(huán)境光照強(qiáng)度

暗通道圖像中灰度值越高的區(qū)域云霧越厚，在輸入圖像中位于這部分區(qū)域的像素灰度值越接近于環(huán)境光照強(qiáng)度。估算環(huán)境光照強(qiáng)度首先需要找到暗通道圖像中灰度值最高并占圖像總像素?cái)?shù)量0.1%的像素點(diǎn)，記錄它們對(duì)應(yīng)的坐標(biāo)索引，然后根據(jù)坐標(biāo)索引在輸入的有霧圖像中找到對(duì)應(yīng)像素點(diǎn)，計(jì)算有霧圖像中對(duì)應(yīng)像素點(diǎn)的灰度平均值作為環(huán)境光照強(qiáng)度A。

1.3.3 估算大氣透射率

使用t′(x)表示以像素x為中心的濾波窗口內(nèi)的大氣透射率，假設(shè)它局部不變，對(duì)式(3)最小值運(yùn)算，分別計(jì)算R，G，B這3個(gè)顏色通道中的最小值，即

(4)

將3個(gè)顏色通道的最小值進(jìn)行運(yùn)算，可得出以像素x為中心的濾波窗口內(nèi)的灰度最小值，即

(5)

根據(jù)暗通道先驗(yàn)原理和式(2)可以得出：

(6)

于是，由式(5)和式(6)計(jì)算出大氣透射率為：

(7)

1.3.4 去霧處理

暗通道先驗(yàn)條件可用來(lái)量化云霧厚度和全部像素的輻射還原量，然后恢復(fù)出清晰優(yōu)質(zhì)的圖像。通過(guò)式(3)的有霧圖像退化模型和環(huán)境光照強(qiáng)度A、大氣透射率t(x)，可進(jìn)行單幅圖像去霧處理，即

(8)

2 暗通道先驗(yàn)算法去霧效果優(yōu)化

本文優(yōu)化流程如圖1所示。當(dāng)輸入圖像云霧不均時(shí)，其大氣透射率圖層的灰度信息僅處于有限范圍內(nèi)，而整張圖像的輻射還原量將被限制在一定區(qū)間里，不能分別準(zhǔn)確還原云霧厚薄區(qū)域的輻射強(qiáng)度，從而影響圖像去霧效果，考慮利用拉伸大氣透射率圖層對(duì)比度的方法來(lái)改善云霧厚薄不均時(shí)基于暗通道先驗(yàn)得出的無(wú)霧圖像質(zhì)量。

圖1 基于暗通道先驗(yàn)的圖像去霧處理效果優(yōu)化流程Fig.1 Flow chart of image defogging effectoptimization based on dark channel prior

暗通道先驗(yàn)去霧算法降低了圖像亮度，使輸出端比輸入端的圖像亮度減小，所以對(duì)于輸入的有霧圖像，在處理程序中考慮對(duì)無(wú)霧圖像使用自動(dòng)對(duì)比度或自動(dòng)顏色兩種圖像增強(qiáng)方法輸出圖像的亮度。

2.1 拉伸大氣透射率圖層的對(duì)比度

計(jì)算有霧圖像的大氣透射率時(shí)，由式(1)可知場(chǎng)景深度D越小，光線透射率t越大，圖像場(chǎng)景深度和光線透射率互為反比[8]。在有霧圖像暗通道圖層里，霧氣區(qū)域的厚度與其像素輻射強(qiáng)度互為正比，由式(6)算出暗通道圖像并做歸一化處理[9-10]，再將所得圖像G(x)取逆過(guò)程可得出大氣透射率[11]，即

t(x)=1-G(x)。

(9)

經(jīng)反復(fù)實(shí)驗(yàn)在應(yīng)用中加入?yún)?shù)θ(取值范圍為0.9～1.2)來(lái)調(diào)節(jié)大氣透射率效果最佳[12]，即

t(x)=1-θG(x)。

(10)

暗通道圖像中像素灰度值高的區(qū)域云霧厚，大氣透射率低，輻射補(bǔ)償量大[13]?；叶葓D像是單色圖像，從黑到白僅有256級(jí)灰度色階。盡管大氣透射率圖層能有效量化霧氣區(qū)域厚度及所需輻射補(bǔ)償，可其像素灰度值大多處于150～255級(jí)區(qū)間內(nèi)，也限制了圖像的灰度值范圍。當(dāng)圖像云霧不均時(shí)，薄霧區(qū)輻射還原量大造成“過(guò)處理”； 厚霧區(qū)輻射還原量小除霧不充分，兩者均會(huì)影響圖像的去霧效果。

大氣透射率圖層的對(duì)比度拉伸處理是通過(guò)增加灰度值在150～255級(jí)范圍里暗通道圖像的動(dòng)態(tài)范圍，將云霧較薄和較厚區(qū)域分開(kāi)處理，降低薄霧區(qū)輻射還原量，增加厚霧區(qū)輻射還原量，提高對(duì)比度信息以實(shí)現(xiàn)圖像增強(qiáng)。本文為兼顧優(yōu)化后的運(yùn)算效率選用線性拉伸方法來(lái)增強(qiáng)對(duì)比度[14]，如圖2所示。設(shè)I和O分別為輸入圖像和輸出圖像的灰度級(jí)，則先設(shè)定參數(shù)以確定點(diǎn)(I1,O1)和(I2,O2)的位置，通過(guò)兩點(diǎn)的位置來(lái)控制變換函數(shù)T(r)的形狀，再對(duì)兩點(diǎn)之間的部分線性拉伸。

圖2 線性拉伸方法示意圖Fig.2 Schematic diagram of linear stretching method

2.2 無(wú)霧圖像的增強(qiáng)處理

2.2.1 自動(dòng)對(duì)比度增強(qiáng)處理

通過(guò)整體調(diào)整圖像各顏色通道的取值范圍進(jìn)行自動(dòng)對(duì)比度增強(qiáng)，使整幅圖像里最亮與最暗的像素分別映射為白色與黑色，讓灰度值高的部分更亮，灰度值低的部分更暗[15]。使用自動(dòng)對(duì)比度不會(huì)影響圖像色偏，其增強(qiáng)處理流程為：

1)統(tǒng)計(jì)R，G，B每個(gè)顏色通道的灰度直方圖[16]。

2)設(shè)定參數(shù)HighCut和LowCut用于確定各通道的上下限值。

3)設(shè)置每個(gè)通道的圖像參數(shù)，L與H分別表示圖像的寬度與高度。

4)用3個(gè)通道上下限極值中的最大值當(dāng)成新上限，最小值當(dāng)成新下限，計(jì)算映射表。

5)根據(jù)映射表對(duì)各通道的圖像逐一映射。

2.2.2 自動(dòng)顏色增強(qiáng)處理

自動(dòng)顏色增強(qiáng)是根據(jù)實(shí)際的灰度處理圖像，前面3步和自動(dòng)對(duì)比度增強(qiáng)處理相同，然后刪除圖中陰影和灰度值較高的部分，再將亮度最高的像素灰度值設(shè)置為255，亮度最低的像素灰度值設(shè)置為0，其余的像素按照特定分配方式進(jìn)行映射。

3 圖像質(zhì)量客觀評(píng)價(jià)方法

無(wú)人機(jī)航拍圖像難以獲取同一場(chǎng)景不同時(shí)期的兩幅圖像，不便選取參考圖像評(píng)價(jià)去霧效果，所以本文主要使用以下無(wú)參考的客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)去霧前后圖像進(jìn)行客觀評(píng)價(jià)。

3.1 圖像信息熵

表征圖像灰度分布的聚集特性，熵值越高圖像表面包含的細(xì)節(jié)紋理信息越多，圖像信息量越大。數(shù)字圖像信息熵S的計(jì)算公式為：

(11)

式中p(i)為圖像中灰度值為i的像素所占比例。

3.2 圖像邊緣強(qiáng)度

圖像邊緣強(qiáng)度用梯度值來(lái)描述，梯度值較大區(qū)域具有明顯的邊緣特征，平滑區(qū)域梯度值較小，灰度值為常數(shù)的區(qū)域梯度值為0[17]。梯度是矢量，圖像f(x,y)在像素點(diǎn)(x,y)處的梯度GRAD(x,y)與梯度值grad(x,y)分別定義為：

(12)

(13)

對(duì)于離散的數(shù)字圖像，一階偏導(dǎo)數(shù)用一階微分近似表示為：

(14)

(15)

(16)

(17)

3.3 圖像方差

圖像方差表示像素灰度值相對(duì)于均值的離散程度，對(duì)比度高的圖像灰度方差大，反之亦然。有霧圖像的灰度值較小，去霧處理后灰度值變大，所以用圖像方差能有效判斷去霧的效果和程度。圖像方差v的計(jì)算公式為：

(18)

4 優(yōu)化算法實(shí)驗(yàn)結(jié)果與分析

4.1 搭建實(shí)驗(yàn)環(huán)境

針對(duì)輸入圖像云霧不均的情況，采用增強(qiáng)大氣透射率圖層對(duì)比度的方法來(lái)改善輸出圖像質(zhì)量； 針對(duì)全部的有霧輸入圖像，采用自動(dòng)對(duì)比度或自動(dòng)顏色增強(qiáng)的處理方法來(lái)提升輸出圖像亮度，下面分別通過(guò)實(shí)驗(yàn)進(jìn)行結(jié)果驗(yàn)證。實(shí)驗(yàn)所用的計(jì)算機(jī)配置為： CoreTMi7-5500U @ 2.4GHz處理器； 16GB RAM內(nèi)存； Windows 10 64位操作系統(tǒng)。實(shí)驗(yàn)所用數(shù)據(jù)信息均為無(wú)人機(jī)在湖北省恩施土家族苗族自治州的航拍圖像，圖幅大小為5 180像素×3 456像素，JPEG圖片格式，包含R，G，B 3個(gè)顏色通道。

4.2 分析實(shí)驗(yàn)結(jié)果

本文利用無(wú)參考的客觀圖像評(píng)價(jià)方法，將圖像信息熵、邊緣強(qiáng)度、方差作為3個(gè)評(píng)價(jià)指標(biāo)，來(lái)比對(duì)、驗(yàn)證算法優(yōu)化前后輸出圖像的質(zhì)量改進(jìn)情況。

4.2.1 增強(qiáng)大氣透射率圖層對(duì)比度實(shí)驗(yàn)

增強(qiáng)大氣透射率圖層對(duì)比度主要是針對(duì)圖像中云霧分布不均勻，暗通道先驗(yàn)去霧方法除霧效果不理想的情況。實(shí)驗(yàn)選用云霧不均的圖像，文件大小為6.77 MB，如圖3所示。

圖3 無(wú)人機(jī)航拍的云霧不均勻圖像Fig.3 Cloud and fog inhomogeneousimages taken by UAV

為提高計(jì)算速度，選用線性拉伸方式增強(qiáng)大氣透射率圖層對(duì)比度，對(duì)比度拉伸前后大氣透射率圖層和輸出圖像的對(duì)比如圖4所示。由圖可見(jiàn)，對(duì)比度拉伸顯著改善了大氣透射率圖層的動(dòng)態(tài)范圍，將原來(lái)低對(duì)比度圖層拉伸為高對(duì)比度使量化的輻射補(bǔ)償更加精確，經(jīng)過(guò)拉伸大氣透射率圖層對(duì)比度后還原出的去霧圖像比未拉伸對(duì)比度的輸出圖像清晰度大幅提高。表1統(tǒng)計(jì)了實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)，通過(guò)比較圖像和分析各組數(shù)據(jù)可知： 在云霧分布不均勻的圖像中，通過(guò)拉伸大氣透射率圖層對(duì)比度能有效提升去霧效果，從而獲得更加清晰的輸出圖像。由于算法增加了對(duì)比度拉伸過(guò)程，計(jì)算處理速度約多耗費(fèi)230 ms，但在實(shí)際使用中影響不大。

表1 大氣透射率圖層對(duì)比度拉伸效果客觀評(píng)價(jià)Tab.1 Objective evaluation of atmospheric transmittancelayer contrast stretching effect

4.2.2 無(wú)霧圖像增強(qiáng)處理實(shí)驗(yàn)

直接使用暗通道先驗(yàn)方法去霧后的輸出圖像比原始圖像較暗，若將得到的無(wú)霧圖像再進(jìn)行增強(qiáng)處理，則可進(jìn)一步提升輸出圖像質(zhì)量，實(shí)驗(yàn)選用文件大小為6.76 MB的有霧圖像，如圖5所示。將圖5的有霧圖像用暗通道先驗(yàn)算法去霧后，再對(duì)無(wú)霧圖像分別進(jìn)行自動(dòng)對(duì)比度或自動(dòng)顏色增強(qiáng)處理，取HighCut=LowCut=0.15。輸出圖像如圖6所示。

圖5 無(wú)人機(jī)航拍的有霧圖像Fig.5 Fog image taken by UAV

圖7為原始算法輸出的無(wú)霧圖像及自動(dòng)顏色增強(qiáng)處理后的輸出圖像。由圖6和圖7可見(jiàn)： 暗通道先驗(yàn)去霧算法輸出的無(wú)霧圖像經(jīng)過(guò)自動(dòng)對(duì)比度或自動(dòng)顏色增強(qiáng)處理后，顯著提升了輸出圖像的對(duì)比度。

表2將有霧圖像與3種去霧圖像進(jìn)行客觀質(zhì)量評(píng)價(jià)。通過(guò)比較各組圖像和分析評(píng)價(jià)數(shù)據(jù)得出以下結(jié)論： ①使用暗通道先驗(yàn)方法直接去霧后的圖像相比原始有霧圖像偏暗； ②使用自動(dòng)對(duì)比度或自動(dòng)顏色增強(qiáng)處理可顯著改善無(wú)霧圖像質(zhì)量，特別是增強(qiáng)了圖像的邊緣強(qiáng)度和對(duì)比度； ③算法增加了圖像增強(qiáng)過(guò)程，但該步驟的運(yùn)算耗時(shí)較短，影響可以忽略。由此可見(jiàn)，使用自動(dòng)對(duì)比度或自動(dòng)顏色增強(qiáng)方法可有效提高暗通道先驗(yàn)去霧算法的輸出圖像質(zhì)量。

表2 圖像增強(qiáng)處理效果的客觀評(píng)價(jià)Tab.2 Objective evaluation of image enhancement effect

5 結(jié)論

本文基于暗通道先驗(yàn)提出了優(yōu)化航拍圖像去霧效果方法。

1)當(dāng)原始輸入圖像存在云霧厚薄不均勻時(shí)，優(yōu)化算法通過(guò)增強(qiáng)大氣透射率圖層的對(duì)比度顯著提高了去霧后輸出圖像的清晰度。

2)面對(duì)原始有霧輸入圖像在暗通道先驗(yàn)算法去霧后圖像亮度降低的情況，優(yōu)化算法對(duì)無(wú)霧圖像使用自動(dòng)對(duì)比度或自動(dòng)顏色兩種增強(qiáng)處理方法提高輸出圖像亮度，有效改進(jìn)了暗通道先驗(yàn)去霧后的圖像質(zhì)量，具有一定的普適性和實(shí)用性。

3)相對(duì)Oakley等[1-2]提出的暗通道先驗(yàn)圖像去霧算法，本實(shí)驗(yàn)使用無(wú)參考的客觀圖像質(zhì)量評(píng)價(jià)方法對(duì)比算法優(yōu)化前后的結(jié)果，證明在運(yùn)算時(shí)間差別微小的前提下，優(yōu)化算法能有效提升去霧后輸出圖像的效果，為無(wú)人機(jī)航拍圖像去霧批量處理提供了快速、有效的解決方案。

4)實(shí)驗(yàn)需要兼顧優(yōu)化后的算法復(fù)雜程度和運(yùn)算速度，去霧后的圖像依然有霧。優(yōu)化算法的主要參數(shù)為人工設(shè)定，判斷圖像云霧均勻與否主要靠目視，沒(méi)有根據(jù)參數(shù)指標(biāo)自動(dòng)化選擇。進(jìn)一步研究參數(shù)自適應(yīng)方案，減少主觀因素影響，提高算法準(zhǔn)確性，使輸出圖像達(dá)到徹底去霧是后續(xù)研究的主要目標(biāo)。