改進(jìn)的海霧圖像去除方法

黃 鶴，胡凱益，郭 璐，王會(huì)峰，朱禮亞

(1.長(zhǎng)安大學(xué) 電子與控制工程學(xué)院，西安 710064；2.西北工業(yè)大學(xué) 無人機(jī)系統(tǒng)國(guó)家工程研究中心，西安 710072)

海霧是一種常常發(fā)生于中國(guó)沿海的災(zāi)害天氣現(xiàn)象，在海面、島嶼和濱岸低層大氣中積聚大量水滴和冰晶，其能見度往往小于1 km[1]。海霧形成包括兩個(gè)環(huán)節(jié)——水汽凝結(jié)和霧滴低空積聚。分析霧滴殘存物發(fā)現(xiàn)，水汽凝結(jié)核由燃燒核、鹽微粒和土壤粒子組成，其比例是5∶4∶1[2-5]。其中，燃燒核半徑為1 μm左右，表面包裹著吸濕凝結(jié)性很強(qiáng)的膜。因此，海面空氣中吸濕性粒子的濃度較高，導(dǎo)致海邊比內(nèi)陸更容易起霧。霧滴低空積聚后一般直徑為10 μm左右，尺寸較小，懸浮在近海空氣中，致使大氣能見度較低。海霧粒子散射作用會(huì)導(dǎo)致可見光攝像頭采集的視頻圖像對(duì)比度低、顏色失真，嚴(yán)重影響海上場(chǎng)景監(jiān)控、艦船視覺導(dǎo)航、漁船作業(yè)、軍事活動(dòng)以及沿海交通的正常運(yùn)行。

現(xiàn)有去霧方法從原理上大致可分為圖像增強(qiáng)去霧方法和物理模型圖像復(fù)原方法。前者主要是提高對(duì)比度，但未考慮導(dǎo)致圖像降質(zhì)的因素，并未實(shí)質(zhì)消除霧，效果非常有限[6-8]。而在物理模型圖像復(fù)原方法中，Oakley等[9-10]建立了多參數(shù)統(tǒng)計(jì)退化模型，對(duì)灰度場(chǎng)景進(jìn)行可見性復(fù)原。Tan等[11]改進(jìn)了統(tǒng)計(jì)退化模型，對(duì)霧天彩色圖像進(jìn)行可見性復(fù)原。這些方法必須已知場(chǎng)景深度，其詳細(xì)深度信息需要利用高精度測(cè)距設(shè)備才能獲得，應(yīng)用成本較高。Narasimhan等[12-13]利用多幅不同天氣的同一場(chǎng)景退化圖像作為輔助信息，從多個(gè)角度研究利用場(chǎng)景深度復(fù)原圖像。這種方法在實(shí)際應(yīng)用中對(duì)條件要求比較苛刻，適用范圍有局限。近年來，很多學(xué)者[14-16]開始著手研究基于先驗(yàn)知識(shí)的單幅圖像去霧方法。He等[17]統(tǒng)計(jì)分析大量圖像，發(fā)現(xiàn)不含天空的圖像區(qū)域中，取像素R、G、B的最小值，該值總是趨向于0，定義為暗通道。利用暗通道作為先驗(yàn)信息估計(jì)大氣光和透射率，同時(shí)通過軟摳圖獲取透射率的粗估計(jì)并濾波，得到精確透射率，從而利用霧天成像模型復(fù)原圖像[18]。海面監(jiān)控畫面中天空相對(duì)較多，暗通道方法一般不適用于海霧情況。朱青松等[16]在2015年提出了一種顏色衰減先驗(yàn)理論，即霧天條件下，景物的亮度變高而色彩飽和度降低，經(jīng)過大量統(tǒng)計(jì)證實(shí)了這一理論，并給出了亮度和飽和度之間定性和定量的關(guān)系。

海上監(jiān)控畫面獲取的含霧圖像與一般含霧圖像不同，由于拍攝場(chǎng)景本身因素，圖片中含有大量的天空等明朗區(qū)域，且這些區(qū)域通常與含霧區(qū)域混雜。在這些明亮區(qū)域中，暗通道先驗(yàn)在一定程度上失去作用，導(dǎo)致全局大氣光值選取出現(xiàn)偏差，使用霧天降質(zhì)模型對(duì)圖像復(fù)原效果變差，圖像中的部分信息因?yàn)閳D像復(fù)原過程中場(chǎng)景透射率等的偏移而丟失，圖像亮度較低且色彩失真嚴(yán)重，對(duì)海面場(chǎng)景監(jiān)控、海上目標(biāo)跟蹤與識(shí)別以及海上行為分析等帶來了負(fù)面影響。

通過分析海霧圖像降質(zhì)機(jī)理，針對(duì)傳統(tǒng)依賴單一先驗(yàn)知識(shí)的去霧算法往往存在估計(jì)大氣光值不夠精確致使還原圖像顏色失真、比較昏暗的問題，提出了一種基于最小方差中值引導(dǎo)濾波融合變差函數(shù)和顏色衰減先驗(yàn)理論的去海霧圖像算法，使用變差函數(shù)[19]可以較快地判別出像素點(diǎn)是否隸屬于白色或高亮區(qū)域，從而標(biāo)記出圖像中的天空區(qū)域，但其易將近景區(qū)域中物體本身為白色的區(qū)域囊括在內(nèi)；使用顏色衰減先驗(yàn)理論則可以有效去除圖像中近景部分本身存在的純白色區(qū)域，但其對(duì)圖片中的高亮天空區(qū)域估計(jì)較差。因此使用二者同時(shí)對(duì)圖像中的非天空區(qū)域進(jìn)行估計(jì)，并對(duì)獲得區(qū)域取并運(yùn)算,以相互彌補(bǔ)各自估計(jì)錯(cuò)誤的區(qū)域，得到較為準(zhǔn)確的非天空區(qū)域，最終獲得較好的復(fù)原效果。

1 含海霧圖像降質(zhì)模型

借鑒文獻(xiàn)[20-23]，建立海霧天圖像降質(zhì)模型見圖1，鏡頭獲取參與成像的光線由場(chǎng)景中目標(biāo)物的反射光與大氣中懸浮霧霾顆粒散射作用后的環(huán)境光組成，其中目標(biāo)物的反射光在傳輸過程中會(huì)受到大氣中微粒的散射和吸收作用從而導(dǎo)致衰減，分析該模型可知海霧顆粒對(duì)光線的作用以及對(duì)成像的影響。含海霧圖像的模型為

圖1 海霧顆粒對(duì)成像影響過程Fig.1 Influence process of sea fog particles on imaging

L(x,y)=L0(x,y)e-kd(x,y)+Ls(1-e-kd(x,y))

(1)

式中：采集的含霧降質(zhì)圖像為L(zhǎng)(x,y)，d(x,y)為場(chǎng)景深度，L0(x,y)e-kd(x,y)為入射光衰減模型，Ls(1-e-kd(x,y))為大氣光成像模型，Ls為環(huán)境光亮度，e-kd(x,y)為透射分布率。L0(x,y)為反射光強(qiáng)度。k為大氣散射系數(shù)，微粒大小為γ，波長(zhǎng)為λ，計(jì)算如式(2)所示。

(2)

通過對(duì)上述模型的分析可以得出圖像降質(zhì)的成因：低空積聚后形成的海霧顆粒直徑為10 μm左右，尺寸遠(yuǎn)遠(yuǎn)大于晴朗條件下直徑為10-4μm左右的正?？諝馕⒘?。因此，在海霧條件下，可認(rèn)為相比于波長(zhǎng)，顆粒大小作為影響大氣散射系數(shù)的主要因素，致使對(duì)不同顏色光線近似等量散射，因此獲取的海霧圖像呈現(xiàn)灰白。同時(shí)，從式(1)中入射光衰減模型的計(jì)算公式可知，圖像亮度也會(huì)受到景深影響呈指數(shù)衰減。海霧顆粒的折射和散射作用還會(huì)在成像中引入噪聲，引起離焦模糊，圖像質(zhì)量較差。

2 融合變差函數(shù)和顏色衰減先驗(yàn)理論的大氣光估計(jì)

在基于物理模型的含霧圖像復(fù)原過程中，大氣光估計(jì)值是否準(zhǔn)確決定了去霧后圖像的亮暗程度。在求解全局大氣光時(shí)，傳統(tǒng)暗通道去霧方法通常直接選取暗通道圖像中最亮的1‰像素點(diǎn)對(duì)應(yīng)含霧圖像中像素點(diǎn)的亮度值作為大氣光值。該方法受圖像中白色或高亮區(qū)域的影響，估計(jì)的大氣光值不夠準(zhǔn)確，存在較大局限性。因此，為了剔除出圖像中的白色(高亮區(qū)域)，本文提出了一種融合變差函數(shù)和顏色衰減先驗(yàn)理論的方法來得到較為準(zhǔn)確的全局大氣光估計(jì)值。通常直接采用暗通道圖像中最亮的1‰像素點(diǎn)亮度值作為大氣光值。實(shí)際情況中該方法受圖像中白色或高亮區(qū)域的影響，估計(jì)的大氣光值往往偏離實(shí)際大氣光值。

2.1 變差函數(shù)

文獻(xiàn)[24]經(jīng)過大量實(shí)驗(yàn)提出了一種可判斷暗通道圖像中像素點(diǎn)是否來自高亮區(qū)域的函數(shù)，即變差函數(shù)。用公式描述如下:

(3)

式中：Ii(x,y)表示像素點(diǎn)(x,y)在某一顏色通道的值;m(x,y)為對(duì)應(yīng)位置像素點(diǎn)在3個(gè)通道的均值;S(x,y)為對(duì)應(yīng)位置的變差函數(shù)值;λ為引入的比例系數(shù)，經(jīng)過大量實(shí)驗(yàn)這里取經(jīng)驗(yàn)值為18。

由變差函數(shù)的定義可見，S(x,y)在高亮區(qū)域非常小，在其他區(qū)域比較大。

計(jì)算含霧圖像對(duì)應(yīng)的暗通道圖像，根據(jù)變差函數(shù)判斷像素點(diǎn)是否隸屬于白色或高亮區(qū)域(Δ為閾值)。若S≥Δ，則將該點(diǎn)作為一個(gè)有效全局環(huán)境光值依據(jù)，并基于變差函數(shù)求得圖像暗部，記為IVAM_dark；若S<Δ，認(rèn)為其來源于白色或高亮區(qū)域并舍棄像素點(diǎn)數(shù)據(jù)。

2.2 顏色衰減先驗(yàn)理論

顏色衰減先驗(yàn)理論是對(duì)大量含霧圖像統(tǒng)計(jì)后得到的規(guī)律。對(duì)于海上含霧監(jiān)控圖像來說，場(chǎng)景深度越大的區(qū)域，霧的濃度越高。根據(jù)顏色衰減先驗(yàn)理論，圖像中任意區(qū)域霧的濃度與該區(qū)域像素點(diǎn)的明度和飽和度之差成正相關(guān)，因而可以得到含霧圖像中不同區(qū)域景深的差異，用數(shù)學(xué)公式描述為

d(x,y)∝c(x,y)∝v(x,y)-s(x,y)

(4)

式中：d(x,y)表示圖像中坐標(biāo)為(x,y)處的像素點(diǎn)對(duì)應(yīng)的場(chǎng)景深度，c(x,y)為該點(diǎn)處的霧氣濃度，v(x,y)和s(x,y)分別代表該像素點(diǎn)的明度和色彩飽和度。

場(chǎng)景深度同亮度與飽和度之差的相關(guān)性見圖2。左邊為含霧圖像，分別截取近景、薄霧、濃霧3個(gè)30×30像素單位大小的矩形區(qū)域，統(tǒng)計(jì)其色彩明度和飽和度之差如圖2右邊從上到下3個(gè)小圖所示，可以看出場(chǎng)景深度越大，色彩明度和飽和度的差值越大。

圖2 顏色衰減先驗(yàn)示意Fig.2 Schematic of color attenuation prior

從大氣散射模型的角度來看，顏色衰減先驗(yàn)理論是指：一方面目標(biāo)場(chǎng)景光線在穿過空氣懸浮的微粒進(jìn)入圖像采集設(shè)備時(shí)發(fā)生了折射和散射，導(dǎo)致光線的明度和飽和度均產(chǎn)生了衰減；另一方面空氣中的微粒的折射作用，將非目標(biāo)場(chǎng)景中的光線引入圖像采集設(shè)備中，參與成像過程(即大氣光成像過程)，導(dǎo)致含霧圖像的色彩明度增強(qiáng)，由于大氣光影響較大導(dǎo)致最終采集到的含霧圖像色彩明度增強(qiáng)而飽和度降低，且隨著霧氣濃度越大(即場(chǎng)景深度越大)，像素的色彩明度和飽和度之差越大。

2.3 融合變差函數(shù)和顏色衰減先驗(yàn)理論的大氣光估計(jì)

含霧圖像中天空及白色區(qū)域會(huì)影響對(duì)大氣光的準(zhǔn)確估計(jì)。針對(duì)這個(gè)問題，提出了一種融合變差函數(shù)和顏色衰減先驗(yàn)理論的估計(jì)大氣光方法。首先求出含霧圖像對(duì)應(yīng)的暗通道圖像。本文結(jié)合拍攝的含海霧圖像一般包括較多天空區(qū)域的特點(diǎn)，同時(shí)經(jīng)過大量實(shí)驗(yàn)，實(shí)驗(yàn)中設(shè)置閾值取經(jīng)驗(yàn)值Δ=35，求出IVAM_dark。再根據(jù)顏色衰減先驗(yàn)理論，將含霧圖像轉(zhuǎn)換到HSV顏色空間，求解各個(gè)像素點(diǎn)的色彩明度和飽和度之差，即

D(i,j)=Iv(i,j)-Is(i,j)

(5)

式中Iv(i,j)和Is(i,j)分別為像素點(diǎn)(i,j)處的色彩明度和飽和度，D(i,j)為該像素點(diǎn)對(duì)應(yīng)的顏色衰減率。

求解整幅含霧圖像對(duì)應(yīng)的顏色衰減率圖像，并將其值按降序進(jìn)行排序，取前10%的顏色衰減率作為顏色衰減先驗(yàn)變換的亮暗部分界閾值，根據(jù)該閾值得到原霧化降質(zhì)圖像的暗部，記為IHSV_dark。

對(duì)由變差函數(shù)得到的圖像暗部IVAM_dark和顏色衰減先驗(yàn)理論得到的暗部IHSV_dark取并集，得到用于估計(jì)暗區(qū)域大氣環(huán)境光值A(chǔ)dark的暗部圖像Imark_dark，進(jìn)行遞減排序，選取像素值排在前1‰的含霧降質(zhì)圖像像素點(diǎn)集合的平均值作為Adark的值。

3 基于多級(jí)權(quán)重相對(duì)總變差模型的透射率估計(jì)

根據(jù)霧天圖像成像模型和大氣對(duì)光線的散射特性，含霧圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的大氣耗散函數(shù)均為0到各顏色通道的最小值之間的正值，因此可以利用3通道的最小顏色分量即最小通道圖對(duì)大氣耗散函數(shù)值V進(jìn)行估計(jì)

(6)

式中Ic(i,j)為含霧圖像中坐標(biāo)(i,j)處R、G、B某一顏色通道的值。

計(jì)算的大氣耗散函數(shù)值包含了豐富的紋理和邊緣信息。而Tan[7]認(rèn)為大氣耗散函數(shù)跟場(chǎng)景深度數(shù)據(jù)有關(guān)，僅在景深突變的區(qū)域可能會(huì)產(chǎn)生邊緣，因此，去除紋理信息對(duì)準(zhǔn)確估計(jì)大氣耗散函數(shù)十分重要。

3.1 相對(duì)總變差模型

相對(duì)總變差模型(relative total variation model，RTV)是一種不依賴紋理先驗(yàn)知識(shí)和人工干預(yù)，僅利用函數(shù)的總變差區(qū)分紋理和結(jié)構(gòu)信息的方法，其公式描述為

(7)

式中：p為某一局部區(qū)域，Sp和Ip分別為分解出的結(jié)構(gòu)圖和原圖在該區(qū)域的值，(Sp-Ip)2表示結(jié)構(gòu)圖和原圖的相似度，λ為權(quán)重系數(shù)。Dx、Dy和Lx、Ly分別為x和y方向上區(qū)分紋理和結(jié)構(gòu)信息的正則化系數(shù)，ψ是用來預(yù)防分母為0的調(diào)整系數(shù)。

由于相對(duì)總變差模型本身的固定性，對(duì)于實(shí)際含霧降質(zhì)圖像而言，在多樣的氣象條件及拍攝方式影響下，無法適應(yīng)去霧模型中大氣透射率的粗略估計(jì)，因而必須改進(jìn)模型。

3.2 多級(jí)權(quán)重相對(duì)總變差模型

針對(duì)相對(duì)總變差模型的局限性，本文提出一種新的多級(jí)權(quán)重相對(duì)總變差模型(multi-level weight relative total variation model，MWRTV)。權(quán)重相對(duì)總變差在RTV基礎(chǔ)上引入平滑權(quán)重系數(shù)η，用于對(duì)平滑程度修正，其公式為

(8)

其中：

ax,p(i)=wx·ux

(9)

ay,p(i)=wy·uy

(10)

(11)

(12)

(13)

(14)

式中：p，Sp，Ip，(Sp-Ip)2，λ，ψ與式(7)相同;ax,p(i)和ay,p(i)為平滑項(xiàng)權(quán)重系數(shù)，其目的是在x和y方向上區(qū)分紋理和結(jié)構(gòu)信息的正則化系數(shù)。平滑權(quán)重系數(shù)η用于修正紋理和結(jié)構(gòu)信息對(duì)最終結(jié)果的影響。

MWRTV根據(jù)不同平滑權(quán)重系數(shù)η下對(duì)圖像紋理及邊界的不同影響，采用不同η取值多級(jí)處理圖像。首先，對(duì)于輸入的暗通道圖像進(jìn)行去紋理信息處理，即使用較小的平滑權(quán)重系數(shù)η，以減少圖像內(nèi)無用的紋理信息；然后，對(duì)上述處理后的圖像進(jìn)行邊界增強(qiáng)處理，以突出圖像內(nèi)的邊界景深信息，即使用較大的平滑權(quán)重系數(shù)η。

圖3 多級(jí)權(quán)重相對(duì)總變差流程圖Fig.3 Flow chart of multi-level weight relative total variation model

使用多級(jí)權(quán)重相對(duì)總變差對(duì)最小值圖像進(jìn)行濾波，去除最小通道圖中包含的紋理信息得到大氣耗散函數(shù)的粗估計(jì)W。根據(jù)大氣散射模型，則可得透射率的粗估計(jì)，表示為

(15)

式中φ為去霧系數(shù)。考慮到空間透視現(xiàn)象的存在，如果完全移除霧霾，圖像看起來會(huì)不自然并且可能丟失景深信息，所以需要對(duì)遠(yuǎn)處的對(duì)象保留少量的霧霾，此外，霧霾的存在是人類感知深度的基本線索[25]，并且He等[17]對(duì)此進(jìn)行了詳細(xì)論述。因此，為防止去霧過于徹底，且復(fù)原后圖片需符合真實(shí)人類視覺感受，經(jīng)過大量數(shù)據(jù)實(shí)驗(yàn)測(cè)試后，φ在此取值為0.9。

4 基于最小方差中值引導(dǎo)濾波的透射率二次估計(jì)

4.1 引導(dǎo)濾波器

引導(dǎo)濾波本質(zhì)是基于最小二乘法的最優(yōu)化過程，避免了求最優(yōu)解過程中的迭代運(yùn)算。通過濾波器能夠融合引導(dǎo)圖像特征，對(duì)濾波圖像進(jìn)行修正。計(jì)算公式如下：

qi=akIi+bk,?i∈ωk

(16)

式中：I為輸入引導(dǎo)圖像，q為輸出圖像，ωk為局部濾波窗口，ak和bk是以像素k為中心的窗口系數(shù)，Ii及qi分別為引導(dǎo)圖像及輸出圖像窗口內(nèi)臨近像素點(diǎn)。對(duì)式(16)求梯度得

?q=a?I

(17)

通過式(17)可以看出，I與q的梯度相關(guān)性能夠說明該濾波器的邊緣保持能力。定義

(18)

式中ε為正則化平滑因子，防止ak過大。計(jì)算ak和bk最優(yōu)解，保證I和q差異最小，即式(18)的值最小，就能使得q具有I的邊緣特征。求解ak和bk及式(16)可得濾波輸出q即為平滑后的區(qū)域大氣光，利用最小二乘法計(jì)算最優(yōu)解可得

(19)

(20)

4.2 最小方差中值引導(dǎo)濾波器的設(shè)計(jì)

本文設(shè)計(jì)了一種新的最小方差中值引導(dǎo)濾波器，其工作原理是：計(jì)算圖像模板鄰域內(nèi)的方差，選擇圖像灰度值較均勻的區(qū)域中值替代模板中心像素灰度值。而模板較均勻的區(qū)域所對(duì)應(yīng)的方差是最小的。為了獲取圖像模板中較均勻區(qū)域的中值，濾波區(qū)域R被劃分為k個(gè)重疊的子區(qū)域R1，R2,…,Rk。位于圖像中位置為(u,v)處的每一個(gè)像素，所對(duì)應(yīng)的每一個(gè)模板子區(qū)域的均值和方差通過式(21)和式(22)來計(jì)算。

(21)

(22)

對(duì)k=1,…,k，有式(23)、(24)成立

(23)

(24)

對(duì)應(yīng)方差最小子區(qū)域的中值替代模板中心像素的灰度值,即

I′(u,v)←mediank′(u,v)

(25)

(26)

設(shè)計(jì)最小方差中值引導(dǎo)濾波器時(shí)，結(jié)合式(17)、(19)、(20)可得，在求解ak和bk過程中，同一個(gè)像素會(huì)被多個(gè)窗口包含計(jì)算，從而計(jì)算可得多個(gè)系數(shù)。為解決這個(gè)問題，將該像素點(diǎn)的系數(shù)定義改進(jìn)為

(27)

式中,i表示為位于局部線性窗口ωk的中心像素索引，k為ωk中其他像素點(diǎn)的索引。

式(27)可簡(jiǎn)化為

(28)

(29)

(30)

提出算法計(jì)算出某一子域的方差后，將該子域向外擴(kuò)展一個(gè)像素，計(jì)算新的子域方差并與原方差進(jìn)行比較。若新的子域方差值小于原方差值，則繼續(xù)進(jìn)行新一輪擴(kuò)展并尋找下一個(gè)子域方差進(jìn)行比較，否則將該值作為該子域的最小方差值。尋找到最小方差子域后使用其中值進(jìn)行濾波。這樣，引導(dǎo)圖與被濾波圖經(jīng)過自適應(yīng)8子區(qū)域最小方差中值引導(dǎo)濾波處理，即可得到經(jīng)過邊界增強(qiáng)的圖片。

4.3 透射率的二次估計(jì)

透射率t(x)與距離和霧的濃度有關(guān)，其大小表征了光線在大氣中的穿透能力。透射率數(shù)值越大，表示較多光線能夠穿過海霧進(jìn)入圖像采集設(shè)備，散射越少。實(shí)驗(yàn)發(fā)現(xiàn)，傳統(tǒng)優(yōu)化透射率圖的方法不區(qū)分像素點(diǎn)來源于目標(biāo)場(chǎng)景還是天空，在目標(biāo)場(chǎng)景去霧力度不足導(dǎo)致還原圖像不夠清晰，而在天空等明亮區(qū)域去霧過度會(huì)造成顏色失真。為了解決這一問題，本文提出了融合變差函數(shù)和顏色衰減先驗(yàn)理論的算法來區(qū)分圖像中高亮區(qū)域和目標(biāo)場(chǎng)景，根據(jù)本文所得暗部圖像區(qū)域Imark_dark對(duì)初步估計(jì)的透射率進(jìn)行調(diào)整，弱化亮部圖像的去霧，增強(qiáng)暗部圖像的去霧。調(diào)整函數(shù)用公式表示為

(31)

其中，

(32)

式中:t0為定義的透射率下閾值,tconstraint為場(chǎng)景透射率約束矩陣，testimate為場(chǎng)景透射率粗估計(jì)矩陣，tlight為亮部場(chǎng)景透射率，tdark為暗部場(chǎng)景透射率，Δ為定義的變差函數(shù)閾值。最后利用最小方差中值引導(dǎo)濾波對(duì)調(diào)整后的透射率進(jìn)行處理，得到最終的透射率圖tfilter。

5 算法流程設(shè)計(jì)

按照前文所述的融合變差函數(shù)和顏色衰減先驗(yàn)原理求得大氣光Adark以及結(jié)合透射率調(diào)整函數(shù)和中值引導(dǎo)濾波優(yōu)化后的透射率tfilter，根據(jù)霧天圖像復(fù)原公式

(33)

式中t0取值為0.1,J為求得去霧后的圖像。算法流程見圖4。

6 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)采用GPU硬件平臺(tái)NVIDIA GeForce GTX1080Ti，使用一組不同場(chǎng)景下的無人機(jī)航拍海霧圖片，分別采用暗通道去霧算法(DCP)[17]、基于融合的變分圖像去霧算法(FVID)[26]、基于色彩衰減先驗(yàn)的快速單圖像去霧算法(CAP)[27]、基于深度學(xué)習(xí)的DehazeNet方法[28]、基于改進(jìn)梯度相似度核的交通圖像去霧算法(IGSK)[29]、多尺度窗口的自適應(yīng)透射率修復(fù)交通圖像去霧方法(MSW)[30]及本文算法進(jìn)行處理。這里選取4幅不同場(chǎng)景下關(guān)鍵幀圖片的實(shí)驗(yàn)結(jié)果,見圖5。同時(shí)，表1中引入了信息熵、平均梯度、灰度圖像對(duì)比度及霧感知密度評(píng)估(FADE)等參數(shù)，客觀評(píng)價(jià)去霧效果。

信息熵是圖像特征的一種統(tǒng)計(jì)形式，反映了圖像中的平均信息量。信息熵越大，表示圖像包含的信息越多[22,28,31]。其計(jì)算公式為

(34)

式中：i表示像素的灰度值，j表示鄰域灰度值，f(i,j)為特征二元組(i,j)出現(xiàn)的頻數(shù)，N為圖像尺度。

平均梯度可以直觀反映出圖像邊緣信息的完整性[20,22]。其計(jì)算公式為

(35)

式中：M×N表示圖像的大小，?f/?x表示水平方向的梯度，?f/?y表示垂直方向的梯度。

灰度圖像對(duì)比度是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級(jí)的測(cè)量，較大的對(duì)比度可以體現(xiàn)圖像中更多的信息，且更符合人眼視覺感受[22]。其計(jì)算公式為

(36)

式中,δ(i,j)=|i-j|，即相鄰像素間的灰度差;Pδ(i,j)為相鄰像素間的灰度差的像素分布概率。

本文采用的FADE評(píng)價(jià)指標(biāo)是由Choi等[25]在2015年提出的圖像去霧專用指標(biāo)，其全稱為fog aware density evaluator，即霧霾濃度評(píng)價(jià)指標(biāo)，是目前最權(quán)威的圖像去霧評(píng)價(jià)指標(biāo)。FADE評(píng)價(jià)指標(biāo)是一種無參考評(píng)價(jià)指標(biāo)，無需參考額外的清晰圖像，無需依賴局部特征等信息，而是通過統(tǒng)計(jì)霧霾圖像及其對(duì)應(yīng)的清晰圖像差異，對(duì)霧霾圖像的特征進(jìn)行學(xué)習(xí)，建立一種霧霾濃度評(píng)價(jià)模型，能準(zhǔn)確評(píng)價(jià)復(fù)原圖像中的霧霾濃度。

6.1 主觀評(píng)價(jià)

圖5為包含較多細(xì)節(jié)特征且含有大量天空區(qū)域的入?？诮ㄖ飯D像及其復(fù)原圖像，較大的天空區(qū)域及水面上較為濃烈的霧霾區(qū)域?qū)ωS富的海岸建筑細(xì)節(jié)的復(fù)原帶來了較大困難。采用DCP算法雖然較好地復(fù)原出近景區(qū)域的建筑物與道路，但是遠(yuǎn)景天空區(qū)域仍殘留一定濃度的霧霾；FVID與CAP方法對(duì)近景建筑物區(qū)域均有不同程度的提升，但對(duì)遠(yuǎn)景區(qū)域及天空區(qū)域的復(fù)原較差；基于深度學(xué)習(xí)的DehazeNet方法雖然在圖像色調(diào)上與原圖相似度較好，但可以看到整幅圖像上存在一定的薄霧；IGSK方法與DCP方法處理效果相近，即對(duì)建筑物、道路等近景部分復(fù)原效果良好，但海面與遠(yuǎn)景部分仍含有大量霧霾噪聲；MSW方法處理后圖像較為明亮，但整圖霧霾噪聲去除效果較差，建筑物、海面等區(qū)域仍有大量霧霾噪聲存在；本文方法得到的復(fù)原圖像與原始場(chǎng)景相似，飽和度有較大程度的提升，且圖像遠(yuǎn)景區(qū)域及天空區(qū)域霧霾去除效果良好，近景區(qū)域建筑物紋理細(xì)節(jié)清晰，色彩飽和鮮艷。

圖6包含大量水面區(qū)域的海面船艇濃霧圖像及其復(fù)原圖像，圖像中含有大量水面濃霧區(qū)域以及相對(duì)較小的水面船艇細(xì)節(jié)區(qū)域。DCP方法較好復(fù)原了船艇區(qū)域細(xì)節(jié)信息，但同時(shí)大量損失了水面紋理特征；FVID算法在水面區(qū)域的復(fù)原上有所提升，但可以看到圖中船艇區(qū)域仍有薄霧存在；CAP方法雖然將兩個(gè)區(qū)域的信息都有所復(fù)原，但復(fù)原效果較差；DehazeNet方法得到的復(fù)原圖像亮度較低且飽和度較低；IGSK方法處理后圖像較暗，且占圖像較大面積的海面仍存在霧霾噪聲，導(dǎo)致整體圖像視覺效果較差；MSW方法處理后圖像明亮，但圖像中船艇區(qū)域存在薄霧，與FVID方法處理后效果相近；而本文方法得到的復(fù)原圖像可以清楚看到水面上的紋理信息，且船艇區(qū)域的顏色、紋理都得到了較好復(fù)原。

圖6 圖像去霧效果2Fig.6 Effect of image defogging 2

圖7為濃霧環(huán)境下海島建筑物監(jiān)控圖像及去霧復(fù)原圖像。相比于其他圖像，最大難點(diǎn)在于過于厚重霧霾噪聲嚴(yán)重影響了原圖像中的細(xì)節(jié)信息，圖像去霧難度較大。DCP方法得到的復(fù)原圖像對(duì)島上建筑進(jìn)行了良好的復(fù)原，但圖像的色彩飽和度較低；FVID方法得到的復(fù)原圖像可以明顯看到圖像整體亮度偏低，復(fù)原質(zhì)量較差；CAP方法得到的復(fù)原圖像雖然亮度有所提升，但整幅圖像上仍覆蓋有一定濃度的霧霾；DehazeNet方法得到的復(fù)原圖像整體色調(diào)偏藍(lán)，且整幅圖片仍然存留有霧霾；IGSK方法對(duì)建筑物的細(xì)節(jié)復(fù)原效果較好，但圖片整體亮度較低；MSW方法得到的復(fù)原圖片雖亮度有所提升，但圖片整體仍存在薄霧；本文方法在保證天空、建筑物及水面區(qū)域不失真的前提下，有效地提升了建筑物區(qū)域的色彩飽和度，相對(duì)于DCP方法，色彩更加鮮艷，且整體圖像亮度較高。

圖7 圖像去霧效果3Fig.7 Effect of image defogging 3

圖8為海面船艇含霧圖像。場(chǎng)景中的霧霾區(qū)域主要集中于水面區(qū)域。DCP方法對(duì)船艇的上半部分細(xì)節(jié)復(fù)原效果較好，但船艇下半部分及水面區(qū)域有霧霾存在，復(fù)原效果較差；FVID方法得到的復(fù)原圖像整體色調(diào)偏暗；CAP方法雖然對(duì)水面區(qū)域的復(fù)原效果有所提升，但提升并不明顯，仍可看到霧霾的存在；DehazeNet方法得到的復(fù)原圖像與含霧圖像亮度、色調(diào)相似，但船艇下半部分及水面區(qū)域霧霾去除不徹底；IGSK方法較好地復(fù)原出水面艦船的邊緣信息，但對(duì)霧霾噪聲處理效果較差；MSW方法復(fù)原后圖片的水面區(qū)域仍殘留有大量霧霾噪聲；本文方法得到的復(fù)原圖像有效解決了其他方法的問題，在保證船體區(qū)域細(xì)節(jié)的前提下，有效地去除了水面的濃霧區(qū)，水面上船只倒影清晰可見。

圖8 圖像去霧效果4Fig.8 Effect of image defogging 4

6.2 客觀評(píng)價(jià)

根據(jù)圖像去霧評(píng)價(jià)標(biāo)準(zhǔn)，采用信息熵、平均梯度、灰度圖像對(duì)比度及FADE等客觀評(píng)價(jià)指標(biāo)對(duì)復(fù)原圖像質(zhì)量進(jìn)行評(píng)價(jià)，見表1，圖9為客觀評(píng)價(jià)指標(biāo)的柱狀圖。

圖9 去霧圖像參數(shù)評(píng)價(jià)直方圖Fig.9 Histogram of evaluation of dehazing image parameters

結(jié)合圖5～8及表1分析實(shí)驗(yàn)結(jié)果可以看出，經(jīng)過基于融合的變分圖像去霧算法(FVID)得到的復(fù)原圖像與原圖像相比，圖像的信息熵、平均梯度、FADE等評(píng)價(jià)指標(biāo)有所提升，但灰度圖像對(duì)比度較小，圖像整體顏色產(chǎn)生偏差且由于海霧情況圖片整體受天空大海影響過大，造成整體亮度估計(jì)過高，去霧后圖像偏暗，去霧效果差。經(jīng)暗通道去霧算法(DCP)得到的復(fù)原圖像所測(cè)得的評(píng)價(jià)指標(biāo)雖然都有所提升，但其灰度圖像對(duì)比度仍然較低，造成整體圖像色調(diào)偏暗?；谏疃葘W(xué)習(xí)的DehazeNet方法得到的復(fù)原圖像雖然在平均梯度這一項(xiàng)指標(biāo)上表現(xiàn)良好，但仍然存在圖像整體色調(diào)偏暗的問題，且由于其原有訓(xùn)練數(shù)據(jù)集為大量室內(nèi)圖像及人工合成霧霾圖像，對(duì)于自然濃霧及包含景深較大的區(qū)域復(fù)原效果較差?；谏仕p先驗(yàn)的快速單圖像去霧算法(CAP)得到的復(fù)原圖像在灰度圖像對(duì)比度這一評(píng)價(jià)參數(shù)上表現(xiàn)良好，獲得的復(fù)原圖像整體亮度較高，該方法在其他幾個(gè)評(píng)價(jià)參數(shù)下的表現(xiàn)較差，結(jié)合實(shí)際去霧效果也會(huì)發(fā)現(xiàn)圖像中有部分區(qū)域仍含有大量霧霾噪聲?；诟倪M(jìn)梯度相似度核的交通圖像去霧算法(IGSK)處理后圖像測(cè)得的評(píng)價(jià)參數(shù)相較于DCP算法均有不同程度提升，且平均梯度這一項(xiàng)指標(biāo)高于前幾種算法，但在處理海面較多的圖片時(shí)(如圖6、8)，所測(cè)得的信息熵與灰度圖像對(duì)比度數(shù)值較低。多尺度窗口的自適應(yīng)透射率修復(fù)交通圖像去霧方法(MSW)處理后圖像測(cè)得的各項(xiàng)評(píng)價(jià)參數(shù)均表現(xiàn)良好，結(jié)合復(fù)原圖像可觀察出該方法雖對(duì)圖片整體霧霾噪聲進(jìn)行去除，但仍然存有薄霧，霧霾噪聲去除不徹底。本文算法得到復(fù)原圖像與原圖像相比信息熵最大，圖像內(nèi)含有的細(xì)節(jié)信息最多，平均梯度及灰度圖像對(duì)比度較高，評(píng)價(jià)參數(shù)FADE較低可說明圖像的整體色調(diào)與原始場(chǎng)景相似度較高，結(jié)合實(shí)際復(fù)原圖像可以發(fā)現(xiàn)對(duì)于海面上一些霧霾較重區(qū)域處理效果較好，得到圖像色彩更加鮮艷。

表1 去霧圖像參數(shù)評(píng)價(jià)Tab.1 Evaluation of defogging image parameters

7 結(jié) 論

現(xiàn)有圖像去霧算法雖然能取得一定的效果，但是去霧后圖像存在色調(diào)偏暗、色彩飽和度較低、顏色畸變的問題，適用環(huán)境有限，給海上和艦船作業(yè)中圖像監(jiān)控、目標(biāo)識(shí)別和目標(biāo)跟蹤等處理過程帶來了極大難度。針對(duì)這些問題，本文提出了一種融合變差函數(shù)和顏色衰減先驗(yàn)理論的海霧圖像去霧方法。與傳統(tǒng)算法相比，本文算法的復(fù)原圖像在信息熵、平均梯度、對(duì)比度及FADE等評(píng)價(jià)指標(biāo)方面均有較大幅度提升，對(duì)惡劣海霧天氣條件下，海上監(jiān)控與艦船作業(yè)過程中改善復(fù)原圖像質(zhì)量有著積極的意義。