基于暗通道先驗原理的偏振圖像去霧增強算法研究

游 江,劉鵬祖,容曉龍,李 斌,徐韜祜

(中國華陰兵器試驗中心,陜西 華陰 714200)

1 引 言

在靶場武器系統(tǒng)鑒定試驗中,常規(guī)光學(xué)成像系統(tǒng)(包括可見光、紅外光電測試系統(tǒng))極易受氣象環(huán)境如霧霾、硝煙、沙塵等影響,導(dǎo)致探測距離、成像效果、測量精度等受到極大限制,從而嚴(yán)重影響武器裝備關(guān)鍵參數(shù)獲取,甚至導(dǎo)致武器系統(tǒng)性能鑒定試驗的失敗。尤其是在靶場多霧霾、能見度低等情況下,上述問題顯得尤為突出。因此,如何增強霧霾條件下光學(xué)設(shè)備的探測識別能力及成像質(zhì)量[1],成為了急需解決的關(guān)鍵問題。

目前,去霧增強算法主要分為兩類[2]:一類是圖像增強技術(shù),主要通過提高對比度進行去霧。該類算法適用范圍廣,運行速度快,但對去霧效果有限,霧霾較重時處理結(jié)果不理想。典型代表算法主要有直方圖均衡化[3]、Retinex算法[4]及小波變換等；另一類是圖像復(fù)原技術(shù),主要是通過建立圖像退化模型,利用先驗知識,針對性實現(xiàn)去霧增強[5]。典型算法為He等提出的基于暗通道先驗原理去霧算法[6]。該算法主要是基于暗通道先驗理論對大氣光強和傳輸圖進行估計,而后利用軟摳圖方法對傳輸率圖進行優(yōu)化估計,最終實現(xiàn)去霧。該算法去霧效果相對較為明顯,但運行時間相對較長,色彩失真嚴(yán)重,圖像存在明顯分塊及紋理效應(yīng),尤其是對于不存在暗像素的圖像[7]。文獻(xiàn)[8]、[9]中,葛廣一和王森等分別對暗通道先驗算法進行改進,取得了一定的效果。圖像去霧增強算法研究進展綜述具體可見參考文獻(xiàn)[10]～[12]。

隨著偏振光學(xué)理論的研究,偏振系統(tǒng)由于其成像因子采用偏振分量,可以辨別目標(biāo)材質(zhì)、架構(gòu)等信息,識別偽裝、虛假及隱身目標(biāo),具備復(fù)雜條件下“穿煙透霧”優(yōu)勢,使得探測識別能力加強[13-14],因此偏振去霧算法逐漸被重點研究發(fā)展。

本文通過利用偏振成像優(yōu)勢,結(jié)合暗通道先驗原理,提出了基于暗通道先驗原理的偏振圖像去霧增強算法。該算法首先從圖像中提取偏振特征,計算偏振度和偏振角,同時采用基于區(qū)域增長算法自動提取天空區(qū)域,進而獲取大氣光偏振度及偏振角,再結(jié)合暗通道先驗原理,獲取無窮遠(yuǎn)處大氣光強,進而計算各像素點的大氣光強,最終建立在大氣物理退化模型基礎(chǔ)上,實現(xiàn)偏振圖像去霧增強。

2 大氣物理退化模型構(gòu)建

霧霾條件下,光學(xué)成像系統(tǒng)最終接收到的光強主要分為兩部分:1)目標(biāo)反射光,即直接透射光,包含目標(biāo)的強度信息；2)大氣散射光,主要是霧霾顆粒散射導(dǎo)致的雜光[15]。圖1為霧霾氣象下的大氣物理退化模型。

圖1 大氣物理退化模型Fig.1 Atmospheric physical degradation model

由圖1可知,光學(xué)成像系統(tǒng)最終接收到的光強為直接透射光與大氣散射光的非相干疊加。其中,目標(biāo)直接透射光強由于受到霧霾粒子的散射和吸收,最終到達(dá)光學(xué)成像系統(tǒng)的光強將會呈指數(shù)衰減,故最終接收到的直接透射光為

ID=IL·e-βz

(1)

而大氣散射光主要是由霧霾粒子散射太陽光所致,最終到達(dá)光學(xué)成像系統(tǒng)的光強隨傳輸距離呈指數(shù)增加,故最終接收到的大氣散射光為:

IA=IA∞·(1-e-βz)

(2)

最終光學(xué)成像系統(tǒng)接收到的光強為:

I=ID+IA

(3)

其中,z表示光學(xué)成像系統(tǒng)與目標(biāo)的距離;β表示光的散射系數(shù);IA∞表示無窮遠(yuǎn)處大氣光強。

由式(1)、式(2)聯(lián)立消除e-βz,則可獲取目標(biāo)直接透射光IL:

(4)

由此可知,為了實現(xiàn)偏振圖像去霧增強,關(guān)鍵是獲取各像素點大氣光強IA以及無窮遠(yuǎn)處大氣光強IA∞。

3 基于暗通道先驗原理的偏振圖像去霧算法

本算法的主要流程如圖2所示。首先利用采集的偏振圖像,計算偏振度及偏振角圖像,同時采用基于區(qū)域增長算法自動提取出天空區(qū)域,進而選取天空區(qū)域偏振角分布概率最大的偏振角值作為大氣光偏振角,并選取對應(yīng)位置的偏振度作為大氣光偏振度,而后計算大氣光強中偏振部分的光強,進而計算各像素點的大氣光強,同時利用暗通道先驗原理,從偏振圖像的天空區(qū)域中提取無窮遠(yuǎn)處大氣光強,最終結(jié)合大氣物理退化模型,進行圖像去霧增強處理。

圖2 算法流程圖Fig.2 Algorithm flow chart

3.1 偏振特征提取

首先將偏振相機采集到的0°、45°、90°和135°的4幅圖像,分別記作I(0)、I(45)、I(90)和I(135),則斯托克斯參量可表示為:

(5)

式中,S0為場景總光強;S1為水平方向和垂直方向的強度差;S2為45°和135°方向的強度差。

目前衡量偏振信息的主要是偏振度及偏振角。根據(jù)式(4),可以得到偏振度DoP和偏振角ψ表達(dá)式:

(6)

利用偏振相機采集霧霾條件下的場景圖像,圖像大小為1024×1360×3。圖3分別為偏振相機采集的0°、45°、90°及145°方向的偏振圖像。圖4為偏振圖像的偏振信息(偏振度、偏振角)。

3.2 天空區(qū)域自動提取

由于天空區(qū)域不符合暗通道先驗原理,直接采用暗通道原理處理,會使估計的大氣光參數(shù)存在偏差,導(dǎo)致最終處理結(jié)果存在大面積紋理及分塊。因此,首先對天空區(qū)域進行自動提取,進而對天空區(qū)域進行大氣光參數(shù)估計,最終再采用偏振去霧算法進行去霧增強處理。

圖3 原始偏振圖像Fig.3 Original polarization image

圖4 偏振度及偏振角圖像Fig.4 Polarization degree and polarization angle image

天空區(qū)域自動提取流程如下所示:

①對原始圖像進行平滑處理,并計算平滑后圖像的梯度值(天空區(qū)域相對較為平滑,相鄰像素灰度值相差較小,與目標(biāo)區(qū)域梯度值存在明顯差別)；

②設(shè)定天空區(qū)域梯度值閾值、強度閾值,隨機挑選梯度值及強度值滿足條件的像素點作為種子生長起點；

③選擇初始種子周圍8鄰域像素點,判斷其是否滿足條件,若滿足則合并到種子像素所在區(qū)域；

④將新加入像素作為新種子重復(fù)步驟2,直到?jīng)]有滿足條件的像素可以被包括進來,則一個區(qū)域增長結(jié)束,并判斷該區(qū)域像素總數(shù)是否滿足區(qū)域面積閾值,滿足則加入天空區(qū)域；

⑤將篩選出的區(qū)域從原始圖像中剔除,重復(fù)步驟2、3、4,篩選新的天空區(qū)域；

⑥直到?jīng)]有新的天空區(qū)域加入,或遍歷所有像素點,則天空區(qū)域自動提取結(jié)束,圖5為原始圖像及天空區(qū)域提取結(jié)果圖像。

圖5 原始圖像及天空區(qū)域提取結(jié)果Fig.5 Original image and sky region extraction result

3.3 無窮遠(yuǎn)大氣光強估計

無窮遠(yuǎn)處大氣光強的估計為去霧增強算法中關(guān)鍵環(huán)節(jié),直接影響圖像傳輸率的求解及優(yōu)化,最終影響圖像復(fù)原質(zhì)量。本文利用暗通道先驗原理,進行無窮遠(yuǎn)處大氣光強的估計。

暗通道先驗去霧算法最早是由何凱明博士提出,算法指出在絕大多數(shù)非天空的局部區(qū)域里,某一些像素總會有至少一個顏色通道具有很低的值。換言之,該區(qū)域光強度的最小值是個很小的數(shù)。

對于任意的輸入圖像J,其暗通道可以用下式表達(dá):

(7)

式中,Jc表示彩色圖像的每個通道;Ω(x)是以x為中心的一個窗口。

暗通道先驗原理指出,正常情況下Jdark→0,但由于圖像受霧干擾,導(dǎo)致暗通道不趨于零。因此,可以借助于暗通道圖來從有霧圖像中獲取無窮遠(yuǎn)處大氣光值,圖6示意了場景一中的暗通道圖像。

具體步驟如下所示:

①將提取出的天空區(qū)域圖像作為輸入,計算暗通道圖J；

②從暗通道圖J中,選取前0.1 %亮度較高的像素。

③提取上述像素在原始圖像I中對應(yīng)位置的像素亮度值,選取最亮像素的3×3鄰域像素點的平均強度值作為無窮遠(yuǎn)處大氣光強IA∞。(最終估計的無窮遠(yuǎn)處大氣光強為194.7)

圖6 場景一暗通道圖像Fig.6 Dark channel image of scene one

3.4 各像點大氣光強計算

(1)大氣光偏振度、偏振角計算

對比偏振度及偏振角計算公式可以發(fā)現(xiàn),偏振度與總光強S0有關(guān),而偏振角與S0無關(guān)。由于霧霾條件下,直接透射光的偏振信息較為微弱,故直接透射光主要存在于總光強S0中。因此,為了最大程度抑制直接透射光對大氣光偏振角、偏振度估計的影響,選擇偏振角進行估計。

具體步驟如下所示:

①對偏振角圖像進行鄰域平均濾波,降低噪聲干擾；

②對降噪后偏振角圖像,結(jié)合提取的天空區(qū)域圖像,篩選天空區(qū)域的偏振角值,進而進行分布統(tǒng)計,選取出現(xiàn)概率最大值,作為大氣光偏振角ψA；

③篩選滿足大氣光偏振角的像素對應(yīng)的偏振度,選擇最大值作為大氣光偏振度DA。

對上述場景2中的偏振角分布進行統(tǒng)計,結(jié)果如圖7所示。

圖7 偏振角分布曲線Fig.7 Polarization angle distribution curve

由圖7可以看出,在偏振角為0.2415處,明顯存在峰值。因此,可以選取0.2415作為大氣光偏振角ψA,同時結(jié)合偏振度圖像,按照步驟③,確定大氣光偏振度DA。場景2最終估計的大氣光偏振角為13.8439°；偏振度為0.2137。

(2)大氣光偏振部分光強計算

(8)

故由馬呂斯定理可知,大氣光偏振部分IAp為:

(9)

(3)各像素點大氣光強計算

由偏振度的定義(偏振部分光強在總光強中的占比)可知,各像素點大氣光強IA可表示為:

(10)

場景一最終估計的各像素點大氣光強如圖8所示。

圖8 各像素點大氣光強Fig.8 Atmospheric light intensity of all pixel points

3.5 圖像去霧增強

由上文獲取的各像素點大氣光強IA、無窮遠(yuǎn)處大氣光強IA∞以及總光強圖像S0,結(jié)合式(4)可知,最終獲取的目標(biāo)直接透射光強IL為：

(11)

4 圖像去霧增強效果對比分析

對處理后的偏振增強圖像質(zhì)量評價主要采用主觀評測和客觀評測。主觀評測主要是采用主觀視覺,對比去霧前后圖像的細(xì)節(jié)、色彩等,判斷增強效果?？陀^評測主要采用圖像熵、灰度方差以及對比度作為指標(biāo)進行評價指標(biāo)對比。此外,依據(jù)對比度值評價增強算法探測距離提升效果。

4.1 圖像評價質(zhì)量指標(biāo)構(gòu)建

(1)信息熵函數(shù)

(12)

其中,k是圖像像素點的灰度級；pk—是灰度級k的出現(xiàn)概率。信息熵是表征圖像所攜帶的特征信息,計算結(jié)果越大,代表圖像質(zhì)量越好。

(2)灰度方差

(13)

灰度差:圖像灰度值分布離散程度評價指標(biāo),標(biāo)準(zhǔn)差越大,灰度值分布越分散,表明圖像對比度越大,視覺效果越好。

(3)對比度去霧函數(shù)

(14)

4.2 圖像質(zhì)量主觀評價

為驗證本文算法的去霧增強效果,對以下拍攝的兩個場景,分別采用自適應(yīng)直方圖均衡化算法、多尺度Retinex算法、暗通道先驗算法、以及本文去霧增強算法,分別對采集的場景一及場景二圖像進行去霧增強處理。其中,場景一為霧霾天拍攝的遠(yuǎn)景偏振圖像；場景二為PM2.5濃度為337,能見度約為40 m拍攝的可見光圖像。

(1)原始圖像,如圖9所示。

圖9 原始圖像Fig.9 Original image

(2)場景一處理結(jié)果對比,如圖10所示。

圖10 去霧增強效果對比Fig.10 Contrast of defogging enhancement effect

由圖9、圖10對比可看出,本文算法相比原始圖像,去霧效果明顯增強,可識別距離明顯提高；相比其他算法,基本保持了原始圖像中目標(biāo)的色彩信息,且對天空區(qū)域的處理更加自然,沒有明顯的色差、分塊、及紋理效應(yīng),場景中的目標(biāo)特征等較為明顯清晰。場景中的圖中框內(nèi)為正在行駛的列車,對比各算法處理結(jié)果可以看出,本文算法處理后可明顯看出列車的外觀、顏色等信息,但在原圖中基本無法發(fā)現(xiàn)。

(3)場景二處理結(jié)果對比,如圖11所示。

圖11 去霧增強效果對比Fig.11 Contrast of defogging enhancement effect

對比圖11中各算法處理結(jié)果,可以發(fā)現(xiàn)本文算法去霧效果明顯,明顯提成了探測距離?；颈３至嗽紙D像中目標(biāo)的色彩信息,場景中目標(biāo)特征等較為明顯清晰。屋頂彩鋼瓦紋理基本能夠觀測到,相比多尺度Retinex算法,去霧更為徹底。

4.3 圖像質(zhì)量客觀評價

為了更好評價各算法圖像去霧效果,下將采用信息熵、灰度方差以及對比度等三個指標(biāo),對上述各算法處理結(jié)果進行客觀評價對比。場景一最終各算法處理結(jié)果如表1所示。場景二最終各算法處理結(jié)果如表2所示。

表1 場景一不同算法處理去霧結(jié)果對比Tab.1 Dehazing result comparision of each algorithm of scene one

綜合對比表1和表2中,各算法對場景一和場景二處理結(jié)果的圖像質(zhì)量各指標(biāo)值可發(fā)現(xiàn),本文算法相比原始圖像以及其他算法,灰度方差及對比度指標(biāo)值明顯有較大提升,信息熵相比其他算法明顯也有提高。結(jié)果表明本文算法處理后,圖像中目標(biāo)的特征信息保存相對較好,圖像清晰度有較大提升,視覺效果相對較好,圖像的細(xì)節(jié)特征及色彩保留較好,且算法具有較好的適用性。

4.4 探測距離提升效果分析

為進一步分析處理效果,對原始圖像以及處理后圖像進行客觀分析。主要利用對比度指標(biāo)對場景中不同目標(biāo)區(qū)域?qū)Ρ榷冗M行分析,并將其轉(zhuǎn)化為探測距離對比分析。對比度計算公式如下所示:

Cm=(Imax-Imin)/(Imax+Imin)·100 %

(15)

分別選取場景中不同區(qū)域,分別計算場景二原始圖像對比度以及增強后對應(yīng)區(qū)域?qū)Ρ榷?圖中方框內(nèi)上側(cè)數(shù)據(jù)為原始圖像該區(qū)域?qū)Ρ榷?下側(cè)數(shù)據(jù)為處理后該區(qū)域的對比度),結(jié)果如圖12所示。

圖12 對比度分析Fig.12 Contrast analysis

對比圖12可以發(fā)現(xiàn),偏振可視化增強算法能夠有效提升目標(biāo)的對比度,最大可提升8倍左右,具有較好的增強去霧能力。

為了更好的衡量偏振可視化增強算法探測距離提升效果,現(xiàn)對原始圖像以及處理后圖像,進行探測距離對比分析。

圖13 各區(qū)域?qū)Ρ榷忍嵘Y(jié)果Fig.13 Contrast enhancement results of each region

由圖13可知,采用本文偏振可視化增強算法進行圖像處理后,對不同的目標(biāo),同等條件下觀測到的作用距離最大可提升3.7倍。實際拍攝能見度為40 m,處理后可觀察到120 m處屋頂紋理,探測距離提升近3倍,有效提升了可見光觀測距離。

5 總結(jié)及展望

本文利用偏振成像的優(yōu)勢,結(jié)合暗通道先驗原理,基于大氣物理退化模型,實現(xiàn)了偏振圖像的去霧增強,實驗結(jié)果表明了該算法具有較強的去霧增強能力,能夠明顯改善光學(xué)成像系統(tǒng)成像質(zhì)量,對提升成像系統(tǒng)的測量能力、拓展系統(tǒng)作用距離、提高系統(tǒng)成像質(zhì)量具有重要的意義,為霧霾等復(fù)雜環(huán)境下的“穿煙透霧”成像探測提供了新的技術(shù)途徑。