馬時(shí)平 李權(quán)合 張晟翀(空軍工程大學(xué)航空航天工程學(xué)院 西安 710038)(光電信息控制和安全技術(shù)重點(diǎn)實(shí)驗(yàn)室 三河 065201)
?
一種基于反饋機(jī)制的閉環(huán)圖像去霧算法
馬時(shí)平*①李權(quán)合①張晟翀②
①(空軍工程大學(xué)航空航天工程學(xué)院西安710038)
②(光電信息控制和安全技術(shù)重點(diǎn)實(shí)驗(yàn)室三河065201)
摘要:針對目前去霧算法易受大氣環(huán)境隨機(jī)性和復(fù)雜性影響而造成自適應(yīng)性不強(qiáng)的問題,該文提出一種具有反饋機(jī)制的自適應(yīng)閉環(huán)去霧算法。該算法首先通過基于人眼視覺的特征認(rèn)知評價(jià)進(jìn)行參數(shù)初始化;然后利用去霧強(qiáng)度評價(jià)結(jié)果對反饋校正局部對比度參數(shù)進(jìn)行調(diào)節(jié),從而對去除加性光照后的圖像進(jìn)行自適應(yīng)局部對比度提升;最后借鑒去霧后圖像的自然度設(shè)定迭代終止條件,決定是否輸出去霧結(jié)果。實(shí)驗(yàn)表明該算法能夠自適應(yīng)提升不同退化類型、不同退化程度下的霧天圖像對比度,且去霧結(jié)果的信息熵和清晰度質(zhì)量評價(jià)指標(biāo)優(yōu)于已有算法。
關(guān)鍵詞:圖像去霧;視覺機(jī)制;反饋機(jī)制
室外景物的能見度通常受到霧、雨、雪等天氣的影響,導(dǎo)致景物的模糊,給機(jī)器視覺的處理,如目標(biāo)檢測,跟蹤,識(shí)別等造成影響[1-3]。目前,已經(jīng)有很多去霧的方法,早先的去霧方法主要是利用多幅圖像信息或者極化濾波器來實(shí)現(xiàn)[4],需要獲取同一景物在不同天氣條件下的多幅圖像[5]。傳統(tǒng)的這些方法在進(jìn)行圖像實(shí)時(shí)處理都顯得比較困難。近年來,去霧的主要方法大多集中在基于單幅霧天圖像領(lǐng)域,這類方法通常需要景物的景深信息或者一些關(guān)于霧天圖像的先驗(yàn)假設(shè)條件,從而將霧天退化模型求解由非適定性轉(zhuǎn)換為適定性[6-10]。例如:文獻(xiàn)[11]認(rèn)為無霧圖像相對于有霧圖像其對比度更加明顯;文獻(xiàn)[12]通過對大量無霧圖像和有霧圖像的統(tǒng)計(jì)研究,提出暗通道先驗(yàn)假設(shè)理論來估計(jì)霧天圖像的大氣傳遞圖,該理論被證明是進(jìn)行單幅圖像去霧的有效先驗(yàn)上述去霧算法都是一種基于無反饋的參數(shù)估計(jì)問題,易受大氣環(huán)境隨機(jī)性和復(fù)雜性的影響,均存在自適應(yīng)性不強(qiáng)的現(xiàn)象[13,14]。反觀人眼視覺系統(tǒng),它對視覺信息的處理是一種具有反饋機(jī)制的閉環(huán)處理方式[15],能自適應(yīng)提取多種復(fù)雜大氣環(huán)境中的目標(biāo)信息。為此,本文提出一種基于反饋機(jī)制的閉環(huán)去霧算法,該算法將圖像去霧由開環(huán)的參數(shù)估計(jì)問題轉(zhuǎn)換為閉環(huán)的參數(shù)調(diào)整問題,為自適應(yīng)圖像去霧提供了一種新的框架和實(shí)現(xiàn)方法。新算法首先通過基于人眼視覺的特征認(rèn)知評價(jià)進(jìn)行參數(shù)初始化,然后將去霧強(qiáng)度評價(jià)指標(biāo)作為反饋校正局部對比度的調(diào)節(jié)參數(shù),并對去除加性光照后的圖像進(jìn)行自適應(yīng)局部對比度提升,再鑒于圖像去霧結(jié)果的自然度考慮設(shè)定迭代終止條件,作為判據(jù)決定是否輸出去霧結(jié)果。實(shí)驗(yàn)表明新算法能夠自適應(yīng)提升多種不同退化類型、不同退化程度的圖像對比度,且去霧結(jié)果的信息熵和清晰度優(yōu)于文獻(xiàn)[16]的變分Retinex算法和文獻(xiàn)[12]的算法。
人眼視覺系統(tǒng)在外部光照刺激下,屈光器在眼底形成外界物體的物像,然后物像在視網(wǎng)膜上由光能被轉(zhuǎn)換為電能,繼而被加工成神經(jīng)沖動(dòng),經(jīng)由視神經(jīng)通路神經(jīng)沖動(dòng)被傳送到視覺皮質(zhì),經(jīng)處理后產(chǎn)生視覺。
對哺乳動(dòng)物的視覺系統(tǒng)研究發(fā)現(xiàn),視覺信息處理過程涉及前饋的、反饋的和皮層內(nèi)的水平連接進(jìn)行多層次的、復(fù)雜的相互作用[16]。研究表明人眼視覺系統(tǒng)的反饋機(jī)制能夠?qū)Φ图墔^(qū)域神經(jīng)元的相同信息性質(zhì)進(jìn)行控制,具有選擇性;可使一部分低級皮層細(xì)胞產(chǎn)生易化作用,使之對視覺刺激反應(yīng)具有定向增強(qiáng)作用;反饋?zhàn)饔镁哂姓{(diào)節(jié)性,而不具有驅(qū)動(dòng)性。因此,將這種反饋機(jī)制應(yīng)用于圖像去霧領(lǐng)域能夠使圖像的局部細(xì)節(jié)信息實(shí)現(xiàn)選擇性、定向增強(qiáng)、并且更具自適應(yīng)性。
鑒于視覺信息處理回路是一個(gè)閉環(huán)的控制系統(tǒng),能夠適應(yīng)多種大氣環(huán)境,本文模擬人眼視覺信息處理過程,將人眼特征認(rèn)知機(jī)制引入到圖像處理算法的參數(shù)估計(jì)中,從而對輸入圖像和算法輸出結(jié)果進(jìn)行客觀質(zhì)量評價(jià),并將評價(jià)結(jié)果反饋至參數(shù)調(diào)節(jié)控制端,執(zhí)行參數(shù)估計(jì)、圖像處理、質(zhì)量評價(jià)的循環(huán)操作,直至處理結(jié)果滿足迭代終止條件,進(jìn)而結(jié)束循環(huán)、輸出最終結(jié)果。
3.1 算法總體設(shè)計(jì)
圖1是基于反饋機(jī)制的圖像去霧算法總體框圖。輸入一幅圖像對其進(jìn)行歸一化處理,之后對其進(jìn)行質(zhì)量評價(jià),依據(jù)評價(jià)值對算法參數(shù)進(jìn)行初始化,并執(zhí)行去霧操作。評價(jià)去霧結(jié)果較去霧操作之前的圖像質(zhì)量提升程度,如果提升效果滿足迭代終止條件則輸出結(jié)果,否則將去霧質(zhì)量評價(jià)值作為反饋去調(diào)節(jié)算法的參數(shù),重新執(zhí)行去霧操作,直至去霧后質(zhì)量提升效果滿足迭代終止條件,而后停止循環(huán)并輸出結(jié)果。
3.2 參數(shù)初始化
參數(shù)初始化需依托去霧后圖像的質(zhì)量評價(jià)標(biāo)準(zhǔn),而本文質(zhì)量評價(jià)部分由人眼視覺、霧霾退化程度及圖像局部特征3個(gè)方面量化指標(biāo)組成。
(1)人眼視覺量化指標(biāo):算法首先根據(jù)霧霾濃度,提取圖像中的人眼感興趣區(qū)域(Region Of Interest,ROI),再賦予ROI和非ROI不同的權(quán)值,分別在加權(quán)的情況下計(jì)算圖像的局部對比度。人眼對ROI的感興趣度大小同該區(qū)域的面積成反比[16],假設(shè)一幅圖像的面積為S,其中ROI面積為S1,非ROI面積為S2,人眼對這兩個(gè)區(qū)域的感興趣程度分別為λ1和λ2,人眼對兩個(gè)區(qū)域感知的總能量始終等于原始圖像的面積,那么存在式(1)關(guān)系:
隨著S1的增大,人眼對非ROI區(qū)域的興趣度λ2亦增大,但當(dāng)S1面積較小時(shí),隨著其面積繼續(xù)減小,此時(shí)非ROI區(qū)域增大,因其存在性不可忽視,致使λ2亦增大。此類視覺經(jīng)驗(yàn)可量化為:
(a)當(dāng)S1由0→ S時(shí),λ1由+∞→1;
(b)當(dāng)S1由0→S /2時(shí),λ2由1→ δ(δ為無窮小非負(fù)數(shù));
(c)當(dāng)S1由S/2→ S時(shí),λ2由δ→1。
故而可得感興趣度的計(jì)算公式為
式中k為調(diào)節(jié)因子,反映人眼對ROI和非ROI的感興趣度,文中設(shè)為0.95,強(qiáng)調(diào)人眼對霧霾濃度大的區(qū)域更感興趣。
(2)霧霾退化程度量化指標(biāo):S1和S2可以通過暗通道先驗(yàn)的算法加上閾值限定進(jìn)行提取,具體步驟如下:
(a)計(jì)算一幅圖像中霧霾濃度的粗估計(jì)圖像:
圖1 閉環(huán)去霧算法總體設(shè)計(jì)
(b)提取ROI對應(yīng)的像素點(diǎn):為了確保退化部分的圖像統(tǒng)計(jì)特征對評價(jià)結(jié)果起主導(dǎo)作用,以及限定λ1的取值范圍,便于建立評價(jià)結(jié)果同初始化參數(shù)的映射關(guān)系,這里限制,則有
其中med(TH(x))表示求TH(x)的中值,|S1(x)|和|S(x)|分別為集合S1(x)和S(x)的勢,即集合所包含元素的個(gè)數(shù)。
(c)計(jì)算非ROI對應(yīng)的像素點(diǎn):
式中CS(x)表示在全集S(x)中求補(bǔ)集。
(3)圖像局部特征量化指標(biāo):本文利用圖像局部對比度(local contrast)來量化反映圖像的局部特征,如式(6)所示:
綜上,本文質(zhì)量評價(jià)指標(biāo)可表示為
又因?yàn)镾1由S/2→ S時(shí),λ2由δ→1,所以λ1∈[1,2)。由于圖像質(zhì)量越差,相應(yīng)的人眼感興趣區(qū)域越大,導(dǎo)致λ1越小,λ2越大,CC值越小,且圖像質(zhì)量越差,相應(yīng)的圖像局部對比度越小,導(dǎo)致CC值越小。所以式(7)是圖像質(zhì)量的增函數(shù)。
3.3 反饋調(diào)節(jié)機(jī)制
3.3.1去霧算法選擇文獻(xiàn)[17]中提出了一種仿生彩色圖像增強(qiáng)算法,用于提升低照度或者非均勻光照圖像的可視性。此算法分全局亮度調(diào)節(jié)、局部對比度提升以及色彩修正三步對圖像進(jìn)行增強(qiáng),其中局部對比度提升算法簡單有效,本文對其進(jìn)行簡單修改以提升霧霾退化圖像的可視性,步驟歸納如下:
其中σR和σV是對應(yīng)的尺度參數(shù),用于調(diào)整空間鄰近度和數(shù)值相似性函數(shù)的衰減速度。不同尺度參數(shù)相應(yīng)的濾波結(jié)果示意圖如圖2所示,在用于求解鄰域平均亮度時(shí),常取σR=9和。
圖 2 不同尺度參數(shù)相應(yīng)的濾波結(jié)果示意圖
(2)計(jì)算點(diǎn)x處的對比度增強(qiáng)系數(shù)E(x),如式(12)所示,其中IV(x)已在式(6)給出定義,
(3)提升圖像局部對比度:局部對比度提升算法就是增強(qiáng)鄰域內(nèi)像素值的差異,可將鄰域內(nèi)平均亮度作為判據(jù),提升亮度高于平均亮度的像素值,降低亮度低于平均亮度的像素值可以進(jìn)一步提升圖像局部對比度,凸顯目標(biāo)信息。所以,相應(yīng)的計(jì)算方法可以描述為
式中,IA(x)為經(jīng)自適應(yīng)亮度校正[17]后的IV(x)。得到IE(x)后,在其約束下使用式(13)恢復(fù)圖像色彩信息。
式(15)通過雙邊濾波[18,19]對TH(x)進(jìn)行保邊濾波,以實(shí)現(xiàn)霧霾濃度和場景的精確匹配,參照圖4將參數(shù)σR和σV分別設(shè)置為16和0.1。然后將加性光照從原始圖像中減去,如式(16)所示,得到乘性光照和場景反射率的乘積mR的估計(jì),用表示。
3.3.2去霧質(zhì)量評價(jià)通過對比去霧前后霧霾濃度的人眼感知量,評價(jià)去霧質(zhì)量。去霧強(qiáng)度評價(jià)函數(shù)將ATF(Atmospheric Transmission Function)中的霧霾濃度a作為輸入,通過比較去霧前后霧霾濃度均值和的差異性,衡量去霧效果好壞,即
3.3.3 參數(shù)的設(shè)定和調(diào)節(jié)采用的去霧算法涉及兩個(gè)參數(shù)同去霧圖像對比度提升直接相關(guān)——對比度增強(qiáng)系數(shù)E(x)和防過增強(qiáng)系數(shù)η,算法中剩余參數(shù)還有人眼感興趣度計(jì)算公式中的調(diào)節(jié)因子k,以及雙邊濾波的兩個(gè)尺度σR和σV·k,σR和σV依據(jù)統(tǒng)計(jì)實(shí)驗(yàn)設(shè)定,前文已給出相應(yīng)的值。E(x)雖然能夠依據(jù)圖像自動(dòng)獲取,但其值對對比度提升結(jié)果影響較大,可通過對E(x)的修正來調(diào)節(jié)圖像對比度。所以這里僅討論參數(shù)η的設(shè)定方法和E(x)的調(diào)節(jié)方法,以使去霧算法實(shí)現(xiàn)自適應(yīng),并取得最優(yōu)去霧結(jié)果。
(1)參數(shù)η的設(shè)定:η由式(7)所述質(zhì)量評價(jià)指標(biāo)CC確定,其取值范圍為(0,1],保證去霧后保留均勻的霧霾,文獻(xiàn)[20]中取經(jīng)驗(yàn)值0.95,固定該參數(shù)的取值會(huì)造成由于霧霾濃度的不同,去霧后將保留不同強(qiáng)度的霧霾。所以本文將0.95作為η的取值的下限,依據(jù)霧霾濃度的不同動(dòng)態(tài)調(diào)節(jié)其值的大小,原則是CC值越小,霧霾濃度越高,η取值越大。
當(dāng)S1=S時(shí),CC取得最小值,此時(shí),,故:。
繼而,通過評價(jià)值CC設(shè)定η的取值,本文設(shè)計(jì)的映射方法如式(18)所示。
(2)參數(shù)E(x)的調(diào)節(jié):通過去霧質(zhì)量評價(jià)指標(biāo)DA調(diào)節(jié)參數(shù)E(x),這是實(shí)現(xiàn)閉環(huán)去霧算法的關(guān)鍵。設(shè)算法迭代過程中產(chǎn)生的E(x)序列為,,E0(x)由式(12)計(jì)算得到,令
因?yàn)镮A(x)的模值在0~1范圍內(nèi),由式(19)可知,當(dāng)時(shí),,當(dāng)時(shí),,再由可知,當(dāng)時(shí),如果,則,那么,當(dāng)時(shí),如果,則,那么。所以通過式(20)調(diào)節(jié)參數(shù)E(x),會(huì)隨著DA的增加而提升算法對圖像局部對比度的調(diào)節(jié)強(qiáng)度。而且圖像局部對比度的提升又會(huì)降低圖像的霧霾視知覺,從而會(huì)帶來去霧質(zhì)量評價(jià)指標(biāo)DA的提高,再將新的DA返回到參數(shù)調(diào)節(jié)中,又會(huì)進(jìn)一步提升圖像的局部對比度。
式(20)中DAτ則通過評價(jià)第τ次和第0次迭代的去霧結(jié)果獲取。所以在計(jì)算DAτ之前,先通過式(21)恢復(fù)圖像色彩信息。
式(21)通過線性操作恢復(fù)圖像的色彩信息,簡單高效且利于保持3個(gè)通道的比例關(guān)系。繼而在色彩恢復(fù)后得到第τ次迭代的去霧結(jié)果,可以表示為。然后可根據(jù)和I0(x)計(jì)算DAτ,其中,將DAτ表示為
3.4 迭代終止條件設(shè)計(jì)
迭代終止條件的設(shè)計(jì)有以下3種思路:(1)當(dāng)DAτ的值超過某閾值時(shí)迭代終止,該閾值決定了對比度提升空間,但設(shè)置該閾值缺乏必要的理論依據(jù);(2)當(dāng)?shù)闹敌∮谠O(shè)定的閾值時(shí)迭代終止,達(dá)到該閾值說明圖像對比度再提升空間極小,該閾值可參考算法達(dá)到理想去霧結(jié)果時(shí)和之間的關(guān)系設(shè)定,涉及參數(shù),和間的復(fù)雜運(yùn)算;(3)根據(jù)算法收斂后和間的關(guān)系設(shè)定。如將迭代終止后的輸出結(jié)果視為最佳去霧結(jié)果,根據(jù)暗通道先驗(yàn)可知,為確保算法的收斂,需令迭代終止前的去霧結(jié)果也接近最佳去霧結(jié)果,即,鑒于圖像去霧后自然度的考慮,和的接近程度可以在5%的差異內(nèi)[20],也即,同時(shí)為了防止因算法收斂過慢造成誤判,令,如果這種情況仍然是算法收斂速度過慢所致,那么同樣可以因此終止迭代,輸出結(jié)果。
綜上,第3種迭代終止條件的設(shè)計(jì)方法簡單、有效,且有對去霧圖像自然度的考慮作為依據(jù),本文選擇的第3種迭代終止條件為。
3.5 算法描述
根據(jù)上文具體分析,基于反饋機(jī)制的閉環(huán)去霧算法流程可描述為圖3。輸入圖像后首先進(jìn)行歸一化處理,然后對其進(jìn)行基于人眼感興趣度的特征認(rèn)知評價(jià),依據(jù)評價(jià)結(jié)果設(shè)定控制加性光照去除強(qiáng)度的參數(shù),而后估計(jì)表征霧霾濃度的加性光照并去除,接著對去除加性光照后的圖像通過局部對比度提升算法進(jìn)行質(zhì)量改善,再然后評價(jià)上一步結(jié)果的去霧質(zhì)量,達(dá)到迭代終止條件則輸出結(jié)果,否則調(diào)整對比度調(diào)節(jié)參數(shù)重新進(jìn)行局部對比度調(diào)節(jié),直至滿足迭代終止條件后輸出最終去霧結(jié)果。
算法具體實(shí)現(xiàn)步驟如下:
(1)輸入圖像,并將其歸一化,用I表示;
(2)計(jì)算I的客觀評價(jià)結(jié)果CC;
圖3 基于反饋機(jī)制的圖像去霧算法流程圖
(3)由映射關(guān)系η=0.95 +(0.3 -0.1CC),設(shè)定η值;
(4)估計(jì)加性光照a,并將其從I中減去得到乘性光照和場景反射率的乘積;
其中q為圖像IV的明暗系數(shù),計(jì)算方法為
式中Q為IV的累積分布函數(shù);
(9)使用DAτ調(diào)節(jié)參數(shù)E0(x),得到,然后跳轉(zhuǎn)到步驟(6)。
本文提出的新算法旨在實(shí)現(xiàn)自適應(yīng)去霧,針對多種退化類型、不同退化程度的圖像理論上都可以取得良好的去霧效果。因此實(shí)驗(yàn)首先驗(yàn)證本文算法的有效性,然后再討論其魯棒性。有效性驗(yàn)證分兩組實(shí)驗(yàn),第1組實(shí)驗(yàn)選取不同退化類型的圖像,采用本文算法去霧,驗(yàn)證算法是否能夠收斂并取得良好的去霧效果。第2組實(shí)驗(yàn)選取多幅不同退化類型或不同退化程度的圖像,使用本文算法、基于增強(qiáng)的經(jīng)典算法和基于復(fù)原的經(jīng)典算法進(jìn)行去霧實(shí)驗(yàn)對比,驗(yàn)證本文算法是否可取得同對比算法類似甚至更好的去霧效果。其中基于增強(qiáng)的經(jīng)典算法和基于復(fù)原的經(jīng)典算法分別選為文獻(xiàn)[20]算法和文獻(xiàn)[21]算法,理由不再贅述。魯棒性驗(yàn)證則選取同一場景不同退化程度或不同退化類型的多幅圖像,采用本文算法去霧,驗(yàn)證算法是否都能很好地提升圖像能見度。
4.1 有效性分析
圖4是對2幅不同類型的退化圖像采用本文算法去霧的中間及最終效果,可見在視覺評價(jià)反饋機(jī)制作用下,有霧圖像的局部對比度逐次得到有效提升,最終淹沒在背景中的目標(biāo)得到再現(xiàn),例如第1幅圖像中右上角的兩棟樓房,第2幅圖像中最遠(yuǎn)處道路中間的汽車。而且本文算法收斂速度較快,基本在第3次迭代后即可收斂到最佳去霧效果。
圖4 本文算法的中間及最終處理結(jié)果
圖5是對2幅霧霾濃度大、景深不同的圖像分別采用文獻(xiàn)[20]的算法、文獻(xiàn)[21]的算法以及本文算法的去霧效果。這里不比較去霧結(jié)果的色彩信息,只針對圖像對比度進(jìn)行評價(jià)。從第1幅圖像的去霧結(jié)果看,本文算法和文獻(xiàn)[21]的算法具有相似的對比度,優(yōu)于文獻(xiàn)[20]算法的對比度。從第2幅圖像去霧結(jié)果看,本文算法處理結(jié)果的濃霧后面的窗子可以得到較好的重現(xiàn),對比度優(yōu)于文獻(xiàn)[20]算法和文獻(xiàn)[21]算法處理結(jié)果相應(yīng)區(qū)域的對比度。選用香農(nóng)信息熵評價(jià)圖像包含信息的大小,選用局部對比度評價(jià)圖像清晰度。表1是針對圖5中所有圖像的客觀評價(jià)結(jié)果,從客觀評價(jià)結(jié)果可見本文算法處理結(jié)果具有較大的信息熵和清晰度,去霧強(qiáng)度大于對比算法。綜合兩組實(shí)驗(yàn),不難得出以下結(jié)論:本文算法能夠有效提升霧霾退化圖像的對比度、清晰度,算法有效性得以驗(yàn)證。
4.2 魯棒性分析
圖5 本文算法同其它算法的對比結(jié)果
表1 圖5處理結(jié)果的客觀評價(jià)
這里所討論的本文算法的魯棒性,不僅是指該算法能夠?qū)Σ煌嘶愋?、不同退化程度的圖像進(jìn)行自適應(yīng)去霧,而且還包括該算法可以最大限度地提升圖像對比度,也就是對于圖像中存在的目標(biāo)信息,采用本文算法進(jìn)行去霧,只會(huì)對其增強(qiáng)而不會(huì)令其減弱或消失。因此使用已有的客觀評價(jià)方法無法衡量上述魯棒性指標(biāo),下面針對本實(shí)驗(yàn)設(shè)計(jì)專門的評價(jià)指標(biāo)。本實(shí)驗(yàn)挑選同一場景不同退化程度、不同退化類型的多幅圖像進(jìn)行去霧操作,同一場景在不同大氣環(huán)境下拍攝的圖像,由于退化程度不同導(dǎo)致實(shí)際能被人眼感知的細(xì)節(jié)信息存在差異,有些細(xì)節(jié)信息會(huì)因退化而丟失,繼而導(dǎo)致去霧后能夠恢復(fù)的細(xì)節(jié)也存在差異,針對實(shí)驗(yàn)圖像這一特點(diǎn),本文結(jié)合基于部分參考型圖像質(zhì)量評價(jià)的結(jié)構(gòu)相似度思想[22,23],設(shè)計(jì)的魯棒性評價(jià)函數(shù)如式(25)所示。
式中,I和I'分別代表去霧前后的圖像,ε(·)為階躍函數(shù),Ω為圖像區(qū)域,κ為調(diào)節(jié)參數(shù);和分別表示去霧前后的圖像細(xì)節(jié)/對比度;則表示去霧之后相對于去霧之前圖像的細(xì)節(jié)變化,κ值越大該表達(dá)式越倚重去霧之后的細(xì)節(jié)提升質(zhì)量,否則倚重細(xì)節(jié)保持;將除以則是為了歸一化。該魯棒性評價(jià)函數(shù)在一個(gè)鄰域內(nèi)比較去霧前后的細(xì)節(jié)提升質(zhì)量,同一場景的復(fù)雜退化情況下,P的值大于1則表明去霧后的圖像細(xì)節(jié)較去霧之前更為豐富,也即去霧算法有效。反之,細(xì)節(jié)恢復(fù)不夠全面。另外,對不同環(huán)境去霧,計(jì)算的P值有所不同。
圖6是同一場景不同退化情況下本文算法的去霧效果,以及相應(yīng)的魯棒性評價(jià)結(jié)果,κ設(shè)為0.8,P值越相近說明算法魯棒性越強(qiáng)。從實(shí)驗(yàn)結(jié)果P的接近程度足以表明本文算法具有很好的魯棒性;值得注意的是最后兩組霧天圖像,由于其加入的霧具有同態(tài)性,導(dǎo)致其與天空區(qū)域亮度相近似,進(jìn)而導(dǎo)致去霧后圖像細(xì)節(jié)信息再被有效提升的同時(shí),天空區(qū)域會(huì)被視作霧而去除,從而導(dǎo)致天空區(qū)域變暗,這也將是本文算法下一步提升的重點(diǎn)。
為解決去霧算法自適應(yīng)性較弱的問題,本文提出基于人眼特征認(rèn)知反饋機(jī)制的閉環(huán)去霧算法,新算法融合了基于人眼視覺的特征認(rèn)知評價(jià)、自適應(yīng)局部對比度校正、基于去霧強(qiáng)度評價(jià)指標(biāo)的反饋機(jī)制,及鑒于圖像自然度考慮的迭代終止條件。實(shí)驗(yàn)
圖6 本文算法的魯棒性
表明新算法能夠自適應(yīng)提升多種不同退化類型、不同退化程度的圖像對比度,且去霧結(jié)果的信息熵和清晰度優(yōu)于已有算法。但從實(shí)驗(yàn)結(jié)果可見,本文算法由于沒有考慮噪聲抑制和色彩恢復(fù)問題,導(dǎo)致去霧后圖像色彩具有一定程度失真,而且圖像中的噪聲會(huì)被放大。另外,退化模型復(fù)雜的天空區(qū)域會(huì)因去霧而變黑。因此,在后續(xù)工作中需進(jìn)一步考慮場景的色彩恒常性如何保持,在反饋調(diào)節(jié)過程對圖像噪聲進(jìn)行定量評價(jià),并在對比度調(diào)整過程進(jìn)行抑制。
參考文獻(xiàn)
[1]KRISTOFOR B G and TRUONG Q N.An analysis and method for contrast enhancement turbulence mitigation[J].IEEE Transactions on Image Processing,2014,23(7):3179-3190.
[2]WANG Y K and FAN C .Single image defogging by multiscale depth fusion[J].IEEE Transactions on Image Processing,2014,23(11):4826-4837.
[3]SUN X M,SUN J X,ZHAO L R,et al.Improved single image haze removal using dark channel prior[J].Journal of Image and Graphics,2014,19(3):381-385.
[4]SCHECHNER Y Y,NARASIMHAN S G,and NAYAR S K.Polarization-based vision through haze[J].Appled Optics,2003,42(3):511-525.
[5]NARASIMHAN S G and NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.
[6]DING M and TONG R F.Efficient dark channel based image dehazing using quadtrees[J].SCIENCE CHINA Information Sciences,2013,56(9):231-239.
[7]XIONG Y Q,YAN H,and YU C.Improved haze removal algorithm using dark channel prior[J].Journal of Computational Information Systems,2013,9(14):5743-5750.
[8]龐春穎,嵇曉強(qiáng),孫麗娜,等.一種改進(jìn)的圖像快速去霧新算法[J].光子學(xué)報(bào),2013,42(7):872-877.PANG Chunying,JI Xiaoqiang,SUN Lina,et al.An improved method of image fast defogging[J].Acta Photonica Sinica,2013,42(7):872-877.
[9]GIBSON K B,VO D T,and NGUYEN T Q.An investigation of dehazing effects on image and video coding[J].IEEE Transactions on Image Processing,2012,21(2):662-673.
[10]KIM J H,JANG W D,SIM J Y,et al.Optimized contrast enhancement for real-time image and video dehazing[J].Journal of Visual Communication and Image Representation,2013,24(3):410-425.
[11]SHIAU Y H,YANG H Y,CHEN P Y,et al.Hardware implementation of a fast and efficient haze removal method[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(8):1369-1374.
[12]HE K M,SUN J,and TANG X O.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.
[13]BOSSU J,HAUTIERE N,and TAREL J P.Rain or snow detection in image sequences through use of a histogram of orientation of streaks[J].International Journal of Computer Vision,2011,93(3):348-367.
[14]NISHINO K,KRATZ L,and LOMBARDI S.Bayesian defogging[J].International Journal of Computer Vision,2012,98(4):263-278.
[15]方雯,劉秉瀚.反饋調(diào)節(jié)機(jī)制的暗通道去霧算法[J].計(jì)算機(jī)應(yīng)用,2013,33(7):1998-2001.FANG Wen and LIU Binghan.Dehazing algorithm based on dark channel with feedback regulation mechanism[J].Journal of Computer Applications,2013,33(7):1998-2001.
[16]WALTHER D and KOCH C.Modeling attention to salient proto-objects[J].Neural Networks,2006,19(9):1395-1407.
[17]王守覺,丁興號,廖英豪,等.一種新的仿生彩色圖像增強(qiáng)算法[J].電子學(xué)報(bào),2008,36(10):1970-1973.WANG Shoujue,DING Xinghao,LIAO Yinghao,et al.A novel bio-inspired algorithm for color image enhancement[J].Acta Electronica Sinica,2008,36(10):1970-1973.
[18]PARIS S and DURAND F.A fast approximation of the bilateral filter using a signal processing approach[J].International Journal of Computer Vision,2009,81(1):24-52.
[19]YANG Q X,TAN K H,and AHUJA N.Real-time O(1)bilateral filtering[C].Proceedings of the 27th IEEE Conference on Computer Vision and Pattern Recognition,Miami,USA,2009:557-564.
[20]KIMMEL R,ELAD M,SHAKED D,et al.A variational framework for Retinex[J].Computer Vision,2003,52(1):7-23.
[21]HE K M,SUN J,and TANG X O.Single image haze removal using dark channel prior[C].Proceedings of the 27th IEEE Conference on Computer Vision and Pattern Recognition,Miami,USA,2009:1956-1963.
[22]陳季夢,陳佳俊,劉杰,等.基于結(jié)構(gòu)相似度的大規(guī)模社交網(wǎng)絡(luò)聚類算法[J].電子與信息學(xué)報(bào),2015,37(2):449-454.doi:10.11999/JEIT140512.CHEN Jimeng,CHEN Jiajun,LIU Jie,et al.Clustering algorithm for large-scale social networks based on structural similarity[J].Journal of Electronics & Information Technology,2015,37(2):449-454.doi:10.11999/JEIT140512.
[23]薛模根,朱虹,袁廣林.基于在線判別式字典學(xué)習(xí)的魯棒視覺跟蹤[J].電子與信息學(xué)報(bào),2015,37(7):1654-1659.doi:10.11999/JEIT141325.XUE Mogen,ZHU Hong,and YUAN Guanglin.Robust visual tracking based on online discrimination dictionary learning[J].Journal of Electronics & Information Technology,2015,37(7):1654-1659.doi:10.11999/JEIT141325.
馬時(shí)平:男,1976年生,副教授,研究方向?yàn)閳D像處理與模式識(shí)別.
李權(quán)合:男,1987年生,博士,研究方向?yàn)閳D像處理與模式識(shí)別.
張晟翀:男,1987年生,高級工程師,研究方向?yàn)楣怆娦盘柼幚?
An Adaptive Closed-loop Image Dehazing Algorithm Based on the Feedback Mechanism
MA Shiping①LI Quanhe①ZHANG Shengchong②
①(Aeronautics and Astronautics Engineering College,Air Force Engineering University,Xi'an 710038,China)
②(Optical Information Control and Security Technology Laboratory,Sanhe 065201,China)
Abstract:To solve the problem of low adaptability in existing dehazing algorithms caused by the randomness and complexity of atmospheric environment,an adaptive closed-loop dehazing algorithm based on the feedback mechanism is proposed.Firstly,parameters in the proposed algorithm are initialized according to human visual system based characteristic cognitive assessment.Secondly,the estimation of dehazing strength is given as the feedback to correct parameters of local contrast adjustment method,and then adaptively improve the local contrast of image after removing additive light.Finally,the terminating condition is set according to the naturalness of image after dehazing to determine whether to output the result.Experimental results show that the proposed algorithm can adaptively improve the contrast of hazy images with a variety of degradation types and degrees,and the evaluation of information entropy and definition of dehazing results is better than those of other existing algorithms.
Key words:Image dehaze; Visual mechanism; Feedback mechanism
基金項(xiàng)目:國家自然科學(xué)基金(61372167,61379104)
*通信作者:馬時(shí)平mashiping@126.com
收稿日期:2015-04-29;改回日期:2015-10-23;網(wǎng)絡(luò)出版:2015-12-04
DOI:10.11999/JEIT150494
中圖分類號:TP391
文獻(xiàn)標(biāo)識(shí)碼:A
文章編號:1009-5896(2016)02-0400-08
Foundation Items:The National Natural Science Foundation of China(61372167,61379104)