基于引導(dǎo)濾波的車載視頻圖像去霧簡化模型

【摘要】為解決現(xiàn)有視頻去霧模型計(jì)算量大、運(yùn)算速度慢且只能處理單幅圖像的問題，提出了基于引導(dǎo)濾波的車載視頻圖像去霧簡化模型。對光能的大氣衰減指數(shù)定律和霧霾退化的物理模型進(jìn)行修正得到去霧簡化模型，利用灰度圖法和引導(dǎo)濾波法確定了模型中的霧氣濃度系數(shù)和環(huán)境大氣光強(qiáng)度，最后利用計(jì)算機(jī)仿真對去霧簡化模型進(jìn)行驗(yàn)證，結(jié)果顯示，模型對連續(xù)的視頻幀去霧效果顯著。

關(guān)鍵詞：引導(dǎo)濾波 灰度圖 車載視頻 去霧簡化模型

中圖分類號：U463" 文獻(xiàn)標(biāo)志碼：A" "DOI： 10.20104/j.cnki.1674-6546.20230229

Defogging Simplified Model for Vehicular Video Based on Guide Filtering

Wei Yucong， Sun Mingchen， Jiang Xinming， Liu Jinyuan， Wang Duoyang

（FAW-Volkswagen Automotive Co.， Ltd.， Changchun 130062）

【Abstract】To address the issue of large amount of computation， slow arithmetic speed of the current defogging video model that can only process single image， this article proposed a defogging simplified model for vehicular video based on guide filtering. Firstly， the law of atmospheric attenuation index of light energy and physical model of haze degradation were introduced， then the defogging simplified model was obtained by correcting the attenuation law and the degradation model， and two parameters of the fog concentration factor and ambient air light were determined with the gray scale method and guided filtering method. Finally， the model was verified by computer simulation. The simulation results show that the defogging simplified model works effectively to defog for continuous video.

Key words： Guide filtering， Grey-scale map， Vehicular video， Defogging simplified model

【引用格式】 魏玉聰， 孫銘辰， 姜新明， 等. 基于引導(dǎo)濾波的車載視頻圖像去霧簡化模型[J]. 汽車工程師， 2024（8）： 42-48.

WEI Y C， SUN M C， JIANG X M， et al. Defogging Simplified Model for Vehicular Video Based on Guide Filtering[J]. Automotive Engineer， 2024（8）： 42-48.

1 前言

惡劣天氣是引起嚴(yán)重交通事故的重要原因之一。研究表明，雨天發(fā)生交通事故的概率是晴天的6.4倍，而霧天發(fā)生交通事故的概率是晴天的3.4倍[1]。雨、霧天氣下如何提高駕駛員對前方車輛等障礙物的辨識能力是汽車主動安全技術(shù)的研究熱點(diǎn)。

提高雨、霧天氣下障礙物辨識能力最常用的方法是采集車輛前方的視頻、圖像信息，并將圖像處理后呈現(xiàn)給駕駛員。Yitzhaky等[2]針對因大氣湍流和前向散射作用造成的模糊，估計(jì)大氣調(diào)制傳遞函數(shù)，通過頻域解卷積復(fù)原模糊圖像；Narasimhan和Nayar[3-6]利用不同天氣條件下同一場景的2幅或多幅圖像估算場景的三維結(jié)構(gòu)，建立二色大氣散射模型[3]，進(jìn)而恢復(fù)出清晰圖像。霧會使所拍攝到的圖像模糊不清，將霧對景物的退化作用等效成照度變化的結(jié)果，根據(jù)Retinex理論及有霧圖像直方圖的特點(diǎn)分析多尺度增強(qiáng)算法（Multi-Scale Retinex，MSR），采用正態(tài)截取拉伸處理輸出圖像可實(shí)現(xiàn)較好的去薄霧效果[7-8]。郭璠等[9]提出2種基于霧氣理論的視頻去霧算法，一種方法將霧氣視為覆蓋在各幀圖像上的一層遮罩而從原視頻中減除，另一種方法將霧氣視為光路傳播圖進(jìn)行分離消除；弓振鵬等[10]基于紅外圖像的視覺處理技術(shù)，提出了新的汽車夜視安全控制方法。

但以上方法僅能處理單幅圖像，很難滿足連續(xù)性強(qiáng)的車載視頻圖像的處理要求。本文提出一種基于引導(dǎo)濾波的車載視頻圖像去霧模型，實(shí)現(xiàn)連續(xù)圖像的去霧處理。

2 霧對行車的影響

霧天對能見度的影響嚴(yán)重，按照不同霧濃度下的能見度范圍，可以將霧劃分為6個等級，如表1所示。

研究表明，駕駛員在駕駛車輛時(shí)，90%以上的行車信息通過視覺獲取[7]。駕駛員在霧天條件下難以識別交通標(biāo)志、路面設(shè)施，對車距及車速的判斷不準(zhǔn)確，極易發(fā)生追尾事故。按照我國公安部規(guī)定[8]，為了保障霧天行車安全，需根據(jù)能見度對高速公路上的行駛車速進(jìn)行限制。道路能見度對交通安全的影響如表2所示。

3 圖像去霧理論

霧霾視頻圖像恢復(fù)技術(shù)用于從霧霾退化圖像中分離出大氣散射光，進(jìn)而獲取清晰圖像。

由光能的大氣衰減指數(shù)定律[9]可知：

φ（d）=φ（0）e-kd （1）

式中：d為場景距離，即圖像接收器與被拍攝物之間的距離；φ（0）為圖像接收器在零距離時(shí)獲得的光能；φ（d）為φ（0）經(jīng)過距離為d的大氣傳輸后圖像接收器獲得的光能；k為大氣介質(zhì)的衰減系數(shù)。

根據(jù)光能的大氣衰減指數(shù)定律，Nayar等[3-6]提出了圖像場景中每一點(diǎn)的光輻射強(qiáng)度模型：

[Ed，λ=E∞λγλe-βλdd2+E∞λ（1-e-βλd）]" （2）

式中：E（d，λ）為圖像接收器獲得的霧霾影響下的實(shí)際圖像；E∞（λ）為水平方向的天空光強(qiáng)度；γ（λ）為圖像場景中每一點(diǎn)的反射屬性；λ為入射光線波長；β（λ）為基于光波長函數(shù)的大氣散射系數(shù)，與霧霾濃度有關(guān)。

通過轉(zhuǎn)換式（2）可得場景圖像每一點(diǎn)的亮度，即觀察到的圖像E：

E=I∞ρe-βd+I∞（1-e-βd） （3）

式中：I∞為環(huán)境大氣光強(qiáng)度；ρ為標(biāo)準(zhǔn)光輻射強(qiáng)度，是與大氣狀況無關(guān)的距離函數(shù)；I∞ρ為未經(jīng)霧霾散射的圖像亮度，即沒有霧霾時(shí)的圖像受霧霾介質(zhì)影響衰減，衰減的程度以d為冪次的指數(shù)衰減函數(shù)來表征，故I∞ρe-βd又稱為直接衰減項(xiàng)[10]；e-βd為霧霾介質(zhì)傳輸率；I∞（1-e-βd）為大氣散射光強(qiáng)度，能使圖像模糊退化和色彩偏移失真。

由此可知，圖像去霧應(yīng)從E中恢復(fù)出I∞ρ。

4 去霧簡化模型

4.1 簡化大氣模型

霧霾天氣下，空氣中各種懸浮粒子數(shù)量較多，對成像系統(tǒng)影響如下：景物表面的放射光傳播過程中被懸浮粒子吸收而衰減，強(qiáng)度降低；空氣中的懸浮粒子會散射大氣光，部分散射光和景物反射光疊加后傳入成像設(shè)備，使圖像清晰度降低。

因此，McCartney于1975年提出大氣雙色散射理論[11]，建立了霧霾退化的物理模型：

I=I∞ρ（x）e-βd（x）+I∞（1-e-βd（x）） （4）

式中：I為霧天攝像機(jī)捕獲的退化圖像，ρ（x）為標(biāo)準(zhǔn)光輻射強(qiáng)度，β為霧霾濃度影響系數(shù)，d（x）為環(huán)境中各點(diǎn)到攝像機(jī)的距離函數(shù)，x為攝像機(jī)捕捉到的環(huán)境中點(diǎn)的信息。

令景物表面反射光為I′，由輻射原理可得I′=I∞ρ（x），帶入式（4）可得：

I′=e-βd（x）（I-I∞）+I∞ （5）

相對于天空等長距離光線傳播，可假設(shè)圖像各點(diǎn)對應(yīng)的環(huán)境深度為定值，即e-βd（x）可簡化為當(dāng)前環(huán)境的霧氣濃度系數(shù)fβ，則式（5）可簡化為：

E=fβ（I-I∞）+I∞ （6）

式（6）中，I為已知量，fβ和I∞為未知量，需進(jìn)行估算。對于一個地點(diǎn)的短距離范圍，短時(shí)間內(nèi)fβ不會明顯改變，因此，不需要實(shí)時(shí)計(jì)算fβ，可以間歇性測量計(jì)算，以節(jié)省視頻圖像處理時(shí)間。

4.2 fβ估算

fβ是衡量霧濃度大小的重要參數(shù)，為避免fβ的取值過大或過小影響修復(fù)質(zhì)量，將fβ的取值范圍限定為[1，8][12]，本文采用灰度圖法估算fβ，灰度圖像通常采用每個像素8位的非線性尺度保存，因此，灰度有256級，其中0級為純黑色、255級為純白色，該精度可避免可見的條帶失真。

假設(shè)相機(jī)獲得的圖像中某點(diǎn)的顏色為（R，G，B），其中R、G、B分別為紅色、綠色、藍(lán)色光強(qiáng)度，灰度圖法估算fβ時(shí)需將彩色圖像轉(zhuǎn)換為灰度圖像，本文采用整數(shù)方法轉(zhuǎn)換：

Gy=（R×30+G×59+B×11）/100 （7）

式中：Gy為灰度。

灰度圖像同樣反映了圖像整體及局部色度和亮度等級的分布和特征。霧對灰度圖像的亮度影響更加明顯，因此，猜想灰度圖像和霧濃度存在相關(guān)性，設(shè)計(jì)如下統(tǒng)計(jì)試驗(yàn)進(jìn)行驗(yàn)證：

分析灰度級分布情況可知：不同fβ下，圖像的灰度分布不同，隨著霧氣濃度的增加，灰度像素閾值低于50像素的變化明顯。

圖1中各灰度圖像R、G、B值低于50所占比例分別為0.07%、0.05%、0，可見濃霧圖像像素值低于50的像素點(diǎn)基本沒有，中霧和濃霧下像素值低于100的像素點(diǎn)很少。因此，灰度圖像像素值低于50的像素點(diǎn)所占比例越高，則圖像越清晰。為方便運(yùn)算，定義像素值低于50的像素點(diǎn)所占比例p與fβ成線性關(guān)系，根據(jù)經(jīng)驗(yàn)值可知，p的取值范圍為[0，0.035]，則：

[fβ=8-200p] （8）

通過式（8）可實(shí)現(xiàn)對霧氣濃度的快速估算，需注意，當(dāng)pgt;0.035時(shí)，fβ=1。

4.3 [I∞]的估算

He等于2010年提出的圖像引導(dǎo)濾波器[13]是一種局部線性濾波器，在實(shí)時(shí)性和去偽影方面優(yōu)勢明顯，本文利用該濾波器對有霧圖像的灰度圖進(jìn)行濾波處理，作為I∞的估算值。引導(dǎo)濾波中的局部線性模型如圖2所示。

局部線性模型認(rèn)為，某函數(shù)上一點(diǎn)與其鄰近部分的點(diǎn)成線性關(guān)系，一個復(fù)雜的函數(shù)可用多個局部的線性函數(shù)表示，當(dāng)需求解該函數(shù)上某一點(diǎn)的值時(shí)，僅需計(jì)算所有包含該點(diǎn)的線性函數(shù)的平均值。同理，可以認(rèn)為圖像是一個二維函數(shù)，無法給出解析表達(dá)式，假設(shè)該函數(shù)的輸出與輸入在一個二維窗口內(nèi)滿足線性關(guān)系，圖像引導(dǎo)濾波器是一種線性可變?yōu)V波器，其濾波核qi為[14]：

[qi=akIi+bk， ?i∈wk]" （9）

式中：wk為第k個核函數(shù)窗口，ak、bk分別為給定單元窗口wk內(nèi)的線性變換系數(shù)，Ii為引導(dǎo)圖像，i為wk中的像素索引序號。

引導(dǎo)濾波器必須保證輸入圖像P與輸出圖像q的差異值Z最?。?/p>

[Z=mina，bk∈wi（qi-pi）2-εak2] （10）

式中：a、b為線性變換系數(shù)，pi為輸入圖像中的像素點(diǎn)，[wi]為以像素[pi]為中心的單元窗口，[ε]為正則化平滑因子。

以式（10）為目標(biāo)函數(shù)，利用最小二乘法可解得：

[ak=covk（I，P）varkI+ε·bk] （11）

經(jīng)換算，可得：

[ak=Pk-akIk] （12）

式中：covk（I，P）為引導(dǎo)圖像I和輸入圖像P的協(xié)方差，vark（I）為I的方差，[Pk]為P在單元窗口wk內(nèi)的均值，[Ik]為I在單元窗口wk內(nèi)的均值。

本文中引導(dǎo)圖為輸入圖像P，即I=P，帶入式（11）、式（12）中求得ak和bk，I∞可表示為：

[I∞?R1wk∈wiakpi+1wk∈wibk] （13）

式中：|w|為單元窗口像素?cái)?shù)量；R表示對每個像素點(diǎn)作濾波處理，濾波半徑為30像素，平滑因子取值為0.3。

如圖3所示，原圖和灰度圖除顏色不同外，沒有其他差異，引導(dǎo)濾波后的圖像更加模糊，邊緣被很好地保留，引導(dǎo)濾波后的圖像用來估計(jì)各場景深度下的大氣環(huán)境光。

5 仿真驗(yàn)證

為了更加客觀地評價(jià)算法的有效性，本文采用信息熵方法評估圖像質(zhì)量，采用處理時(shí)間tp評價(jià)算法的處理速度[15-16]。

圖像信息熵H表示灰度集合的比特平均數(shù)，描述了圖像的平均信息量：

[H=-i=0255pilogpi] （14）

本文將所提出的模型和行業(yè)中典型算法[17]進(jìn)行量化對比，由表3可知：本文算法的單幀處理時(shí)間為32 ms，可滿足幀速率為30 幀/s的視頻處理要求，適用于連續(xù)視頻數(shù)據(jù)處理；利用本文算法可復(fù)原出更多的圖像信息，復(fù)原的結(jié)果較He等的算法[17]更優(yōu)，即該算法還原圖像信息的能力很強(qiáng)。

6 結(jié)束語

本文提出了雨霧狀態(tài)下的車載視頻圖像去霧模型，并利用灰度圖法和引導(dǎo)濾波法確定了模型中的霧氣濃度系數(shù)和環(huán)境大氣光強(qiáng)度。最后利用計(jì)算機(jī)仿真驗(yàn)證了去霧簡化模型，結(jié)果顯示，該模型去霧效果顯著，且對于連續(xù)的視頻去霧效果明顯。

視頻去霧可廣泛應(yīng)用于智能駕駛領(lǐng)域，典型應(yīng)用場景有：流媒體后視鏡，可在雨霧等天氣情況下較為清晰地顯示周邊環(huán)境；行車記錄儀，當(dāng)雨霧天發(fā)生交通事故且事故責(zé)任不清晰時(shí)，去霧后的視頻數(shù)據(jù)可用于事故分析。

參考文獻(xiàn)

[1]" "徐鋮鋮， 劉攀， 王煒， 等. 惡劣天氣下高速公路實(shí)時(shí)事故風(fēng)險(xiǎn)預(yù)測模型[J]. 吉林大學(xué)學(xué)報(bào)（工學(xué)版）， 2013， 43（1）： 68-73.

XU C C， LIU P， WANG W， et al. Real Time Crash Risk Prediction Model on Freeways Under Nasty Weather Conditions[J]. Journal of Jilin University （Engineering and Technology Edition）， 2013， 43（1）： 68-73.

[2]" YITZHAKY Y， DOR I， KOPEIKA N S. Restoration of Atmospherically Blurred Images According to Weather-Predicted Atmospheric Modulation Transfer Functions[J]. Optical Engineering， 1997， 36（11）： 3064-3072.

[3]" NAYAR S K， NARASIMHAN S G. Vision in Bad Weather[C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra， Greece： IEEE， 1999： 820-827.

[4]" NARASIMHAN S G， NAYAR S K. Contrast Restoration of Weather Degraded Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003， 25（6）： 713-724.

[5] NARASIMHAN S G， NAYAR S K. Vision and the Atmosphere[J]. International Journal of Computer Vision， 2002， 48（3）： 233-254.

[6]" "NARASIMHAN S G， NAYAR S K. Chromatic Framework for Vision in Bad Weather[C]// Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head， SC， USA： IEEE， 2000： 1598-l605.

[7]" "芮義斌， 李鵬， 孫錦濤. 一種圖像去薄霧方法[J]. 計(jì)算機(jī)應(yīng)用， 2006（1）： 154-156.

RUI Y B， LI P， SUN J T. Method of Removing Fog Effect from Images[J]. Computer Applications， 2006（1）： 154-156.

[8]" "代紅焱， 龍偉， 李炎炎. 高速公路雨霧監(jiān)測及車輛安全預(yù)警系統(tǒng)研究[J]. 南京工程學(xué)院學(xué)報(bào)（自然科學(xué)版）， 2012， 10（3）： 55-60.

DAI H Y， LONG W， LI Y Y. Study of Rain and Fog Monitoring and Vehicle Safety Warning System for Expressways[J]. Journal of Nanjing Institute of Technology （Natural Science Edition）， 2012， 10（3）： 55-60.

[9]" "郭璠， 蔡自興， 謝斌. 基于霧氣理論的視頻去霧算法[J]. 電子學(xué)報(bào)， 2011， 39（9）： 2019-2025.

GUO F， CAI Z X， XIE B. Video Defogging Algorithm Based on Fog Theory[J]. Acta Electronica Sinca， 2011， 39（9）： 2019-2025.

[10] 弓振鵬， 丁鼎. 紅外圖像處理在汽車防撞系統(tǒng)中的運(yùn)用[J]. 汽車科技， 2011（5）： 45-48.

GONG Z P， DING D. The Application of Infrared Image Processing in the Automotive Anti-Collision System[J]. Auto Sci-Tech， 2011（5）： 45-48.

[11] CAMPBELL G S， NORMAN J M. An Introduction to Environmental Biophysics[M]. New York， NY， USA： Springer-Verlag， 1998： 105-107.

[12] MCCARTNEY E J. Optics of the Atmosphere[M]. New York， NY， USA： John Wiley and Sons， 1976： 198-200.

[13] ROBBY T T. Visibility in Bad Weather from a Single Image[C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage， AK， USA： IEEE， 2008： 1-8.

[14] HE K M， SUN J， TANG X O. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010： 35（6）： 1397-1409.

[15] GUO F C， CAI Z. Objective Assessment Method for the Clearness Effect of Image Defogging Algorithm[J]. Acta Automatica Sinica， 2012， 38（9）： 1410.

[16] LI D P， YU J， XIAO C B. No-Reference Quality Assessment Method for Defogged Images[J]. Journal of Image and Graphics， 2011， 16（9）： 1753-1757.

[17] HE K M， SUN J， TANG X O. Single Image Haze Removal Using Dark Channel Prior[C]// 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami， FL， USA： IEEE， 2020.

（責(zé)任編輯 弦 歌）

修改稿收到日期為2023年7月22日。