摘" 要: 道路能見度是影響交通安全的重要因素之一。針對低能見度霧天的道路圖像特點(diǎn),提出一種基于支持向量機(jī)回歸的車載視頻道路能見度檢測方法。首先通過區(qū)域增長算法確定特征提取區(qū)域;然后提取能夠反映能見度大小的大氣透射率特征和圖像熵特征,利用所提取的特征訓(xùn)練支持向量回歸模型;最后利用訓(xùn)練好的模型檢測圖像的能見度。實(shí)驗(yàn)結(jié)果表明,該方法在400 m以內(nèi)的能見度檢測中總體準(zhǔn)確率可達(dá)到90.1%,可滿足交通行業(yè)實(shí)際應(yīng)用的需要。
關(guān)鍵詞: 能見度檢測; 支持向量回歸; 暗通道先驗(yàn); 區(qū)域增長法; 大氣透射率; 圖像熵
中圖分類號: TN911.73?34; TP391" " " " " " " " " "文獻(xiàn)標(biāo)識碼: A" " " " " " " " " 文章編號: 1004?373X(2024)23?0154?05
Road visibility detection based on support vector machine regression
ZHOU Jun1, TUERXUN Maimaitijiang2, 3
(1. College of Intelligent Manufacturing and Modern Industry, Xinjiang University, Urumqi 830017, China;
2. Xinjiang Key Laboratory of Green Construction and Intelligent Traffic Control of Transportation Infrastructure, Urumqi 830017, China;
3. School of Traffic and Transportation Engineering, Xinjiang University, Urumqi 830017, China)
Abstract: Road visibility is one of the important factors which affects traffic safety. In this paper, a vehicle?mounted video road visibility detection method based on support vector machine regression is proposed according to the characteristics of road images with low visibility in foggy days. Initially, the feature extraction region is determined by employing a region growth algorithm. Subsequently, the key features including atmospheric transmittance and image entropy are extracted. These features are then utilized to train a support vector regression (SVR) model. Finally, the trained model is employed to detect the visibility of the road image. The experimental results show that the overall accuracy of the proposed method in visibility detection within 400 m can reach 90.1%, so the proposed method can meet the needs of practical application in the transportation industry.
Keywords: visibility detection; SVR; dark channel prior; region growing; atmospheric transmittance; image entropy
0" 引" 言
能見度是指在特定條件下,例如天氣、光照和大氣質(zhì)量等因素的影響下,人眼能夠清晰地分辨背景中具有一定大小的目標(biāo)物體的最遠(yuǎn)可見距離[1]。在交通安全中,這一概念至關(guān)重要。低能見度的天氣條件下,人們?nèi)菀酌允Х较?、產(chǎn)生焦慮和不安全感。因此,道路能見度檢測對于交通安全具有重要意義,它能夠幫助駕駛員了解前方路段的能見度情況,從而使駕駛員更準(zhǔn)確地評估行車風(fēng)險,并相應(yīng)地調(diào)整駕駛行為,采取適當(dāng)?shù)陌踩胧?,以降低事故發(fā)生的可能性。實(shí)時監(jiān)測能見度情況并及時向駕駛員提供警示信息,有助于提高駕駛員的警覺性,從而減少因能見度不佳而造成的意外事件。綜上所述,能見度檢測不僅可以提高駕駛員的行車安全水平,還有助于減少交通事故的發(fā)生,從而保障行車安全。
隨著圖像處理技術(shù)和深度學(xué)習(xí)的迅速發(fā)展,基于視頻圖像的能見度檢測技術(shù)正逐漸成為能見度檢測領(lǐng)域的主要發(fā)展方向。這種基于視頻圖像的方法不僅可以提高檢測的準(zhǔn)確性和可靠性,還可以在更廣泛的環(huán)境條件下進(jìn)行應(yīng)用,例如不同天氣和光照條件下的道路情況。因此,基于視頻圖像的能見度檢測技術(shù)將在未來的交通安全領(lǐng)域發(fā)揮越來越重要的作用,并成為相關(guān)研究和實(shí)踐的熱點(diǎn)方向。文獻(xiàn)[2]提出了一種引導(dǎo)濾波的改進(jìn)方法,用灰度圖代替RGB圖作為引導(dǎo)圖,極大地提高了濾波效率。該算法通過分析霧濃度系數(shù)[ω]和圖像的灰度對透射率計(jì)算準(zhǔn)確性的影響,提出了一種自適應(yīng)霧濃度系數(shù)的新思路,通過構(gòu)建BP神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了霧濃度系數(shù)的自適應(yīng)修正。該算法97.1%的計(jì)算結(jié)果相對誤差在20%以內(nèi),滿足測量結(jié)果。文獻(xiàn)[3]提出了一種改進(jìn)暗通道先驗(yàn)的高速公路能見度檢測算法,該方法在求取大氣透光強(qiáng)度時引入了局部熵法,在日間大霧情況下的高速公路具有良好的檢測效果。文獻(xiàn)[4]提出了一種基于可見光?遠(yuǎn)紅外圖像的多模態(tài)能見度深度學(xué)習(xí)算法,融合了可見光圖像與遠(yuǎn)紅外圖像特征信息,構(gòu)建了多模態(tài)的能見度檢測深度學(xué)習(xí)模型,該模型在小樣本情況下,較單一視頻圖像提高了能見度檢測的準(zhǔn)確性與魯棒性。文獻(xiàn)[5]以VGG16為基準(zhǔn)模型,提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的高速公路霧天能見度等級分類算法。文獻(xiàn)[6]提出了一種基于多目標(biāo)的能見度檢測模型,該方法考慮了不同景深目標(biāo)物對應(yīng)圖像質(zhì)量的衰減程度,有效提升了精度,檢測正確率達(dá)到85%以上。文獻(xiàn)[7]提出了一種基于計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的能見度檢測算法,該算法在樣本比較小的情況下也能得到較好的預(yù)期結(jié)果。文獻(xiàn)[8]提出了一種基于遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)的可見性檢測方法,該方法有效改善了缺乏數(shù)據(jù)集而引起的一些問題。文獻(xiàn)[9]提出了一種通過公路視頻監(jiān)控進(jìn)行能見度檢測的算法,該算法通過對抽取的視頻幀進(jìn)行灰度處理,并結(jié)合自適應(yīng)引導(dǎo)濾波算法和四叉樹圖像分割算法對能見度進(jìn)行計(jì)算。文獻(xiàn)[10]構(gòu)建了一個交通可見性回歸網(wǎng)絡(luò)(TVRNet)來檢測交通能見度。該網(wǎng)絡(luò)采用基于CNN的深度架構(gòu),使用適當(dāng)?shù)臑V波器提取霧密度相關(guān)特征,并利用并行卷積進(jìn)行多尺度映射。該網(wǎng)絡(luò)采用一種新型的非線性激活函數(shù),即Modified_sigmoid函數(shù)。
上述方法大都基于固定攝像機(jī)拍攝的固定場景圖像來建立能見度檢測模型,雖然取得了不錯的能見度檢測效果,但場景適用性不強(qiáng),不能用在車載視頻的能見度檢測中。為此,本文提出了一種基于支持向量機(jī)回歸的能見度檢測方法。首先通過區(qū)域增長法對圖像進(jìn)行分割,分割出特征提取區(qū)域;然后通過計(jì)算圖像熵和暗通道先驗(yàn)法對圖像的透射率進(jìn)行提取,將圖像熵和透射率作為能見度檢測的圖像特征;最后采用圖像熵和透射率與能見度標(biāo)注值來訓(xùn)練支持向量回歸模型得出能見度檢測模型。本文方法的流程圖如圖1所示。
1" 區(qū)域增長算法分割提取ROI
本文方法是基于車載視頻來進(jìn)行能見度檢測,由于車輛在行駛的過程中場景會不斷變化,為了提高場景適用性以及避免用暗通道先驗(yàn)算法在求取大氣透射率時受到路邊一些干擾因素的影響,例如,路邊一些白色的反光物體區(qū)域以及燈光等,所以提出了運(yùn)用區(qū)域增長算法[11](Region Growing Algorithm)來分割出提取圖像特征的一個興趣區(qū)域(ROI)。
區(qū)域增長算法是一種圖像處理和分割技術(shù),用于將圖像分割成具有相似屬性的區(qū)域。這種算法從一個或多個種子點(diǎn)開始,然后逐步將相鄰像素加入到同一區(qū)域中,直到滿足某個停止條件為止。
本文算法從圖像最底部一行道路圖像中選取若干種子點(diǎn),選取的種子點(diǎn)數(shù)為6個,6個種子點(diǎn)在圖像最底部像素中等間距分布。
閾值(threshold)是區(qū)域增長算法中的關(guān)鍵參數(shù),它決定了相鄰像素是否屬于同一區(qū)域的相似性程度。當(dāng)閾值較小時,算法更嚴(yán)格地要求相鄰像素的相似性,這意味著只有那些非常相似的像素才會被歸為同一區(qū)域;當(dāng)閾值較大時,算法更容忍像素之間的差異,這可能會導(dǎo)致更大的區(qū)域被歸為同一區(qū)域。通過對有霧圖像進(jìn)行不同閾值下的區(qū)域增長算法實(shí)驗(yàn),本文方法閾值取為30。不同閾值的區(qū)域增長算法結(jié)果如圖2所示。
通過區(qū)域增長算法分割出來的特征提取區(qū)域[R]中,首先選取距離圖像底部垂直最遠(yuǎn)的一個像素點(diǎn)作為初始點(diǎn),為了保證具有足夠的檢測帶寬,然后在垂直向下的方向上,選取距離初始點(diǎn)50個像素距離的一個點(diǎn)作為初始測量帶寬點(diǎn)。通過選取帶寬點(diǎn)所在行的像素中距離最遠(yuǎn)的兩個像素點(diǎn)之間的距離作為測量帶寬,這兩點(diǎn)為帶寬點(diǎn)。將兩個帶寬點(diǎn)橫坐標(biāo)中間的區(qū)域作為檢測區(qū)域,檢測區(qū)域如圖3所示。
2" 圖像特征提取
不同的能見度在圖像上反映為圖像的退化程度不同。通過提取能反映這種圖像退化程度的圖像特征并找到與能見度之間的映射關(guān)系,就可以通過圖像來進(jìn)行能見度的檢測。因此,提取有效的視覺特征對能見度檢測至關(guān)重要。圖像的透射率與能見度之間存在密切的關(guān)系,透射率和能見度之間的關(guān)系可以總結(jié)為:透射率高,則能見度好;透射率低,則能見度差。熵是用來衡量隨機(jī)變量的不確定度的一個重要概念,而圖像熵則是將熵的概念應(yīng)用到圖像數(shù)據(jù)中。通過分析可知,熵在一定程度上體現(xiàn)了圖像的退化程度,所以本文選取圖像的透射率和圖像熵作為能見度檢測的圖像特征。
2.1" 透射率計(jì)算
透射率可根據(jù)式(1)得出:
[t(x)=1-ωJdark(x)A] (1)
式中:[t(x)]為所求的透射率;[ω]為霧霾保留系數(shù),取0.95;[Jdark(x)]為圖像的暗通道;[A]為大氣透光強(qiáng)度。
由式(1)可以看出,圖像的透射率為一個矩陣。為了將圖像透射率與圖像熵值輸入到支持向量回歸(SVR)模型中進(jìn)行擬合,采取了以下步驟。首先,將圖像的特征提取區(qū)域分割成多個20×20像素的小區(qū)域;然后,針對每個小區(qū)域計(jì)算其透射率矩陣的平均值,作為該小區(qū)域的透射率;最后,對所有小區(qū)域的透射率值求平均,得到輸入到SVR模型的透射率值。
為得到透射率,首先需要計(jì)算大氣透光強(qiáng)度和圖像的暗通道。大氣透光強(qiáng)度和圖像的暗通道可根據(jù)文獻(xiàn)[12]的暗通道先驗(yàn)算法得出,暗通道先驗(yàn)算法是通過總結(jié)大量的室外無霧圖像提出的。無霧圖像中絕大多數(shù)非天空的局部區(qū)域里,在RGB三通道上總會有—個通道的像素值趨于0,可用式(2)進(jìn)行描述:
[Jdark(x)=minC∈{R,G,B}miny∈Ω(x)(JC(y))] (2)
式中:[JC(y)]為圖像R、G、B三個顏色通道中的某一個;[Ω(x)]為圖像中以[x]為中心的一個區(qū)域。
通過選取暗通道圖像素點(diǎn)中灰度值前1‰的像素點(diǎn),取上述像素點(diǎn)對應(yīng)的原圖區(qū)域,最后選取該區(qū)域最亮點(diǎn)的像素值[xmax]作為大氣透光強(qiáng)度[A]。
2.2" 圖像熵
圖像熵(Image entropy)是圖像處理中常用的一種概念,用于描述圖像中的信息量或者說信息的不確定性。對于大小為[N×N]的圖像,圖像熵定義為:
[H=-l=0255Pllog2Pl] (3)
式中[Pl]是灰度值為[l]的像素的概率。
設(shè)圖像區(qū)域內(nèi)灰度值[l]的像素個數(shù)為[M],則[Pl]定義為:
[Pl=nlm×n] (4)
2.3" 支持向量機(jī)回歸分析
由于能見度數(shù)據(jù)集樣本量小且樣本分布不均勻,所以本文采用支持向量回歸機(jī)建立回歸模型[13]來映射透射率、圖像熵與能見度之間的關(guān)系。支持向量回歸機(jī)通過非線性變換將原始特征映射到高維空間,通過構(gòu)建線性分類函數(shù)既確保了模型在高維空間中具有良好的泛化能力,又解決了維度災(zāi)難問題,可有效解決小樣本下的非線性回歸問題[14]。
設(shè)有[l]個訓(xùn)練樣本,[xi(xi∈R2)]是第[i]個訓(xùn)練樣本的輸入列向量,[xi=[x1i,x2i]T],本文方法中[xi]為透射率和熵值所組成的列向量。[yi]∈[R]為對應(yīng)的輸出值,也就是能見度標(biāo)注值。建立高維特征空間中的線性回歸模型:
[yi=f(x)=ωΦ(x)+b] (5)
式中:[ω]為權(quán)向量;[b]為偏置項(xiàng)。類似于SVM的分類情況,引入松弛變量[ξi]和[ξ*i]?;貧w模型權(quán)重[ω]與偏差[b]可通過最小化目標(biāo)函數(shù)得到,具體如下:
[min12ω2+Ci=1l(ξi+ξ*i)s.t." " yi-ωΦ(xi)-b≤ε+ξi-yi+ωΦ(xi)+b≤ε+ξ*i," " " i=1,2,…,lξi≥0," " ξ*i≥0] (6)
式中:[C]為懲罰因子,[C]越大表示對訓(xùn)練誤差大于[ε]的樣本懲罰越大,[ε]規(guī)定了回歸函數(shù)的誤差要求,[ε]越小表示回歸函數(shù)的誤差越小。
通過求解上述約束問題可得SVR模型為:
[f(x)=ω*Φ(x)+b*=i=1l(αi-α*i)Φ(xi)Φ(x)+b*=i=1l(αi-α*i)K(xi,x)+b*] (7)
式中:[K(xi,x)]為核函數(shù),[x]為輸入的區(qū)域圖像特征;[f(x)]為其能見度估計(jì)值。
常用的核函數(shù)有:線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)、Sigmoid核函數(shù)等,本文采用徑向基核函數(shù)。
3" 實(shí)驗(yàn)結(jié)果與分析
3.1" 實(shí)驗(yàn)數(shù)據(jù)與設(shè)備
由于目前沒有公開的能見度數(shù)據(jù),所以通過車載攝像頭采集了不同能見度下的視頻圖像,采集時間為2023年10月—2024年2月,并通過視頻轉(zhuǎn)換軟件從視頻中提取出了2 231幅圖像,建立實(shí)驗(yàn)圖像集,圖像分辨率為1 920 Pixel×1 080 Pixel,能見度范圍為20~400 m,圖像樣本的能見度標(biāo)注值為風(fēng)途FT?SN10手持式能見度檢測儀觀測值,其中訓(xùn)練集1 900幅,驗(yàn)證集331幅。將圖像樣本進(jìn)行能見度檢測區(qū)域分割后提取圖像特征,將圖像特征和對應(yīng)的能見度值存儲為.xlsx文件作為支持向量回歸模型的輸入。為了驗(yàn)證本文所提算法在道路圖像中能見度估計(jì)的效果,在CPU為Intel i7?13700HX、內(nèi)存為16 GB的計(jì)算機(jī)上基于Matlab進(jìn)行驗(yàn)證,Matlab版本為2021a。
3.2" 測試結(jié)果與分析
使用2.3節(jié)中經(jīng)過訓(xùn)練的支持向量回歸模型對測試樣本進(jìn)行了實(shí)驗(yàn)。通過比較檢測值和樣本標(biāo)注值,生成了一份分布折線圖,如圖4所示。從圖中分析可知,大多數(shù)測試樣本的檢測值與標(biāo)注值之間存在較小的誤差。按照能見度檢測規(guī)范,誤差在10%以內(nèi)被認(rèn)為是允許范圍內(nèi)的,除了一些極值點(diǎn)外,大部分檢測值與標(biāo)注值的誤差均在這一范圍內(nèi)。綜合來看,整體的正確率達(dá)到了90.1%。
為評估本文方法的性能,將本文方法與傳統(tǒng)暗通道先驗(yàn)算法、二元二次回歸模型、隨機(jī)森林算法三種方法進(jìn)行對比,對比結(jié)果如表1所示。
由表1可知,本文方法在每個能見度區(qū)間以及整體能見度檢測上均優(yōu)于其余三種方法。可以看到在能見度區(qū)間為50 m內(nèi)時,基于暗通道先驗(yàn)的物理模型要優(yōu)于二元二次回歸模型與隨機(jī)森林模型,這主要是由于該區(qū)間段的樣本量比較少,二元二次回歸模型與隨機(jī)森林模型訓(xùn)練不充分而產(chǎn)生了過擬合現(xiàn)象,而基于物理模型的能見度檢測不受訓(xùn)練樣本數(shù)量的影響,所以效果要優(yōu)于上述兩種模型。而本文采用的支持向量機(jī)進(jìn)行回歸分析則有效改善了小樣本下過擬合這一問題,結(jié)合在50~400 m能見度范圍時以及整體的正確率進(jìn)行分析,基于暗通道先驗(yàn)的物理模型準(zhǔn)確率最差,這主要是因?yàn)槔冒低ǖ涝谟?jì)算透射率時容易造成干擾導(dǎo)致檢測結(jié)果不準(zhǔn)確。而且在這個范圍內(nèi)的訓(xùn)練樣本比較多一點(diǎn),其余三種回歸模型的過擬合現(xiàn)象有所改觀,所以基于暗通道先驗(yàn)的物理模型的整體準(zhǔn)確率最差。綜上,本文所提出的能見度檢測方法可以應(yīng)用到實(shí)際的道路能見度檢測中。
4" 結(jié)" 語
本文提出了一種基于支持向量機(jī)回歸的道路能見度檢測方法。首先利用區(qū)域增長法確定反映能見度的特征提取區(qū)域;然后對特征提取區(qū)域提取透射率和圖像熵兩種特征;將兩種圖像特征與能見度標(biāo)注值利用支持向量機(jī)進(jìn)行回歸分析得到能見度的檢測模型。該方法不需要定義精確的物理模型,根據(jù)實(shí)驗(yàn)結(jié)果,這種方法表現(xiàn)出了較高的檢測準(zhǔn)確率和穩(wěn)定性,有效避免了運(yùn)用單一物理模型檢測能見度時,路邊干擾物對整體檢測效果的影響。該方法對于小樣本下的數(shù)據(jù)集同樣具有良好的效果。
注:本文通訊作者為買買提江·吐爾遜。
參考文獻(xiàn)
[1] 趙瑞,胡遼林,趙江濤.基于暗原色先驗(yàn)理論的大氣能見度測量[J].激光與光電子學(xué)進(jìn)展,2016,53(6):78?85.
[2] 陳鐘榮,張炎,張瑤.基于自適應(yīng)霧濃度系數(shù)的暗通道先驗(yàn)法能見度測量[J].現(xiàn)代電子技術(shù),2019,42(9):39?45.
[3] 楊天麟,王衛(wèi)杰,康楠,等.采用改進(jìn)暗通道先驗(yàn)算法的高速公路能見度檢測[J].哈爾濱工業(yè)大學(xué)學(xué)報,2023,55(3):100?108.
[4] 沈克成,施佺,王晗.可見光?遠(yuǎn)紅外圖像的多模態(tài)能見度深度學(xué)習(xí)模型[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報,2021,33(6):939?946.
[5] 黃亮,張振東,肖鵬飛,等.基于深度學(xué)習(xí)的公路能見度分類及應(yīng)用[J].大氣科學(xué)學(xué)報,2022,45(2):203?211.
[6] 唐榕,李騫,唐紹恩.基于多目標(biāo)的能見度檢測方法[J].計(jì)算機(jī)工程,2023,49(2):314?320.
[7] 沈岳峰,殷海濤,史得道,等.基于機(jī)器學(xué)習(xí)的白天能見度檢測方法[J].自動化與儀表,2022,37(8):74?77.
[8] LI Q, TANG S E, PENG X, et al. A method of visibility detection based on the transfer learning [J]. Journal of atmospheric and oceanic technology, 2019, 36(10): 1945?1956.
[9] MENG Y, WU H. Highway visibility detection method based on surveillance video [C]// 2019 IEEE 4th International Conference on Image, Vision and Computing (ICIVC). New York: IEEE, 2019: 197?202.
[10] QIN H S, QIN H B. An end?to?end traffic visibility regression algorithm [J]. IEEE access, 2022, 10: 25448?25454.
[11] HAUTIèRE H, TAREL J P, LAVENANT J, et al. Automatic fog detection and estimation of visibility distance through use of an onboard camera [J]. Machine vision and applications, 2006, 17(1): 8?20.
[12] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341?2353.
[13] SHMILOVICI A. Support vector machines [M]// ROKACH L, MAIMON O, SHMUELI E. Machine learning for data science handbook. Heidelberg: Springer, 2023: 93?110.
[14] AWAD M, KHANNA R. Support vector regression [C]// Efficient Learning Machines. New York: Apress, 2015: 67?80.
作者簡介:周" ?。?997—),男,山西晉城人,碩士研究生,主要研究方向?yàn)閳D像處理。
買買提江·吐爾遜(1975—),男,維吾爾族,新疆喀什人,副教授,碩士生導(dǎo)師,研究方向?yàn)榻煌ㄏ到y(tǒng)仿真、交通工效學(xué)、模式識別與智慧交通。