基于圖像深度重定義的霧天車道線特征提取

鄭 軍，姚劍敏，郭太良

(福州大學(xué) 平板顯示技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室，福建 福州 350002)

基于圖像深度重定義的霧天車道線特征提取

鄭 軍，姚劍敏，郭太良

(福州大學(xué) 平板顯示技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室，福建 福州 350002)

為了解決霧天車道線特征不清晰、車道線特征分割閾值選取困難的問題，提出了一種結(jié)合圖像深度重定義去霧模型的霧天車道線特征提取方法。首先，將采集裝置與道路之間的實(shí)際場(chǎng)景映射到幾何模型上。其次，在抽象好的幾何模型上提出圖像深度圖的定義，并根據(jù)圖像深度圖以及霧天圖像模型計(jì)算去霧之后的圖像。最后，利用圖像HSV顏色模型，構(gòu)建圖像分割模型，對(duì)車道線特征和非車道線特征進(jìn)行初步分割，并結(jié)合OSTU閾值調(diào)優(yōu)方法對(duì)車道線特征進(jìn)行二次分割。實(shí)驗(yàn)結(jié)果顯示，去霧之后車道線特征清晰，閾值分割比傳統(tǒng)的OSTU分割效果更好，最終非車道線特征的占比要比基于灰度算法的平均減少14%。

圖像深度重定義；HSV顏色模型；直方圖統(tǒng)計(jì)；OSTU閾值調(diào)優(yōu)

在基于計(jì)算機(jī)視覺技術(shù)的車輛自主導(dǎo)航系統(tǒng)里，道路的檢測(cè)是整個(gè)系統(tǒng)的關(guān)鍵，而實(shí)際中道路的場(chǎng)景千差萬別，檢測(cè)方法也呈現(xiàn)多樣性。其中，車道線特征檢測(cè)作為道路檢測(cè)中的關(guān)鍵組成部分，結(jié)構(gòu)化道路中道路特征多有白色或黃色的標(biāo)線，往往給定了道路的邊界，以及道路的組成信息，從而車道線的檢測(cè)問題轉(zhuǎn)化為對(duì)一幅圖像中的特定特征的提取問題。常見的基于機(jī)器視覺的車道線的檢測(cè)方法很多，如模板檢測(cè)、反透視變換、區(qū)域生長(zhǎng)等，模板檢測(cè)[1]的檢測(cè)精度依賴于模板的選取，很難找到一種適用于大部分道路的模版；對(duì)圖像進(jìn)行反透視變換[2-3]，首先依賴于攝像頭的標(biāo)定參數(shù)，其次反透視變換函數(shù)的選取比較復(fù)雜；而區(qū)域生長(zhǎng)法[4]，在車道線區(qū)域灰度值不均勻的情況下確定生長(zhǎng)準(zhǔn)則難度大。因此，得到一幅車道線特征良好分割的圖像對(duì)后續(xù)的檢測(cè)非常重要。

隨著環(huán)境變得越來越惡劣，霧、霾天的頻繁出現(xiàn)，道路特征的提取也越來越難，現(xiàn)在對(duì)圖像的去霧化方法大致分為兩類，第一類是基于模型的去霧方法，即通過找到圖像霧化的內(nèi)在原因，構(gòu)建圖像模型，然后進(jìn)行逆運(yùn)算來改善圖像的對(duì)比度，使之更加接近無霧時(shí)的圖像；如基于偏微分方程的去霧模型、基于深度關(guān)系的去霧模型、基于先驗(yàn)信息的去霧模型等；另一類方法是基于非模型的算法，也稱作圖像增強(qiáng)運(yùn)算，即有目的地強(qiáng)調(diào)圖像的整體或者局部特征，使得所需部分顯示清晰，如直方圖均衡化、同態(tài)濾波、小波變換等去霧方法?；诎低ǖ赖娜レF算法在對(duì)圖像進(jìn)行去霧處理時(shí)能取得比較好的效果[5]，其對(duì)一些風(fēng)景照片處理效果都不錯(cuò)，但是其過分依賴統(tǒng)計(jì)數(shù)據(jù)得到的暗通道圖像，對(duì)灰度圖像無法操作；直方圖均衡化的去霧算法在對(duì)圖像直方圖統(tǒng)計(jì)的基礎(chǔ)上，只是通過調(diào)整擴(kuò)展有效亮度區(qū)域來實(shí)現(xiàn)圖像的增強(qiáng)去霧方法，其缺乏對(duì)圖像景深的描述，無法達(dá)到針對(duì)性去霧效果；在單一顏色或灰度圖像的快速能見度恢復(fù)算法中[6]，提出了一種經(jīng)過濾波、圖像平滑處理以及色調(diào)映射的方法對(duì)圖像進(jìn)行去霧，但是對(duì)圖像產(chǎn)生的失真較大；由此可見提出一種針對(duì)特定特征的、灰度和彩色空間下均可執(zhí)行的去霧算法，在道路檢測(cè)領(lǐng)域也越來越重要。

本文提出了一種在RGB空間或灰度空間下霧化圖像中實(shí)現(xiàn)車道線特征良好分割的方法，首先，利用道路區(qū)域在圖像中的場(chǎng)景深度分布構(gòu)建去霧模型，增強(qiáng)車道線特征信息。其次，結(jié)合亮度空間與飽和度空間關(guān)于車道線位置的信息，在HSV顏色空間里對(duì)圖像進(jìn)行幾何變換，最后在OSTU算法求得的閾值基礎(chǔ)上，結(jié)合圖像直方圖統(tǒng)計(jì)中車道線特征所占的區(qū)間對(duì)閾值調(diào)優(yōu)，使得分割效果更好。

1 常見的去霧模型

在機(jī)器視覺和圖像處理中，霧化圖像廣泛使用的模型[7-10]

I(x,y)=J(x,y)t(x,y)+A(1-t(x,y))

(1)

式中：I(x,y)為已有的圖像；J(x,y)為要恢復(fù)的無霧圖像；A為全球大氣光成分，一般取A=max(I(x,y))；t(x,y)為透射率且t(x,y)=e-rd(x,y)；d(x,y)為圖像場(chǎng)景深度分布；r為大氣散射系數(shù)。常說的去霧方法，就是要得到式(1)的J(x,y)。

1.1 基于暗通道的霧天道路圖像處理方法

經(jīng)典的基于暗通道的去霧算法的思路是，在RGB顏色空間里對(duì)每個(gè)像素點(diǎn)R、G、B在給定的窗口中進(jìn)行最小值濾波，一般取它的窗口大小為兩倍的濾波半徑，如

(2)

如圖1所示，去霧前后路面細(xì)節(jié)得到一定的清晰化，但是發(fā)現(xiàn)在圖像靠近右側(cè)部分的車道線信息被弱化了，而且由于其暗通道的得到多依賴于圖像多通道的屬性以及其基于統(tǒng)計(jì)的經(jīng)驗(yàn)公式，因此在單通道的處理上無法滿足要求。

圖1 基于暗通道去霧前后圖像對(duì)比

1.2 直方圖均衡化圖像去霧方法

直方圖均衡化的算法主要是對(duì)圖像進(jìn)行非線性拉伸，對(duì)圖像內(nèi)的像素分布做一重新分布，如式(3)所示，實(shí)現(xiàn)f到g的映射，其中，EQ是一單值單增函數(shù)。

g=EQ(f)

(3)

圖2所示是利用直方圖均衡化對(duì)圖像進(jìn)行處理的效果圖，在圖像底部區(qū)域確實(shí)實(shí)現(xiàn)了車道線特征的清晰化處理，但是除此之外，整個(gè)圖像的其他地方只是亮度增強(qiáng)，并沒有實(shí)現(xiàn)比較好的清晰化，而且其拋棄了經(jīng)典霧化圖像所使用的廣泛模型(式(1))，沒有結(jié)合圖像的深度信息，導(dǎo)致圖像處理效果比較差。

圖2 圖像均衡化去霧前后圖像對(duì)比

1.3 單一顏色通道或灰度圖像的快速能見度恢復(fù)去霧方法

算法從式(1)出發(fā)，定義大氣的霧化強(qiáng)度為V(x,y)=Is(1-ekd(x,y))； 通過中值濾波的方式求得V(x,y)，如

V(x,y)=max(min(pB(x,y),W(x,y)),0)

(4)

(5)

A(x,y)=mediansy(W)(x,y)

(6)

式中：W為局部平均值；p是用來控制圖像修復(fù)的系數(shù)，取值 0～1；sv是中值濾波的平方函數(shù)。其忽略單獨(dú)的圖像景深信息，轉(zhuǎn)而將其融入大氣霧化強(qiáng)度中處理，通過對(duì)圖像的中值濾波，確定其定義的大氣霧化強(qiáng)度信息，結(jié)果如圖3所示，從圖中可以看出，依賴于中值濾波的圖像去霧處理，從圖像上來看，在車道線處的特征比原圖要清晰，但是整幅圖像產(chǎn)生的失真較大，特別是道路區(qū)域產(chǎn)生很多的影響因素，使得后續(xù)的處理困難。

圖3 快速能見度恢復(fù)去霧前后圖像對(duì)比

綜上所述，基于暗通道的去霧方法能得到相對(duì)去霧效果不錯(cuò)的圖像，但是由于其算法基于rgb通道的統(tǒng)計(jì)結(jié)果的經(jīng)驗(yàn)公式，使得算法在單通道情況下無法進(jìn)行去霧處理；經(jīng)典的直方圖均衡化去霧方法沒有參照霧天道路模型，使得處理效果比較差；快速能見度恢復(fù)算法中，其依賴于中值濾波對(duì)自定義的大氣霧化強(qiáng)度進(jìn)行計(jì)算，圖像特征得到加強(qiáng)，但是整幅圖像帶來的失真效果比較大。如果沒有深度圖的信息，將無法得到圖像中的不同位置的像素灰度分布規(guī)律，不能表達(dá)霧存在對(duì)圖像灰度的影響。

本文提出了一種圖像深度圖重定義的去霧模型，利用霧天道路模型中的圖像深度圖，改善了快速能見度恢復(fù)算法中圖像的失真，此算法在單通道的圖像中也可以實(shí)現(xiàn)比較好的去霧效果，并結(jié)合優(yōu)化的閾值分割方法得到最終的車道線特征。

2 基于深度重定義的圖像去霧以及車道線特征提取方法

2.1 算法框架

本文采用的算法流程如圖4所示，首先對(duì)輸入圖像進(jìn)行預(yù)處理，選取算法處理圖像區(qū)間，其次，在去霧過程中，先通過對(duì)道路圖像和采集設(shè)備的幾何位置關(guān)系的分析，確定自定義深度圖的基礎(chǔ)，然后提出了一種歸一化的各像素點(diǎn)的深度位置的定義，最后將其應(yīng)用于式(1)得到去霧之后的圖像，并融合HSV顏色空間分割方法，得到比較清晰的車道線特征，最終經(jīng)過OSTU算法閾值調(diào)優(yōu)，形成一整套的圖像去霧、車道線特征提取的模型，最終得到輸出圖像。

圖4 基于深度重定義去霧以及車道線特征提取算法流程圖

2.2 圖像預(yù)處理

實(shí)際情況中車載攝像頭拍攝到的整幅圖片包含有天空部分信息，對(duì)車道線特征影響較大且處理起來速度較慢，本方法設(shè)定ROI區(qū)域?yàn)橄掳氩糠謭D像，如圖5所示。

圖5 圖像預(yù)處理

如圖5所示，原圖天空中白色區(qū)域較多，設(shè)定ROI區(qū)域之后的圖像去除了大部分天空信息。

2.3 基于深度重定義的圖像去霧算法

車輛駕駛過程中，車載攝像頭或者其他類似圖像采集的設(shè)備總是以車輛為圖像采集的中心點(diǎn)，采集來的圖像在道路區(qū)域內(nèi)的分布滿足一定的規(guī)律，因此本文提出了一種根據(jù)去霧模型、攝像頭和道路的位置關(guān)系來進(jìn)行去霧處理的方法，即采集到的道路圖像，從中間往兩邊，從近處到遠(yuǎn)處的變化呈現(xiàn)一定的規(guī)律，如圖6所示。

圖6 道路采集圖像模型

左右區(qū)域關(guān)于采集中心線對(duì)稱，對(duì)應(yīng)于圖像中每個(gè)像素點(diǎn)和圖像寬(w)、高(h)之間的關(guān)系形成的關(guān)于路面的場(chǎng)景深度分布，即

(7)

式中：a為變換因子；其中d(x,y)為歸一化之后的圖像場(chǎng)景深度分布圖。其中(x,y)可歸屬于圖像中任何區(qū)域，可應(yīng)用于動(dòng)態(tài)區(qū)域去霧。

(8)

將式(8)代入公式(9)計(jì)算，得到最終去霧之后圖像

(9)

此方法可根據(jù)圖像的大小得到路面的場(chǎng)景深度分布，在處理視頻序列時(shí)候，只需進(jìn)行一次計(jì)算而后均可使用，而且從圖中可以看出，改進(jìn)后的去霧方法在車道線特征細(xì)節(jié)上保留的比較多，且整個(gè)圖像的細(xì)節(jié)也比較豐富，與經(jīng)典暗通道去霧算法對(duì)比效果如圖7所示。

圖7 本文算法與經(jīng)典暗通道去霧算法效果圖對(duì)比

由圖7可見，在處理道路圖像中加入去霧算法，可對(duì)道路中車道線特征進(jìn)行增強(qiáng)，為后續(xù)的特征分割提供更好的處理環(huán)境，當(dāng)然，在實(shí)際運(yùn)用過程中，在沒有霧、霾天氣的時(shí)候，也可選擇禁用此模塊，以取得執(zhí)行速度的提升。

2.4 HSV顏色模型初步分割圖像與二次分割閾值調(diào)優(yōu)

在對(duì)圖像進(jìn)行去霧處理之后，就可以對(duì)圖像上車道線特征進(jìn)行分割了。首先，根據(jù)車道特征在HSV空間取值規(guī)律，即白色特征在飽和度(S)空間的取值為0的，對(duì)圖像中顏色分布作式(9)的變換，一方面突出白色特征，另一方面讓一些背景信息、路面干擾信息適當(dāng)弱化，比在RGB空間進(jìn)行處理效果更好。

Sout=1-Sin

(10)

其次，將2.3節(jié)處理好的圖像或?qū)?.1中預(yù)處理之后的圖像進(jìn)行HSV空間分解，在亮度空間V做高斯變換

(11)

Imgout=Vout*Sout

(12)

式(10)在對(duì)亮度空間處理時(shí)，灰度級(jí)較大區(qū)域的值進(jìn)一步加大，但是通過式(11)的變換之后，灰度級(jí)大的非車道線特征會(huì)得到抑制，圖8是圖像中某一行數(shù)據(jù)做HSV顏色空間初步分割的像素點(diǎn)灰度值分布，可以發(fā)現(xiàn)，相比于原圖而言，非車道線區(qū)域的波動(dòng)范圍得到抑制，而且直觀的感受是車道線部分與非車道線部分的分界線明顯，圖9顯示的是實(shí)際的圖像處理結(jié)果，初步明晰了車道線的特征，為后面的閾值分割奠定了基礎(chǔ)。

圖8 圖像中某行數(shù)據(jù)的兩種方法對(duì)比結(jié)果

圖9 HSV顏色分割對(duì)比

本文利用OSTU算法得到自適應(yīng)的圖像分割閾值L，以L對(duì)應(yīng)的灰度級(jí)作為初始灰度級(jí)，以步進(jìn)為0.1做區(qū)間(L，1)上的直方圖統(tǒng)計(jì)，求的出現(xiàn)統(tǒng)計(jì)數(shù)目的最大值對(duì)應(yīng)的灰度級(jí)作為圖像分割的閾值，其處理的過程如圖10所示。

圖10 OSTU閾值調(diào)優(yōu)算法流程圖

圖10中,A∈(0,1)，是給定的閾值調(diào)優(yōu)上限，可根據(jù)具體的圖像狀況自行調(diào)整，當(dāng)運(yùn)用OSTU算法所得的閾值大于A時(shí)，則不需進(jìn)行優(yōu)化，而當(dāng)閾值比較小的時(shí)候，采用圖10中所給流程進(jìn)行閾值調(diào)優(yōu)，其基本思路是對(duì)一些道路特征不那么明顯的圖像，進(jìn)行進(jìn)一步閾值增加，以期在原有的閾值分割基礎(chǔ)上對(duì)車道線特征進(jìn)行進(jìn)一步的分割，本文中A的取值為0.8。

圖11對(duì)比了單獨(dú)用OSTU算法做閾值分割和進(jìn)行調(diào)優(yōu)之后的閾值分割圖的效果，從圖中可見閾值調(diào)優(yōu)后的圖中減少了很多非車道線特征。

圖11 閾值調(diào)優(yōu)前后的效果對(duì)比圖

2.5 量化結(jié)果說明

非車道線特征占比的多少在直觀上直接反應(yīng)車道線特征分割的效果，本文用θ表示經(jīng)本文算法改進(jìn)后非車道線占比的減少量，如

(13)

3 實(shí)驗(yàn)結(jié)果和總結(jié)

圖12中對(duì)比了圖像處理結(jié)果對(duì)比，圖12a所示是暗通道去霧灰度圖，將原圖結(jié)果做了灰度轉(zhuǎn)換，因?yàn)槠錈o法對(duì)單通道進(jìn)行去霧處理；圖12b所示運(yùn)用傳統(tǒng)的直方圖均衡化算法對(duì)圖像進(jìn)行去霧處理，其在整體上擴(kuò)展有效亮度區(qū)域，而沒有考慮到圖像景深與去霧模型間的關(guān)系，相反的其還突出了天空區(qū)域的亮度信息，對(duì)車道線的分割產(chǎn)生比較大的影響；圖12c顯示的就是應(yīng)用快速能見度恢復(fù)算法處理得到的效果圖，圖像處理效果產(chǎn)生比較大的失真，整體效果處理不夠完善；而12d所示的是在同樣的灰度空間下本文算法的去霧效果，一方面突出單通道、灰度圖去霧能力，另一方面由于本文方法能更好地反映圖像中景物的深度關(guān)系，因此圖像特征處理清晰。

圖12 本文算法與其他去霧算法效果圖對(duì)比

在表1和表2分別給出了圖12第1組和第2組圖像衡量去霧效果圖估計(jì)數(shù)據(jù)。

表1 第一組數(shù)據(jù)結(jié)果對(duì)比

表2 第二組數(shù)據(jù)結(jié)果對(duì)比

其計(jì)算式為

(14)

(15)

(16)

圖13展示的是最終車道線特征的分割圖，在復(fù)雜環(huán)境下還能分割出大部分的車道線特征，表示本文算法在霧化道路圖像中能實(shí)現(xiàn)車道線特征的良好分割，并且能很好地抑制非車道線信息。

圖13 實(shí)驗(yàn)結(jié)果圖

首先，本文對(duì)現(xiàn)在受霧、霾天氣影響的情況下的道路采用去霧算法，使得道路的車道線的特征更加清晰，作為單個(gè)模塊，可將其應(yīng)用到類似需要做圖像增強(qiáng)的需求中去，減小后續(xù)處理的難度，同時(shí)提高檢測(cè)的準(zhǔn)確率；其次，基于HSV顏色模型對(duì)車道線特征進(jìn)行初步分割，在亮度空間和色度空間做指數(shù)變換，弱化道路以及環(huán)境干擾信息，初步分割效果良好；最后，在對(duì)初步分割的圖像進(jìn)行直方圖統(tǒng)計(jì)時(shí)發(fā)現(xiàn)，在車道線灰度級(jí)處會(huì)出現(xiàn)極大值，以此對(duì)應(yīng)的閾值作為整幅圖像的二值化閾值，分割良好。應(yīng)用本文算法使得圖像中非車道線特征的占比能減少平均14%。

[1]李冬霞，曾禹村.基于速度特征矢量提取運(yùn)動(dòng)目標(biāo)的圖像分割方法[J].北京理工大學(xué)學(xué)報(bào)，2000(3)：347-351.

[2]AUFRERE R，CHAOUIS R，CHAUSSE F. Amodeldriven approach for real-time roadrecognition[J].Machine Vision and Applications，2001，13(1)：95-107.

[3]蔣剛毅,郁梅. 基于車道標(biāo)線分解的車道檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2002(4)：229-232.

[4]劉濤,黃席樾. 高速公路彎道識(shí)別算法[J].重慶大學(xué)學(xué)報(bào)，2003(7)：24-27.

[5]HE Kaiming，SUN Jian,TANG Xiaoou.Single image haze removal using dark channel prior[J].IEEE Pattern Analysis and Machine Intelligance，2009，33(12)：2341-2353.

[6]TAREL J，HAUTIERE N.Fast visibility restoration from a single coloror gray level image[C]//Proc. IEEE International Conferenceon Computer Vision.[S.l.]：IEEE Press，2009：2201-2208.

[7]NARASIMHAN S G，NAYAR S K. Vision and the atmosphere[J].Computer Vision，2002，48(3)：233-254.

[8]NARASIMHAN S G，NAYAR S K.Chromatic framework for vision in bad weather[C]//Proc. IEEE Conf. Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2000：598-605.

[9]FATTAL R.Single image dehazing[EB/OL].[2014-10-10].http://www.cs.huji.ac.il/～raananf/projects/dehaze_cl/.

[10]TAN R.Visibility in bad weather from a single image[C]//Proc.IEEE Conf. Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2008：1-8.

[11]HAUTIéRE N,TAREl J P,AUBERT D，et al. Blindcontrast enhancement assessment by gradient ratioing at visible edgese[J].Image Analysis & Stereology Journal，2008，27(2)：87-95.

[12]PARK H,PARK D,HAN D K,et al. Single image haze removal using novel estimationOf atmospheric light and transmission[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2014：4502-4506.

鄭 軍(1990— )，碩士生，主研信息顯示系統(tǒng)；

姚劍敏(1978— )，碩士生導(dǎo)師，主要研究方向?yàn)橐曨l圖像處理、模式識(shí)別；

郭太良(1963— )，博士生導(dǎo)師，主要研究方向?yàn)閳?chǎng)致發(fā)射陰極材料及器件研究。

責(zé)任編輯：許 盈

Method for Extracting Lane Features Combining With Characteristics of Image Depth Redefined Dehazing Model

ZHENG Jun，YAO Jianmin,GUO Tailiang

(FlatPanelDisplayTechnologyofNationalandLocalJointEngineeringLaboratory，F(xiàn)uzhouUniversity，F(xiàn)uzhou350002，China)

In order to solve the question of lane line feature that is not clear in the fogging weather and the difficult in adaptive choosing lane line feature segmentation threshold,a method for extracting lane features combining is proposed with the characteristics of image depth redefined dehazing model. Firstly,it mapping the geometry model between acquisition device and the road image. Secondly, the definition of depth image is proposed based on the model before, and based on the depth image and image fogging model to calculate the image with none fogging. Finally,HSV color model is used to construct the model of image segmentation to do the preliminary segmentation,also, OSTU threshold tuning methods is used to do the secondary segmentation. The experimental results show that, the lane line features are more apparent, threshold segmentation effect is better, and the feature beyond the road lane is average decreased nearly 14%.

image depth redefined; HSV color model; histogram statistics; OSTU threshold tuning

【本文獻(xiàn)信息】鄭軍，姚劍敏，郭太良.基于圖像深度重定義的霧天車道線特征提取[J].電視技術(shù),2015，39(11).

國家“863”重大專項(xiàng)(2012AA03A301；2013AA030601)

TP391

A

10.16280/j.videoe.2015.11.015

2014-12-28