基于DM642的車載濃霧天氣識(shí)別系統(tǒng)研究

玉雄侯, 楊 蓉, 楊曉虎, 黃俊明

(廣西大學(xué) 機(jī)械工程學(xué)院, 南寧 530004)

在高速公路氣象觀測(cè)中,常根據(jù)水平能見度的不同將霧的嚴(yán)重程度分為不同等級(jí).研究表明[1],不同能見度對(duì)交通安全有不同程度的影響,一般認(rèn)為能見度低于200 m就會(huì)嚴(yán)重威脅交通安全,故本文將容易引起交通安全事故、能見度小于200 m的霧稱為濃霧.

在濃霧環(huán)境下行車,由于能見度較低,駕駛員不易觀察車輛前方及周圍路況環(huán)境的變化,若此時(shí)未及時(shí)開啟霧燈,容易造成交通事故[2].目前汽車霧燈大多需要駕駛員手動(dòng)開啟,這依賴于駕駛員的駕駛習(xí)慣和精神狀態(tài).如果能夠?qū)崿F(xiàn)汽車霧燈智能化控制,即判斷當(dāng)前天氣是否為濃霧天或大雨天,然后根據(jù)判斷結(jié)果自動(dòng)開啟/關(guān)閉霧燈,不僅能簡(jiǎn)化駕駛員操作,還有助于提高汽車行駛的安全性與舒適性.

霧燈智能化控制的關(guān)鍵在于能夠準(zhǔn)確地識(shí)別當(dāng)前天氣狀況.目前,國(guó)內(nèi)外一些學(xué)者已開發(fā)出識(shí)別霧天的系統(tǒng):Negru等[3]設(shè)計(jì)開發(fā)了一套基于圖像處理的駕駛輔助系統(tǒng),該系統(tǒng)通過車載攝像頭獲取當(dāng)前道路的拐點(diǎn)和水平線2個(gè)參數(shù),進(jìn)而計(jì)算出能見度以識(shí)別霧天;龍科軍等[4]設(shè)計(jì)了一套霧天高速公路路況監(jiān)測(cè)預(yù)警系統(tǒng),采用將前向性散射型能見度儀固定于霧天事故多發(fā)路段對(duì)氣象數(shù)據(jù)進(jìn)行采集,并結(jié)合實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)實(shí)現(xiàn)對(duì)惡劣天氣進(jìn)行識(shí)別和預(yù)警;農(nóng)昭光等[5]利用固定在道路旁的能見度檢測(cè)儀、氣象傳感器、監(jiān)控?cái)z像機(jī)等設(shè)計(jì)了一套高速公路霧天智能誘導(dǎo)系統(tǒng),通過能見度檢測(cè)判斷霧濃度等級(jí)來識(shí)別霧天;馮海霞等[6]發(fā)明了一套霧天道路預(yù)警系統(tǒng),利用現(xiàn)有固定于道路上的攝像頭,對(duì)固定標(biāo)志物的亮區(qū)域和暗區(qū)域分別采集灰度值、對(duì)比度,進(jìn)而對(duì)比標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)以判別霧天.上述這些霧天預(yù)警系統(tǒng)多以固定在道路旁的能見度檢測(cè)儀或攝像裝置來進(jìn)行濃霧天氣的識(shí)別,進(jìn)而通過交通管理信息系統(tǒng)實(shí)現(xiàn)霧天預(yù)警,對(duì)于交通發(fā)達(dá)的城市和高速公路系統(tǒng)具有較好的實(shí)用性,然而對(duì)于交通管理或網(wǎng)絡(luò)通信相對(duì)落后的偏遠(yuǎn)山村、山區(qū)等,其實(shí)用性將大大降低.因此一些車載霧天檢測(cè)預(yù)警系統(tǒng)應(yīng)運(yùn)而生:賴政劍[7]采用發(fā)光二極管和光敏電阻結(jié)合單片機(jī)開發(fā)了一套隨車移動(dòng)霧天檢測(cè)測(cè)試系統(tǒng)及安全預(yù)警方法,但是該系統(tǒng)的測(cè)試驗(yàn)證僅采用霧發(fā)生器制造“環(huán)境霧”,并未在真實(shí)霧天進(jìn)行測(cè)試;徐梓恒[8]設(shè)計(jì)了一種霧天檢測(cè)預(yù)警裝置,通過車載固定攝像機(jī)獲取駕駛場(chǎng)景信息,并通過算法實(shí)現(xiàn)二維場(chǎng)景轉(zhuǎn)換為三維場(chǎng)景,進(jìn)而計(jì)算能見度以識(shí)別薄霧、中霧和大霧,最后發(fā)出霧天預(yù)警,雖然該系統(tǒng)能夠基于圖像識(shí)別技術(shù)判斷濃霧天能見度,但是還未見其硬件測(cè)試效果.

本文以車載應(yīng)用為目標(biāo),結(jié)合DM642芯片研制基于圖像處理的車載濃霧天氣識(shí)別系統(tǒng),并通過硬件測(cè)試檢驗(yàn)系統(tǒng)的可行性和準(zhǔn)確性,為車輛霧燈的智能化控制提供一套新的軟硬件系統(tǒng).

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)設(shè)計(jì)目標(biāo)

車載濃霧天氣識(shí)別系統(tǒng)是通過行車記錄儀/攝像頭采集視頻圖像,并利用圖像對(duì)當(dāng)前天氣狀況進(jìn)行判斷,進(jìn)而控制車輛霧燈的開啟和關(guān)閉.

1.2 系統(tǒng)總體結(jié)構(gòu)

車載濃霧天氣識(shí)別系統(tǒng)主要由2部分組成:1) 可用于視頻圖像分析和霧燈控制的硬件;2) 用于分析識(shí)別濃霧天氣的軟件.本研究選擇在視頻/圖像處理領(lǐng)域具有廣泛應(yīng)用的TMS320DM642芯片(以下簡(jiǎn)稱DM642)作為核心處理器.以DM642為核心處理器的開發(fā)板如圖1所示.

圖1 DM642為核心處理器的開發(fā)板Fig.1 Development board with DM642 as core processor

系統(tǒng)總體結(jié)構(gòu)框圖如圖2所示,核心部分是嵌入在DM642中的霧天識(shí)別算法.在系統(tǒng)前端,使用TVP5150AM視頻解碼器將電荷耦合器件(CCD)攝像機(jī)采集的視頻模擬信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào),并通過DM642對(duì)數(shù)字信號(hào)進(jìn)行處理,輸出格式為BT656.視頻輸出采用BT656數(shù)字輸出功能,數(shù)字信號(hào)通過SAA7121視頻數(shù)模轉(zhuǎn)換芯片可將實(shí)時(shí)圖像顯示在屏幕上,方便觀察攝像頭視野.此外,試驗(yàn)利用開發(fā)板上的LED燈模擬霧燈.

圖2 系統(tǒng)總體結(jié)構(gòu)Fig.2 Overall system structure

1.3 系統(tǒng)軟件結(jié)構(gòu)

系統(tǒng)軟件操作流程如下:

1) 采集圖像;

2) 將采集的YUV圖像格式轉(zhuǎn)換成RGB圖像格式;

3) 計(jì)算RGB圖像分類特征;

4) 將提取的特征值代入分類模型中,判斷當(dāng)前圖像是否為濃霧天圖像,若判斷結(jié)果為濃霧天,則開啟霧燈,若不是則繼續(xù)采集圖像;

5) 識(shí)別系統(tǒng)工作流程完成一個(gè)循環(huán),進(jìn)入下一個(gè)循環(huán)繼續(xù)進(jìn)行采集圖像并識(shí)別.具體流程圖如圖3所示.

圖3 系統(tǒng)軟件流程圖Fig.3 System software flow chart

2 濃霧天識(shí)別算法設(shè)計(jì)

2.1 選擇圖像分類特征

根據(jù)暗通道先驗(yàn)理論[9],晴朗天圖像除去天空區(qū)域,總存在至少一個(gè)灰度值趨于0的像素點(diǎn),而霧天圖像并沒有此特點(diǎn).濃霧天在畫面上呈現(xiàn)出低對(duì)比度、色彩單一等特點(diǎn).故本研究初選暗通道均值、對(duì)比度和灰度均值作為識(shí)別特征.

2.1.1 暗通道均值特征

暗通道均值D計(jì)算公式為

(1)

式中:Jdark(i,j)為暗通道圖像[9]上像素點(diǎn)(i,j)處的灰度值;m為圖像橫向像素點(diǎn)個(gè)數(shù);n為圖像縱向像素點(diǎn)個(gè)數(shù).

2.1.2 對(duì)比度特征

通常圖像對(duì)比度的計(jì)算采用Michelson公式,但是由于該公式?jīng)]有考慮圖像噪點(diǎn)帶來的影響,計(jì)算結(jié)果會(huì)產(chǎn)生較大誤差,影響分類效果.為消除單像素點(diǎn)帶來的誤差,本研究把暗通道均值和亮通道均值引入Michelson公式,對(duì)比度C計(jì)算公式可以表示為

(2)

式中:L為亮通道均值.與暗通道均值類似,亮通道均值L計(jì)算公式為

(3)

式中,Ilight(i,j)為亮通道圖像[10]上像素點(diǎn)(i,j)處的灰度值.

2.1.3 灰度均值特征

圖像灰度均值反映的是圖像明暗程度.灰度均值G計(jì)算公式為

(4)

式中,g(i,j)為灰度圖像上像素點(diǎn)(i,j)處的灰度值.

2.2 支持向量機(jī)學(xué)習(xí)

支持向量機(jī)(Support Vector Machine,SVM)是一種用于分類或回歸問題的有監(jiān)督式學(xué)習(xí)算法,它適用于解決小樣本分類問題,其在機(jī)器學(xué)習(xí)和模式識(shí)別中表現(xiàn)出色[11-12].SVM目的在于尋找最優(yōu)超平面,將訓(xùn)練數(shù)據(jù)分成兩類,而本文研究的是濃霧天識(shí)別問題,最終要求的識(shí)別結(jié)果是“濃霧天”或“非濃霧天”,因此可運(yùn)用支持向量機(jī)來訓(xùn)練分類模型.

模型訓(xùn)練前需對(duì)樣本數(shù)據(jù)進(jìn)行劃分:第1步將樣本分為訓(xùn)練集和測(cè)試集兩部分,訓(xùn)練集用作訓(xùn)練分類器,測(cè)試集用于檢驗(yàn)分類器的泛化能力;第2步從訓(xùn)練集中劃出小部分作為驗(yàn)證集,對(duì)模型的準(zhǔn)確率進(jìn)行評(píng)估.為消除驗(yàn)證集采樣隨機(jī)性帶來的訓(xùn)練偏差,本研究采用交叉驗(yàn)證的統(tǒng)計(jì)學(xué)習(xí)方法.交叉驗(yàn)證有K折交叉驗(yàn)證、留一交叉驗(yàn)證、RLT(Repeated Learning Testing)交叉驗(yàn)證等多種形式[13].其中,10折交叉驗(yàn)證是最常用的測(cè)試方法,其主要思想是將訓(xùn)練集隨機(jī)分成10份,將其中9份輪流作為訓(xùn)練數(shù)據(jù),剩下1份作為驗(yàn)證集.驗(yàn)證集每次驗(yàn)證都會(huì)得到相應(yīng)模型的準(zhǔn)確率,把每次準(zhǔn)確率的平均值作為最終訓(xùn)練模型的準(zhǔn)確率,以評(píng)估當(dāng)前模型的表現(xiàn).10折交叉驗(yàn)證示意圖如圖4所示.

圖4 10折交叉驗(yàn)證示意圖Fig.4 Diagram of 10-fold cross validation

2.3 分類器訓(xùn)練

一般情況下,可通過增加特征的數(shù)量來提高訓(xùn)練分類器的準(zhǔn)確率,但是更多的特征值會(huì)引入不相關(guān)特征信息反作用在分類器上,降低分類器的準(zhǔn)確率.為得到最佳分類效果,本文將暗通道均值、對(duì)比度、灰度均值進(jìn)行多種組合,根據(jù)準(zhǔn)確率高低來選擇最終的分類模型.

研究選取140幅樣本圖像進(jìn)行測(cè)試,包括70幅濃霧天圖像和70幅晴朗天圖像.將樣本圖像分為訓(xùn)練集和測(cè)試集兩部分,訓(xùn)練集100幅,測(cè)試集40幅.訓(xùn)練集和測(cè)試集中,晴、霧天圖像的比例均為1∶1.從訓(xùn)練集中提取晴、霧天圖像的暗通道均值、對(duì)比度和灰度均值,并根據(jù)不同組合,采用10折交叉驗(yàn)證對(duì)分類模型進(jìn)行訓(xùn)練.具體模型訓(xùn)練示意圖如圖5所示.

圖5 模型訓(xùn)練示意圖Fig.5 Model training diagram

選擇Matlab 2018自帶的SVM工具箱對(duì)同一組數(shù)據(jù)進(jìn)行訓(xùn)練,每次訓(xùn)練可以得到基于不同核函數(shù)的SVM模型的準(zhǔn)確率.SVM工具箱自帶的核函數(shù)包括線性核函數(shù)(Linear)、多項(xiàng)式核函數(shù)(包括Quadratic和Cubic)和高斯核函數(shù)(包括Fine Gaussian、Medium Gaussian和Coarse Gaussian).

以“暗通道均值+灰度均值”作為識(shí)別特征的訓(xùn)練結(jié)果如圖6所示.圖中左半部分是訓(xùn)練結(jié)果的SVM模型準(zhǔn)確率,右半部分是訓(xùn)練數(shù)據(jù)散點(diǎn)圖,圖中顯示暗通道均值和灰度均值數(shù)據(jù)是線性可分的.由不同特征組合得到的SVM模型準(zhǔn)確率見表1.

為綜合評(píng)價(jià)各特征參數(shù)組合的準(zhǔn)確率,對(duì)全部含有不同核函數(shù)的SVM模型準(zhǔn)確率取均值,得到平均準(zhǔn)確率.由表1可知,暗通道均值和灰度均值的組合具有最高準(zhǔn)確率97.5%.其中,Quadratic SVM模型和Linear SVM模型準(zhǔn)確率最高可達(dá)99.0%.考慮到Linear SVM模型相比其他模型具有運(yùn)算量小、簡(jiǎn)單等特點(diǎn),且本次訓(xùn)練具有較高的準(zhǔn)確率,故本研究選擇暗通道均值和灰度均值組成的二維特征作為最佳識(shí)別特征,采用Linear SVM模型作為濃霧天識(shí)別模型.

2.4 識(shí)別算法仿真驗(yàn)證

為確定濃霧天識(shí)別算法的可行性和可靠性,通過仿真軟件提取40幅測(cè)試集圖像的暗通道均值和灰度均值,測(cè)試并驗(yàn)證Linear SVM模型的識(shí)別效果.所提取特征值見表2,前20幅為晴天圖像,后20幅為霧天圖像.

表2 40幅測(cè)試集圖像在軟件中的暗通道均值和灰度均值Table 2 Dark channel mean and gray scale mean of 40 test set images in software test

識(shí)別流程相關(guān)代碼為

model=loadCompactModel(‘LinearModel.mat’);

Label=predict(model,testdata);

代碼中,調(diào)用loadCompactModel可讀取Linear SVM模型文件(.mat文件),并把結(jié)構(gòu)體賦值給model;testdata數(shù)據(jù)(維度40×2)通過predict輸入model中進(jìn)行分類,Label輸出標(biāo)簽值,即分類結(jié)果,識(shí)別流程圖如圖7所示.

圖7 識(shí)別流程圖Fig.7 Identification flow chart

測(cè)試結(jié)果見表3,識(shí)別準(zhǔn)確率達(dá)95.0%,初步證明該算法具有一定的可行性.

表3 霧天識(shí)別算法在Matlab中的測(cè)試結(jié)果Table 3 Test results of fog recognition algorithm in Matlab

3 系統(tǒng)整體測(cè)試

3.1 采集圖像格式轉(zhuǎn)換

由于DM642存儲(chǔ)的視頻圖像格式為YUV422,為使芯片能滿足算法的需要,需將YUV422存儲(chǔ)格式轉(zhuǎn)換成RGB存儲(chǔ)格式,YUV和RGB的關(guān)系式[14]為

(5)

3.2 濃霧天識(shí)別算法移植

DM642軟件設(shè)計(jì)需要通過DSP集成開發(fā)軟件Code Composer Studio(CCS)進(jìn)行程序的調(diào)試、優(yōu)化和移植.

從Matlab中訓(xùn)練導(dǎo)出的分類模型是整個(gè)識(shí)別算法的核心,能判斷采集的圖像是否為霧天,但是該分類器并不能被DM642直接使用.因此,濃霧天識(shí)別算法移植關(guān)鍵在于分類器的移植.為使Linear SVM模型能夠移植到DM642上,需要對(duì)模型進(jìn)行封裝并轉(zhuǎn)換成C語(yǔ)言.

分類模型封裝函數(shù)為

function label=LinearModel(input);

Model=loadCompactModel(‘LinearModel.mat’);

Label=predict(model,input);

end

經(jīng)封裝后的函數(shù)文件(.m文件)通過Matlab coder模塊,可轉(zhuǎn)換成C/C++代碼,并生成一系列頭文件(.h文件)和函數(shù)文件(.c文件).將該程序文件全部添加到CCS工程文件中,并通過CCS將調(diào)試無誤的算法程序加載到DSP中,即可實(shí)現(xiàn)算法移植.

3.3 系統(tǒng)測(cè)試檢驗(yàn)過程

為驗(yàn)證霧天識(shí)別算法在硬件上的可行性與正確性,在實(shí)驗(yàn)室現(xiàn)有條件基礎(chǔ)上,開展模擬試驗(yàn)測(cè)試.測(cè)試設(shè)備包括:以DM642為核心的開發(fā)板,用于采集圖像的CCD攝像頭,用于顯示攝像頭視野的屏幕A,用于模擬行車天氣狀態(tài)的屏幕B,用于顯示當(dāng)前圖像特征的屏幕C,用于調(diào)試開發(fā)板的仿真器,以及控制屏幕和連接仿真器的電腦.

整個(gè)車載濃霧天識(shí)別系統(tǒng)由開發(fā)板、屏幕A和攝像頭3部分組成.屏幕B顯示圖像內(nèi)容,由攝像頭采集并輸入至開發(fā)板中進(jìn)行天氣識(shí)別.當(dāng)系統(tǒng)識(shí)別出霧天環(huán)境時(shí)開啟LED指示燈,當(dāng)識(shí)別出非霧天環(huán)境時(shí)關(guān)閉LED指示燈.系統(tǒng)測(cè)試過程中,配合CCS軟件和仿真器對(duì)開發(fā)板的運(yùn)行情況進(jìn)行監(jiān)控,可在屏幕C中觀察當(dāng)前圖像特征值以及識(shí)別結(jié)果.測(cè)試設(shè)備的連接關(guān)系如圖8所示.

圖8 檢測(cè)設(shè)備連接示意圖Fig.8 Connection diagram of test equipments

系統(tǒng)測(cè)試過程如圖9所示.圖9(a)為測(cè)試系統(tǒng)整體結(jié)構(gòu),圖9(b)和圖9(c)分別為系統(tǒng)對(duì)晴天和霧天測(cè)試檢驗(yàn)的案例.屏幕B在測(cè)試過程中依次播放40幅測(cè)試集圖像,以模擬行車過程中車前方景象.車載濃霧天識(shí)別系統(tǒng)將對(duì)播放的40幅測(cè)試圖像進(jìn)行天氣識(shí)別,識(shí)別結(jié)果以及圖像的暗通道均值、灰度均值均可通過屏幕C觀察得到.

圖9 系統(tǒng)測(cè)試過程Fig.9 Test process of system

3.4 仿真結(jié)果分析

系統(tǒng)對(duì)40幅圖像特征值的分析結(jié)果見表4.前20幅為晴天圖像,后20幅為霧天圖像.系統(tǒng)測(cè)試結(jié)果見表5.由表可見,系統(tǒng)的識(shí)別準(zhǔn)確率達(dá)95.0%.對(duì)比軟件測(cè)試結(jié)果,發(fā)現(xiàn)車載濃霧天識(shí)別系統(tǒng)對(duì)晴朗天圖像的識(shí)別度較高.

表4 40幅測(cè)試集圖像在硬件測(cè)試中的暗通道均值和灰度均值Table 4 Dark channel mean and gray scale mean for 40 test set images in hardware test

表5 霧天識(shí)別算法在DM642中的測(cè)試結(jié)果Table 5 Test results of fog recognition algorithm in DM642

比較表2和表4可知,在DM642上分析的暗通道均值和灰度均值要比在Matlab上的小,而霧天識(shí)別模型中的分類超平面不變,這使得濃霧天圖像的特征值更靠近超平面,導(dǎo)致少部分?jǐn)?shù)據(jù)“越界”被誤判成晴朗天.造成軟硬件分析誤差的主要因素為:1) 攝像頭對(duì)測(cè)試圖像邊緣區(qū)域很難完全采集,主要采集部分為圖像正中范圍,丟失部分圖像信息;2) 屏幕B受到周圍環(huán)境反光,容易影響攝像頭采集效果.

與仿真過程相比,實(shí)際道路環(huán)境較為復(fù)雜,一些干擾因素可能會(huì)影響識(shí)別系統(tǒng)的實(shí)際識(shí)別效果.比如在擁擠或狹窄的城市道路上,車載攝像頭視野容易被前車或其他障礙物遮擋從而影響系統(tǒng)的識(shí)別效果;而在較為寬暢的道路上,雖然也可能會(huì)出現(xiàn)被遮擋的情況,但是這種遮擋是暫時(shí)的.對(duì)此可采取每隔幾秒鐘采集一次圖像的方式來降低遮擋帶來的影響.此外,該識(shí)別系統(tǒng)還會(huì)受到逆光、強(qiáng)光或夜晚光線不足等情況影響.

4 結(jié) 語(yǔ)

本文以支持向量機(jī)作為機(jī)器學(xué)習(xí)算法,以“暗通道均值+灰度均值”作為特征參數(shù)組合,設(shè)計(jì)濃霧天識(shí)別算法,并結(jié)合DM642芯片、CCD攝像頭和屏幕搭建一套車載濃霧天識(shí)別系統(tǒng).通過模擬試驗(yàn)檢驗(yàn)該濃霧天識(shí)別系統(tǒng)的可行性和正確性,結(jié)果顯示,該系統(tǒng)對(duì)晴霧天識(shí)別的準(zhǔn)確率可達(dá)95%,具有較好的識(shí)別效果.

研究的不足之處在于還未針對(duì)該系統(tǒng)開展車載試驗(yàn),下一步工作將對(duì)該車載濃霧天氣識(shí)別系統(tǒng)進(jìn)行實(shí)車測(cè)試研究.