基于夜間輔助駕駛的圖像預(yù)處理方法研究

李堃，黎向鋒，楊振泰，畢高杰，謝昌剛

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

據(jù)美國(guó)國(guó)家公路交能安全管理局的事故統(tǒng)計(jì)：雖然夜間駕駛在整個(gè)公路交通中只占25%左右，但是卻有42%的交通事故和58%的重大交通事故發(fā)生在夜間道路上[1]。主要原因在于夜間行車(chē)時(shí)的可視距離相較于日間行車(chē)大為縮短，且夜間行車(chē)時(shí)的光照條件更為復(fù)雜。尤其是對(duì)面來(lái)車(chē)時(shí)前照燈的燈光容易使駕駛員產(chǎn)生不適感[2-3]，對(duì)駕駛員的判斷產(chǎn)生干擾。目前，輔助駕駛技術(shù)發(fā)展迅速，攝像頭作為輔助駕駛的重要工具可通過(guò)對(duì)其采集到的視頻數(shù)據(jù)進(jìn)行處理，能夠?qū)Φ缆分杏绊戱{駛員駕駛的目標(biāo)進(jìn)行快速準(zhǔn)確地檢測(cè)，如：車(chē)輛、行人、路標(biāo)及障礙物等。但是，多數(shù)的目標(biāo)檢測(cè)技術(shù)都是基于日間行車(chē)的情況，日間行車(chē)時(shí)光照相對(duì)充足、均勻，攝像頭采集的視頻數(shù)據(jù)中噪聲較少，智能算法能夠成功應(yīng)用于場(chǎng)景，實(shí)現(xiàn)高效的目標(biāo)檢測(cè)，為駕駛員提供輔助的駕駛決策。相對(duì)而言，夜間行車(chē)的情況更為復(fù)雜，對(duì)面來(lái)車(chē)的照明燈和路燈等光源不僅會(huì)對(duì)駕駛員產(chǎn)生干擾，同時(shí)攝像頭在這些光源下采集到的視頻數(shù)據(jù)中也包含了大量的眩光。

根據(jù)北美照明工程學(xué)會(huì)定義：眩光是指在視野內(nèi)遠(yuǎn)大于眼睛可適應(yīng)的照明(圖1)。夜間駕駛過(guò)程中采集到的夜視圖像中存在的眩光主要包括白色、紅色和黃色3種情況。其中白色和紅色眩光分別由車(chē)輛的照明燈和剎車(chē)燈產(chǎn)生，較為常見(jiàn)；黃色眩光是由轉(zhuǎn)向燈或者駐車(chē)燈產(chǎn)生。相對(duì)于前兩種情況，黃色眩光出現(xiàn)頻率低，光源亮度較小，對(duì)駕駛員影響不大。眩光問(wèn)題通常的解決方法是改善照明方案或者進(jìn)行遮光處理等[4]，但是夜視圖像中光源的不確定性使得傳統(tǒng)的解決方法很難達(dá)到預(yù)期效果。本文針對(duì)夜視圖像中的眩光問(wèn)題，通過(guò)對(duì)比多種方法[5-9]，選擇去霧算法作為去除白色眩光的方法，并簡(jiǎn)化計(jì)算過(guò)程，在保證去霧效果的前提下，大幅提升了處理速度。同時(shí)，針對(duì)紅色眩光提出了一種針對(duì)性的去除方法，能夠有效抑制夜視圖像中的紅色眩光，改善圖像視覺(jué)效果(本刊為黑白印刷，圖片如有疑問(wèn)請(qǐng)咨詢(xún)作者)。

圖1 存在眩光的夜視圖像

1 白色眩光的去除

如圖1所示，由于路燈或者對(duì)面來(lái)車(chē)的照明燈等光源影響，夜視圖像中包含了大量的眩光。圖1(a)的夜視圖像展示了道路旁路燈產(chǎn)生的白色眩光和前方車(chē)輛尾燈產(chǎn)生的紅色眩光，圖1(b)展示了對(duì)面來(lái)車(chē)的前照燈產(chǎn)生的白色眩光。這是兩種典型夜視圖像中包含的眩光情況。眩光的存在使得夜視圖像的視覺(jué)效果很差，整體的對(duì)比度偏低，存在大量噪聲。智能算法無(wú)法在這樣的場(chǎng)景下產(chǎn)生理想識(shí)別效果，需要對(duì)其中存在的眩光進(jìn)行去除。

通過(guò)觀察噪聲分布的特征可以發(fā)現(xiàn)，夜視圖像中的眩光噪聲呈現(xiàn)明顯的霧狀特征，因此，可以使用去霧算法進(jìn)行去除。常用的去霧算法有暗通道先驗(yàn)去霧[10]、直方圖均衡去霧[8]、同態(tài)濾波增強(qiáng)以及基于Retinex[9]的去霧方法等。分別使用上述常用去霧方法處理夜視圖像，處理效果如圖2所示。

圖2 不同方法去霧效果

觀察圖2可以發(fā)現(xiàn)，針對(duì)夜視圖像中存在的眩光問(wèn)題，暗通道先驗(yàn)去霧算法的處理效果最好，因此本文選擇暗通道先驗(yàn)去霧算法作為去除夜視圖像中眩光的基準(zhǔn)方法。

圖3所示為兩幅夜視圖像的暗通道圖像。原始圖像的暗通道圖像計(jì)算公式如下：

其中：Jdark(x)為暗通道圖像；Ω(x)為以像素x為中心的窗口。

圖3 暗通道圖像

暗通道先驗(yàn)去霧算法的核心為：

Jdark→0

由此推導(dǎo)出的恢復(fù)公式為：

其中：A為全球大氣光成分；I(x)為待去霧的圖像；J(x)為無(wú)霧圖像；t為折射率；t0為常數(shù)，取t0=0.1。

傳統(tǒng)暗通道先驗(yàn)去霧算法計(jì)算流程如圖4所示。盡管暗通道先驗(yàn)去霧在去霧效果上表現(xiàn)優(yōu)異，但是處理效率不高，無(wú)法滿(mǎn)足實(shí)際應(yīng)用的要求。本文對(duì)暗通道先驗(yàn)去霧方法中的計(jì)算部分做了簡(jiǎn)化處理，使得其在保證處理效果基礎(chǔ)上滿(mǎn)足實(shí)時(shí)性的要求。

圖4 暗通道先驗(yàn)計(jì)算流程圖

1.1 原始數(shù)據(jù)降采樣

處理圖像數(shù)據(jù)時(shí)，在對(duì)圖像細(xì)節(jié)處理效果要求不高且圖像尺寸相對(duì)較大時(shí)，常常使用降采樣方法以減少數(shù)據(jù)的計(jì)算量。本文使用的原始數(shù)據(jù)是由上汽提供的行車(chē)記錄儀實(shí)測(cè)數(shù)據(jù)，每幀圖像的尺寸為1280×720，降采樣的比例為0.5。實(shí)驗(yàn)所使用的計(jì)算機(jī)配置為inteli5處理器，2.50GHz，4GB內(nèi)存。實(shí)驗(yàn)表明，對(duì)原始數(shù)據(jù)降采樣，得到的結(jié)果圖像與直接使用原始數(shù)據(jù)計(jì)算得到的結(jié)果圖像差異很小，滿(mǎn)足預(yù)期效果；同時(shí)計(jì)算速度得到大幅提升(表1)。

表1 降采樣前后算法運(yùn)行平均時(shí)間 單位：ms

1.2 省略對(duì)暗通道圖像的最小值濾波/導(dǎo)向?yàn)V波處理

對(duì)暗通道圖像進(jìn)行最小值濾波/導(dǎo)向?yàn)V波處理是對(duì)透射率的細(xì)化。為了解決在景深突變的情況下，去霧圖像中物體邊緣出現(xiàn)的halo效應(yīng)，同時(shí)也是數(shù)據(jù)計(jì)算中耗時(shí)較長(zhǎng)的部分。依照實(shí)際情況，夜視圖像中所涉及到的場(chǎng)景中景深的突變比較小，如圖5所示，直接省略該步驟對(duì)處理結(jié)果的影響很小，同時(shí)提高了處理效率(表2)。

圖5 去除導(dǎo)向?yàn)V波前后處理效果

表2 (原始圖像)去除導(dǎo)向?yàn)V波前后算法運(yùn)行平均時(shí)間 單位：ms

處理方法時(shí)間包含導(dǎo)向?yàn)V波166.320去除導(dǎo)向?yàn)V波108.818

1.3 再次降采樣進(jìn)行透射率矩陣的計(jì)算

夜視圖像由于特殊場(chǎng)景的圖像細(xì)節(jié)不豐富，因此原始數(shù)據(jù)的降采樣不會(huì)對(duì)處理結(jié)果產(chǎn)生較大影響；同樣在計(jì)算透射率矩陣時(shí)，對(duì)數(shù)據(jù)再次進(jìn)行降采樣，然后計(jì)算透射率；最后，經(jīng)過(guò)插值得到粗略的透射率矩陣；使用粗略計(jì)算得到的透射率矩陣進(jìn)行夜視圖像的恢復(fù)，也能得到預(yù)期效果(圖6)。透射率降采樣前后算法的運(yùn)行平均時(shí)間如表3所示。

圖6 透射率降采樣前后處理效果

表3 (降采樣數(shù)據(jù))透射率降采樣前后算法運(yùn)行平均時(shí)間 單位：ms

處理方法時(shí)間直接計(jì)算38.665 7降采樣后計(jì)算26.682 7

通過(guò)簡(jiǎn)化暗通道先驗(yàn)算法的計(jì)算過(guò)程，在保證夜視圖像處理效果的前提下，大幅提升了算法的運(yùn)行速度，測(cè)試視頻在實(shí)驗(yàn)設(shè)備上的幀率為36FPS，達(dá)到流暢顯示的要求。

2 紅色眩光的去除

對(duì)比圖2中處理后的結(jié)果圖像，兩幅圖像中的白色霧狀眩光都得到了很好去除，但是相比于第2幅圖像，第1幅結(jié)果圖像中仍然存在著紅色眩光。紅色眩光主要是由車(chē)輛尾燈的燈光在空氣中塵埃的散射作用下形成的，存在于車(chē)輛尾燈的周?chē)尸F(xiàn)出紅色的光暈；同時(shí)，在夜間行駛的情況下，路面也會(huì)反射少量的紅色光，使得夜視圖像中前方車(chē)輛尾部區(qū)域不均勻的分布著紅色眩光。圖7展示了多車(chē)行駛時(shí)較嚴(yán)重的紅色眩光問(wèn)題。

圖7 多車(chē)下的紅色眩光

在單車(chē)或者多車(chē)的情況下，去除白色眩光后的夜視圖像中，紅色眩光的存在都會(huì)降低圖像的視覺(jué)效果，使駕駛員在視覺(jué)上產(chǎn)生不適感。紅色眩光以及路面反射紅光的存在，會(huì)影響依靠顏色分割的相關(guān)算法的實(shí)現(xiàn)，對(duì)智能算法的實(shí)現(xiàn)精度也會(huì)造成影響。

紅色眩光和白色眩光產(chǎn)生的原因不同，但是這兩種眩光的特征相似：均呈現(xiàn)霧狀特征。傳統(tǒng)的去霧算法都是針對(duì)白霧情況，本文針對(duì)夜視圖像中車(chē)輛尾燈的光暈(眩光)以及路面的反射紅光，提出了去除特定顏色眩光的方法，能夠有效去除夜視圖像中的紅色眩光，改善圖像的視覺(jué)效果。

本節(jié)提出的方法基于暗通道先驗(yàn)去霧算法，遵循暗通道先驗(yàn)去霧的基本思想，通過(guò)獲取等價(jià)的暗通道圖像及相關(guān)參數(shù)，對(duì)特定顏色的霧狀噪聲進(jìn)行去除。

2.1 等價(jià)的暗通道圖像

圖8是經(jīng)過(guò)第1次去霧處理后3個(gè)通道的單通道圖像。

圖8 第1次去霧后圖像的3個(gè)通道圖像

觀察3個(gè)通道的圖像，夜視圖像的G、B單通道圖像符合正常夜視圖像的單通道圖像特征，R通道圖像中存在著大量霧狀的白色噪聲，對(duì)應(yīng)于夜視圖像中的紅色眩光。因此，去除夜視圖像中的紅色眩光問(wèn)題可以通過(guò)去除R通道圖像中的白色噪聲而得到解決。

暗通道先驗(yàn)去霧算法適用于三通道圖像，參考上節(jié)的工作，簡(jiǎn)化步驟的暗通道先驗(yàn)去霧算法能同時(shí)保證處理效果和處理效率。R通道圖像上的霧狀噪聲為霧狀特征，對(duì)暗通道先驗(yàn)去霧算法進(jìn)行適當(dāng)?shù)恼{(diào)整，使其能夠應(yīng)用于單通道圖像，從而完成特定顏色霧的去除。

傳統(tǒng)暗通道圖像的獲取方式無(wú)法應(yīng)用于單通道圖像。暗通道先驗(yàn)算法以圖像的暗通道圖像作為標(biāo)準(zhǔn)來(lái)達(dá)到去除原始圖像中霧的目的。對(duì)于單通道圖像中存在的白色霧狀噪聲，需要一個(gè)衡量標(biāo)準(zhǔn)使其能夠達(dá)到暗通道圖像中霧的衡量標(biāo)準(zhǔn)。經(jīng)過(guò)實(shí)驗(yàn)，提出了一個(gè)等價(jià)單通道圖像的暗通道圖像獲取公式：

其中：Kdark(x)為等價(jià)暗通道圖像，當(dāng)Kdark→0時(shí)，圖像中的紅色眩光得到去除。

圖9所示為圖1中兩幅夜視圖像的等價(jià)暗通道圖像，對(duì)比圖9中兩幅等價(jià)暗通道圖像，眩光部分在等價(jià)暗通道圖像中清晰地展現(xiàn)出來(lái)。

圖9 圖像(圖1中)的等價(jià)暗通道圖像

2.2 等價(jià)大氣光值A(chǔ)的計(jì)算

傳統(tǒng)的大氣光值A(chǔ)的獲取方式：

1) 從暗通道圖像中按照亮度的大小選取前0.1%的像素。

2) 在原始圖像中尋找對(duì)應(yīng)點(diǎn)亮度值的平均值作為A值。

在本節(jié)，實(shí)驗(yàn)處理的原始數(shù)據(jù)為R通道圖像，其亮度值的含義為對(duì)應(yīng)點(diǎn)的灰度值；本文使用的圖像均為歸一化的圖像，即R通道圖像的灰度值分布在0～1。在實(shí)驗(yàn)過(guò)程中，通過(guò)觀察多個(gè)夜視場(chǎng)景下的A值，發(fā)現(xiàn)A基本上都分布在0.99～1之間，因此直接將A=1作為已知參數(shù)進(jìn)行后續(xù)的實(shí)驗(yàn)計(jì)算(圖10)。

圖10 不同A值處理效果

對(duì)比圖10中使用不同A值的計(jì)算結(jié)果，將A作為常數(shù)1處理圖像和使用傳統(tǒng)方式獲取A后再處理圖像，結(jié)果差異很小，實(shí)驗(yàn)將A作為常數(shù)進(jìn)行計(jì)算。

實(shí)驗(yàn)中，后續(xù)的圖像處理中的計(jì)算同樣采用第1節(jié)所述的簡(jiǎn)化方法進(jìn)行，兩次去霧處理平均耗時(shí)42ms，結(jié)果視頻的幀率約24FPS，基本達(dá)到流暢顯示的要求。兩次去霧的處理結(jié)果如圖11所示。

3 結(jié)語(yǔ)

攝像頭是汽車(chē)的“眼睛”，在日間行車(chē)的情況下，能夠以視覺(jué)的方式采集前方道路信息，從而識(shí)別出前方車(chē)輛及燈語(yǔ)等，但在夜間行車(chē)情況下，由于行車(chē)周?chē)h(huán)境光照的影響，使攝像頭采集到的圖像數(shù)據(jù)中包含了大量眩光，嚴(yán)重影響車(chē)輛檢測(cè)和燈語(yǔ)檢測(cè)算法的實(shí)現(xiàn)，削弱攝像頭在夜間行車(chē)時(shí)的輔助駕駛功能。本文針對(duì)這一問(wèn)題，使用暗通道先驗(yàn)去霧算法去除圖像中的白色眩光，經(jīng)過(guò)對(duì)計(jì)算過(guò)程的簡(jiǎn)化，同時(shí)保證了夜視圖像的處理質(zhì)量和效率；針對(duì)紅色眩光，提出了去除特定顏色眩光的方法，能夠有效去除夜視圖像中的紅色光暈及地面反光。經(jīng)過(guò)預(yù)處理，攝像頭采集到的夜視圖像整體視覺(jué)效果得到有效提升。實(shí)驗(yàn)證明，本文算法能夠有效應(yīng)用于上汽提供的夜間行車(chē)記錄儀采集的視頻數(shù)據(jù)，為夜間車(chē)輛檢測(cè)及燈語(yǔ)識(shí)別算法的實(shí)現(xiàn)創(chuàng)造了良好條件。

圖11 去霧效果展示