光度魯棒的違章壓線檢測系統(tǒng)

于潤潤， 朱凱贏， 蔣光好， 吳 益， 周 偉

（上海工程技術(shù)大學 電子電氣工程學院， 上海 201620）

0 引 言

車輛壓線檢測是指使用攝像機采集道路視頻數(shù)據(jù)，并針對視頻中車輛壓線的行為進行檢測。 已有的壓線檢測研究使用的大部分方法為傳統(tǒng)檢測方法，并且只能適用于固定攝像頭的靜止場景。 文獻［1］使用一定先驗知識劃定感興趣區(qū)，使用邊緣檢測和Hough 變換擬合出車道線，用判斷車道線區(qū)域是否有車輛來判定是否壓線。 文獻［2］使用連續(xù)圖像幀間的灰度平均差計算得到黃線殘缺信息，并設(shè)置殘缺長度閾值來判斷是否有車輛違章壓線。 文獻［3］提出了使用黃線區(qū)域多角度拍攝，使用小波變換分割算法，對比相鄰幀圖像對應像素的方法來辨別是否有壓線行為。 這類方法應對不同天氣，光照等，都會出現(xiàn)較大誤差。

實際場景中經(jīng)常會出現(xiàn)光照變化的情況，比如相機與點光源的相對位置發(fā)生了變化，相機不斷地調(diào)整自身的曝光時間，光源本身的亮度發(fā)生變化。針對光照變化的問題，常見的解決方法有2 個方向，分別是：相機參數(shù)的標定和調(diào)整圖像的亮度。 其中，相機參數(shù)的標定主要針對相機曝光時間不固定的情況，需要在線標定相機的曝光時間，這種方法常見于機器人自主定位導航中［4-5］。 但這種方法并不適用于基于深度學習構(gòu)建的方法，因此在本文提出的違章壓線檢測系統(tǒng)中，本文使用圖像亮度調(diào)整方法對輸入的圖像進行預處理，保證連續(xù)圖像之間亮度始終保持相對一致。 最后，使用空間卷積模塊和像素統(tǒng)計的方法對存在遮擋下的車道線分割結(jié)果進行補全，優(yōu)化了車道線分割結(jié)果。 本文創(chuàng)新點總結(jié)如下：

（1）在基于視覺的深度學習方法中加入圖像亮度調(diào)整方法，使前后圖像的亮度始終保持一致。

（2）使用深度神經(jīng)網(wǎng)絡(luò)進行車道線語義分割和車輛目標檢測，并設(shè)計了感興趣區(qū)域以及像素統(tǒng)計方法用來提高車道線分割在遮擋情況下的魯棒性。

1 圖像亮度調(diào)整

對于圖像中景物差異不大的情況，適合用直方圖匹配法對圖像進行亮度調(diào)整。 首先計算參考圖像的像素直方圖H ＝｛h0，h1，…，hl-1｝，其中l(wèi)表示圖像的灰度值范圍，對于本文中所用的灰度圖像，l ＝255。hi表示像素值等于i的像素的數(shù)量，其中i∈［0，l -1］。 再對需要調(diào)整亮度的圖像的所有像素根據(jù)各自的像素值大小進行排序。 最后按照參考圖像的直方圖對排好序的像素進行分組。 為排序后的像素重新分配像素值的過程見圖1。 由圖1 可知，按從小到大排列的像素中最小的前h0個像素被分為第一組，并對這一組中所有像素分配像素值0，接著再從序列中取后h2個像素分為第二組，并對第二組中的每個像素分配像素值1。 依次類推，排好序的像素最終都會根據(jù)參考的像素直方圖被分配到相對應所屬的組，并被重新分配像素值。

圖1 圖像像素值重分配過程Fig.1 Image pixel value redistribution process

為了對具有相同像素值的像素進行嚴格的排序，對于這些像素值相同的像素，去計算這些像素鄰域的像素值的均值，再用相對應的均值進行比較。當存在一些像素的鄰域均值也相等時，擴大鄰域選取范圍，再次計算均值進行比較，反復上述比較步驟，直至每個像素都被嚴格地排序。 基于直方圖的圖像亮度調(diào)整效果如圖2 所示。

圖2 基于直方圖的圖像亮度調(diào)整效果Fig.2 Image brightness adjustment effect based on histogram

2 壓線檢測模型

2.1 車輛檢測和車道線分割

常用的目標檢測算法可分為：一階段法［6-9］和兩階段法［10-12］。 其中，一階段法讓檢測任務集成在一個模型中，模型直接估計目標的檢測概率和位置坐標，檢測速度更快。 本文選用一階段法中的YOLOv3［13］來進行車輛目標檢測。 在預測過程中不需要候選區(qū)域的選擇，模型根據(jù)提取的高維特征進行目標位置和類別的判定，相比兩階段法、如Faster R-CNN［12］快100 倍。 研究中使用大量車輛數(shù)據(jù)對預訓練好的YOLOv3 模型的參數(shù)進行微調(diào)，讓模型進一步學習車輛數(shù)據(jù)的特征。

基于深度學習的車道線分割方法中，SCNN［14］使用一種空間卷積層模塊，通過對每個特征層上特征點間的信息進行交互加強空間特征的提取。 該方法使用4 種卷積核分別對上、下、左、右四個方向的信息進行提取和融合，使模型加深，但訓練預測速度下降，并且多卷積核的累加，有概率丟失重要特征信息，導致車道線分割中細節(jié)部分效果差。 針對這個問題，本文設(shè)計了更輕量的空間卷積結(jié)構(gòu)，不再使用4 個方向的卷積核，而只使用向下和向左的卷積核進行特征加強。 并且本文提出的方法將該輕量化的空間卷積模塊變?yōu)橐环N注意力機制，讓模型使用空間卷積模塊對提取的特征進行自我校正。 輕量級空間卷積結(jié)構(gòu)如圖3 所示。

圖3 輕量級空間卷積結(jié)構(gòu)Fig.3 Light-weight spatial convolution structure

在空間卷積模塊中，大小為H*W*C的輸入特征圖被分割成為H個1*W*C的特征圖，使用1*w*c的卷積核對該特征進行計算，其中則滿足w ＜W，在本次的實驗中將w設(shè)為9。 同時也對該輸入特征從上到下以相似的方式進行卷積運算。 此后，將2 次卷積運算的結(jié)果直接堆疊成一組特征圖，再進行1*1*2C的卷積運算，提取出結(jié)構(gòu)注意力圖。 最后將原始的特征圖和得到的結(jié)構(gòu)注意力圖進行一一對應地相乘，得到特征的自校正量，并將自校正量累加到原始特征上，得到具有強注意力機制的高維特征。 經(jīng)過結(jié)構(gòu)注意力機制的空間信息加強，模型中提取的特征就會具有足夠的結(jié)構(gòu)信息來幫助提高車道線檢測的結(jié)果。

2.2 車輛壓線判斷模型

得到車輛檢測圖和車道線分割圖后，進行車輛壓線判斷。 如果車輛的特定位置出現(xiàn)在車道線分割結(jié)果上，就判斷為出現(xiàn)壓線行為［15］。 在對車輛進行目標檢測時，被檢測出的車輛會在圖像上有一個二維的矩形框，研究中設(shè)定該矩形框的底邊的左側(cè)區(qū)域和右側(cè)區(qū)域為2 個感興趣區(qū)域， 在檢測車輛是否壓線的同時判斷是左轉(zhuǎn)壓線、還是右轉(zhuǎn)壓線。 并且，為了適用于任何尺寸的輸入圖像，感興趣區(qū)域的大小設(shè)置成輸入圖像尺寸的20%。

3 實驗

為了驗證本文設(shè)計的系統(tǒng)的有效性，通過車載行車記錄儀采集車輛行駛視頻，共計12 000張圖像，用于實驗，為保證實驗數(shù)據(jù)的多樣性，額外加入了10 段網(wǎng)絡(luò)上違章壓線視頻來擴充測試數(shù)據(jù)集。

對于車輛壓線檢測方法，文獻［15］使用圖像分割技術(shù)進行判斷。 本文對此方法和本文所提出的方法進行了對比實驗。 具體結(jié)果見表1。 由于文獻［15］使用較深的神經(jīng)網(wǎng)絡(luò)模型來分割車道線，所以推斷時間更長；又由于在真實場景中，由于光照影響和實際照片成片中存在成像模糊的問題，導致在進行車道線分割時，車道線分割的邊緣比較模糊，最終使檢測效果下降。 本文采用的圖像亮度調(diào)整、目標檢測和語義分割技術(shù)相結(jié)合的方法，在復雜的場景下也可以保持目標檢測和車道線分割的準確性。 本文設(shè)計的方法對于車輛壓線檢測的準確率達到了96%以上，滿足實際需求。 具體壓線檢測結(jié)果如圖4 所示。

表1 移動端車輛壓線檢測對比結(jié)果Tab.1 Comparison results of vehicle lane-crossing detection at mobile end

圖4 壓線檢測結(jié)果Fig.4 Results of vehicle lane-crossing detection

4 結(jié)束語

本文提出了一種車輛壓線檢測系統(tǒng)，利用深度學習算法和傳統(tǒng)算法相結(jié)合，能夠在不同光照條件下檢測車輛壓線行為。 設(shè)計了輕量級的空間卷積模塊使得車道線分割網(wǎng)絡(luò)能夠準確地提取到車道線特征。 最終的實驗表明本文提出的方法能夠在復雜場景中準確地檢測出車輛壓線行為。 然而，由于車道線檢測和車輛檢測沒有進一步整合到一個模型中，系統(tǒng)的計算效率還沒有達到最高。 未來，希望將車輛檢測任務和車道線分割任務融合進一個模型中，使得整個系統(tǒng)的訓練過程更加容易，計算效率進一步提高。