基于車載圖像的目標(biāo)車輛壓線檢測(cè)方法①

邱 康，王子磊

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)與技術(shù)學(xué)院 自動(dòng)化系，合肥 230027)

1 概述

車輛壓線檢測(cè)是指對(duì)車輛運(yùn)行過(guò)程中因跨越不同車道而使車輪碾壓車道線的行為進(jìn)行檢測(cè)，它在智能交通系統(tǒng)中具有重要意義，能起到自動(dòng)記錄違章行為、震懾交通違法者、優(yōu)化車流量分布、駕駛輔助等作用[1-8].

已有的車輛壓線檢測(cè)研究大部分是利用監(jiān)控?cái)z像頭對(duì)特定區(qū)域內(nèi)的車輛進(jìn)行壓線檢測(cè).于永彥[3]在黃線區(qū)域周邊設(shè)置側(cè)拍、尾拍、迎拍等多種監(jiān)控方式，基于小波變換分割技術(shù)，采用相鄰幀對(duì)應(yīng)像素對(duì)比較的方法判斷該區(qū)域有無(wú)車輛壓線行為.洪琦[4]等通過(guò)檢測(cè)若干相鄰幀中車道線幾何形狀的變化實(shí)現(xiàn)觀測(cè)區(qū)域內(nèi)的壓線檢測(cè).陸蔚[5]針對(duì)監(jiān)控視頻中固定的黃線區(qū)域，通過(guò)計(jì)算視頻幀間平均灰度值變化的方法進(jìn)行壓線檢測(cè).趙文東等[6]將監(jiān)控視頻中無(wú)車輛壓線的固定黃線區(qū)域分割出來(lái)作為模板，然后用模板和待檢測(cè)區(qū)域匹配，運(yùn)用基于顏色直方圖的圖像分割匹配算法判斷該區(qū)域是否有車輛壓線行為.熊金艷等[7]通過(guò)計(jì)算幀間灰度平均差的方法來(lái)判斷黃線殘缺，通過(guò)黃線連續(xù)殘缺最大長(zhǎng)度的閾值化判斷是否有車輛壓線.王建華等[8]提出了基于邊緣檢測(cè)和Hough 變換的黃線區(qū)域檢測(cè)方法、基于背景差分法的車輛檢測(cè)方法和基于區(qū)域重疊的壓線檢測(cè)方法.胡鵬[9]提出了基于Hough 變換的車道線檢測(cè)、基于閾值分割的車輛檢測(cè)方法和基于區(qū)域重疊的車輛壓線檢測(cè)方法.以上研究都針對(duì)固定區(qū)域的黃線進(jìn)行壓線檢測(cè)，應(yīng)用場(chǎng)景比較受限.

不同于上述固定監(jiān)控視角的檢測(cè)，本文考慮利用車載攝像頭對(duì)前方目標(biāo)車輛的壓線行為進(jìn)行檢測(cè)，其主要優(yōu)勢(shì)有：(1)車載攝像頭不固定且數(shù)量更多，可以檢測(cè)到更廣泛區(qū)域內(nèi)的壓線行為(如非路口區(qū)域)；(2)車載攝像頭相對(duì)目標(biāo)車輛的位置和視角可變，可以更靈活地檢測(cè)各種情況.(3)基于車載攝像頭的前方目標(biāo)車輛壓線檢測(cè)可以對(duì)前方車輛壓線變道做出預(yù)警，防止本車發(fā)生追尾、碰撞等事故.然而針對(duì)這類問(wèn)題的研究工作較少.胡海輝[10]提出了基于差分的車道線邊緣檢測(cè)以及基于車道線夾角變化的車輛自身變道和壓線檢測(cè)方法.文獻(xiàn)[11]把攝像頭固定在車輪上方，通過(guò)計(jì)算車輪外側(cè)邊緣切線和計(jì)算車道邊緣線，根據(jù)兩線是否相交來(lái)判斷車輛自身是否壓線.文獻(xiàn)[12]探究了基于車載視頻對(duì)前方車輛的壓線檢測(cè)，采用圖像掩蔽的局部匹配算法，從視頻中每隔20 分鐘選取1 幀無(wú)壓線行為圖像作為模板，并每隔5 幀讀取1 幀實(shí)時(shí)圖像與模板做相似度對(duì)比.但是移動(dòng)車載圖像不同于固定監(jiān)控圖像，其在一定時(shí)間內(nèi)變化更大，模板匹配方法容易導(dǎo)致誤判.

實(shí)際上，基于車載攝像頭對(duì)前方目標(biāo)車輛進(jìn)行壓線檢測(cè)存在較大的挑戰(zhàn)，主要有以下兩方面：(1)基于監(jiān)督學(xué)習(xí)的車輛壓線檢測(cè)方法需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，但獲取與標(biāo)注車輛壓線數(shù)據(jù)需要耗費(fèi)大量人力物力，且一些危險(xiǎn)行為在現(xiàn)實(shí)中難以采集，目前尚無(wú)相關(guān)公布的數(shù)據(jù)集；(2)車載圖像中由于視角原因，車道線和車輛遮擋非常嚴(yán)重，難以直接根據(jù)對(duì)象在圖像中的位置判斷是否壓線.針對(duì)這些問(wèn)題，本文從數(shù)據(jù)和方法兩方面開(kāi)展研究.(1)在數(shù)據(jù)方面，采用虛擬交通道路場(chǎng)景構(gòu)建、數(shù)據(jù)自動(dòng)采集和標(biāo)注，生成大量車載圖像及其對(duì)應(yīng)標(biāo)注，得到壓線檢測(cè)數(shù)據(jù)集(Lane-Crossing Detection dataset，LCD 數(shù)據(jù)集).(2)在方法方面，針對(duì)視角帶來(lái)的圖像空間與物理空間難以映射的問(wèn)題，采用車輛較低的前后輪下端位置估計(jì)進(jìn)行壓線檢測(cè).

綜上，本文主要有以下3 個(gè)方面的貢獻(xiàn)：(1)利用合成數(shù)據(jù)方法構(gòu)建了車輛壓線檢測(cè)LCD 數(shù)據(jù)集，數(shù)據(jù)標(biāo)注豐富準(zhǔn)確，場(chǎng)景、時(shí)間、天氣等多樣化，攝像頭的視角和距離多樣；(2)結(jié)合圖像語(yǔ)義分割，提出了基于前后輪位置估計(jì)的壓線檢測(cè)方法，能夠有效處理低視角帶來(lái)的判別問(wèn)題；(3)進(jìn)行了不同設(shè)置的實(shí)驗(yàn)，本文車輛壓線檢測(cè)方法在測(cè)試數(shù)據(jù)上的平均精度達(dá)到88.7%，并且分析了不同光照和天氣條件對(duì)檢測(cè)結(jié)果的影響.

2 壓線檢測(cè)(LCD)數(shù)據(jù)集

真實(shí)的壓線檢測(cè)數(shù)據(jù)需要車輛在道路上運(yùn)行采集，等待各種天氣與時(shí)間條件，且需人工標(biāo)注.數(shù)據(jù)獲取難度大且多樣性不易滿足.針對(duì)這些問(wèn)題，一種思路是利用合成數(shù)據(jù)進(jìn)行研究，如文獻(xiàn)[13]使用Unity3D 構(gòu)建了若干可變換多種天氣和時(shí)間的場(chǎng)景，在其中自動(dòng)采集并標(biāo)注數(shù)據(jù)，以此構(gòu)建了Virtual KITTI 數(shù)據(jù)集，用于目標(biāo)檢測(cè)、跟蹤，場(chǎng)景與實(shí)例分割，驗(yàn)證了深度學(xué)習(xí)算法在真實(shí)與虛擬數(shù)據(jù)中訓(xùn)練有類似的效果.文獻(xiàn)[14]利用合成數(shù)據(jù)方法構(gòu)建的SYNTHIA 數(shù)據(jù)集目前已成為交通場(chǎng)景語(yǔ)義分割的標(biāo)準(zhǔn)數(shù)據(jù)集.

本文基于Unreal Engine 4 構(gòu)建多種交通場(chǎng)景，并利用插件Airsim[15]開(kāi)發(fā)數(shù)據(jù)采集器和數(shù)據(jù)標(biāo)注器，以此構(gòu)建LCD 數(shù)據(jù)集.為逼近真實(shí)情況，數(shù)據(jù)集在場(chǎng)景、目標(biāo)車輛、時(shí)間點(diǎn)、天氣等方面都進(jìn)行多樣化設(shè)置.真實(shí)交通場(chǎng)景中，路口附近實(shí)線較多，所以主要考慮路口對(duì)應(yīng)的場(chǎng)景，構(gòu)造的場(chǎng)景包含四種不同類型的路口：非對(duì)稱路口、高架橋路口、下穿隧道路口和T 字形路口，如圖1所示.

城市道路主要運(yùn)行的是小汽車，還有部分貨車和巴士，為此構(gòu)造了具有代表性的目標(biāo)車輛：小汽車和貨車.在光照方面，為了觀察不同光照對(duì)本任務(wù)的影響，構(gòu)造了多種光照時(shí)間點(diǎn)：中午(noon)、傍晚(evening)和深夜(night)，如圖2所示.

在天氣方面，為了觀察不同的天氣對(duì)本任務(wù)的影響并進(jìn)行對(duì)比，構(gòu)造了晴天(sunny)、小雨天(lightRain)、大雨天(heavyRain)、小霧天(lightFog)、小雪天(lightSnow)等天氣，如圖3所示.

圖1 4 種場(chǎng)景

圖2 3 種光照

圖3 5 種天氣

小汽車在汽車總體中占比超過(guò)83%，且是汽車保有量增長(zhǎng)的主要組成部分[16]，也是城市道路交通中的主體，故本文重點(diǎn)針對(duì)小汽車(含SUV 等)的壓線行為進(jìn)行研究.最終構(gòu)建的LCD 數(shù)據(jù)集在不同的天氣和時(shí)間點(diǎn)上的分布情況如表1所示，我們采集了更多的常見(jiàn)情況下的數(shù)據(jù)：白天的數(shù)據(jù)較多，傍晚的數(shù)據(jù)相對(duì)較少；車輛壓線的數(shù)據(jù)總是少于不壓線的數(shù)據(jù).舉例說(shuō)明，表1中天氣為sunny、時(shí)間為noon 的數(shù)據(jù)有4542 條，其中壓線數(shù)據(jù)占比29.3%；天氣為lightSnow、時(shí)間為evening 的數(shù)據(jù)有664 條，其中壓線數(shù)據(jù)占比36.9%.此外，在每種條件下，都在場(chǎng)景中設(shè)置2-6 條線路進(jìn)行采集，每條線路以從0 開(kāi)始遞增的整數(shù)routeID 標(biāo)識(shí)，不同線路的數(shù)據(jù)量大致相同.舉例說(shuō)明，表1中天氣為sunny、時(shí)間為noon 的數(shù)據(jù)含6 條線路，對(duì)應(yīng)的routeID 范圍為0-5；天氣為sunny、時(shí)間為evening 的數(shù)據(jù)含2 條線路，對(duì)應(yīng)的routeID 范圍為0-1.

每1 條數(shù)據(jù)包含3 個(gè)文件：原圖、分割圖、壓線標(biāo)簽json 文件，如圖4所示.其中，分割圖是原圖的像素級(jí)標(biāo)簽，標(biāo)記著原圖中每一個(gè)像素所屬的類別如車輛、車道線、綠化帶等；原圖和分割圖的分辨率都是1120×700；壓線標(biāo)簽json 文件包含overlap (目標(biāo)車輛是否壓線)、vehiclePos2D (目標(biāo)車輛中心在圖中投影的位置)、vehicleScale (目標(biāo)車輛在3D 場(chǎng)景中的尺寸)、vehicleVelocity (車輛速度矢量)、lineScale (目標(biāo)車輛碾壓的車道線在3D 場(chǎng)景中的尺寸)、linePos2D(目標(biāo)車輛碾壓的車道線的起點(diǎn)在圖中投影的位置)等信息，可用于判斷目標(biāo)車輛壓線與否、計(jì)算車輛壓線程度等.

表1 LCD 數(shù)據(jù)集分布

圖4 LCD 數(shù)據(jù)集樣本

3 壓線檢測(cè)方法

實(shí)際情況中，車輛壓線的判斷依據(jù)是車輪所代表的車體與車道線是否相交.從圖像角度考慮，需要找到三維空間中的車輪與車道線在車載圖像中的映射，根據(jù)其相交與否進(jìn)行壓線判斷.本文方法首先利用圖像語(yǔ)義分割方法檢測(cè)車輛和車道線在圖像中的對(duì)應(yīng)區(qū)域，然后估計(jì)前后輪在車輛區(qū)域的位置，并檢測(cè)車道線的輪廓，最后依據(jù)兩者是否相交進(jìn)行壓線判斷.

3.1 總體流程

完整的車輛壓線檢測(cè)方法總體流程如圖5所示，主要分為4 個(gè)步驟：車道線檢測(cè)、車輛檢測(cè)、ROI 獲取和壓線判斷.

(1)車道線檢測(cè)和車輛檢測(cè)：在原圖中進(jìn)行前方目標(biāo)車輛檢測(cè)和車道線檢測(cè)，利用圖像語(yǔ)義分割模型獲得檢測(cè)結(jié)果，以分割圖表示.

(2)ROI 獲?。横槍?duì)單一目標(biāo)車輛，在分割圖中獲取車輛區(qū)域的最小水平外接矩形R’，為使ROI 包含更多的車道線區(qū)域以便檢測(cè)判別，將R’按一定比例向外擴(kuò)展得到最終ROI 區(qū)域R，如圖6.(3)壓線判斷：獲取到ROI 后進(jìn)行壓線判別，這是本文需要解決的一個(gè)難點(diǎn).當(dāng)直接用Resnet50[17]進(jìn)行圖像分類時(shí)，結(jié)果顯示訓(xùn)練準(zhǔn)確率和測(cè)試準(zhǔn)確率都在50%左右波動(dòng)，說(shuō)明該任務(wù)對(duì)模型來(lái)說(shuō)幾乎不可學(xué).主要原因是該任務(wù)是一個(gè)復(fù)雜的三維空間位置關(guān)系判斷，而目前的深度學(xué)習(xí)模型并不擅長(zhǎng)解決此類問(wèn)題.為此，本文提出基于前后輪位置估計(jì)的壓線檢測(cè)方法，下節(jié)具體說(shuō)明.

圖5 車輛壓線檢測(cè)方法總體流程圖

圖6 ROI 獲取示意圖

3.2 壓線判斷

基于前后輪位置估計(jì)的壓線判斷方法流程如圖7所示，分為3 個(gè)步驟：車道線輪廓檢測(cè)、車輛前后輪位置估計(jì)、車輛壓線判斷.

圖7 壓線判斷流程圖

(1)車道線輪廓檢測(cè)[18]：從ROI 中分離出車道線區(qū)域，然后檢測(cè)出車道線輪廓對(duì)應(yīng)的直線，如圖8所示.

(2)車輛前后輪位置估計(jì)：從ROI 中分離出車輛區(qū)域，計(jì)算目標(biāo)車輛的兩個(gè)前輪和兩個(gè)后輪分別與地面接觸的線段，如圖9所示.

(3)車輛壓線判斷：將車輛前后輪位置估計(jì)結(jié)果和車道線輪廓檢測(cè)結(jié)果融合并進(jìn)行壓線判斷，具體方法為：若任意一條車輪和地面接觸的線段與任意一條車道線輪廓對(duì)應(yīng)的直線相交，則認(rèn)為車輛壓線；否則認(rèn)為車輛未壓線.

在整個(gè)壓線檢測(cè)計(jì)算中，目標(biāo)車輛前后輪位置估計(jì)是難點(diǎn)，也決定了壓線檢測(cè)的準(zhǔn)確度，下面重點(diǎn)介紹這一部分的實(shí)現(xiàn)方法.事實(shí)上，在車輛前后輪估計(jì)過(guò)程中，車身輪廓是最關(guān)鍵的信息，車身內(nèi)部對(duì)結(jié)果幾乎沒(méi)有影響，故首先對(duì)車輛進(jìn)行邊緣檢測(cè)，將將車輪搜索區(qū)域從車輛整體區(qū)域減少為車輛輪廓區(qū)域，這樣可以大幅降低前后輪的搜索時(shí)間.具體搜索過(guò)程為：首先，找到搜索區(qū)域的左下點(diǎn)A 和右下點(diǎn)B，即搜索區(qū)域內(nèi)分別與ROI 圖像邊緣左下角和右下角距離最近的兩個(gè)點(diǎn).將A 和B 形成的線段看作車輛兩個(gè)后輪與地面接觸的線段.然后，根據(jù)不同情況在搜索區(qū)域內(nèi)移動(dòng)A 和B，得到左上點(diǎn)C 和右上點(diǎn)D，C、D 形成的線段看作車輛兩個(gè)前輪與地面接觸的線段.這里移動(dòng)方式是計(jì)算的關(guān)鍵，決定移動(dòng)方式的核心是判斷車輛相對(duì)車載攝像頭的傾斜程度，這里用搜索區(qū)域最小水平外接矩形R’的寬高比(w為寬度，h為高度，簡(jiǎn)記為w/h)和基于目標(biāo)車輛的類型設(shè)置的閾值ω來(lái)衡量：

圖8 車道線輪廓獲取示意圖

圖9 輪胎位置獲取示意圖

(1) 當(dāng)w/h＜ω時(shí)，目標(biāo)車輛傾斜程度較小，直接將線段AB 沿垂線方向平移一段距離d即可得CD.如圖10(a)所示(圖中包含車道線輪廓的檢測(cè)結(jié)果)

(2) 當(dāng)w/h≥ω時(shí)，目標(biāo)車輛傾斜程度較大，某一個(gè)前輪很可能未被遮擋，所以直接對(duì)前輪估計(jì)位置.具體地，分別在搜索區(qū)域內(nèi)部橫向的最大、最小值的αpx 近鄰范圍內(nèi)(如圖10(b)綠色豎線外側(cè)的紅色車輛區(qū)域) 尋找垂直方向最下的位置，分別得到兩個(gè)點(diǎn)left_point和right_point(圖10(b)搜索區(qū)域內(nèi)的左右兩個(gè)綠色圓圈中心點(diǎn))，它們?yōu)闈撛诘那拜嘃c(diǎn)，這兩點(diǎn)中垂直方向較上的即為前輪，如圖10(b)中的right_point.此時(shí)判斷車輛是向右傾斜的.找到車輛右前輪點(diǎn)D 后需要找到左前輪點(diǎn)C；反之亦然.首先確定臨時(shí)點(diǎn)C’：C’D 平行于AB，且兩者長(zhǎng)度相等；然后，由于投影的關(guān)系，將C’向圖像中心收縮一定的距離，橫向βpx，縱向β/4 px.即得到最終的C 點(diǎn)，CD 就是兩個(gè)前輪與地面接觸的線段，如圖10(c)所示.

圖10 前輪估計(jì)

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)設(shè)置

目標(biāo)車輛前后輪位置估計(jì)的精度主要由其中的幾個(gè)參數(shù)ω，d，α和β決定.事實(shí)上，由于目標(biāo)車輛與攝像頭之間的距離和傾斜角度多變，無(wú)法對(duì)車輪進(jìn)行完全精準(zhǔn)的估計(jì)，盡可能逼近即可.下面對(duì)這幾個(gè)參數(shù)的設(shè)置方式進(jìn)行說(shuō)明.

ω的與目標(biāo)車輛橫截面的最小水平外接矩形的寬高比相關(guān)，當(dāng)車身相對(duì)車載攝像頭完全不傾斜時(shí)，其在車載圖像中的投影的最小水平外接矩形即可近似認(rèn)為是車身橫截面的最小外接矩形，如圖11(a)所示；當(dāng)車身相對(duì)車載攝像頭較較傾斜時(shí)，其在車載圖像中的投影的最小水平外接矩形的寬高比會(huì)更大，如圖11(b)所示；當(dāng)攝像頭恰好可以觀測(cè)到前輪之時(shí)，此時(shí)的寬高比即為ω，如圖11(c)所示，對(duì)于圖中的車輛ω=1.5.實(shí)際情況中，可以對(duì)常見(jiàn)車輛進(jìn)行寬高比采集閾值并錄入數(shù)據(jù)庫(kù)，算法運(yùn)行過(guò)程中只需進(jìn)行查詢即可獲得相應(yīng)參數(shù).

d與h和目標(biāo)車輛長(zhǎng)度有關(guān)，對(duì)于小汽車，可以簡(jiǎn)化為d=0.2×h.觀察圖11，可知車身傾斜程度越大前輪與地面接觸的區(qū)域在ROI 中離車輛邊緣越遠(yuǎn)，所以α與寬高比正相關(guān).同時(shí)，實(shí)驗(yàn)過(guò)程中ROI 的尺寸為固定的200×200，故這里簡(jiǎn)化地將α設(shè)為 (5×w/h).同樣由于ROI 是固定大小的，可以將β簡(jiǎn)化地設(shè)為固定值，這里設(shè)為12.

圖11 前輪車身傾斜程度與寬高比示意

4.2 實(shí)驗(yàn)內(nèi)容

為了驗(yàn)證本文所提方法在車輛壓線檢測(cè)任務(wù)上的有效性，在LCD 數(shù)據(jù)集上進(jìn)行不同條件的對(duì)比實(shí)驗(yàn)，主要有以下3 個(gè)方面的目的：

(1)壓線判斷方法驗(yàn)證：針對(duì)所提壓線判斷方法，利用多種條件下數(shù)據(jù)的ground truth 分割圖進(jìn)行實(shí)驗(yàn)，可以獲得理想分割結(jié)果下(即車輛車道線檢測(cè)完全準(zhǔn)確)壓線檢測(cè)方法的總體效果，亦即壓線判斷方法的有效性，記為Accuracy1.

(2)天氣和光照的影響：基于視覺(jué)的方法會(huì)受到天氣、光照條件等因素的影響，本文利用DeepLab v2[19]語(yǔ)義分割模型進(jìn)行車輛和車道線檢測(cè).利用多種條件下的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，以mIoU 作為車輛和車道線檢測(cè)方法的準(zhǔn)確率，獲得環(huán)境因素對(duì)結(jié)果的影響.

(3)壓線檢測(cè)方法整體有效性：基于語(yǔ)義分割模型產(chǎn)生的結(jié)果進(jìn)行壓線判斷，可以獲得真實(shí)情況下壓線檢測(cè)方法的整體有效性，記為Accuracy2.同時(shí)分析其與Accuracy1 和mIoU 之間的關(guān)系.

此外，基于監(jiān)督學(xué)習(xí)的方法需要對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行劃分，這里采用一個(gè)簡(jiǎn)單的做法：每種條件下routeID=0 的數(shù)據(jù)作為測(cè)試數(shù)據(jù)，其余數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，壓線檢測(cè)都在測(cè)試數(shù)據(jù)上進(jìn)行.綜上，實(shí)驗(yàn)設(shè)置如表2所示，共7 有個(gè)條件對(duì)應(yīng)的實(shí)驗(yàn)組別，每組都針對(duì)上述3 個(gè)目的進(jìn)行實(shí)驗(yàn)，共21 個(gè)實(shí)驗(yàn).

表2 壓線檢測(cè)方法對(duì)比實(shí)驗(yàn)設(shè)置

4.3 結(jié)果分析

最終得到實(shí)驗(yàn)結(jié)果如表3所示.

表3 壓線檢測(cè)方法對(duì)比實(shí)驗(yàn)結(jié)果

從表3的實(shí)驗(yàn)結(jié)果我們可以對(duì)上節(jié)的實(shí)驗(yàn)?zāi)康姆謩e得出以下結(jié)論：

(1)從基于ground truth 的結(jié)果來(lái)看，Accuracy1 都在92.6%以上，說(shuō)明本文所提壓線判斷方法是有效的.實(shí)驗(yàn)結(jié)果表明，誤判的主要因素有兩種：首先是臨界數(shù)據(jù)，即車輪與車道線恰好相交，由于圖像精度原因產(chǎn)生誤判；其次是車輪相對(duì)攝像頭傾斜程度過(guò)大，前輪在圖中比后輪位置還低，直接導(dǎo)致后輪與前輪檢測(cè)方法失效，最終導(dǎo)致誤判，如圖12所示.但這兩種因素在實(shí)際情況中較少.

圖12 主要的誤判情況

(2)語(yǔ)義分割的mIoU 整體較高，主要原因是分割目標(biāo)類別較少，只有3 類：背景、目標(biāo)車輛和車道線.其中實(shí)驗(yàn)6 較低，因?yàn)榘硐鄬?duì)中午缺少陽(yáng)光，相對(duì)深夜缺少路燈光，光照條件最差；大雨和小雪天氣會(huì)使路面和車輛形成反光、遮擋等不利因素，故其mIoU 相對(duì)于晴天和小雨天較低；小霧天氣由于只會(huì)使圖像中視野遠(yuǎn)方的區(qū)域亦即背景變得模糊，故對(duì)整體的mIoU 并無(wú)降低的影響，相反地，由于其反光效果將車輛和車道線尤其是車輛的亮度提升，并將背景模糊降低了干擾，從而提升了整體mIoU.

(3)從每組實(shí)驗(yàn)組內(nèi)對(duì)比可知，Accuracy2 相對(duì)于Accuracy1 都會(huì)有一定幅度的降低，主要原因是語(yǔ)義分割模型可能將交通道路環(huán)境中的其它個(gè)別車輛識(shí)別為目標(biāo)車輛；其次是目標(biāo)車輛的壓線檢測(cè)方法的應(yīng)用場(chǎng)景主要是路口附近區(qū)域，語(yǔ)義分割模型將一些路面箭頭也識(shí)別為車道線，如圖13所示.

圖13 Accuracy2 降低主要原因

但是Accuracy2 依然能保持較高水平.只有極端情況如傍晚光照不良的情況下，準(zhǔn)確率才會(huì)有大幅度的降低.圖14反應(yīng)了Accuracy2、Accuracy1 和mIoU的相關(guān)性：Accuracy2 是受Accuracy1 和mIoU 的雙重影響的.具體地，實(shí)驗(yàn)1、2、5、7 中Accuracy1 較高，且mIoU 也較高，故Accuracy2 也較高；實(shí)驗(yàn)3、4 中雖然mIoU 較高，但是Accuracy1 本身較低，故Accuracy2也較低；實(shí)驗(yàn)6 中Accuracy1 本身較低，mIoU 也較低，最終Accuracy2 相對(duì)最低.

圖14 Accuracy1 與Accuracy2 和mIoU 的關(guān)系

4.4 性能分析

本文所有實(shí)驗(yàn)都在GPU 服務(wù)器完成，實(shí)驗(yàn)的軟件以及硬件相關(guān)參數(shù)如表4所示.

表4 實(shí)驗(yàn)的軟件以及硬件

性能取決于軟硬件環(huán)境，同時(shí)也取決于所用算法.此外，圖像尺寸也有顯著影響.較大的圖像在搜索、對(duì)比、統(tǒng)計(jì)等方面耗時(shí)都更多；較小的圖像雖然可以提升性能，但是過(guò)度壓縮通常會(huì)損失較多信息尤其是輪廓邊緣信息，使得檢測(cè)準(zhǔn)確率降低.

性能相關(guān)指標(biāo)如表5所示.其中，原始圖像尺寸取決于采集設(shè)備；ROI 尺寸在性能和準(zhǔn)確率之間折衷進(jìn)行選擇；主要關(guān)注指標(biāo)為單張圖像壓線檢測(cè)平均耗時(shí)，即單張圖像語(yǔ)義分割和壓線判斷平均耗時(shí)之和.語(yǔ)義分割模型的訓(xùn)練過(guò)程相當(dāng)耗時(shí)，但是模型訓(xùn)練完成后的測(cè)試過(guò)程相當(dāng)迅速，這里僅記錄測(cè)試過(guò)程所耗時(shí)間，皆以毫秒為單位，如表5所示.

表5 壓線檢測(cè)方法實(shí)驗(yàn)性能對(duì)比結(jié)果

可見(jiàn)單張圖像的目標(biāo)車輛壓線檢測(cè)平均共耗時(shí)35 毫秒，基本可以滿足實(shí)時(shí)性要求，具備實(shí)際應(yīng)用價(jià)值.

5 結(jié)束語(yǔ)

利用車載攝像頭對(duì)目標(biāo)車輛進(jìn)行追蹤和圖像數(shù)據(jù)采集，能有效地對(duì)其進(jìn)行壓線檢測(cè)，檢測(cè)的關(guān)鍵在于車輪和車道線的相對(duì)位置.本文結(jié)合圖像語(yǔ)義分割方法完成車輛和車道線檢測(cè)，提出基于前后輪位置估計(jì)的壓線判斷方法，實(shí)現(xiàn)了一個(gè)完整的基于車載圖像的目標(biāo)車輛壓線檢測(cè)方法，實(shí)驗(yàn)表明，所提方法簡(jiǎn)單有效.本文利用合成數(shù)據(jù)開(kāi)展研究，后續(xù)可對(duì)做舊[20]等方面進(jìn)行研究，進(jìn)一步提升合成數(shù)據(jù)的真實(shí)性.