基于遷移學(xué)習(xí)的路面障礙物檢測(cè)

趙永剛，裴崇利

(中通客車股份有限公司，山東 聊城 252000)

近些年智能汽車技術(shù)迅速發(fā)展，對(duì)于緩解交通擁擠、減少交通事故有著深遠(yuǎn)的影響[1]。其智能系統(tǒng)可分為三個(gè)部分：環(huán)境感知、決策規(guī)劃、運(yùn)動(dòng)控制。其中環(huán)境感知的質(zhì)量是決策規(guī)劃和運(yùn)動(dòng)控制的基礎(chǔ)和前提[2]，目前通過(guò)搭載高性能的傳感器對(duì)交通環(huán)境中的行人和車輛能進(jìn)行有效地識(shí)別和檢測(cè)。但是道路環(huán)境復(fù)雜多樣，除了行人和車輛外，還包括其他非規(guī)則的障礙物(凹坑、路障、石墩等)。這類非規(guī)則的障礙物同樣極大地影響到智能車駕駛的安全性和舒適性。

目前，國(guó)內(nèi)外研究人員大多專注于行人和車輛的識(shí)別與檢測(cè)，而對(duì)于非規(guī)則交通參與物的研究較少，其中文獻(xiàn)[3]以從雙目視覺(jué)中獲取道路信息，選擇Canny模板作為邊緣檢測(cè)模板，準(zhǔn)確定位到路面缺陷的邊緣；這類方法一般適用于清晰的結(jié)構(gòu)化路面，當(dāng)路面紋理不清楚時(shí)，路面缺陷識(shí)別精度不高。文獻(xiàn)[4]采用雷達(dá)傳感器從探測(cè)信號(hào)識(shí)別路面結(jié)構(gòu)的缺陷；雷達(dá)信號(hào)有時(shí)容易受到環(huán)境干擾，檢測(cè)的魯棒性會(huì)變差。文獻(xiàn)[5]利用形態(tài)學(xué)的邊界提取算法獲得道路障礙物的輪廓，實(shí)現(xiàn)石塊的檢測(cè)；由于石塊的大小和形狀具有不確定性，所以依靠形態(tài)學(xué)的檢測(cè)方法的泛化能力較差，無(wú)法精確地識(shí)別各種類型的石塊。

1 解決方案

為了提高不規(guī)則障礙物檢測(cè)的精度，同時(shí)又兼顧硬件成本，本文提出一種遷移學(xué)習(xí)與機(jī)器視覺(jué)相結(jié)合的解決方案，如圖1所示。

圖1 遷移學(xué)習(xí)與機(jī)器視覺(jué)相結(jié)合的方案

1.1 相機(jī)選型與安裝

智能汽車不同的應(yīng)用場(chǎng)景決定了所選用相機(jī)的參數(shù)和規(guī)格。相機(jī)選型包括機(jī)身選型和鏡頭選型，相機(jī)選型主要考慮成像的分辨率、功耗、體積以及重量等因素?？紤]到本文所選用的相機(jī)主要用于路面不規(guī)則障礙物的檢測(cè)，對(duì)圖像紋理和細(xì)節(jié)要求較高，但是實(shí)時(shí)性又不能太低，所以最終選用的相機(jī)為BASLER ACA1200-50gl，其分辨率為1 920×1 200 pixel，幀率為51 Fps，成像圖片為彩色，額定功率3.8 W。

鏡頭的選型主要考慮工作距離和視角寬度兩方面的因素。一般城市道路的平均車速為40 km/h，安全車距保持30 m以上，所用鏡頭的有效工作距離應(yīng)大于安全車距。另外車輛在行駛過(guò)程中一般只關(guān)注本車道和相鄰車道的道路狀況。我國(guó)城市道路車道寬度一般為3.75 m，智能車輛一般需關(guān)注到本車道和左右相鄰車道的障礙物信息，因此視角寬度應(yīng)不低于11 m。根據(jù)相機(jī)的參數(shù)和鏡頭的工作距離及視角寬度，可計(jì)算出鏡頭的其他參數(shù)：鏡頭焦距為17.99 mm，垂直視角為13°，目標(biāo)寬度為11 m，高度為6.8 m，如圖2所示。根據(jù)圖2的計(jì)算結(jié)果最終選定鏡頭的型號(hào)為BaslerC23-1618。

圖2 鏡頭主要參數(shù)

相機(jī)捕獲的圖像除了道路信息，還包括其他交通環(huán)境信息，如建筑、樹(shù)木、車輛等。為了確保感知信息中盡可能只包含道路不規(guī)則障礙物信息，相機(jī)在安裝的時(shí)候要調(diào)整合適俯仰角α，如圖3所示。

圖3 相機(jī)安裝布置示意圖

相機(jī)的安裝應(yīng)以最大程度地感知到路面信息為原則，如圖4所示，使其圖像能夠有效地避免其他環(huán)境信息的干擾，有利于提高障礙物的檢測(cè)精度。

(a)不合適安裝方位

1.2 不規(guī)則障礙物檢測(cè)模型建模與訓(xùn)練

YOLO V3是YOLO[6-7]系列目標(biāo)檢測(cè)算法中的第三版[8]。相比之前版本，該版檢測(cè)算法的實(shí)時(shí)性和準(zhǔn)確性都得到了有效提高，尤其是針對(duì)小目標(biāo)的精度有顯著提升。YOLO V3已經(jīng)成為最廣泛應(yīng)用的目標(biāo)檢測(cè)算法之一。

通常從零開(kāi)始訓(xùn)練一個(gè)目標(biāo)檢測(cè)模型是一個(gè)繁瑣而復(fù)雜的過(guò)程，這個(gè)過(guò)程需要大量的訓(xùn)練數(shù)據(jù)和豐富的調(diào)參經(jīng)驗(yàn)。為了加速模型的開(kāi)發(fā)和訓(xùn)練，本文基于遷移學(xué)習(xí)對(duì)YOLO V3模型進(jìn)行再訓(xùn)練，獲得不規(guī)則障礙物的檢測(cè)模型，如圖5所示。

圖5 遷移學(xué)習(xí)建模流程

遷移學(xué)習(xí)是通過(guò)從已學(xué)習(xí)的相關(guān)任務(wù)中轉(zhuǎn)移知識(shí)來(lái)改進(jìn)學(xué)習(xí)的新任務(wù)[9]，只需要利用相對(duì)較少的訓(xùn)練數(shù)據(jù)對(duì)預(yù)訓(xùn)的YOLO V3模型中的參數(shù)進(jìn)行微調(diào)，便可以快速獲得新的目標(biāo)檢測(cè)模型。遷移學(xué)習(xí)能提高模型訓(xùn)練的速度，降低對(duì)訓(xùn)練樣本的依賴。

1.2.1 訓(xùn)練樣本的采集與預(yù)處理

本文檢測(cè)的不規(guī)則障礙物主要包括四類：凹坑、石塊、石墩、路障。這四類不規(guī)則障礙物原始數(shù)據(jù)的采集來(lái)源于兩部分：網(wǎng)絡(luò)爬蟲和實(shí)車采集。網(wǎng)絡(luò)爬蟲就是根據(jù)關(guān)鍵詞使用網(wǎng)絡(luò)爬蟲技術(shù)從百度圖庫(kù)、搜狗圖庫(kù)、谷歌圖庫(kù)等收集符合要求的圖片；實(shí)車實(shí)驗(yàn)則是通過(guò)車載攝像頭在真實(shí)道路環(huán)境中采集這四類障礙物的圖像信息。通過(guò)上述兩種方法共采集原始訓(xùn)練數(shù)據(jù)圖片3 600張，部分如圖6所示。

圖6 部分障礙物訓(xùn)練數(shù)據(jù)集

為了增廣訓(xùn)練樣本的數(shù)據(jù)，本文基于圖像處理的方法分別采用鏡像翻轉(zhuǎn)、隨機(jī)亮度調(diào)節(jié)和自適應(yīng)圖像增強(qiáng)算法將原始數(shù)據(jù)拓展到9 570張，其中凹坑圖片2 587張，石塊圖片2 362張，石墩?qǐng)D片2 503張，路障圖片2 118張，各類樣本數(shù)據(jù)分布均衡，滿足訓(xùn)練要求。最后采用LabelMe[10]數(shù)據(jù)標(biāo)注工具對(duì)圖像進(jìn)行標(biāo)注，生成VOC格式的訓(xùn)練數(shù)據(jù)。

1.2.2 YOLO V3深度學(xué)習(xí)網(wǎng)絡(luò)模型遷移學(xué)習(xí)

遷移學(xué)習(xí)是在已有的YOLO V3模型的基礎(chǔ)上對(duì)模型的參數(shù)進(jìn)行重新訓(xùn)練。主要包括以下步驟：

1)首先從Github上下載YOLO V3預(yù)訓(xùn)練模型，然后配置cfg文件。設(shè)置訓(xùn)練數(shù)據(jù)和測(cè)數(shù)據(jù)的路徑，將batch設(shè)置為32，subdivisions=2，代表每個(gè)批次參與訓(xùn)練的圖像數(shù)量。

2)由于本文只檢測(cè)上述四類障礙物，所以classess設(shè)置為4，filters設(shè)置filters=(classess+5)*3=27，5代表檢測(cè)邊框的位置信息和1個(gè)分類信息，3代表錨框的數(shù)量。

3)整個(gè)訓(xùn)練過(guò)程最大迭代周期設(shè)置45，默認(rèn)優(yōu)先使用GPU進(jìn)行訓(xùn)練。參數(shù)設(shè)置好之后使用train.py文件對(duì)模型進(jìn)行再訓(xùn)練，完成遷移學(xué)習(xí)。訓(xùn)練過(guò)程如圖7所示。

圖7 YOLO V3再訓(xùn)練過(guò)程

由圖7可知，隨著模型不斷訓(xùn)練和迭代次數(shù)的增加，YOLO V3深度學(xué)習(xí)網(wǎng)絡(luò)模型逐漸趨于收斂。圖8中準(zhǔn)確率曲線代表模型對(duì)各類障礙物識(shí)別的精度，隨著迭代周期的增加準(zhǔn)確率不斷升高；損失值代表回歸邊框誤差，為置信度誤差與識(shí)別誤差之和，隨著模型不斷訓(xùn)練，損失值不斷下降，逐漸趨于收斂，最終滿足模型檢測(cè)需求。

1.3 模型效果與評(píng)估

為了驗(yàn)證模型的準(zhǔn)確性和魯棒性，選取了200幅未參與訓(xùn)練的圖像進(jìn)行測(cè)試驗(yàn)證，部分障礙物檢測(cè)測(cè)試結(jié)果如圖8所示，整個(gè)測(cè)試過(guò)程包含不規(guī)則障礙物412個(gè)，其中準(zhǔn)確檢出372個(gè)，檢測(cè)準(zhǔn)確率為90.3%，漏檢率與誤檢率的和為9.7%，模型檢測(cè)速度為31 FPS，基本滿足智能車障礙物檢測(cè)對(duì)于實(shí)時(shí)性和準(zhǔn)確性的要求。

圖8 部分障礙物檢測(cè)測(cè)試結(jié)果

2 結(jié)束語(yǔ)

本文以YOLO V3模型為基礎(chǔ)采用遷移學(xué)習(xí)的方法訓(xùn)練了一個(gè)用于智能車不規(guī)則障礙物檢測(cè)的模型。實(shí)驗(yàn)表明該模型在光照較好的道路環(huán)境中基本滿足智能車對(duì)于實(shí)時(shí)性和準(zhǔn)確性的要求。但是相機(jī)的工作性能容易受到光線的干擾，在未來(lái)的研究中可通過(guò)融合多個(gè)傳感器(如雷達(dá))對(duì)模型進(jìn)行改進(jìn)，從而提高模型對(duì)環(huán)境的適應(yīng)性和魯棒性。