基于YOLOv3算法的中低速列車在途障礙物檢測(cè)方法

王釧文，王 磊，黃仁歡，覃 銳

（通號(hào)萬(wàn)全信號(hào)設(shè)備有限公司，杭州 310000）

列車在自動(dòng)駕駛過(guò)程中的安全性，主要依賴于列車自動(dòng)保護(hù)系統(tǒng)（ATP）。而ATP強(qiáng)調(diào)的是車距與行車授權(quán)，對(duì)于行車過(guò)程中的如行人闖入等突發(fā)狀況，無(wú)法做到有效的防護(hù)與應(yīng)對(duì)。因此列車在途障礙物檢測(cè)作為一種重要的列車安全防護(hù)手段，早已成為列車全自動(dòng)運(yùn)行研究過(guò)程中一個(gè)重要的分支。

對(duì)于列車在途障礙物檢測(cè)的研究，始于20世紀(jì)70年代，研究初期，主要利用各類傳感器，如激光雷達(dá)傳感器和視覺(jué)傳感器，以及各種傳統(tǒng)圖像處理算法，如HOG特征和SVM分類器等。由于硬件手段及軟件算法限制，當(dāng)時(shí)并未獲得較為理想的檢測(cè)效果。2006年深度學(xué)習(xí)理論的提出，及其后硬件條件的不斷更新，為列車在途障礙物檢測(cè)，尤其是中低速列車的在途障礙物檢測(cè)研究注入了新的血液。2015年YOLO檢測(cè)算法的提出，為列車在途障礙物檢測(cè)提供了新的解決方案。YOLO檢測(cè)算法亦屬于卷積神經(jīng)網(wǎng)絡(luò)，但由于對(duì)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化，在確保準(zhǔn)確率的同時(shí)，極大程度上縮短了檢測(cè)時(shí)間。YOLOv3作為目前較優(yōu)的YOLO檢測(cè)算法版本，其理論識(shí)別速率為45 F/s（YOLOv3-320），官方給出的預(yù)訓(xùn)練模型可識(shí)別超過(guò)100種不同物體，極為適合中低速列車在途障礙物識(shí)別使用。

本文以YOLOv3檢測(cè)算法為基礎(chǔ)，在其原有的預(yù)訓(xùn)練模型基礎(chǔ)上做遷移學(xué)習(xí)，并結(jié)合freeman鏈碼邊緣檢測(cè)方法，提出一種基于YOLOv3的中低速列車在途障礙物檢測(cè)方法。

1 方法提出

1.1 YOLOv3介紹

YOLOv3網(wǎng)絡(luò)由多個(gè)按特定順序排列的1×1和3×3卷積層組成。同時(shí)，在每個(gè)卷積層之后順序配置一個(gè)BN層和一個(gè)LeakyReLU層以實(shí)現(xiàn)其網(wǎng)絡(luò)的基礎(chǔ)功能。一般而言網(wǎng)絡(luò)中總共包含53個(gè)卷積層，所以又被稱為Darknet-53網(wǎng)絡(luò)，其詳細(xì)結(jié)構(gòu)如圖1所示。預(yù)測(cè)過(guò)程中，利用(4+1+c) ×k個(gè)大小為1×1的卷積核進(jìn)行卷積預(yù)測(cè)，以求提高識(shí)別準(zhǔn)確度和識(shí)別效率。其中k為預(yù)設(shè)邊界框（bounding box prior）的個(gè)數(shù)（一般默認(rèn)為3），c為預(yù)測(cè)目標(biāo)的類別數(shù)。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.1 YOLOv3 network structure diagram

1.2 遷移學(xué)習(xí)與數(shù)據(jù)擴(kuò)充

遷移學(xué)習(xí)的核心在于，選用已有的高效泛用模型，通過(guò)固定其基礎(chǔ)結(jié)構(gòu)，同時(shí)利用已有數(shù)據(jù)對(duì)其輸出層或最后幾層進(jìn)行重新訓(xùn)練。從而針對(duì)某一特定場(chǎng)景建立更為高效的學(xué)習(xí)模型。由于只對(duì)部分網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所以并不需要極大規(guī)模的樣本數(shù)據(jù)作為支撐。該做法的優(yōu)勢(shì)在于，節(jié)省了大量數(shù)據(jù)收集、處理、標(biāo)注工作，同時(shí)確保了網(wǎng)絡(luò)的識(shí)別能力。

其主要的遷移過(guò)程如下：

訓(xùn)練或引用一個(gè)標(biāo)準(zhǔn)網(wǎng)絡(luò)模型（base network）;

將其前n層復(fù)制到最終需要得到的目標(biāo)模型（target network）的前n層 ;

將target network剩下的其他層隨機(jī)初始化;

使用自身收集的與實(shí)際使用環(huán)境相契合的數(shù)據(jù)，訓(xùn)練得到最終需要的目標(biāo)模型。

訓(xùn)練過(guò)程中可以選擇把遷移過(guò)來(lái)的這前n層“凍結(jié)”起來(lái)，即在訓(xùn)練target task的時(shí)候，不改變這n層的值?；蛘?，不凍結(jié)這前n層，而是不斷地在一定范圍內(nèi)調(diào)整它們的值，該過(guò)程稱之為“微調(diào)”。大部分情況下，為了契合新的使用場(chǎng)景，都會(huì)使用到“微調(diào)”。

1.3 軌道邊緣提取

弗雷曼鏈碼（Freeman）是用曲線起始點(diǎn)的坐標(biāo)和邊界點(diǎn)方向代碼來(lái)描述曲線或邊界的方法，對(duì)于求取圖片中全邊界有非常優(yōu)異的效果。

如圖2所示，在圖像上選定任意一個(gè)像素點(diǎn)，同時(shí)將與其相鄰的8個(gè)像素點(diǎn)分別標(biāo)記為0～7；設(shè)i為圖像上某像素點(diǎn)索引值，目標(biāo)曲線pi→b7的路徑為pi→b4→b5→b6→b7，則其相應(yīng)的弗雷曼鏈碼可以表示為46000。此時(shí)，將其路徑改為pi→b0→b7，那么，它的弗雷曼鏈碼則變?yōu)?6。相對(duì)于鐵軌而言，若經(jīng)統(tǒng)計(jì)發(fā)現(xiàn)其鏈碼中，某一字段出現(xiàn)頻率極高，那么，在軌道邊緣提取過(guò)程中，將該字段出現(xiàn)頻率最高的線段提取出來(lái)，即可得到準(zhǔn)確的軌道邊緣。

圖2 弗雷曼鏈碼8鄰域標(biāo)記方法示意Fig.2 Schematic diagram of Freeman chain code 8 neighborhood marking method

1.4 障礙物檢測(cè)流程

整合以上提到的檢測(cè)手段，配合現(xiàn)有的效果較優(yōu)的圖像與處理手段，結(jié)合車載視覺(jué)傳感器（車載攝像頭）獲取到的視頻信息，即可得到中低速列車在途障礙物檢測(cè)的完整方案，包括如下步驟:

1）車載攝像頭獲取到行車畫(huà)面，歸一化處理后，記錄原圖并拷貝兩個(gè)副本（副本一與副本二），副本與原圖應(yīng)完全一致；

2）對(duì)副本一設(shè)置感興趣區(qū)域（ROI）標(biāo)記出鐵軌大致位置；

3）圖像預(yù)處理、去噪；

4）使用canny算子獲取圖中的所有邊緣信息；

5）使用Freeman鏈碼提取軌道邊緣位置，并標(biāo)記至原圖；

6）對(duì)副本二使用訓(xùn)練好的YOLOv3網(wǎng)絡(luò)檢測(cè)可識(shí)別的物體；

7）若存在可識(shí)別的物體則進(jìn)行步驟8），否則直接進(jìn)行步驟9）；

8）將可識(shí)別物體的位置與步驟5）得到的軌道邊緣做位置對(duì)比，若在軌道邊緣內(nèi)，則在原圖上標(biāo)記該物體并將報(bào)警信息上報(bào)至車載臺(tái)。否則只在原圖上對(duì)該物體進(jìn)行標(biāo)記；

9）在車載臺(tái)上顯示原圖。

依據(jù)步驟1)至步驟9）逐幀檢測(cè)車載攝像頭獲得的行車畫(huà)面，即可實(shí)時(shí)監(jiān)測(cè)列車運(yùn)行過(guò)程中是否存在可能的障礙物，并及時(shí)預(yù)警。

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)集準(zhǔn)備

本文使用天水有軌電車示范線一期工程中采集的車載視頻，共截取2 400張大小為1 024×768的圖片樣本，樣本目標(biāo)包括社會(huì)車輛和信號(hào)機(jī)各1 200張（由于部分圖片中可能包含多種目標(biāo)，故圖片有復(fù)用）。使用其中2 000張（每種1 000張）作為訓(xùn)練集，400張作為測(cè)試集。

2.2 實(shí)驗(yàn)結(jié)果

試驗(yàn)過(guò)程中共計(jì)識(shí)別圖片400張，其中誤識(shí)別4張，漏識(shí)別6張，誤識(shí)別率1.0%，漏識(shí)別率1.5%，漏識(shí)別率相對(duì)較高。其主要原因在于，天水項(xiàng)目車載攝像頭安置于駕駛室內(nèi)，受光線及駕駛室玻璃折射、散射影響較大，成像質(zhì)量較差，嚴(yán)重制約識(shí)別效率。識(shí)別效果如圖3所示。

圖3 軌道邊緣及障礙物識(shí)別效果Fig.3 Track edge and obstacle identification effect picture

3 結(jié)語(yǔ)

本文使用YOLOv3網(wǎng)絡(luò)及freeman鏈路算法，有效識(shí)別了軌道邊緣和列車運(yùn)行前方障礙物，是一種適用于中低速列車的在途障礙物檢測(cè)方法。