基于優(yōu)化 YOLOv3 網(wǎng)絡(luò)的在途列車障礙物檢測方法

初 帆

（卡斯柯信號有限公司，上海 200071）

圖像檢測與識別技術(shù)是現(xiàn)今較為熱門的檢測技術(shù)，首先利用視覺傳感器對待檢測區(qū)域進行成像，然后通過圖像分割、形態(tài)學(xué)分析以及圖像特征提取、分類等傳統(tǒng)技術(shù)對成像結(jié)果進行分析，最終得出檢測、識別結(jié)果[1]。2006年深度學(xué)習(xí)理論的提出以及硬件處理能力的提升，為該項技術(shù)的發(fā)展注入了新的血液[2-3]。伴隨著深度學(xué)習(xí)理論的不斷深化，2015年初，J. Redmon提出了You Only Look Once（YOLO）卷積神經(jīng)網(wǎng)絡(luò)檢測算法。該卷積神經(jīng)網(wǎng)絡(luò)檢測算法是目前深度學(xué)習(xí)領(lǐng)域的代表算法之一，可以直接、快速地完成檢測、識別、標(biāo)定任務(wù)，在一定程度上彌補傳統(tǒng)檢測算法在城市軌道交通行業(yè)應(yīng)用中的不足，特別是通過對其網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，可以較好地滿足城市軌道交通在途列車障礙物的檢測要求。

1 在途障礙物檢測發(fā)展現(xiàn)狀

城市軌道交通行業(yè)障礙物檢測的主要技術(shù)手段可以分為：①接觸式，即利用軋道車、檢測機車在特定的時間對軌行線路進行安全情況檢查；②非接觸式，即利用激光雷達、毫米波雷達、預(yù)置點位的高清攝像機，對軌行區(qū)域進行實時信息采集，達到實時檢查軌行區(qū)安全的目的。其中，非接觸式檢測的主要實現(xiàn)方式是將現(xiàn)場采集到的實時信息上傳至控制中心，由人工進行識別，判斷是否含有威脅行車安全的因素。由于有人工干預(yù)檢測結(jié)果，因此其識別準(zhǔn)確率得到了極大保證，但也可能出現(xiàn)由于人為疏漏遺留安全隱患的情況。

業(yè)內(nèi)一直在尋找一種更為有效的障礙物檢測方法，在節(jié)省人力的同時，降低人為疏漏對軌道安全造成的危害，在此過程中，涌現(xiàn)出許多方式、效果各異的技術(shù)手段，圖像檢測與識別技術(shù)則是其中之一。

YOLOv3網(wǎng)絡(luò)是基于2015年提出的YOLO網(wǎng)絡(luò)結(jié)構(gòu)的第三代迭代成果，其網(wǎng)絡(luò)特點包括識別速率快、準(zhǔn)確率高，可通過多尺度訓(xùn)練的方式增加網(wǎng)絡(luò)對于多尺度目標(biāo)的識別效率，對于微小物有一定的識別能力。該網(wǎng)絡(luò)結(jié)構(gòu)的提出，為卷積神經(jīng)網(wǎng)絡(luò)在城市軌道交通行業(yè)的應(yīng)用提供了條件。但是，由于有軌列車運行速度快、制動距離長，且安全要求高，往往需要檢測系統(tǒng)對較遠(yuǎn)（圖片中成像較小的細(xì)節(jié)部分）的障礙物（不安全因素）進行精準(zhǔn)預(yù)判。而目前YOLOv3網(wǎng)絡(luò)在細(xì)節(jié)目標(biāo)檢測應(yīng)用中仍有不足，因此本文提出一種基于優(yōu)化YOLOv3網(wǎng)絡(luò)的列車在途障礙物檢測方法，即以YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，對其殘差模塊進行優(yōu)化，修正梯度損失，并結(jié)合多尺度訓(xùn)練的方式，提高網(wǎng)絡(luò)對于微小目標(biāo)（圖像細(xì)節(jié)）的識別能力、處理效率及魯棒性。

2 基于優(yōu)化 YOLOv3 網(wǎng)絡(luò)的障礙物檢測方法

2.1 YOLOv3 網(wǎng)絡(luò)

YOLOv3網(wǎng)絡(luò)是一種優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)，主要結(jié)構(gòu)包含卷積層、殘差層以及全連接層，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 1所示。由圖可知，當(dāng)一幅包含目標(biāo)信息的原始圖片輸入后，網(wǎng)絡(luò)先將其分割成多個網(wǎng)格，再通過迭代卷積逐一檢測每個網(wǎng)格中是否包含目標(biāo)物體。若檢測到某一網(wǎng)格中包含目標(biāo)物體，則以該網(wǎng)格為初始網(wǎng)格，對網(wǎng)格中心位置及邊界范圍進行微調(diào)，以獲得目標(biāo)物體的精準(zhǔn)位置。在識別過程中，卷積神經(jīng)網(wǎng)絡(luò)通過某一特定順序的卷積與池化，對圖像進行編碼，以提取固定的特征信息，再通過上采樣將采得的包含特征的編碼信息還原為原始圖片，最后通過全連接層輸出。在識別過程中，特征圖越小，其可識別的目標(biāo)則越小。在YOLOv3網(wǎng)絡(luò)中，當(dāng)輸入圖片尺寸為256像素×256像素時，其可提取特征的最小尺寸為8像素×8像素，能夠滿足在途列車障礙物檢測場景中識別遠(yuǎn)距離目標(biāo)（微小目標(biāo)）的使用條件。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)示意圖（單位：像素）

2.2 微小目標(biāo)識別優(yōu)化

對于神經(jīng)網(wǎng)絡(luò)而言，一般認(rèn)為深度越深、結(jié)構(gòu)越復(fù)雜的網(wǎng)絡(luò)，其目標(biāo)識別、特征提取能力則越強。但是，隨著網(wǎng)絡(luò)層數(shù)的不斷增加，即卷積次數(shù)不斷增加，會產(chǎn)生不同程度的梯度損失，即圖片中原本梯度較大的部分梯度不斷降低，并慢慢趨近于零，從而將原圖中的特征信息逐漸變得“模糊”，深層次的網(wǎng)絡(luò)結(jié)構(gòu)難以提取到有效的特征信息，一般稱這種現(xiàn)象為“梯度消失”現(xiàn)象。尤其對于細(xì)節(jié)性的微小特征而言，梯度消失現(xiàn)象尤為嚴(yán)重。

因此，在結(jié)構(gòu)復(fù)雜、深度較深的卷積神經(jīng)網(wǎng)絡(luò)中，都會引入多個殘差層。其主要作用是將淺層的特征信息迭代入網(wǎng)絡(luò)深層，以確保多次卷積池化后，網(wǎng)絡(luò)內(nèi)仍包含有效的特征信息。

YOLOv3網(wǎng)絡(luò)作為一個較為成熟的卷積神經(jīng)網(wǎng)絡(luò)，在其網(wǎng)絡(luò)架構(gòu)設(shè)計過程中，加入了多個殘差層以避免梯度損失，但實際應(yīng)用效果并不理想。為改善這一問題，本文以YOLOv3網(wǎng)絡(luò)為基礎(chǔ)，對其殘差層結(jié)構(gòu)進行優(yōu)化，同時為避免殘差層過多產(chǎn)生過擬合問題，參考既有文獻中的一些經(jīng)典優(yōu)化方案，設(shè)計了新的殘差層結(jié)構(gòu)，其結(jié)構(gòu)如圖2所示。圖中，F(xiàn)(x)為YOLOv3網(wǎng)絡(luò)自有殘差函數(shù)，x1、x2為模型傳遞過程中相鄰兩層的對應(yīng)輸入值。該結(jié)構(gòu)通過將淺層殘差值經(jīng)權(quán)重疊加至深層的方式來減小梯度損失。

由圖2可知，相較于原有的殘差層，該殘差結(jié)構(gòu)使得網(wǎng)絡(luò)層與層之間的鏈接更為緊密，淺層特征信息通過殘差層傳遞至深層，使得淺層信息得到了更為有效的利用。這有助于訓(xùn)練過程中梯度的反向傳播，減少微小目標(biāo)梯度損失，從而訓(xùn)練出對微小目標(biāo)識別能力更強的卷積神經(jīng)網(wǎng)絡(luò)。

圖2 殘差模塊優(yōu)化結(jié)構(gòu)示意圖

2.3 多尺度訓(xùn)練

由于不同尺度的數(shù)據(jù)集所包含的特征信息有所不同，所以通過改變輸入樣本（Input）的大小來改變網(wǎng)絡(luò)特征圖的尺度，提高網(wǎng)絡(luò)對于不同大小目標(biāo)的識別準(zhǔn)確度。本文使用計算機編程語言Python自有的隨機數(shù)生成函數(shù)，生成隨機數(shù)random，并帶入式（1）中，可得到一系列的隨機數(shù)值dim。

使用dim作為卷積層的初始輸入圖片大小，使樣本最小特征圖片的大小為10像素×10像素，最大為76 像素×76像素，以確保網(wǎng)絡(luò)對微小目標(biāo)（遠(yuǎn)距離目標(biāo)）具有較為穩(wěn)定的識別準(zhǔn)確率。

3 測試驗證

3.1 數(shù)據(jù)集準(zhǔn)備

在測試過程中，以甘肅天水有軌電車現(xiàn)場采集的100 000幀視頻數(shù)據(jù)作為樣本數(shù)據(jù)，采用其中90 000幀作為訓(xùn)練樣本、10 000幀作為測試樣本以驗證網(wǎng)絡(luò)性能。另收集1 000幀包含遠(yuǎn)距離目標(biāo)（約40 m以上）的樣本圖片作為額外的測試集，以驗證網(wǎng)絡(luò)對于遠(yuǎn)距離目標(biāo)的識別能力，其驗證流程如下。

（1）對訓(xùn)練樣本和測試樣本中包含的目標(biāo)信息進行標(biāo)注（標(biāo)注其位置及種類）。

（2）分別使用2種網(wǎng)絡(luò)模型（原網(wǎng)絡(luò)與優(yōu)化后的網(wǎng)絡(luò)模型）對樣本進行學(xué)習(xí)，并對測試集進行識別。

（3）對比識別結(jié)果與標(biāo)注信息的吻合度，若種類正確且位置重合部分超過80%即為準(zhǔn)確，否則認(rèn)為誤檢。其中，若識別結(jié)果中包含某一目標(biāo)但標(biāo)注信息不包含，則認(rèn)為是誤檢；若標(biāo)注信息中包含某一目標(biāo)但識別結(jié)果中不包含，則記為漏檢。

在測試過程中，使用YOLOv3官網(wǎng)發(fā)布的網(wǎng)絡(luò)模型做對比測試，要求優(yōu)化后的網(wǎng)絡(luò)模型識別準(zhǔn)確率高，尤其是對于遠(yuǎn)距離目標(biāo)的識別準(zhǔn)確率大于原網(wǎng)絡(luò)模型，且識別速率大于視覺傳感器的采集周期（20幀/s）。

3.2 測試配置及結(jié)果

測試環(huán)境中主要相關(guān)配置包括：①CPU采用Intel（R）-Core（TM）-i7-9700K型號，內(nèi)存為16 GB；②掛載圖形處理器（GPU），顯存為8 GB。同時使用官網(wǎng)下載的YOLOv3模型（即原網(wǎng)絡(luò)）作為參照，對比優(yōu)化后的YOLOv3模型（以下簡稱 “New-YOLOv3”），對比結(jié)果如表1所示。

表1 New-YOLOv3網(wǎng)絡(luò)與原網(wǎng)絡(luò)識別準(zhǔn)確率對照表

同時，New-YOLOv3對于遠(yuǎn)距離目標(biāo)的識別效果與原網(wǎng)絡(luò)對比如表2所示。

表2 New-YOLOv3網(wǎng)絡(luò)與原網(wǎng)絡(luò)對遠(yuǎn)距離目標(biāo)識別效率對照表

New-YOLOv3網(wǎng)絡(luò)識別效果如圖3所示。圖中，黃色方框框出的部分為網(wǎng)絡(luò)識別到的目標(biāo)位置，黑色英文表示網(wǎng)絡(luò)認(rèn)定的目標(biāo)種類，黑色數(shù)字表示網(wǎng)絡(luò)計算的識別結(jié)果可信度（最大值為1）。

圖3 優(yōu)化網(wǎng)絡(luò)遠(yuǎn)距離目標(biāo)識別效果圖

由表1、表2及圖3可知，New-YOLOv3網(wǎng)絡(luò)對于有軌電車軌行區(qū)域內(nèi)的目標(biāo)物體（障礙物）有良好的識別能力，尤其是圖3d中對于遠(yuǎn)距離密集障礙物，仍有一定的識別、檢測能力，整體識別準(zhǔn)確率大于90%，可以認(rèn)為是一種較為有效的障礙物檢測方法。當(dāng)測試集為隨機抽取的圖片時，New-YOLOv3網(wǎng)絡(luò)的漏檢率低于原網(wǎng)絡(luò)，且在集中檢測遠(yuǎn)距離目標(biāo)（測試集全為遠(yuǎn)距離目標(biāo)）時差異性尤為明顯，對于圖片中較小的細(xì)節(jié)性特征有更好的捕捉能力。測試集中目標(biāo)的距離均大于40 m，而有軌電車的安全制動距離約為35 m，給予了列車較多的響應(yīng)時間，增加了安全性。同時，該方法在準(zhǔn)確率上仍有一定優(yōu)化空間，后期可通過對識別圖片做增強預(yù)處理或繼續(xù)優(yōu)化網(wǎng)絡(luò)擴大樣本數(shù)據(jù)集等方式予以補足。

4 結(jié)語

本文以YOLOv3網(wǎng)絡(luò)為基礎(chǔ)，提出了一種城市軌道交通在途障礙物檢測方法。該方法通過對YOLOv3網(wǎng)絡(luò)殘差結(jié)構(gòu)的針對性優(yōu)化，并結(jié)合多尺度訓(xùn)練的方式,對原有網(wǎng)絡(luò)的識別能力進行了優(yōu)化，增強了網(wǎng)絡(luò)對于遠(yuǎn)距離目標(biāo)（微小目標(biāo)）識別的魯棒性。經(jīng)測試驗證，該方法可有效識別軌行環(huán)境內(nèi)存在的障礙物目標(biāo)，是一種可行、有效的檢測方法。