基于改進(jìn)YOLOv4算法的鐵路扣件檢測(cè)

高嘉琳， 白堂博*， 姚德臣， 許貴陽(yáng)

(1.北京建筑大學(xué)機(jī)電與車輛工程學(xué)院， 北京 100044; 2.城市軌道交通車輛服役性能保障北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100044)

近年來，隨著中國(guó)軌道覆蓋面不斷擴(kuò)大，軌道技術(shù)也相應(yīng)提升。鋼軌扣件的健康狀態(tài)是保證軌道交通安全穩(wěn)定運(yùn)行的關(guān)鍵[1]。鋼軌扣件具有保障列車安全性和設(shè)計(jì)安裝的嚴(yán)格性等性質(zhì)，因此，對(duì)鋼軌扣件的狀態(tài)進(jìn)行展開研究具有必要性。受到軌道及自然條件的影響，扣件的主要問題是扣件斷裂、扣件丟失、扣件移位等。如果此問題不及時(shí)解決，會(huì)對(duì)軌道的安全運(yùn)營(yíng)留下隱患。

目前，對(duì)軌道故障診斷研究成為了中外學(xué)者研究的熱點(diǎn)。將鐵路故障進(jìn)行信息化、智能化處理是當(dāng)前的大趨勢(shì)，其中包括基于振動(dòng)[2]、噪聲[3]等檢測(cè)方法，上述方法更適用于輪軌踏面的損傷效果檢測(cè)，而軌道扣件由于缺陷、損耗等問題產(chǎn)生的振動(dòng)信號(hào)和噪聲十分微小，基于振動(dòng)、噪聲等方法檢測(cè)扣件缺陷難度較大。

當(dāng)下，目標(biāo)檢測(cè)在科研中應(yīng)用廣泛。例如，孔英會(huì)等[4]提出基于改進(jìn)Mask R-CNN(convolutional neural networks, CNN)模型的目標(biāo)檢測(cè)方法，對(duì)電力場(chǎng)景進(jìn)行目標(biāo)檢測(cè)；詹成祥等[5]提出基于SSD (single shot multi box detector)算法對(duì)影像中飛機(jī)進(jìn)行提取。上述提到的兩種方法同屬于Two-Stage算法，高精度是此類算法的主要特點(diǎn)，但存在模型體積大、檢測(cè)較慢等弊端。徐國(guó)標(biāo)等[6]提出改進(jìn)YOLO(you only look once，YOLO)算法的塔臺(tái)目標(biāo)檢測(cè)。此方法屬于One-stage算法，檢測(cè)速度快、模型體積小是此類算法的主要特點(diǎn)。

在軌道扣件的研究中，基于圖像采集與處理的扣件檢測(cè)方法[7]滿足了快速性、嚴(yán)格性的軌道要求。近年來，中外學(xué)者基于計(jì)算機(jī)視覺檢測(cè)算法[8]不斷探索，許貴陽(yáng)等[8]提出基于局部特征的提取方法，并結(jié)合深度學(xué)習(xí)進(jìn)行軌道扣件狀態(tài)識(shí)別；Giben等[9]提出基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割，該算法能夠獲得較高的精度；Liu等[10]提出了基于相似度的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)扣件進(jìn)行分類，使用區(qū)域定位方法對(duì)扣件進(jìn)行檢測(cè)；上述方法能夠獲得較高精度，但存在內(nèi)存消耗大、檢測(cè)速度較慢等問題，難以實(shí)現(xiàn)高精度、快速性的目標(biāo)檢測(cè)。

針對(duì)這一情況，采取基于圖像處理的扣件檢測(cè)方法，提出一種基于改進(jìn)YOLOv4算法模型的鐵路扣件檢測(cè)方法，在原YOLOv4模型基礎(chǔ)上，增加一個(gè)輸出端和頭部結(jié)構(gòu)。結(jié)合扣件的檢測(cè)的特點(diǎn)，增強(qiáng)對(duì)扣件檢測(cè)的有效度，達(dá)到高精度、高效率的檢測(cè)目的。為進(jìn)一步實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)鐵路構(gòu)件打下基礎(chǔ)，對(duì)于保障軌道列車的安全性運(yùn)行具有重要意義。

1 YOLOv4算法

1.1 YOLOv4算法模型

在YOLO算法提出之前，two-stage領(lǐng)域的R-CNN[11]系列算法是目標(biāo)檢測(cè)領(lǐng)域最受歡迎的算法之一。與one-stage算法相比，two-stage算法檢測(cè)速度較慢。因此one-stage網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)的YOLO[12-13]算法被提出，其核心要義是將目標(biāo)檢測(cè)轉(zhuǎn)換成回歸問題，將目標(biāo)圖作為網(wǎng)絡(luò)的輸入，僅經(jīng)過一個(gè)神經(jīng)網(wǎng)絡(luò)就能得到其邊界框的位置及目標(biāo)類別等特征信息，實(shí)現(xiàn)了檢測(cè)速度快、精度高的目的。

YOLOv4算法是在YOLOv3[14]的基礎(chǔ)上改進(jìn)而來，YOLOv4[15]作為一個(gè)強(qiáng)大的目標(biāo)檢測(cè)算法能夠訓(xùn)練出快速而準(zhǔn)確的目標(biāo)檢測(cè)器，其網(wǎng)絡(luò)結(jié)構(gòu)主要是主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)，其中主干網(wǎng)絡(luò)為CSPDarknet53，頸部網(wǎng)絡(luò)為SPP附加模塊和PANet路徑聚合，頭部網(wǎng)絡(luò)仍采用YOLOv3的頭部網(wǎng)絡(luò)。

如圖1所示，YOLOv4的主干網(wǎng)絡(luò)為CSPDarknet53,該主干網(wǎng)絡(luò)的作用在于豐富梯度的組合形式，減少計(jì)算量。并且YOLOv4的激活函數(shù)將LeakeyReLU函數(shù)修改為Mish函數(shù)，Mish函數(shù)能夠保持準(zhǔn)確性，并且Mish函數(shù)的梯度更加平滑，從而能夠更加深入到神經(jīng)網(wǎng)絡(luò)中，最終能夠更加泛化、準(zhǔn)確化。Mish函數(shù)具有光滑、非單調(diào)性、下有界、上無界的特點(diǎn)，具有良好的使用性能。YOLOv4中的卷積模塊更改為DarknetConv2D_BN_Mish，Mish函數(shù)的公式表達(dá)式為

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure of YOLOv4

Mish=xtanh[ln(1+ex)]

(1)

式(1)中：x、h分別代表Mish函數(shù)中點(diǎn)的橫坐標(biāo)與縱坐標(biāo)。

1.2 SPP結(jié)構(gòu)

如圖2所示，空間金字塔池化 (spatial pyramid pooling，SPP)結(jié)構(gòu)存在于CSPDaerknet53的最后一個(gè)特征層中，能夠增加網(wǎng)絡(luò)的感受野。YOLOv4采用SPP思想，將CSPDaerknet53的最后特征層進(jìn)行三次卷積后，然后分別利用四個(gè)不同尺度的最大池化進(jìn)行再次處理，其中最大池化的池化核大小分別為13×13、9×9、5×5、1×1，其中1×1代表無處理。使用SPP結(jié)構(gòu)，能夠進(jìn)行不同尺度的池化后堆疊，并且能夠突出數(shù)據(jù)的顯著特征。

圖2 SPP結(jié)構(gòu)圖Fig.2 Network of structure of SPP

1.3 Loss計(jì)算

計(jì)算Loss是實(shí)際值與預(yù)測(cè)值之間的對(duì)比。對(duì)數(shù)據(jù)集中的每一個(gè)目標(biāo)計(jì)算其中的真實(shí)框與預(yù)測(cè)框的交并比 (intersection over union， IOU)，計(jì)算回歸的Loss值。其次計(jì)算置信度的Loss值，置信度的Loss值由兩部分組成：其一是實(shí)際存在的目標(biāo)，預(yù)測(cè)結(jié)果中的置信度與1對(duì)比；其二是實(shí)際不存在的目標(biāo)，預(yù)測(cè)結(jié)果中的置信度與0對(duì)比。最后計(jì)算預(yù)測(cè)種類的Loss，計(jì)算的為實(shí)際存在的目標(biāo)，真實(shí)與預(yù)測(cè)之間的差距。總Loss值就是回歸Loss值、置信度Loss值與預(yù)測(cè)種類Loss值三者的和。

YOLOv4中的CIOU計(jì)算方法會(huì)使得目標(biāo)檢測(cè)的目標(biāo)框回歸變得穩(wěn)定，它會(huì)將目標(biāo)中的與錨點(diǎn)之間的距離、重疊度、尺度、懲罰項(xiàng)都考慮進(jìn)去，而且不會(huì)出現(xiàn)訓(xùn)練發(fā)散等問題。Loss公式為

(2)

(3)

(4)

(5)

式中：c為指能夠?qū)㈩A(yù)測(cè)框和真實(shí)框同時(shí)包上的最小區(qū)域的對(duì)角線距離；ρ為指歐式距離；b、w、h是指預(yù)測(cè)框的中心坐標(biāo)及寬、高；bgt、wgt、hgt是指真實(shí)框的中心坐標(biāo)及寬、高。

扣件檢測(cè)在目標(biāo)檢測(cè)識(shí)別中具有其自身的特殊性，扣件檢測(cè)要實(shí)現(xiàn)其檢測(cè)的快速性、準(zhǔn)確性、有效性，為此，根據(jù)YOLOv4算法實(shí)現(xiàn)扣件的缺陷檢測(cè)。

2 本文方法

2.1 YOLOv4算法適應(yīng)性改進(jìn)

YOLOv4算法使用的特征提取網(wǎng)絡(luò)為CSPDarknet53，CSP模塊可以提升CNN學(xué)習(xí)能力，在保證網(wǎng)絡(luò)輕量化的同時(shí)，降低計(jì)算次數(shù)、減小占用內(nèi)存。CSPDarknet53網(wǎng)絡(luò)經(jīng)過雙三次差值法將圖像進(jìn)行放縮處理，。在算法實(shí)現(xiàn)過程中會(huì)進(jìn)行5次步長(zhǎng)為2的卷積下采樣，其中最大步幅為25。如圖3所示，CSPDarknet53中共有5個(gè)大殘差塊，其中每個(gè)大殘差塊包含的小殘差單元數(shù)為1、2、8、8、4。每個(gè)CSP模塊前面的卷積核大小都同為3×3，步長(zhǎng)為2，因此能夠進(jìn)行下采樣。若輸入圖像為416×416，則特征圖的變化規(guī)律為416、208、104、52、26、13。經(jīng)過五次CSP模塊得到13×13大小的特征映射圖，然后經(jīng)過SPP層(即空間金字塔池化)和PANet網(wǎng)絡(luò)的實(shí)現(xiàn)，輸出到Y(jié)OLO頭部中。最終實(shí)現(xiàn)對(duì)軌道扣件的檢測(cè)。

結(jié)合本文，需要使網(wǎng)格進(jìn)行更小的目標(biāo)位置特征信息提取，提升對(duì)于小目標(biāo)的檢測(cè)率。如圖3所示，由于扣件尺寸相對(duì)較小，故將網(wǎng)格輸入圖片尺寸設(shè)置為416×416，利用第二個(gè)殘差塊獲得104×104分辨率圖像。這樣做的目的是為了使特征圖中包含更小的目標(biāo)位置信息。將YOLOv4輸出的8次下采樣特征層進(jìn)行2次上采樣，將2次上采樣的特征層與特征提取網(wǎng)絡(luò)中的104×104。從而建立了一種輸出為4次的下采樣特征目標(biāo)融合層。

圖3 改進(jìn)的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Improved YOLOv4 network structure

此改進(jìn)在保留YOLOv4原有網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行了補(bǔ)充。此改進(jìn)使YOLOv4網(wǎng)絡(luò)獲得更多的特征信息，提升了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，提高對(duì)軌道扣件的檢測(cè)精度。改進(jìn)之后能夠增強(qiáng)對(duì)扣件的檢測(cè)效果，提升檢測(cè)率。

2.2 方法框架

利用扣件檢測(cè)在目標(biāo)檢測(cè)中具有其特殊性，以實(shí)現(xiàn)扣件檢測(cè)的快速性、準(zhǔn)確性、有效性為目的。采用基于改進(jìn)YOLOv4算法的方法實(shí)現(xiàn)對(duì)軌道扣件的檢測(cè)。由圖4所示，將新型軌道巡檢小車采集的數(shù)據(jù)進(jìn)行篩選并建立數(shù)據(jù)集，并將此數(shù)據(jù)集輸入到改進(jìn)的YOLOv4網(wǎng)絡(luò)中，經(jīng)過算法的識(shí)別、分類、訓(xùn)練，得到訓(xùn)練模型最終將訓(xùn)練完成的模型輸入到算法網(wǎng)絡(luò)中對(duì)未知扣件進(jìn)行預(yù)測(cè)分析。由此過程能夠?qū)崿F(xiàn)對(duì)軌道扣件各種狀態(tài)的檢測(cè)。

圖4 方法框架Fig.4 Framework of the proposed method

在建立數(shù)據(jù)圖集時(shí)，對(duì)數(shù)據(jù)集的標(biāo)注是其中的關(guān)鍵步驟。選取的方法是應(yīng)用Labelimg軟件進(jìn)行圖像標(biāo)注處理，將圖像中的有效構(gòu)件作為目標(biāo)檢測(cè)的區(qū)域，如圖5(比例尺為1∶30)所示。

圖5 Labelimg圖像標(biāo)注處理(1∶30)Fig.5 Labelimg image annotation processing(1∶30)

同時(shí)將扣件類型分成了4類，扣件正常、扣件丟失、扣件移位、扣件斷裂，以便能夠進(jìn)行扣件目標(biāo)檢測(cè)。在構(gòu)建數(shù)據(jù)集時(shí)需要使用Labelimg對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，輸出XML文件，XML文件主要內(nèi)容為交代扣件所在位置的位置信息以及扣件的類型。

如圖6、圖7(比例尺為1∶9)所示，分別為有砟、無砟軌道扣件狀態(tài)類型。其中扣件正常是指扣件未受任何損傷且各零部件完整；扣件丟失是指扣件受到軌道列車運(yùn)行或自然條件的影響，導(dǎo)致其脫落；扣件移位是指扣件受到軌道列車運(yùn)行或自然條件的影響，導(dǎo)致其發(fā)生偏移，根據(jù)工程經(jīng)驗(yàn)，偏移角度超過±10°，即可判定為移位；扣件斷裂是指扣件受到外力影響，導(dǎo)致其部分零部件出現(xiàn)斷裂。本文中扣件類型分成4類，有利于網(wǎng)絡(luò)模型識(shí)別與檢測(cè)。

圖6 有砟軌道扣件狀態(tài)類型Fig.6 Ballast track fastener type

圖7 無砟軌道扣件狀態(tài)類型Fig.7 Unballasted track fastener type

3 試驗(yàn)驗(yàn)證

3.1 圖像獲取

如圖8所示，該裝置為北京某公司設(shè)計(jì)研發(fā)的新型軌道巡檢小車。小車系統(tǒng)由電動(dòng)巡檢小車和軌道狀態(tài)巡檢系統(tǒng)兩部分組成。與傳統(tǒng)的軌道巡檢系統(tǒng)相比，該巡檢儀具有整體重量輕、能源清潔等優(yōu)點(diǎn)，能夠滿足巡檢軌道要求。并且小車結(jié)構(gòu)簡(jiǎn)單易于巡檢人員操作，巡檢人員采用搭乘操作的方式對(duì)軌道進(jìn)行檢測(cè)。在正常巡檢工況下，小車的速度為20 km/h。

圖8 新型軌道巡檢小車Fig.8 New-type track inspection car

該巡檢小車受到鐵路行業(yè)的歡迎，具體優(yōu)點(diǎn)如下：①圖像精度能夠達(dá)到0.3 mm，達(dá)到精度高的要求；②該小車采用電能為動(dòng)力，能源清潔；③設(shè)計(jì)結(jié)構(gòu)符合輕量化的設(shè)計(jì)要求；④易于操作、設(shè)計(jì)合理；⑤軌道定位精度較高，精度能夠達(dá)到0.3 m。

3.2 扣件檢測(cè)結(jié)果分析

本文中所運(yùn)行的環(huán)境為GPU為NVIDIA RTX2080，CPU為Intel i7 9700，內(nèi)存為16 GB，軟件環(huán)境為Windows 10，Tensorflow，Python 3.6，CUDA 10.0，cuDNN 10.0。

本文研究對(duì)象為某長(zhǎng)度約為10 km的高鐵線路，其中研究?jī)?nèi)容包括有砟軌道扣件與無砟軌道扣件。為建立數(shù)據(jù)集獲取目標(biāo)數(shù)據(jù)，選用由新型軌道檢測(cè)儀所獲取到某線路的18 000張軌道數(shù)據(jù)，隨機(jī)選擇13 000張作為訓(xùn)練數(shù)據(jù)集，其余5 000張作為測(cè)試數(shù)據(jù)集。

通過使用模型訓(xùn)練，將圖像數(shù)據(jù)集合輸入到訓(xùn)練模型，最終得到扣件的測(cè)試結(jié)果。本實(shí)驗(yàn)將扣件種類判斷置信度設(shè)置為0.9，當(dāng)模型網(wǎng)絡(luò)判斷其置信度超過0.9，則會(huì)識(shí)別此構(gòu)件，否則不識(shí)別，進(jìn)而提高對(duì)扣件的檢測(cè)精度。利用YOLOv4與本文特點(diǎn)相結(jié)合的方法，最終預(yù)測(cè)出結(jié)果。結(jié)果如圖9所示。

圖9 改進(jìn)YOLOv4 方法扣件檢測(cè)結(jié)果Fig.9 The result of fastener detection by improved YOLOv4

經(jīng)過實(shí)驗(yàn)檢測(cè)，改進(jìn)的YOLOv4能夠檢測(cè)出扣件的各個(gè)狀態(tài)，包括構(gòu)件正常、移位、丟失、斷裂。檢測(cè)結(jié)果如表1、表2所示。作為one-stage算法之一的YOLOv4算法，在各項(xiàng)檢測(cè)結(jié)果中都超過同系列算法的YOLOv3，相比于Faster R-CNN，YOLOv4同樣表現(xiàn)出較好的檢測(cè)效果。Mask R-CNN作為語(yǔ)義分割的目標(biāo)檢測(cè)算法，其檢測(cè)結(jié)果各項(xiàng)指標(biāo)略強(qiáng)于YOLOv4約為1%，但其模型體積較大，不適宜作為輕量化網(wǎng)絡(luò)。本文中所使用的基于YOLOv4算法的方法具有較高的檢出率和準(zhǔn)確率，其各項(xiàng)指標(biāo)均有較好的表現(xiàn)，雖然模型體積相比原YOLOv4算法略有增大，但其表現(xiàn)出的性能指標(biāo)表明：本文中所采用的基于改進(jìn)YOLOv4算法的鐵路扣件檢測(cè)能夠?qū)崿F(xiàn)高檢出率、高準(zhǔn)確度的軌道扣件檢測(cè)。

表1 不同方法扣件檢測(cè)結(jié)果對(duì)比

表2 不同方法扣件檢測(cè)結(jié)果對(duì)比Table 2 Result comparison of fastener detection with different methods

4 結(jié)論

根據(jù)軌道扣件的檢測(cè)特點(diǎn)，研究了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，提出了基于改進(jìn)YOLOv4的算法實(shí)現(xiàn)扣件的異常檢測(cè)。根據(jù)本文中所運(yùn)用的方法，得出以下結(jié)論。

(1)構(gòu)建了基于改進(jìn)YOLOv4算法的扣件檢測(cè)模型。該模型能夠有效的對(duì)扣件進(jìn)行識(shí)別與分析，與其他方法對(duì)比，本文中所用方法模型體積小、檢出率與準(zhǔn)確度高。達(dá)到了快速、準(zhǔn)確對(duì)軌道扣件進(jìn)行檢測(cè)的要求。

(2)對(duì)軌道扣件進(jìn)行圖像的采集，并建立數(shù)據(jù)集進(jìn)行檢測(cè)試驗(yàn)。試驗(yàn)結(jié)果表明，本文應(yīng)用的基于改進(jìn)YOLOv4的方法能夠?qū)壍揽奂行z測(cè)。實(shí)現(xiàn)了軌道扣件自動(dòng)化檢測(cè)與分析的目的。