基于YOLO的智能化鐵路貨車搭扣缺陷檢測系統(tǒng)設計與實現(xiàn)

李林俊，張歡，厲偉，李宏林，王亞萍

(1.國能鐵路裝備有限責任公司 生產(chǎn)技術部，北京 100048； 2.南京斯爾默電氣有限公司 智能信息事業(yè)部，江蘇 南京 211161)

0 引言

鐵路貨車車輛作為鐵路貨運的主要載體，貨車不同程度的缺陷和損傷會成為鐵路貨車行車的安全隱患，列檢作業(yè)是當前保證鐵路安全的一個有效手段。隨著鐵路貨車重載、提速戰(zhàn)略的實施，采用新技術、新設備，全面推廣“科技保安全”理念已成為貨檢作業(yè)改革的發(fā)展方向[1]。

現(xiàn)有的列檢作業(yè)模式以人工作業(yè)或人機分工檢查為主，檢車員勞動強度較高，存在一定程度的安全隱患。近年來，以視頻監(jiān)控、深度學習為代表的新技術在車體識別、車號識別以及安全分析等領域廣泛應用，為鐵路貨運安全管理提供了新的技術基礎。李博等[2]、周雯[3]、林瑛霞[4]將圖像智能識別方法應用于高速鐵路行車安全分析，張超[5]將深度學習方法應用于鐵路貨車類型的識別，雷蕾[6]將圖像識別應用在貨車轉向架識別上。針對貨車車體面積大，缺陷不規(guī)則等挑戰(zhàn)，基于YOLO的智能化鐵路貨車搭扣缺陷檢測系統(tǒng)以貨車搭扣缺陷檢測為基礎需求，利用圖像采集技術、深度學習以及物聯(lián)網(wǎng)技術，實現(xiàn)車體搭扣缺陷的智能檢測，目的是優(yōu)化列檢作業(yè)模式，降低安全風險，提升作業(yè)效率和質量，詮釋“科技保平安”理念，對構建鐵路貨車安全智能保障具有重大意義。

1 研究內(nèi)容

以國能鐵路裝備有限責任公司肅寧分公司定州西卸貨站為實施對象，設計并實現(xiàn)智能化鐵路貨車搭扣缺陷檢測系統(tǒng)，系統(tǒng)功能架構如圖1所示。

圖1 系統(tǒng)功能架構Fig.1 Functional architecture of system

鐵路貨車搭扣缺陷檢測系統(tǒng)圍繞車體搭扣缺陷檢測需求，在定州西卸貨站出入咽喉區(qū)和通信機房部署安裝硬件設備，實現(xiàn)圖像采集、基礎數(shù)據(jù)管理、智能判別、報警管理、統(tǒng)計分析以及系統(tǒng)管理等功能。

2 總體設計

2.1 邏輯結構

在邏輯上將智能化鐵路貨車搭扣缺陷檢測系統(tǒng)劃分為圖像采集模塊、圖像分析處理單元、數(shù)據(jù)庫以及人機交互及顯示模塊4部分，系統(tǒng)邏輯結構如圖2所示。其中圖像采集模塊作為基礎部分，由補光光源、圖像采集器及車輪傳感器等設備組成，實現(xiàn)圖像的采集與處理。圖像分析處理單元是系統(tǒng)的業(yè)務中心，負責獲取圖像數(shù)據(jù)的引接、解析、分析以及智能推理等功能。人工交互及顯示模塊主要以缺陷結果展示和處理為主，具體包括基礎數(shù)據(jù)管理、智能判別、報警管理、統(tǒng)計分析以及系統(tǒng)管理功能。

圖2 系統(tǒng)邏輯結構Fig.2 Logic structure of system

2.2 體系架構

采用分層思想將整個系統(tǒng)劃分為服務對象層、應用服務層、數(shù)據(jù)資源層、網(wǎng)絡層以及前端設備層，系統(tǒng)架構如圖3所示。其中服務對象層主要是面向鐵路貨運組織的列檢人員，具體包括貨站列檢人員、貨檢管理人員以及各級領導。應用服務層基于裝卸貨站的列檢需求，提供列檢作業(yè)的智能檢測服務。數(shù)據(jù)資源層通過建庫與數(shù)據(jù)接口的方式實現(xiàn)貨檢數(shù)據(jù)的存儲、共享以及管理，為應用服務層提供數(shù)據(jù)支撐。網(wǎng)絡層是數(shù)據(jù)傳輸?shù)耐ǖ?，通過無線網(wǎng)絡將前端采集的數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理中心，在數(shù)據(jù)處理中心通過建庫和接口的方式實現(xiàn)數(shù)據(jù)共享。前端設備層負責貨車車體圖像的采集與處理工作，具體包括圖像采集器、補光光源陣列、車輪傳感器以及車號智能識別裝置等設備。

圖3 系統(tǒng)架構Fig.3 System architecture

2.3 缺陷檢測流程

缺陷檢測業(yè)務流程如圖4所示。其中數(shù)據(jù)采集是利用圖像采集器采集正在行進中的車體圖像并按照預先確定的格式保存在圖像采集主機。通過架設的5G微波網(wǎng)絡將采集的數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理中心，在數(shù)據(jù)處理中心首先進行進出站判斷，若是進站，通過圖像處理系統(tǒng)按照預先選定的搭扣缺陷檢測算法模型進行判別，按照對應的策略進行數(shù)據(jù)存盤。若是出站，在完成智能判別后，根據(jù)對進出站的識別結果進行比對，并生成缺陷報告。

圖4 缺陷檢測業(yè)務流程圖Fig.4 Business flow of defect detection

3 系統(tǒng)設計

3.1 缺陷檢測模型

近年來，隨著工業(yè)成像、深度學習等領域的新技術層出不窮，基于機器視覺的工業(yè)缺陷檢測技術得到了長足的發(fā)展。

目前目標檢測算法分為2種框架：一種是以SSD/YOLO為代表的一階段檢測算法(one-stage)[7]，即直接設計一個端到端的提取特征、目標檢測的框架；另一種是以Faster-RCNN為代表的二階段檢測算法(two-stage)[7]，在進行目標識別過程中，首先對區(qū)域框進行檢測，產(chǎn)生候選區(qū)域，然后對候選區(qū)域分類。正是由于2種框架的差異，在性能上也有所不同，前者在算法速度上占優(yōu)，后者在檢測準確率和定位精度上占優(yōu)。

該模型基于YOLOv5缺陷檢測模型將YOLO原有的Darknet網(wǎng)絡替換為RepVGG結構，并進行多尺度融合使其速度與精度都得到了極大的提升。YOLOv5與其他的目標檢測算法一樣由輸入、骨干網(wǎng)絡(backbone)、特征融合(neck)、預測(prediction)結構組成[8]，YOLOv5網(wǎng)絡結構如圖5所示。

圖5 YOLOv5網(wǎng)絡結構Fig.5 YOLOv5 network structure

缺陷檢測模塊設計流程如圖6所示，首先對數(shù)據(jù)進行圖像增強、畸變消除以及圖像對齊/切分等預處理操作，然后按照時間戳辨認進出方向，進行車體編號識別、關鍵區(qū)域檢測，通過計算相似位置的關鍵區(qū)域的匹配度，進行關鍵區(qū)域比對識別，對匹配度大于閾值的區(qū)域進行標識，然后依據(jù)標識結果與車號、進出方向等關鍵信息進行關聯(lián)，最后針對整列貨車進行缺陷報警與缺陷統(tǒng)計。

圖6 缺陷檢測模塊設計流程Fig.6 Defect detection module design

貨車車側搭扣基座在裝卸作業(yè)過程中容易造成損壞，其缺陷在車側表面成像中所占的像素面積非常小，在缺陷檢測模塊設計實現(xiàn)時借鑒RepVGG的思想，將原有的3×3conv替換成RepVGG Block，并采用多層融合機制，有效地保留小目標的特征，提高了模型對搭扣及基座小缺陷的檢測能力。同時，由于采用RepVGG作為主干網(wǎng)絡，在訓練過程中，使用的是一個多分支模型，而在部署和推理的時候，轉化為單路的模型，對模型進行裁剪，有效地提高了模型推理的速度。網(wǎng)絡結構如圖7所示。

圖7 網(wǎng)絡結構Fig.7 Network structure

基于YOLOv5目標檢測框架，構建鐵路貨車搭扣缺陷目標檢測模型。在鐵路貨車搭扣缺陷檢測算法設計上，將整個訓練過程分為2個階段。其中，第一個階段基于大量樣本訓練得到一個預訓練模型，第二個階段基于少量樣本對預訓練模型進行模型微調。此外，還添加了2個新的網(wǎng)絡分支，在這個新的網(wǎng)絡分支上應用了新提出的缺陷突顯模塊(Defect Prominence Module，DPM)。DPM利用同一輛車進出站在咽喉區(qū)2張車體圖片相減操作，借助無缺陷樣本的特征來加強缺陷區(qū)域的特征。由于系統(tǒng)采用線陣相機對車體進行掃描成像，精度達到0.85～1 mm/px，每個搭扣及基座占200個像素，成像和算法相匹配，精度能夠滿足模型檢出的要求。

最后網(wǎng)絡模型利用特征聚合操作來綜合不同分支輸出的特征，進一步提升了缺陷檢測性能。

3.1.1 改進的RepVGG的特征提取主干

缺陷檢測模型將YOLO原有的Darknet網(wǎng)絡替換為RepVGG結構，RepVGG結構由若干個不同尺寸的RepVGG Block組成。其中Block由Conv3x3+bn，Conv1x1+bn，identity分支構成，以上3個分支輸出add-wise后(不改變通道數(shù))再使用ReLu。模型將所有Block分為4個stage，每個stage通過統(tǒng)一縮放[1.5，1.5，1.5，2.75]的經(jīng)驗寬度設置來確定層寬度。

3.1.2 多尺度融合模塊

在神經(jīng)網(wǎng)絡下采樣提取特征圖的過程中，根據(jù)采樣的不同倍率，可以分為淺層特征和深層特征。其中淺層特征中語義的信息比較少，但是其由于有較高的分辨率，目標位置信息豐富，對于小目標的檢出有較大的作用。而深層特征隨著下采樣或卷積次數(shù)增加，感受野逐漸增加，感受野之間重疊區(qū)域也不斷增加，此時的像素點代表的信息是一個區(qū)域的信息，獲得的是這塊區(qū)域或相鄰區(qū)域之間的特征信息，相對不夠細粒度，分辨率較低，但語義信息豐富?？紤]到搭扣及基座缺陷在車體表面圖像中的像素范圍，將用作缺陷檢測的輸出特征圖設計為3個尺度(19×19、38×38和96×96)。首先，每個尺度下先堆積不同尺度的特征圖；之后，使用卷積核(3×3和1×1)對不同尺度特征圖之間的局部特征進行融合[9]，輸入融合后的特征圖，融合后的特征圖能有效提高車側端缺陷的檢測精度。

3.2 圖像采集處理流程

在對圖像進行分析之前，對數(shù)據(jù)進行圖像增強、畸變消除以及對齊/切分等預處理工作。

（1）圖像增強。在采集時采用多組相機，按照目標區(qū)域分區(qū)成像，需要將分區(qū)成像拼接成一整幅圖像，算法會對每幅圖像數(shù)據(jù)進行一個提取比對，達到對圖像增強的效果。

（2）線陣相機畸變消除。采集的車體圖像存在畸變時，圖中各觀測部位形狀都會發(fā)生不同程度的形變。圖像畸變校正方法是首先采用基于深度學習的目標檢測算法定位車輛車體，然后根據(jù)檢測出的關鍵位置框計算圖形畸變率，確定車輛圖像各部分的畸變率數(shù)值，最后基于畸變率數(shù)值對圖像各部分進行校正，實現(xiàn)畸變列車圖像的復原。

（3）圖像對齊/切分。由于線陣相機成像的特點，經(jīng)過畸變消除之后，按照車體高度和寬度的比例，對圖片進行對齊、切分，使得切分之后的每張圖片含1節(jié)車廂。

3.3 系統(tǒng)流程及接口設計

鐵路貨車搭扣缺陷檢測系統(tǒng)在物理上分為前端采集設備、數(shù)據(jù)處理中心和監(jiān)管中心3部分，系統(tǒng)流程圖如圖8所示。前端采集數(shù)據(jù)通過無線網(wǎng)絡發(fā)送給數(shù)據(jù)處理中心，數(shù)據(jù)處理中心將接收到的數(shù)據(jù)保存本地磁盤，同時推送給算法分析服務進行計算分析工作。算法分析服務開始關鍵區(qū)域檢測，然后根據(jù)進出站的識別結果進行比對工作，最后對比對結果進行標注。比對結果通過鐵路內(nèi)網(wǎng)發(fā)送監(jiān)管中心并保存在數(shù)據(jù)庫中。人機交互及顯示模塊通過數(shù)據(jù)訪問接口顯示識別結果并關聯(lián)貨車基礎信息。

圖8 系統(tǒng)流程圖Fig.8 System flow

3.4 功能設計

3.4.1 圖像采集

圖像采集模塊是系統(tǒng)的基礎部件，由軌旁設備、機房設備2部分組成，圖像采集單元結構圖如圖9所示，其中軌旁設備包括圖像采集器、補光光源陣列、車輛傳感器以及車號智能識別裝置，機房設備包括圖像采集主機、圖像處理主機以及車輪傳感器處理裝置等。在設定好的檢測點，車輪傳感器作為判斷模塊判斷是否有車輛通過，如果有，來車判斷模塊向圖像采集模塊發(fā)送開機信號，圖像采集模塊開始采集圖像并將數(shù)據(jù)保存在圖像采集主機。整個車列通過檢測點后，來車判斷設備判斷該列車已全部通過，發(fā)送結束信息給圖像采集模塊，圖像采集模塊停止工作。

圖9 圖像采集單元結構圖Fig.9 Image acquisition unit composition

3.4.2 智能判別

智能判別模塊將服務器接收到的單幀圖像進行一定的預處理，使用缺陷檢測模型對圖像進行卡座檢測，確認搭扣是否正常。如果檢測異常，則標記出異常搭扣邊界框，輸出異常類別信息，并顯示到軟件界面上。

3.4.3 基礎數(shù)據(jù)管理

通過對基礎數(shù)據(jù)統(tǒng)一規(guī)范的管理構建基礎數(shù)據(jù)資源目錄，為鐵路貨車車體缺陷檢測識別系統(tǒng)提供數(shù)據(jù)支撐，具體數(shù)據(jù)包括作業(yè)車輛信息、設備管理以及檢車人員等內(nèi)容，通過設置作業(yè)車輛信息、列檢人員的出勤信息，方便后續(xù)車輛報警責任追溯。

3.4.4 報警管理

報警管理是對報警信息進行處理、查詢以及統(tǒng)計，同時支持對報警信息的查看和追溯。報警管理包括報警記錄處理、報警記錄查詢以及報警記錄統(tǒng)計功能。

3.4.5 統(tǒng)計分析

系統(tǒng)根據(jù)管理需求提供統(tǒng)計分析功能，方便管理人員進行多維度的統(tǒng)計，對損壞的配件進行成本分析，方便列檢人員上報、回溯、追責。

為方便統(tǒng)計管理，系統(tǒng)自動生成不同維度的統(tǒng)計報表，方便隨時查看；車輛自動檢測結束后，系統(tǒng)自動生成檢測報告，系統(tǒng)支持報表、報告的下載和打印。

3.4.6 系統(tǒng)管理

系統(tǒng)提供自定義配置用戶、組織機構、車體以及裝卸站等基礎信息管理功能。其中用戶管理是對用戶信息、所屬單位以及權限等信息進行管理。組織機構管理對貨場名稱、編號、負責人、員工人數(shù)以及上級單位等信息進行維護管理，為貨車車體缺陷檢測識別系統(tǒng)在其他貨場的推廣使用打下基礎。

4 系統(tǒng)實現(xiàn)

4.1 系統(tǒng)架構

系統(tǒng)采用前后端分離的架構模式，系統(tǒng)技術架構如圖10所示，前端采用Vue框架，用Vue整合Echarts，Echarts-gl圖表進行數(shù)據(jù)展示，后端采用Spring Cloud微服務框架，采用nacos做注冊中心，配置和管理微服務，其中Spring Cloud Gateway 為微服務架構提供一種簡單且有效的 API 路由的管理方式，并基于 Filter 的方式提供網(wǎng)關的基本功能，如統(tǒng)一入口、鑒權校驗、動態(tài)路由，減少客戶端與服務端的耦合；服務可以獨立發(fā)展，通過網(wǎng)關層來做映射；使用Fegin組件進行微服務之間的遠程調用；使用minio進行對象存儲，適合于存儲大容量非結構化的數(shù)據(jù)，比如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機鏡像等，而一個對象文件可以是任意大小，從幾 kb 到最大 5 T 不等；Java語言實現(xiàn)后臺邏輯功能開發(fā)。采用前后端分離的架構模式可以實現(xiàn)高內(nèi)聚低耦合，減少后端(應用)服務器的并發(fā)/負載壓力，分工明確，一定程度上能提高工作效率。

圖10 系統(tǒng)技術架構圖Fig.10 Technology architecture of system

4.2 功能實現(xiàn)

4.2.1 圖像采集

本次驗證的數(shù)據(jù)是通過現(xiàn)場臨時架設設備采集的貨車數(shù)據(jù)，圖像采集器的關鍵參數(shù)高速2 K(2048)線掃相機，搭配12 mm鏡頭，輸出.BMP位圖，拍攝距離是3 m，圖像采集數(shù)據(jù)8趟車，數(shù)據(jù)量158 GB，有效樣本8 000張。

4.2.2 智能判別

在系統(tǒng)中可視化展示貨車進站、出站圖像以及缺陷識別結果等內(nèi)容，智能判別系統(tǒng)界面如圖11所示。

圖11 智能判別系統(tǒng)界面Fig.11 Intelligent discrimination interface

4.2.3 基礎數(shù)據(jù)管理

基礎數(shù)據(jù)管理包括作業(yè)車輛管理以及出勤管理，基礎數(shù)據(jù)管理操作界面如圖12所示。

圖12 基礎數(shù)據(jù)管理操作界面Fig.12 Basic data management operation interface

4.2.4 報警管理

報警管理包括查看報警信息記錄、報警記錄查詢以及異常情況處理等內(nèi)容，報警管理界面如圖13所示。

圖13 報警管理界面Fig.13 Alarm management interface

4.2.5 統(tǒng)計分析

統(tǒng)計分析界面如圖14所示，分為近7日報警次數(shù)統(tǒng)計、當日報警類型統(tǒng)計、站內(nèi)車廂報警統(tǒng)計和7日內(nèi)人員報警次數(shù)統(tǒng)計。

圖14 統(tǒng)計分析界面Fig.14 Statistical analysis interface

4.2.6 系統(tǒng)管理

系統(tǒng)管理界面如圖15所示，具體包括用戶管理、組織機構管理、卸貨站管理和車廂管理。

圖15 系統(tǒng)管理界面Fig.15 System administration interface

4.3 實現(xiàn)成果

本算法的驗證數(shù)據(jù)集使用高速2 K(2048)線掃相機，搭配12 mm鏡頭，輸出.BMP位圖?，F(xiàn)場臨時架設設備，人工采集8 000張圖片，通過系統(tǒng)可以實現(xiàn)自動識別搭扣未扣、搭扣破損，并通過人機交互及顯示模塊展示告警信息。

系統(tǒng)實現(xiàn)效果如圖16所示。

圖16 實現(xiàn)效果Fig.16 Realization effect

5 結束語

針對目前貨車檢測工作效率低、列檢工作強度大等問題，結合國能鐵路裝備有限責任公司肅寧分公司定州西卸貨站的實際需求，以圖像識別技術為核心，結合先進設備和技術[10]設計實現(xiàn)智能化鐵路貨車搭扣缺陷檢測系統(tǒng)，通過深度學習訓練模型自動檢測識別貨車搭扣丟失、搭扣未扣以及搭扣破損等故障。實驗表明，智能化鐵路貨車搭扣缺陷檢測系統(tǒng)的功能完整，滿足鐵路貨車缺陷檢測的要求，為運用鐵路貨車車體缺陷檢測的研究和開發(fā)提供了一種新的設計思路。在研究中探索、在應用中總結，下一步仍需根據(jù)鐵路貨車列檢場景的檢測需求，不斷完善缺陷檢測模型，提高鐵路貨車列檢管理的智能化水平。