動車組受電弓狀態(tài)圖像檢測技術(shù)研究

周 晏

（中國鐵路蘭州局集團(tuán)有限公司，蘭州 730000）

1 概述

隨著國內(nèi)高速鐵路的快速發(fā)展，動車組保有量也越來越龐大，如何降低維修成本、減少人員投入等需求尤為迫切。其中，動車組車頂關(guān)鍵部件——受電弓是動車組一級檢修[1]的主要檢修對象之一，檢修內(nèi)容包括受電弓各子部件的外觀狀態(tài)：弓頭、碳滑板、羊角、拉簧、扭簧、氣囊、軟編織線、絕緣子等零部件。目前，國內(nèi)針對車頂受電弓的檢測手段主要分為人工檢查和智能設(shè)備檢測，其中人工檢查為通過申請作業(yè)時間點(diǎn)，登頂車頂作業(yè)，工作強(qiáng)度大、作業(yè)效率低；智能檢測設(shè)備主要采用線陣圖像掃描車頂成像，通過網(wǎng)絡(luò)把圖像數(shù)據(jù)傳輸后臺服務(wù)器進(jìn)行機(jī)器智能識別和報警。但是，線陣相機(jī)拍攝的圖像存在立體感不強(qiáng)、成像的質(zhì)量易受車速變化導(dǎo)致圖像畸變等問題，本文提出一種安裝在動車所檢測棚，通過創(chuàng)新的車頂觸發(fā)機(jī)制，引導(dǎo)面陣相機(jī)進(jìn)行高質(zhì)量圖像拍攝、圖像模板匹配的動車組受電弓狀態(tài)圖像檢測系統(tǒng)進(jìn)行受電弓智能檢測。

2 系統(tǒng)框架

動車組受電弓狀態(tài)圖像檢測系統(tǒng)（簡稱系統(tǒng)）由圖像采集系統(tǒng)和圖像分析系統(tǒng)兩個子系統(tǒng)組成。圖像采集系統(tǒng)由安裝在檢測棚的線陣相機(jī)、面陣相機(jī)、車號識別模塊硬件和相應(yīng)的軟件構(gòu)成，主要具備線陣圖像車頂掃描、受電弓識別、車頂受電弓區(qū)域圖像高清成像、車號識別等功能，具有圖像數(shù)據(jù)傳輸給圖像分析系統(tǒng)功能；圖像分析系統(tǒng)負(fù)責(zé)將圖像采集系統(tǒng)的圖像進(jìn)行圖像數(shù)據(jù)處理、對受電弓區(qū)域關(guān)鍵零部件的安裝狀態(tài)進(jìn)行故障對比分析和故障可視化，實(shí)現(xiàn)對受電弓狀態(tài)的自動識別和報警。系統(tǒng)框架如圖1 所示。

圖1 動車組受電弓狀態(tài)圖像檢測系統(tǒng)框架Fig.1 Framework for image detection system of pantograph status of EMU

3 系統(tǒng)硬件部署

系統(tǒng)硬件設(shè)備主要由部署在檢測棚頂部的兩臺面陣相機(jī)組件、線陣相機(jī)組件，部署在檢測棚下部的車號采集模塊，部署在檢測棚下部的前端處理工控機(jī)，部署在機(jī)房的后臺處理服務(wù)器組成。其中檢測棚頂部設(shè)備布局如圖2 所示。

圖2 檢測棚相機(jī)部署Fig.2 Deployment of cameras in an image detection shed

如圖2 所示，檢測棚頂部部署一臺線陣相機(jī)組件，用于高速線陣車頂掃描，實(shí)時把掃描數(shù)據(jù)傳輸給前端處理工控機(jī)，通過算法識別是否為受電弓。當(dāng)準(zhǔn)確識別受電弓，輸出觸發(fā)信號給部署在左、右端兩臺高清工業(yè)面陣相機(jī)組件，抓拍車頂受電弓區(qū)域圖像，車頂線陣相機(jī)組件和面陣相機(jī)組件安裝距離L大于2 m，確保面陣相機(jī)抓拍角度最佳。

4 圖像采集系統(tǒng)

4.1 車號識別

車號識別由車號采集模塊和車號識別軟件組成，其中車號采集模塊由線陣相機(jī)組件組成，車號識別軟件通過YOLOv3 算法實(shí)現(xiàn)光學(xué)字符識別（Optical Character Recognition，OCR）。YOLO是一種檢測速度較快的單階段（One-Stage）目標(biāo)檢測網(wǎng)絡(luò)。

YOLOv3[2]作為YOLO 系列目標(biāo)檢測算法第3個版本，在保持快速檢測優(yōu)點(diǎn)的同時，提升了小目標(biāo)檢測精度。由于動車組車號制式標(biāo)準(zhǔn)，車號采集模塊拍攝距離固定。網(wǎng)絡(luò)模型采用Darknet-53 算法，該算法共包含53 個卷積層，每個卷積層后面都伴有批量標(biāo)準(zhǔn)化（Batch Normalization，BN）層和leaky ReLU 層，leaky ReLU 是深度學(xué)習(xí)中經(jīng)常用到的一種激活函數(shù)。模型使用步幅為3 的卷積層替代抽樣層進(jìn)行特征圖的降采樣，全模型均采用卷積層，可有效阻止由于抽樣層導(dǎo)致的低層特征圖的精度損失。網(wǎng)絡(luò)模型輸入是(512, 512, 1)。其中512 代表圖像寬、高，1 表示輸入圖像為一個通道灰度圖，輸出類別為動車組車號字符0-9，A-Z，共36 個類別。網(wǎng)絡(luò)模型訓(xùn)練采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）+動量方法[3]，如圖3 所示。

圖3 動車組車號識別框架Fig.3 Framework for recognizing EMU numbers

4.2 受電弓識別

受電弓識別是指通過線陣相機(jī)拍攝的車頂圖像，采用識別算法，識別車頂受電弓，把準(zhǔn)確識別到車頂受電弓作為觸發(fā)信號，觸發(fā)面陣相機(jī)抓拍高清車頂受電弓圖像。識別算法采用Gabor 特征和支持向量機(jī)（Support Vector Machine，SVM）分類器結(jié)合使用。Gabor 特征用來描述圖像的紋理信息，SVM 分類器是一類按監(jiān)督學(xué)習(xí)（Supervised Learning）方式對數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器（Generalized Linear classifier）。

Gabor 是一種生物啟發(fā)式的特征，其模仿生物視覺系統(tǒng)用以描述圖像。通過多尺度多方向的Gabor 濾波器組對圖像濾波處理后得到形狀信息，這一過程稱之為Gabor 變換。在圖像處理領(lǐng)域，Gabor 濾波器使用較為廣泛，因為其可以很好地提取圖像的不同尺度不同方向的輪廓細(xì)節(jié)。

Gabor 濾波器公式如式（1）所示。

O(x,y)為Gabor 特征圖，把每個特征圖分成1×1、2×2、4×4 共3 種單元格組合，分別計算每個格子中的均值和方差，把所有均值和方差串聯(lián)成一個特征描述符，輸入到支持向量機(jī)判別是否為受電弓。

4.3 圖像采集軟件

圖像采集軟件通過接收車號識別軟件的車號信息，通過接收受電弓識別的觸發(fā)信息，分別啟動和控制各個面陣相機(jī)圖像采集，把采集的圖像數(shù)據(jù)傳輸給圖像分析系統(tǒng)。為了高效、穩(wěn)定的采集圖像數(shù)據(jù)，采集軟件采用遠(yuǎn)程過程調(diào)用 (Remote Procedure Call，RPC)框架，和各個軟件之間采用TCP/IP 進(jìn)行通信，軟件采用主流的RPC 框架-Thrift[4]， Thrift 由Facebook 開發(fā)用做系統(tǒng)內(nèi)各語言之間的 RPC 通信的一個可擴(kuò)展且跨語言的軟件框架，它融合了功能強(qiáng)大的多個軟件堆棧和代碼生成引擎，允許定義一個簡單的文件中的數(shù)據(jù)類型和服務(wù)接口，以XML 格式作為輸入文件，編譯器自動生成RPC 客戶端和服務(wù)器通信的無縫跨編程語言。

5 圖像分析系統(tǒng)

圖像分析系統(tǒng)的主要功能是監(jiān)聽和獲取從圖像采集系統(tǒng)傳輸至服務(wù)器的圖像數(shù)據(jù)和過車信息，進(jìn)行一系列的圖像預(yù)處理、圖像對齊和模板匹配等操作后，將檢測結(jié)果進(jìn)行可視化和報警。

5.1 圖像預(yù)處理

圖像預(yù)處理是圖像處理的基本操作，也是特別關(guān)鍵的步驟。圖像預(yù)處理對圖像處理總體時間消耗和后續(xù)識別算法起著非常關(guān)鍵的作用。圖像去噪、圖像增強(qiáng)和圖像變換是圖像預(yù)處理中使用最頻繁的運(yùn)算方法。系統(tǒng)采用多尺度的Retinex[5]圖像增強(qiáng)算法，Retinex 理論的基礎(chǔ)理論是物體的顏色是由物體對紅色、綠色、藍(lán)色光線的反射能力來決定，例如，假設(shè)一幅圖像S(x,y)由反射圖像R(x,y)和入射圖像L(x,y)相乘構(gòu)成，其中反射圖像表示物體的反射性質(zhì)，代表圖像內(nèi)在本質(zhì)，應(yīng)盡量保留；入射圖像代表圖像像素的動態(tài)范圍，盡量去除。Retinex 算法就是通過對L(x,y)進(jìn)行高斯照度估計，通過求逆計算出R(x,y)，從而增強(qiáng)S(x,y)的過程。算法流程如圖4 所示，圖像增強(qiáng)效果如圖5 所示。

圖4 Retinex算法流程Fig.4 Flowchart of Retinex algorithm

圖5 圖像增強(qiáng)前后效果Fig.5 Comparison of images before and after image enhancement

5.2 圖像對齊

圖像對齊是模板匹配的關(guān)鍵步驟，對齊的好壞直接影響匹配的精度。圖像對齊是指提取圖像I(x,y)和圖像J(x,y)圖像特征，采用特征匹配算法對兩幅圖像進(jìn)行匹配，求解兩幅圖的單應(yīng)矩陣。處理流程如圖6 所示。

圖6 單應(yīng)矩陣求解流程Fig.6 Flowchart of solving homography matrix

如圖6 所示，采用ORB[6]特征作為兩幅圖的特征提取描述符，ORB（Oriented FAST and Rotated BRIEF）是一種快速特征點(diǎn)提取和描述的算法，由關(guān)鍵點(diǎn)和描述符組成，其中關(guān)鍵點(diǎn)是帶方向的FAST 關(guān)鍵點(diǎn)，F(xiàn)AST 關(guān)鍵點(diǎn)的定義為，假設(shè)在一個5×5 的窗格中，中心像素P，窗口中連續(xù)的N個像素點(diǎn)的灰度值比P點(diǎn)大或者小，N本文取15，則認(rèn)為P為關(guān)鍵點(diǎn)。根據(jù)關(guān)鍵點(diǎn)周圍的像素值變化給P新增一個方向性，方向性采用圖像矩實(shí)現(xiàn)。圖像矩是一種具有平移、旋轉(zhuǎn)和尺度不變性的特征，其能夠以一種簡單的形式作為圖像的特征對圖像進(jìn)行識別。圖像矩的計算公式如式（5）所示。

當(dāng)提取到關(guān)鍵點(diǎn)P的特征后，使用BRIEF 描述方法處理特征，BRIEF 描述子，是一種二進(jìn)制描述子，每個關(guān)鍵點(diǎn)P由一個128 ～512 位的二進(jìn)制字符串表示，每個位用0 或者1 表示，根據(jù)BRIEF描述子的二進(jìn)制特點(diǎn)，采用最近鄰漢明距離進(jìn)行ORB 特征的匹配。漢明距離指的是兩個相同長度的特征向量，對應(yīng)位置的不同位的長度數(shù)量。

單應(yīng)矩陣H[7]是兩幅圖像之間的映射關(guān)系，設(shè){xi,xi～}，表示匹配點(diǎn)對，確定單應(yīng)矩陣H，使其滿足xi～=Hxi,也即其中一幅圖，根據(jù)等式可對齊另一幅圖。把等式進(jìn)行變換，使其為AH=0，其中矩陣A由匹配點(diǎn)對構(gòu)成，方程為線性齊次方程組，使用奇異值分解A=UΣVT，求解的單應(yīng)矩陣H是矩陣V最右邊列向量。

5.3 圖像模板匹配

受電弓狀態(tài)圖像的智能識別是系統(tǒng)的最關(guān)鍵功能，采用穩(wěn)定性高、算法處理時間短、漏檢率低的模板匹配[8]作為智能識別算法技術(shù)路線。模板匹配可一次性處理受電弓區(qū)域眾多關(guān)鍵識別項點(diǎn)，根據(jù)動車組一級檢修相關(guān)規(guī)程，系統(tǒng)需要識別的車頂受電弓區(qū)域的主要項點(diǎn)如表1 所示。

表1 智能檢測項點(diǎn)Tab.1 Items of intelligent detection

6 實(shí)驗和驗證

為測試系統(tǒng)的性能，本文采用場外試驗的方法對系統(tǒng)關(guān)鍵的算法進(jìn)行驗證，試驗地點(diǎn)為某鐵路局機(jī)務(wù)段，線陣相機(jī)型號為C4-312S，面陣相機(jī)型號為LXG-250，拍攝圖像如圖7 所示。

圖7 相機(jī)拍攝圖像Fig.7 Images taken by the cameras

6.1 車號識別

數(shù)據(jù)采用安裝在檢測棚下部用于拍攝車號的線陣相機(jī)采集的圖片，共采集車號圖片12 000 張，每張圖片全覆蓋列車車身，涵蓋動集、動車、高鐵多個車號類型，正確識別數(shù)量11 943 張，準(zhǔn)確率99.52%。個別錯誤識別的車號主要原因是車號采集模塊存在圖像畸變和相機(jī)光源衰減導(dǎo)致圖像偏暗，在12 000 張采集圖像中錯誤識別57 張，占比0.48%。

6.2 受電弓識別

數(shù)據(jù)采用安裝在檢測棚頂部的用于拍攝車頂?shù)木€陣相機(jī)拍攝的圖片，共采集車頂圖像25 000 張，每張圖全覆蓋一列車車頂，包括升弓和降弓，涵蓋動集、動車、高鐵多個受電弓型號，其中正確識別受電弓24 902 張，錯誤識別98 張，準(zhǔn)確率99.6%，錯誤識別主要原因是把動車組連接處識別為受電弓，連接處和受電弓在圖像特征具有相似性，如圖8 所示。

圖8 錯誤識別圖例Fig.8 Example of incorrect recognition

6.3 智能識別

數(shù)據(jù)采用安裝在檢測棚車頂左、右端的兩臺面陣相機(jī)拍攝的圖像，共拍攝車頂受電弓區(qū)域圖片24 902 張，其中存在故障的圖片為205 張，涵蓋10 個識別項點(diǎn)，系統(tǒng)報出故障223 張，經(jīng)人工核對198 張識別正確，有8 張圖片漏識別，整體準(zhǔn)確率為88.7%，漏檢率3%，如表2 所示。

表2 智能識別統(tǒng)計Tab.2 Statistics on intelligent recognition

7 結(jié)束語

本文詳細(xì)分析了圖像采集系統(tǒng)和圖像分析系統(tǒng)構(gòu)成的動車組受電弓狀態(tài)圖像檢測系統(tǒng)，通過安裝在檢測棚進(jìn)行場外實(shí)驗，采集數(shù)據(jù)，對數(shù)據(jù)進(jìn)行處理與分析。實(shí)驗結(jié)果表明系統(tǒng)具有穩(wěn)定的圖像采集功能，滿足良好的圖像質(zhì)量需求，圖像智能分析整體準(zhǔn)確率高，漏檢率低，具有較高效實(shí)用性，可帶來降低人工檢修工作強(qiáng)度、提高檢修效率、降低人工安全風(fēng)險、提升經(jīng)濟(jì)效益等價值。