鐵路貨車裝載狀態(tài)圖像智能識別系統(tǒng)

張萼輝

（上海鐵路局科學(xué)技術(shù)研究所，上海200071）

鐵路貨車裝載狀態(tài)圖像智能識別系統(tǒng)

張萼輝

（上海鐵路局科學(xué)技術(shù)研究所，上海200071）

貨車裝載狀態(tài)高清視頻監(jiān)控系統(tǒng)每日產(chǎn)生的圖像數(shù)量眾多，目前完全依靠人工識別異常狀態(tài)，工作量巨大且效率低下。采集貨車裝載狀態(tài)圖像進(jìn)行人工分類和定義后，輸入深度學(xué)習(xí)模塊進(jìn)行學(xué)習(xí)，得到正常及異常狀態(tài)模式識別算法?；诖怂惴ㄩ_發(fā)的鐵路貨車裝載狀態(tài)圖像智能識別系統(tǒng)可替代大部分人工查看的工作量，明顯提高效率，進(jìn)一步保證安全。

鐵路貨車；裝載狀態(tài)；異常檢測；圖像智能識別；深度學(xué)習(xí)模塊

0 引言

上海鐵路局南京東站、金華東站、南翔站及徐州北站等7個大型貨站共50條到達(dá)或出發(fā)線均安裝了貨車裝載視頻監(jiān)視系統(tǒng)，每日平均過車數(shù)約為1275列。每輛貨車分別采集左視、右視和俯視3張圖像，供現(xiàn)場值班人員查看貨車外觀的異常狀況；對進(jìn)站貨車通過查看實時拍攝的高清圖像進(jìn)行預(yù)檢，以指導(dǎo)裝卸作業(yè)；對出發(fā)貨車裝載狀態(tài)進(jìn)行復(fù)核，如發(fā)現(xiàn)問題需通知下一站進(jìn)行處理。貨車裝載視頻監(jiān)視系統(tǒng)對于貨運系統(tǒng)的安全運營具有重要意義。

按貨站每日平均過車數(shù)180列、每列車平均50輛編組計算，一個貨站需人工檢測2.7萬張圖像，工作量及人工勞動強度巨大，且長時間作業(yè)容易因疲勞發(fā)生漏檢，存在安全隱患。因此，利用深度學(xué)習(xí)技術(shù)開發(fā)鐵路貨車裝載狀態(tài)圖像智能識別系統(tǒng)，自動排查異常情況以替代大部分人工工作量，顯得異常緊迫[1]。

1 需求分析

貨車裝載狀態(tài)圖像主要用于查看貨車外觀異常情況。根據(jù)《上海鐵路局貨車裝載視頻監(jiān)視系統(tǒng)運用管理辦法》，監(jiān)控檢查的主要內(nèi)容包括本站到發(fā)、通過列車貨物裝載狀態(tài)，集裝箱、篷布和篷布繩網(wǎng)狀態(tài)，貨車門、窗、蓋關(guān)閉以及未苫蓋篷布的敞車內(nèi)部情況，押運人押運行為，扒乘和閑雜人員，貨車車體頂部、外側(cè)，集裝箱頂部存在殘貨或雜物，貨車發(fā)生火災(zāi)，罐車發(fā)生泄漏，散堆裝貨物發(fā)生撒漏以及其他通過圖像可明顯發(fā)現(xiàn)的危及行車安全的情況。

開發(fā)貨車裝載狀態(tài)圖像智能識別系統(tǒng)的目的，一是為了部分替代圖像的人工篩查工作，二是要自動找出危及行車安全的異常裝載狀態(tài)。已經(jīng)定義的異常裝載狀態(tài)種類較多，情況復(fù)雜，同時還有未定義的其他明顯危及行車安全的情況。因此，識別已經(jīng)明確定義的異常狀態(tài)，雖然可以找出部分問題，但并不能達(dá)到減輕人工工作量的目的。因為貨車裝載狀態(tài)異常情況所占比例較低，即使機(jī)器可從2.7萬張圖像中找出100張已定義的異常狀態(tài)圖像，其他還需人工篩查。

對異常狀態(tài)的計算機(jī)圖像檢測與模式識別是一個開放式問題，即危及行車安全的貨車外觀異常情況不可窮盡。計算機(jī)并不理解哪些情況會危及行車安全，需要人工描述危及行車安全情況的圖像特征，因此無法對所有異常情況進(jìn)行圖像特征描述及識別模型開發(fā)。

為達(dá)到圖像智能識別技術(shù)開發(fā)的目的，系統(tǒng)首先應(yīng)準(zhǔn)確、高效地識別正常裝載狀態(tài)的圖像，其次應(yīng)找出發(fā)生概率較高的幾種貨車異常裝載狀態(tài)事例。經(jīng)系統(tǒng)自動識別分類后，圖像將分為3類，即正常圖像庫、異常圖像庫及不確定圖像庫，既不能作為正常圖像濾除，又沒有被系統(tǒng)發(fā)現(xiàn)為異常的不確定圖像，再通過人工方式進(jìn)行查看和分析。

2 正常狀態(tài)識別

2.1 識別策略

準(zhǔn)確、高效地識別正常裝載狀態(tài)圖像是一個聚類問題，將圖像分為兩類：異常（假）和正常（真）。正常狀態(tài)圖像這一類應(yīng)有相當(dāng)高的可信度，即凡是歸類為正常狀態(tài)的圖像，其真判斷為真的概率應(yīng)很高。如果將假判斷為真，會產(chǎn)生漏檢隱患，降低系統(tǒng)可信度。超過一定的誤檢閾值，系統(tǒng)將失去可用性。同時，系統(tǒng)應(yīng)盡量提高真判斷為真的數(shù)量，因這些圖像將不再需要人工查看，數(shù)量越多，越能體現(xiàn)系統(tǒng)減少人工工作量的價值。

在同一智能水平下，真判斷為真的概率和真判斷為真的數(shù)量成反比（見圖1）。圖1將橫軸作了歸一化處理，將真判斷為真的數(shù)量轉(zhuǎn)化為判斷為真的圖像占所有圖像的百分比。若判斷為真的標(biāo)準(zhǔn)設(shè)置得越高，則入選為真的圖像越少，其為真的概率越高。在識別模型使用時，應(yīng)選擇一個合適的工作點，兼顧2個指標(biāo)，保證系統(tǒng)的可用性和效率。

圖1 圖像識別可信度與可用性的關(guān)系

系統(tǒng)的智能水平越高，對應(yīng)的曲線越往上凸，即相同的真判斷為真的概率對應(yīng)更多的真判斷為真的數(shù)量，整體上提高了系統(tǒng)的可用性和效率。為達(dá)到該效果，需要對分類模型進(jìn)行細(xì)化。具體操作如下：每種車型有其對應(yīng)的典型故障，故障發(fā)生的位置也是固定的。對每種車型的關(guān)鍵位置正常狀態(tài)進(jìn)行標(biāo)注，輸入深度學(xué)習(xí)模塊進(jìn)行訓(xùn)練，開發(fā)包含正常狀態(tài)參數(shù)的智能識別算法。識別時，根據(jù)車號獲取需要分類的貨車型號，利用這種車型的算法對貨車狀態(tài)進(jìn)行分類。

2.2 算法選擇

正常裝載狀態(tài)的判斷可轉(zhuǎn)化為不同車型關(guān)鍵位置的局部圖像特征匹配。在基于局部特征的圖像匹配算法研究中，角點作為重要的局部特征，具有旋轉(zhuǎn)不變性，幾乎不受光照變化的影響，集中了圖像上很多信息，因而具有重要的實用價值。角點是二維圖像亮度變化劇烈的點或圖像邊緣曲線上曲率極大值的點。這些點在保留圖像圖形重要特征的同時，可以有效減少信息的數(shù)據(jù)量，使其信息的含量很高，有效提高了計算速度，有利于圖像的可靠匹配，使得實時處理成為可能。

系統(tǒng)采用一種基于角點和局部差分不變量（Gray value Differential Invariants，GDI）特征描述子的快速匹配算法[2]對貨車局部位置的狀態(tài)進(jìn)行判斷。具體是利用單次高斯卷積建立具有較少圖層的階梯金字塔[3]，利用Shi-Tomasi算法[4]提取圖層中數(shù)量適中的強角點，并確定角點的特征主方向；即使存在旋轉(zhuǎn)、噪聲等灰度變化影響，也能穩(wěn)定提取強角點；最后，通過建立GDI局部特征區(qū)域統(tǒng)計直方圖的描述子，實現(xiàn)角點的快速匹配。

系統(tǒng)通過角點匹配進(jìn)行識別，因此即使訓(xùn)練圖像與被測圖像的特征位置在空間上不一致，算法通過掃描圖像，也能找到特征位置與之匹配，具有良好的適應(yīng)性。貨車車門角點特征提取見圖2。考慮到特征的普適性，后續(xù)還需濾除由文字產(chǎn)生的非車門特征角點。

3 異常狀態(tài)識別

3.1 識別策略

通過現(xiàn)場調(diào)研與統(tǒng)計，發(fā)現(xiàn)3類異常狀態(tài)占應(yīng)檢出故障總數(shù)的80%以上，分別是：車門車窗未關(guān)閉（見圖3）；篷布或繩網(wǎng)掀起、脫垂、破損（見圖4）；車內(nèi)殘留雜物（見圖5）或人員逗留。其中，敞車中門、下側(cè)門開啟，重棚車車門開啟（有押運人除外），篷布和篷布繩網(wǎng)存在脫落危險屬一類報警，應(yīng)立即停車處理；空敞車內(nèi)存留有易飄起的雜物、空棚車車門開啟、貨車上有扒乘和閑雜人員屬二類報警，應(yīng)在前方站停車處理。這3類異常狀態(tài)對行車安全危害較大，且圖像特征較為明顯，因此項目初期主要對此進(jìn)行識別模型開發(fā)。

圖2 貨車車門角點特征提取

圖3 車門開啟

圖4 篷布撕裂

圖5 車內(nèi)雜物

對此類異常狀態(tài)的檢測應(yīng)遵循盡量不漏檢，允許少量誤檢的原則。通過系統(tǒng)檢測，此類異常狀態(tài)被歸入異常事例庫中。異常事例庫已將異常狀態(tài)圖像進(jìn)行濃縮，其異常狀態(tài)圖像的比例遠(yuǎn)遠(yuǎn)高于未經(jīng)篩選的原始圖像。因此存在少量誤檢，不會降低查看人員工作效率。漏檢圖像會出現(xiàn)在不確定圖像庫中，雖然不確定圖像也會有人工查看，但查看力度肯定不如異常圖像庫，人工也存在較大漏檢可能。因此對異常狀態(tài)的機(jī)器檢測，應(yīng)當(dāng)盡量提高其檢測率。在識別模型中，異常檢測的特征匹配度可以設(shè)置得較為寬松，以保證系統(tǒng)足夠的檢測率。

3.2 算法選擇

對于異常狀態(tài)的特征，采用Faster-RCNN[5]的深度學(xué)習(xí)框架完成目標(biāo)的檢測和識別。具體流程如下：通過人工方式將不同類型的異常狀態(tài)圖像進(jìn)行分類，并對分類的目標(biāo)進(jìn)行標(biāo)注，形成深度學(xué)習(xí)數(shù)據(jù)集。設(shè)計和訓(xùn)練深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，通過該深度模型完成對目標(biāo)的分類識別。

RCNN算法使用區(qū)域提取替代滑動窗口進(jìn)行檢測，對每個區(qū)域提取特征，然后利用一個分類器預(yù)測這個區(qū)域包含一個感興趣對象的置信度。RCNN采用顯著性檢測[6]的方法劃分區(qū)域，利用像素級的標(biāo)注，把顏色、邊界、紋理等信息作為合并條件，使用多尺度的綜合采樣方法劃出一系列區(qū)域，這些區(qū)域要遠(yuǎn)遠(yuǎn)少于傳統(tǒng)滑動窗口窮舉法產(chǎn)生的候選區(qū)域。

Faster-RCNN用區(qū)域生成網(wǎng)絡(luò)代替選擇性搜索方法，將目標(biāo)檢測的4個基本步驟（候選區(qū)域生成、特征提取、分類、位置精修）統(tǒng)一到一個深度網(wǎng)絡(luò)框架之內(nèi)，所有計算沒有重復(fù)，完全在GPU中完成，大幅提高了運算速度，適用于數(shù)量巨大的貨車裝載狀態(tài)圖像模式識別應(yīng)用。

4 技術(shù)指標(biāo)

為滿足實用性，系統(tǒng)至少應(yīng)達(dá)到以下技術(shù)指標(biāo)：

車門開啟檢出率≥90%；

車內(nèi)殘留雜物（長度≥30cm）檢出率≥80%；

篷布或繩網(wǎng)掀起、脫垂、破損、苫蓋不良檢出率≥70%；正常裝載狀態(tài)圖片濾除率≥50%；

50輛編組貨運列車高清圖像識別時間≤150s。

5 結(jié)束語

鐵路貨車裝載狀態(tài)圖像智能識別系統(tǒng)為解決目前貨車裝載狀態(tài)圖像人工查看工作量巨大、檢測效率低的問題提供了有益嘗試。系統(tǒng)可用性的關(guān)鍵在于提高識別精度，一方面應(yīng)選擇適用的算法，另一方面需要在應(yīng)用模式上進(jìn)行創(chuàng)新，了解各項技術(shù)的優(yōu)缺點，揚長避短，進(jìn)一步提升識別精度，實現(xiàn)以科技促效益、保安全的目的。

[1] 趙耀．鐵路貨車裝載視頻監(jiān)視系統(tǒng)設(shè)計方案[J]．中 國鐵路，2016(1)：87-89.

[2] 畢國玲．智能視頻監(jiān)控系統(tǒng)中若干關(guān)鍵技術(shù)研究[D]. 北京：中國科學(xué)院大學(xué)，2015.

[3] 呂冀，高洪民，汪渤，等．圖像制導(dǎo)的目標(biāo)匹配算 法與系統(tǒng)設(shè)計[J]．彈箭與制導(dǎo)學(xué)報，2009，29(5)： 43-45.

[4] SHI J，TOMASI C．Good features to track[C]//Computer Vision and Pattern Recognition．IEEE Computer Society Conference on IEEE，1994：593-600.

[5] REN S，HE K，GIRSHICK R，et al．Faster R-CNN： towards real-time object detection with region proposal networks[J]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39(6)：1 137.

[6] GIRSHICK R，DONAHUE J，DARRELL T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Computer Vision and Pattern Recognition. IEEE，2014：580-587.

lmage lntelligent ldentification System for Railway Freight Wagon Loading Condition

ZHANG Ehui
（Science and Technology Research Institute，Shanghai Railway Administration，Shanghai 200071，China）

The high-definition video surveillance system for wagon loading conditions produces mass data every day. At present, the identification of abnormality relies on human work, which means huge workload and low efficiency. This paper proposes a normal and abnormal condition identification algorithm by collecting,classifying and defining the wagon loading condition images and inputting the data in the deep learning module.The image intelligent identification system for railway freight wagon loading condition developed based on this algorithm can take over most of the workload previously taken by human and thus improves the efficiency and safety.

Railway freight wagon；loading condition；abnormality detection；image intelligent identification；deep learning module

U298

A

1001-683X（2017）09-0113-04

10.19549/j.issn.1001-683x.2017.09.113

張萼輝（1980—），男，高級工程師，碩士。E-mail：18918121605@126.com

責(zé)任編輯 盧敏

2017-06-15