基于機器視覺的提升機高速首尾繩智能檢測系統(tǒng)研究與應(yīng)用

王琨 趙燃 王海君 張永福

（1.中天合創(chuàng)能源有限責任公司，內(nèi)蒙古鄂爾多斯 017399；2.華洋通信科技股份有限公司，江蘇徐州 221116）

0.引言

目前現(xiàn)代化的智能高效礦井為了及時發(fā)現(xiàn)設(shè)備存在的隱患，避免發(fā)生事故，在煤礦井上、井下的重點區(qū)域都建設(shè)了普通安防監(jiān)控系統(tǒng)，在井上的調(diào)度指揮中心采取24h值班制，值班人員實時盯著各重點位置，監(jiān)控作業(yè)過程，一旦發(fā)生隱患，通過程控電話或廣播喊話的方式通知井下相關(guān)區(qū)域人員現(xiàn)場消除隱患。

但是煤礦井下設(shè)備面臨點多面廣的環(huán)節(jié)，由于人的視覺疲勞，難以長時間保持警覺，值班調(diào)度人員不可能“面面俱到”，也不可能24h目不轉(zhuǎn)睛地看著多個或一個監(jiān)控點，無法對違章作業(yè)、環(huán)境異常和設(shè)備異常狀態(tài)進行及時獲取。所以，需要有一雙智能的“監(jiān)控眼睛”替代人眼，及時發(fā)現(xiàn)隱患，立即進行報警處理，做到抓拍照片和延時錄像，提醒現(xiàn)場人員和監(jiān)管人員，并能發(fā)出聯(lián)動控制指令，命令現(xiàn)場設(shè)備停車，避免重大事故的發(fā)生。

本項目介紹了一種基于機器視覺圖像識別技術(shù)的煤礦首尾繩監(jiān)測系統(tǒng)，該系統(tǒng)通過數(shù)字圖像處理和分析來理解視頻畫面中的內(nèi)容，具備自動分析和抽取視頻畫面中的關(guān)鍵信息的功能[1]。視頻圖像識別技術(shù)借助計算機強大的數(shù)據(jù)處理功能對視頻圖像中的海量數(shù)據(jù)進行高速分析，過濾掉用戶不關(guān)心的信息，為監(jiān)控者提供有用的關(guān)鍵信息。視頻圖像識別以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ)，它是一種更高端的視頻監(jiān)控系統(tǒng)的應(yīng)用。視頻圖像識別監(jiān)控系統(tǒng)能夠識別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，并能夠以最快和最佳的方式發(fā)出警報和提供有用信息，從而能夠有效地協(xié)助值班人員處理危機[2]，并最大限度地減少人為因素的干擾。

1.項目建設(shè)內(nèi)容

煤礦主井提升機鋼絲繩在礦井生產(chǎn)過程中起著重要作用，其主要用在煤炭提升中使用，在礦井主要生產(chǎn)系統(tǒng)運行中起到非常關(guān)鍵的作用，為避免出現(xiàn)事故需要有多種監(jiān)測手段[3]。大多數(shù)煤礦的主井提升運輸系統(tǒng)具備全自動運行功能，但仍需安排崗位工值崗，觀察提升系統(tǒng)的運行，防止出現(xiàn)異常情況。煤礦提升系統(tǒng)的鋼絲繩首繩和尾繩是煤礦提升系統(tǒng)生產(chǎn)流程中重要的組成部分，也是提升機關(guān)鍵承載構(gòu)件，其運行環(huán)境復雜，日常維護困難，一旦發(fā)生故障會引起停產(chǎn)或人員傷亡的嚴重事故。

長期以來，傳統(tǒng)地提升系統(tǒng)首、尾繩系統(tǒng)的巡檢、檢修工作主要依靠人工進行定時排查，日常維護主要依賴的是“目視、手摸、卡尺量”，人工目測方法不僅可靠性差、效率低下，而且花費大量人力，無法做到高效的檢測。而且國家層面發(fā)布的《煤礦安全規(guī)程》對于鋼絲繩檢測也有相關(guān)的規(guī)定，比如對在用鋼絲繩的檢測周期、拉力、彎曲程度都有要求，所有煤礦生產(chǎn)企業(yè)都是定期利用檢修時間，每次花費幾個小時的時間，依靠人力去人工觀測鋼絲繩的狀況，這種傳統(tǒng)的檢測方式嚴重制約了煤礦的發(fā)展，而且存在安全隱患。而且表面顯性損傷要依靠檢測技術(shù)人員良好的經(jīng)驗和判斷才能發(fā)現(xiàn)，隱性損傷則很難查到。依靠傳統(tǒng)的檢測方法也無法定量定性地描述首尾繩的損傷情況，更為嚴重的情況是盡管鋼絲繩的使用性能始終處于不可逆的衰變當中，但日常維護中卻無法準確衡量這種衰變的嚴重程度，直到剩余承載能力接近極限從而引發(fā)安全事故才被發(fā)現(xiàn)，所以急需一種新的技術(shù)來解決此問題。

本項目借助機器學習和計算機視覺技術(shù)，通過機器自動完成提升機首繩、尾繩各種外部狀態(tài)分析、檢測及預(yù)警，可完全替代人工查繩的勞動。

門克慶煤礦主井提升系統(tǒng)目前由圓型首繩和扁型尾繩組成。針對門克慶煤礦的現(xiàn)場情況我們利用機器學習和計算機視覺識別技術(shù)，在現(xiàn)場放置智能機器人來實現(xiàn)提升機首繩、尾繩的各種外部狀態(tài)分析、檢測及預(yù)警，從而替代人工查繩。其中首繩損傷檢測包括：繩徑變化、捻距變化，鋼絲繩外部損傷（斷絲等）；尾繩狀態(tài)監(jiān)控包括：尾繩擺動異常、尾繩散股、尾繩纏繞。

在該項目中技術(shù)研發(fā)包括3個步驟：（1）視覺系統(tǒng)選型和評估，數(shù)據(jù)采集和預(yù)處理；（2）檢測模型算法設(shè)計和驗證；（3）平臺搭建，系統(tǒng)聯(lián)調(diào)及檢測系統(tǒng)在現(xiàn)場的部署和檢測模型的遷移。具體包括：設(shè)計首尾繩攝像系統(tǒng)，根據(jù)主井提升機現(xiàn)場情況，設(shè)計首尾繩攝像系統(tǒng)，系統(tǒng)設(shè)計模式如圖1所示。整個系統(tǒng)由巡檢機器人、軌道、運動控制器及驅(qū)動器，圖像處理工作站，交換機、工程師操作站、高速AI相機、補光燈等組成。系統(tǒng)采用運行于軌道上的巡檢裝置，巡檢裝置上安裝有檢測裝置，由高精2D/3D線激光測量、高速線掃相機、線掃光源以及高清攝像機組成。高清廣角相機用于拍攝周圍實時視頻，便于遠端操作者感知現(xiàn)場狀態(tài)。通過預(yù)設(shè)位置自動/手動運行到待檢測位置。通過自帶高精度圖像傳感器進行圖像抓拍等處理?？蓪崿F(xiàn)鋼纜多角度拍攝，保證檢測無死角，見圖1。

圖1 系統(tǒng)示意圖

2.算法流程

設(shè)計檢測模型和驗證，當鋼絲繩尾繩姿態(tài)異常檢測算法訓練完成后，可以將該算法部署在終端IPC，實時對視頻監(jiān)控系統(tǒng)采集的圖像進行判斷，以確認是否發(fā)生尾繩纏繞等異常，并實時給出報警信息。系統(tǒng)滿足首繩損傷多樣性檢測，同時滿足礦井提升機鋼絲繩檢測，系統(tǒng)軟件具備深度學習功能。本項目的算法主要采用機器識別的算法，我們開發(fā)的目標檢測（鋼纜檢測）算法主要是分為單階段（one-stage）和兩階段（two-stage）2個算法，下面主要以單階段算法的代表算法Yolo算法的原理簡單介紹下算法的開發(fā)流程。

首先需要了解圖像識別技術(shù)如何編制圖像數(shù)據(jù)，如圖2算法流程圖所示，將輸入的鋼絲繩的三基色圖像經(jīng)過卷積、激活函數(shù)和批標準化等系列操作多次得到一個特征矢量，然后利用該特征量進行分類或者檢測，經(jīng)過神經(jīng)網(wǎng)絡(luò)的運算后可以識別出該圖像是出現(xiàn)鋼纜故障的類別。在輸入神經(jīng)分析網(wǎng)絡(luò)前還可以對圖像進行數(shù)據(jù)方面的增強，例如隨機翻轉(zhuǎn)隨機遮擋和改變色調(diào)對比度等操作。

圖2 算法流程圖

檢測鋼絲繩的智能算法用2張圖即可簡單解釋，首先是將輸入的圖片經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)提取特征，提取了特征以后在鋼絲繩特征圖上會將最初的圖片劃分成若干的網(wǎng)格，每一個框都會去預(yù)測若干個檢測框（Bounding Box，Bbox），每一個塊都會對鋼絲繩進行邊界框的回歸和類別的預(yù)測，最后預(yù)測的結(jié)果就是一個張量。在推理部分利用得到的張量對先驗框進行調(diào)整，并給出類別和可信度，在鋼絲繩檢測中一般分類是正常的鋼絲繩和有誤差的鋼絲繩以及背景和圖中的異常進行比對，可根據(jù)需要自行定義類別。

推理時還需要針對不同網(wǎng)格點產(chǎn)生不同的檢測框進行非極大抑制防止出現(xiàn)一個目標檢測多次的問題。將圖片數(shù)據(jù)處理好，將所需要的超參數(shù)針對自己的數(shù)據(jù)集進行修改利用開源框架TensorFlow、Pytorch就可以對機器神經(jīng)網(wǎng)絡(luò)進行訓練，訓練完成后就會得到當前訓練的模型權(quán)重文件[4]。一個深度機器視覺學習算法的開發(fā)到最終落地是需要經(jīng)過數(shù)據(jù)的獲取與處理、模型訓練、模型剪枝、模型部署、軟硬件部署、現(xiàn)場測試等一系列的。算法層面還需要對數(shù)據(jù)的標注有一定理解，通常在開發(fā)過程中也是利用一些標注工具對獲取的數(shù)據(jù)進行人工標注，作為神經(jīng)網(wǎng)絡(luò)訓練的標簽。

3.搭建平臺

完成系統(tǒng)硬件現(xiàn)場部署、檢測模型遷移及系統(tǒng)聯(lián)調(diào)，并且在監(jiān)控室布置用于系統(tǒng)數(shù)據(jù)傳輸及圖形圖像分析的上位機。

（1）提升機高速（全速14m/s）運行期間，能夠?qū)崿F(xiàn)檢測鋼絲繩無盲區(qū)的效果，實時監(jiān)測單根鋼絲繩捻距、斷絲、變形、磨損等狀態(tài)，定時自動或手動遙控切換至其他鋼絲繩檢測，可自動判斷形成鋼絲繩捻距、斷絲、變形等狀態(tài)變化趨勢曲線，具備預(yù)報預(yù)警功能，可按周、月、季度、年查詢鋼絲繩全生命周期狀態(tài)趨勢。

（2）系統(tǒng)可自動完成同等位置一根鋼絲繩及鋼絲繩間捻距變化情況，可實現(xiàn)智能比對并形成檢測報告。

（3）自動標定鋼絲繩斷絲圖像信息、提升機位置，位置誤差控制在100mm以內(nèi)；可自動檢測出標定捻距內(nèi)斷絲數(shù)量，準確率100%。

（4）檢測準確率：鋼絲繩金屬截面積（LMA）誤差 ＜±1%，鋼絲繩繩徑精度為0.01mm。

（5）可自動檢測判斷鋼絲繩變形情況，即鋼絲繩繩徑局部變大、鋼絲繩繩徑局部變小、鋼絲繩局部被壓扁或損傷。

（6）可監(jiān)控尾繩運行軌跡，能實時監(jiān)控尾繩運行狀態(tài)，尾繩運行軌跡或擺動超出預(yù)警值時，可給予警示并觸發(fā)視頻、位置緊急鎖存功能。

（7）可檢測出尾繩散股，10m及以上尾散股檢出率100%，1m～10m尾繩散股檢出率＞85%。

（8）具備大數(shù)據(jù)分析、處理功能，出具捻距斷絲數(shù)量識別統(tǒng)計報告、直徑測量數(shù)值報告、鋼絲繩磨損銹蝕等級報告、其他各種損傷視圖檢測報告等，可自動生成檢測報告和趨勢圖，檢測報告和趨勢圖可以Word、PDF、Excel等文件形式導出打印。通過以上的算法軟件我們可以精確定位到鋼絲繩斷絲發(fā)生的位置及捕捉到到此時斷絲發(fā)生圖，如發(fā)生斷絲的位置為447.87m，并且看到了此時的圖片，極大地方便了我們的檢修。

4.結(jié)語

該項目的成功建設(shè)且投入運行后，實現(xiàn)了煤礦提升機首尾繩的全生命周期檢測、分析、存檔及管理，大幅提升了煤礦提升機系統(tǒng)的查繩效率和質(zhì)量監(jiān)測，節(jié)約了日常檢修時間，降低了煤礦職工勞動強度和查繩的危險程度，保障了職工生命和煤礦財產(chǎn)安全，為進一步推進煤礦行業(yè)的智能化建設(shè)，提升煤礦行業(yè)的生產(chǎn)效率和管理水平，推進煤礦智能化生產(chǎn)發(fā)揮了表率作用。