基于深度學(xué)習(xí)的煤礦鋼絲繩缺損檢測方法研究

劉曉磊，吳國群，闞 哲

(1.晉能控股煤業(yè)集團(tuán)，山西 大同 036000；2.中煤科工集團(tuán)沈陽研究院有限公司，遼寧 沈陽 113112；3.遼寧石油化工大學(xué) 信息控制工程學(xué)院，遼寧 撫順 113001)

由于礦井內(nèi)工作環(huán)境惡劣以及鋼絲繩長久保持高強(qiáng)度受力狀態(tài)，并且在工作過程中，天輪、井架等部位會對鋼絲繩產(chǎn)生摩擦[1]，因此在鋼絲繩投入工作過程中對鋼絲繩的健康狀態(tài)進(jìn)行檢測是極為重要的。礦用鋼絲繩現(xiàn)有檢測方法有：聲波檢測方法[2，3]，超聲波檢測方法[4]，電磁檢測方法[5-10]，視頻圖像檢測方法[11]。胡佩東等提出一種利用弱磁勵(lì)磁技術(shù)條件下的檢測探頭，實(shí)現(xiàn)對煤礦用鋼絲繩的缺陷定性以及半定量檢測[12]。Jie等提出一種用于鋼絲繩檢測的新式探頭，該探頭利用霍爾元件陣列結(jié)合磁聚焦技術(shù)實(shí)現(xiàn)鋼絲繩的缺損定性檢測[13]。張銘利用外部磁場對鋼絲繩軸向作用影響其磁導(dǎo)率實(shí)現(xiàn)對鋼絲繩的缺損檢測[14]。

近年，中國礦業(yè)大學(xué)(北京)采用電磁檢測方法檢測礦用鋼絲繩取得了一些顯著成果，通過對以往煤礦用鋼絲繩的缺損檢測方式進(jìn)行研究發(fā)現(xiàn)，多是利用鋼絲繩的磁化特性達(dá)到檢測目的，一般都會對其施加外部磁場或其他干擾因素，這可能影響其正常工作狀態(tài)。本文提出一種基于計(jì)算機(jī)視覺并結(jié)合深度學(xué)習(xí)圖像檢測方法實(shí)現(xiàn)煤礦用鋼絲繩的缺損檢測，該方式不需要對鋼絲繩施加外部作用，對生產(chǎn)過程不存在任何干擾，并且能有效檢測出鋼絲繩的缺損狀態(tài)，為煤礦安全生產(chǎn)檢測提出了一種新的解決方案。

1 煤礦用鋼絲繩缺損類型

由于煤礦中惡劣的生產(chǎn)環(huán)境，鋼絲繩會因?yàn)槎喾N因素導(dǎo)致其缺損，不僅影響鋼絲繩使用壽命，嚴(yán)重時(shí)更會危及工作人員生命安全[15]。使用過程中的機(jī)械拉伸是造成其出現(xiàn)缺損的重要原因，可能會導(dǎo)致鋼絲繩斷絲、磨損等很多問題。礦用鋼絲繩常見狀態(tài)如圖1所示。

圖1 鋼絲繩狀態(tài)

1.1 磨 損

在鋼絲繩工作過程中，其外部繩周與支架溝道之間會因?yàn)槟Σ廉a(chǎn)生一定的磨損。由于繩與支架接觸面一般較為固定，所以在長期使用中會產(chǎn)生單邊磨損現(xiàn)象，而鋼絲繩的單邊磨損會導(dǎo)致某段受力不均衡而導(dǎo)致中部斷裂。在使用過程中，常采用定期換向使用的方法延長使用壽命，不過雖然能夠使其受力均衡，但長期磨損會使鋼絲繩變細(xì)，達(dá)不到安全使用標(biāo)準(zhǔn)。

另一種情況是鋼絲繩在發(fā)生彎折或成卷的時(shí)候?qū)澱厶幃a(chǎn)生擠壓，使載荷集中在彎折處，導(dǎo)致絲與絲之間發(fā)生摩擦，導(dǎo)致鋼絲繩內(nèi)部出現(xiàn)磨損，從而使其內(nèi)部產(chǎn)生斷絲。

鋼絲繩長期磨損會嚴(yán)重影響其使用壽命，產(chǎn)生極大的安全隱患。

1.2 斷 絲

鋼絲繩斷絲主要有兩方面原因，一是由于制造工藝或生產(chǎn)誤差導(dǎo)致鋼絲繩在出廠時(shí)就存在的斷絲現(xiàn)象；二是在使用過程中，由于嚴(yán)重磨損、受力超載以及彎折疲勞等由于鋼絲繩機(jī)械強(qiáng)度過載而導(dǎo)致的斷絲現(xiàn)象。

針對生產(chǎn)斷絲情況，在使用之前必須對鋼絲繩出廠性能進(jìn)行檢測，避免生產(chǎn)斷絲情況。而使用斷絲情況，則是接下來本文需要重點(diǎn)研究的問題之一。另外，除了上述情況外，腐蝕斷絲和磨損斷絲也是較為常見的兩種缺損故障。在使用過程中可能因?yàn)槌睗竦纫蛩貙?dǎo)致鋼絲繩產(chǎn)生一定的化學(xué)腐蝕，長期如此腐蝕加劇就會導(dǎo)致鋼絲繩斷裂。通過觀察，導(dǎo)致斷絲的原因不同，鋼絲繩斷口有明顯區(qū)別，如由于過載導(dǎo)致斷絲而形成的切面會呈現(xiàn)斜茬狀，斷口扁平。

綜上所述，為了保證煤礦的安全生產(chǎn)，需要在鋼絲繩使用中產(chǎn)生故障之前將故障檢測出來。因此本文提出了用于鋼絲繩使用前檢測的一種可靠方案。

2 鋼絲繩檢測系統(tǒng)設(shè)計(jì)

2.1 檢測平臺設(shè)計(jì)

礦用鋼絲繩缺損檢測平臺設(shè)計(jì)方案如圖2所示。其中主要包括鋼絲繩傳送裝置、攝像機(jī)、照明裝置、嵌入式系統(tǒng)以及整體支架等部分。鋼絲繩傳送裝置架設(shè)在礦井口外部，通過一段平行導(dǎo)軌使鋼絲繩在井口前平緩移動(dòng)。照明系統(tǒng)能夠保證攝像頭采集到的畫面光照均勻并提供足夠檢測的亮度，避免陰影或較暗環(huán)境對檢測產(chǎn)生干擾。嵌入式系統(tǒng)負(fù)責(zé)圖像的處理以及深度學(xué)習(xí)程序的執(zhí)行和識別結(jié)果的輸出，該系統(tǒng)具有較強(qiáng)的穩(wěn)定性和抗干擾性，能夠適應(yīng)煤礦中惡劣的工作環(huán)境。支架部分采用工字鋼對各部分提供穩(wěn)定支撐，避免檢測過程中發(fā)生不必要抖動(dòng)，產(chǎn)生誤差。

圖2 礦用鋼絲繩缺損檢測平臺

2.2 檢測系統(tǒng)設(shè)計(jì)

煤礦用鋼絲繩缺損檢測系統(tǒng)整體架構(gòu)如圖3所示。由圖3可知，由攝像頭采集到的圖像信息，通過采集卡轉(zhuǎn)碼傳遞給嵌入式系統(tǒng)中的深度學(xué)習(xí)網(wǎng)絡(luò)，對其進(jìn)行實(shí)時(shí)檢測，并將結(jié)果傳遞給監(jiān)控室上位機(jī)，向其反饋鋼絲繩狀態(tài)。其中攝像頭的采樣頻率可以根據(jù)鋼絲繩運(yùn)動(dòng)速度或者檢測需求進(jìn)行調(diào)整，但是越高的采樣頻率能夠?qū)崿F(xiàn)高精度檢測，同時(shí)也需要極強(qiáng)的算力支持。

圖3 煤礦用鋼絲繩缺損檢測系統(tǒng)架構(gòu)

3 基于YOLO v5的煤礦用鋼絲繩缺損檢測

3.1 YOLO v5深度學(xué)習(xí)網(wǎng)絡(luò)模型

3.1.1 YOLO算法簡介

You Only Look Once(YOLO)是基于深度學(xué)習(xí)one-stage系列圖像識別算法，其識別速度極具優(yōu)勢，并且擁有很好的目標(biāo)識別能力[16，17]。其V5版本新增了馬賽克增強(qiáng)以及自適應(yīng)錨框等特性。選擇one-stage系列的YOLO v5網(wǎng)絡(luò)模型作為該系統(tǒng)的檢測算法，能夠極大程度緩解算力有限邊緣計(jì)算設(shè)備的壓力。

3.1.2 改進(jìn)的YOLO v5模型

SPIE組織規(guī)定，廣義上面積占比小于整幅圖像的0.12%即為小目標(biāo)。而小目標(biāo)一般有清晰度低、面積小、信息量不足等特點(diǎn)，而且很容易與其他特征和噪點(diǎn)等干擾混淆。所以小目標(biāo)很難通過傳統(tǒng)特征提取算法進(jìn)行分析，這就導(dǎo)致了神經(jīng)網(wǎng)絡(luò)對于其特征的學(xué)習(xí)變得極其困難。根據(jù)小目標(biāo)檢測中存在的問題，本文采用YOLO v5模型為基礎(chǔ)并針對鋼絲繩缺陷檢測這一問題進(jìn)行了優(yōu)化，提出一種基于YOLO v5的多尺度改進(jìn)模型，該模型在原有網(wǎng)絡(luò)基礎(chǔ)上增加了一個(gè)特征提取尺度，使之可以適應(yīng)更小的檢測目標(biāo)，彌補(bǔ)小目標(biāo)檢測尺度上的不足。改進(jìn)后的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)的YOLO v5結(jié)構(gòu)

1)網(wǎng)絡(luò)主干。優(yōu)化后的YOLO v5由Backbone、Neck和Head三個(gè)部分組成。其中Backbone中包括Focus、CSPNet、CBL以及SPP結(jié)構(gòu)，如圖5所示。Focus結(jié)構(gòu)對輸入網(wǎng)絡(luò)的圖像進(jìn)行切片后進(jìn)行一次卷積，得到320×320×32的特征圖，該結(jié)構(gòu)有效的減少了特征損失，提高了運(yùn)算速度；CSPNet由殘差組件構(gòu)成，將梯度變化集成到特征圖之中，解決了梯度冗余問題，減少了參數(shù)量；CBL通常是指卷積-BN-激活函數(shù)，該結(jié)構(gòu)是模型中一個(gè)基本的下采樣模塊；SPP利用不同核體積的池化層提取不同尺度的特征，再將得到的特征以空間金字塔形式融合，達(dá)到多尺度特征提取的目的。

圖5 模型模塊介紹

2)網(wǎng)絡(luò)頸部及頭部。網(wǎng)絡(luò)的頸部(Neck)和頭部(Head)組合實(shí)現(xiàn)了多尺度預(yù)測的功能。頸部通過改進(jìn)的PANet結(jié)構(gòu)，采用新的疊加方式將特征融合起來，使得模型具有多尺度目標(biāo)檢測的能力。網(wǎng)絡(luò)的頭部是檢測的關(guān)鍵模塊，選用模型最后的特征圖作為基底，并利用錨框?qū)㈩悇e信息、置信度等整合到輸出結(jié)果中，從而實(shí)現(xiàn)目標(biāo)檢測。

3)尺度擴(kuò)張。本文改進(jìn)的YOLO網(wǎng)絡(luò)在原來的基礎(chǔ)上增加了一個(gè)尺度，即160×160。增加該尺度的主要目的是為了解決小目標(biāo)缺陷的檢測需求。本文通過將模型重復(fù)進(jìn)行一次上采樣和拼接工作實(shí)現(xiàn)了多一次的特征提取，提高了對小目標(biāo)的檢測準(zhǔn)確度，對于一幅樣本圖像，最小能夠檢測的目標(biāo)為1/(160×160)。

4)激活函數(shù)。本文針對鋼絲繩樣本對YOLO v5網(wǎng)絡(luò)進(jìn)行了改進(jìn)和優(yōu)化，其中BackBone部分采用ACON-C激活函數(shù)，其圖像如圖6所示。ReLU強(qiáng)制的稀疏處理會減少模型的有效容量，且由于ReLU在負(fù)半軸上的梯度為0，這導(dǎo)致該部分神經(jīng)元出現(xiàn)壞死現(xiàn)象。而ACON Family可以自適應(yīng)的選擇是否激活神經(jīng)元這一特征有效克制了ReLU導(dǎo)致的神經(jīng)元壞死出現(xiàn)。本文Backbone部分采用ACON Family之中最廣泛的ACON-C激活函數(shù)，即：

圖6 ACON-C激活函數(shù)圖像

ACON-C(x)=Sβ(p1x，p2x)=

(p1-p2)xσ[β(p1-p2)x]+p2x

(1)

式中，p1和p2是兩個(gè)能夠自主學(xué)習(xí)的參數(shù)用以自適應(yīng)調(diào)整，其圖像如圖6所示。

式(2)為ACON-C的一階導(dǎo)：

考慮式(3)可知當(dāng)x趨近于正無窮時(shí)，其梯度趨近于p1，趨近于負(fù)無窮時(shí)，梯度趨近于p2。

對ACON-C求二階導(dǎo)，有：

令上式為0，得到一階導(dǎo)上下界分別為：

(β>0)

(5)

根據(jù)式(3)、式(5)可以看出，ACON-C的梯度完全由p1、p2決定。

5)損失函數(shù)。YOLO v5系列圖像檢測網(wǎng)絡(luò)模型的損失函數(shù)由三個(gè)部分組成，包括邊界框回歸損失/置信度預(yù)測損失以及類別預(yù)測損失。在本文所設(shè)計(jì)模型中采用GIoU作為邊界框回歸損失，其公式如下：

式中，GIoU的含義為：對于預(yù)測定位框A和實(shí)際定位框B，計(jì)算能夠同時(shí)包含A和B的最小矩形區(qū)域C?？紤]實(shí)際框與預(yù)測框重合及完全分離狀態(tài)可知GIoU Loss在[-2，0]之間。

置信度及類別預(yù)測損失采用Binary Cross Entropy Loss，其公式為：

其中，σ(x)是sigmoid函數(shù)，即：

3.1.3 YOLO v5算法實(shí)現(xiàn)

該算法使用Python3.7，基于Pytorch框架實(shí)現(xiàn)。本文使用的訓(xùn)練機(jī)為AMD R7-4800H CPU，GTX1650 GPU的Windows10系統(tǒng)PC機(jī)對網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練。在訓(xùn)練之前首先要對虛擬環(huán)境進(jìn)行配置，在Python3.7環(huán)境下安裝torch1.7.1、torchvision0.8.2等支持庫和相關(guān)依賴。之后對樣本數(shù)據(jù)集進(jìn)行處理，將采集到的鋼絲繩缺損圖像通過LabelImg軟件進(jìn)行標(biāo)記，并將樣本數(shù)據(jù)集放到JPEGImages文件夾中，將標(biāo)記軟件生成的.xml文件放入Annotations文件夾中。

之后對數(shù)據(jù)集按照8∶1∶1隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集，并將標(biāo)注信息以及分類情況放入YOLOLabels文件夾中。數(shù)據(jù)集準(zhǔn)備完畢既可開始網(wǎng)絡(luò)的訓(xùn)練，訓(xùn)練通過遷移學(xué)習(xí)方式，采用原生權(quán)重參數(shù)作為網(wǎng)絡(luò)超參數(shù)，其他有關(guān)初始化參數(shù)設(shè)置見表1。經(jīng)過1000次訓(xùn)練之后將最好的權(quán)重結(jié)果保存為best.pt文件，即訓(xùn)練完成。

表1 網(wǎng)絡(luò)訓(xùn)練初始化參數(shù)設(shè)置

3.1.4 模型測試

使用已知缺陷的鋼絲繩視頻樣本輸入到訓(xùn)練好的網(wǎng)絡(luò)中，對測試程序進(jìn)行調(diào)試后執(zhí)行，最終將識別結(jié)果保存在runs/detect文件夾中。

3.2 模型評價(jià)

本實(shí)驗(yàn)通過與應(yīng)用廣泛的Faster RCNN、YOLOv3-dense、CNN、Tiny-YOLOv4以及CSPD-YOLO在接受者操作特征曲線(receiver operating characteristic curve，ROC)和精確召回曲線(precision recall curve，PR)來分析評估目標(biāo)檢測模型的準(zhǔn)確度。ROC曲線是反映敏感性與特異性關(guān)系的曲線，可以用來描述檢測模型對鋼絲繩缺損圖片變化敏感性及特異性連續(xù)變化指標(biāo)，根據(jù)ROC曲線的位置把整個(gè)圖劃分了兩個(gè)部分，曲線下方的面積稱為AUC值。當(dāng)AUC的值越大，也就是當(dāng)ROC的曲線越靠近左上方，說明目標(biāo)檢測的準(zhǔn)確性越高。若正負(fù)樣本的比例存在不平衡的現(xiàn)象，可以采用PR曲線進(jìn)一步地判定模型分類的效果，與ROC曲線相同，AUC值越大，即PRC曲線越靠近右上方，目標(biāo)檢測的準(zhǔn)確率越高。

在ROC曲線當(dāng)中，橫坐標(biāo)是假陽性率(False Positive Rate，F(xiàn)PR)，代表的是假陽性率，縱坐標(biāo)是真陽性檢出率(True Positive Rate，TPR)。兩者的計(jì)算公式如下：

其中，P代表測試樣本正例的數(shù)目，N代表測試樣本負(fù)例的數(shù)目，很明顯地可以看出，TPR越大模型的效果越好。

不同模型下鋼絲繩缺損檢測的ROC曲線，如圖7所示，從圖7可以看出，所提出的模型的ROC曲線更接近坐標(biāo)軸的左上角，對缺損檢測的準(zhǔn)確性較高，并且識別出各個(gè)故障類型的準(zhǔn)確率達(dá)到93%以上，能夠較好地把缺陷狀態(tài)進(jìn)行分類。

圖7 不同模型下鋼絲繩缺損檢測的ROC曲線

不同模型下鋼絲繩缺損檢測的PR曲線如圖8所示，結(jié)合如圖8PRC曲線來看，雖然CSPD-YOLO模型比所提出模型的ROC-AUC高0.02，但是對各個(gè)缺陷狀態(tài)的準(zhǔn)確率整體上均高于CSPD-YOLO模型。相比于其它網(wǎng)絡(luò)模型下的PRC曲線，所提出的模型更加地接近坐標(biāo)軸的右上方，并且其PRC曲線上的AUC值均大于在其他網(wǎng)絡(luò)模型上所對應(yīng)的值。因此可以得出，所提出的模型在鋼絲繩缺損檢測準(zhǔn)確率要高于其它診斷模型下的準(zhǔn)確率。模型實(shí)驗(yàn)檢測結(jié)果如圖9所示。

圖8 不同模型下鋼絲繩缺損檢測的PR曲線

圖9 模型實(shí)驗(yàn)檢測結(jié)果

4 結(jié) 語

利用YOLO v5深度學(xué)習(xí)模型，設(shè)計(jì)了一套用于煤礦用鋼絲繩缺陷檢測裝置，實(shí)現(xiàn)了對鋼絲繩缺損的實(shí)時(shí)檢測，綜合識別準(zhǔn)確率達(dá)到90%以上。該裝置既可在現(xiàn)場查看結(jié)果，也能通過HTTP協(xié)議將識別信息傳輸?shù)街骺厥疑衔粰C(jī)中?？筛鶕?jù)實(shí)際工況要求，實(shí)現(xiàn)對單根鋼絲繩或多跟鋼絲繩的缺損檢測。