基于深度學(xué)習(xí)的輸煤皮帶故障視覺檢測方法研究

畢東月

(安世亞太科技股份有限公司，北京 100025)

0 引言

采用輸煤皮帶對煤料進(jìn)行輸送是煤炭生產(chǎn)企業(yè)一種常用方式，但在生產(chǎn)過程中輸煤皮帶可能發(fā)生跑偏、斷帶、撕裂等安全事故[1-2]。目前，對輸煤皮帶進(jìn)行設(shè)備巡檢時，普遍采用人工巡視、手工記錄的作業(yè)模式。工作人員在現(xiàn)場進(jìn)行巡視，主要通過看、觸、聽等感官對運行設(shè)備進(jìn)行簡單的定性判斷，但現(xiàn)場環(huán)境往往較為惡劣，且勞動任務(wù)強(qiáng)度大，容易導(dǎo)致誤判而影響系統(tǒng)正常安全運行。因此，及時診斷發(fā)現(xiàn)輸煤皮帶故障，準(zhǔn)確定位并處理，對保障輸煤皮帶安全工作具有十分重要意義[3-4]。

近年來，利用圖像分析實現(xiàn)輸煤皮帶的故障檢測與診斷是一種有效方式，因其安裝維護(hù)簡單，應(yīng)用成本低，受到了國內(nèi)外學(xué)者的廣泛關(guān)注[5-7]。文獻(xiàn)[8]總結(jié)了煤炭運輸機(jī)跑偏通常由承載托輥組運行失常、改向滾筒積煤、運動過程中傳動以及落煤不均勻等原因引起，并提出解決皮帶跑偏的幾種方法；楊林順等[9]提出了一種基于導(dǎo)向濾波和最大類間方差法的改進(jìn)Canny算子邊緣檢測方法，實現(xiàn)了對輸送帶跑偏故障的在線檢測和分級故障報警。針對輸送機(jī)出現(xiàn)的縱向撕裂問題，李海濱等[10]提出了一種基于線激光輔助的皮帶撕裂視覺檢測方法，通過對所提取的線激光條紋處理判斷，實現(xiàn)皮帶撕裂檢測；王福斌等[11]提出了基于視覺的皮帶撕裂監(jiān)測方法，并構(gòu)建了皮帶撕裂視覺監(jiān)控系統(tǒng)，可代替人工對皮帶進(jìn)行不間斷的實時檢測。針對大塊矸石或鐵器等非煤異物進(jìn)入輸送帶系統(tǒng)易造成輸送帶損傷等問題，吳守鵬等[12]提出一種Faster-RCNN+雙向特征金字塔網(wǎng)絡(luò)的運煤輸送帶異物識別模型，提升了Faster-RCNN模型在多尺度非煤異物檢測的性能。

為了能實時高效地檢測出輸煤皮帶的跑偏、撕裂和異物等故障情況，本文提出一種基于深度學(xué)習(xí)的輸煤皮帶故障視覺檢測方法，通過對運行皮帶進(jìn)行邊緣檢測，利用Canny進(jìn)行邊緣檢測，并通過YOLO算法提取細(xì)節(jié)特征，設(shè)計無異物閾值，利用最小距離分類算法得到有無異物特征，基于上述方法，構(gòu)建輸煤皮帶視覺檢測系統(tǒng)，解決皮帶跑偏、裂紋、異物檢測難等問題。

1 檢測方案

1.1 系統(tǒng)的基本結(jié)構(gòu)

基于機(jī)器視覺技術(shù)的皮帶故障檢測系統(tǒng)的組成及工作流程如圖1所示。首先利用安裝在皮帶機(jī)上的攝像頭采集現(xiàn)場圖像；被測輸送帶按照一定的節(jié)拍運動，攝像頭同步拍攝皮帶運動畫面；在光源的照射下，攝像頭獲取被測皮帶的紋理、兩側(cè)邊緣輪廓等影像信息；利用光學(xué)放大系統(tǒng)接收影像信息，再通過CCD攝像頭將其轉(zhuǎn)換為視頻信號，將其輸出給視頻處理服務(wù)器，圖像信息經(jīng)過算法處理運算，最終得到待檢測皮帶的撕裂、跑偏及異物等信息。

圖1 系統(tǒng)組成及工作流程

1.2 輸煤皮帶跑偏檢測算法

輸煤皮帶跑偏是指輸煤帶偏離正常的運行方向，這是輸煤皮帶運行中最為常見的一種故障。當(dāng)輸煤系統(tǒng)出現(xiàn)輸煤皮帶跑偏故障時，容易造成撒煤、煤粉飛揚等問題，不僅會對工作環(huán)境造成污染，還會引發(fā)皮帶高溫?fù)p傷、撕裂等[13]。因此，對輸煤皮帶進(jìn)行跑偏檢測顯得尤為重要。

首先用攝像機(jī)獲取皮帶兩側(cè)邊緣的輪廓圖像，然后利用Canny邊緣檢測算法，通過設(shè)定合理的皮帶動態(tài)監(jiān)測范圍，準(zhǔn)確識別輸煤皮帶邊緣。當(dāng)皮帶發(fā)生跑偏，超出設(shè)定的范圍，即發(fā)出報警信息。輸煤皮帶跑偏檢測流程如圖2所示。

圖2 輸煤皮帶跑偏檢測流程

Canny邊緣檢測算法首先利用高斯濾波器對需要邊緣檢測的視覺圖像進(jìn)行平滑處理，濾除噪聲；之后計算視覺圖像中每個像素點的梯級強(qiáng)度和方向；再利用雙閾值檢測法來判定邊緣，通過抑制其中的弱邊緣并最終完成檢測。

Canny邊緣檢測算法具體的實現(xiàn)如下：

1)高斯平滑

Canny算子是基于高斯一階導(dǎo)數(shù)的最優(yōu)化逼近算子。首先利用圖像I與高斯平滑濾波器G作卷積得到1個平滑后的數(shù)據(jù)陣列，如式(1)所示：

S[i,j]=G[i,j;σ]*I[i,j]

(1)

式中：i，j分別表示圖像像素矩陣第i行和第j列；σ表示高斯函數(shù)的散步參數(shù)，用以控制平滑程度。

使用一階有限差分計算平滑后的數(shù)據(jù)陣列S的x和y方向上偏導(dǎo)數(shù)的2個陣列P與Q，如式(2)～(3)所示：

(2)

(3)

然后利用直角坐標(biāo)系到極坐標(biāo)之間的轉(zhuǎn)換公式來計算幅值M和方位角θ，如式(4)～(5)所示：

(4)

(5)

2)非極大值抑制

為確定圖像邊緣，采用非極大值抑制(Non-Maxima Suppression，NMS)生成細(xì)化的邊緣[14]。NMS算法首先將梯度角θ的變化范圍減小到圓周的4個扇區(qū)之一，如式(6)～(7)所示：

ζ[i,j]=Sector(θ[i,j])

(6)

式中：Sector為扇區(qū)符號；ζ為扇區(qū)值。

N[i,j]=NMS(M[i,j],ζ[i,j])

(7)

式中：N的非零值對應(yīng)圖像灰度階躍處對比度。

3)雙閾值化

雖然在第1)步中對圖像進(jìn)行了高斯平滑處理，但是NMS過程中仍包含了由細(xì)紋理和噪聲引起的假邊緣段。通常的方法是在NMS過程中使用1個閾值τ，將低于閾值τ的所有值賦零，得到圖像的邊緣陣列。但如果閾值τ取得太低，則會得到1個假邊緣；取得太高則導(dǎo)致部分輪廓丟失。本文采取雙閾值算法[15]來解決上述問題。

1.3 輸煤皮帶撕裂檢測

輸煤皮帶的撕裂一般分為橫向撕裂和縱向撕裂。橫向撕裂是指與傳輸帶垂直或與傳輸帶運行方向成一定夾角的裂縫，一般是在膠接頭膠接不牢的情況下發(fā)生斷裂。由于傳輸帶的紋理是縱向的，橫向裂縫會有很明顯的特征，且對皮帶的損害尤其顯著。本文僅利用算法對橫向撕裂進(jìn)行研究。

首先在視頻幀中通過矩形框找到傳輸帶的位置，之后對圖像進(jìn)行預(yù)處理，獲得圖像數(shù)據(jù)，再對傳輸帶的圖像進(jìn)行二值化處理，最終得到傳輸帶上的橫向紋理。由于噪聲干擾，需要先進(jìn)行降噪處理。采取的方法是圖像形態(tài)學(xué)處理的腐蝕和膨脹，然后再通過裂縫的整體特征(采用HOG特征)來判斷。如裂縫會有一系列的毛邊，可以通過這些毛邊來確定是噪聲還是真實裂縫，其檢測流程如圖3所示。

圖3 橫向裂縫檢測流程

具體的實現(xiàn)如下：

1)視頻幀：攝像機(jī)拍攝視頻，實時提取出當(dāng)前幀進(jìn)行檢測。

2)檢測傳輸帶：目前實現(xiàn)目標(biāo)檢測具代表性的是Faster-RCNN和Yolo這2種深度學(xué)習(xí)模型。Yolo是單階段目標(biāo)檢測模型，用1個網(wǎng)絡(luò)同時實現(xiàn)了分類和定位，且模型相對較小，檢測相對較快。為了能實現(xiàn)實時的檢測，本文選擇Yolo模型來進(jìn)行目標(biāo)檢測。

3)圖像預(yù)處理：主要是對圖像進(jìn)行降噪處理，一般采用提取灰度值、腐蝕和膨脹等圖像形態(tài)學(xué)來處理。

4)HOG特征：方向梯度直方圖(Histogram of Oriented Gradient，HOG)特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述。根據(jù)橫向紋理的HOG與裂縫HOG特征比對，便可判斷是不是橫向裂縫。

1.4 輸煤皮帶異物檢測

將輸煤皮帶識別異物問題轉(zhuǎn)換為分類問題，即有無異物這2類。因此可以將識別算法轉(zhuǎn)換成構(gòu)造分類算法(二分類)的問題。由于無異物的樣本數(shù)量遠(yuǎn)遠(yuǎn)大于有異物的樣本數(shù)量，所以本文選取的方法是貝葉斯分類算法中最小距離分類算法。

最小距離分類算法是指求出未知類別向量到要識別各類別代表向量中心點的距離，將未知類別向量歸屬于距離最小一類的一種圖像分類方法。通過求出未知類別向量X到事先已知的各類別(如A，B，C等)中心向量的距離D，然后將待分類的向量X歸結(jié)為這些距離中最小的那一類的分類方法。本文選取歐式距離來進(jìn)行計算?；驹砣缦滤荆?/p>

在1個n維空間中，最小距離分類法首先計算每個已知類別XA(用向量表示為[XA1,XA2,…,XAn])的各個維度的均值，形成1個均值μA(用向量表示為[μA1,μA2,…,μAn])，其中A為類別的名稱，XA是類別A的樣本特征集合，XA1是類別A的第1維特征集合，μA1是第1維特征集合的均值，n為總的特征維數(shù)；同理，對另1個類別XB進(jìn)行同樣的操作?，F(xiàn)在有1個新的未知樣本X，得到X各個維度的特征值(也用向量表示)，然后用歐式距離計算X到XA和XB的距離dA和dB,若dA

圖4 異物檢測流程

2 分析與討論

2.1 模型訓(xùn)練與仿真實驗

本文的仿真環(huán)境為配有RTX 3080 GPU顯卡的Linux系統(tǒng)服務(wù)器，其處理器為Intel Core i7-7770，文中所述的YOLO算法基于Pytorch深度學(xué)習(xí)框架開發(fā)。

本文所述算法的訓(xùn)練數(shù)據(jù)集與驗證數(shù)據(jù)集均由作者自主構(gòu)建。其中用于檢測皮帶的YOLO算法數(shù)據(jù)集由有無煤區(qū)皮帶以及皮帶被遮擋的RGB圖像構(gòu)成，數(shù)據(jù)集大小及訓(xùn)練集與測試集的劃分見表1。

表1 自建數(shù)據(jù)集信息

通過攝像頭獲得的RGB圖像通過Labelme軟件進(jìn)行標(biāo)注，得到RGB圖像中皮帶的位置框。其標(biāo)注方式如圖5所示。

圖5 皮帶數(shù)據(jù)標(biāo)注

用于檢測皮帶的YOLO算法訓(xùn)練參數(shù)見表2。

表2 模型訓(xùn)練參數(shù)信息

YOLO神經(jīng)網(wǎng)絡(luò)模型的迭代次數(shù)通過多次在無煤區(qū)皮帶數(shù)據(jù)集上實驗得出，YOLO算法在迭代至280 000～300 000次時平均誤差維持在0.1左右。為防止過擬合，每1次學(xué)習(xí)的過程中，需要將學(xué)習(xí)后的參數(shù)按照固定比例進(jìn)行降低，所以設(shè)定權(quán)值衰減系數(shù)為0.000 5。由于圖片的分辨率較高，而服務(wù)器GPU內(nèi)存有限，所以采用較低的訓(xùn)練Batchsize以完成訓(xùn)練。

在目標(biāo)檢測模型評價中，對模型的評價方式一般采用統(tǒng)一的標(biāo)準(zhǔn)，利用模型準(zhǔn)確率P(Precision)、召回率R(Recall)計算出平均準(zhǔn)確率AP(AveragePrecision)，最后把均值平均精度mAP(meanAveragePrecision)作為目標(biāo)檢測模型的性能評估標(biāo)準(zhǔn)。具體計算方式如式(8)～(9)所示：

(8)

(9)

式中：TP表示檢測框中正確，且IOU大于閾值的。FP表示檢測框中錯誤，且IOU小于閾值的。FN表示真實正確的框，但沒有被模型檢測到的。IOU是模型所預(yù)測的檢測框和真實框的交集和并集之間的比例，本文設(shè)置IOU閾值為0.5。IOU的計算原理如圖6所示。

圖6 IOU計算原理

由于算法訓(xùn)練實驗所采用的數(shù)據(jù)集均為作者自主構(gòu)造，數(shù)據(jù)集與原算法模型訓(xùn)練的數(shù)據(jù)集差異較大，所以算法模型直接復(fù)用在本文所述數(shù)據(jù)集上性能的表現(xiàn)并不是最佳，經(jīng)過數(shù)據(jù)處理以及模型參數(shù)調(diào)整，得到算法模型在本文數(shù)據(jù)集上的最優(yōu)性能，網(wǎng)絡(luò)模型性能參數(shù)對比如表3所示。由于增加了圖片處理的操作，模型準(zhǔn)確率由85.31%提高到93.24%，召回率由74.23%提高到84.56%。算法整體速度由35幀/s下降到32幀/s，但均值平均精度由84.36%提高到94.67%，準(zhǔn)確度得到了較大提升。

表3 模型性能信息

圖7為本文訓(xùn)練算法模型對皮帶的檢測結(jié)果，左上角為模型輸出的置信度分?jǐn)?shù)。從圖中可以看出，本文訓(xùn)練算法能較好地得到皮帶的位置框，置信度為0.989 1,精度得到明顯提升。

圖7 皮帶視覺檢測結(jié)果

2.2 皮帶跑偏檢測結(jié)果

圖8(a)為攝像機(jī)獲得皮帶兩側(cè)邊緣輪廓的原始圖像，首先通過Canny邊緣檢測算法對原始圖像進(jìn)行預(yù)處理得到灰度圖如圖8(b)所示。準(zhǔn)確識別輸煤皮帶邊緣后，通過設(shè)定的閾值范圍來判斷皮帶是否跑偏，圖8(c)和圖8(d)為實驗過程中通過Canny邊緣檢測算法判斷出皮帶跑偏情況?？梢钥闯?，算法能準(zhǔn)確快速地識別出皮帶跑偏情況。

圖8 輸煤皮帶跑偏檢測結(jié)果

2.3 皮帶撕裂檢測結(jié)果

在對輸煤皮帶裂縫進(jìn)行判斷時，需要保證輸煤皮帶上沒有傳輸?shù)拿?。否則會因為煤的遮擋，無法觀察到裂縫。此時，根據(jù)提供的視頻數(shù)據(jù)分析，提出2種解決方案，第1種方案，在輸煤皮帶空載的時候進(jìn)行裂縫檢測，如圖9所示。第2種方案是對正在工作的輸煤皮帶上沒有煤的區(qū)域部分進(jìn)行檢測，如圖10所示。

圖9 輸煤皮帶空載狀態(tài)

圖10 輸煤皮帶上無煤檢測區(qū)域

針對橫向無煤區(qū)域與縱向無煤區(qū)的檢測，分別做了算法性能實試，算法檢測性能結(jié)果如表4所示，從表4可以看出，該算法能準(zhǔn)確識別出輸送平帶上的橫向無煤檢測區(qū)域和縱向無煤檢測區(qū)域，模型準(zhǔn)確率分別為94.3%和95.24%，召回率分別為85.11%和84.96%，均值平均精度分別為85.31%和84.96%，滿足2種情況的皮帶檢測精度需求，且檢測幀率也符合需求。

表4 皮帶檢測性能

皮帶橫向裂縫的檢測結(jié)果如圖11所示。從圖11(a)可以看出，利用目標(biāo)檢測算法可以準(zhǔn)確地識別皮帶中真實裂紋和噪聲的具體位置。從圖11(b)可以看出，通過對圖像進(jìn)行二值化的預(yù)處理和降噪處理后可以明顯區(qū)分出橫向裂紋和噪聲。

圖11 橫向裂縫圖像

由于傳輸帶本身具有縱向紋理特征(如圖12所示)，本文通過在皮帶下方安裝紅色照明燈這一輔助手段有效提高了縱向裂縫的檢測結(jié)果，如圖13所示。

圖12 縱向紋理圖像

圖13 縱向裂縫圖像

2.4 皮帶異物檢測結(jié)果

基于計算機(jī)視覺方法獲得輸煤皮帶上異物的檢測結(jié)果，如圖14所示。

圖14 異物檢測結(jié)果

計算機(jī)視覺算法對于異物的檢測性能數(shù)據(jù)如表5所示。模型準(zhǔn)確率為98.3%，召回率分別為87.11%，均值平均精度分別為90.31%，算法速度為51幀/s。由表5可以得出，利用主成分分析算法可以很好地提取出非煤物質(zhì)(異物)與煤物質(zhì)的不同特征，通過識別算法可以準(zhǔn)確地識別出異物，且速度較快。

表5 異物檢測性能

3 結(jié)論

1)輸煤皮帶的安全運行對整體生產(chǎn)作業(yè)效率有著舉足輕重的影響。為確保輸煤皮帶正常運行，建立一種基于深度學(xué)習(xí)算法的輸煤皮帶故障視覺檢測系統(tǒng)，可對常見的皮帶跑偏、撕裂和異物等故障進(jìn)行實時檢測與診斷。

2)針對不同的故障類型與故障原因，采用深度學(xué)習(xí)中的邊緣檢測算法、目標(biāo)檢測算法和分類算法等對故障進(jìn)行處理。針對縱向裂縫與縱向紋理較難區(qū)分的問題，通過在傳輸帶的下方加裝紅色燈的輔助手段來實現(xiàn)縱向裂縫的檢測，解決了縱向撕裂難以檢測的問題。

3)算法實驗結(jié)果表明：提出的視覺檢測系統(tǒng)可以實時高效地檢測出輸煤皮帶常見的3種故障，可進(jìn)一步保障運輸系統(tǒng)安全穩(wěn)定運行。