基于圖像分割的皮帶跑偏故障分級(jí)報(bào)警方法研究

聶志勇，官鋒，穆杞梓

（國(guó)家能源集團(tuán)信息公司，北京 100011）

1 引言

皮帶輸送機(jī)作為一種連續(xù)性物料運(yùn)輸機(jī)械，近年來(lái)在煤炭、礦山、港口等領(lǐng)域獲得廣泛應(yīng)用。在輸送機(jī)運(yùn)行過(guò)程中，最常見(jiàn)的故障就是皮帶跑偏。若故障不及時(shí)處理容易導(dǎo)致物料堆積泄漏，造成環(huán)境污染等不良后果。因此，研究皮帶跑偏檢測(cè)方法對(duì)維護(hù)整個(gè)生產(chǎn)系統(tǒng)的安全具有重要意義。

目前，各電廠、港口等對(duì)于皮帶跑偏故障常采用傳感器式檢測(cè)方案。其通常在輸送帶兩側(cè)機(jī)架安裝偏差開(kāi)關(guān)，一旦發(fā)生跑偏事故，輸送帶推動(dòng)偏差開(kāi)關(guān)的作用臂發(fā)生偏轉(zhuǎn)，進(jìn)而觸發(fā)開(kāi)關(guān)并發(fā)出報(bào)警信號(hào)。然而，這種方法常出現(xiàn)誤報(bào)現(xiàn)象，嚴(yán)重影響工廠正常生產(chǎn)。近年來(lái)，隨著機(jī)器視覺(jué)在能源領(lǐng)域的不斷發(fā)展，結(jié)合圖像識(shí)別的皮帶跑偏檢測(cè)方法逐漸受到研究者關(guān)注。此類方法不僅能從根本上避免因人工導(dǎo)致的失誤，提高檢測(cè)精度；并且能在檢測(cè)出皮帶跑偏故障的同時(shí)，及時(shí)上報(bào)報(bào)警信息并快速響應(yīng)處理，節(jié)省時(shí)間和成本。最近，Yang 等通過(guò)線陣CCD 采集皮帶下表面圖像，并采用列閾值的圖像分割算法檢測(cè)皮帶邊緣，從而確定偏差。Mei 等提出一種基于圖像增強(qiáng)算法的偏差檢測(cè)方法，通過(guò)自適應(yīng)閾值和圖像增強(qiáng)算法檢測(cè)皮帶邊緣，據(jù)此計(jì)算皮帶的偏移和變形并預(yù)測(cè)跑偏故障。

隨著深度學(xué)習(xí)的發(fā)展，結(jié)合神經(jīng)網(wǎng)絡(luò)的皮帶跑偏檢測(cè)方法開(kāi)始成為研究熱點(diǎn)。當(dāng)前結(jié)合神經(jīng)網(wǎng)絡(luò)的皮帶跑偏檢測(cè)方法主要是以皮帶兩側(cè)托輥?zhàn)鳛闄z測(cè)目標(biāo)的托輥檢測(cè)法。Liu 等提出一種基于模板匹配的橢圓弧檢測(cè)算法來(lái)檢測(cè)托輥外邊緣。然而由于檢測(cè)目標(biāo)易受干擾，因此當(dāng)單側(cè)目標(biāo)被遮擋時(shí)該方法無(wú)法正常檢測(cè)。且其易受現(xiàn)場(chǎng)亮度、托輥與相機(jī)的距離等環(huán)境因素影響，對(duì)于新場(chǎng)景需要進(jìn)行針對(duì)性優(yōu)化，普適性較低。最近，范等提出基于BP 神經(jīng)網(wǎng)絡(luò)的皮帶跑偏檢測(cè)方法。王等提出用鑒頻器來(lái)判斷故障聲，并通過(guò)CNN 定位故障聲位置。然而，上述方法均在皮帶出現(xiàn)輕度跑偏時(shí)就產(chǎn)生報(bào)警信號(hào)，而實(shí)際生產(chǎn)作業(yè)中，皮帶輕微偏斜并不會(huì)對(duì)生產(chǎn)造成影響，若輕度跑偏報(bào)警過(guò)于頻繁，會(huì)出現(xiàn)較多干擾信號(hào)，影響現(xiàn)場(chǎng)調(diào)度人員判斷。因此，對(duì)皮帶跑偏故障進(jìn)行分級(jí)報(bào)警顯得尤為重要。

基于上述分析，本文提出一種基于圖像分割的皮帶跑偏故障分級(jí)報(bào)警方法。該方法結(jié)合實(shí)例分割及邊緣檢測(cè)技術(shù)，首先基于Mask R-CNN 進(jìn)行實(shí)例分割獲取圖像中皮帶的位置，其次結(jié)合霍夫直線檢測(cè)有效定位皮帶邊緣，最終通過(guò)判定皮帶邊緣和預(yù)設(shè)報(bào)警線之間的位置關(guān)系確定報(bào)警級(jí)別，從而達(dá)到在減少人工成本的同時(shí)及時(shí)獲取報(bào)警信息的目的，避免因人員誤判導(dǎo)致的經(jīng)濟(jì)效益損失。

2 基于圖像分割的皮帶跑偏故障分級(jí)報(bào)警方法設(shè)計(jì)

根據(jù)實(shí)際場(chǎng)景，皮帶跑偏故障分為輕度、中度及重度跑偏。在輕度跑偏時(shí)，跑偏故障不會(huì)對(duì)生產(chǎn)造成影響；中度跑偏后，皮帶運(yùn)行中存在撒煤等生產(chǎn)隱患；重度跑偏情況下，皮帶嚴(yán)重偏斜，無(wú)法正常工作。因此，為進(jìn)行皮帶跑偏故障分級(jí)檢測(cè)，本文基于專家經(jīng)驗(yàn)提前對(duì)皮帶跑偏報(bào)警線進(jìn)行標(biāo)注（如圖1 皮帶兩側(cè)各3 根綠色直線），并在此基礎(chǔ)上設(shè)計(jì)了皮帶跑偏故障分級(jí)檢測(cè)模型。

圖1 皮帶預(yù)標(biāo)注報(bào)警線示意圖

該模型主要包含3 個(gè)階段。首先，通過(guò)實(shí)例分割技術(shù)輸出圖像中的皮帶實(shí)例（圖1 黃色區(qū)域所示），并篩取皮帶邊緣點(diǎn)；其次，運(yùn)用霍夫直線檢測(cè)技術(shù)獲取皮帶邊緣集，設(shè)計(jì)過(guò)濾方法對(duì)該集合中的直線進(jìn)行過(guò)濾；最后結(jié)合邊緣點(diǎn)及邊緣集擬合得到皮帶邊緣（圖1 中紅色直線），并通過(guò)比較皮帶邊緣與預(yù)設(shè)報(bào)警線間的位置關(guān)系確定跑偏故障等級(jí)。

2.1 基于Mask R-CNN 的皮帶實(shí)例及邊緣點(diǎn)提取方法

為計(jì)算皮帶跑偏程度，首先需要對(duì)圖像上的皮帶實(shí)例進(jìn)行識(shí)別及分割。該過(guò)程屬于目標(biāo)檢測(cè)的范疇?；谏疃葘W(xué)習(xí)的典型目標(biāo)檢測(cè)方法包括yolo 系列，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN 等。2017 年，何等提出Mask R-CNN 作為Faster R-CNN 的改進(jìn)，他們通過(guò)ROI Align 來(lái)替換ROI Pooling 的取整操作，使得對(duì)每個(gè)感興趣區(qū)域取得的特征都能更好地對(duì)齊原圖上的感興趣區(qū)域。因此，為保證皮帶感興趣區(qū)域提取的準(zhǔn)確性，本文通過(guò)Mask R-CNN 模型識(shí)別圖片中的皮帶實(shí)例，為其繪制邊界框并對(duì)邊界點(diǎn)進(jìn)行標(biāo)記。模型整體架構(gòu)如圖2 所示。

圖2 Mask R-CNN 整體架構(gòu)

Mask R-CNN 在輸入圖像后，首先，使用殘差網(wǎng)絡(luò)ResNet101 以及特征金字塔網(wǎng)絡(luò)FPN 作為骨架層進(jìn)行特征提取，其中由ResNet 網(wǎng)絡(luò)完成主干特征的提取，并通過(guò)FPN 加強(qiáng)特征提取，以獲得圖像的多尺度特征；其次，在獲得對(duì)應(yīng)的特征圖后，將其送入?yún)^(qū)域建議網(wǎng)絡(luò)RPN 來(lái)獲得感興趣區(qū)域；最后，通過(guò)ROI Align 對(duì)感興趣區(qū)域進(jìn)行池化操作，將相應(yīng)區(qū)域池化為固定尺寸的特征圖；最后對(duì)這些感興趣區(qū)域進(jìn)行分類、邊框回歸和mask 生成，并將檢測(cè)得到的所有mask 疊加融合為1 個(gè)mask 整體。

在輸出mask 基礎(chǔ)上基于預(yù)設(shè)報(bào)警線分別計(jì)算得到皮帶兩側(cè)邊緣點(diǎn)。鑒于該過(guò)程中輸出的邊緣點(diǎn)數(shù)量眾多，導(dǎo)致后續(xù)計(jì)算量較大，因此需要對(duì)上述邊緣點(diǎn)進(jìn)行篩取。而Mask R-CNN 模型輸出的mask 存在不規(guī)則現(xiàn)象，通過(guò)直接均分篩取得到的邊緣點(diǎn)不能很好的表現(xiàn)出皮帶實(shí)例的語(yǔ)義信息，因此本文設(shè)計(jì)了如下邊緣點(diǎn)均分方法來(lái)分別獲取皮帶2 側(cè)各n 個(gè)（本文根據(jù)專家經(jīng)驗(yàn)選取n=10）具有較強(qiáng)特征的邊緣點(diǎn)（以左側(cè)邊緣點(diǎn)獲取為例）：

（1）獲取mask 縱坐標(biāo)方向的最大、最小值：yMax，yMin；

（2）考慮到mask 的連續(xù)性，將皮帶依照縱坐標(biāo)均分為n-1 等份，記縱坐標(biāo)依次為y1,y2,...,yi,...yn， 其中y1=yMin，yn=ymax。 對(duì)于某縱坐標(biāo)yi， 獲取mask 多邊形左側(cè)區(qū)域與直線y=yi的交點(diǎn)， 記為 集 合， 其 中，xmaxi表示縱坐標(biāo)yi下獲取的所有邊緣點(diǎn)中橫坐標(biāo)的最大值；該步驟中獲取的所有邊緣點(diǎn)組成邊緣點(diǎn)集

（3） 選 取 各 縱 坐 標(biāo) 中 最 靠 近 皮 帶區(qū) 域 的 那 一 點(diǎn)(xmaxi,yi) 進(jìn) 行 存 儲(chǔ)， 記 為。

2.2 皮帶邊緣檢測(cè)及過(guò)濾

通過(guò)標(biāo)準(zhǔn)霍夫直線檢測(cè)獲取圖像中皮帶2 側(cè)的邊緣線，并設(shè)計(jì)相關(guān)過(guò)濾方法對(duì)直線檢測(cè)結(jié)果進(jìn)行過(guò)濾。

霍夫直線檢測(cè)具體步驟如下：

（1）對(duì)輸入圖像進(jìn)行高斯模糊。

圖像中的皮帶邊緣往往是灰度變化幅度最劇烈的區(qū)域，而這其中存在一些表現(xiàn)出階躍效應(yīng)或屋頂效應(yīng)的孤立像素點(diǎn)或像素塊，對(duì)最終的邊緣檢測(cè)效果帶來(lái)干擾。因此，這一步，通過(guò)高斯濾波器來(lái)消除圖像噪聲，從而提高和噪聲相關(guān)的邊緣檢測(cè)算子的性能。

（2）使用Canny 算子進(jìn)行皮帶邊緣檢測(cè)。

（3）利用概率霍夫變換直線檢測(cè)獲取皮帶邊緣。

對(duì)得到的邊緣檢測(cè)結(jié)果進(jìn)行概率霍夫變換直線檢測(cè)得到最終所需的皮帶邊緣。在該步驟中，為滿足足夠的泛化性，Canny 邊緣檢測(cè)和概率霍夫變換直線檢測(cè)的參數(shù)設(shè)置寬容度較高，導(dǎo)致在最終結(jié)果中生成大量直線，使得后續(xù)計(jì)算量龐大。因此，為保證檢測(cè)的實(shí)時(shí)性，縮短檢測(cè)周期，本文設(shè)計(jì)了如下過(guò)濾方法來(lái)剔除多余的直線檢測(cè)結(jié)果：

①將用戶標(biāo)注的預(yù)警線轉(zhuǎn)換為極坐標(biāo)參數(shù)(θ,r)；

②將霍夫變換直線檢測(cè)結(jié)果中各直線坐標(biāo)轉(zhuǎn)換為極坐標(biāo)參數(shù)(θ’,r’)，并根據(jù)公式（1）篩除多余結(jié)果；

③估計(jì)皮帶寬度?；陬A(yù)設(shè)報(bào)警線獲取皮帶兩側(cè)中心點(diǎn)，求出兩點(diǎn)間的歐式距離d，即為對(duì)應(yīng)皮帶寬度估值。（以1920*1080 圖像分辨率為例，豎直方向像素點(diǎn)為1080，皮帶兩側(cè)中心點(diǎn)為皮帶兩側(cè)輕度報(bào)警線與直線y=540 的交點(diǎn)。）

④根據(jù)公式（2）篩選滿足條件的直線，獲取最終結(jié)果。

2.3 邊緣線擬合及分級(jí)報(bào)警

基于2.1 節(jié)輸出的皮帶2 側(cè)各n 個(gè)邊緣點(diǎn)，以及2.2節(jié)篩選得到的備選皮帶邊緣，設(shè)計(jì)如下擬合方案，準(zhǔn)確得到皮帶2 側(cè)邊緣：

（1）利用預(yù)設(shè)報(bào)警線獲取圖像中的皮帶中軸，并基于該中軸線區(qū)分皮帶左右兩側(cè)備選邊緣；

（2）分別計(jì)算皮帶兩側(cè)各邊緣點(diǎn)與備選邊緣直線間的歐式距離；對(duì)于某邊緣點(diǎn)i（x,y），其到直線j：Ax+By+C=0 的歐式距離定義為：

（3）分別計(jì)算皮帶兩側(cè)各備選直線的邊緣擬合權(quán)重，以皮帶左側(cè)為例，某備選直線j 的邊緣擬合權(quán)重（j=1,2,3....ml）如公式（4）所示：

（4）分別取出皮帶兩側(cè)權(quán)重最小的直線作為其邊緣。同時(shí)，通過(guò)判斷皮帶邊緣與各條報(bào)警線間的位置關(guān)系確定最終報(bào)警級(jí)別。具體方法如下（以左側(cè)皮帶為例）：

①以皮帶中軸線為基準(zhǔn)，在圖像中分別以2.1 中mask 縱坐標(biāo)方向的最大、最小值：yMax，yMin做兩條水平直線y=ymin及y=ymax；

②計(jì)算上述2 條直線與3 條皮帶跑偏預(yù)警線（如圖3所示綠色直線）分別相交形成的多邊形的面積S2及S3；

圖3 皮帶跑偏故障分級(jí)報(bào)警計(jì)算方法圖示

③以皮帶中軸線為基準(zhǔn)，遍歷計(jì)算皮帶左邊緣與中軸線及y=ymax,y=ymin形成的多邊形S1與上述S2以及S3是否有交集，當(dāng)或時(shí)，皮帶正常運(yùn)行；當(dāng)且或，且時(shí)，皮帶發(fā)生輕度跑偏；當(dāng)且時(shí)，皮帶發(fā)生中度跑偏；當(dāng)且時(shí)，皮帶發(fā)生重度跑偏。其中t1表示一般跑偏故障閾值，t2表示重度跑偏故障閾值，這里根據(jù)專家經(jīng)驗(yàn)設(shè)定取值為：t1=40%，t2=80%。

本模型優(yōu)點(diǎn)在于報(bào)警條件可客制化，且在邊緣直線檢測(cè)階段使用的是概率霍夫變換方法，因此相較于傳統(tǒng)霍夫直線檢測(cè)在惡劣場(chǎng)景（如塵土干擾、光照強(qiáng)度不足等）下的魯棒性更高。

3 實(shí)驗(yàn)及評(píng)價(jià)

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

本文所有實(shí)驗(yàn)均在windows 10 專業(yè)版64 位操作系統(tǒng)下進(jìn)行，配置采用Intel Xeon Gold 5218R CPU，搭配2 張NVIDIA RTX6000 顯卡，基于pytorch 框架，在python 3.8，CUDA10.2.89 上訓(xùn)練和測(cè)試深度神經(jīng)網(wǎng)絡(luò)模型。

為測(cè)試所提方法的有效性及準(zhǔn)確性，基于烏東及錦界煤礦實(shí)際生產(chǎn)中的皮帶視頻監(jiān)控?cái)?shù)據(jù)建立訓(xùn)練集、驗(yàn)證集及測(cè)試集。該測(cè)試集主要包含13 個(gè)樣本數(shù)據(jù)共21490 張圖像，每個(gè)樣本中包括數(shù)量不等的正負(fù)樣本，其中負(fù)樣本中包含一定比例的輕度、中度以及重度皮帶跑偏圖像。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 分級(jí)報(bào)警可行性分析

在上述測(cè)試集中測(cè)試本文所提算法對(duì)于皮帶分級(jí)跑偏故障檢測(cè)的準(zhǔn)確性，具體結(jié)果如表1 所示。根據(jù)結(jié)果，所提算法在輕度、中度以及重度跑偏故障檢測(cè)中的準(zhǔn)確率均大于90%，驗(yàn)證了所提算法對(duì)于分級(jí)故障檢測(cè)的可行性。

表1 皮帶分級(jí)故障檢測(cè)準(zhǔn)確率

3.2.2 與傳統(tǒng)托輥檢測(cè)方案比較

在上述測(cè)試集中將所提方法與傳統(tǒng)托輥檢測(cè)方案進(jìn)行對(duì)比，驗(yàn)證本方法對(duì)于識(shí)別皮帶故障的準(zhǔn)確性，結(jié)果如表2 所示。可見(jiàn)，所提方法在11 個(gè)樣本中都表現(xiàn)出與傳統(tǒng)托輥檢測(cè)算法相等甚至更優(yōu)的精確率，而在9 個(gè)樣本中也表現(xiàn)出相對(duì)更高的召回率。同時(shí)，在表現(xiàn)略差的情況下，本方法與托輥檢測(cè)方案的誤差也始終控制在0.08以內(nèi)，驗(yàn)證了本方法對(duì)于檢測(cè)皮帶跑偏故障的準(zhǔn)確性。

3.2.3 項(xiàng)目現(xiàn)場(chǎng)應(yīng)用結(jié)果評(píng)價(jià)

通過(guò)在項(xiàng)目現(xiàn)場(chǎng)實(shí)際應(yīng)用部署，驗(yàn)證所提方法在現(xiàn)實(shí)應(yīng)用場(chǎng)景中的有效性。使用本文所設(shè)計(jì)方法得到的皮帶正常工作時(shí)及皮帶跑偏故障時(shí)檢測(cè)結(jié)果如圖4 所示。從實(shí)際現(xiàn)場(chǎng)部署及報(bào)警結(jié)果來(lái)看，本方法能有效識(shí)別皮帶邊緣線，在皮帶發(fā)生跑偏故障時(shí)準(zhǔn)確且及時(shí)地判斷故障等級(jí)并發(fā)出報(bào)警信號(hào)，該結(jié)果也與3.2.1 及3.2.2 節(jié)中的測(cè)試結(jié)果高度吻合?？梢?jiàn)，所提方法在項(xiàng)目實(shí)施現(xiàn)場(chǎng)能夠滿足實(shí)時(shí)的皮帶跑偏故障檢測(cè)需求，有效實(shí)現(xiàn)跑偏故障分級(jí)報(bào)警。

圖4 所提方法項(xiàng)目現(xiàn)場(chǎng)實(shí)際應(yīng)用部署情況

4 結(jié)語(yǔ)

本文提出一種基于圖像分割的皮帶跑偏故障分級(jí)報(bào)警方法，該方法運(yùn)用Mask R-CNN 模型進(jìn)行實(shí)例分割來(lái)定位皮帶位置，并基于霍夫直線檢測(cè)方法定位皮帶邊緣，最終通過(guò)判斷該檢測(cè)邊緣與預(yù)設(shè)報(bào)警線間的位置關(guān)系實(shí)現(xiàn)故障分級(jí)報(bào)警。本文創(chuàng)新性地提出了一系列優(yōu)化方案，包括篩取皮帶邊緣點(diǎn)以及過(guò)濾多余的邊緣直線來(lái)減少計(jì)算量，大大提升了算法效率。通過(guò)在真實(shí)的數(shù)據(jù)集以及實(shí)際現(xiàn)場(chǎng)部署來(lái)驗(yàn)證算法可行性及準(zhǔn)確性，結(jié)果顯示，本方法能夠?qū)崿F(xiàn)皮帶分級(jí)報(bào)警，且相比傳統(tǒng)皮帶托輥檢測(cè)方法，其在多數(shù)情況下表現(xiàn)出更高的準(zhǔn)確性，避免了傳統(tǒng)托輥檢測(cè)因單側(cè)遮擋造成的誤報(bào)、漏報(bào)事故，有效減少了井下安全事故發(fā)生的可能，提高了生產(chǎn)安全。