基于深度學(xué)習(xí)的工業(yè)傳送帶異物檢測(cè)研究

陸強(qiáng)　徐林　楊凌珺　何勝方　張輝　盧兆林

摘? 要：在大型工業(yè)生產(chǎn)企業(yè)，工業(yè)用料主要通過傳送帶運(yùn)輸，需要用大量視頻監(jiān)控設(shè)備實(shí)時(shí)觀察傳送帶，以防各類生產(chǎn)工業(yè)原料的運(yùn)輸過程中傳送帶出現(xiàn)異物導(dǎo)致的偏移、折疊、撕裂、發(fā)熱起火等意外情況對(duì)工廠人員與財(cái)物造成危險(xiǎn)。為了避免監(jiān)控過程巨大的人力消耗，提出一種基于改進(jìn)CenterNet的傳送帶異物檢測(cè)方法。針對(duì)實(shí)時(shí)監(jiān)控對(duì)計(jì)算速度性能的需求，對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行改進(jìn)，采用深度可分離卷積替換殘差結(jié)構(gòu)以減少計(jì)算參數(shù)，引入具有線性瓶頸逆殘差結(jié)構(gòu)以避免參數(shù)減少帶來的精度損失;針對(duì)傳送帶上異物具有多尺度、多角度特性，引入多尺度特征模塊以增強(qiáng)網(wǎng)絡(luò)感受野、優(yōu)化特征提取;最后實(shí)現(xiàn)了工業(yè)傳送帶異物檢測(cè)系統(tǒng)。應(yīng)用該系統(tǒng)在馬鞍山鋼鐵集團(tuán)的港務(wù)原料廠進(jìn)行實(shí)驗(yàn)測(cè)試，結(jié)果表明，應(yīng)用改進(jìn)CenterNet算法的系統(tǒng)可有效進(jìn)行工業(yè)傳送帶異物及狀態(tài)突變的監(jiān)控。

關(guān)鍵詞：異物檢測(cè);視頻監(jiān)控;深度學(xué)習(xí);深度可分離卷積

Abstract：? Most ore is mainly transported by conveyor belts. A large number of video surveillance equipments need to be used to observe the conveyor belt in real time to prevent accidental conditions such as deviation， folding， tearing， heat and fire caused by foreign objects in the conveyor belt during material transportation， which may cause danger to the personnel and property of the industrial facilities. In order to avoid the huge manpower consumption in the monitoring process， a foreign object detection method based on improved CenterNet is proposed. In response to real-time monitoring requirements for computing speed and performance， the deep learning based network is improved by using deep separable convolution to replace the residual structure to reduce calculation parameters， and then introducing an inverse residual structure with a linear bottleneck to avoid the loss of accuracy caused by parameter reduction; The foreign object on the conveyor belt has multi-scale and multi-angle characteristics. Multi-scale feature modules are added to enhance the network receptive field and optimize the feature extraction. Finally， the industrial conveyor belt foreign object detection system is realized. Using this system， the experimental test was carried out in MASteel Group. The results show that the system using the improved CenterNet algorithm can effectively monitor the foreign object and state mutations of the industrial conveyor belt.

Keywords： foreign objects detection; video surveillance; deep learning; deep separable convolution

0引 言：

大型傳送帶是工業(yè)運(yùn)輸?shù)年P(guān)鍵設(shè)備。隨著產(chǎn)能的增加，對(duì)各類工業(yè)傳送帶在載重、速度和運(yùn)輸距離等方面的要求也越來越高?？墒怯捎陂L度，傳送帶上的物料復(fù)雜性等，傳送帶容易發(fā)生偏移、折疊、發(fā)熱起火、撕裂、斷裂、堵料等安全事故。一方面，安全事故極易造成人員傷亡;另一方面，傳送皮帶作為帶式輸送機(jī)的主要結(jié)構(gòu)，造價(jià)與維修價(jià)格十分昂貴。因此，保障工業(yè)傳送帶安全穩(wěn)定運(yùn)行，對(duì)保障生產(chǎn)安全和工業(yè)產(chǎn)能具有重要意義。

根據(jù)有關(guān)統(tǒng)計(jì)，在常見的傳送帶異常事故中，大部分都屬于傳送帶撕裂[1]。該事故的主要原因是異物誤入傳送帶，常見的異物有錨桿、槽鋼等鐵器和矸石。迄今為止，傳送帶保護(hù)研究主要集中在皮帶縱向撕裂的檢測(cè)上[2]，在一定程度上減少皮帶撕裂后所造成的損失，但不能從根本上杜絕傳送帶被破壞。本文擬從傳送帶發(fā)生意外的根本原因出發(fā)，旨在設(shè)計(jì)并實(shí)現(xiàn)在異物對(duì)傳送帶造成影響之前及時(shí)發(fā)現(xiàn)并向工作人員報(bào)警的系統(tǒng)，以保障工業(yè)作業(yè)穩(wěn)定安全運(yùn)行。

目前的文獻(xiàn)中，多應(yīng)用射線法[3]進(jìn)行煤礦傳送帶的異物檢測(cè)。射線法通過不同元素對(duì)射線能量吸收系數(shù)的不同區(qū)分某些礦產(chǎn)，比如煤與非煤異物。但該方法成本高，難度大，且射線探測(cè)器的輻射對(duì)井下作業(yè)人員存在極大的安全隱患。而對(duì)于地面作業(yè)的大型工廠比如馬鋼的原料廠而言，方法并不多?，F(xiàn)在采用監(jiān)控?cái)z像頭檢測(cè)異物的方式更受歡迎，因?yàn)閿z像頭設(shè)備安裝維護(hù)簡單，成本較低。但是隨著工業(yè)傳送帶越來越長，攝像頭布置越來越多，監(jiān)控顯示屏數(shù)量遠(yuǎn)少于攝像頭，且人工24小時(shí)監(jiān)控也需要大量的人工成本，所以怎么用機(jī)器取代人工監(jiān)控一直是廣大研究者的研究熱點(diǎn)。

近年來，隨著機(jī)器學(xué)習(xí)與人工智能的飛速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法成為計(jì)算機(jī)視覺的研究重點(diǎn)，基于深度學(xué)習(xí)的異物檢測(cè)方法也在工業(yè)上得到了廣泛應(yīng)用。目標(biāo)檢測(cè)方法主要有Anchor-Based和Anchor-Free兩種。Anchor-Based以兩階段的Faster R-CNN[4]和Mask R-CNN[5]及一階段的YOLO[6][7]、SSD、RetinaNet等為代表，相比于傳統(tǒng)的人工設(shè)計(jì)特征的機(jī)器學(xué)習(xí)目標(biāo)檢測(cè)算法，Anchor-Based方法在檢測(cè)精度上取得了巨大進(jìn)步，但高精度的帶價(jià)是需要人工設(shè)置大量anchor，進(jìn)而引入大量超參數(shù)，這些超參數(shù)的設(shè)置有很大的不確定性。為消除anchor的缺陷，提出Anchor-Free方法，即用關(guān)鍵點(diǎn)代替anchor-based方法中的anchor，主要代表算法有CornerNe、FCOS、CenterNet等。

上述算法均可實(shí)現(xiàn)工業(yè)傳送帶異物檢測(cè)，但要綜合考慮工業(yè)傳送帶異物檢測(cè)的精度和實(shí)時(shí)性要求，受CenterNet網(wǎng)絡(luò)啟發(fā)，在其基礎(chǔ)上，針對(duì)實(shí)時(shí)性要求提出深度可分離卷積和逆殘差結(jié)構(gòu)改進(jìn)網(wǎng)絡(luò)，針對(duì)傳送帶上異物多尺度的情況，提出金字塔池化模組，聚合不同區(qū)域的上下文從而達(dá)到獲取全局上下文的目的。實(shí)驗(yàn)結(jié)果表明，本文提出的算法可在不依賴錨框的情況下，準(zhǔn)確檢測(cè)出傳送帶上異物，滿足工業(yè)傳送帶異物檢測(cè)系統(tǒng)的速度和精度要求，算法可擴(kuò)展性較好。

1 CenterNet算法

CenterNet是一種將目標(biāo)檢測(cè)問題轉(zhuǎn)化為關(guān)鍵點(diǎn)估計(jì)問題的Anchor-Free目標(biāo)檢測(cè)算法。該算法將待檢測(cè)物體用中心點(diǎn)替代，借助熱力圖確定物體中心并回歸出物體的高度，寬度等其他屬性。

CenterNet常用的有卷積殘差網(wǎng)絡(luò)（Upconvolutional Residual Networks， ResNet），深層特征融合網(wǎng)絡(luò)（Deep Layer Aggregation，DLA） 以及沙漏網(wǎng)絡(luò)（Hourglass Network）三種主干網(wǎng)絡(luò)。上述三種主干網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)各不相同，但均為完整的編解碼網(wǎng)絡(luò)。其結(jié)構(gòu)的輸出是三個(gè)獨(dú)立的預(yù)測(cè)值，分別為類別信息，中心點(diǎn)坐標(biāo)預(yù)測(cè)，中心點(diǎn)偏置，該輸出是通過在模型的最后輸出部分增加三個(gè)網(wǎng)絡(luò)構(gòu)造加以實(shí)現(xiàn)。在使用CenterNet算法時(shí)，無需多尺度的設(shè)計(jì)，無需實(shí)現(xiàn)設(shè)置錨框，這在很大程度上簡化了結(jié)構(gòu)，避免了復(fù)雜的相關(guān)超參數(shù)選取。

2 CenterNet的改進(jìn)

2.1Hourglass網(wǎng)絡(luò)改進(jìn)

在常用的三個(gè)主干網(wǎng)絡(luò)結(jié)構(gòu)中，ResNet速度稍快，Hourglass精度最高，所以我們選擇在Hourglass-104[6]網(wǎng)絡(luò)上進(jìn)行改進(jìn)。

其中如圖所示的一階模塊，可見Hourglass網(wǎng)絡(luò)最基本的網(wǎng)絡(luò)單元是殘差模塊，該單元承擔(dān)了整個(gè)網(wǎng)絡(luò)絕大部分計(jì)算操作，但其計(jì)算參數(shù)相當(dāng)多，而本文要實(shí)現(xiàn)工業(yè)傳送帶異物檢測(cè)系統(tǒng)的實(shí)時(shí)應(yīng)用，對(duì)網(wǎng)絡(luò)速度性能要求非常高，所以針對(duì)殘差單元的改進(jìn)是必須的。為了提高殘差單元的計(jì)算速度，引入逆殘差結(jié)構(gòu)，該結(jié)構(gòu)之所以能極大提升網(wǎng)絡(luò)計(jì)算速度，起主要作用的是其中的深度可分離卷積（Depthwise Separable Convolution， DSC）模塊。假設(shè)輸入數(shù)據(jù)為，其中分別為特征圖像batch_size的大小、通道數(shù)、寬高。做3x3的卷積操作，標(biāo)準(zhǔn)卷積的計(jì)算量式（2-1）為：

由此可見，當(dāng)處理的數(shù)據(jù)越多時(shí)，深度可分離卷積帶來的速度收益越明顯。在此基礎(chǔ)上，我們?yōu)榱双@得更高的精確度，需要從特征圖中獲取更多的信息，因此引用了逆殘差結(jié)構(gòu)。逆殘差結(jié)構(gòu)和殘差網(wǎng)絡(luò)正好相反，它是首先獲取大張量，再將它縮小。逆殘差結(jié)構(gòu)首先利用擴(kuò)展層（Expansion layer）進(jìn)行維度的擴(kuò)展，然后使用深度可分離卷積提取特征。為使網(wǎng)絡(luò)重新變小，使用投影層（Projection layer）對(duì)數(shù)據(jù)進(jìn)行壓縮。在擴(kuò)展層和投影層當(dāng)中都有可以學(xué)習(xí)的參數(shù)，所以整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以學(xué)習(xí)如何更好地?cái)U(kuò)展和重新壓縮數(shù)據(jù)。逆殘差網(wǎng)絡(luò)結(jié)構(gòu)。

2.2多尺度特征融合

傳送帶上異物出現(xiàn)在攝像頭后，由遠(yuǎn)及近再由近及遠(yuǎn)，其分辨率隨著距離時(shí)刻發(fā)生變化，所以工業(yè)傳送帶異物檢測(cè)系統(tǒng)需要適應(yīng)不同尺度、不同類別的目標(biāo)。為了增強(qiáng)算法對(duì)不同尺度異物檢測(cè)的魯棒性，進(jìn)一步提高檢測(cè)精度，引入PPM（Pyramid Pooling Module，金字塔池化模塊）[7]。

在利用GAP （Global Average Pooling， 全局平均池化）融合全局上下文信息時(shí)，其集成和提取信息的能力有限。因此單純使用GAP將信息壓縮到一個(gè)通道中有可能會(huì)造成大量有用信息的丟失。這里引入PPM模塊將不同感受野的特征和子區(qū)域的特征融合加以增強(qiáng)特征表征能力。PPM模塊將上級(jí)網(wǎng)絡(luò)提取出的特征圖分為兩個(gè)部分。將其中一個(gè)部分分為多個(gè)子區(qū)域分別進(jìn)行全局平均池化后利用的卷積調(diào)整其通道大小，再使用雙線性插值獲得未池化前的大小，最后融合兩個(gè)部分，由此得到channel數(shù)增加1倍的特征圖。最后，通過1×1卷積實(shí)現(xiàn)多尺度特征融合，有效提高了網(wǎng)絡(luò)在檢測(cè)小尺度輸送帶異物空間位移時(shí)的魯棒性，提高了不同尺度異物的檢測(cè)效果。

3 實(shí)驗(yàn)與分析

本文數(shù)據(jù)集均在馬鋼集團(tuán)的港務(wù)原料廠傳送帶上采集，總共采集34條膠帶，30天內(nèi)在每個(gè)小時(shí)開始后5分鐘內(nèi)的運(yùn)行視頻。視頻已覆蓋各膠帶在不同光線、不同物料、不同天氣狀態(tài)下的各類樣本。因各個(gè)攝像頭的配置規(guī)格不同，平均每秒可采集10張圖片。另，通過在料堆廠中采集了11種常見物料的狀態(tài)，并且采集了常見異物在料堆中的位置、形態(tài)等。綜合以上采集圖片，達(dá)到每種樣本平均8000以上的采集量，之后將所有采集到的照片分類、匯總，再利用各類反轉(zhuǎn)、鏡面方法，針對(duì)不同的視頻圖片進(jìn)行拓展生成。其可使用的圖片數(shù)也已經(jīng)實(shí)現(xiàn)了平均8倍的增長。最終建立了十萬級(jí)別數(shù)量級(jí)的大型數(shù)據(jù)庫。其中70%作為訓(xùn)練集，20%作為驗(yàn)證集，剩下10%作為測(cè)試集。

經(jīng)過大量訓(xùn)練后，網(wǎng)絡(luò)基本達(dá)到收斂狀態(tài)。為驗(yàn)證算法性能，在相同實(shí)驗(yàn)平臺(tái)，相同訓(xùn)練數(shù)據(jù)下，與不同檢測(cè)網(wǎng)絡(luò)性能做對(duì)比測(cè)試，測(cè)試結(jié)構(gòu)如表1。

可以看出，改進(jìn)后的算法與原算法相比，平均檢測(cè)時(shí)間縮減了近130ms，檢測(cè)精度也提高了8%左右。相比于兩階段的Faster R-CNN算法，我們的算法雖然精度稍低，但計(jì)算速度有著巨大優(yōu)勢(shì)，相比于一階段的YOLOv3算法，我們的算法檢測(cè)速度和精確度都有一定優(yōu)勢(shì)，結(jié)果表明，本文提出的算法在檢測(cè)速度與精確度上在目前主流算法中均有較大優(yōu)勢(shì)。

從測(cè)試集中隨機(jī)挑選四張測(cè)試圖片，用本文提出的算法進(jìn)行測(cè)試，檢測(cè)結(jié)果如圖6所示，可以看出本文算法對(duì)于小尺度（如瓶子）和大尺度（如箱子）等各類目標(biāo)均能準(zhǔn)確檢測(cè)，尤其是在由近及遠(yuǎn)的過程中，本文算法能穩(wěn)定識(shí)別同一個(gè)物體不同分辨率的樣子。

4 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)與實(shí)驗(yàn)分析

工業(yè)傳送帶異物檢測(cè)系統(tǒng)，主要包括布置在傳送帶上的工業(yè)相機(jī)、計(jì)算機(jī)及報(bào)警系統(tǒng)。

異物檢測(cè)系統(tǒng)運(yùn)行流程為：

（1）工業(yè)相機(jī)24小時(shí)不間斷監(jiān)控傳送帶，并將視頻流實(shí)時(shí)傳輸給計(jì)算機(jī)。

（2）計(jì)算機(jī)運(yùn)行傳送帶異物檢測(cè)軟件，實(shí)時(shí)分析工業(yè)相機(jī)傳輸過來的畫面，若發(fā)現(xiàn)有異物出現(xiàn)在傳送帶上，則向報(bào)警器發(fā)出信息。

（3）報(bào)警器響起警報(bào)，提醒工作人員及時(shí)清理傳送帶上的異物以保障傳送帶安全穩(wěn)定運(yùn)行。

工業(yè)傳送帶異物檢測(cè)軟件子系統(tǒng)包括監(jiān)控視頻讀入，并對(duì)每一幀圖像進(jìn)行預(yù)處理，再由改進(jìn)后的CenterNet算法進(jìn)行自動(dòng)檢測(cè)，將檢測(cè)結(jié)果反饋到軟件界面上，若出現(xiàn)異物及時(shí)報(bào)警。

軟件運(yùn)行界面。

5 結(jié)論

本文針對(duì)馬鋼工業(yè)傳送帶異物實(shí)時(shí)監(jiān)控對(duì)計(jì)算速度性能及精度的要求，在CenterNet目標(biāo)檢測(cè)算法的基礎(chǔ)上，首先引入了逆殘差網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)，提高計(jì)算速度，然后加入特征融合模塊以解決傳送帶上物體分辨率變化問題，最后實(shí)現(xiàn)了完整的工業(yè)傳送帶異物檢測(cè)系統(tǒng)，并在馬鋼的港務(wù)原料廠得到初步應(yīng)用。如何進(jìn)一步提升算法速度與精確度，并搭配機(jī)器人實(shí)現(xiàn)異物自動(dòng)分揀功能，從而實(shí)現(xiàn)去人工化，進(jìn)一步降低安全隱患是后續(xù)工作的重點(diǎn)研究方向。

參考文獻(xiàn)（References）

[1]李偉偉.皮帶運(yùn)輸機(jī)在煤礦運(yùn)輸中常見故障與處理[J].西部探礦工程，2019，31（12）：85-86.

[2]曹虎奇.煤礦帶式輸送機(jī)撕帶斷帶研究分析[J].煤炭科學(xué)技術(shù)，2015，43（S2）：130-134.

[3]葛學(xué)海，白云飛，陳鵬，張立功.煤與矸石分離系統(tǒng)中X射線探測(cè)器的設(shè)計(jì)[J].選煤技術(shù)，2017，{4}（06）：64-67.

[4]Ren S ，? He K ，? Girshick R ， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[5]He K ， Gkioxari G ， P Dollár， et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017.

[6]Redmon J ， Divvala S ， Girshick R ， et al. You Only Look Once： Unified， Real-Time Object Detection[J]. IEEE， 2016.

[7]Redmon J ， Farhadi A . YOLO9000： Better， Faster， Stronger[C]// IEEE. IEEE， 2017：6517-6525.