煤礦帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別技術(shù)研究

毛清華， 郭文瑾， 翟姣， 王榮泉， 尚新芒， 李世坤， 薛旭升

（1. 西安科技大學(xué) 機(jī)械工程學(xué)院, 陜西 西安 710054；2. 陜西省礦山機(jī)電裝備智能檢測(cè)與控制重點(diǎn)實(shí)驗(yàn)室, 陜西 西安 710054；3. 西安重裝韓城煤礦機(jī)械有限公司, 陜西 韓城 715400）

0 引言

煤炭作為我國主體能源，為國民經(jīng)濟(jì)和社會(huì)發(fā)展提供了能源安全保障，是國家能源安全穩(wěn)定供應(yīng)的“壓艙石”[1]。2020年2月25日，國家發(fā)展改革委、國家能源局等八部委聯(lián)合印發(fā)《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》，要求煤礦帶式輸送機(jī)實(shí)現(xiàn)智能化運(yùn)行。帶式輸送機(jī)作為煤炭運(yùn)輸系統(tǒng)的核心裝備，長期處于高負(fù)荷狀態(tài)運(yùn)行，一旦發(fā)生故障，將影響煤炭生產(chǎn)效率，甚至造成人員傷亡。帶式輸送機(jī)的異常狀態(tài)識(shí)別能夠有效預(yù)防故障發(fā)生，對(duì)確保煤礦帶式輸送機(jī)安全、高效運(yùn)行具有重要意義。

傳統(tǒng)的帶式輸送機(jī)異常狀態(tài)識(shí)別采用人工巡檢或機(jī)械綜合保護(hù)系統(tǒng)進(jìn)行檢測(cè)。由于煤礦帶式輸送機(jī)在井下布設(shè)廣泛，人工巡檢存在勞動(dòng)強(qiáng)度大、效率低、難以準(zhǔn)確發(fā)現(xiàn)故障等問題[2]。機(jī)械綜合保護(hù)系統(tǒng)主要采用機(jī)械式傳感器對(duì)帶式輸送機(jī)故障進(jìn)行監(jiān)測(cè)，但傳感器可靠性易受環(huán)境影響，容易造成誤判，導(dǎo)致識(shí)別效果不佳[3]。

隨著機(jī)器視覺、深度學(xué)習(xí)和工業(yè)以太網(wǎng)技術(shù)發(fā)展，視頻AI（Artificial Intelligence，人工智能）識(shí)別技術(shù)在煤礦帶式輸送機(jī)異常狀態(tài)識(shí)別領(lǐng)域成為研究和應(yīng)用的熱點(diǎn)。本文通過分析視頻AI識(shí)別技術(shù)在煤礦帶式輸送機(jī)跑偏、托輥故障、人員異常、堆煤和異物識(shí)別方面的研究現(xiàn)狀，總結(jié)現(xiàn)有帶式輸送機(jī)視頻AI識(shí)別技術(shù)存在的問題，并給出相應(yīng)的解決思路和發(fā)展趨勢(shì)，為后期煤礦帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別技術(shù)研究提供借鑒。

1 帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別研究現(xiàn)狀

1.1 輸送帶跑偏視頻AI識(shí)別技術(shù)

井下復(fù)雜環(huán)境導(dǎo)致的視頻噪聲大等現(xiàn)象會(huì)降低視頻質(zhì)量，從而影響識(shí)別效果，通過對(duì)視頻數(shù)據(jù)降噪等預(yù)處理操作可提升視頻數(shù)據(jù)質(zhì)量，從而提高識(shí)別精度，因此應(yīng)將預(yù)處理作為帶式輸送機(jī)輸送帶跑偏視頻AI識(shí)別技術(shù)的首要研究目標(biāo)。文獻(xiàn)[4]基于濾波塊中像素的加權(quán)平均值，提出一種抑制高斯噪聲和脈沖噪聲的方法，可抑制井下視頻信息混合噪聲。文獻(xiàn)[5]提取輸送帶監(jiān)控的ROI（Region of Interest，感興趣區(qū)域）并進(jìn)行歸一化，采用較大閾值區(qū)間的Canny 算法提取輸送帶邊緣特征點(diǎn)，并采用形態(tài)學(xué)濾波方法處理噪聲及偽邊緣。目前，輸送帶跑偏異常識(shí)別的預(yù)處理仍存在噪聲濾除及偽邊緣處理不徹底等問題，因此預(yù)處理算法需繼續(xù)深入研究。

將視頻數(shù)據(jù)進(jìn)行預(yù)處理后，利用視頻AI識(shí)別算法對(duì)輸送帶跑偏進(jìn)行識(shí)別。文獻(xiàn)[6]針對(duì)視頻數(shù)據(jù)，運(yùn)用PPHT（Progressive Probabilistic Hough Transform，累計(jì)概率霍夫變換）實(shí)時(shí)監(jiān)測(cè)跑偏異常。文獻(xiàn)[7-8]利用Canny算法結(jié)合霍夫變換檢測(cè)輸送帶邊緣并提取直線斜率，根據(jù)擬合的直線斜率和直線與圖像坐標(biāo)系中x軸的交點(diǎn)監(jiān)測(cè)輸送帶跑偏。文獻(xiàn)[9]利用巡檢機(jī)器人采集輸送帶運(yùn)行視頻，通過Canny算法獲取輸送帶邊緣后判別輸送帶跑偏異常。文獻(xiàn)[10]使用CMOS（Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體）圖像傳感器采集輸送帶視頻數(shù)據(jù)，將坐標(biāo)統(tǒng)計(jì)法與分組近似法相結(jié)合，識(shí)別輸送帶跑偏異常狀態(tài)。文獻(xiàn)[11]利用優(yōu)化M-SSD（MobileNet-Single Shot MultiBox Detector，輕量化單激發(fā)多框探測(cè)器）提取輸送帶區(qū)域畫面，并基于模板匹配算法實(shí)現(xiàn)輸送帶跑偏異常檢測(cè)。隨著深度學(xué)習(xí)技術(shù)發(fā)展，學(xué)者們開展了基于深度學(xué)習(xí)的視頻AI識(shí)別輸送帶跑偏研究。文獻(xiàn)[12]基于RCNN（Region Convolutional Neural Networks，區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）實(shí)例分割算法自主學(xué)習(xí)目標(biāo)區(qū)域特征并完成標(biāo)注，利用改進(jìn)的邊緣檢測(cè)算法和改進(jìn)的直線段檢測(cè)算法實(shí)現(xiàn)輸送帶跑偏識(shí)別。文獻(xiàn)[13]基于多任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸送帶跑偏進(jìn)行檢測(cè)，識(shí)別效果如圖1所示。文獻(xiàn)[14]通過改進(jìn)的語義分割FCN（Fully Convolutional Network，全卷積網(wǎng)絡(luò)）算法實(shí)現(xiàn)ROI分割，使用深度可分離卷積輕量模型提取特征，并以特征金字塔網(wǎng)絡(luò)融合來自不同特征層的信息，提高了識(shí)別準(zhǔn)確性和實(shí)時(shí)性。文獻(xiàn)[15]以空間金字塔池化作為YOLOv5特征提取網(wǎng)絡(luò)，由輸送帶邊緣斜率及輸送帶識(shí)別框?qū)亲鴺?biāo)計(jì)算左右?guī)н吘壟c視場(chǎng)之差，由差值是否超出閾值判別是否發(fā)生跑偏異常。

圖1 基于視頻AI技術(shù)的輸送帶跑偏識(shí)別Fig. 1 Recognition of belt deviation based on video AI technology

基于深度學(xué)習(xí)的輸送帶跑偏視頻AI識(shí)別方法提高了跑偏識(shí)別的效率，但仍存在數(shù)據(jù)集構(gòu)建耗時(shí)長、使用的視頻AI識(shí)別算法只能對(duì)局部輸送帶進(jìn)行識(shí)別而難以有效獲得長距離依賴關(guān)系的問題[16]。因此，在輸送帶跑偏識(shí)別中，需加強(qiáng)對(duì)數(shù)據(jù)集高效構(gòu)建方法及融合全局和局部信息的視頻AI識(shí)別算法的研究，從而提高輸送帶跑偏異常識(shí)別精度與速度。

1.2 托輥故障視頻AI識(shí)別技術(shù)

托輥?zhàn)鳛閹捷斔蜋C(jī)的重要組成部分，在帶式輸送機(jī)長期運(yùn)行中易出現(xiàn)軸損壞及表面磨損等問題。傳統(tǒng)托輥故障識(shí)別需人工巡檢，勞動(dòng)強(qiáng)度大，效率低?；诼曇舻耐休伖收蠙z測(cè)方法易受井下噪聲影響，無法有效檢測(cè)到故障信號(hào)，漏檢嚴(yán)重。基于壓力和電壓等物理量的托輥故障檢測(cè)方法需大量傳感器進(jìn)行數(shù)據(jù)采集，傳感器穩(wěn)定性不足，且安裝和維護(hù)成本高。而利用紅外視頻數(shù)據(jù)檢測(cè)托輥故障具有良好的可行性，因此國內(nèi)外學(xué)者在利用紅外視頻AI技術(shù)識(shí)別煤礦帶式輸送機(jī)托輥故障方面開展了諸多研究。

對(duì)數(shù)據(jù)進(jìn)行預(yù)處理是利用紅外視頻AI技術(shù)識(shí)別托輥故障的首要步驟，可降低紅外數(shù)據(jù)中的噪聲及復(fù)雜背景對(duì)托輥故障識(shí)別效果的影響。文獻(xiàn)[17]采用3D降噪算法抑制數(shù)據(jù)隨機(jī)噪聲，并設(shè)計(jì)了基于多尺度視網(wǎng)膜皮層理論的圖像增強(qiáng)算法以提升圖像細(xì)節(jié)。文獻(xiàn)[18]通過離散小波變換和粒子群優(yōu)化對(duì)含噪數(shù)據(jù)進(jìn)行分割，得到較好的分割區(qū)域，但預(yù)處理效果仍需進(jìn)一步提升，以更好地復(fù)原視頻數(shù)據(jù)。

許多學(xué)者對(duì)基于紅外視頻AI技術(shù)的托輥故障識(shí)別方法進(jìn)行了研究。文獻(xiàn)[19]在巡檢機(jī)器人上布設(shè)RGB相機(jī)與紅外攝像儀，對(duì)這2種設(shè)備采集的數(shù)據(jù)分別進(jìn)行分析處理后融合，實(shí)現(xiàn)對(duì)托輥故障的識(shí)別與定位。文獻(xiàn)[20] 提出一種基于異常值的托輥?zhàn)詣?dòng)分割方法和形狀檢測(cè)算法，將分割出的熱點(diǎn)形狀、位置與RGB圖像進(jìn)行對(duì)比，實(shí)現(xiàn)對(duì)帶式輸送機(jī)托輥狀態(tài)的定量評(píng)估。文獻(xiàn)[21]利用熱成像診斷方法測(cè)量異常托輥紅外輻射，在帶式輸送機(jī)運(yùn)行的情況下實(shí)現(xiàn)托輥異常狀態(tài)診斷。文獻(xiàn)[22]利用紅外數(shù)據(jù)處理技術(shù)進(jìn)行托輥區(qū)域分割和特征提取，根據(jù)溫度對(duì)故障等級(jí)作出判斷并進(jìn)行故障預(yù)警。文獻(xiàn)[23]利用遷移學(xué)習(xí)增強(qiáng)紅外數(shù)據(jù)訓(xùn)練效果，通過DenseNet模型實(shí)現(xiàn)托輥故障檢測(cè)。文獻(xiàn)[24]利用提取光流法進(jìn)行邊緣檢測(cè)，以保證視頻完整性，對(duì)處理后的視頻運(yùn)用改進(jìn)CNN（Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò)）和LSTM（Long Short-Term Memory，長短期記憶）雙流網(wǎng)絡(luò)模型進(jìn)行托輥異常狀態(tài)識(shí)別。文獻(xiàn)[25] 提出了一種基于聲音和熱紅外特征的帶式輸送機(jī)托輥故障分析方法，實(shí)現(xiàn)對(duì)托輥故障程度的識(shí)別和顯示。文獻(xiàn)[26]使用紅外相機(jī)采集數(shù)據(jù)，將紅外圖像轉(zhuǎn)換為溫度值矩陣，以獲取托輥溫度，從而檢測(cè)其故障。文獻(xiàn)[27]提取RGB數(shù)據(jù)中ROI，利用熱點(diǎn)檢測(cè)算法識(shí)別紅外數(shù)據(jù)中的熱點(diǎn)，最終在RGB數(shù)據(jù)中融合紅外故障點(diǎn)，實(shí)現(xiàn)托輥故障準(zhǔn)確識(shí)別，檢測(cè)效果如圖2所示。

圖2 融合紅外數(shù)據(jù)與RGB數(shù)據(jù)的托輥故障視頻AI識(shí)別Fig. 2 Idler fault video AI recognition based on fusion of infrared data and RGB data

目前主要開展了基于紅外視頻AI技術(shù)、基于紅外視頻與RGB視頻融合的托輥故障識(shí)別方法研究。將RGB視頻圖像與紅外視頻圖像融合，能有效提升托輥故障識(shí)別精度，但仍存在識(shí)別實(shí)時(shí)性不足、融合后數(shù)據(jù)對(duì)比度低、細(xì)節(jié)丟失等問題。未來可考慮融合激光雷達(dá)等設(shè)備采集的數(shù)據(jù)，加強(qiáng)融合算法及視頻AI識(shí)別技術(shù)研究，進(jìn)一步提升識(shí)別精度和速度。

1.3 人員異常狀態(tài)視頻AI識(shí)別技術(shù)

帶式輸送機(jī)運(yùn)行中的人員異常狀態(tài)主要分為人員入侵危險(xiǎn)區(qū)域及人員不安全行為。由于井下環(huán)境復(fù)雜、粉塵大、光照不均，視頻存在遮擋、噪聲大等情況，導(dǎo)致視頻數(shù)據(jù)細(xì)節(jié)信息模糊、特征信息丟失。為改善輸入視頻質(zhì)量，對(duì)采集到的煤礦視頻數(shù)據(jù)進(jìn)行預(yù)處理。文獻(xiàn)[28]提出了一種基于小波變換與暗原色先驗(yàn)知識(shí)相結(jié)合的方法，有效去除圖像噪聲，解決濃霧和光照不均問題。文獻(xiàn)[29]提出一種基于單尺度視網(wǎng)膜大腦皮層理論和雙邊濾波集成的混合算法，減少了圖像噪聲，強(qiáng)化了邊緣信息。

1.3.1 人員入侵危險(xiǎn)區(qū)域識(shí)別技術(shù)

煤礦帶式輸送機(jī)工作區(qū)存在巨大安全隱患，人員入侵危險(xiǎn)區(qū)域造成的傷亡事故時(shí)有發(fā)生。目前人員入侵危險(xiǎn)區(qū)域檢測(cè)主要依靠傳統(tǒng)視頻監(jiān)控下的人工提醒或設(shè)置實(shí)體圍欄，實(shí)時(shí)性差、安全性低。而利用視頻AI識(shí)別技術(shù)檢測(cè)人員入侵帶式輸送機(jī)工作區(qū)域并實(shí)時(shí)報(bào)警，可提高煤礦生產(chǎn)安全水平及智能化程度。

國內(nèi)外學(xué)者在利用視頻AI技術(shù)識(shí)別人員入侵危險(xiǎn)區(qū)域方面進(jìn)行了諸多研究。文獻(xiàn)[30]利用一種改進(jìn)Tiny YOLOv3方法，并以深度可分離卷積單元為網(wǎng)絡(luò)主體構(gòu)建下采樣殘差模塊，實(shí)現(xiàn)井下人員越界行為的快速準(zhǔn)確識(shí)別。文獻(xiàn)[31]利用行人越界檢測(cè)算法識(shí)別視頻中行人目標(biāo)，并通過狀態(tài)緩沖處理計(jì)算出人員越界趨勢(shì)，以判斷越界方向。文獻(xiàn)[32]通過雙閾值背景差分法識(shí)別人員，利用改進(jìn)的CAMShift（Continuously Adaptive Mean-Shift，連續(xù)自適應(yīng)的均值偏移）算法跟蹤人員是否入侵危險(xiǎn)區(qū)域。文獻(xiàn)[33]提出基于目標(biāo)區(qū)域的配準(zhǔn)算法，采用Lucas-Kanade光流法和基于塊的背景運(yùn)動(dòng)補(bǔ)償分別實(shí)現(xiàn)靜態(tài)和動(dòng)態(tài)背景下的人員檢測(cè)與分割。文獻(xiàn)[34]利用Faster-RCNN（Faster-Region Convolutional Neural Networks，快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）提取圖像特征，再通過RPN（Regional Proposal Networks，區(qū)域選取網(wǎng)絡(luò)）實(shí)現(xiàn)視頻中人員初步定位，經(jīng)過ROI池化及全連接層操作后，得到精確的人員檢測(cè)圖。文獻(xiàn)[35]提出一種基于DenseNet網(wǎng)絡(luò)和SCAE（Stacked Convolutional AutoEncoder，堆疊卷積自編碼器）的相似性學(xué)習(xí)步態(tài)識(shí)別算法，采用特征融合方法實(shí)現(xiàn)動(dòng)靜態(tài)特征的融合和呈現(xiàn)，提升人員入侵識(shí)別準(zhǔn)確率。文獻(xiàn)[36]提出基于鬼影的Vibe（Visual Background Extractor，視覺背景提?。┒螜z測(cè)方法，劃定人員最小邊界矩形，通過像素的區(qū)域計(jì)算和相似度閾值判斷，有效抑制人員入侵檢測(cè)中鬼影現(xiàn)象，提高前后景分離精度，增強(qiáng)識(shí)別能力，其識(shí)別效果如圖3所示。

圖3 基于視頻AI技術(shù)的人員入侵危險(xiǎn)區(qū)域識(shí)別效果Fig. 3 Personnel intrusing dangerous region recognition based on video AI technology

人員入侵危險(xiǎn)區(qū)域的視頻AI識(shí)別算法包括幀差法、背景建模法和光流法等，但由于人員入侵帶式輸送機(jī)工作區(qū)域的數(shù)據(jù)樣本不足、視頻AI識(shí)別算法提取特征能力有限，人員入侵識(shí)別率仍有待提升。加強(qiáng)可應(yīng)用于小樣本數(shù)據(jù)的視頻AI識(shí)別算法研究和融合前景人員動(dòng)態(tài)信息與背景環(huán)境靜止信息的識(shí)別算法研究，可進(jìn)一步提升對(duì)人員入侵危險(xiǎn)區(qū)域的識(shí)別效果。

1.3.2 人員不安全行為識(shí)別技術(shù)

在煤礦帶式輸送機(jī)安全事故中人為因素占比較高，部分礦工安全意識(shí)淡薄，出現(xiàn)未按要求佩戴安全帽、睡崗離崗、打電話等不安全行為，嚴(yán)重時(shí)造成人員傷亡，因此開展礦井人員不安全行為的視頻AI識(shí)別研究十分必要。

許多學(xué)者針對(duì)煤礦井下人員危險(xiǎn)行為識(shí)別進(jìn)行了研究。文獻(xiàn)[37]提出一種基于交叉注意力機(jī)制的多特征融合行為識(shí)別模型，采用一種基于三維殘差網(wǎng)絡(luò)分組膨脹卷積模型提取圖像特征，利用人體姿態(tài)識(shí)別算法和時(shí)空?qǐng)D卷積網(wǎng)絡(luò)提取人體關(guān)鍵點(diǎn)特征，采用交叉注意力機(jī)制和自注意力機(jī)制對(duì)2種特征進(jìn)行融合和拼接處理，大幅提高了識(shí)別準(zhǔn)確率。文獻(xiàn)[38]針對(duì)人體行為識(shí)別中傳統(tǒng)動(dòng)態(tài)時(shí)間規(guī)整算法經(jīng)常出現(xiàn)的奇異點(diǎn)和時(shí)間復(fù)雜度問題，提出一種分段線性逼近結(jié)合自適應(yīng)權(quán)重動(dòng)態(tài)時(shí)間規(guī)整算法，提升了人員行為的識(shí)別速度和準(zhǔn)確率。文獻(xiàn)[39]針對(duì)輸送帶區(qū)域礦工的不安全行為，基于Kinect深度傳感器，采用多層次互補(bǔ)特征表示方法，引入加權(quán)平均投票模型和集成算法，對(duì)礦工的不安全行為進(jìn)行有效識(shí)別。文獻(xiàn)[40]基于YOLOv4網(wǎng)絡(luò)模型識(shí)別礦工安全帽佩戴情況，采用Open Pose算法及時(shí)空?qǐng)D卷積網(wǎng)絡(luò)模型對(duì)監(jiān)控視頻中的礦工行為進(jìn)行識(shí)別，實(shí)現(xiàn)了不安全行為的自動(dòng)預(yù)警。文獻(xiàn)[41]采用人體姿態(tài)識(shí)別算法對(duì)人體關(guān)鍵點(diǎn)進(jìn)行識(shí)別，采用YOLOv3神經(jīng)網(wǎng)絡(luò)對(duì)設(shè)備與環(huán)境進(jìn)行識(shí)別，采用MobileNetV3神經(jīng)網(wǎng)絡(luò)與時(shí)空?qǐng)D卷積網(wǎng)絡(luò)分別對(duì)靜態(tài)不安全行為和動(dòng)態(tài)不安全行為進(jìn)行識(shí)別，采用規(guī)則推理對(duì)互動(dòng)不安全行為進(jìn)行識(shí)別，實(shí)現(xiàn)了井下人員不安全行為智能識(shí)別。文獻(xiàn)[42]針對(duì)生產(chǎn)區(qū)域監(jiān)控視頻模糊及識(shí)別準(zhǔn)確率低的問題，提出了一種基于DA-GCN（Domain-Aware Attentive Graph Convolution Network，面向域的注意力圖卷積網(wǎng)絡(luò)）的煤礦人員行為識(shí)別方法，采用人體姿態(tài)識(shí)別算法提取人員骨架關(guān)鍵點(diǎn)，利用TCN（Temporal Convolutional Network，時(shí)間卷積網(wǎng)絡(luò)）提取人體關(guān)節(jié)點(diǎn)的時(shí)間特征，在Cumt-Action數(shù)據(jù)集上進(jìn)行了驗(yàn)證，具有較高的識(shí)別準(zhǔn)確率。

目前主要開展了基于二維視頻圖像的人員不安全行為識(shí)別方法研究，但二維視頻AI識(shí)別方法識(shí)別精度不高。運(yùn)用三維視頻AI識(shí)別方法能夠準(zhǔn)確提取人體關(guān)鍵特征，識(shí)別效果更好，但單一人體特征信息不全面，易導(dǎo)致人員行為識(shí)別率低。加強(qiáng)對(duì)融合人體輪廓、人體骨架等多種特征的三維視頻AI識(shí)別技術(shù)研究，可有效提升人員不安全行為識(shí)別精度。

1.4 堆煤檢測(cè)視頻AI識(shí)別技術(shù)

帶式輸送機(jī)運(yùn)行中由于運(yùn)輸量大、大塊煤堵塞等因素導(dǎo)致的堆煤會(huì)造成輸送帶起火、撕裂等安全隱患。傳統(tǒng)輸送帶堆煤預(yù)警方法分為人工檢測(cè)和開關(guān)量堆煤傳感器檢測(cè)。人工檢測(cè)效率低、勞動(dòng)強(qiáng)度大；開關(guān)量堆煤傳感器檢測(cè)存在易受環(huán)境影響、誤識(shí)別率較高等問題。視頻AI識(shí)別技術(shù)作為非接觸式檢測(cè)方法，在帶式輸送機(jī)堆煤檢測(cè)中可有效克服傳統(tǒng)檢測(cè)方法的弊端并提高識(shí)別實(shí)時(shí)性。

國內(nèi)外學(xué)者針對(duì)堆煤檢測(cè)開展了諸多研究。文獻(xiàn)[43]利用無監(jiān)督分割算法得到煤堆輪廓，在視頻圖像上設(shè)置電子圍欄，以是否超出警戒線判斷是否出現(xiàn)堆煤異常。文獻(xiàn)[44]針對(duì)煤礦帶式輸送機(jī)溜槽堆煤和擁塞問題，采用幀差-Vibe法和圖像亮度分割法獲得圖像的運(yùn)動(dòng)特性和亮度特性，并利用運(yùn)動(dòng)特性和亮度特性獲取實(shí)時(shí)ROI，計(jì)算累計(jì)煤粒度比值來判別是否出現(xiàn)堆煤異常。文獻(xiàn)[45]利用濾波去噪、降采樣等預(yù)處理算法對(duì)采集到的點(diǎn)云數(shù)據(jù)進(jìn)行處理并完成煤流三維重建，利用前后2幀輸送帶煤流的高度和寬度信息差識(shí)別堆煤異常，識(shí)別效果如圖4所示。文獻(xiàn)[46]以YOLOv4和YOLACT算法為基礎(chǔ)，通過SGBM（Semi-Global Block Matching，半全局模板匹配）雙目視覺算法獲取堆煤三維坐標(biāo)點(diǎn)，以求取堆煤體積，通過判斷體積是否超過設(shè)定閾值實(shí)現(xiàn)堆煤檢測(cè)。文獻(xiàn)[47]采用基于紅外結(jié)構(gòu)光技術(shù)的快速重建煤流曲面方法實(shí)現(xiàn)帶式輸送機(jī)堆煤識(shí)別。文獻(xiàn)[48]在視頻中獲取圖像的內(nèi)部凹凸信息和梯度漸變特征，組建曲量子場(chǎng)空間，構(gòu)建堆煤模型，根據(jù)模型高度和半徑識(shí)別堆煤異常。

圖4 基于視頻AI技術(shù)的輸送帶堆煤識(shí)別效果Fig. 4 Coal pile recognition of belt based on video AI technology

基于二維視頻AI技術(shù)的堆煤識(shí)別受圖像顏色信息影響較大，易產(chǎn)生誤識(shí)別問題?；谌S視頻AI技術(shù)的堆煤異常識(shí)別方法能夠檢測(cè)帶式輸送機(jī)上煤流三維信息，對(duì)堆煤識(shí)別準(zhǔn)確性更高，但現(xiàn)有的三維點(diǎn)云信息處理復(fù)雜，基于三維視頻AI的堆煤識(shí)別精度和速度有待進(jìn)一步提升。

1.5 輸送帶異物視頻AI識(shí)別技術(shù)

煤礦帶式輸送機(jī)在運(yùn)輸過程中存在矸石、錨桿、槽鋼等異物，輕則造成輸送帶劃傷、撕裂，重則導(dǎo)致輸送帶斷裂，影響煤炭正常運(yùn)輸，甚至造成人員傷亡。常用的異物識(shí)別方法包括人工識(shí)別、射線識(shí)別、光譜識(shí)別、視覺識(shí)別等。人工識(shí)別異物勞動(dòng)強(qiáng)度大、效率低，不符合智能化發(fā)展要求；射線識(shí)別存在輻射，會(huì)對(duì)人體健康產(chǎn)生影響；光譜識(shí)別效果不佳且效率低；基于視頻AI技術(shù)的視覺識(shí)別方法具有成本低和非接觸等優(yōu)點(diǎn)，成為研究熱點(diǎn)。

對(duì)于井下復(fù)雜環(huán)境引起的視頻數(shù)據(jù)質(zhì)量差及異物數(shù)據(jù)集不足等問題，需通過預(yù)處理進(jìn)行數(shù)據(jù)增強(qiáng)。文獻(xiàn)[49]利用多卷積神經(jīng)網(wǎng)絡(luò)及KinD++（Kindling the Darkness++，加入多尺度照明注意模塊的低光照?qǐng)D像增強(qiáng)）算法增強(qiáng)圖像色彩，恢復(fù)異物細(xì)節(jié)特征。文獻(xiàn)[50]融合Mixup和CutMix數(shù)據(jù)增強(qiáng)方法，隨機(jī)將2張樣本圖像按照比例混合生成新圖像，實(shí)現(xiàn)異物數(shù)據(jù)集的擴(kuò)充。

預(yù)處理后利用視頻AI識(shí)別算法進(jìn)行異物識(shí)別。文獻(xiàn)[51]采用雙目視覺相機(jī)獲取圖像，基于Canny算法和灰度拉伸方法完成圖像處理，利用形態(tài)學(xué)矩陣方法提取異物特征，通過特征匹配方式解算出異物區(qū)域。文獻(xiàn)[52]提出一種融合殘差信息的輕量級(jí)網(wǎng)絡(luò)，采用殘差塊作為基本特征提取單元，以交叉學(xué)習(xí)機(jī)制和特征拼接的方法融合不同尺度的特征信息，以實(shí)現(xiàn)異物識(shí)別。文獻(xiàn)[53]以DarkNet-53作為主干特征提取網(wǎng)絡(luò)，利用深度可分離卷積替換標(biāo)準(zhǔn)卷積，引入復(fù)合殘差塊、加權(quán)雙向特征金字塔網(wǎng)絡(luò)和雙尺度輸出，提高特征利用率和異物識(shí)別效率。文獻(xiàn)[54]構(gòu)建一種多尺度特征融合的語義分割網(wǎng)絡(luò)，將得到的多尺度特征圖譜在解碼器端進(jìn)行融合，結(jié)合圖像的背景語義信息，對(duì)實(shí)際生產(chǎn)現(xiàn)場(chǎng)采集的煤中異物圖像實(shí)現(xiàn)端到端的檢測(cè)。文獻(xiàn)[55]以YOLOv3作為基礎(chǔ)框架，增加反卷積網(wǎng)絡(luò)，并以Focal Loss損失函數(shù)替換交叉熵?fù)p失函數(shù)，實(shí)現(xiàn)異物識(shí)別。文獻(xiàn)[56] 提出一種Faster-RCNN結(jié)合雙向特征金字塔網(wǎng)絡(luò)（Double-Sided Feature Pyramid Networks，DSFPN）的異物識(shí)別模型，模型以目標(biāo)檢測(cè)框架Faster-RCNN為基礎(chǔ)，利用DSFPN自底向上和自頂向下2個(gè)多尺度特征融合過程來解決輸送帶異物的多尺度問題，提升了異物識(shí)別能力和精度。文獻(xiàn)[57]提出一種融合卷積塊注意力模型的YOLOv5目標(biāo)檢測(cè)算法，增強(qiáng)異物在網(wǎng)絡(luò)中的特征表達(dá)能力，提升了異物目標(biāo)識(shí)別精度。文獻(xiàn)[58]通過自適應(yīng)空間特征融合圖像的特征信息，增強(qiáng)異物特征表達(dá)，實(shí)現(xiàn)異物準(zhǔn)確識(shí)別。文獻(xiàn)[59]利用改進(jìn)的模板匹配算法初步識(shí)別異物，結(jié)合幀差法和面積法進(jìn)一步篩選大塊異物，實(shí)現(xiàn)對(duì)煤中異物精確篩選和識(shí)別。文獻(xiàn)[60]設(shè)計(jì)了基于幀間差分法、閾值分級(jí)和選擇輪廓算法的帶式輸送機(jī)大塊異物識(shí)別算法，并采用卡爾曼濾波對(duì)大塊異物進(jìn)行追蹤。文獻(xiàn)[61]運(yùn)用以深度可分離卷積替換其主干網(wǎng)絡(luò)的改進(jìn)YOLOv7模型進(jìn)行異物識(shí)別，并通過加入輕量化注意力機(jī)制模塊提升識(shí)別精度，識(shí)別效果如圖5所示。

圖5 基于視頻AI技術(shù)的輸送帶異物識(shí)別效果Fig. 5 Foreign object recognition of belt based on video AI technology

目前異物視頻圖像預(yù)處理方法難以破解高速運(yùn)動(dòng)導(dǎo)致的異物模糊問題，因此需深入研究解決運(yùn)動(dòng)模糊問題的預(yù)處理算法。在異物視頻AI識(shí)別算法方面，針對(duì)因異物數(shù)據(jù)不足導(dǎo)致的識(shí)別精度不高問題及因算法復(fù)雜導(dǎo)致的實(shí)時(shí)性問題，需加大對(duì)小樣本識(shí)別算法的研究，從而降低視頻圖像數(shù)據(jù)集構(gòu)建時(shí)間，提升識(shí)別精度與速度。

2 異常狀態(tài)視頻AI識(shí)別技術(shù)存在問題及解決思路

視頻AI技術(shù)已廣泛應(yīng)用于煤礦帶式輸送機(jī)異常狀態(tài)智能識(shí)別，在煤礦帶式輸送機(jī)跑偏、堆煤、異物、托輥故障、人員入侵和人員不安全行為等異常識(shí)別方面取得了一定的研究進(jìn)展，但仍存在一些共性問題未解決。

2.1 視頻圖像數(shù)據(jù)集構(gòu)建耗時(shí)長

1） 主要原因。目前視頻AI識(shí)別采用有監(jiān)督學(xué)習(xí)方法，需要大量異常狀態(tài)數(shù)據(jù)樣本，這些樣本需要人工進(jìn)行標(biāo)注，耗時(shí)較長；異常狀態(tài)出現(xiàn)頻率小，采集異常狀態(tài)數(shù)據(jù)周期較長。

2） 解決思路。① 針對(duì)標(biāo)注耗時(shí)長問題，加大半監(jiān)督學(xué)習(xí)AI識(shí)別技術(shù)、無監(jiān)督學(xué)習(xí)AI識(shí)別技術(shù)和小樣本學(xué)習(xí)算法的研究。如無監(jiān)督學(xué)習(xí)AI識(shí)別只需輸入無標(biāo)簽數(shù)據(jù)，算法自主生成人工標(biāo)簽，然后對(duì)數(shù)據(jù)進(jìn)行保持語義信息的數(shù)據(jù)增強(qiáng)后進(jìn)行異常識(shí)別，小樣本學(xué)習(xí)算法只通過學(xué)習(xí)小樣本數(shù)據(jù)即可實(shí)現(xiàn)異常識(shí)別。② 擴(kuò)充異常數(shù)據(jù)集?；谏赡Ｐ偷臄U(kuò)充方法可得到豐富多樣的異常數(shù)據(jù)集[62]，也可較好解決異常數(shù)據(jù)采集周期長導(dǎo)致的數(shù)據(jù)集構(gòu)建耗時(shí)長問題。

2.2 異常狀態(tài)識(shí)別精度不高

1） 主要原因。① 煤礦帶式輸送機(jī)處于采光條件差、雜光干擾、粉塵干擾等復(fù)雜環(huán)境，導(dǎo)致視頻圖像模糊。② 實(shí)際工況中帶式輸送機(jī)異常狀態(tài)出現(xiàn)頻率不高，導(dǎo)致異常狀態(tài)數(shù)據(jù)集不足，正常與異常樣本數(shù)據(jù)不平衡。③ 現(xiàn)有深度學(xué)習(xí)方法對(duì)于煤礦復(fù)雜環(huán)境下的視頻圖像特征提取和特征融合能力不足。

2） 解決思路。① 研究適應(yīng)于煤礦井下復(fù)雜環(huán)境的圖像去模糊方法，構(gòu)建數(shù)據(jù)集之前，進(jìn)行圖像降噪、圖像增強(qiáng)等預(yù)處理，提升數(shù)據(jù)集圖像質(zhì)量。② 對(duì)于正負(fù)樣本不均衡導(dǎo)致的識(shí)別精度不高問題，運(yùn)用輔助分類生成對(duì)抗網(wǎng)絡(luò)等算法均衡異常和正常樣本，提升識(shí)別精度。③ 針對(duì)現(xiàn)有深度學(xué)習(xí)模型特征提取及融合能力不足導(dǎo)致的識(shí)別精度不高問題，通過改進(jìn)視頻AI識(shí)別的深度學(xué)習(xí)算法，使之更適用于煤礦特殊環(huán)境。煤礦帶式輸送機(jī)異常狀態(tài)識(shí)別精度不高問題的解決思路如圖6所示。

圖6 煤礦帶式輸送機(jī)異常狀態(tài)識(shí)別精度不高問題的解決思路Fig. 6 Solutions to the problem of low precision of abnormal state recognition of coal mine belt conveyor

2.3 視頻信息傳輸延時(shí)大

1） 主要原因。① 目前帶式輸送機(jī)異常狀態(tài)視頻識(shí)別系統(tǒng)通過將視頻信息從井下帶式輸送機(jī)傳到地面服務(wù)器，地面服務(wù)器利用視頻AI識(shí)別算法識(shí)別視頻信息中異常狀態(tài)，視頻信息傳輸距離遠(yuǎn)，且傳輸過程中存在網(wǎng)絡(luò)通信延時(shí)，導(dǎo)致視頻信息傳輸延時(shí)較大。② 帶式輸送機(jī)異常狀態(tài)識(shí)別信息傳輸量較大，網(wǎng)絡(luò)帶寬占用率高，影響視頻信息傳輸速率，導(dǎo)致傳輸延時(shí)較大。

2） 解決思路。① 針對(duì)目前將數(shù)據(jù)傳輸至地面服務(wù)區(qū)識(shí)別異常狀態(tài)導(dǎo)致的延時(shí)現(xiàn)象，構(gòu)建“云-邊-端”協(xié)同的視頻AI識(shí)別系統(tǒng)架構(gòu)，充分發(fā)揮邊緣節(jié)點(diǎn)計(jì)算的優(yōu)勢(shì)，緩解傳輸過程及地面云端計(jì)算堵塞問題?！霸?邊-端”帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別系統(tǒng)架構(gòu)由云平臺(tái)、邊緣節(jié)點(diǎn)和前端設(shè)備組成，如圖7所示。系統(tǒng)利用5G網(wǎng)絡(luò)高效傳輸數(shù)據(jù)，采用邊緣節(jié)點(diǎn)對(duì)前端設(shè)備輸入的多種視頻數(shù)據(jù)進(jìn)行視頻分析和處理，將處理后輸出的異常狀態(tài)識(shí)別結(jié)果轉(zhuǎn)入云平臺(tái)，并在人機(jī)交互界面顯示識(shí)別效果，動(dòng)態(tài)決策預(yù)警。② 適當(dāng)降低視頻分辨率，壓縮數(shù)據(jù)量，減小帶寬占用率，在井下合理部署高帶寬、低延時(shí)的5G等網(wǎng)絡(luò)通信系統(tǒng)。

圖7 “云-邊-端”協(xié)同的帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別系統(tǒng)架構(gòu)Fig. 7 Architecture of abnormal state video AI recognition system for belt conveyor with cloud-edge-end

3 煤礦帶式輸送機(jī)視頻AI識(shí)別技術(shù)發(fā)展趨勢(shì)

1） 高性能視頻AI識(shí)別算法。針對(duì)識(shí)別精度不高、數(shù)據(jù)集構(gòu)建耗時(shí)長等問題，需進(jìn)一步加強(qiáng)無需人工構(gòu)建數(shù)據(jù)集的無監(jiān)督學(xué)習(xí)模型研究，簡化識(shí)別過程，并深化提升算法識(shí)別精度的理論研究。進(jìn)一步加強(qiáng)對(duì)當(dāng)下主流AI算法的改進(jìn)研究并提出新的AI識(shí)別算法，使之在井下復(fù)雜環(huán)境中呈現(xiàn)更好的識(shí)別效果。

2） 高帶寬、低延時(shí)視頻通信技術(shù)?，F(xiàn)有4G、WiFi等網(wǎng)絡(luò)通信技術(shù)在帶寬、穩(wěn)定性、延時(shí)等方面都不能滿足煤礦視頻信息高效傳輸需求，所以攻關(guān)高帶寬、低延時(shí)的視頻通信技術(shù)是未來的發(fā)展趨勢(shì)之一。如代表性的5G網(wǎng)絡(luò)，具有高帶寬、低延時(shí)等優(yōu)勢(shì)，合理部署后將有利于解決井下帶式輸送機(jī)異常狀態(tài)視頻數(shù)據(jù)傳輸延時(shí)問題。

3） “云-邊-端”高效協(xié)同視頻AI識(shí)別系統(tǒng)。目前用于視頻AI識(shí)別分析的邊緣計(jì)算節(jié)點(diǎn)存在通信接口協(xié)議、數(shù)據(jù)類型不同及邊緣計(jì)算能力不足等問題，均會(huì)導(dǎo)致“云-邊-端”系統(tǒng)難以高效協(xié)同。因此，應(yīng)進(jìn)一步加強(qiáng)對(duì)邊緣計(jì)算、多數(shù)據(jù)融合技術(shù)，以及通信協(xié)議、接口自主匹配研究，構(gòu)建“云-邊-端”高效協(xié)同處理的視頻AI識(shí)別系統(tǒng)。

4） 健全視頻AI識(shí)別技術(shù)標(biāo)準(zhǔn)。目前視頻AI識(shí)別技術(shù)已廣泛應(yīng)用于煤礦井下帶式輸送機(jī)等場(chǎng)景異常狀態(tài)識(shí)別中，但尚未建立統(tǒng)一的技術(shù)規(guī)范標(biāo)準(zhǔn)、技術(shù)管理標(biāo)準(zhǔn)和技術(shù)應(yīng)用標(biāo)準(zhǔn)，不利于視頻AI識(shí)別技術(shù)在更多煤礦中的推廣和應(yīng)用。因此，逐步健全視頻AI技術(shù)標(biāo)準(zhǔn)和生產(chǎn)實(shí)際中的技術(shù)管理體系，有助于形成安全高效的帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別體系，不斷提高煤礦智能化建設(shè)水平。

4 結(jié)語

分析了煤礦帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別技術(shù)研究現(xiàn)狀，總結(jié)出帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別存在視頻圖像數(shù)據(jù)集構(gòu)建耗時(shí)長、異常狀態(tài)識(shí)別精度不高、視頻信息傳輸延時(shí)大3個(gè)主要問題，并提出了相應(yīng)的解決思路。指出未來煤礦帶式輸送機(jī)異常狀態(tài)視頻AI識(shí)別技術(shù)的主要發(fā)展方向?yàn)樯钊胙芯扛咝阅芤曨lAI識(shí)別算法，不斷發(fā)展高帶寬、低延時(shí)視頻通信技術(shù)，構(gòu)建“云-邊-端”高效協(xié)同的視頻AI識(shí)別系統(tǒng)及健全視頻AI識(shí)別技術(shù)標(biāo)準(zhǔn)。