一種煤礦井下輸煤大塊物檢測方法

杜京義， 郝樂， 王悅陽， 楊若楠， 文靜怡

(1.西安科技大學 電氣與控制工程學院， 陜西 西安 710054；2.重慶大學 大數(shù)據(jù)與軟件學院， 重慶 400044；3.西北大學 公共管理學院， 陜西 西安 710127)

0 引言

煤礦在綜采中會產(chǎn)生大塊煤矸，過大的煤矸會造成井下輸煤設備煤流不暢、堵塞及堆煤等現(xiàn)象，嚴重影響礦井生產(chǎn)安全[1-4]。因此，對井下膠帶輸煤過程中大塊物檢測顯得尤為重要[5]。

現(xiàn)有的井下輸煤大塊物實時檢測方法主要有人工檢測法、膠帶秤法、圖像處理法等[6]。其中圖像處理法因具有成本低、占用空間少、精度高等特點，在煤礦大塊物檢測中應用十分廣泛[7]。鮑勇豪[8]通過設置敏感檢測區(qū)域，檢測二值圖像中黑色像素包圍白色像素是否超過限定，從而判斷膠帶上是否存在大塊物。許軍等[9]結(jié)合大塊物在圖像中的亮度特征與運動特征，對膠帶上大塊物進行檢測，從而起到預警作用。但文獻[8-9]都是通過煤塊顏色特征進行大塊物特征提取，存在由于煤塊堆積造成的誤識別，導致無法準確檢測大塊物數(shù)量、檢測精度不高等問題。除了選取目標顏色特征，利用目標物邊緣特征也能提取目標物。劉麗霞等[10]通過增加Canny邊緣算子計算圖像梯度和方向，對圖像進行有效分割，但Canny算子檢測存在邊緣丟失的現(xiàn)象。焦安波等[11]通過HED(Holistically-Nested Edge Detection,改進全局嵌套邊緣檢測)神經(jīng)網(wǎng)絡檢測目標邊緣，為后續(xù)目標識別、跟蹤提供良好的基礎，但HED神經(jīng)網(wǎng)絡中采用的Relu激活函數(shù)可能會導致神經(jīng)元死亡、權(quán)重無法更新的情況[12]，最終導致檢測精度不高。

針對以上問題，本文提出了一種基于改進HED神經(jīng)網(wǎng)絡融合Canny算子的煤礦井下輸煤大塊物檢測方法。采用提取反射分量[13]結(jié)合邊緣保留濾波(Edge Preservation Filtering, EPF)[14]方法對圖像進行預處理，增強圖像亮度、對比度，加深圖像邊緣信息；然后利用改進的HED神經(jīng)網(wǎng)絡與Canny算子融合模型對圖像邊緣進行檢測，輸出大塊物邊緣圖像，將大塊物邊緣圖像進行非運算并剔除背景圖像；最后對目標進行矩形標注并遍歷循環(huán)大塊物，計算出大塊物像素個數(shù)與面積。實驗結(jié)果驗證了該方法的準確性。

1 大塊物檢測原理

井下輸煤大塊物檢測流程如圖1所示，整個過程主要通過預處理增強圖像邊緣梯度差異，再通過在改進HED神經(jīng)網(wǎng)絡基礎上融合Canny算子計算大塊物邊緣，從而得到大塊物面積。

圖1 大塊物檢測流程Fig.1 Large blocks detection flow

大塊物檢測具體步驟：

(1) 安裝攝像頭，以3～5幀/s速率讀取現(xiàn)場圖像。

(2) 采用局部直方圖均衡化、提取反射分量方法對現(xiàn)場圖像進行預處理，從而增強圖像亮度、對比度和梯度。

(3) 將預處理圖像代入改進的HED神經(jīng)網(wǎng)絡與Canny算子融合模型中，得到連續(xù)邊緣的大塊物邊緣圖像，根據(jù)邊緣圖像做非運算，標注圖像中的大塊物，并計算大塊物面積。

(4) 統(tǒng)計輸煤膠帶運輸過程中大塊物數(shù)量并判斷大塊物面積是否高于設定閾值，若高于設定閾值，則向工作人員報警，反之則正常運行。

2 圖像預處理

井下輸煤圖像預處理流程：① 利用Gamma變換增強圖像對比度與亮度。② 基于全局直方圖均衡化理論，將圖像進行局部直方圖均衡化，增強圖像中大塊物邊緣信息。③ 對Gamma變換圖利用Retinex提取反射分量，得到反射分量圖像。④ 將局部直方圖均衡化圖像與反射分量圖像加權(quán)融合，調(diào)整得到綜合的增強圖像。⑤ 將增強圖像代入EPF算子，得到消除方塊效應的大塊物邊緣增強圖像。

2.1 局部直方圖均衡化

由于井下存在照度低、照度非均勻的情況，為便于圖像后續(xù)處理，預處理首先要增強圖像對比度、亮度，選用Gamma增強函數(shù)對圖像進行預處理。Gamma函數(shù)的數(shù)學表達式為

g(z)=fa(z)+d

(1)

式中：g(z)為輸出圖像；f(z)為輸入圖像；a為原函數(shù)的冪；d為圖像亮度增強或減少的亮度常量。

由于煤塊與煤塊間邊緣顏色相近，現(xiàn)場圖像中存在邊緣梯度不明顯的情況。為增強圖像中大塊物之間的邊緣梯度信息，利用局部直方圖均衡化來解決圖像中存在的大塊物邊緣梯度縮減情況?；叶绒D(zhuǎn)換公式為

(2)

式中：y為處理后的圖像灰度級；K為原圖像的灰度級，K=256；h(xi)為直方圖中每個灰度級像素個數(shù)；w，h為圖像寬與高。

2.2 融合反射分量

原圖像雖經(jīng)過Gamma函數(shù)的處理，但依然存在整體亮度低、對比度低的問題，為進一步增強圖像對比度與亮度，采用Retinex在增強圖像中提取反射分量，增強圖像整體亮度。反射分量與原圖像的關(guān)系式為

I(x,y)=L(x,y)R(x,y)

(3)

式中：I(x,y)為原圖像；L(x,y)為原圖像的照度分量；R(x,y)為原圖像的反射分量。

Retinex核心就是通過估測照度分量，測得反射分量，即通過最大顏色值通道推導出反射分量。反射分量的求解公式為

(4)

經(jīng)過局部直方圖均衡化處理，由于大塊物表面凹凸不平，易出現(xiàn)由于過增強現(xiàn)象而導致的黑斑。反射分量輸出圖像整體亮度有了極大提高，但邊緣信息由于亮度提升，會出現(xiàn)輕微過曝光現(xiàn)象。為解決過增強與過曝光問題，將2種輸出圖像加權(quán)融合，能有效增強圖像邊緣信息且不會產(chǎn)生過曝光。加權(quán)公式為

g(x,y)=βH(x,y)+(1-β)R(x,y)

(5)

式中：g(x,y)為綜合增強輸出圖像；β為均衡參數(shù)；H(x,y)為局部直方圖均衡化輸出圖像。

由于井下光照非均勻?qū)е卢F(xiàn)場圖像部分區(qū)域像素灰度值降低，圖像中易出現(xiàn)方塊效應。為解決該問題，利用邊緣保留濾波算法消除方塊效應，完成預處理流程。

3 大塊物分割與檢測

3.1 大塊物邊緣提取

圖像預處理后，進行邊緣特征檢測分析。傳統(tǒng)邊緣算子用于表面不光滑的煤巖混合物時，經(jīng)常由于其表面凹凸不平而產(chǎn)生非邊緣劃分的情況，從而影響大塊物圖像定位準確性。

為解決傳統(tǒng)邊緣算子的非邊緣劃分與邊緣不連續(xù)問題，本文采用HED神經(jīng)網(wǎng)絡進行邊緣檢測。HED神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖2所示。原圖像以224×224大小輸入HED神經(jīng)網(wǎng)絡中，經(jīng)過第1組兩層卷積，一層池化提取特征；由于池化層作用，從第2組卷積層開始，每一組輸入圖像的長、寬都是前一組的一半。針對每一組最后一層卷積輸出圖像長、寬不同的問題，使用反卷積操作對每組最后一層卷積輸出圖像做運算，得到相同長、寬的融合輸出圖像。

圖2 HED神經(jīng)網(wǎng)絡結(jié)構(gòu)Fig.2 HED neural network structure

由于暫時沒有適用于大塊物的公開數(shù)據(jù)集，根據(jù)HED訓練數(shù)據(jù)集格式，本文以視覺對象數(shù)據(jù)類(Visual Object Classes,VOC)為模板，利用labelme將現(xiàn)場批量預處理圖像劃分為json文件，建立井下語義分割數(shù)據(jù)庫，數(shù)據(jù)量大于3 000張圖像。

原有HED神經(jīng)網(wǎng)絡激活函數(shù)采用Relu，其特點為收斂速度快，遠高于Sigmod、Tanh等激活函數(shù)。但如果學習率偏高，會出現(xiàn)神經(jīng)元輸出不變、無法被激活的現(xiàn)象，造成梯度值為0。為此，本文分別采用Maxout與Leaky Relu作為激活函數(shù)。經(jīng)實驗發(fā)現(xiàn)，Leaky Relu在x<0處沒有重合于x軸，保留了Relu線性、不飽和性優(yōu)點，同時解決了HED神經(jīng)網(wǎng)絡中部分神經(jīng)元未被激活的現(xiàn)象，相比于Maxout處理速度更快，不會產(chǎn)生新增的參數(shù)。Leaky Relu表達式為

Leaky Relu=max(αx,x)

(6)

式中α為Leaky Relu的系數(shù)，一般非常小，本文取為0.03，以此來保證不會出現(xiàn)神經(jīng)元無法被激活的現(xiàn)象。

本文應用Canny算子改進閾值，將Canny閾值分別設定為90，240，相對降低由于煤巖混合物表面梯度差異造成的邊緣過擬合現(xiàn)象。將改進的HED神經(jīng)網(wǎng)絡與Canny算子結(jié)合形成融合模型，以便獲取連接完全、擬合清晰的邊緣檢測圖像。

大塊物邊緣算法流程如圖3所示。① 對預處理圖像在顏色閾值上加以劃分，將圖像劃分為前景圖像與背景圖像。② 將前景圖像分別代入改進HED模型與Canny算子。③ 對HED圖像進行形態(tài)學開運算，用以消除HED輸出圖像中的孤立點，對Canny輸出圖像進行形態(tài)學閉運算，使Canny輸出圖像減少斷點。④ 對經(jīng)形態(tài)學處理后的圖像進行正相加，得到完整邊緣輪廓圖，再對完整邊緣輪廓圖進行非運算，得到填充圖像。⑤ 獲取填充圖像與背景圖像，在填充圖像中去除背景圖像，避免算法將非煤縫隙空間識別為煤塊。

圖3 大塊物邊緣算法流程Fig.3 Flow of large blocks edge algorithm

3.2 面積檢測

得到上述二值化填充圖后，可通過灰度閾值劃分目標檢測，針對二值圖像只需要判斷對應像素點灰度為0或255即可。若灰度值為0，則表示為圖像非目標區(qū)，即圖像中非煤塊區(qū)域；若灰度值為255，則表示為圖像目標區(qū)，即圖像中煤塊區(qū)域。利用式(7)—式(9)對目標進行質(zhì)心與矩形標注。

(7)

(8)

(9)

式中：f(x,y)為在圖像(x,y)點處的灰度值；B為圖像中非目標區(qū)；A為圖像中大塊物目標區(qū)；(xi0,yi0)為第i個目標的質(zhì)心；Ai為目標區(qū)中的第i個目標；(xi1,yi1)為在第i個目標中矩形標注的左上角位置；(xi2,yi2)為在第i個目標中矩形標注的右下角位置。

利用矩形標注對二值圖像進行標注，以標注完成的矩形為基準，將當前二值圖像中所有被標注的目標裁剪出來。

Si=(xi2-xi1)(yi2-yi1)

(10)

式中Si為圖像中第i個目標矩形標注像素面積。

比較Si，得出最大矩形標注圖像像素面積。遍歷循環(huán)已截取最大矩形標注圖像，計算圖像中大塊物像素個數(shù)。設置大塊物總像素個數(shù)Ni初始值為0，遍歷最大矩形標注圖像，當(x,y)處像素值為255時，即該像素點為大塊物像素點，則將Ni加1，循環(huán)可得最終Ni輸出值為大塊物像素點個數(shù)。利用式(11)計算目標面積占圖像面積比重。

(11)

遍歷循環(huán)檢測計算出Di，通過式(11)將Di轉(zhuǎn)換為實際面積。設置大塊物面積閾值，若檢測圖像中存在大塊物面積大于閾值則報警，反之則正常運行。

4 實驗結(jié)果與分析

建立本地井下語義分割數(shù)據(jù)集，將井下實時采集的圖像作為輸入圖像，得到實驗結(jié)果如圖4所示。

從圖4 可看出，在Canny邊緣檢測中出現(xiàn)了多處邊緣不連續(xù)的現(xiàn)象，經(jīng)過在改進HED神經(jīng)網(wǎng)絡基礎上融合Canny算子檢測邊緣，能夠有效解決原有Canny邊緣檢測算子邊緣不連續(xù)的問題，并將大塊物像素占圖像總像素的百分比轉(zhuǎn)換為面積，能夠有效反映出圖像煤塊大小。

為了驗證實驗的準確性，采取基本統(tǒng)計學描述和精確率-召回率(Precision Recall,PR)作為評價指標[15]。在基本統(tǒng)計學描述中，主要涉及4組參數(shù)：正確標識的邊緣點(True Positive,TP)、錯誤標識的邊緣點(False Positive,FP)、未正確標識的真實邊緣點(False Negative,FN)、正確標識的非邊緣點(True Negative,TN)。通過上述4組參數(shù)，可得到真陽性率Rco、漏檢率Rnd以及誤檢率Rfa三項指標。

(12)

圖4 實驗結(jié)果
Fig.4 Experimental result

式中：N1,NB分別表示通過labelme劃分的真實邊緣像素點數(shù)以及邊緣算子檢測到的邊緣像素點數(shù)；NTP表示正確標識邊緣像素點數(shù)量(N1∩NB)；NFP表示錯誤標識邊緣像素點數(shù)量(NB-(N1∩NB))；NFN表示未正確標識邊緣像素點數(shù)量(N1-(N1∩NB))。

PR算法引入邊緣評價中的召回率(RR)與正確率(RP)，邊緣算法要求在一定召回率的基礎上提升正確率，基于此引出PR算法中的綜合評估參數(shù)F來評價邊緣算法性能。F越大,表明該邊緣算法檢測精度越高。

(13)

式中δ為加權(quán)系數(shù)，一般選取0.5。

將基本統(tǒng)計學評價指標與PR算法評價指標代入各邊緣圖像，評價對比結(jié)果見表1。

表1 檢測過程評價對比結(jié)果Table 1 Evaluation and comparison results of testing process

由表1可知，傳統(tǒng)Canny邊緣算子相較于HED神經(jīng)網(wǎng)絡準確率較低，同時HED神經(jīng)網(wǎng)絡的漏檢率在本文的融合模型處有了極大的下降。在PR綜合評價中，改進HED融合Canny邊緣算子(融合模型)相較于其他對比算法在綜合評估參數(shù)F上具有顯著提升。

將邊緣圖像填充標注，統(tǒng)計視頻中大塊煤數(shù)量，驗證效果見表2。由表2可知，在一段時間的檢測樣例中，由于圖像幀率設置，會出現(xiàn)重復檢測部分煤塊的現(xiàn)象，但能夠有效地檢測出大塊煤并統(tǒng)計其數(shù)量。

表2 實驗驗證效果Table 2 Experimental verification effect

綜上所述，改進HED神經(jīng)網(wǎng)絡融合Canny邊緣算子能夠有效降低邊緣檢測的誤差，從而有效識別大塊物。

5 結(jié)論

(1) 針對井下照度非均勻的情況，利用局部直方圖均衡化、提取反射分量方法對圖像進行預處理，同時將圖像邊緣信息與亮度信息進行融合，解決了圖像預處理過程中存在的過曝光、方塊效應問題，增強了圖像中大塊物邊緣的梯度差，便于后續(xù)邊緣檢測。

(2) 在改進HED神經(jīng)網(wǎng)絡基礎上融入Canny算子，相比原有邊緣算子解決了圖像邊緣不連續(xù)的問題，經(jīng)過PR評價，改進HED神經(jīng)網(wǎng)絡融合Canny算子綜合評估參數(shù)F由17.19提升至40.22，能有效提升圖像邊緣準確性。

(3) 實驗結(jié)果表明，基于HED神經(jīng)網(wǎng)絡融合Canny算子的煤礦井下輸煤大塊物檢測方法解決了原有檢測方法中存在無法檢測大塊物數(shù)量、檢測精度不高等問題，能夠有效檢測大塊物數(shù)量并計算大塊物面積，對井下膠帶運輸系統(tǒng)具有現(xiàn)實意義。