基于邊界跟蹤和神經(jīng)網(wǎng)絡(luò)的煤巖界面識別方法研究

吳德忠，劉泉聲，黃 興，高 峰，殷 欣

(1.武漢大學(xué) 土木建筑工程學(xué)院 巖土與結(jié)構(gòu)工程安全湖北省重點實驗室，湖北 武漢 430072；2.西安科技大學(xué) 西部煤炭綠色開發(fā)國家重點實驗室，陜西 西安 710054；3.國科學(xué)院武漢巖土力學(xué)研究所 巖土力學(xué)與工程國家重點實驗室，湖北 武漢 430071)

煤炭一直是我國國民經(jīng)濟(jì)賴以生存的主要能源，根據(jù)國家能源局印發(fā)的《2020年能源工作指導(dǎo)意見》，2020年全國煤炭消費(fèi)比重占全國能源消費(fèi)總量的57.5%。但總體上我國巷道掘進(jìn)的智能化程度低，掘進(jìn)效率低，難以實現(xiàn)掘錨平行作業(yè)[1]。我國煤炭智能化開采研究同樣處于初級階段，嚴(yán)重依賴人工干預(yù)，精準(zhǔn)度不高，采煤機(jī)容易出現(xiàn)割頂?shù)那闆r[2]。

煤巖識別技術(shù)是實現(xiàn)煤礦巷道自動化掘進(jìn)和煤炭自動化開采的關(guān)鍵技術(shù)之一[3]。以跟頂掘進(jìn)為例，如果截割滾筒位置過低，將造成欠截割，巷道上部留有大量頂煤，影響巷道成形質(zhì)量。如果滾筒位置過高，即過截割狀態(tài)，則會切割到頂板巖層，使?jié)L筒損耗嚴(yán)重，影響設(shè)備使用壽命；產(chǎn)生大量粉塵，威脅現(xiàn)場工作人員的生命健康；滾筒溫度過高，可能產(chǎn)生火花引發(fā)瓦斯爆炸；大量巖石落入煤炭中，造成采煤質(zhì)量下降[4]。因此，迫切需要一種煤巖界面精準(zhǔn)識別技術(shù)指導(dǎo)掘進(jìn)機(jī)和采煤機(jī)截割滾筒的高度調(diào)整。

針對煤巖識別問題，國內(nèi)外學(xué)者展開了大量研究，總體上可分為接觸式和非接觸式兩大類。接觸式的煤巖識別方法是根據(jù)截割滾筒在截割煤巖的過程中，機(jī)械的振動、電流、扭矩、聲發(fā)射等信號會隨著截煤比的變化而變化，這些變化可用于煤巖界面識別。基于多傳感器數(shù)據(jù)融合的煤巖識別方法主要是對上述信息進(jìn)行融合并提高了識別精度。這些方法需要對機(jī)械安裝復(fù)雜的傳感器系統(tǒng)，改造成本高；滾筒在截割過程中振動劇烈，容易造成傳感器損毀。

非接觸式的煤巖識別方法包括伽馬射線探測法、放射性同位素法、雷達(dá)探測法、基于高光譜的識別方法、基于圖像的識別方法等等。上述方法均存在一定的局限性，例如以天然射線(NGR)探測儀為代表的煤厚測量法，要求頂?shù)装逯泻派湫栽?，適用于美國大部分煤礦，而在我國僅適用于約五分之一的煤礦[5]，因此該方法的推廣使用受到了限制。

近年來，基于圖像的煤巖識別方法成為研究的熱點。孫繼平等[6]采用Daubechies小波分解技術(shù)對煤巖圖像進(jìn)行分解，構(gòu)造紋理導(dǎo)向度，提取特征值，根據(jù)Minkowski距離計算公式計算待測物質(zhì)與煤巖樣品的距離，通過判斷距離的大小進(jìn)行煤巖的分類。章華等[7]設(shè)計了一個結(jié)構(gòu)較為簡單的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，識別準(zhǔn)確率較高。以上研究主要是對煤巖圖像進(jìn)行分類，并不涉及煤巖的具體位置?；跀?shù)字圖像處理技術(shù)的煤巖界面識別研究比較少。Dong等[8]提出了一種改進(jìn)的Canny邊緣檢測算法，采用自適應(yīng)中值濾波算法根據(jù)灰度均值和方差均值來計算Canny算法的閾值。該方法提高了邊緣的提取效果，但同時也提取到了很多煤巖內(nèi)部的邊緣。

智能化巷道掘進(jìn)和開采過程中的煤巖識別重點在于識別煤巖交界位置。針對現(xiàn)有煤巖識別技術(shù)存在的問題，本文提出一種基于邊界跟蹤算法和人工神經(jīng)網(wǎng)絡(luò)的煤巖界面識別方法，可有效地識別出煤巖界面，從而指導(dǎo)掘進(jìn)機(jī)或者采煤機(jī)截割滾筒的高度調(diào)整，對實現(xiàn)國家安全監(jiān)管總局“機(jī)械化換人、自動化減人”的戰(zhàn)略發(fā)展目標(biāo)，實現(xiàn)煤礦巷道智能掘進(jìn)和采煤機(jī)智能開采具有重要意義。

1 邊界跟蹤算法

1.1 圖像預(yù)處理

實驗采用高感光度防爆相機(jī)采集鄂爾多斯李家壕煤礦礦區(qū)巷道掘進(jìn)面原始圖像，可清晰地看到截割滾筒切割煤巖體之后留下的痕跡，如圖1(a)所示。為排除圖像中其他無關(guān)信息對煤巖界面提取的干擾，舍棄圖像中頂板鋪網(wǎng)、左側(cè)面以及掘進(jìn)機(jī)機(jī)身部分，僅選取掘進(jìn)面與頂板相交部分作為感興趣區(qū)域(Region of interest，ROI)，如圖1(b)所示。

圖1 原始圖像及感興趣區(qū)域

線性拉伸可以剔除異常值，提高圖像質(zhì)量，改善顯示效果[9]；同時也是對數(shù)據(jù)的一種標(biāo)準(zhǔn)化處理，這對下文機(jī)器學(xué)習(xí)分類算法具有積極意義。取直方圖累積在前n%和后n%處對應(yīng)的像素值為最小值和最大值，將位于前n%和后n%之間的像素值按照式(1)映射到0～255范圍內(nèi)，小于最小值的賦值為0，大于最大值的賦值為255，經(jīng)過實驗，選擇n=2效果最好，如圖2所示。

圖2 2%截斷線性拉伸

式中，x、y表示輸入、輸出圖像的像素值；smax、smin表示輸入圖像像素值的最大和最小值；dmax、dmin表示輸出圖像像素值的最大和最小值。

1.2 邊界跟蹤算法原理

1.2.1 彩色圖像二值化

邊界跟蹤算法建立在以下基礎(chǔ)之上：①輸入圖像為二值圖像；②圖像包含的區(qū)域與圖像邊框相連接時，圖像邊框填充單像素寬度背景(0)值[10]。因此需先對彩色圖像進(jìn)行二值化處理。二值圖像中的每一個像素其灰度值只有0或者1兩個取值，通常情況下1表示白色(前景)，0表示黑色(背景)。

灰度圖只有一個通道，其值稱為灰度值。本文采用加權(quán)平均法按式(2)對彩色圖像R、G、B三個分量加權(quán)平均從而實現(xiàn)圖像灰度化。

Gray=0.299R+0.578G+0.114B

(2)

采用閾值法實現(xiàn)灰度圖像二值化，根據(jù)最大類間方差法(大津法)確定閾值為T，灰度值大于T的像素賦值為1，灰度值小于T的像素賦值為0，按照式(3)得到輸出圖像，如圖3所示。

圖3 二值圖像

其中，f(x，y)、g(x，y)分別表示輸入圖像和輸出圖像在坐標(biāo)(x，y)處像素值。

1.2.2 二值圖像邊界跟蹤

邊界一般指前景區(qū)域的邊界，分為內(nèi)邊界和外邊界。跟頂掘進(jìn)中為避免過截割應(yīng)使截割滾筒盡量偏低，因此本文選擇提取外邊界。圖4中標(biāo)出值為1的像素點，省略值為0的像素點，算法實現(xiàn)過程如下：

圖4 邊界跟蹤示意圖

1)按照從左至右，從上到下的順序掃描圖像，找到最左上方值為1的前景點并標(biāo)記為p0，p0上方的相鄰點標(biāo)記為q0。顯然q0一定是值為0的背景點。

2)以p0為中心，q0為起點展開八鄰域逆時針?biāo)阉鳎浰阉鞯降牡谝粋€前景點為p1，緊鄰且先于p1出現(xiàn)的背景點為q1，存儲p0的位置。

3)令p=p1，q=q1。

4)記以p為中心，q為起點的逆時針方向8個相鄰點為x0，x1，…，x7。

5)令xk表示第一個出現(xiàn)的前景點。

6)令p=xk，q=xk-1。

7)重復(fù)步驟5)和6)，當(dāng)p=p0時停止計算，此時得到的序列p就是前景區(qū)域內(nèi)邊界點的集合。

8)標(biāo)記序列p所有點的八鄰域點中所有的背景點r，得到前景區(qū)域外邊界點的集合。

輸出圖像中僅邊界部分像素值為1，其余部分像素值均為0。將圖3作為上述算法的輸入，輸出如圖5所示?？梢钥闯觯惴ú粌H識別出煤巖邊界，煤巖內(nèi)部邊緣也一并識別出來，無法指導(dǎo)掘進(jìn)機(jī)滾筒調(diào)高。這是因為圖像二值化處理本身可以看作一種基于閾值的分類方法，而從圖3中可明顯地看出大量像素點被錯分，此時邊界跟蹤算法無法提取煤巖邊界。因此需先對分界線兩側(cè)煤巖進(jìn)行分類，進(jìn)而對分類之后的圖像提取邊界。

圖5 邊緣跟蹤效果圖

2 煤巖圖像分類算法及精度評價

2.1 建立分類模型

最大似然法(Maximum Likelihood Estimate，MLE)常用于測繪遙感領(lǐng)域的地物分類，研究表明在各種監(jiān)督分類方法中，該方法在巖性識別方面具有較好的性能[11]。K均值聚類算法(k-means clustering algorithm)是一種非監(jiān)督學(xué)習(xí)方法，具有容易實現(xiàn)、簡單高效的優(yōu)點，廣泛應(yīng)用于圖像分割領(lǐng)域[12]。大量研究表明支持向量機(jī)(Support Vector Machines，SVM)和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)都是功能強(qiáng)大的分類模型。支持向量機(jī)是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的一種機(jī)器學(xué)習(xí)算法，具有論證嚴(yán)密、適應(yīng)性強(qiáng)、全局優(yōu)化、訓(xùn)練效率高和泛化性能好等優(yōu)點[13]。BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種按照誤差反向傳播訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[14]。

本文采用最大似然法、K均值聚類算法、支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)對線性拉伸之后的圖像進(jìn)行分類，以消除非邊界信息對邊界跟蹤算法的影響，比較四種算法的分類精度，選擇最佳分類模型。對圖像包含的所有像素逐一分類，分類結(jié)果中用紅色表示頂板巖層，藍(lán)色表示煤。選取1632個屬于煤的樣本點和1578個屬于巖的樣本點作為訓(xùn)練樣本。四種算法的分類結(jié)果如圖6所示，神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差曲線如圖7所示。

圖6 四種模型分類結(jié)果

圖7 神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差曲線

2.2 精度評價

混淆矩陣常用于評價分類模型的分類性能，矩陣的行表示樣本真實的類別，列表示分類模型預(yù)測的類別[15]。矩陣中對角線上的數(shù)字pii表示被正確分類的樣本數(shù)；pij表示驗證樣本第j類目標(biāo)被識別為第i類目標(biāo)的個數(shù)；pi+和p+i分別表示第i行和第i列樣本數(shù)量之和。四種算法的混淆矩陣見表1-4。

表1 K-means分類混淆矩陣

表2 MLE分類混淆矩陣

表3 SVM分類混淆矩陣

表4 ANN分類混淆矩陣

總體分類精度(Overall Accuracy)表示混淆矩陣對角線上樣本數(shù)量之和與驗證樣本總數(shù)的比值，按照式(4)計算。Kappa系數(shù)不僅考慮了被正確分類的樣本，還考慮了錯分漏分的樣本，其值在-1～1之間。Kappa系數(shù)越大表示一致性越高，按照式(5)計算。四種算法的總體分類精度和Kappa系數(shù)見表5。

式中，N表示樣本總數(shù)；m表示目標(biāo)類型數(shù)量，本文為2。

分類結(jié)果表明，K-means聚類算法雖然可以取得高達(dá)98.3650%的總體分類精度和0.9672的Kappa系數(shù)，但是從圖7a中可以看出明顯的錯分情況。最大似然法的分類效果最差，總體分類精度和Kappa系數(shù)在四種分類模型中均是最低的。SVM和ANN分類效果相當(dāng)，總體分類精度和Kappa系數(shù)均接近理想值，本文采用總體分類精度和Kappa系數(shù)略高的ANN進(jìn)行分類，將ANN的輸出作為邊界跟蹤算法的輸入，提取到的煤巖邊界如圖8所示。

圖8 提取的邊界及局部放大圖

對比圖5可以發(fā)現(xiàn)，經(jīng)過ANN分類之后的圖像，可大致提取出連續(xù)單像素寬度的煤巖邊界，而煤巖內(nèi)部沒有檢測到邊緣，但是存在許多孤立“孔洞”分布在邊界附近。這是因為四種分類模型都是對像素點逐一分類，在邊界附近煤和巖兩類目標(biāo)相互滲透，在對方區(qū)域內(nèi)形成許多孤立的細(xì)小區(qū)域，邊界跟蹤算法將這些區(qū)域的邊界也提取出來，對后續(xù)的研究會造成一定的干擾。因此需采取一種有效的方法，對ANN分類之后的圖像進(jìn)一步處理，以消除這些細(xì)小區(qū)域?qū)吔缣崛〉牟涣加绊憽?/p>

3 形態(tài)學(xué)處理

數(shù)學(xué)形態(tài)學(xué)是一門建立在集合論基礎(chǔ)上的學(xué)科，廣泛應(yīng)用于提取對表達(dá)和描繪圖像中區(qū)域形狀有用的圖像分量，圖像預(yù)處理和后處理等。其基本運(yùn)算包括膨脹、腐蝕、閉運(yùn)算和開運(yùn)算[16]，這些運(yùn)算通過結(jié)構(gòu)元素(SE)實現(xiàn)。結(jié)構(gòu)元素是由值為0或1組成的矩陣，在二值圖像中平移，每次平移1個步長，在平移過程中的每個位置均與相應(yīng)位置的二值圖像進(jìn)行特定的邏輯運(yùn)算。

腐蝕運(yùn)算可以使前景區(qū)域從外向內(nèi)縮小，其基本原理是：在圖9(a)中，定義一個3行3列的正方形結(jié)構(gòu)元素B(其值為1)，其原點位于中心像素，前景區(qū)域A用1值表示，前景區(qū)域A和背景區(qū)域構(gòu)成圖像I。①生成一幅圖像I1，其尺寸與I相同，其值均為0；②在圖像I上平移結(jié)構(gòu)元素B，使B掃描整個圖像；③對于B在I的每一個位置，若B完全包含于A，則標(biāo)記B的原點為新圖像I1的前景像素，否則將其標(biāo)記為I1的背景像素。如圖9(b)所示。

圖9 膨脹腐蝕原理

膨脹運(yùn)算與腐蝕運(yùn)算原理相似：將腐蝕運(yùn)算第(3)步改為“對于B在I的每一個位置，若B與A的交集非空，則標(biāo)記B的原點為新圖像I1的前景像素，否則將其標(biāo)記為I1的背景像素”，即為一次膨脹運(yùn)算，如圖9(c)所示。

使用同一結(jié)構(gòu)元素，對圖像先進(jìn)行膨脹處理，再進(jìn)行腐蝕處理，稱為閉運(yùn)算；對圖像先進(jìn)行腐蝕處理，再進(jìn)行膨脹處理，稱為開運(yùn)算。將閉運(yùn)算和開運(yùn)算組合，以消除邊界附近的“孔洞”，實現(xiàn)過程及原理如下[17]：

1)閉運(yùn)算。①膨脹：前景區(qū)域內(nèi)的細(xì)小背景區(qū)域由于前景區(qū)域的擴(kuò)張而消失，煤巖總體分界線下移；②腐蝕：已經(jīng)消失的細(xì)小背景區(qū)域不再出現(xiàn)，煤巖總體分界線由于前景區(qū)域的收縮上移到初始位置。

2)開運(yùn)算。①腐蝕：背景區(qū)域內(nèi)的細(xì)小前景區(qū)域由于前景區(qū)域的收縮而消失，煤巖總體分界線上移；②膨脹：已經(jīng)消失的細(xì)小前景區(qū)域不再出現(xiàn)，煤巖總體分界線由于前景區(qū)域的擴(kuò)張下移到初始位置。

上述過程雖然改變了圖像的微觀形態(tài)，但是煤巖總體分界線的趨勢和位置不變，不影響指導(dǎo)截割滾筒高度調(diào)節(jié)。由于ANN分類效果良好，沒有出現(xiàn)大面積錯分的情況，因此不需要設(shè)置過大尺寸的結(jié)構(gòu)元素。本文選擇半徑為2的圓形結(jié)構(gòu)元素，對分類后的圖像先進(jìn)行閉運(yùn)算，再進(jìn)行開運(yùn)算，輸出圖像煤巖邊界趨于平滑，邊界附近滲透到對方區(qū)域的細(xì)小區(qū)域全部消失，如圖10所示。

圖10 形態(tài)學(xué)處理前后對比(局部)

將形態(tài)學(xué)處理之后的圖像作為邊界跟蹤算法的輸入，提取到的邊界如圖11所示，此時提取到連續(xù)單像素寬度邊界，與真實邊界基本吻合。此外，形態(tài)學(xué)處理使分類模型具有一定的容錯性，即使在分類過程中出現(xiàn)少量的錯分(圖11方框部分)，在形態(tài)學(xué)處理這一步中也可以得到彌補(bǔ)和糾正。統(tǒng)計邊界上所有像素的縱坐標(biāo)，取平均值，轉(zhuǎn)換為井下測量坐標(biāo)，從而為掘進(jìn)機(jī)和采煤機(jī)滾筒高度調(diào)節(jié)提供依據(jù)。

圖11 提取的邊界及局部放大圖

4 基于邊界跟蹤和神經(jīng)網(wǎng)絡(luò)的煤巖界面識別方法

根據(jù)上文分析，本文提出一種基于邊界跟蹤算法和人工神經(jīng)網(wǎng)絡(luò)的煤巖界面識別方法，具體過程如下：①采集掘進(jìn)面與頂板交界處的原始圖像，盡量保證光照充足且均勻，選取ROI；②對圖像進(jìn)行2%線性拉伸處理；③選擇一定數(shù)量的訓(xùn)練樣本，煤和巖兩類樣本的數(shù)量應(yīng)接近，訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)；④將待檢測的圖像作為BP神經(jīng)網(wǎng)絡(luò)的輸入；⑤將分類后的圖像進(jìn)行閉運(yùn)算和開運(yùn)算處理；⑥將處理之后的圖像作為邊界跟蹤算法的輸入。

技術(shù)路線如圖12所示。

圖12 技術(shù)路線圖

巷道掘進(jìn)和采煤過程中的煤巖界面識別原理相同，按照本文提出的方法，對來自陜西神木榆家梁采煤工作面的原始圖像(圖13)提取邊界，如圖14所示，該方法提取到的煤巖邊界連續(xù)且寬度為1個像素，其位置與走勢與真實的煤巖界面基本吻合。

圖13 采煤工作面及ROI

圖14 提取的邊界及局部放大圖

5 結(jié) 論

煤巖識別是實現(xiàn)煤礦巷道智能掘進(jìn)與煤炭智能開采亟需突破的關(guān)鍵技術(shù)。為實現(xiàn)煤巖界面精準(zhǔn)識別，本文根據(jù)鄂爾多斯李家壕礦區(qū)煤礦巷道掘進(jìn)面的原始圖像，研究了二值圖像邊界跟蹤算法、基于像素的機(jī)器學(xué)習(xí)分類算法以及形態(tài)學(xué)處理方法，得到如下結(jié)論：

1)提出了一種基于邊界跟蹤算法和人工神經(jīng)網(wǎng)絡(luò)的煤巖界面識別方法，該方法思路清晰，原理簡單，效果理想，具有良好的可行性，為掘進(jìn)機(jī)和采煤機(jī)滾筒空間位置的調(diào)整提供依據(jù)。

2)BP神經(jīng)網(wǎng)絡(luò)可對像素進(jìn)行有效分類，整體分類精度為99.9199%，Kappa系數(shù)為0.9984，消除了非邊界信息對邊界跟蹤算法的影響。

3)形態(tài)學(xué)處理可以有效地消除邊界附近的細(xì)小區(qū)域，為邊界跟蹤算法提供了良好的基礎(chǔ)；且使分類模型具有一定的容錯性。

4)將機(jī)器學(xué)習(xí)算法和數(shù)字圖像處理技術(shù)相結(jié)合，克服了單一算法的局限性，為煤巖識別研究提供了新的思路和方向。

5)采用本文提出的方法對來自陜西神木榆家梁采煤工作面的原始圖像進(jìn)行驗證，取得了良好的效果，驗證了該方法的有效性和可靠性。