煤矸分選機(jī)器人圖像識別方法和系統(tǒng)

李 曼，段 雍，曹現(xiàn)剛，劉長岳，孫凱凱，劉 浩

(1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054; 2.陜西煤化韓城礦業(yè)有限公司，陜西 韓城 715400)

煤矸分選是煤炭生產(chǎn)的重要工作之一，傳統(tǒng)的人工分選具有勞動量大、效率低、粉塵多、對人體危害等問題。隨著選煤技術(shù)的不斷進(jìn)步，人工操作已逐漸被自動分選設(shè)備替代[1-4]。目前國內(nèi)外應(yīng)用較為成熟的煤矸自動分選設(shè)備主要采用γ和X射線檢測法。γ射線檢測法根據(jù)γ射線穿過煤和矸石時(shí)衰減量的不同來識別煤和矸石[5]，X射線法是根據(jù)煤和矸石對射線吸收量的不同來進(jìn)行識別的，用高壓氣閥噴嘴作為執(zhí)行機(jī)構(gòu)，通過高壓氣流將矸石分離[6]。該類分選設(shè)備，由于煤和矸石下落時(shí)間快，對系統(tǒng)執(zhí)行速度提出了較高的要求，并且射線法易受煤矸含水量的影響，同時(shí)還存在射線探測部分環(huán)保要求較高，執(zhí)行部件準(zhǔn)確率不高，容易故障等缺點(diǎn)。

近年來，煤矸分選機(jī)器人的研究已成為選煤自動化生產(chǎn)的重要課題，其中煤矸的準(zhǔn)確識別是實(shí)現(xiàn)機(jī)器人分選的首要任務(wù)。針對這一問題，國內(nèi)外不少研究人員從圖像分析或視覺計(jì)算的角度對煤矸識別進(jìn)行了研究，文獻(xiàn)[7-9]通過對煤和矸石的灰度和紋理信息進(jìn)行分析，得到了較為準(zhǔn)確的分類結(jié)果，但是這些識別方法的特征提取相對單一，在實(shí)際生產(chǎn)環(huán)境中準(zhǔn)確度易受影響。文獻(xiàn)[10-14]對煤矸識別提出了一些新的方法，能得到較好的煤矸識別率，但是都存在識別過程中耗時(shí)長、算法復(fù)雜、對硬件要求較高等問題。文獻(xiàn)[15]將原煤的表面分為4種類型，通過特征遞歸剔除方法找出了圖像的最優(yōu)特征子集，得到了一種效果波動小，準(zhǔn)確率較高的煤矸識別方法，但在矸石中煤含量過高時(shí)，此方法有失效的可能性。文獻(xiàn)[16]提出了一種將PCA算法用于識別傳送帶上油石的算法，實(shí)現(xiàn)了對油石區(qū)域的檢測，但是當(dāng)油石的密度過大時(shí)，油石的定位準(zhǔn)確度變差，使識別受到影響。目前，基于虛擬儀器技術(shù)的機(jī)器視覺因其開發(fā)周期短、兼容性廣、圖形化編程、系統(tǒng)可視化等優(yōu)點(diǎn)已經(jīng)應(yīng)用于各行各業(yè)[17]。該技術(shù)在煤炭生產(chǎn)中，如采煤機(jī)自動調(diào)高，礦井提升機(jī)系統(tǒng)的監(jiān)測及煤泥浮選等方面均有研究[18-20]，但在煤矸分選機(jī)器人中此技術(shù)的應(yīng)用并不多見。

筆者以陜西韓城礦區(qū)的煤和矸石為分類對象，確定了適于該類樣本圖像的降噪處理方法，得到了其灰度和紋理特征中區(qū)分度較高、利于識別的相關(guān)參數(shù)。以LS-SVM為分類器，通過對不同輸入向量的訓(xùn)練和對比分析，得到了以灰度特征參數(shù)中最大頻數(shù)對應(yīng)的灰度值和紋理特征參數(shù)中的對比度為聯(lián)合輸入向量，該分類器識別效果更好。隨機(jī)樣本圖像識別驗(yàn)證結(jié)果表明本系統(tǒng)對實(shí)際工況下的煤和矸石基本可實(shí)現(xiàn)快速、準(zhǔn)確的識別。

1 圖像獲取及處理

1.1 圖像采集系統(tǒng)硬件平臺

煤矸分選機(jī)器人作為一種新的選煤設(shè)備，主要由圖像識別系統(tǒng)、控制系統(tǒng)、分揀系統(tǒng)等組成，其主要組成如圖1所示。

圖像識別系統(tǒng)作為煤矸分選機(jī)器人的首要環(huán)節(jié)，直接影響煤矸分選效果。圖像識別系統(tǒng)的硬件主要由相機(jī)、光源、工控機(jī)等構(gòu)成。相機(jī)是圖像采集中的一個關(guān)鍵部件，相機(jī)的選擇決定了所采集圖像的分辨率、圖像質(zhì)量等，關(guān)系到整個系統(tǒng)的識別效果。煤矸分選機(jī)器人的圖像采集相機(jī)選擇需考慮物料運(yùn)輸帶式輸送機(jī)運(yùn)行速度、膠帶寬度，煤和矸石的粒度大小等因素。鏡頭采用具有自動對焦功能的高清攝像頭，安裝時(shí)相機(jī)與帶式輸送機(jī)分離，這樣可以在一定程度上避免膠帶振動對圖像采集的影響。選擇滿足采集視場范圍的相機(jī)，調(diào)整相機(jī)與膠帶的安裝距離，以獲得較全面的拍攝覆蓋角度。圖像的灰度和紋理信息是區(qū)分煤和矸石的主要特征量。在不同光照強(qiáng)度下，煤和矸石的灰度特征和紋理特征會隨之改變，這就導(dǎo)致了特征向量的提取具有不確定性，但在相同照度下，煤和矸石的灰度和紋理特征具有較為穩(wěn)定的差異[21]?！哆x煤廠安全規(guī)程》規(guī)定地表水平面手動選矸地點(diǎn)光照強(qiáng)度不小于30 lux，根據(jù)光照強(qiáng)度的要求以及結(jié)合實(shí)際煤矸分選環(huán)境，圖像識別系統(tǒng)光照采用自然光加LED補(bǔ)償光源，以保證獲得較好的光照條件。

1.2 圖像獲取

在實(shí)驗(yàn)室搭建圖像采集系統(tǒng)，獲取訓(xùn)練樣本圖像，系統(tǒng)實(shí)物如圖2所示。上位機(jī)為研華610L工控機(jī)，相機(jī)選用羅技C920，其分辨率為1 920×1 080，每秒采集幀數(shù)為30 fps，工控機(jī)與相機(jī)采用USB總線方式連接，光照采用自然光加LED補(bǔ)償光源，光照強(qiáng)度在70～120 lux。

筆者以韓城礦區(qū)桑樹坪2號礦井的煤和矸石為分類對象，該礦區(qū)煤和矸石主要為瘦煤和頁巖。選取300個煤矸樣本進(jìn)行圖像采集，得到煤炭樣本圖片150張，矸石樣本圖片150張。為了節(jié)省存儲空間以及提高樣本訓(xùn)練及識別的效率，對每張圖片提取具有代表的區(qū)域并進(jìn)行編輯，處理后的圖像大小為200×200，部分樣本圖片如圖3所示。

1.3 煤矸圖像處理

煤矸分選作業(yè)工況條件比較惡劣，采集的圖像會受到灰塵、光線、設(shè)備振動等因素的影響。為了保證圖像一定的清晰度，需要對原始圖像進(jìn)行處理。選取3×3，5×5，7×7 三種窗口尺寸，采用高斯、低通和中值3種濾波器對圖像進(jìn)行降噪處理，處理前后圖像對比如圖4所示。

圖4 3種濾波方式處理結(jié)果Fig.4 Three filtering methods are used to process the results

由圖4可看出，濾波時(shí)窗口尺寸越大，圖像越模糊，濾波窗口尺寸為3×3時(shí)，圖像最為清晰，去噪效果最好，因此確定3×3為最佳濾波窗口尺寸。采用最小化平方誤差(MSE)和峰值信噪比(PSNR)對降噪效果進(jìn)行評價(jià)。最小化平方誤差反映了圖像處理前后的變化程度，其表達(dá)式為

(1)

式中，樣本圖像的大小為M×N;P(i,j)為原圖像在(i,j)位置的像素值;B(i,j)為濾波降噪后圖像在(i,j)位置的像素值。

峰值信噪比反映了圖像信噪比變化的統(tǒng)計(jì)平均，是一種衡量圖像主觀質(zhì)量的方法，值越大代表圖像失真越小，其表達(dá)式為

(2)

以3×3為窗口尺寸對3種濾波器濾波效果進(jìn)行對比，由表1，圖5可知，相比較于高斯濾波器和中值濾波器，非線性低通濾波器的最小化平方誤差更低，而峰值信噪比更高，對于樣本圖像的濾波效果最好，圖像更為清晰，平滑度更好。因此非線性低通濾波更適合瘦煤、頁巖樣本圖像的處理。

表1 3種濾波器結(jié)果Table 1 Results of the three filters

圖5 煤和矸石3種濾波比較Fig.5 Comparison of three filters for coal and gangue

2 煤矸識別特征選取

2.1 灰度特征選取

灰度特征描述圖像或圖像區(qū)域所對應(yīng)的表面性質(zhì)，灰度分析可以得到灰度圖像的直方圖及基本的灰度衡量特征值。圖像灰度特征基本衡量參數(shù)有灰度均值、灰度方差和最大頻數(shù)所對應(yīng)的灰度值。

分別對75張煤和75張矸石樣本圖像進(jìn)行灰度分析，得到煤和矸石的灰度統(tǒng)計(jì)直方圖和各參數(shù)值，各參數(shù)值的分布范圍見表2。

表2 煤矸樣本灰度特征參數(shù)分布范圍Table 2 Distribution range of gray scale characteristic parameters of coal and gangue samples

從表2中可看出煤和矸石的各衡量參數(shù)都有各自的分布范圍，其中煤和矸石的灰度均值和最大頻數(shù)所對應(yīng)的灰度值存在較大的差異，區(qū)分度較高，其分布曲線如圖6所示。因此，選取這2個參數(shù)作為煤矸灰度識別的特征向量。

圖6 煤矸灰度具有較大差異衡量值的分布曲線Fig.6 Distribution curves of coal and gangue gray values with great difference

2.2 紋理特征選取

紋理是物體表面固有的特征之一，其中灰度共生矩陣法是進(jìn)行圖像紋理研究最常用的一種方法，灰度共生矩陣是對空間中相距一定距離的兩像素點(diǎn)之間的像素差值進(jìn)行統(tǒng)計(jì)研究后得出的，其反映的是圖像灰度關(guān)于方向、相鄰間隔、變化幅度的綜合信息，是一種經(jīng)典的紋理特征提取方法[22]。

基于灰度共生矩陣，Haralick導(dǎo)出了14個能反映紋理特征的二次統(tǒng)計(jì)參數(shù)，稱為Haralick特征，其中常用的特征參數(shù)有能量、對比度、熵、同質(zhì)性和相關(guān)性。對與灰度分析相同的75張煤樣本圖像和75張矸石樣本圖像進(jìn)行紋理分析，得到各參數(shù)值的分布范圍見表3。

表3 煤矸樣本紋理特征參數(shù)分布范圍Table 3 Distribution range of texture characteristic parameters of coal and gangue samples

從表3中可以看出煤和矸石的各衡量參數(shù)都有各自的分布范圍，其中煤和矸石的紋理對比度、熵存在的差異較大，具有較高的區(qū)分度，其分布曲線如圖7所示。因此，選取紋理對比度和熵作為煤矸紋理識別的特征向量。

圖7 煤矸紋理具有較大差異衡量值的分布曲線Fig.7 Distribution curves of coal and gangue textures with great difference in measured values

3 最小二乘支持向量機(jī)煤矸圖像識別

3.1 煤矸識別模型的確定

支持向量機(jī)是一種有監(jiān)督的學(xué)習(xí)方法，其基本思想是通過內(nèi)積核函數(shù)將輸入空間轉(zhuǎn)換到高維特征空間，在新空間中尋找一個最優(yōu)識別面[23-24]。對于未知樣本，支持向量機(jī)將其映射到同一特征向量空間，并基于它們落在分割面的哪一側(cè)來預(yù)測其所屬類別。該方法在解決小樣本、非線性以及高維識別問題中表現(xiàn)出許多特有的優(yōu)勢[25]。

在煤矸分選中，煤和矸石混雜在一起，致使部分煤和矸石的灰度、紋理特征參數(shù)變得線性不可分，因此，以非線性分類器來進(jìn)行煤和矸石的辨識能夠獲得更高的識別率。最小二乘支持向量機(jī)是專門處理樣本線性不可分問題的機(jī)器學(xué)習(xí)算法[26]，其將支持向量機(jī)的不等式約束變?yōu)榈仁郊s束，降低了求解超平面的難度，極大的提高了算法的求解效率。最小二乘支持向量機(jī)算法為設(shè)樣本集V={(xi,yi)}，i=1,2,…,n;xi為輸入樣本數(shù)據(jù);yi為輸出標(biāo)示;n為樣本數(shù)量，引入非線性變換核函數(shù)K(x,xi)=(φ(x)φ(xi))，最小二乘支持向量機(jī)的原始空間可以表示為

(3)

yi[wTφ(xi)+b]=1-ξi,i=1,2,…,n

(4)

其中，J為目標(biāo)函數(shù);ξ為松弛變量;α為拉格朗日乘子;φ(xi)為非線性變換核函數(shù)K(x,xi)=(φ(x)φ(xi))設(shè)的函數(shù);C為懲罰因子。構(gòu)造的Lagrange函數(shù)為

b]-1+ξ}

(5)

分別對w，b，ξi，α求偏導(dǎo)數(shù)，可得

(6)

式中，w為特征空間中的高維向量;ξi為松弛因子;b為分類閾值。

由KKT最優(yōu)化條件得到線性方程組

(7)

式中，Ω，α，Y，I分別為

Ωi,j=yiyjφ(xi)Tφ(yj)=yiyjK(x,xi)

α=[α1,α2,…,αn]T

Y=[y1,y2,…,yn]

I=[I1,I2,…,In]

求解原始空間上的線性分類方程組可以得到?jīng)Q策函數(shù)為

(8)

利用支持向量機(jī)對煤、矸進(jìn)行分類時(shí)，選擇不同類型的核函數(shù)，得到的分類效果不同。徑向基核函數(shù)RBF對焦煤、瘦煤、頁巖和砂巖的識別率較好[27]。徑向基核函數(shù)表達(dá)式為

K(x,xi)=exp[-σ|x-xi|2]

(9)

用Libsvm平臺對選取的決策函數(shù)參數(shù)進(jìn)行反復(fù)交差驗(yàn)證得到，當(dāng)參數(shù)懲罰因子C=128，徑向基核函數(shù)寬度參數(shù)為16時(shí)，煤矸識別準(zhǔn)確度較好。

3.2 分類器訓(xùn)練

以灰度特征，紋理特征，聯(lián)合特征(灰度-紋理)3組參數(shù)作為分類器的輸入向量分別對75張煤和矸石樣本圖像進(jìn)行訓(xùn)練，得到分類視圖如圖8所示。其中灰度特征參數(shù)選用灰度均值和最大頻數(shù)對應(yīng)的灰度值，紋理特征參數(shù)選用對比度和熵,聯(lián)合特征參數(shù)選用最大頻數(shù)對應(yīng)的灰度值和對比度。

圖8 分類視圖Fig.8 Classification of view

通過分類視圖和分類器驗(yàn)證得出煤和矸石樣本圖像在訓(xùn)練時(shí)錯分樣本數(shù)，統(tǒng)計(jì)結(jié)果見表4。

由表4可以看出，以3種特征得到的分類器對于煤和矸石都能進(jìn)行很好的區(qū)分，其中聯(lián)合特征得到的分類器具有更高的訓(xùn)練準(zhǔn)確度。

表4 分類器訓(xùn)練結(jié)果Table 4 Classifier training result

3.3 分類器對比驗(yàn)證

分別以灰度，紋理，聯(lián)合特征作為最小二乘向量機(jī)的特征向量對樣本庫剩余的75張煤和75張矸石樣本圖像進(jìn)行分類器對比驗(yàn)證，分類結(jié)果見表5。

表5 樣本圖像分類準(zhǔn)確度Table 5 Sample image classification accuracy

由表5可以看出，以3種特征向量進(jìn)行煤矸識別均能達(dá)到較好的識別準(zhǔn)確度，以聯(lián)合特征進(jìn)行分類具有更高的識別準(zhǔn)確度。

4 煤矸識別程序設(shè)計(jì)

煤矸識別程序主要由圖像采集、圖像濾波、聯(lián)合特征向量的提取、樣本分類幾部分組成，程序的編寫主要在LABVIEW2017平臺上完成。其編程流程圖如圖9所示。

圖9 煤矸識別程序流程Fig.9 Flow chart of coal and gangue identification program

4.1 圖像采集程序

圖像采集由軟件實(shí)現(xiàn)控制。采集程序通過調(diào)用NI Vision下的NI-IMAQdx模塊的IMAQdx Open Camera VI，IMAQdx Grab VI，IMAQdx Close Camera VI來完成相機(jī)的打開、采集圖像、關(guān)閉和釋放內(nèi)存等。圖像采集顯示界面和部分程序代碼如圖10,11所示。

圖11 圖像采集程序Fig.11 Image acquisition program

4.2 圖像濾波程序

圖像處理程序主要由圖片讀取、圖像濾波和圖像存儲等部分組成。NI Vision中的Filters模塊提供了IMAQ LowPass子函數(shù)來進(jìn)行非線性低通濾波器的程序編寫。用IMAQ Read File讀取已處理樣本，格式為8位灰度，調(diào)用IMAQ LowPass函數(shù)時(shí)，將函數(shù)尺寸輸入窗口設(shè)置為3×3，并將處理后的圖像通過IMAQ Write File函數(shù)以JPG的形式進(jìn)行存儲。

4.3 特征提取程序

特征向量提取程序主要由圖像讀取、灰度分析子函數(shù)、紋理分析子函數(shù)、數(shù)據(jù)存儲等部分組成。LABVIEW中的NI Vision模塊提供了IMAQ Histograph和IMAQ Histogram兩種灰度分析子函數(shù)。紋理分析則使用位于Image Processing 函數(shù)模塊下的Texture模塊中的IMAQ Cooccurrence Matrix可直接得出Haralick特征。用IMAQ Read File讀取已處理樣本，格式為8位灰度，在調(diào)用灰度分析函數(shù)時(shí)，將函數(shù)的灰度設(shè)置為0～255。將得到的特征參數(shù)采用TDMS數(shù)據(jù)流格式存儲。特征提向量提取程序界面如圖12所示。

圖12 特征向量提取顯示界面Fig.12 Feature vector extraction display interface

4.4 識別程序

煤、矸分類程序主要由樣本采集、圖像濾波、特征向量的提取、LS-SVM分類程序調(diào)用和分類結(jié)果輸出等部分組成。首先對讀取的待識別樣本進(jìn)行非線性低通濾波，得出待識別樣本的聯(lián)合特征向量Xt，然后使用LS-SVM工具包調(diào)用分類函數(shù)對被測樣本進(jìn)行分類識別，得到的Ytest變量即為待識別樣本的識別結(jié)果。對Ytest元素進(jìn)行提取，其中元素為0時(shí)，代表識別結(jié)果為煤，元素為1時(shí)，識別結(jié)果為矸石。以聯(lián)合特征作為最小二乘支持向量機(jī)的特征向量煤矸樣本圖像分類，其顯示界面及程序如圖13所示。

5 煤矸識別系統(tǒng)的驗(yàn)證

通過實(shí)驗(yàn)對所提出的煤矸識別方法及系統(tǒng)進(jìn)行驗(yàn)證，得到其識別的準(zhǔn)確性和識別速度。從韓城礦區(qū)實(shí)際工況條件下隨機(jī)選取300塊煤和300塊矸石作為樣本進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)平臺如圖14所示。圖像采集相機(jī)與樣本距離為40 cm，光照強(qiáng)度為100 lux左右。打開識別系統(tǒng)，點(diǎn)擊圖13(a)中“分類開始”控件，系統(tǒng)控制相機(jī)采集圖像并進(jìn)入自動識別，當(dāng)完成識別后，界面上顯示識別結(jié)果。同時(shí)在圖像識別系統(tǒng)程序中設(shè)置計(jì)時(shí)器，記錄點(diǎn)擊“分類開始”控件時(shí)的時(shí)間為初始時(shí)間、輸出識別結(jié)果時(shí)的時(shí)間為終止時(shí)間，兩者之差為該識別系統(tǒng)的煤矸圖像采集和分類識別總時(shí)間。樣本分類實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)見表6。

表6 樣本分類準(zhǔn)確度Table 6 Sample classification accuracy

圖14 煤矸分選機(jī)器人實(shí)驗(yàn)平臺Fig.14 Experimental platform for coal and gangue sorting robot

實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)顯示，煤樣本識別準(zhǔn)確度為90.3%，矸石樣本的識別準(zhǔn)確度為83.0%;所有實(shí)驗(yàn)樣本識別中最大識別時(shí)間為0.247 s，最小識別時(shí)間為0.085 s，平均識別時(shí)間為0.153 s。

6 結(jié) 論

(1)本圖像識別方法和系統(tǒng)對同一礦區(qū)實(shí)際工況下隨機(jī)選取的煤和矸石分類準(zhǔn)確度分別可達(dá)到為90.3%和83.0%，平均識別時(shí)間為0.153 s。

(2)非線性低通濾波對該類煤和矸石樣本圖像降噪效果最佳。

(3)該類煤和矸石樣本圖像在灰度均值、最大頻數(shù)對應(yīng)的灰度值、紋理對比度、熵4個參數(shù)上具有較高區(qū)分度。

(4)采用灰度特征參數(shù)中最大頻數(shù)對應(yīng)的灰度值和紋理特征參數(shù)中的對比度2個參數(shù)作為LS-SVM分類器輸入向量，可得到比單獨(dú)由灰度特征或紋理特征作為輸入向量更好的識別效果。