基于三維圖像特征的矸石含煤率在線檢測(cè)方法

邱照玉，沈 寧，竇東陽(yáng)，劉鋼洋

(1.中國(guó)礦業(yè)大學(xué) 化工學(xué)院，江蘇 徐州 221116；2.寧夏煤業(yè)洗選中心，寧夏 銀川 750409)

隨著“工業(yè)4.0”的熱潮及“中國(guó)制造2025”的提出與實(shí)施，自動(dòng)化和人工智能在礦物加工領(lǐng)域中得到廣泛關(guān)注。選煤后矸石產(chǎn)品的矸石含煤率是選煤廠生產(chǎn)的關(guān)鍵指標(biāo)之一。矸石含煤率高則選煤精度低，導(dǎo)致精煤產(chǎn)量下降，降低了企業(yè)的經(jīng)濟(jì)效益，而且浪費(fèi)了運(yùn)輸資源，增加了生產(chǎn)成本，更浪費(fèi)了稀缺的煤炭資源。

一般矸石含煤率的測(cè)定是通過(guò)浮沉實(shí)驗(yàn)，過(guò)程中需要人員大量采樣矸石，消耗人力物力，且檢測(cè)過(guò)程耗時(shí)過(guò)長(zhǎng)，使得檢測(cè)滯后。為此需要一個(gè)新的檢測(cè)方法來(lái)快速、準(zhǔn)確地檢測(cè)矸石含煤率。

目前基于機(jī)器視覺(jué)的圖像處理技術(shù)逐漸步入成熟，已經(jīng)在智能化選煤領(lǐng)域中得到運(yùn)用。劉金平等[1]提出了一種基于尺度不變特征變換(SIFT)和改進(jìn)的卡爾曼濾波的在線泡沫速度場(chǎng)測(cè)量方法，該方法可以準(zhǔn)確獲得流到浮選池刮板的各種泡沫的速度場(chǎng)。林小竹等[2]利用分水嶺算法有效分割煤泥浮選泡沫圖像，計(jì)算出各個(gè)煤泥氣泡的橫截面積、周長(zhǎng)、形狀等物理特征參數(shù)。何敏等[3]采用自動(dòng)閾值法分割煤矸石圖像并二值化，提取其灰度與灰度共生矩陣等特征，采用支持向量機(jī)SVM實(shí)現(xiàn)煤與矸石的自動(dòng)識(shí)別。同樣魯恒潤(rùn)等人[4]提出基于BP神經(jīng)網(wǎng)絡(luò)的紋理和灰度特征的綜合分類方法來(lái)提高煤與矸石的識(shí)別率。Aldrich等[5]使用機(jī)器視覺(jué)系統(tǒng)來(lái)測(cè)量傳送帶上煤的粒度分布。張澤琳等[6]提出一種將對(duì)比度受限自適應(yīng)直方圖均衡法(CLAHE)和SUSAN邊緣檢測(cè)算法相結(jié)合的方法來(lái)檢測(cè)煤堆圖像中的煤粒邊緣，又結(jié)合圖像識(shí)別和神經(jīng)網(wǎng)絡(luò)對(duì)煤質(zhì)進(jìn)行分析，包括煤粒質(zhì)量預(yù)測(cè)、煤堆粒度組成預(yù)測(cè)、煤堆密度組成預(yù)測(cè)和煤堆灰分預(yù)測(cè)，并建立煤粒圖像識(shí)別系統(tǒng)[7]。竇東陽(yáng)等[8，9]詳細(xì)說(shuō)明了在原煤外表面干燥、原煤外表面潮濕、外表面覆蓋干煤泥和外表面覆蓋濕煤泥條件下煤和矸石的圖像識(shí)別。沈?qū)幍萚10]研究了表面條件混合時(shí)煤與矸石的圖像識(shí)別。王家臣等[11]研究了不同光照度下煤矸圖像的灰度及紋理特征對(duì)煤矸識(shí)別的影響。受現(xiàn)場(chǎng)操作人員和上述成果的啟發(fā)，提出利用機(jī)器視覺(jué)代替人眼，對(duì)矸石含煤率進(jìn)行快速檢測(cè)的方法。

1 二維圖像分割與特征提取

矸石含煤率是指矸石膠帶中煤的重量占所有重量的百分?jǐn)?shù)，本質(zhì)上為一個(gè)質(zhì)量指標(biāo)，考慮到通過(guò)單目相機(jī)提取的特征均為二維特征參數(shù)，在判斷立體的混合狀態(tài)下的煤與矸石的含煤率會(huì)導(dǎo)致偏差偏大，所以在單目相機(jī)旁邊增加雙目相機(jī)用于提取圖像的高度信息，在原有二維特征參數(shù)中增加三維特征參數(shù)，以提高模型預(yù)測(cè)的準(zhǔn)確度。

1.1 圖像分割

為了從圖片中分割出膠帶上的煤和矸石，采用了基于Hessian矩陣的多尺度圖像分割算法[12]。首先，使用對(duì)比度受限的自適應(yīng)直方圖均衡化(CLAHE)恢復(fù)圖像的邊緣信息，用最小最大值濾波器來(lái)減少圖片的無(wú)關(guān)信息；然后通過(guò)基于Hessian矩陣和Gaussian函數(shù)的多尺度線性濾波器獲得圖像的邊緣強(qiáng)度；最后，使用雙閾值運(yùn)算和形態(tài)學(xué)運(yùn)算獲得圖像的邊緣，并通過(guò)分水嶺分割獲得各顆粒區(qū)域。

1.2 二維特征提取

提取分割區(qū)域的尺寸特征用于預(yù)測(cè)煤和矸石的體積。尺寸特征包括投影面積、周長(zhǎng)、最小外接矩形的長(zhǎng)和最小外接矩形的寬。其中，獲取顆粒區(qū)域的最小外接矩形是采用王偉星[13]提出的方法，該方法基于簡(jiǎn)單的旋轉(zhuǎn)不變性原理，適用于涉及固體顆粒如壓碎的骨料顆粒的應(yīng)用中。利用拍攝帶有標(biāo)尺的圖片，計(jì)算圖像中每個(gè)像素的面積和邊長(zhǎng)，用累加的方式計(jì)算投影面積和邊長(zhǎng)特征。

煤矸石在不同密度下亮度和顆粒質(zhì)地都會(huì)不同，因此使用灰度圖像的均值、方差和偏度作為灰度特征，使用灰度共生矩陣(GLCM)的特征來(lái)描述圖像的灰度空間相關(guān)性和亮度的變化，提取了灰度共生矩陣的對(duì)比度、相關(guān)性、能量、同質(zhì)性和熵[7，14]這五個(gè)特征。Tamura紋理適合于人的視覺(jué)感知，其特征更加直觀顯眼，所以提取了Tamura紋理的粗糙度、對(duì)比度和方向度[7，15]這三個(gè)特征。

將灰度特征、灰度共生矩陣特征和Tamura紋理特征作為分割區(qū)域的密度特征來(lái)表征煤和矸石的密度。本文使用的尺寸特征和密度特征見(jiàn)表1。

表1 煤與矸石的圖像特征

雙目相機(jī)與普通單反相機(jī)相比，成像質(zhì)量低，圖片較為模糊，如圖1所示，左側(cè)為單反相機(jī)成像圖，右側(cè)為雙目相機(jī)成像圖，不適宜提取圖像的均值、偏度以及粗糙度等特征，所以仍利用普通單反相機(jī)拍攝的圖片進(jìn)行圖像分割和二維特征提取。

圖1 單目圖像(左)與雙目圖像(右)

2 第三維特征提取

2.1 雙目匹配算法

雙目立體匹配SGBM算法是一種半全局匹配算法，由Hirschmuller[16]等學(xué)者提出，SGBM算法以互信息為基礎(chǔ)，類似于全局二位平滑度約束算法的核心是通過(guò)兩個(gè)單張圖像的信息閾(圖像的分割基準(zhǔn))H1、H2和這兩張圖像的聯(lián)合信息閾H1，2進(jìn)行定義互信息MI1，2的任務(wù)，互信息MI1，2則為算法的基礎(chǔ)，可用具體公式定義：

MI1，2=H1+H2-H1，2

SGBM算法的關(guān)鍵步驟包括：

1)步驟1：逐像素匹配計(jì)算。在此步驟中可以用函數(shù)p(xi，yi，IL，IR)來(lái)表示一對(duì)雙目圖像中，左右兩張圖像內(nèi)任意兩點(diǎn)為同名像點(diǎn)的可能性，函數(shù)具體公式可表示為：

式中，xi、yi分別表示左右兩張圖像任意兩個(gè)在相同掃描線上的像點(diǎn)；IL(xi)為左邊圖像在不同掃描線上的一系列像點(diǎn)的灰度特征信息；IR(yi)則為右邊圖像在不同掃描線上的一系列像點(diǎn)的灰度特征信息，這些信息能夠使用采集樣本像點(diǎn)進(jìn)行線性內(nèi)插差值的方法得到。

2)步驟2：圖像邊緣約束。將二維約束匹配運(yùn)算通過(guò)目標(biāo)點(diǎn)圖像邊緣約束可以實(shí)現(xiàn)掃描線上一維相關(guān)計(jì)算。

3)步驟3：視差計(jì)算。視差計(jì)算通過(guò)迭代的方式得到。首先，用隨機(jī)的視差影像來(lái)糾正右影像，然后進(jìn)行匹配，生成新的視差影像[17]。

4)步驟4：誤匹配的剔除。左右影像同名點(diǎn)匹配完成后，利用右影像中的點(diǎn)去匹配左影像中的同名點(diǎn)。如果兩次匹配得到的視差不相同，則視為無(wú)效匹配。

利用SGBM算法對(duì)雙目相機(jī)的左右目圖像進(jìn)行匹配計(jì)算即可得到包含高度信息的深度圖，3D可視化后的深度圖像如圖2所示，其中顏色越淺代表高度越高，從深度圖可以直觀地看到圖像的第三維特征，通過(guò)對(duì)深度圖的分割計(jì)算即可得到圖片的三維特征參數(shù)(SD)。

圖2 3D可視化深度圖

3 PSO-SVM方法

支持向量機(jī)理論是由Vapnik[18]等人首先提出的。以統(tǒng)計(jì)學(xué)理論為基礎(chǔ)，在最小化樣本點(diǎn)誤差的同時(shí)，最小化結(jié)構(gòu)風(fēng)險(xiǎn)，提高了模型的泛化能力，且沒(méi)有數(shù)據(jù)維數(shù)限制。有效避免了在其他學(xué)習(xí)方法中存在的“過(guò)學(xué)習(xí)”的情況發(fā)生。支持向量機(jī)在分類識(shí)別和非線性回歸方面都有著廣泛的應(yīng)用。由于支持向量機(jī)的輸入?yún)?shù)集(核參數(shù)γ，懲罰參數(shù)C，終止訓(xùn)練誤差e)會(huì)影響特征空間的框架和分類的成功率，因此在應(yīng)用支持向量機(jī)之前必須對(duì)輸入?yún)?shù)進(jìn)行優(yōu)化。手動(dòng)調(diào)節(jié)這些參數(shù)不僅耗時(shí)耗力，往往未必能夠得到最優(yōu)參數(shù)。利用PSO優(yōu)化SVM的目的就是通過(guò)PSO算法對(duì)參數(shù)尋優(yōu)。粒子群優(yōu)化算法(PSO)使用粒子群在目標(biāo)函數(shù)的解空間中搜索最優(yōu)解，粒子群優(yōu)化算法已在各個(gè)領(lǐng)域中被用于優(yōu)化支持向量機(jī)模型，進(jìn)而形成PSO-SVM算法[19，20]。

SVM讀取訓(xùn)練數(shù)據(jù)后，隨機(jī)生成一組向量作為初始坐標(biāo)，并根據(jù)該坐標(biāo)進(jìn)行訓(xùn)練，并計(jì)算誤差的均方差，并將均方差折算成適應(yīng)度，然后根據(jù)PSO算法搜尋更好的參數(shù)值重新訓(xùn)練，直至適應(yīng)度滿足終止條件，終止迭代輸出最優(yōu)參數(shù)，得到最優(yōu)SVM模型。具體流程如圖3所示。

圖3 PSO-SVM訓(xùn)練過(guò)程流程圖

4 矸石含煤率檢測(cè)步驟

基于圖像分析和PSO-SVM的矸石含煤率檢測(cè)流程如圖4所示。首先對(duì)樣本進(jìn)行拍照，得到樣本的單目圖像和雙目圖像，并通過(guò)浮沉實(shí)驗(yàn)測(cè)量樣本的矸石含煤率實(shí)際值。然后，通過(guò)單目圖像利用圖像分割技術(shù)，根據(jù)圖像邊緣將圖片分割為各顆粒區(qū)域。將各顆粒區(qū)域進(jìn)一步分類為矸石區(qū)域、煤區(qū)域和無(wú)用的膠帶區(qū)域，刪除膠帶區(qū)域并計(jì)算提取出其他區(qū)域的15個(gè)二維特征參數(shù)。通過(guò)深度圖提取圖像的三維特征參數(shù)高度比(SD)，最終提取包括二維特征參數(shù)在內(nèi)共16個(gè)特征參數(shù)。

圖4 基于圖像分析和PSO-SVM的矸石含煤率檢測(cè)流程

由于支持向量機(jī)的輸入?yún)?shù)過(guò)多會(huì)導(dǎo)致模型泛化能力不佳，所以在建模之前需要從最終特征參數(shù)中篩選出最優(yōu)輸入?yún)?shù)，再通過(guò)PSO-SVM算法建立最佳檢測(cè)模型。

5 矸石含煤率實(shí)驗(yàn)

5.1 實(shí)驗(yàn)過(guò)程

使用圖5所示試驗(yàn)臺(tái)進(jìn)行矸石含煤率的檢測(cè)實(shí)驗(yàn)。

圖5 矸石含煤率實(shí)驗(yàn)臺(tái)

實(shí)驗(yàn)樣品來(lái)自紅柳選煤廠，從淺槽分選的產(chǎn)品膠帶上采集實(shí)驗(yàn)樣品。從現(xiàn)場(chǎng)膠帶中共采集600kg樣本，分選過(guò)后的物料經(jīng)過(guò)初篩，煤矸粒級(jí)的范圍為25～100+(mm)，僅保留400kg可用樣本，經(jīng)過(guò)縮分混合后，保留實(shí)驗(yàn)樣品約120kg，制備成51份樣本并依次放入膠帶中，在相同的照明環(huán)境下采集相應(yīng)樣本的單目圖像和雙目圖像，部分樣本圖像如圖6所示。圖片采集完成后，通過(guò)浮沉實(shí)驗(yàn)獲得各樣本矸石含煤率的實(shí)際值。將單張圖片上的煤和矸石放入密度為1.9kg/L的重液中，分別撈出懸浮于上層的煤和下層的矸石，晾干后分別稱重，用煤的質(zhì)量除以煤矸總質(zhì)量即為矸石含煤率。矸石含煤率的部分結(jié)果見(jiàn)表2(GHM列)。

表2 圖像特征參數(shù)示例

圖6 部分樣本示例

樣本圖片進(jìn)行圖像分割后的結(jié)果如圖7所示，其中1、2和6為煤粒區(qū)域，3和4為膠帶區(qū)域，5表示矸石區(qū)域。對(duì)分割后的圖片進(jìn)行特征提取，對(duì)分割后的圖片進(jìn)行特征提取，計(jì)算除膠帶區(qū)域3和4以外的各區(qū)域，通過(guò)各個(gè)特征提取算法提取出每個(gè)分割區(qū)域尺寸特征參數(shù)和密度特征參數(shù)。對(duì)于尺寸特征參數(shù)，將同一類別區(qū)域的每個(gè)特征參數(shù)相加求和，例如投影面積特征參數(shù)，在此圖片中，將區(qū)域1、區(qū)域2和區(qū)域6的投影面積特征參數(shù)相加，最終獲得煤的投影面積特征參數(shù)；對(duì)于密度特征參數(shù)，則進(jìn)行平均運(yùn)算。之后，將從矸石區(qū)域獲得的特征參數(shù)除以煤區(qū)域的特征參數(shù)，獲得該圖片的最終的二維特征參數(shù)。同理利用雙目圖像得到的煤和矸石的平均高度，用矸石的平均高度除以煤區(qū)域的平均高度可以得到三維特征參數(shù)高度比(SD)。

圖7 煤矸石的圖像分割

該圖片的分割結(jié)果中出現(xiàn)了過(guò)度分割，如區(qū)域5。但是，特征提取過(guò)程的求和與平均運(yùn)算使得過(guò)度分割對(duì)最終結(jié)果影響較小。表2為最終獲得的特征參數(shù)示例，其中GHM表示矸石含煤率的實(shí)驗(yàn)值。

輸入?yún)?shù)過(guò)多有時(shí)會(huì)導(dǎo)致支持向量機(jī)模型的擬合性較差，因此通過(guò)計(jì)算Pearson相關(guān)系數(shù)對(duì)最終特征參數(shù)進(jìn)行篩選。根據(jù)Pearson相關(guān)系數(shù)計(jì)算公式：

如果Corr>0，表示特征與矸石含煤率為正相關(guān)；如果Corr<0，則為負(fù)相關(guān)。Corr的絕對(duì)值越大，表明該特征對(duì)預(yù)測(cè)矸石含煤率(GHM)的貢獻(xiàn)越大。

將表2中列出的每個(gè)特征進(jìn)行Pearson相關(guān)系數(shù)計(jì)算。計(jì)算的Corr結(jié)果見(jiàn)表3。排除Pearson相關(guān)系數(shù)極小的特征參數(shù)后，實(shí)驗(yàn)最終選擇8個(gè)特征作為支持向量機(jī)模型的輸入?yún)?shù)，見(jiàn)表4。

表3 Pearson相關(guān)系數(shù)

表4 模型的最終輸入

為了驗(yàn)證最終輸入?yún)?shù)的合理性，將16個(gè)特征完整輸入PSO-SVM模型進(jìn)行訓(xùn)練，設(shè)置對(duì)照組，最終對(duì)照組模型的預(yù)測(cè)結(jié)果見(jiàn)表5對(duì)照組，對(duì)照組的預(yù)測(cè)準(zhǔn)確性明顯低于平面特征模型和三維特征模型，在一定程度上驗(yàn)證了選取最終輸入?yún)?shù)的合理性。圖像的紋理特征多用于煤矸識(shí)別，對(duì)本文涉及的體積預(yù)測(cè)幫助較小。

5.2 結(jié)果與討論

將51個(gè)樣本集按2∶1的比例隨機(jī)分為訓(xùn)練集和測(cè)試集。使用PSO-SVM算法在訓(xùn)練集上建立最佳模型，并使用測(cè)試集來(lái)驗(yàn)證模型的預(yù)測(cè)效果。

使用POS-SVM算法建立模型時(shí)，分別利用去除三維特征的訓(xùn)練集和完整的訓(xùn)練集建立平面特征模型和三維特征模型，以檢驗(yàn)圖像的高度信息對(duì)模型預(yù)測(cè)結(jié)果的影響。

兩個(gè)模型的預(yù)測(cè)結(jié)果見(jiàn)表5，平面特征模型的最小相對(duì)誤差達(dá)到4.1%，最大相對(duì)誤差達(dá)到47.2%，平均相對(duì)誤差為16.3%，而三維特征模型的平均相對(duì)誤差僅為7.57%，遠(yuǎn)遠(yuǎn)小于平面特征模型，在增加圖像的三維特征信息之后，模型預(yù)測(cè)的準(zhǔn)確性提高明顯。

表5 模型預(yù)測(cè)結(jié)果

三維特征模型的預(yù)測(cè)結(jié)果最大相對(duì)誤差為24.63%，最小相對(duì)誤差0.55%，平均相對(duì)誤差為7.57%低于現(xiàn)場(chǎng)規(guī)定的平均10%的需求，能夠代替人工方法進(jìn)行檢測(cè)。

在圖像分割期間，欠分割和過(guò)分割的現(xiàn)象將影響煤塊區(qū)域的尺寸特征，尺寸特征作為模型的最終輸入?yún)?shù)將影響模型的準(zhǔn)確性。下一步可以改進(jìn)圖像分割方法，進(jìn)一步提高模型的預(yù)測(cè)精度。

6 結(jié) 論

為了檢測(cè)矸石含煤率這一現(xiàn)場(chǎng)迫切需要的指標(biāo)，提出了一種基于圖像處理和PSO-SVM算法的矸石含煤率檢測(cè)方法：

1)首先，根據(jù)單目圖像和雙目圖像分別提取圖像的15個(gè)二維特征參數(shù)和1個(gè)三維特征參數(shù)。基于Pearson相關(guān)系數(shù)的特征選擇法篩選出八個(gè)最優(yōu)特征作為支持向量機(jī)的輸入?yún)?shù)。同時(shí)通過(guò)設(shè)置對(duì)照組模型，驗(yàn)證了選取輸入?yún)?shù)的合理性。

2)依據(jù)有無(wú)高度特征參數(shù)分別建立平面特征模型和三維特征模型，并依據(jù)檢測(cè)集的測(cè)試結(jié)果評(píng)估了兩個(gè)模型的性能。平面特征模型的平均相對(duì)誤差為16.3%，遠(yuǎn)大于三維特征模型的7.57%。三維特征模型的性能遠(yuǎn)優(yōu)于平面特征模型，引入高度特征參數(shù)極大提升了模型預(yù)測(cè)的準(zhǔn)確率。

3)分析三維特征模型誤差產(chǎn)生的主要原因?yàn)閳D像分割的精準(zhǔn)度欠佳，導(dǎo)致尺寸特征參數(shù)的提取存在偏差，同時(shí)下一步將針對(duì)上述問(wèn)題開展深入研究，提高預(yù)測(cè)的精度。

4)三維特征模型預(yù)測(cè)結(jié)果的平均相對(duì)誤差能夠滿足現(xiàn)場(chǎng)需求，證明了該方法對(duì)矸石含煤率的測(cè)量是有效的，有助于突破選煤廠重要指標(biāo)在線檢測(cè)難的瓶頸，促進(jìn)智能化選煤的發(fā)展。