基于機(jī)器視覺(jué)的煤炭自動(dòng)識(shí)別分揀系統(tǒng)研究

黃洪濤，關(guān)建軍

（河南能源化工集團(tuán)焦煤公司趙固二礦 河南 焦作454150）

基于機(jī)器視覺(jué)的煤炭自動(dòng)識(shí)別分揀系統(tǒng)研究

黃洪濤，關(guān)建軍

（河南能源化工集團(tuán)焦煤公司趙固二礦 河南 焦作454150）

為了解決煤炭人工識(shí)別分揀勞動(dòng)強(qiáng)度大，效率和精度低的問(wèn)題?；跈C(jī)器視覺(jué)技術(shù)，設(shè)計(jì)了一套由硬件系統(tǒng)和軟件系統(tǒng)組成的煤炭自動(dòng)識(shí)別分揀系統(tǒng)。為實(shí)現(xiàn)煤炭和矸石的自動(dòng)識(shí)別，提出了基于灰度共生矩陣的紋理分析識(shí)別算法，并通過(guò)支持向量機(jī)（SVM）對(duì)煤炭圖像和矸石圖像樣本進(jìn)行訓(xùn)練和分類從而實(shí)現(xiàn)自動(dòng)識(shí)別功能，并完成圖像處理算法與系統(tǒng)界面軟件編程。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)硬件選型合理，算法穩(wěn)定性高，效率高，提高了煤炭識(shí)別分揀的效率與精度，具有很高的實(shí)際意義和經(jīng)濟(jì)價(jià)值。同時(shí)，該系統(tǒng)也可推廣到其他物料的自動(dòng)識(shí)別分揀中。

機(jī)器視覺(jué)；煤炭；灰度共生矩陣；紋理；支持向量機(jī)

我國(guó)的煤炭資源非常豐富，煤炭在工業(yè)和生活的應(yīng)用有很多，是我國(guó)主要消耗能源之一。但是，煤炭的開(kāi)采結(jié)果中會(huì)混合大量矸石，矸石的燃燒利用率低，如果工業(yè)用煤中混合矸石，將嚴(yán)重影響工業(yè)生產(chǎn)，甚至污染環(huán)境，因此煤炭的識(shí)別分揀是煤炭生產(chǎn)中必需的環(huán)節(jié)。傳統(tǒng)的煤炭識(shí)別分揀主要采用人工方法。人工方法的效率低、成本高、勞動(dòng)強(qiáng)度大，制約了煤炭行業(yè)企業(yè)的發(fā)展壯大。因此亟需研發(fā)煤炭自動(dòng)識(shí)別分揀系統(tǒng)，提高煤炭識(shí)別分揀的效率，并降低識(shí)別分揀成本。

近年來(lái)，隨著機(jī)器視覺(jué)技術(shù)的蓬勃發(fā)展，其與PLC技術(shù)的結(jié)合使用，在工業(yè)檢測(cè)中的應(yīng)用越來(lái)越普遍，如各種機(jī)械零部件檢測(cè)等。煤炭自動(dòng)識(shí)別分揀系統(tǒng)主要是采用機(jī)器視覺(jué)算法完成煤炭和矸石的自動(dòng)識(shí)別功能，并結(jié)合PLC技術(shù)和整個(gè)運(yùn)動(dòng)控制機(jī)構(gòu)完成煤炭和矸石的自動(dòng)分揀功能。

1 系統(tǒng)總體方案

機(jī)器視覺(jué)是利用相機(jī)、鏡頭、光源和數(shù)字圖像處理算法等代替人來(lái)進(jìn)行判斷分析檢測(cè)。一個(gè)機(jī)器視覺(jué)檢測(cè)系統(tǒng)主要包括硬件結(jié)構(gòu)和軟件系統(tǒng)。硬件結(jié)構(gòu)的設(shè)計(jì)包括光源、鏡頭、相機(jī)及照明方式的選型以及運(yùn)動(dòng)控制機(jī)構(gòu)的設(shè)計(jì)，軟件系統(tǒng)的設(shè)計(jì)包括圖像處理算法的研究編寫(xiě)及系統(tǒng)軟件界面的設(shè)計(jì)編寫(xiě)?；跈C(jī)器視覺(jué)的煤炭自動(dòng)識(shí)別分揀系統(tǒng)的工作過(guò)程如圖1所示：首先接通電源給整個(gè)系統(tǒng)供電，當(dāng)PLC控制系統(tǒng)在通電之后，PLC會(huì)推動(dòng)傳送帶傳送煤炭，當(dāng)煤炭被傳送到工作臺(tái)時(shí)，光電傳感器會(huì)檢測(cè)到煤炭并產(chǎn)生模擬觸發(fā)信號(hào)，信號(hào)經(jīng)過(guò)模數(shù)轉(zhuǎn)換后，發(fā)送給計(jì)算機(jī)，計(jì)算機(jī)發(fā)送相應(yīng)的控制指令給PLC，PLC接收指令并轉(zhuǎn)換后會(huì)控制傳送帶停止運(yùn)動(dòng)，同時(shí)上述的信號(hào)會(huì)觸發(fā)相機(jī)抓拍煤炭圖像，并通過(guò)USB口將抓拍到的圖像輸入到計(jì)算機(jī)內(nèi)部，然后通過(guò)圖像處理算法和圖像識(shí)別算法對(duì)采集到的圖像進(jìn)行預(yù)處理、識(shí)別，若識(shí)別結(jié)果為煤炭，則計(jì)算機(jī)反饋信號(hào)給PLC，PLC控制氣動(dòng)閥A動(dòng)作選出煤炭，若識(shí)別結(jié)果為矸石，則計(jì)算機(jī)反饋信號(hào)給PLC，PLC控制氣動(dòng)閥B動(dòng)作選出矸石。

圖1 系統(tǒng)總體方案示意圖

2 系統(tǒng)硬件設(shè)計(jì)

在煤炭自動(dòng)識(shí)別分揀系統(tǒng)的硬件設(shè)計(jì)中，相機(jī)，鏡頭，光源以及照明方案的選擇直接關(guān)系到所采集到圖像的質(zhì)量，對(duì)煤炭識(shí)別結(jié)果至關(guān)重要，因此本系統(tǒng)對(duì)以上硬件做了如下選型。

2.1 光源的選擇

在機(jī)器視覺(jué)系統(tǒng)中，光源的作用是增加采集目標(biāo)和背景的對(duì)比度，增加圖像的質(zhì)量。常用的光源有熒光燈，鹵素?zé)艉蚅ED光源等，對(duì)比各種光源的價(jià)格、亮度、穩(wěn)定性、控制裝置、壽命、光線均勻度和復(fù)雜設(shè)計(jì)等各項(xiàng)，其中LED光源的穩(wěn)定性高，壽命高，且有控制裝置，可以控制光源明暗，因此本系統(tǒng)選擇LED光源。

基于機(jī)器視覺(jué)的煤炭自動(dòng)識(shí)別分揀系統(tǒng)的照明方案主要分為兩種，分別為正面光源照射和背面光源照射。采用正面光源照射的方法，可以將采集物體的細(xì)節(jié)明顯的顯示出來(lái)，采用背面光源照射的方法，是一種透光的方法，可以將采集物體和背景準(zhǔn)確并且明顯的顯示出來(lái)。結(jié)合檢測(cè)對(duì)象煤炭的特點(diǎn)，需要得到煤炭表面的詳細(xì)信息，因此本系統(tǒng)照明方案選擇正面光源照射。光源選用同軸光源，既可得到較高的對(duì)比度，也能夠得到煤炭表面的信息。

2.2 工業(yè)攝像機(jī)的選擇

按照像素排列方式劃分，工業(yè)攝像機(jī)可以分為面陣攝像機(jī)和線陣攝像機(jī)，線陣攝像機(jī)的檢測(cè)精度高，檢測(cè)范圍大，價(jià)格高。結(jié)合本系統(tǒng)所要檢測(cè)的煤炭對(duì)象的特點(diǎn)，選用面陣攝像機(jī)。相機(jī)的芯片類型又可分為CCD和CMOS，CCD和CMOS的工作原理大致一致，兩者的結(jié)構(gòu)和性能有所區(qū)別，性能對(duì)系統(tǒng)的影響較大，因此只關(guān)注性能上的區(qū)別，區(qū)別是CCD傳感器的價(jià)格較高，功耗較高，圖像質(zhì)量較好。因此，經(jīng)過(guò)以上比較，系統(tǒng)選用大恒水星系列MER—310—12UC(-L)攝像機(jī)型號(hào)，此款相機(jī)為CCD行曝光的USB接口相機(jī)，分辨率高達(dá)3 664×2 748。

2.3 鏡頭的選擇

選擇鏡頭時(shí)，首先要確定幾個(gè)重要的參數(shù)，分別是視場(chǎng)，工作距離和景深。視場(chǎng)是指觀測(cè)物體的可視范圍。工作距離是指從鏡頭前部到受檢驗(yàn)物體的距離。景深是指相機(jī)可以清楚獲得圖像的前后浮動(dòng)距離。待檢測(cè)煤塊的測(cè)量范圍是110 mm×70 mm，所以視場(chǎng)為110 mm×70 mm。根據(jù)高斯成像公式：

其中，f為焦距，u為物距，v為像距。根據(jù)公式計(jì)算得焦距為17.63 mm，圖像傳感器尺寸為6.17 mm×4.55 mm，工作距離為300 mm，因此本系統(tǒng)選擇KAWA千萬(wàn)像素鏡頭LM16JC10M。

3 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件設(shè)計(jì)主要包括研究并編寫(xiě)圖像處理與識(shí)別算法，設(shè)計(jì)并編寫(xiě)系統(tǒng)界面軟件，圖像處理和圖像識(shí)別算法是本系統(tǒng)的核心內(nèi)容，對(duì)采集到的圖像進(jìn)行圖像預(yù)處理、圖像識(shí)別等操作，利用煤炭圖像和矸石圖像基于灰度共生矩陣的各種紋理特征數(shù)據(jù)，結(jié)合SVM來(lái)實(shí)現(xiàn)煤炭圖像和矸石圖像的識(shí)別。

3.1 圖像采集

本系統(tǒng)設(shè)計(jì)的圖像采集流程如圖2所示，首先對(duì)相機(jī)初始化，配置相應(yīng)的相機(jī)參數(shù)和采集參數(shù)，之后調(diào)用采集函數(shù)采集圖像，在圖像采集完成后，釋放相機(jī)資源。

圖2 攝像機(jī)圖像采集流程圖

3.2 煤炭圖像預(yù)處理

為了消除圖像中的噪聲，必須對(duì)采集到的圖像進(jìn)行預(yù)處理操作，常用的圖像預(yù)處理操作主要包括圖像增強(qiáng)與圖像濾波。

圖像增強(qiáng)是為了能夠?qū)D像中的有價(jià)值內(nèi)容進(jìn)行突出，同時(shí)削弱圖像中無(wú)價(jià)值信息的影響。系統(tǒng)使用常用的直方圖均衡化方法對(duì)煤炭圖像進(jìn)行圖像增強(qiáng)操作，增強(qiáng)以后的圖像如圖3所示，從圖中可見(jiàn)，增強(qiáng)后的圖像整體變亮，灰度值變高，特征更加明顯，但是增強(qiáng)后的圖像和原圖像相比有一定的模糊和失真。

圖3 圖像增強(qiáng)

采用圖像增強(qiáng)的方法對(duì)煤炭圖像預(yù)處理，造成了煤炭圖像發(fā)生一定程度的模糊和失真，因此決定通過(guò)圖像濾波獲得更好的處理效果。圖像濾波方法比較多，根據(jù)具體算法執(zhí)行步驟的不同，可以分為均值濾波、中值濾波和高斯濾波等。由于中值濾波和均值濾波的計(jì)算量比較小，算法效率高。因此，系統(tǒng)分別采用均值濾波和中值濾波方法對(duì)圖像進(jìn)行平滑，平滑效果如圖4所示，圖4（a）和（b）分別是均值濾波和中值濾波的結(jié)果。從圖中可見(jiàn)，均值濾波使圖像變模糊，特征不再清晰，而中值濾波很好地保留了邊緣信息，又能夠有效降低噪聲，因此本系統(tǒng)選用中值濾波的圖像預(yù)處理方法。

圖4 圖像濾波算法比較

3.3 圖像灰度分析

灰度直方圖是圖像的灰度統(tǒng)計(jì)，可以從灰度直方圖中得到各灰度值及其對(duì)應(yīng)的像素在圖像中的個(gè)數(shù)，是圖像的重要特征之一。在所采集到的圖像中，煤炭看起來(lái)比較黑，灰度值比較低，而矸石看起來(lái)比較亮，灰度值較高。因此煤炭和矸石的灰度直方圖可以直觀的反映它們的灰度值、灰度分布及灰度頻率。

3.4 圖像紋理分析

紋理是一種描述一個(gè)區(qū)域中像素灰度級(jí)空間分布的屬性。分析過(guò)程主要采用由Haralick定義的灰度共生矩陣，它是描述紋理的一種常用的統(tǒng)計(jì)方法[11-12]?；叶裙采仃?P（i，j，δ，θ）包含了圖像的方向、相鄰間隔、變化幅度等信息。通過(guò)煤炭和矸石的灰度共生矩陣，可以提取出二階矩、對(duì)比度、相關(guān)、熵、逆矩差等特征參數(shù)值來(lái)定量描述煤炭圖像和矸石圖像的紋理特性[13]。其中二階矩表明了圖像灰度分布均勻程度和紋理粗細(xì)程度，對(duì)比度描述了圖像的清晰度，相關(guān)是用來(lái)衡量灰度共生矩陣在行或列方向上的相似度，而熵則表明了圖像中紋理的復(fù)雜程度和非均勻度。其計(jì)算公式如下：

對(duì)煤炭圖像和矸石圖像進(jìn)行灰度共生矩陣分析，求出圖像在 0°、45°、90°、135°4 個(gè)方向上的灰度共生矩陣，并根據(jù)求得的灰度共生矩陣，分別求出4個(gè)方向的二階矩、對(duì)比度等特性，并取4個(gè)方向上各特征的平均值作為圖像所對(duì)應(yīng)特性的值。

3.5 系統(tǒng)界面設(shè)計(jì)

結(jié)合前面的研究，設(shè)計(jì)了基于機(jī)器視覺(jué)的煤炭自動(dòng)識(shí)別分揀系統(tǒng)系統(tǒng)軟件。軟件平臺(tái)采用Windows操作系統(tǒng)，編程環(huán)境采用Microsoft Visual Studio 2010，編程語(yǔ)言采用Visual C++。

本軟件主要包括參數(shù)設(shè)置模塊和檢測(cè)模塊，參數(shù)設(shè)置包括設(shè)置相機(jī)參數(shù)、采集參數(shù)、預(yù)處理參數(shù)及圖像識(shí)別參數(shù)，檢測(cè)模塊主要實(shí)現(xiàn)檢測(cè)功能，有手動(dòng)檢測(cè)和自動(dòng)檢測(cè)，檢測(cè)界面實(shí)時(shí)顯示工作臺(tái)上對(duì)象的圖像，檢測(cè)內(nèi)容是實(shí)現(xiàn)矸石和煤炭的識(shí)別。

4 實(shí)驗(yàn)結(jié)果與分析

圖5中(a)是矸石圖像，(b)和(c)分別是煤炭和矸石的灰度直方圖。從圖中可以看出煤炭的灰度大部分集中0-100低灰度區(qū)間，而矸石集中在50-200灰度區(qū)間，并在灰度為175時(shí)達(dá)到高峰。由此，可知僅用灰度特征無(wú)法完全的將煤炭和矸石分開(kāi)來(lái)。

表1和表2分別是煤炭圖像和矸石圖像灰度共生矩陣特征能量、熵、慣性矩、相關(guān)性和逆矩差的數(shù)據(jù)。從表中可以看出，煤炭的逆矩差值近似0.09，而矸石的逆矩差值近似0.02，

圖5 灰度直方圖

煤炭的能量近似0.1，而矸石的能量近似0.02，煤炭的熵近似3.4，而矸石的熵近似4.33，煤炭的慣性矩近似1.99，而矸石的慣性矩近似3.72，煤炭的相關(guān)性近似0.12，而矸石的相關(guān)性近似0.09?？芍禾亢晚肥南嚓P(guān)性數(shù)據(jù)較接近，差距范圍不大，不能反映煤炭和矸石的不同點(diǎn)，而能量、熵、慣性矩和逆矩差的范圍差距較大，考慮利用這些特征值之間的明顯差異來(lái)識(shí)別煤炭和矸石。對(duì)于煤炭和矸石而言，有多個(gè)顯著特征，因此選用LIB-SVM軟件包對(duì)這些數(shù)據(jù)特征進(jìn)行訓(xùn)練。

表1 煤炭圖像的紋理特征參數(shù)

支持向量機(jī)（SVM）于1995年被提出，是在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上創(chuàng)建的，依據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以期獲得最好的推廣能力。本文選用支持向量機(jī)來(lái)完成圖像分類，從而實(shí)現(xiàn)煤炭和矸石的自動(dòng)識(shí)別。

選用能量、熵、慣性矩和逆矩差等參數(shù)作為訓(xùn)練的參數(shù)，并且將這些值都映射到0-1范圍內(nèi)。將煤炭和矸石的標(biāo)號(hào)設(shè)定為[0，1]，選用RBF核樣本數(shù)據(jù)映射到高維空間。實(shí)驗(yàn)中選用煤炭和矸石共56張圖像作為樣本來(lái)訓(xùn)練SVM，用50張圖像作為測(cè)試樣本，訓(xùn)練結(jié)果顯示支持向量機(jī)能正確識(shí)別48張圖片，識(shí)別正確率為96%。可知，選用本文的方法能夠較好地完成煤炭圖像和矸石圖像的自動(dòng)識(shí)別。

表2 矸石圖像的紋理特征參數(shù)

5 結(jié)束語(yǔ)

文中從硬件系統(tǒng)和軟件系統(tǒng)兩方面介紹了一種基于機(jī)器視覺(jué)算法的煤炭自動(dòng)識(shí)別分揀系統(tǒng)，并通過(guò)實(shí)際實(shí)驗(yàn)結(jié)果加以分析說(shuō)明。在圖像處理算法上，選用中值濾波的預(yù)處理方法，很好地保留了邊緣信息。在圖像識(shí)別算法上，利用圖像的基于灰度共生矩陣的各種紋理特征數(shù)據(jù)，結(jié)合SVM實(shí)現(xiàn)了煤炭圖像和矸石圖像的快速準(zhǔn)確識(shí)別。該系統(tǒng)硬件穩(wěn)定，算法穩(wěn)定性好，與以往的人工識(shí)別煤炭和矸石相比，該自動(dòng)識(shí)別方法效率明顯提高，檢測(cè)精度較好，具有很高的實(shí)際意義。

[1]周少雷，單忠健，鄧曉陽(yáng)．中國(guó)選煤業(yè)現(xiàn)狀與發(fā)展趨勢(shì)[J]．中國(guó)煤炭，2006，32（11）：11-14.

[2]閏俊旭，李曄．圖像處理在煤矸石識(shí)別系統(tǒng)中的應(yīng)用[J]．兵工學(xué)報(bào)，2009，30（11）：16-20.

[3]孫鐵波，李宏．基于機(jī)器視覺(jué)的帶線縫合針尾孔鉆頭檢測(cè)研究[J]．現(xiàn)代制造工程，2013（11）：3，118-121．

[4]劉硯秋．機(jī)器視覺(jué)技術(shù)的發(fā)展動(dòng)態(tài)[J]．電子元件與材料，2014（5）：93-94．

[5]朱虎成，孫大為，陸文淵，等．采用機(jī)器視覺(jué)的汽車(chē)活塞最終質(zhì)量自動(dòng)檢測(cè)系統(tǒng) [J]．現(xiàn)代制造工程，2012（5）：105-108．

[6]李博，李仕奇，譚振豪．基于機(jī)器視覺(jué)的封印產(chǎn)品字符編碼檢測(cè)系統(tǒng) [J]．現(xiàn)代制造工程，2013（6）：88-91．

[7]沈偉，龐全，范影樂(lè)，等．基于機(jī)器視覺(jué)的全自動(dòng)汽車(chē)零件篩選系統(tǒng)[J]．儀表技術(shù)與傳感器，2009（9）：97-100．

[8]STEGER C,ULRICH M,WIEDEMANN C．機(jī)器視覺(jué)算法與應(yīng)用[M]．楊少榮，吳迪靖，段德山，譯．北京：清華大學(xué)出版社，2008．

[9]Rafael C.Gonzalez,Richard E.Wood.數(shù)字圖像處理[M].阮秋琦，阮宇智，譯.3版 北京：電子工業(yè)出版社，2011.

[10]張艷玲，劉桂雄 ，曹東，等．?dāng)?shù)學(xué)形態(tài)學(xué)的基本算法及在圖像預(yù)處理中應(yīng)用[J]．科學(xué)技術(shù)與工程，2007，7（3）：356-359．

[11]白雪冰，王克奇，王輝．基于灰度共生矩陣的木材紋理分類方法的研究[J]．工業(yè)大學(xué)學(xué)報(bào)，2005，37（12）：1667-1670.

[12]David M Hobson，Robert M Carter，Yong Yanl，et al.Differentiation between coal and stone through image analysis of texture features [C]//IEEE International Workshop on Imaging Systems and Techniques，2007:1-4.

[13]何敏，王培培，蔣慧慧．基于SVM和紋理的煤和煤矸石自動(dòng)識(shí)別 [J]．計(jì)算機(jī)工程與設(shè)計(jì)，2012，33（3）：1117-1121.

[14]Monica Marcuzzo，Pedro Quelhas，Ana Campilho.Automated arabidopsis plant root cell segmentation based on SVM classification and region merging[J].Computers In Biology and Medicine，2009，39（9）：785-793.

[15]蔣媛．基于Contourlet變換和SVM的SAR圖像目標(biāo)識(shí)別[J].信息技術(shù)，2010，34（11）：105-110.

Research on automatic coal recognition and sorting system based on machine vision

HUANG Hong-tao，GUAN Jian-jun
（Henan Energy&Chemical Jiao Zuo Coal Company，Jiaozuo 454150，China）

In order to solve the problems of labor-intensive，low efficiency and accuracy in recognition and sorting of coal，designed an automatic coal recognition and sorting system based on machine vision which consisted of hardware and software.In order to achieve the automatic identification of coal and gangue，a new method based on gray-level co-occurrence and texture analysis was proposed，realized the automatic recognition through training and classifying the images of coal and gangue with SVM，programmed the image processing software and system interface software.The test results show that the system hardware selection is rational，and the system software is highly stable and efficient which improved the efficiency and accuracy in recognition and sorting of coal with practical significance and high economic value.Meanwhile，the system can also be extended to sorting of other materials.

machine vision； coal； gray-level co-occurrence matrix； grain； SVM

TN99

：A

：1674－6236（2017）14-0162-05

2016-06-28稿件編號(hào)：201606220

黃洪濤（1978—），男，河南焦作人，工程師。研究方向：采礦工程與生產(chǎn)設(shè)計(jì)。