基于光學(xué)圖像的煤矸石識別方法綜述

張 紅，李晨陽

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

傳統(tǒng)的煤矸識別方法中人工選矸耗費(fèi)勞動力有安全隱患，濕選法污染環(huán)境耗水嚴(yán)重，射線法識別輻射強(qiáng)度大[1]。而基于光學(xué)圖像的煤矸石識別方法設(shè)備穩(wěn)定安全系數(shù)高、成本低、易于實(shí)現(xiàn)，成為現(xiàn)代煤矸識別方法關(guān)注和研究的熱點(diǎn)。該類方法實(shí)現(xiàn)智能化程度較高，能與各種前沿科學(xué)技術(shù)密切融合，更符合智能化選煤的發(fā)展方向[2]。

為了更直觀地了解煤矸圖像識別方法的發(fā)展現(xiàn)狀，筆者將基于光學(xué)圖像的煤矸識別分為傳統(tǒng)人為選擇特征煤矸識別和基于深度學(xué)習(xí)的煤矸識別。本文針對這兩類典型的煤矸石圖像識別方法進(jìn)行總結(jié)，并提出現(xiàn)有煤矸圖像識別仍存在的問題，為后續(xù)煤矸圖像識別技術(shù)發(fā)展提供建議和改進(jìn)思路。

1 基于光學(xué)圖像的煤矸識別方法

基于光學(xué)圖像的兩類煤矸石圖像識別方法，其詳細(xì)處理步驟存在著不同程度的差異性。傳統(tǒng)煤矸石圖像識別方法步驟如圖1所示。

圖1 傳統(tǒng)煤矸石圖像識別方法

該類煤矸石圖像識別方法主要分為煤矸石圖像數(shù)據(jù)采集，圖像預(yù)處理，特征選擇和提取，煤矸識別四個(gè)部分。其識別算法只需要具備代表性的圖像數(shù)據(jù)集就可以達(dá)到較高的識別效果。

基于深度學(xué)習(xí)的煤矸圖像識別方法具體步驟如圖2所示。

圖2 深度學(xué)習(xí)煤矸石圖像識別方法

在煤矸石圖像識別算法中，通過對比兩種識別方法在特征提取、模型、識別方面的不同可以發(fā)現(xiàn)。傳統(tǒng)識別方法手動提取圖像特征過程繁瑣，且特征提取與分類算法為并行方式，二者并無關(guān)聯(lián)。其生成模型的泛化能力較弱，識別速度較慢，并不能滿足實(shí)際工業(yè)生產(chǎn)需求。而基于深度學(xué)習(xí)的識別方法不受特征提取方法的限制，通過網(wǎng)絡(luò)進(jìn)行特征自主學(xué)習(xí)且與分類算法串行，這樣的結(jié)果可使樣本分類難易的誤差信息反向傳輸從而自由調(diào)整網(wǎng)絡(luò)模型結(jié)構(gòu)。該類算法的數(shù)據(jù)泛化性能強(qiáng)且這種自主特征學(xué)習(xí)訓(xùn)練并可調(diào)整的能力，使得基于深度學(xué)習(xí)的煤矸圖像識別方法具有更高的識別準(zhǔn)確度和更快的識別速率。

2 煤矸石圖像數(shù)據(jù)采集及預(yù)處理

煤矸圖像采集受實(shí)際工礦環(huán)境和采集設(shè)備的制約，其采集背景、光照條件、煤和矸石的種類等因素都會對采集的圖像質(zhì)量造成影響。煤和矸石圖像樣本如圖3所示。

圖3 煤及矸石圖像

2.1 煤矸石圖像數(shù)據(jù)集

目前的煤矸石圖像數(shù)據(jù)集，主要利用工業(yè)攝像機(jī)等對靜置或運(yùn)動的煤和矸石直接進(jìn)行圖像信息采集。實(shí)際場景采集外界影響因素較多，采集困難，可用的代表性樣本數(shù)少。因此目前大多研究為實(shí)驗(yàn)室模擬環(huán)境實(shí)際工況下的膠帶傳輸背景，利用攝像機(jī)和照明燈具等輔助設(shè)備采集煤和矸石的圖像數(shù)據(jù)。目前煤矸石識別論文中的圖像數(shù)據(jù)集見表1。

表1 煤矸石圖像數(shù)據(jù)集

針對煤矸圖像數(shù)據(jù)集現(xiàn)存問題，王家臣等[17]將照度概念引入到煤矸識別的研究中，揭示不同光照條件下煤矸圖像特征的變換規(guī)律，將照度作為采集需考慮的因素；沈?qū)幍萚19]對煤矸狀態(tài)干濕，有無附著煤灰進(jìn)行了深入研究，揭示了煤矸數(shù)據(jù)集中的煤矸狀態(tài)對識別的影響；曹現(xiàn)剛等[24]采集具體煤矸類型擴(kuò)充種類，提高了煤矸石識別的普適性；李曼等[33]考慮生產(chǎn)環(huán)境引起的圖像照度變化影響圖像質(zhì)量的問題，引入新的照度因子，實(shí)現(xiàn)圖像整體亮度調(diào)節(jié)。

實(shí)驗(yàn)中為了滿足數(shù)據(jù)量需求，通常會對采集的圖像數(shù)據(jù)集進(jìn)行擴(kuò)充處理。常用煤矸石圖像數(shù)據(jù)集擴(kuò)充方法除了基本的幾何和光學(xué)變換[17]外，基于三維建模渲染[21]的生成模型合成方式已經(jīng)驗(yàn)證了其數(shù)據(jù)集的有效性。

2.2 煤矸石圖像增強(qiáng)

煤矸石數(shù)據(jù)集會因環(huán)境因素存在圖像清晰度較低，光照不均勻，含噪聲等問題。針對此類煤矸石圖像數(shù)據(jù)集，通過轉(zhuǎn)換圖像灰度值[9]、銳化[12]、邊緣增強(qiáng)[9]或?yàn)V波[22]使處理后的煤矸圖像輪廓更清晰，像素信息更準(zhǔn)確。陳立等[18]利用小波分析去噪算法對含噪聲的煤矸石圖像進(jìn)行小波分解，并對處理后的小波系數(shù)進(jìn)行重構(gòu)，得到去噪后邊緣更加清晰的煤矸圖像

2.3 煤矸石圖像分割

采集處理后的煤和矸石圖像數(shù)據(jù)集背景復(fù)雜，研究初期大多為正方形裁剪操作有時(shí)會丟失煤矸石圖像的邊緣信息。通過選擇合適的圖像分割方法在分割感興趣圖像區(qū)域的同時(shí)，避免丟失圖像信息并保留煤矸圖像邊緣特征。Ma X等[5]針對煤和矸石混合的情況，提出小波變換的多分辨率自適應(yīng)閾值分割方法；余樂、PU Y、龐尚鐘等[14，22，31]利用最大類間方差閾值分割算法實(shí)現(xiàn)煤和矸石的二值化分割；饒中鈺等[26]利用基于距離變換的分水嶺算法實(shí)現(xiàn)了煤和矸石的精準(zhǔn)分割。

由于煤矸圖像采集環(huán)境的特殊性以及圖片質(zhì)量的不穩(wěn)定性，傳統(tǒng)的分割算法并不能滿足復(fù)雜情況下的煤矸圖像分割，因此未來尋找更優(yōu)的分割算法也是煤矸石識別中的一個(gè)研究方向。

3 傳統(tǒng)煤矸石圖像識別

3.1 傳統(tǒng)煤矸石特征選擇與提取

傳統(tǒng)的煤矸石圖像識別方法通常利用圖像灰度特征如灰度直方圖等和紋理特征如灰度共生矩陣[3]進(jìn)行識別，具體涉及到的煤和矸石圖像特征參數(shù)見表2。

3.2 傳統(tǒng)煤矸石識別方法

傳統(tǒng)的煤矸石識別方法通過提取和選擇人為設(shè)計(jì)的有利于區(qū)分煤和矸石的圖像特征，達(dá)到識別煤和矸石的目的。

表2 煤矸石圖像特征

Ma X等[5]利用小波矩提取煤矸石直方圖特征，為實(shí)際煤矸石自動分選技術(shù)奠定了的理論基礎(chǔ)；蘇寶金等[8]指出矸石的灰度值是煤的灰度值的三倍；余樂等[14]通過計(jì)算煤矸的非線性灰度壓縮擴(kuò)階共生矩陣，提出了新特征；陳雪梅等[15]實(shí)驗(yàn)發(fā)現(xiàn)煤塊的分形維數(shù)大于矸石，兩者存在較大的維數(shù)間距；饒中鈺等[26]提取煤矸灰度共生矩陣中的能量、熵、對比度及反差分矩陣作為煤矸識別的有效特征；趙明輝等[28]提出依據(jù)煤矸圖像灰度直方圖的三階矩特征參數(shù)進(jìn)行識別并驗(yàn)證了其特征有效性。

傳統(tǒng)煤矸石識別方法見表3，Li W等[6]通過構(gòu)建BP神經(jīng)網(wǎng)絡(luò)結(jié)合灰度直方圖、分形維數(shù)和多級小波變換能量值進(jìn)行煤矸識別，識別率為97.5%，15.364ms/幀；李曼等[23]選用最小二乘支持向量機(jī)(LS-SVM)為煤和矸石圖像識別分類器結(jié)合灰度、紋理及聯(lián)合特征，測試結(jié)果顯示煤和矸石分類準(zhǔn)確率分別為90.3%和83.0%，平均識別時(shí)間為0.153s；薛光輝等[27]通過灰度-梯度共生矩陣紋理特征結(jié)合隨機(jī)森林模型進(jìn)行識別，識別率為97%。

表3 傳統(tǒng)煤矸石識別方法

傳統(tǒng)識別方法在追求其高效識別的同時(shí)往往忽略算法本身的時(shí)間和空間復(fù)雜度，大部分具有較高準(zhǔn)確率但并不符合實(shí)際生產(chǎn)需求，故在論文中忽略識別效率分析。除此之外，人為提取特征參數(shù)存在對煤矸圖像特征理解不全面不深入的問題。因此，研究學(xué)者們利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，自主的從淺層到深層提取圖像特征，規(guī)避了傳統(tǒng)煤矸石圖像識別方法繁瑣的人為特征提取過程，為提高煤矸識別率提供了新的思路。

4 基于深度學(xué)習(xí)煤矸石圖像識別

基于深度學(xué)習(xí)的煤矸石圖像識別利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型通過自主提取特征和學(xué)習(xí)網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)煤矸石高效識別。識別方法及最終識別效果(取代表性)見表4。

王鵬等[24]通過卷積神經(jīng)網(wǎng)絡(luò)提取特征，再經(jīng)過RPN (Region Proposal Network)輸出圖像中煤或矸石目標(biāo)的分類結(jié)果，綜合準(zhǔn)確率可達(dá)93%，完成時(shí)間為50ms；馬巖[21]基于MobileNet輕量型卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行精簡和優(yōu)化，實(shí)現(xiàn)了93.2%，3.14ms/幀的識別效果；何克焓等[25]采用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)識別率達(dá)96%以上；趙明輝等[28]使用輕量級目標(biāo)檢測深度學(xué)習(xí)網(wǎng)絡(luò)模型CornerNet-Squeeze進(jìn)行目標(biāo)檢測，依據(jù)灰度直方圖對煤矸石進(jìn)行分類，識別率達(dá)到91.3%；Lei S等[29]基于CNN構(gòu)建了一種視覺深度神經(jīng)網(wǎng)絡(luò)(Fast coal classification net，F(xiàn)CCN)，樣本少也可以達(dá)到較高的識別精度；曹珍貫等[32]利用熱成像技術(shù)在AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行識別，識別率為97.88%；張永超等[34]提出單激發(fā)多盒探測器(SSD)機(jī)器視覺算法對煤矸石進(jìn)行檢測；郜亞松等[36]提出一種改進(jìn)MobileNetV3網(wǎng)絡(luò)，將原框架中SE模塊更換為CBAM(Convolutional Block Attention Module)模塊，識別效果提升了2.3%達(dá)到了97.7%，GPU下為9ms識別速率；雷世威等[37]基于原始的YOLOV3模型，分別進(jìn)行改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的YOLOV3-A模型和改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和改進(jìn)邊界框回歸損失函數(shù)YOLOV3-M模型的煤矸石檢測，其中YOLOV3-M模型的識別率達(dá)到95.4%，識別速率達(dá)到21.6ms；郭永存等[38]提出一種新的模型優(yōu)化方法—遷移權(quán)重&簡化神經(jīng)元(Transfer Weight-Reduce Neurons，TW-RN)，識別率達(dá)97.461%，2.360ms/幀。

表4 基于深度學(xué)習(xí)的煤矸石識別方法

5 煤矸石識別研究展望

通過上述的總結(jié)與分析，未來煤矸圖像識別應(yīng)著重在以下幾個(gè)方面展開研究。

1)建立大規(guī)模數(shù)據(jù)代表性強(qiáng)的通用煤矸石圖像數(shù)據(jù)庫?，F(xiàn)有研究因?qū)嶋H工礦環(huán)境復(fù)雜性，往往只針對單一種類煤和矸石進(jìn)行圖像數(shù)據(jù)采集?；谶@種特性煤矸石圖像數(shù)據(jù)集的識別雖然取得了較高的識別率，但無法在實(shí)際復(fù)雜環(huán)境下有良好的適應(yīng)性，其算法穩(wěn)定性較差沒有實(shí)際利用價(jià)值。因此建立一個(gè)公開符合實(shí)際場景全面充分的通用大規(guī)模煤矸石圖像數(shù)據(jù)庫，可以加速煤矸識別算法的發(fā)展。

2)煤矸石的特征選擇。手動提取煤矸圖像特征存在特征提取過程較為繁瑣，提取的特征不全面不深入的缺點(diǎn)，導(dǎo)致其算法泛化能力極弱。深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，對實(shí)驗(yàn)設(shè)備要求較高且訓(xùn)練模型參數(shù)所需的圖像數(shù)據(jù)集需求較大。因此如何選擇快速識別煤矸的特征是目前基于圖像煤矸石識別方法的研究重點(diǎn)。

3)識別方式的融合發(fā)展?，F(xiàn)有煤矸石識別方法對煤和矸石的特征差異理解主要集中在灰度和紋理特征或二者的聯(lián)合特征上。這些手動設(shè)計(jì)的特征存在對煤矸特征理解不全面不深入的問題。通過深度學(xué)習(xí)等智能技術(shù)，避免人為主觀提取特征的制約，但其特征表達(dá)往往不具有物理含義。因此需要通過深入了解煤矸特征的差異，將深層表達(dá)特征與人為設(shè)計(jì)特征通過分析、比較或融合的方式，提升識別算法的性能。

4)實(shí)時(shí)性需求。煤矸石識別方法在提高識別率的同時(shí)，應(yīng)該更加注重實(shí)時(shí)性需求。實(shí)際工礦環(huán)境下煤矸運(yùn)輸速度較快，如何快速完成采集識別是煤矸石識別的重點(diǎn)。實(shí)時(shí)性和準(zhǔn)確率都是煤矸石識別方法需要研究的重點(diǎn)內(nèi)容。