煤矸圖像識別網(wǎng)絡(luò)的小波變換優(yōu)化

師亞文，李務(wù)晉，呂子奇

(1.國能神東煤炭集團(tuán)洗選中心，陜西 榆林 719315；2.中國礦業(yè)大學(xué)(北京)化學(xué)與環(huán)境工程學(xué)院，北京 100083)

煤矸分離是提高煤質(zhì)的主要途徑。在選煤環(huán)節(jié)中，國內(nèi)外普遍采用濕法分選，包括重介、淺槽、浮選、跳汰，但傳統(tǒng)分選工藝普遍用水量大[1]，而中國煤炭資源大多分布在缺水地區(qū)。相應(yīng)的干法分選技術(shù)，包括風(fēng)選，空氣流化床，但也存在同比單位生產(chǎn)成本較高等一些局限性[2]?，F(xiàn)有的針對塊狀煤與矸石分選較為先進(jìn)的X射線透射法，由于設(shè)備復(fù)雜且有輻射危害，需要將射線源安置于鉛房中，在應(yīng)用上也受到了限制[3，4]。基于煤與矸石物理特征的差異進(jìn)行煤矸識別也是新興的方法之一，通過激光三維掃描技術(shù)測量煤與矸石的體積，利用稱重裝置對煤與矸石進(jìn)行動(dòng)態(tài)稱重，從而計(jì)算出煤與矸石的密度值，實(shí)現(xiàn)煤與矸石的識別[5-7]。

基于圖像處理技術(shù)的煤矸石干法分選研究，近年來開始逐漸擴(kuò)展深入。利用煤與矸石圖像的空間域信息如灰度和紋理特征信息，在特定環(huán)境下可以進(jìn)行有效的煤矸識別，但容易受到環(huán)境因素如光照條件的影響，且直接根據(jù)所得特征值信息設(shè)置閾值進(jìn)行分類識別的方法，識別穩(wěn)定性有待提高。文獻(xiàn)[8]中，利用灰度均值、方差表征煤與矸石圖像的顏色特征，利用灰度共生矩陣相關(guān)參數(shù)表征煤與矸石圖像的紋理特征，并引入支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行分類，雖然識別準(zhǔn)確率較高，但訓(xùn)練樣本集過小，不具有代表性。文獻(xiàn)[9]提出了基于間隔灰度壓縮的擴(kuò)階共生矩陣并用于表征煤與矸石表面紋理差異；文獻(xiàn)[10]利用分形維數(shù)表征煤與矸石表面粗糙度。但上述人工提取的特征值必須在同一光照條件下，才能達(dá)到區(qū)分效果。

所以，利用圖像處理技術(shù)人工設(shè)計(jì)和提取特征值，結(jié)合SVM等經(jīng)典機(jī)器學(xué)習(xí)算法，解決煤與矸石分選等傳統(tǒng)礦物加工領(lǐng)域問題的模式，雖然有一定的效果，但其難點(diǎn)一是尋找合理有效的特征值來表征實(shí)際問題，難點(diǎn)二是保證模型在不同環(huán)境條件下的效果。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為一種深度前饋人工神經(jīng)網(wǎng)絡(luò)，相較于其他經(jīng)典機(jī)器學(xué)習(xí)算法用于圖像識別的模式，其最大特點(diǎn)為網(wǎng)絡(luò)訓(xùn)練采用端到端(end to end)的訓(xùn)練方式，即可以直接以圖像本身作為輸入，通過深度網(wǎng)絡(luò)自動(dòng)分層提取圖像特征，實(shí)現(xiàn)圖像的分類與識別工作[11-13]。所以，利用CNN作為核心算法來進(jìn)行煤與矸石的圖像識別，可以很好解決手動(dòng)尋找圖像特征難和識別效果不穩(wěn)定的問題。

然而手動(dòng)尋找的特征具有更強(qiáng)的可解釋性，在計(jì)算機(jī)視覺應(yīng)用的眾多領(lǐng)域也陸續(xù)出現(xiàn)將傳統(tǒng)算法與深度學(xué)習(xí)算法相結(jié)合的研究[14-20]。本研究利用卷積神經(jīng)網(wǎng)絡(luò)建立煤與矸石的圖像識別模型，并在模型中設(shè)置小波變換層，利用小波變換對原圖像進(jìn)行變換域處理，從而提升模型訓(xùn)練與識別效果。

1 基于小波變換優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

1.1 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

結(jié)合煤與矸石圖片對比度低，表面紋理特征不明顯等特點(diǎn)，選擇層數(shù)更深的網(wǎng)絡(luò)結(jié)構(gòu)有利于提取到圖片更顯著的特征。但隨著層數(shù)加深，由于梯度消散現(xiàn)象的加重，網(wǎng)絡(luò)表現(xiàn)會(huì)隨之變差，同時(shí)計(jì)算量會(huì)大幅增加。通過大量試驗(yàn)與反復(fù)調(diào)試，在滿足有效提取煤矸圖像特征、減少計(jì)算量、保證識別準(zhǔn)確率的要求下，卷積神經(jīng)網(wǎng)絡(luò)具體結(jié)構(gòu)設(shè)計(jì)如圖1所示。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的煤與矸石識別模型結(jié)構(gòu)

首先將煤與矸石原始圖像給入輸入層，歸一化處理為100×100的RGB彩色圖像，然后輸入到第一層卷積層。

卷積層作為卷積神經(jīng)網(wǎng)絡(luò)的核心部分，通過卷積核(kernel)進(jìn)行卷積運(yùn)算，完成特征提取，然后利用激活函數(shù)構(gòu)建特征映射關(guān)系[13]。一層卷積層內(nèi)包含多個(gè)不同的卷積核，每個(gè)卷積核均采用滑動(dòng)窗口的方式遍歷輸入圖片，最終得到多通道特征圖，運(yùn)算過程如圖2所示。在這里，第一層卷積層的設(shè)置為：卷積核尺度為5×5，深度為3，個(gè)數(shù)為32，使用全0填充，卷積步長為1，激活函數(shù)選擇ReLU函數(shù)。經(jīng)過卷積運(yùn)算與激活函數(shù)激活后，輸入到第一層池化層。

圖2 卷積核提取多通道特征過程

池化層用于在保證信息有效性的基礎(chǔ)上，通過減少數(shù)據(jù)量以提升網(wǎng)絡(luò)的訓(xùn)練速度[13]。常用的池化方法包括最大值池化(max pooling)和平均池化(average pooling)，其運(yùn)算過程如圖3所示。

圖3 典型池化過程計(jì)算

本網(wǎng)絡(luò)中，池化層采用最大值池化，池化窗口為2×2，步長為2。經(jīng)過池化操作后，得到第一層特征，維度為50×50×32。后續(xù)池化層的池化窗口與步長設(shè)置與第一層池化層相同。

第二層卷積層，卷積核為5×5，深度為32，個(gè)數(shù)為64，使用全0填充，卷積步長為1，激活函數(shù)選擇ReLU函數(shù)。將第一層特征作為輸入，經(jīng)過卷積，激活與池化后，得到第二層特征，維度為25×25×64。第三層卷積層的卷積核為3×3，深度為64，個(gè)數(shù)為128，使用全0填充，卷積步長為1；第四層卷積層的卷積核為3×3，深度為128，個(gè)數(shù)為128，使用全0填充，卷積步長為1。具體過程與前兩層相同。

全連接層結(jié)構(gòu)和一般神經(jīng)網(wǎng)絡(luò)的隱藏層相同，即每一層的神經(jīng)元節(jié)點(diǎn)都與前一層的神經(jīng)元節(jié)點(diǎn)相連接，主要用于完成對卷積和池化過程后輸出特征的壓縮與分類。但由于全連接層最后輸出的分類結(jié)果并非概率分布，所以需要進(jìn)行Softmax回歸處理，以便網(wǎng)絡(luò)訓(xùn)練時(shí)損失函數(shù)的運(yùn)算。設(shè)原網(wǎng)絡(luò)全連接層輸出為y1，y2，…，yn，則處理后的輸出為：

將經(jīng)過四層卷積、激活與池化后所得到的維度為6×6×128的特征展開為包含4608個(gè)元素的一維數(shù)組，并作為全連接層的輸入，通過三層全連接層與Softmax層的分類處理，最終得到輸入圖像的分類結(jié)果。

1.2 CNN特征可視化處理

卷積神經(jīng)網(wǎng)絡(luò)的特征提取過程主要是通過卷積計(jì)算實(shí)現(xiàn)的，但網(wǎng)絡(luò)中每一層所提取到的特征由于維度問題無法可視化。為進(jìn)一步理解網(wǎng)絡(luò)結(jié)構(gòu)，通過反卷積、反激活與反池化過程，將每一層特征進(jìn)行可視化處理[14]，得出的每一層特征圖像如圖4所示。從可視化情況可以看出，卷積神經(jīng)網(wǎng)絡(luò)在對煤和矸石的輸入圖像進(jìn)行運(yùn)算處理時(shí)，第一層卷積池化層提取差異性較大的紋理特征以及表面顏色等特征。由于煤的顯微組分中含有大量的鏡質(zhì)組成分，鏡質(zhì)組成分反光導(dǎo)致煤表面亮度變化劇烈，與矸石表面的顏色變化與光澤度產(chǎn)生可識別的差異。隨著網(wǎng)絡(luò)層數(shù)的加深，表面特征部位的激活度進(jìn)一步提高，其余部位的激活度進(jìn)一步降低，在第四層卷積池化后，煤與矸石特征圖像已被表征在不同通道，所以在可視化處理后，煤與矸石的第四層反卷積特征圖像出現(xiàn)了明顯的顏色差異。

圖4 卷積神經(jīng)網(wǎng)絡(luò)可視化處理后四層特征圖像

1.3 小波變換

小波變換是一種基于小波基函數(shù)對信號的變換，其特點(diǎn)是在時(shí)域和頻域都具有表征信號局部特征的能力，且可以針對不同分辨率進(jìn)行分析。在進(jìn)行圖像紋理特征提取時(shí)，由于針對不同的圖像，其紋理可能存在于不同尺度范圍中，因而小波變換成為了多尺度紋理特征提取與分析的有效工具[15，16]。

由于圖像是二維信號，所以在利用小波變換進(jìn)行圖像處理時(shí)，需要將其由一維擴(kuò)展到二維。這里只需考慮尺度函數(shù)可分離的情況，即對于二維尺度函數(shù)φ(x，y)有：

φ(x，y)=φ(x)φ(y)

(2)

式中，φ(x)和φ(y)是一維尺度函數(shù)，對應(yīng)的小波函數(shù)為ψ(x)和ψ(y)。令ψ1(x，y)=φ(x)ψ(y)；ψ2(x，y)=ψ(x)φ(y)；ψ3(x，y)=ψ(x)ψ(y)為三個(gè)二維小波基，共同構(gòu)成二維平方可積函數(shù)空間L2(R2)的規(guī)范正交基：

式中，j≥0；l=1，2，3；j，l，m，n∈Z，則對于圖像f(x，y)，經(jīng)過小波分解后，得到一個(gè)低頻分量，與水平、垂直、對角線三個(gè)方向的高頻分量，即：

式中，m，n分別為行、列坐標(biāo)。

通過反卷積的可視化結(jié)果可以發(fā)現(xiàn)，該模型中卷積網(wǎng)絡(luò)對表面紋理及光澤復(fù)雜的部位激活度高，對平坦的、灰度變化低的部位激活度低。由于卷積神經(jīng)網(wǎng)絡(luò)中的池化操作屬于下采樣操作，隨著不斷加深的池化過程，圖像信息會(huì)有所壓縮和丟失。在該模型對煤與矸石圖像的處理過程中，這種損失主要體現(xiàn)在表面光澤與紋理特征方面。將原始RGB圖像與小波高頻系數(shù)結(jié)合后一同輸入卷積神經(jīng)網(wǎng)絡(luò)，可以補(bǔ)充并強(qiáng)化原始圖像的紋理及光澤特征變化，以達(dá)到對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化作用。組合過程如圖5所示。

圖5 小波變換層結(jié)構(gòu)

Biorthogonal雙正交小波具有更強(qiáng)的線性相位性，其特點(diǎn)是采用一種函數(shù)進(jìn)行分解，采用另一種函數(shù)進(jìn)行重構(gòu)，從而解決其他小波使用同一濾波器進(jìn)行分解與重構(gòu)時(shí)對稱性和重構(gòu)的精確性之間的矛盾，同時(shí)綜合考慮輸入圖片的分辨率情況與程序整體運(yùn)算時(shí)間，所以在這里利用Biorthogonal小波對煤與矸石圖像進(jìn)行二尺度二維離散小波變換分解。煤與矸石圖像二尺度小波分解高頻分量如圖6所示。由圖6可以看出，小波變換層能夠有效提取出煤與矸石的表面紋理特征，且第二層高頻分量對紋理的刻畫更為明顯。

圖6 煤與矸石圖像二尺度小波分解高頻分量

2 實(shí)驗(yàn)設(shè)置

2.1 訓(xùn)練樣本集

由陜西省神木縣神東煤炭集團(tuán)大柳塔選煤廠拍攝到的現(xiàn)場煤矸圖片共2064幅，其中煤現(xiàn)場圖片共964幅，矸石現(xiàn)場圖片共1100幅，總計(jì)2064幅煤與矸石圖片組成訓(xùn)練樣本集。

2.2 卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)置

建立四種含有不同小波變換層的卷積神經(jīng)網(wǎng)絡(luò)模型，以探究卷積神經(jīng)網(wǎng)絡(luò)對煤與矸石圖像的分類效果以及小波變換對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化作用。四種網(wǎng)絡(luò)的設(shè)置差異見表1。

表1 小波變換層設(shè)置情況

2.3 網(wǎng)絡(luò)訓(xùn)練與驗(yàn)證測試

為驗(yàn)證網(wǎng)絡(luò)模型對訓(xùn)練樣本集的訓(xùn)練收斂情況，將訓(xùn)練樣本集分別輸入到4類卷積神經(jīng)網(wǎng)絡(luò)，每類網(wǎng)絡(luò)迭代訓(xùn)練30次，進(jìn)行10次重復(fù)試驗(yàn)后，取每次訓(xùn)練后訓(xùn)練損失值與訓(xùn)練準(zhǔn)確率的平均值進(jìn)行分析，以減輕網(wǎng)絡(luò)的隨機(jī)誤差產(chǎn)生的影響。

為驗(yàn)證網(wǎng)絡(luò)模型對現(xiàn)場條件下拍攝圖片的識別泛化能力，防止過擬合情況，將2064幅訓(xùn)練樣本隨機(jī)分為10組，輪流將其中9組作為訓(xùn)練樣本集，其余1組作為測試樣本集，進(jìn)行10折交叉驗(yàn)證試驗(yàn)，同樣每類網(wǎng)絡(luò)迭代訓(xùn)練30次，并進(jìn)行10次重復(fù)試驗(yàn)后，取平均值進(jìn)行分析。

為驗(yàn)證網(wǎng)絡(luò)模型對不同拍攝條件下(主要指光照度)的泛化能力與自身魯棒性，在密閉遮光箱體中，利用可調(diào)光源調(diào)節(jié)箱體中照度大小，重新拍攝五組照度下的煤與矸石圖片各100張，作為測試樣本集，其中每組照度下的煤與矸石各50幅。

為對比卷積神經(jīng)網(wǎng)絡(luò)識別模型與傳統(tǒng)識別模型的識別效果，利用圖像處理技術(shù)與小波變換的方法，提取灰度圖像均值、圖像灰度共生矩陣對比度值、小波分解后高頻系數(shù)方差均值組成煤與矸石圖像特征向量，基于SVM算法并利用特征向量建立識別模型e[17]。將測試樣本集分別輸入已訓(xùn)練完成的四類卷積神經(jīng)網(wǎng)絡(luò)識別模型與一類SVM識別模型，對比識別情況。

3 煤矸識別效果

3.1 網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率與損失值

在利用訓(xùn)練樣本集訓(xùn)練網(wǎng)絡(luò)時(shí)，四種模型的訓(xùn)練準(zhǔn)確率和訓(xùn)練損失值如圖7所示。由圖7(a)可知，在不設(shè)置小波變換層時(shí)，利用卷積神經(jīng)網(wǎng)絡(luò)直接對煤與矸石圖像樣本集進(jìn)行訓(xùn)練，已可以達(dá)到一定效果，經(jīng)過30次迭代后，訓(xùn)練識別準(zhǔn)確率已基本穩(wěn)定在95%左右，但訓(xùn)練效率較低，需要進(jìn)行12次迭代后網(wǎng)絡(luò)識別準(zhǔn)確率才能穩(wěn)定在90%以上。在設(shè)置小波變換層后，識別準(zhǔn)確率與訓(xùn)練效率均有所提升，其中c類模型效果最好，在訓(xùn)練迭代5次以后，識別準(zhǔn)確率即可達(dá)到90%以上；在訓(xùn)練迭代20次以后，識別準(zhǔn)確率穩(wěn)定在98%以上。由圖7(b)可知，a模型訓(xùn)練迭代30次后訓(xùn)練損失值收斂至1～2，b、d兩模型在訓(xùn)練迭代23次后，可將訓(xùn)練損失值降至1以下，而模型c僅需迭代17次。

圖7 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練情況

訓(xùn)練結(jié)果表明，在利用卷積神經(jīng)網(wǎng)絡(luò)解決煤與矸石圖像識別問題時(shí)，設(shè)置小波變換層可以一定程度上提升訓(xùn)練準(zhǔn)確率，同時(shí)有效提升網(wǎng)絡(luò)的訓(xùn)練效率，且僅利用小波變換第二層高頻信息與RGB圖像結(jié)合輸入卷積層時(shí)，網(wǎng)絡(luò)模型效果最優(yōu)。

3.2 交叉驗(yàn)證準(zhǔn)確率與損失值

在對網(wǎng)絡(luò)進(jìn)行10折交叉驗(yàn)證實(shí)驗(yàn)時(shí)，四種模型的交叉驗(yàn)證準(zhǔn)確率與交叉驗(yàn)證損失值如圖8所示。

圖8 卷積神經(jīng)網(wǎng)絡(luò)交叉驗(yàn)證情況

由圖8(a)可知，模型a對交叉驗(yàn)證中的測試樣本泛化能力有限，識別準(zhǔn)確率穩(wěn)定在74%～76%，而添加了小波變換層的模型，在識別準(zhǔn)確率上均有提升，其中模型b的識別準(zhǔn)確率最終能達(dá)到82%，模型c效果最佳，識別準(zhǔn)確率達(dá)到85%以上。模型d識別準(zhǔn)確率也較高，但穩(wěn)定性不足，在訓(xùn)練迭代至第5次與第10次以及第15次與第25次部分，可以明顯看出模型d的識別準(zhǔn)確率曲線趨勢與模型b的相同，說明第一層小波分解出的高頻信息對訓(xùn)練的優(yōu)化效果并不穩(wěn)定，這是由于第一層高頻信息，除了包含圖像紋理特征外，還容易提取出大量圖像的噪聲信號，這對網(wǎng)絡(luò)的識別工作造成了干擾，而第二層高頻信息噪聲信號含量較少，所以能表現(xiàn)出更好的優(yōu)化效果。

與訓(xùn)練損失值不同，交叉驗(yàn)證損失值反映了網(wǎng)絡(luò)訓(xùn)練的完成程度，網(wǎng)絡(luò)訓(xùn)練完成度越高，說明分類樣本之間距離越大，損失值就越高。由圖8(b)可知，在訓(xùn)練迭代16次后，四種模型已體現(xiàn)出了較為明顯的差異，將交叉驗(yàn)證損失值為20作為評價(jià)標(biāo)準(zhǔn)時(shí)，模型c在迭代訓(xùn)練16次后模型對交叉驗(yàn)證的損失值就已達(dá)到20以上，且后續(xù)損失值仍在上升，說明模型對分類樣本區(qū)分較快，完成度較好。模型a需要迭代27次，才能將損失值穩(wěn)定在20以上，說明對交叉驗(yàn)證的區(qū)分速度較慢，且在17次迭代后其交叉驗(yàn)證損失值明顯低于模型c的交叉驗(yàn)證損失值，說明模型a的完成度低于模型c。模型d與模型b在交叉驗(yàn)證集的損失值方面表現(xiàn)相似，優(yōu)于模型a但整體效果比模型c差。

3.3 對測試樣本集的泛化能力

五類模型在不同照度條件下對測試樣本集的識別情況如圖9所示。

圖9 不同照度下各模型對測試集的識別準(zhǔn)確率

由于采集訓(xùn)練樣本圖像時(shí)，現(xiàn)場條件為自然光照下的室內(nèi)，照度近似為500 Lux，所以五類模型在600 Lux條件下均表現(xiàn)良好?；赟VM算法并利用特征向量建立的識別模型e，在照度發(fā)生變化時(shí)，模型表現(xiàn)波動(dòng)較大，說明模型對于外界光源照度的變化較為敏感，魯棒性較差。相比于模型e，其余四個(gè)模型對光照的魯棒性較好，說明利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取圖像特征并進(jìn)行分類的方法，能在一定程度上提升模型魯棒性，減輕環(huán)境因素造成的干擾，對不同的光照度有一定適應(yīng)能力。

對比模型a，模型b、c、d對測試樣本集的識別準(zhǔn)確率均有明顯提升，說明在利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煤與矸石識別任務(wù)時(shí)，小波變換能起到良好的優(yōu)化作用，其中模型c效果最佳。對比300Lux照度與其他照度下各模型表現(xiàn)情況可以發(fā)現(xiàn)，在較暗的光照條件下，不利用小波變換處理的模型a受影響較小，是由于相機(jī)感光元件較小，導(dǎo)致在光照不足時(shí)，圖像產(chǎn)生了較多噪點(diǎn)，對于小波變換提取高頻特征信息造成很大影響，該問題需要在后續(xù)工作中進(jìn)一步解決。

4 結(jié) 論

1)針對煤與矸石表面特征的差異，基于卷積神經(jīng)網(wǎng)絡(luò)建立了端到端的煤與矸石圖像識別模型，有效避免了傳統(tǒng)機(jī)器學(xué)習(xí)方法的特征選取穩(wěn)定性差的問題，具有更強(qiáng)的普適性。

2)利用反卷積操作對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了可視化分析，揭示了該模型主要是針對煤與矸石表面光澤與紋理不同進(jìn)行學(xué)習(xí)分類，并在深度學(xué)習(xí)過程中會(huì)對煤與矸石表面的紋理特征信息造成丟失。

3)提出了基于小波變換優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的方法，利用小波變換對原始圖像進(jìn)行分解，將高頻系數(shù)與原始圖像結(jié)合后進(jìn)行卷積操作，通過加強(qiáng)模型輸入的紋理特征部分優(yōu)化了模型的識別效果。