高效移動端煤矸識別方法

張 勇， 郭永存， 陳 偉， 王 爽， 程 剛

(安徽理工大學(xué) a. 電氣與信息工程學(xué)院； b. 機(jī)械工程學(xué)院； c. 深部煤礦采動響應(yīng)與災(zāi)害防控國家重點(diǎn)實驗室， 安徽 淮南 232001)

煤矸分選是煤礦生產(chǎn)過程中的重要一環(huán)。準(zhǔn)確分離出原煤中的矸石，可以提高煤的發(fā)熱量，降低運(yùn)輸成本， 并避免矸石對環(huán)境的污染[1]。 傳統(tǒng)的煤矸分選方法有人工選矸和機(jī)器選矸。 人工選矸不僅勞動強(qiáng)度大，而且選矸效果存在不確定性。機(jī)器選矸有跳汰法[2]、 浮選法[3]和重介質(zhì)法[4]等，但這些方法會帶來對土地和水資源的污染， 存在巨大的安全隱患。 隨著計算機(jī)技術(shù)的發(fā)展， 計算機(jī)視覺識別技術(shù)開始普遍應(yīng)用于工業(yè)生產(chǎn)的各個領(lǐng)域。 計算機(jī)視覺識別煤和矸石方法分為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)2種類型。

在機(jī)器學(xué)習(xí)方面，魯恒潤等[5]利用煤與矸石灰度、紋理特征量的相關(guān)性構(gòu)造歸一化特征向量，結(jié)合BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識別分類，最終識別率可達(dá)到87.5%。Dou等[6]提出基于圖像分析的relief-SVM方法用來識別煤和矸石，通過圖像分析提取煤和矸石圖像的顏色和紋理等特征，并使用relief-SVM構(gòu)造最優(yōu)分類器識別、判斷煤和矸石；Hou[7]提出一種基于圖像特征和神經(jīng)網(wǎng)絡(luò)相結(jié)合的煤和矸石識別方法，通過對煤和矸石圖像灰度和紋理的特征提取，再利用前向神經(jīng)網(wǎng)絡(luò)完成對煤和矸石的識別分類。上述方法均需要通過圖像預(yù)處理指定分類的人工特征，存在數(shù)據(jù)預(yù)處理復(fù)雜、檢測維度單一、 速度慢和精度低等問題。

在深度學(xué)習(xí)方面， 徐志強(qiáng)等[8]采用模型剪枝對相似度高的卷積核進(jìn)行裁剪， 降低了模型復(fù)雜度， 避免了模型參數(shù)的冗余與過擬合； Lv等[9]采用注意力機(jī)制研究了煤矸石目標(biāo)檢測中的細(xì)粒度問題， 加強(qiáng)網(wǎng)絡(luò)對于小尺寸煤和矸石的檢測能力； 郜亞松等[10]提出一種輕量級的煤矸識別網(wǎng)絡(luò)模型， 在保證模型復(fù)雜度小幅增加的前提下提高網(wǎng)絡(luò)的識別能力； 杜京義等[11]針對目標(biāo)檢測算法精度低、 實時性差等問題， 提出采用Ghost網(wǎng)絡(luò)和自注意力機(jī)制優(yōu)化SSD目標(biāo)檢測網(wǎng)絡(luò)， 改善了網(wǎng)絡(luò)的檢測效果。

輕量級卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練往往需要大量的數(shù)據(jù)集的支撐， 但大量數(shù)據(jù)集的獲取普遍存在一定的困難。 本文中從注意力機(jī)制、 激活函數(shù)和分類頭等3個方面對輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetv3進(jìn)行改進(jìn)， 提高模型在小樣本數(shù)據(jù)集下的訓(xùn)練收斂速度和識別準(zhǔn)確率， 并對訓(xùn)練后的模型進(jìn)行量化和移動端部署操作， 測試模型量化前、 后的空間體積與復(fù)雜度， 實際推理時間與識別準(zhǔn)確率。

1 實驗

1.1 煤和矸石的數(shù)據(jù)采集和預(yù)處理

實驗所用的煤和矸石樣本來自于淮南市潘二礦，利用實驗裝置采集煤和矸石的數(shù)據(jù)圖片各500張，煤和矸石樣本如圖1所示。圖片樣本按照7∶1∶2的比例劃分為訓(xùn)練集、 驗證集和測試集。

(a)煤(b)矸石圖1 煤和矸石樣本Fig.1 Samples of coal and gangue

實驗訓(xùn)練集中樣本僅有700張，在模型訓(xùn)練時容易陷入過擬合，需要對采集的樣本進(jìn)行數(shù)據(jù)增強(qiáng)，實驗采取的數(shù)據(jù)增強(qiáng)參數(shù)值如表1所示。

表1 數(shù)據(jù)增強(qiáng)參數(shù)

1.2 移動端煤矸識別實驗裝置

移動端煤矸識別實驗裝置如圖2所示。實驗裝置主要包括帶式輸送機(jī)、移動端識別單元NanoPC-T4開發(fā)板、 相機(jī)、 煤和矸石樣本、 設(shè)備架體、 可調(diào)光源和對應(yīng)的光源控制器。其中，使用的輸送帶是一種常見的礦用鋼絲繩輸送帶，輸送帶寬為0.6 m，厚度為15 mm，最大運(yùn)行速度為4 m/s；相機(jī)型號為羅技C922，光源型號為2個KM-BRD36030-白光，光源控制器型號為DSC2.0-2C030W-24PS(60 W)，用于調(diào)節(jié)光照強(qiáng)度。

(a)實驗裝置(b)煤或矸石圖2 移動端煤矸識別實驗裝置Fig.2 Experimental equipment for coal and gangue identification at mobile device

2 網(wǎng)絡(luò)輕量化和模型優(yōu)化方法

2.1 網(wǎng)絡(luò)輕量化

對于移動端深度學(xué)習(xí)系統(tǒng)的開發(fā)，一般采用輕量型的學(xué)習(xí)網(wǎng)絡(luò)。常見的輕量型的深度學(xué)習(xí)網(wǎng)絡(luò)有SqueezeNet[12]、 EfficientNet[13]、 MobileNet[14-16]和ShuffleNet[17-18]等。輕量型卷積神經(jīng)網(wǎng)絡(luò)中的模型輕量化使用深度可分離卷積。標(biāo)準(zhǔn)卷積操作流程示意圖如圖3所示。M為輸入通道數(shù)，N為輸出通道數(shù)，DF、DK、DG分別為輸入特征圖尺寸、 卷積核尺寸和輸出特征圖尺寸；輸入特征映射F尺寸為(DF，DF，M)，標(biāo)準(zhǔn)卷積K為(DK，DK，M，N)，輸出特征映射G為(DG，DG，N)。

圖3 標(biāo)準(zhǔn)卷積操作流程示意圖Fig.3 Schematic diagram of standard convolution operation flow

通過卷積，輸出計算量C1的計算公式[14]為

(1)

深度可分離卷積將標(biāo)準(zhǔn)卷積拆分為深度卷積和逐點(diǎn)卷積，深度可分離卷積的操作流程示意圖如圖4所示。由圖可見，深度卷積負(fù)責(zé)濾波作用，輸入尺寸為(DK，DK， 1，M)，輸出特征尺寸為(DG，DG，M)；逐點(diǎn)卷積負(fù)責(zé)轉(zhuǎn)換通道，輸入尺寸為(1，M，N)，輸出尺寸為(DG，DG，N)。經(jīng)過深度可分離卷積，計算量C2的計算公式[14]為

圖4 深度可分離卷積的操作流程示意圖Fig.4 Schematic diagram of depth separable convolution operation flow

(2)

經(jīng)過深度可分離卷積的作用，卷積操作的壓縮比為s，模型復(fù)雜度大幅度降低。壓縮比s的計算公式為

(3)

2.2 注意力機(jī)制

MobileNetv3網(wǎng)絡(luò)中的注意力機(jī)制為SENet[19]。SENet通過在2個連接層間使用維度縮減來產(chǎn)生每個通道的權(quán)重信息，幫助網(wǎng)絡(luò)學(xué)習(xí)重要的特征信息，但通道的降維會對通道預(yù)測帶來副作用，降低模型預(yù)測效率，而且捕獲全部通道間的互相依賴會加大網(wǎng)絡(luò)的參數(shù)量。針對深度卷積神經(jīng)網(wǎng)絡(luò)，采用一種高效通道注意力模塊避免降維。高效通道只捕獲有效的跨通道的交互信息，能夠在增加少量參數(shù)的前提下獲得明顯的性能增益，高效通道注意力機(jī)制模型[20]如圖5所示。

圖5 高效通道注意力模型[20]Fig.5 Efficient channeled attention model[20]

由圖5可見，H、W和C分別表示特征圖的高度、寬度和通道維數(shù)，輸入尺寸為H×W×C的特征圖通過全局平均池化得到尺寸為1×1×C的向量；利用卷積核個數(shù)為k的一維卷積完成通道間的信息交互，得到每個通道的權(quán)重，并添加到卷積操作中，獲得輸出尺寸為H×W×C的高維特征，因此，學(xué)習(xí)到的通道注意力Wk的計算公式[20]為

(4)

式中：Wk涉及K×C個參數(shù)，同時避免了不同組的完全獨(dú)立；ωi(i=1，2，…，c)為權(quán)重，如果只考慮特征yi(i=1，2，…，c)和k個鄰居間的信息交互，則ωi的計算公式為

(5)

式中σ表示sigmoid激活操作。為了進(jìn)一步提高性能，通過使用相同的權(quán)重ωj(j=1，2，…，k)實現(xiàn)通道間的權(quán)重信息共享，并利用卷積核大小為k的一維卷積來實現(xiàn)通道間的信息交互，ωi計算公式又為

(6)

ω=σ(C1Dk(y))，

(7)

式中C1D代表一維卷積操作。

高效通道注意力機(jī)制旨在捕獲局部跨道信息交互，需確定通道交互信息的大致范圍，即一維卷積核的大小為k；通過借鑒組卷積，得出跨通道信息交互作用的覆蓋范圍與通道維數(shù)C成正比，并利用以2為底的指數(shù)函數(shù)表示通道維數(shù)C與卷積核大小k之間的非線性映射關(guān)系φ，通道維數(shù)的計算公式為

C=φ(k)=2(γk-b)。

(8)

給定通道維數(shù)C時，則一維卷積核大小k計算公式為

(9)

式中： |·|odd為最接近值的奇數(shù)；γ、b參數(shù)值分別設(shè)為2、 1。

2.3 激活函數(shù)

MobileNetv3中的激活函數(shù)為h-swish，是通過NAS暴力搜索技術(shù)找到的Swish激活函數(shù)改進(jìn)版，但在小樣本數(shù)據(jù)集中，將不再適用。本文中使用SMU(smooth maximum unit)激活函數(shù)[21]替代網(wǎng)絡(luò)中的h-swish激活函數(shù)，減少網(wǎng)絡(luò)參數(shù)間的依賴，緩解模型訓(xùn)練過擬合的發(fā)生，加快模型訓(xùn)練收斂速度，SMU激活函數(shù)表達(dá)式為

(10)

式中：x為當(dāng)前輸入特征； erf為高斯誤差函數(shù)；μ為可訓(xùn)練的平滑參數(shù)，初始化為1 000 000；α為超參數(shù)，設(shè)為0.25。

2.4 分類頭

小數(shù)據(jù)集中，MobileNetv3中使用2次尺寸為1×1的卷積擴(kuò)展特征到高維度特征空間。豐富預(yù)測特征的方式不僅會增加模型計算復(fù)雜度，而且會降低分類頭的訓(xùn)練收斂速度。針對小樣本數(shù)據(jù)集的模型訓(xùn)練，使用全連接層代替平均池化后的卷積操作，直接對特征圖分類結(jié)果進(jìn)行預(yù)測，避免小樣本數(shù)據(jù)集訓(xùn)練過程中的不收斂現(xiàn)象，提高模型訓(xùn)練和推理速率，MobileNetv3和改進(jìn)后E-MobileNetv3網(wǎng)絡(luò)分類頭結(jié)構(gòu)如圖6所示。

(a)MobileNetv3(b)改進(jìn)后E-MobileNetv3圖6 MobileNetv3和改進(jìn)后E-MobileNetv3網(wǎng)絡(luò)分類頭結(jié)構(gòu)Fig.6 Classification head of MobileNetv3 and E-MobileNetv3

改進(jìn)后E-MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。由表可知，網(wǎng)絡(luò)模型的瓶頸層Bneck_block均采用高效通道域注意力機(jī)制，加強(qiáng)通道傳播過程中的跨通道信息交互能力。

3 結(jié)果與討論

3.1 模型訓(xùn)練

模型訓(xùn)練基于Windows10(64位)操作系統(tǒng)，電腦配置為Inter Core i5-9300H，NVIDIA GTX1660Ti 6G顯卡，在深度學(xué)習(xí)框架Tensorflow2.0中進(jìn)行模型的訓(xùn)練、驗證和預(yù)測。模型輸入圖像的像素設(shè)為224×224，訓(xùn)練次數(shù)為50，模型優(yōu)化器為SGD函數(shù)，損失函數(shù)為交叉熵?fù)p失函數(shù)，并記錄訓(xùn)練精度和損失函數(shù)曲線。

分別對EfficientNet、 MobileNetv2、 MobileNetv3、 ShuffleNetv2、 SqueezeNet和E-MobileNetv3網(wǎng)絡(luò)的模型進(jìn)行訓(xùn)練，并繪制訓(xùn)練和驗證損失曲線，研究損失值隨訓(xùn)練次數(shù)的變化規(guī)律。輕量型卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和驗證損失曲線如圖7所示。由圖可知，MobileNetv3訓(xùn)練出現(xiàn)過擬合，ShuffleNetv2訓(xùn)練梯度爆炸，模型訓(xùn)練效果不佳；EfficientNet、 MobileNetv2和SqueezeNet訓(xùn)練收斂速度較慢，且驗證損失函數(shù)波動較大；E-MobileNetv3模型經(jīng)過約20次的訓(xùn)練后，模型逐漸收斂，且波動較小，最終損失函數(shù)值穩(wěn)定在0.008左右，損失函數(shù)較小，且訓(xùn)練損失和驗證損失間波動較小，模型訓(xùn)練完美擬合，訓(xùn)練效果較好，因此，E-MobileNetv3模型的訓(xùn)練參數(shù)設(shè)置較為合理。

(a)EfficientNet(b)MobileNetv2(c)MobileNetv3(d)ShuffleNetv2(e)SqueezeNet(f)E-MobileNetv3圖7 輕量型卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和驗證損失曲線Fig.7 Training and verification loss curves of lightweight convolutional neural network models

E-MobileNetv3模型訓(xùn)練準(zhǔn)確率曲線如圖8所示。由圖8可知，經(jīng)過50次的訓(xùn)練，模型訓(xùn)練準(zhǔn)確率和驗證準(zhǔn)確率均大于99%，模型準(zhǔn)確率較高，訓(xùn)練效果較好。

(a)訓(xùn)練次數(shù)為0～50(b)訓(xùn)練次數(shù)為45～50圖8 E-MobileNetv3模型訓(xùn)練準(zhǔn)確率曲線Fig.8 Training accuracy curve of E-MobileNetv3 model

3.2 模型壓縮

深度學(xué)習(xí)網(wǎng)絡(luò)模型中常用的壓縮方法主要有模型剪枝和模型量化2種。模型剪枝常用在模型訓(xùn)練后，用于去除一些不重要的神經(jīng)元連接，但神經(jīng)元級別的剪枝會使結(jié)果變得稀疏，不利于緩存優(yōu)化和內(nèi)存訪問，濾波器級別的剪枝又難以衡量濾波器的重要程度；模型量化將浮點(diǎn)數(shù)替換成整數(shù)進(jìn)行存儲和計算，能夠加快模型的推理速度并減小計算內(nèi)存，因此，選用模型量化作為模型壓縮方法。常用的量化方式有動態(tài)離線量化、靜態(tài)離線量化和量化訓(xùn)練，本文中選用動態(tài)離線量化的方式對模型進(jìn)行壓縮。量化公式為

qi=round(xf/xs)+xz，

(11)

(12)

(13)

模型采用浮點(diǎn)32位到8位整型的量化，模型輸入浮點(diǎn)數(shù)據(jù)區(qū)間為[(2-2-23)×2127，(223-2)×2127]，輸出整型數(shù)據(jù)區(qū)間為[-128,127]。

3.3 移動端部署

模型的移動端部署采用Tensorflow深度學(xué)習(xí)框架中的Tensorflow lite進(jìn)行部署工作。移動端設(shè)備使用NanoPC-T4開發(fā)板，主控芯片為瑞芯微RK3399芯片，內(nèi)部運(yùn)行Android8.1系統(tǒng)。端側(cè)模型訓(xùn)練后，通過模型轉(zhuǎn)換和量化操作，保存為tflite格式，下載至開發(fā)板中，結(jié)合實驗裝置，進(jìn)行移動端煤矸識別。

模型量化前、 后模型體積和浮點(diǎn)運(yùn)算次數(shù)如表3所示。由表可知，改進(jìn)后模型的復(fù)雜度最低，且模型存儲容量最小，經(jīng)過8位整型動態(tài)離線量化操作，模型存儲容量僅為0.52 MB，為原網(wǎng)絡(luò)的24.64%，滿足移動端模型的部署需求。

表3 模型量化前、 后存儲容量和浮點(diǎn)運(yùn)算次數(shù)

通過移動端的部署， 測量各模型在移動端的推理時間和識別準(zhǔn)確率。 模型量化前、 后的推理時間和識別準(zhǔn)確率如表4所示。 由表可知， 輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2、 MobileNetv3、 ShuffleNetv2和E-MobileNetv3模型的移動端推理時間均小于250 ms，改進(jìn)后的E-MobileNetv3網(wǎng)絡(luò)模型量化前、 后推理時間均小于100 ms，識別速度較快，滿足移動端煤和矸石的識別速度需求；EfficientNet和SqueezeNet移動端推理速度較慢，推理時間均大于2 500 ms，雖然SqueezeNet模型存儲容量不大，但普通卷積的大量堆積導(dǎo)致在移動端的推理速度減慢。綜上，改進(jìn)后網(wǎng)絡(luò)E-MobileNetv3識別準(zhǔn)確率最高可達(dá)99.7%，能夠很好地滿足實際工況中的對煤矸識別精度的要求。

表4 模型量化前、 后的推理時間和識別準(zhǔn)確率

3.4 煤和矸石的圖像識別

利用實驗裝置，實時采集輸送帶上的煤和矸石圖像，經(jīng)移動端識別單元處理后，通過屏幕顯示煤和矸石的識別結(jié)果、識別概率和推理時間。移動端煤和矸石的識別結(jié)果如圖9所示。

(a)煤(b)矸石圖9 煤和矸石識別結(jié)果Fig.9 Identification results of coal and gangue

4 結(jié)論

本文中分析了輕量化卷積神經(jīng)網(wǎng)絡(luò)模型輕量化的方法， 并從注意力機(jī)制、 激活函數(shù)和分類頭3個方面對MobileNetv3網(wǎng)絡(luò)進(jìn)行改進(jìn)， 通過模型量化壓縮網(wǎng)絡(luò)在移動端部署模型， 分析對比改進(jìn)網(wǎng)絡(luò)與EfficientNet、 MobileNetv2、 MobileNetv3、 ShuffleNetv2、 SqueezeNet模型的量化前、 后的空間存儲容量， 浮點(diǎn)運(yùn)算次數(shù)， 量化前、 后模型移動端推理時間和識別準(zhǔn)確率，得到以下結(jié)論：

1)高效通道域注意力機(jī)制加強(qiáng)了輕量型卷積神經(jīng)網(wǎng)絡(luò)跨通道間的信息交互，提高了模型的識別準(zhǔn)確率。Mobilenetv3網(wǎng)絡(luò)激活函數(shù)不適用小樣本數(shù)據(jù)集，會造成模型訓(xùn)練的過擬合；分類頭的卷積輸出不僅會增加模型復(fù)雜度，而且會造成模型訓(xùn)練的不收斂；改進(jìn)后網(wǎng)絡(luò)經(jīng)過20次的訓(xùn)練，模型即收斂，速度較快，且訓(xùn)練和驗證準(zhǔn)確率均大于99%。

2)改進(jìn)后模型經(jīng)量化壓縮后，模型存儲容量較小，僅為原網(wǎng)絡(luò)的24.64%，模型復(fù)雜度大幅度下降；移動端推理時間較短，僅為77 ms，識別準(zhǔn)確率達(dá)到99.7%，對于移動端煤矸分選具有一定的應(yīng)用價值。

3)利用實驗裝置實時采集輸送帶上的煤和矸石圖像，經(jīng)移動端識別單元處理后，通過屏幕顯示煤和矸石的識別結(jié)果、 識別概率和推理時間，識別效果較好，驗證了識別方法的可靠性。