基于集成學(xué)習(xí)的煤和矸石圖像識(shí)別技術(shù)研究與實(shí)現(xiàn)

郜亞松

摘要：針對(duì)目前基于深度學(xué)習(xí)方法對(duì)煤和矸石識(shí)別研究中所存在的數(shù)據(jù)使用效率低，泛化能力差等問題，本文提出采用交叉驗(yàn)證的方法來提升研究目標(biāo)對(duì)象數(shù)據(jù)的利用效率，并對(duì)訓(xùn)練集數(shù)據(jù)添加人工噪聲，從而提升深度模型的泛化能力。另外在訓(xùn)練過程中以驗(yàn)證集ROC提前終止訓(xùn)練的依據(jù)，可以兼顧實(shí)際生產(chǎn)中對(duì)煤和矸石識(shí)別的查準(zhǔn)率和召回率的要求，同時(shí)加速網(wǎng)絡(luò)的訓(xùn)練過程。最后在測(cè)試集進(jìn)行模型預(yù)測(cè)時(shí)采用TTA（Test Time Augmentation）方法提升模型預(yù)測(cè)結(jié)果的穩(wěn)定性，并采用集成學(xué)習(xí)的方法將多個(gè)深度計(jì)算模型的預(yù)測(cè)結(jié)果進(jìn)行融合，以此提升整個(gè)識(shí)別方法的性能。經(jīng)過實(shí)驗(yàn)研究結(jié)果發(fā)現(xiàn)，通過以上方法可以在小型數(shù)量級(jí)上較快得到一個(gè)具有較高識(shí)別精度和召回率識(shí)別模型，并且模型的預(yù)測(cè)結(jié)果更能夠反映模型在實(shí)際生產(chǎn)環(huán)境中的真實(shí)表現(xiàn)。綜上可以得知，本文所實(shí)現(xiàn)的模型方法更能夠適應(yīng)煤和矸石的識(shí)別研究領(lǐng)域的需求，對(duì)未來深度學(xué)習(xí)方法在煤矸識(shí)別的研究具有較高的實(shí)際應(yīng)用價(jià)值和意義。

關(guān)鍵詞：煤矸識(shí)別;集成學(xué)習(xí);人工噪聲;交叉驗(yàn)證;TTA

中圖分類號(hào)：TP31? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）10-0197-03

煤作為我國主要能源供應(yīng)，而矸石則是對(duì)煤產(chǎn)能效率的主要影響因素，所以如何有效地降低矸石含量，對(duì)于提升燃煤功能效率，具有很高的實(shí)際應(yīng)用價(jià)值。

傳統(tǒng)對(duì)于煤和矸石識(shí)別的研究主要分為兩點(diǎn)，其中一種較為復(fù)雜的是煤和矸石的物理性質(zhì)差異實(shí)現(xiàn)的識(shí)別技術(shù)，比較有代表性的有射線法，振動(dòng)法等。但此類方法對(duì)于我國采煤環(huán)境地質(zhì)復(fù)雜的情況不能很好適用，另外，這些工業(yè)方法會(huì)帶來嚴(yán)重的輻射污染，聲污染以及水污染等[1-2]。第二種則是根據(jù)煤和矸石在圖像上所呈現(xiàn)出來的視覺差異所實(shí)現(xiàn)的識(shí)別技術(shù)，其中比較有代表性的分為基于手動(dòng)提取的紋理，灰度等特征所實(shí)現(xiàn)的機(jī)器學(xué)習(xí)識(shí)別方法[3-4]。另一個(gè)是基于深度學(xué)習(xí)所實(shí)現(xiàn)的自主特征學(xué)習(xí)的圖像識(shí)別方法，該方法相比于傳統(tǒng)機(jī)器學(xué)習(xí)圖像識(shí)別方法具有較高的泛化能力，并且可以通過對(duì)深度網(wǎng)絡(luò)模型的復(fù)雜度以及結(jié)構(gòu)進(jìn)行調(diào)整，更方便的應(yīng)對(duì)實(shí)際生產(chǎn)對(duì)模型的精度或速度的要求[5-6]。

通過對(duì)相關(guān)文獻(xiàn)資料查詢得知，目前基于深度學(xué)習(xí)模型在煤矸石識(shí)別的研究中。從數(shù)據(jù)集采集方面來說，大多數(shù)數(shù)據(jù)量總和基本位于5萬張左右，這樣的小型數(shù)據(jù)量對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)來說若采用簡單的訓(xùn)練集，驗(yàn)證集以及測(cè)試集的數(shù)據(jù)劃分方式是很難高效的利用數(shù)據(jù)，同時(shí)也會(huì)對(duì)模型最終反映出來的評(píng)價(jià)指標(biāo)有著較大的影響，使之無法真實(shí)地反映出模型本身的性能。除了研究中的數(shù)據(jù)集大小的問題之外，在實(shí)驗(yàn)室環(huán)境中所采集得到的煤和矸石的圖像一般是比較清晰的，并沒有像實(shí)際生產(chǎn)環(huán)境中所存在的粉塵，部分遮蔽物等諸多噪聲的情況，并且在測(cè)試集中數(shù)據(jù)同樣是沒有相應(yīng)的噪聲信息，所以對(duì)應(yīng)得到的深度識(shí)別網(wǎng)絡(luò)模型的存在嚴(yán)重的過擬合問題。針對(duì)以上情況，本文提出使用交叉驗(yàn)證的方法來提升數(shù)據(jù)的使用效率，并且采用集成學(xué)習(xí)的方法融合多個(gè)深度識(shí)別模型的識(shí)別效果，從而來實(shí)現(xiàn)一個(gè)具有一個(gè)整體性能較強(qiáng)的煤和矸石的識(shí)別方法。另外通過對(duì)訓(xùn)練集數(shù)據(jù)添加人工噪聲的方法，進(jìn)一步的提升網(wǎng)絡(luò)模型的泛化能力。最后在數(shù)據(jù)預(yù)測(cè)過程中采用TTA技術(shù)來提升網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的穩(wěn)定性，同時(shí)采用集成學(xué)習(xí)的方法融合多個(gè)深度模型的預(yù)測(cè)結(jié)果來進(jìn)一步提升網(wǎng)絡(luò)的性能。本次研究，主要針對(duì)目前基于深度學(xué)習(xí)對(duì)煤和矸石圖像識(shí)別研究中所存在的問題提出了相應(yīng)的解決方法，對(duì)未來深度學(xué)習(xí)方法在煤和矸石智能化的研究中具有較高的實(shí)際應(yīng)用意義和價(jià)值。

1 相關(guān)工作

本次對(duì)于煤和矸石識(shí)別技術(shù)的研究使用的是深度學(xué)習(xí)網(wǎng)絡(luò)，其中挑選的是在各個(gè)相關(guān)識(shí)別比賽和實(shí)際應(yīng)用中較多的兩種網(wǎng)絡(luò)，即ResNet系列和EfficientNet系列網(wǎng)絡(luò)。其中ResNet中所具有的殘差網(wǎng)絡(luò)結(jié)構(gòu)是目前所有深度網(wǎng)絡(luò)模型的基礎(chǔ)，該結(jié)構(gòu)可以很好的降低由于網(wǎng)絡(luò)深度加深所帶來的特征消失等問題，可以有效地提升深度網(wǎng)絡(luò)模型的可訓(xùn)性[7]。

EfficientNet網(wǎng)絡(luò)是目前在各個(gè)深度學(xué)習(xí)相關(guān)競賽以及公司研發(fā)深度學(xué)習(xí)相關(guān)產(chǎn)品中首先考慮使用的深度學(xué)習(xí)網(wǎng)絡(luò)模型，該模型兼?zhèn)淞怂俣群途取Ｔ摼W(wǎng)絡(luò)模型摒棄了傳統(tǒng)深度模型計(jì)算中為了追求速度和精度所使用的簡單剪枝和加深網(wǎng)絡(luò)的做法，而是通過研究出平衡網(wǎng)絡(luò)深度，寬度和輸入數(shù)據(jù)分辨率的方法來達(dá)到對(duì)速度和精度不同目的的要求[8]。

以往煤和矸石圖像在進(jìn)行訓(xùn)練時(shí)所采用的增強(qiáng)技術(shù)一般是對(duì)圖像進(jìn)行旋轉(zhuǎn)，隨機(jī)裁剪或者是顏色相關(guān)的方法，這些方法可以很好地減小了模型對(duì)圖像中煤或矸石的位置，以及亮度等因素的敏感度。但在煤和矸石的實(shí)際生產(chǎn)環(huán)境充滿了各種視覺噪聲信息，所以為了進(jìn)一步的提升深度模型對(duì)復(fù)雜環(huán)境的魯棒性，本次研究中將針對(duì)圖像采取人工添加噪聲的方法對(duì)圖像進(jìn)行增強(qiáng)處理，其中包括在圖像信息中添加霧噪聲，雨噪聲以及隨機(jī)裁剪等，對(duì)應(yīng)產(chǎn)生的人工噪聲增強(qiáng)的圖像效果如圖所示。

集成學(xué)習(xí)和測(cè)試時(shí)增強(qiáng)技術(shù)TTA（Test Time Augmentation）[9]兩者都是一種對(duì)預(yù)測(cè)結(jié)果做進(jìn)一步處理的操作方法，其中TTA技術(shù)主要是對(duì)采用增強(qiáng)技術(shù)處理的測(cè)試集進(jìn)行多次預(yù)測(cè)并求其均值作為最終預(yù)測(cè)結(jié)果的一個(gè)模型預(yù)測(cè)方法，該方法可以對(duì)一個(gè)模型的預(yù)測(cè)結(jié)果起到穩(wěn)定的作用。而集成學(xué)習(xí)的方法則是將多個(gè)深度模型預(yù)測(cè)的結(jié)果，按照其對(duì)應(yīng)任務(wù)目標(biāo)要求所占的比重，對(duì)應(yīng)分配其不同的權(quán)重，然后進(jìn)行預(yù)測(cè)結(jié)果融合，可以有效地提升預(yù)測(cè)結(jié)果的性能。

2 網(wǎng)絡(luò)模型搭建

雖然對(duì)于煤和矸石圖像識(shí)別的目標(biāo)設(shè)定中是二分類問題，但是若對(duì)于網(wǎng)絡(luò)的輸出設(shè)置為非煤即矸石的設(shè)定就會(huì)極大地降低網(wǎng)絡(luò)的魯棒性。例如向模型中傳入既不是煤也不是矸石的圖像，經(jīng)過模型輸出判斷結(jié)果。若設(shè)定真正例為煤，那么輸入圖像的經(jīng)過網(wǎng)絡(luò)的判斷非煤，那么網(wǎng)絡(luò)就會(huì)判定為矸石，所以在對(duì)網(wǎng)絡(luò)的輸出設(shè)定含有兩個(gè)節(jié)點(diǎn)的輸出，并且要通過正確的調(diào)整判斷閾值來進(jìn)行最終結(jié)果的限定，而不是僅僅使用非A即B的判斷，對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)如下所示。

3 實(shí)驗(yàn)過程與結(jié)果

3.1 模型訓(xùn)練過程

為了能夠從有限的煤和矸石的數(shù)據(jù)中訓(xùn)練得到最佳的識(shí)別模型，在訓(xùn)練過程中需要合理的對(duì)一些參數(shù)進(jìn)行設(shè)定。首先對(duì)所采集到的所有數(shù)據(jù)90%作為訓(xùn)練集數(shù)據(jù)，然后將訓(xùn)練集根據(jù)交叉驗(yàn)證訓(xùn)練的劃分經(jīng)驗(yàn)和實(shí)驗(yàn)中數(shù)據(jù)的總量劃分個(gè)數(shù)K為5，每個(gè)訓(xùn)練子集的輪次為15輪次，而初始學(xué)習(xí)率的設(shè)置由于采用了預(yù)訓(xùn)練權(quán)重，對(duì)應(yīng)的學(xué)習(xí)率可以設(shè)置為較小的值，以實(shí)現(xiàn)對(duì)模型權(quán)重參數(shù)的微調(diào)，所以將初始學(xué)習(xí)率設(shè)置為0.0005，學(xué)習(xí)率衰減因子為0.4。除了以上兩種常規(guī)深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練中所設(shè)置的參數(shù)，還包含了提前終止訓(xùn)練上限值，經(jīng)過數(shù)次訓(xùn)練之后確定了值為3，所代表的意思是當(dāng)對(duì)在劃分后的一個(gè)訓(xùn)練集上的模型隨著輪次不斷推進(jìn)時(shí)，連續(xù)3次出現(xiàn)ROC得分沒有得到提升，則提前終止模型在該子集上的訓(xùn)練。最后將本次訓(xùn)練中TTA參數(shù)的設(shè)置為3，表示將會(huì)使用訓(xùn)練好的模型在測(cè)試集上預(yù)測(cè)3次，然后將3次的預(yù)測(cè)得分求其均值，圖中所示模型訓(xùn)練過程的工作流程。

從圖中可以看到，在對(duì)不同劃分情況的訓(xùn)練集和驗(yàn)證集訓(xùn)練完成之后，都會(huì)直接對(duì)本次劃分情況下所產(chǎn)生的最佳識(shí)別模型進(jìn)行預(yù)測(cè)TTA次預(yù)測(cè)，然后將預(yù)測(cè)結(jié)果求均值。在完成最后k個(gè)劃分的訓(xùn)練之后，將所有的預(yù)測(cè)結(jié)果根據(jù)k值求均值，最終完成對(duì)一個(gè)深度網(wǎng)絡(luò)的完整模型訓(xùn)練。

3.2 模型預(yù)測(cè)結(jié)果與性能評(píng)估

為了驗(yàn)證本文所實(shí)現(xiàn)的煤和矸石識(shí)別方法的優(yōu)勢(shì)，將選擇一組對(duì)比模型進(jìn)行實(shí)驗(yàn)，其中改組模型在未采用人工噪聲增強(qiáng)的訓(xùn)練集上進(jìn)行訓(xùn)練，然后通過交叉驗(yàn)證的方式取得最好的模型效果，然后將該模型分別對(duì)沒有噪聲的測(cè)試集上和有噪聲的測(cè)試集進(jìn)行測(cè)試，并對(duì)其ROC曲線進(jìn)行對(duì)比分析，對(duì)應(yīng)的曲線如下所示。

從圖中可以看到，對(duì)于a組未采用噪聲訓(xùn)練的模型在沒有噪聲的測(cè)試集上的表現(xiàn)幾乎接近百分之百，但是當(dāng)用于含有噪聲的測(cè)試集上的時(shí)候，對(duì)應(yīng)的網(wǎng)絡(luò)性能產(chǎn)生了大幅度的下降，整個(gè)網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上的表現(xiàn)可以反映出未采用人工噪聲訓(xùn)練得到的模型對(duì)于未知數(shù)據(jù)泛化能力是很堪憂的。而在本文設(shè)計(jì)實(shí)現(xiàn)的生成的模型在含有噪聲和沒有噪聲的測(cè)試集上的變現(xiàn)雖然有小幅度的變化，但是基本預(yù)測(cè)結(jié)果數(shù)據(jù)分布相同，模型泛化能力得到大幅度的增強(qiáng)。另外，為了驗(yàn)證集成學(xué)習(xí)對(duì)于模型預(yù)測(cè)性能提升的有效性，選擇了對(duì)ResNet系列網(wǎng)絡(luò)和EfficientNet系列網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行結(jié)果增強(qiáng)，對(duì)應(yīng)的ROC曲線如下所示。

從圖中可以看到在沒有采用集成學(xué)習(xí)的方法對(duì)預(yù)測(cè)結(jié)果進(jìn)行預(yù)測(cè)之前的網(wǎng)絡(luò)由于深度的變化對(duì)應(yīng)的ROC得分有一定的起伏和波動(dòng)，通過集成學(xué)習(xí)的方法處理之后對(duì)應(yīng)整個(gè)網(wǎng)絡(luò)的ROC得分得到的一定的增強(qiáng)，在ResNet網(wǎng)絡(luò)這種性能表現(xiàn)較弱的學(xué)習(xí)機(jī)的提升更是明顯，并且對(duì)應(yīng)的預(yù)測(cè)結(jié)果得分相比原始模型更加平滑，在煤和矸石的圖像識(shí)別上具有更好的性能。

4 結(jié)束語

本文主要提出使用交叉驗(yàn)證的方法對(duì)煤和矸石圖像識(shí)別技術(shù)進(jìn)行研究，可以很好地對(duì)有限的數(shù)據(jù)資源進(jìn)行高效率的使用，并且通過針對(duì)性人工噪聲添加的方法來提升網(wǎng)絡(luò)模對(duì)煤和矸石復(fù)雜識(shí)別環(huán)境的魯棒性，從而提升了深度計(jì)算模型實(shí)際應(yīng)用價(jià)值。另外通過TTA技術(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行均值化處理，最后通過集成學(xué)習(xí)的方法融合多種深度識(shí)別模型方法對(duì)整個(gè)識(shí)別效果進(jìn)行性能提升，經(jīng)試驗(yàn)驗(yàn)證以上技術(shù)在煤和矸石識(shí)別的研究中對(duì)模型的整體提升具有顯著的效果，有效地促進(jìn)了深度學(xué)習(xí)在煤和矸石自動(dòng)識(shí)別領(lǐng)域的應(yīng)用，對(duì)未來進(jìn)步的推進(jìn)煤和矸石自動(dòng)化識(shí)別的研究具有較高的實(shí)際應(yīng)用價(jià)值和意義。

參考文獻(xiàn)：

[1] 孟繁明，郭科偉.基于雙能γ射線透射技術(shù)的煤矸石識(shí)別與分選系統(tǒng)研究[J].黑龍江科技信息，2013（36）：83.

[2] 李福仁.選煤技術(shù)及工藝流程的研究[J].石化技術(shù)，2020，27（7）：309，311.

[3] 余樂，鄭力新，杜永兆，等.采用部分灰度壓縮擴(kuò)階共生矩陣的煤和煤矸石圖像識(shí)別[J].華僑大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，39（6）：906-912.

[4] 洪惠超.基于機(jī)器視覺的煤矸石分選算法的研究[D].泉州：華僑大學(xué)，2018.

[5] 曹現(xiàn)剛，薛禎也.基于遷移學(xué)習(xí)的GoogLenet煤矸石圖像識(shí)別[J].軟件導(dǎo)刊，2019，18（12）：183-186.

[6] 王鵬，曹現(xiàn)剛，夏晶，等.基于機(jī)器視覺的多機(jī)械臂煤矸石分揀機(jī)器人系統(tǒng)研究[J].工礦自動(dòng)化，2019，45（9）：47-53.

[7] Tan MX，leQ V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019[LinkOut]

[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，Inception-ResNet and the Impact of Residual Connections on Learning[C].National Conference on Artificial Intelligence， 2016： 4278-4284.

[9] Wang G T，LiW Q，AertsenM，et al.Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks[J].Neurocomputing，2019，338：34-45.

【通聯(lián)編輯：梁書】