X 射線透射煤矸智能識別方法

王文鑫，黃杰，王秀宇，史玉林，吳高昌，3

（1. 東北大學(xué) 流程工業(yè)綜合自動化國家重點實驗室，遼寧 沈陽 110819；2. 沈陽隆基電磁科技股份有限公司，遼寧 沈撫新區(qū) 113122；3. 東北大學(xué) 工業(yè)人工智能研究院，遼寧 沈陽 110819）

0 引言

煤矸分選是提高煤質(zhì)、高效利用煤炭資源、實現(xiàn)綠色節(jié)能開采與加工的重要途徑。煤矸分選以干選法和濕選法為主。濕選法需消耗大量水資源，而干選法可在有效利用煤炭資源的前提下，減輕對環(huán)境的破壞。而在眾多煤矸干選法中，基于偽雙能X 射線透射 （X-Ray Transmission，XRT） 的煤矸分選技術(shù)是目前研究熱點。偽雙能XRT 技術(shù)對物體具有較強(qiáng)的穿透能力，在檢測過程中不受灰塵、光線等環(huán)境因素的影響，廣泛應(yīng)用于煤矸分選、有色金屬分選、資源回收等工業(yè)預(yù)分選領(lǐng)域，可有效減少生產(chǎn)過程中的原材料消耗。

基于偽雙能XRT 的煤矸分選技術(shù)利用XRT 系統(tǒng)采集煤矸圖像。該系統(tǒng)由X 射線源、低能探測器、高能探測器、準(zhǔn)直器、銅濾片組成。當(dāng)煤矸在膠帶運輸過程中以一定速度經(jīng)過XRT 系統(tǒng)時，高低能探測器依據(jù)煤或矸石對X 射線的吸收程度不同，生成不同灰度值的煤矸圖像，基于圖像處理和分析技術(shù)可識別煤矸，進(jìn)而實現(xiàn)煤矸分選。其中煤矸識別為該分選技術(shù)的重要環(huán)節(jié)。受工業(yè)現(xiàn)場生產(chǎn)環(huán)境及效率影響，現(xiàn)有圖像處理算法用于煤矸識別時精度不高，主要原因如下。

（1） 煤矸分割問題?，F(xiàn)場實際開采的煤與矸石通常形態(tài)各異且排布緊密，因此采集的偽雙能X 射線煤矸圖像往往存在煤矸緊貼和遮擋的情況，影響后續(xù)識別。目前常見的解決方案包括傳統(tǒng)圖像分割方法和基于深度學(xué)習(xí)的圖像分割方法。傳統(tǒng)圖像分割方法如Canny 邊緣檢測算法采用邊緣連接方法將邊緣縫隙連接成閉合區(qū)域，利用閾值處理、區(qū)域生長、聚類等方法對相似區(qū)域進(jìn)行聚合，從而實現(xiàn)緊貼和遮擋的煤矸區(qū)域分割；活動區(qū)域模型 （Active Contour Model，ACM）[1]可對強(qiáng)度不均勻煤矸輪廓進(jìn)行分割處理。傳統(tǒng)圖像分割方法難以將一張圖像中的所有煤矸有效分割，易造成將多塊煤或矸石分割為1 塊（欠分割），或?qū)? 塊煤或矸石分割為多塊（過分割）的情況。對于欠分割情況，若被識別矸石中含煤，會造成分選率降低；對于過分割情況，若被分割煤塊被誤判為矸石，則會造成煤漏選?；谏疃葘W(xué)習(xí)的圖像分割方法在全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[2]基礎(chǔ)上，通過上采樣實現(xiàn)任意分辨率的像素級預(yù)測，如SegNet[3]，U-Net[4]等模型。

（2） 煤矸分類識別問題。目前工業(yè)現(xiàn)場多采用人工閾值判別方式對煤矸進(jìn)行分類識別，即針對偽雙能X 射線煤矸圖像，人工設(shè)置煤和矸石的物理特征[5]、灰度特征等閾值，據(jù)此判別煤與矸石。該方式極度依賴主觀經(jīng)驗，且過于簡單，缺乏足夠的統(tǒng)計信息支撐，得到的決策曲線極易造成誤判。針對該問題，文獻(xiàn)[6]采用灰度共生矩陣為特征，以支持向量機(jī)（Support Vector Machine，SVM）為分類器進(jìn)行煤矸識別，但未考慮煤矸緊貼和遮擋情況對識別結(jié)果的影響；文獻(xiàn)[7]利用目標(biāo)檢測算法，通過訓(xùn)練端到端的單階段深度學(xué)習(xí)網(wǎng)絡(luò)實現(xiàn)對X 射線煤矸圖像定位和分類；文獻(xiàn)[8]針對普通工業(yè)相機(jī)采集的煤矸圖像，提出基于改進(jìn)型VGG16 網(wǎng)絡(luò)的煤矸識別模型，但該模型數(shù)據(jù)集受工業(yè)現(xiàn)場燈光、煙塵等環(huán)境因素的影響，煤矸識別準(zhǔn)確率有待進(jìn)一步提高。

針對上述問題，本文提出一種偽雙能XRT 煤矸智能識別方法：結(jié)合感受野模塊 （Receptive Field Block，RFB）與U-Net 模型對X 射線煤矸圖像進(jìn)行分割，解決緊貼或遮擋的煤矸區(qū)域影響后續(xù)識別精度的問題；結(jié)合煤矸的紋理特征和灰度特征，采用機(jī)器學(xué)習(xí)分類器識別煤矸。實驗表明，該方法能夠有效識別煤矸，識別準(zhǔn)確率、排矸率、實時性等滿足實際生產(chǎn)要求。

1 煤矸圖像分割

采用RFB 與U-Net 相結(jié)合的圖像分割模型，即RFB+U-Net 模型對X 射線煤矸圖像進(jìn)行分割。該模型分為編碼器和解碼器2 個部分。編碼器利用結(jié)合RFB 的卷積操作實現(xiàn)下采樣，同時采用多個卷積層進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，以提取豐富的特征信息；解碼器利用跳躍連接操作將語義信息豐富的特征層還原到語義信息較少的特征層，結(jié)合反卷積層實現(xiàn)圖像上采樣。

RFB+U-Net 模型結(jié)構(gòu)如圖1 所示。該模型以偽雙能X 射線煤矸圖像作為輸入，通道數(shù)為2，即低能圖像為第1 個通道，高能圖像為第2 個通道。設(shè)輸入圖像尺寸為h×w×2，其中h為圖像高度，w為圖像寬度（本文中h，w均取128）。在編碼器部分，輸入圖像先經(jīng)過第1 層卷積層Conv1 處理，實現(xiàn)通道數(shù)擴(kuò)展，輸出圖像大小為h×w×8。卷積層Conv2-Conv5 對圖像進(jìn)行下采樣操作以提取特征，最終輸出圖像大小為×128。編碼器中各卷積層卷積核大小均為 3×3，卷積步長為1，每層卷積層有1 個ReLU 激活函數(shù)、1 個2×2 的最大池化層，且在Conv2，Conv3 中增加RFB。在解碼器部分，編碼器輸出圖像先經(jīng)過卷積層Conv（卷積核大小為3×3）處理，再由反卷積層Deconv1-Deconv4 進(jìn)行上采樣操作。上采樣過程中為防止圖像邊緣信息丟失，通過跳躍連接將各反卷積層輸出圖像與下采樣過程中對應(yīng)相同通道數(shù)的卷積層輸出圖像拼接。上采樣最終輸出圖像大小為h×w×8。輸出層采用1 個3×3卷積核對上采樣輸出圖像進(jìn)行卷積操作，通過Sigmoid 激活函數(shù)輸出大小為h×w×1的圖像。

2 煤矸識別

X 射線煤矸圖像識別主要包括特征提取與分類器分類2 個部分。在提取特征前，將待分類X 射線煤矸圖像分為高能圖像IH(x,y)、低能圖像IL(x,y)，（x，y）為像素點坐標(biāo)。為獲取煤矸圖像的紋理特征，對IL(x,y)進(jìn)行圖像銳化，結(jié)果為

圖 1 RFB+U-Net 模型結(jié)構(gòu)Fig. 1 Releptive field block （RFB）+U-Net model structure

式中?2IL(x,y)為拉普拉斯算子。

經(jīng)過圖像銳化操作后，煤矸輪廓邊緣被增強(qiáng)，且紋理特征更明顯。采用低能圖像銳化最小值及銳化均差作為煤矸紋理特征，其中銳化均差為

式中I′Lmin(x,y)為低能圖像銳化最小值。

根據(jù)偽雙能XRT 技術(shù)原理，X 射線煤矸圖像的灰度值通常反映煤矸對X 射線的吸收程度，因此采用低能圖像灰度最小值作為煤矸灰度特征，即

式中：M(IL(x,y))為 煤矸灰度特征；ILmin(x,y)為低能圖像灰度最小值。

綜上，將灰度特征中的低能圖像灰度最小值、紋理特征中的低能圖像銳化最小值和銳化均差作為煤矸識別特征，將其提取并輸入煤矸識別模型。

煤矸識別模型采用機(jī)器學(xué)習(xí)中的多層感知機(jī)（Multilayer Perceptron，MLP）[9]模型。MLP 模型本質(zhì)上為人工神經(jīng)網(wǎng)絡(luò)模型，主要包括輸入層、隱藏層、輸出層，每層包括多個神經(jīng)元節(jié)點。節(jié)點之間的全連接傳輸使得單個節(jié)點為線性輸出，因此對每個節(jié)點添加非線性激活函數(shù)ReLU，實現(xiàn)非線性變換輸出。為使模型預(yù)測結(jié)果接近真實值，在模型迭代過程中加入誤差損失函數(shù)，使模型在迭代次數(shù)截止或損失函數(shù)收斂到最小值時結(jié)束訓(xùn)練，輸出預(yù)測結(jié)果。以隱藏層數(shù)為8 的MLP 模型為例，其結(jié)構(gòu)如圖2 所示。其中X1，X2，…，Xn為輸入特征，n為輸入特征總數(shù)；Yij為第i層隱藏層第j個神經(jīng)元節(jié)點輸出，i=0，1，…，7，j=1，2，…，m，m為隱藏層神經(jīng)元節(jié)點數(shù)，m=1～100；Y為輸出層輸出結(jié)果。

圖 2 MLP 模型結(jié)構(gòu)Fig. 2 Multilayer perceptron（MLP） model structures

3 實驗與結(jié)果分析

3.1 煤矸圖像分割實驗

在煤矸圖像分割實驗中，對現(xiàn)場采集的568 張偽雙能X 射線煤矸圖像（帶標(biāo)簽信息） 進(jìn)行數(shù)據(jù)增廣，采用滑動窗口取值、圖像空間翻轉(zhuǎn)等方法獲得54 528 張分辨率為128×128 的帶標(biāo)簽圖像，并將其按7∶3 分為訓(xùn)練集和驗證集。從原圖像中隨機(jī)抽取534 張圖像作為測試集，對圖像分割模型進(jìn)行評價。評價指標(biāo)為煤矸分割準(zhǔn)確率、煤矸粒度精度、煤矸像素均交并比、模型推理時間。

煤矸分割準(zhǔn)確率RA為一張圖像中正確分割的煤矸數(shù)量與實際煤矸總數(shù)量的比值，即

式中：NT為煤矸圖像中實際煤矸總數(shù)量；NF為錯誤分割（過分割或欠分割）的煤矸數(shù)量。

煤矸粒度精度GA為一張圖像中正確分割出的煤矸粒度與實際煤矸粒度的比值，即

式中：p為標(biāo)簽圖像中煤矸粒度；為分割圖像中煤矸粒度。

煤矸粒度近似為圖像中煤矸像素面積擬合成的圓的直徑，即

式中：c0為傳感器系數(shù)；A為圖像中煤矸像素面積。

煤矸圖像分割效果決定了分割出的煤矸像素面積，從而影響煤矸粒度精度。煤矸像素均交并比為真實值集合和預(yù)測值集合中所有類別（煤矸和背景）交集和并集比值的平均值。模型推理時間為從開始執(zhí)行模型推理到獲得模型推理結(jié)果的時間。

在相同訓(xùn)練集、驗證集、測試集及實驗條件下，分別采用U-Net 模型、SegNet 模型、RFB+U-Net 模型、以同等感受野卷積操作代替RFB 的U-Net 模型（同等感受野U-Net 模型）這4 種卷積神經(jīng)網(wǎng)絡(luò)模型及傳統(tǒng)能量泛函的ACM 進(jìn)行圖像分割實驗，不同模型的評價指標(biāo)見表1。

表 1 不同圖像分割模型評價指標(biāo)對比Table 1 Comparison of evaluation indexes of different image segmentation models

從表1 可看出：卷積神經(jīng)網(wǎng)絡(luò)模型對煤矸圖像分割的準(zhǔn)確率明顯高于傳統(tǒng)能量泛函的ACM；RFB+U-Net 模型在煤矸分割準(zhǔn)確率、煤矸粒度精度、煤矸像素均交并比方面均優(yōu)于其他模型，其推理時間稍長于U-Net 模型，短于其他模型，這表明RFB+U-Net 模型可實現(xiàn)與更深層神經(jīng)網(wǎng)絡(luò)模型相同的分割效果，同時保持了原始輕量級模型的高處理速度。

為進(jìn)一步驗證不同模型的分割性能，對ACM、U-Net 模型、SegNet 模型、RFB+U-Net 模型的圖像分割結(jié)果進(jìn)行對比，如圖3 所示?？煽闯鯝CM 基本上無法有效分割煤矸，同時分割圖像上存在較大孔洞；SegNet 模型基本實現(xiàn)了圖像分割功能，但存在邊緣不平滑現(xiàn)象；U-Net 模型分割結(jié)果同樣存在邊緣不平滑現(xiàn)象，且圖像還原效果稍差；RFB+U-Net 模型能夠有效實現(xiàn)煤矸圖像分割，且分割圖像邊緣相對平滑，與原圖像更接近。

3.2 煤矸識別模型消融實驗

現(xiàn)場采集538 組X 射線煤矸圖像（共含634 塊煤矸），將其按7∶3 分為訓(xùn)練集和驗證集，對煤矸識別模型進(jìn)行訓(xùn)練和驗證?，F(xiàn)場采集765 組煤矸圖像（共含905 塊煤矸）作為測試集1、658 組煤矸圖像（共含1 086 塊煤矸）作為測試集2，對煤矸識別模型進(jìn)行測試。煤矸圖像中入料粒度為100～25 mm。

為確定煤矸識別模型的隱藏層數(shù)量，進(jìn)行MLP模型隱藏層數(shù)量消融實驗。分別建立隱藏層數(shù)量為3，5，8，10，15，20 的6 組MLP 模型，在相同訓(xùn)練集、驗證集、測試集及輸入特征條件下，設(shè)置模型訓(xùn)練迭代次數(shù)為8 000，batchsize 為16，學(xué)習(xí)率為0.000 5。訓(xùn)練得到的MLP 模型在測試集1 與測試集2 上的煤矸識別平均準(zhǔn)確率如圖4 所示?？煽闯鯩LP 模型隱藏層數(shù)量為8 時，該模型在2 組測試集上的平均準(zhǔn)確率較高，均達(dá)到87%以上，且識別較穩(wěn)定。

為驗證MLP 模型的收斂性，對不同隱藏層數(shù)量的MLP 模型訓(xùn)練過程中前1 000 次迭代的損失函數(shù)進(jìn)行對比，結(jié)果如圖5 所示?？煽闯鲭S著迭代次數(shù)增加，隱藏層數(shù)量為8 的MLP 模型損失函數(shù)較隱藏層數(shù)量為3，5，10，15，20 的模型收斂更快，損失函數(shù)震蕩和損失值更小，收斂性能更穩(wěn)定。因此，將MLP 模型隱藏層數(shù)量選為8。

圖 3 不同圖像分割模型的煤矸圖像分割結(jié)果Fig. 3 Coal-gangue image segmentation results of different image segmentation models

圖 4 MLP 模型隱藏層數(shù)量消融實驗結(jié)果Fig. 4 Ablation experiment results of hidden layer number of MLP models

圖 5 不同隱藏層數(shù)量的MLP 模型收斂性能對比Fig. 5 Convergence performance comparison of MLP models with different hidden layer number

3.3 煤矸識別實驗

在輸入特征為低能圖像灰度最小值、銳化最小值、銳化灰度均差條件下，采用與煤矸識別模型消融實驗相同的訓(xùn)練集、驗證集和測試集，對MLP 模型及基于貝葉斯分類器[10]、SVM[11]、邏輯回歸[12]、決策樹[13]、梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）[14]、K 近 鄰 算 法（K-Nearest Neighbor，KNN）[15]的煤矸識別模型進(jìn)行性能評價。評價指標(biāo)選擇煤矸識別平均準(zhǔn)確率、排矸率、矸石帶煤率。

煤矸識別平均準(zhǔn)確率為

式中：N1為識別正確的煤矸數(shù)量；N為實際煤矸總數(shù)量。

式中：Nc1為 識別正確的煤數(shù)量；Ng1為識別正確的矸石數(shù)量；Nc為實際煤數(shù)量；Ng為實際矸石數(shù)量。

排矸率（以矸石和精煤分選密度為1.8 g/c m3計算）為

式中： γ為矸石帶煤率；V為識別正確的矸石產(chǎn)率；Vs為矸石理論產(chǎn)率。

式中：Wc為矸石產(chǎn)品中經(jīng)人工分選得到的密度小于1.8 g/ cm3的矸石質(zhì)量，即矸石產(chǎn)品中煤的質(zhì)量；W為矸石產(chǎn)品總質(zhì)量；qg1為 識別正確的矸石總質(zhì)量；q為實際煤矸總質(zhì)量；qg為實際矸石總質(zhì)量。

不同煤矸識別模型在測試集1 與測試集2 上的評價結(jié)果如圖6 所示?？煽闯鯩LP 模型的煤矸識別平均準(zhǔn)確率、排矸率均高于其他模型，其在測試集2 上的矸石帶煤率最低，在測試集1 上的矸石帶煤率也可滿足光電智能干法分選機(jī)在入料粒度為100～25 mm 時矸石帶煤率要求（不超過3%）。

圖 6 不同煤矸識別模型的評價結(jié)果Fig. 6 Evaluation results of different coal-gaugue recognition models

4 結(jié)論

（1） 提出的偽雙能XRT 煤矸智能識別技術(shù)包括2 個階段：針對偽雙能X 射線煤矸圖像因煤矸緊貼或遮擋情況而影響識別精度的問題，采用RFB+U-Net 模型實現(xiàn)煤矸圖像有效分割；提取X 射線煤矸圖像的紋理特征及灰度特征作為煤矸識別特征，采用MLP 模型實現(xiàn)高精度煤矸識別。

（2） 在偽雙能X 射線煤矸圖像分割方面，通過評價不同圖像分割模型性能得出， RFB+U-Net 模型的煤矸分割準(zhǔn)確率、煤矸粒度精度、煤矸像素均交并比均優(yōu)于ACM、U-Net 模型、SegNet 模型、同等感受野U-Net 模型，模型推理時間較短，滿足分割實時性要求。通過對比不同模型的煤矸分割圖像得出，RFB+U-Net 模型分割效果優(yōu)于其他模型。

（3） 在偽雙能X 射線煤矸圖像識別方面，通過MLP 模型隱藏層數(shù)量消融實驗，確定采用隱藏層數(shù)量為8 的MLP 模型為煤矸識別模型，該模型在2 組測試集下的煤矸識別平均準(zhǔn)確率均為87%以上。在相同數(shù)據(jù)集及實驗條件下，對不同煤矸識別模型性能進(jìn)行評價，結(jié)果表明MLP 模型的煤矸識別平均準(zhǔn)確率、排矸率均高于基于貝葉斯分類器、SVM、邏輯回歸、決策樹、GBDT、KNN 模型，且矸石帶煤率滿足實際干法分選要求。