基于雙層路由注意力機制的煤粒粒度定量分析

程德強， 鄭麗娟， 劉敬敬， 寇旗旗， 江鶴

（1.中國礦業(yè)大學 信息與控制工程學院，江蘇 徐州 221000；2.中國礦業(yè)大學 計算機科學與技術學院，江蘇 徐州 221000）

0 引言

隨著煤炭工業(yè)不斷發(fā)展，煤粒粒度成為直接影響分析煤中甲烷氣體傳播規(guī)律的關鍵因素。不同粒度的煤粒對甲烷氣體的吸附、擴散及釋放等過程表現出顯著差異[1-2]。因此，煤粒粒度分析成為煤炭工業(yè)生產和能源利用領域的重點和熱點研究內容。

傳統(tǒng)的煤粒粒度分析方法包括篩分、液體排量和激光粒度分析等[3-4]，這些分析方法通過直接測量煤粒的篩選情況、沉降速度或光散射等物理特性來獲取煤粒的粒度信息。盡管這些方法在煤炭工業(yè)中有一定的應用，但它們在準確性、效率方面都存在限制，難以滿足現代工業(yè)生產的需求。

近年來，隨著圖像處理技術的快速發(fā)展，許多學者采用圖像分析法對煤粒粒度進行測量。文獻[5]利用圖像采集系統(tǒng)獲取煤粒的二維圖像，通過形態(tài)學方法測量粒度在1～2 mm的煤粒，進而推導出煤粒的粒度分布對甲烷氣體擴散系數的影響。但使用二維方法[6-7]對煤粒粒度進行研究時，常會面臨圖像噪聲、煤粒形狀多樣性等挑戰(zhàn)。文獻[8]使用X射線計算機斷層掃描技術，以微米級分辨率圖像直觀展示顆粒的三維粒度特征。由于X射線計算機斷層掃描儀價格昂貴，難以在實驗室中進行大規(guī)模應用。隨著計算機視覺技術的快速發(fā)展，基于深度學習[9]的語義分割網絡在處理復雜煤粒圖像時表現出色，能夠獲取更為準確的煤粒粒度特征。文獻[10]提出了一種基于區(qū)域的卷積神經網絡，用于煤粒圖像的分割，但由于缺乏路由模塊，導致網絡會過度關注像素之間微小的差異，從而造成過分割的問題。文獻[11-12]以U型網絡對煤塵顆粒圖像進行分割，成功獲取了煤粒粒度特征，證明了U型網絡可較好地滿足煤粒粒度分析的要求，且具有良好的知識遷移性，但直接使用U型網絡對煤粒進行分割時，傳統(tǒng)的跳躍連接不能很好地處理煤粒圖像像素之間的長程依賴性，從而造成漏分割情況。

為解決在煤粒分割過程中出現的過分割和漏分割問題，本文提出了一種基于雙層路由注意力機制（Bi-level Routing Attention，BRA）的煤粒粒度定量分析模型。首先，在殘差U型網絡ResNet-UNet中嵌入BRA模塊[13]，得到B-ResUNet網絡模型。然后，對分割出的煤粒提取特征信息，采用等效圓粒徑獲取煤粒粒度及粒度分布。

1 煤粒分割網絡模型

1.1 ResNet-UNet網絡

ResNet-UNet在U-Net基礎上使用34層殘差網絡作為編碼器，并使用7×7卷積核來提取圖像特征，這樣的設計使得ResNet-UNet具有出色的空間感知能力，能夠捕獲更多上下文信息，提取更全面的特征。直接將ResNet-UNet網絡應用于煤粒的分割時，由于煤粒圖像像素之間的依賴性，上下文信息在網絡傳輸中常常會丟失，從而造成漏分割的情況；對于大小和形狀相似的煤粒來說，ResNet-UNet網絡會過度關注像素之間微小的差異，從而造成過分割的問題。

1.2 BRA模塊結構

BRA模塊是一種通過雙層路由機制實現的自適應注意力模塊，其結構如圖1所示。其中，雙層路由機制由區(qū)域級路由和令牌級路由組成，這2個級別的路由有助于理解特征在不同路由區(qū)域之間的傳遞過程。

圖1 BRA模塊結構Fig.1 Structure of the BRA module

將H×L（長×寬）的二維輸入特征圖分為s×s個不重疊的區(qū)域，從而得到輸入特征圖中的特征向量。通過對這些特征向量進行線性映射，可得到查詢張量Q、鍵張量K和值張量V。

式中：xr為重塑后的特征圖；LQ，LK，LV分別為查詢張量、鍵張量、值張量在網絡中對應的權重。

采用Q、K的平均值進行區(qū)域級路由計算，并推導出區(qū)域級查詢張量Qr和區(qū)域級鍵張量Kr，將Qr與Kr的轉置矩陣相乘，得到區(qū)域間的鄰接矩陣Br。在注意力機制中，top-k策略[14]是一種選擇前k個最大或最小元素的算法。使用top-k策略選擇鄰接矩陣Ar的前k個最大元素，并通過topkindex方法返回這些元素的索引地址，將其保存在矩陣Fr中，以此來高效地定位有價值的鍵值對。

式中Γ（·）為topkindex方法。

索引地址在Fr中的分布是分散的，因此使用gather算法[15]從Fr中收集離散的鍵張量K和值張量V。為了捕捉路由區(qū)域中不同令牌之間的語義關系，采用細粒度的注意力機制。為增強上下文信息，在網絡模型中引入局部上下文增強數據U[16]。

其中：Kg為聚合鍵張量；G（·）為gather算法；Vg為聚合值張量；O為BRA模塊最后的輸出；Z(·)為注意力計算函數。

1.3 B-ResUNet網絡模型結構

為減少在煤粒分割過程中出現的漏分割問題，在ResNet-UNet網絡的上采樣前添加BRA模塊，使網絡根據上一層的特征調整當前特征層的重要性，增強特征的表達能力，提高長距離信息的傳遞能力。同時，為減少在煤粒分割過程中出現的過分割問題，在ResNet-UNet網絡的特征拼接模塊后添加BRA模塊，通過動態(tài)選擇和聚合重要特征，實現更有效的特征融合。

B-ResUNet網絡模型主要由編碼器和解碼器組成，并借助跳躍連接實現了不同特征層的融合，其結構如圖2所示。

圖2 B-ResUNet網絡模型結構Fig.2 Structure of B-ResUNet network model

在編碼器部分，本文以34層預訓練殘差網絡為基礎，通過5次下采樣來提取圖像的底層語義特征。首先對輸入圖像進行7×7的卷積處理，并利用3×3最大池化層提取圖像的重要信息。然后，使用4組通道數不同的殘差塊（3個通道數為64的殘差塊、4個通道數為128的殘差塊、6個通道數為256的殘差塊和3個通道數為512的殘差塊）對輸入向量進行特征融合，以緩解網絡梯度消失的現象。每個殘差塊由2個3×3卷積層和非線性激活單元組成，如圖3所示。其中，Xl為殘差塊的輸入，l為神經元的層數，f(·)為殘差網絡的映射函數，Yl為殘差塊的最終輸出。最后，使用2×2的最大池化層進行池化。在解碼器部分，網絡通過5次上采樣操作恢復編碼器輸出的語義特征，從而實現對圖像的精準分割。將解碼器輸出的結果與原始圖像尺寸相匹配，得到煤粒分割圖。

圖3 殘差塊Fig.3 Residual block

2 煤粒粒度分析

通過對分割出的煤粒提取特征信息，成功獲取煤粒粒度及粒度分布，這對于量化甲烷氣體傳播規(guī)律和優(yōu)化煤炭加工工藝具有重要意義。鑒于煤粒形態(tài)的多樣性，不同煤粒粒度表征方法可能引起不同程度的誤差[17]。因此，為了精確表征煤粒的粒度，選擇合適的粒度表示方法至關重要。

等效圓粒徑[18-19]是將顆粒的實際形態(tài)近似為具有相同面積的圓形，通過計算該圓形的直徑來獲得等效粒度，其等效過程如圖4所示。本文所制作的煤粒數據集中的粒度與細胞大小相當，且形態(tài)復雜多樣，因此，采用等效圓粒徑來表征煤粒的粒度大小。

圖4 等效圓粒徑原理Fig.4 Principle of the equivalent circular particle size

式中：D為等效圓粒徑；e為煤粒的實際面積。

在使用等效圓粒徑方法計算煤粒的像素粒度大小時，為了將像素轉換為實際尺寸，以確保粒徑測量的準確性，須確定像素與實際長度之間的轉換比例系數[20]。首先校準圖像中的像素大小，將像素轉換為實際尺寸。接著，進行圖像系統(tǒng)的標定，以建立圖像中像素坐標與實際物理坐標之間的轉換關系，從而確保粒度分析的準確性和可靠性。

選用邊長為5 mm的正方形[21]作為標定對象。

式中：?為長度比例系數；M為單位長度；E為單位長度的像素數；S′為實際的粒子面積；S為粒子以像素為單位的面積；P′為實際粒子周長；P為粒子以像素為單位的周長；d′為實際粒子直徑；d為粒子以像素為單位的直徑。

3 模型數據及訓練

3.1 數據集構建

基于深度學習的煤粒分割網絡需大量數據進行訓練，但網上缺乏開源的煤粒數據集。因此，本文制作了煤粒數據集。首先，從永煤集團股份有限公司順和煤礦隨機選取粒徑為1～2 mm的4 000多個煤粒，并將它們編組為1—6。然后，使用Labelme[22]對煤粒進行標注，并對標注后的圖像進行數據格式轉換和可視化，可視化結果如圖5所示。最后，為提高煤粒圖像質量并突出煤粒粒度特征，對煤粒圖像進行了預處理，其中包括圖像灰度化和二值化、高斯濾波和網格畸變、翻轉等。在網絡訓練過程中，按照5∶2∶1的比例將煤粒數據集劃分為訓練集、驗證集和測試集。其中訓練集和驗證集用于網絡模型訓練，測試集用于網絡模型評估。

圖5 煤樣可視化結果Fig.5 Visualization of coal sample

3.2 超參數設置與模型訓練

本文使用Pytorch1.12深度學習框架，在Windows10操作系統(tǒng)下進行煤粒的分割實驗。硬件環(huán)境為AMD Ryzen 55600x處理器、16 GiB內存和Nvidia GeForce RTX 3060 12 GiB顯存GPU。在自建的煤粒數據集上，利用34層殘差網絡的預訓練模型進行訓練。訓練輪數為15，訓練步長為1，批處理尺寸為2。訓練集包括約2 500個形態(tài)各異的煤粒，在訓練過程中，優(yōu)化器為AdamW，其學習率為0.001，權重衰減因子為0.01，動量參數β1和β2分別為0.9和0.999。使用交叉熵損失函數來計算網絡輸出結果與真實標簽之間的差異，并添加L2正則化項來減輕過擬合。為加快網絡模型的收斂速度，采用OneCycleLR訓練策略調整學習率。

式中：J為網絡總損失；η為煤粒的真實標簽；為網絡模型的預測概率；ψ為L2正則化項的超參數；||w||2為權重w的L2范數。

3.3 評估指標

采用準確率、平均交并比、召回率作為網絡模型的評價指標。

式中：A為準確率；NTP為模型正確預測為正類的樣本數；NTN為模型正確預測為負類的樣本數；NFP為模型錯誤預測為正類的樣本數；NFN為模型錯誤預測為負類的樣本數；I為平均交并比；R為召回率。

4 實驗結果與分析

4.1 煤粒分割實驗

4.1.1 對比實驗

為評估B-ResUNet在煤粒分割任務中的性能，將B-ResUNet網絡模型與PAN[23]、PSPNet[24]、U-Net[25]、Link-Net[26]和ResNet-UNet[27]網絡模型進行對比，結果見表1，從6組煤樣中隨機選取4組煤樣進行對比，不同網絡模型的語義分割結果如圖6所示。由表1可看出，B-ResUNet網絡模型在所有的分割指標中都取得了最佳結果。B-ResUNet網絡模型的準確率、平均交并比、召回率較ResNet-UNet基礎網絡模型分別提高了0.6%，14.3%，35.9%，這說明BRA模塊在提升分割性能方面的優(yōu)越性，證明了B-ResUNet網絡模型的卓越性。

表1 不同網絡模型評價指標對比Table 1 Comparison of the evaluation indexes of different network models%

圖6 不同網絡模型的語義分割結果Fig.6 Semantic segmentation results for the different network models

由圖6可看出，PAN、PSPNet、U-Net、Link-Net和ResNet-UNet網絡模型在煤粒分割過程中都存在不同程度的過分割和漏分割問題，B-ResUNet網絡模型在4組煤樣中具有較好的分割效果，能夠檢測出較為完整的顆粒結構。這是因為在B-ResUNet網絡中加入的BRA模塊使模型更加關注與分割相關的語義信息，忽略與模型無關的特征信息，從而突出煤粒邊界區(qū)域特征，有效改善顆粒分割效果。

4.1.2 消融實驗

為測試B-ResUNet網絡模型的效果，進行消融實驗。分別對比在解碼器結構的特征拼接后和上采樣前引入BRA模塊的情況，實驗結果如圖7所示，各模型性能見表2。可看出在沒有引入BRA模塊的情況下，網絡的特征提取效果最差，難以有效區(qū)分煤粒目標和背景；當在解碼器結構的上采樣前或特征拼接后引入BRA模塊時，網絡開始對煤粒的邊緣區(qū)域產生一定的關注，但關注程度并不是很高；在解碼器結構的上采樣前和特征拼接后均引入BRA模塊時，網絡對煤粒的邊緣區(qū)域給予了足夠的關注，且對一些不太重要的區(qū)域減少了關注度，從而提高了網絡的計算效率，B-ResUNet網絡模型的準確率、平均交并比、召回率分別為99.6%，92.6%，94.4%。這說明BRA模塊的引入對于改善分割性能和提高運行效率起到了積極的作用。

表2 各網絡模型性能Table 2 Network performan%

圖7 BRA模塊的消融實驗Fig.7 Ablation experiments of the BRA module

4.2 煤粒粒度分析

為獲得更準確的煤粒粒度分布，首先采用B-ResUNet語義分割網絡對6組煤粒圖像進行了分割。隨后，利用等效圓粒徑的方法表征煤粒粒度，從而得到了6組煤粒粒度分布直方圖，如圖8所示?？煽闯?組煤樣的粒度分布接近正態(tài)分布，表明煤粒的粒度大小在1～2 mm內呈相對均衡的分布趨勢，說明本文方法在粒度分析方面具有一定穩(wěn)定性。粒度在1～2 mm內的煤粒占比最大為99.04%，最小為90.59%，表明本文方法在粒度分析方面具有較高的準確性。

圖8 6組煤粒的粒度分布Fig.8 Particle size distribution of six groups of coal particles

為進一步驗證本文方法的可靠性和優(yōu)越性，采用本文方法、基于形態(tài)學的測量方法和基于激光粒度分析（Laser Particle Analyzer，LPA）的測量方法對6組煤樣在1～2 mm內的粒度分布進行了對比，結果見表3。

表3 不同方法測量粒度的準確率Table 3 Accuracy of particle size measurement by different methods%

由表3可看出，使用本文方法測量大小在1～2 mm范圍內的煤粒粒度準確率較基于形態(tài)學的測量方法、基于LPA的測量方法分別提高了12.92%，35.24%，準確率最高達97.42%。

5 結論

1） 為了更好地對煤粒圖像進行分割，設計了B-ResUNet語義分割網絡。與6種經典語義分割模型進行評估對比，B-ResUNet網絡模型準確率、平均交并比、召回率分別為99.6%，92.6%，94.4%，有效緩解了在分割煤粒的過程中出現的漏分割和過分割的情況，為獲取準確的煤粒粒度分布提供了可靠的基礎。

2）通過深度學習和圖像處理相結合的方法，得到了煤粒的粒度分布，并與基于形態(tài)學的測量方法和基于LPA的測量方法進行了對比。結果顯示，基于雙層路由注意力機制的圖像處理方法的準確率較基于形態(tài)學的測量方法、基于LPA測量方法分別提高了12.92%，35.24%。

3） 深度學習技術對訓練數據集的質量要求較高，且數據集越大、標注越精確，效果越好，這增加了方法的難度。因此，未來在煤粒粒度分析方面，需建立適用于廣泛場景且具有高準確度的深度學習模型，以進一步推動該領域的發(fā)展。