基于GhostNeXt-SlimNet的煤礦井下皮帶運輸機異物識別模型

謝子殿 馮海東

（黑龍江科技大學電氣與控制工程學院，黑龍江 哈爾濱 150022）

煤炭在我國能源中處于壓艙石的地位，智能化賦能煤礦安全生產，煤礦綠色、高效的高質量轉型發(fā)展成為必然。煤礦皮帶運輸系統(tǒng)作為原煤運輸?shù)闹饕绞剑瑢ΡＷC礦井正常生產起至關重要的作用。由于礦井皮帶運輸系統(tǒng)具有設備布置多、運輸量大、傳送速度快、運輸線路長且環(huán)境復雜等特點，因此作為煤炭生產運輸重要設備之一的皮帶機，具有運輸量大、傳送速度快、傳送距離遠以及可以適應復雜環(huán)境等特點。在生產過程中掉落在皮帶上的錨桿、角鐵以及大塊矸石等長桿利器和大塊容易導致皮帶發(fā)生斷帶、撕帶等故障[1-3]，造成非計劃停產，對煤礦安全、連續(xù)生產造成嚴重影響。

基于深度學習的圖像識別方法具有設備安裝簡便、維護成本低等優(yōu)點，逐漸成為皮帶運輸機非煤異物識別的主流方法。隨著科學技術發(fā)展，邊緣設備憑借其體積小、運用靈活、擴展性強且現(xiàn)場運行可靠等優(yōu)點，在煤礦生產中逐漸替代傳統(tǒng)服務器集中分析、處理與決策的方式，解決了系統(tǒng)延時較高、響應速度慢等問題。因此，該文提出一種基于YOLOv5改進的輕量化模型，在減少浮點運算量的同時，還可以提高網絡的檢測速度和精度。

1 非煤異物檢測模型

1.1 骨干網絡

為了在提高模型精度的同時不增加模型的運算量，骨干網絡采用Ghost 模塊與ConvNeXt 模塊相結合的方式形成GhostNeXt 骨干網絡。

1.1.1 Ghost 模塊

卷積神經網絡中冗余的特征信息圖具備較高的檢測性能，Ghost 模塊通過計算量更少的“廉價”線性操作方式替代普通卷積生成冗余特征圖，是GhostNet 的核心組件，其原理結構如圖1所示。Ghost 模塊先通過普通卷積生成不含冗余特征的本征特征圖，再通過恒等變換和線性運算生成含有冗余信息的特征圖。線性變換的實質是3×3 或5×5 深度可分離卷積。

圖1 Ghost 模塊結構原理

為了驗證Ghost模塊的高效性，根據(jù)參數(shù)量（Parameter）和每秒浮點運算次數(shù)（Flops）計算公式，將常規(guī)卷積方法與使用Ghost 卷積所得到的Parameter、Flops 分別作商，得到參數(shù)壓縮比rc和理論加速比rs，分別如公式（1）、公式（2）所示。

式中：w'為輸入特征圖的寬度；h'為輸入特征圖的高度；c為輸入特征圖的通道數(shù)；n為常規(guī)方法普通卷積核的個數(shù)；m為Ghost 模塊普通卷積核的個數(shù)；d為Ghost 模塊深度卷積核的大小；s為每個通道產生的總特征圖映射數(shù)（即1 個固有特征圖和s-1 個廉價特征圖）。

定義s=n/m，一般情況下m

1.1.2 ConvNeXt 模塊

ConvNeXt 借鑒Transformer 網絡的先進部分，同時還結合了CNN 網絡的特點，從而打造一種性能更高的CNN 網絡，其主要改進如下：1）采用GeLU 激活函數(shù)替換ReLU 激活函數(shù)（ReLU 激活函數(shù)特性曲線和GeLU激活函數(shù)特性曲線如圖2所示）。ReLU 激活函數(shù)如公式（3）所示。由圖3 可知，ReLU 活函數(shù)的缺陷是當某一神經元的輸入變量為非正數(shù)時，其輸出量為0，會導致該神經元“壞死”，從而限制模型的性能。GeLU 通過引入“隨機正則”，避免了負梯度時神經元“壞死”的缺陷，提高了模型的魯棒性，其函數(shù)如公式（4）所示。2）將深度可分離卷積遷移至1×1 升維卷積前，采用大7×7 核卷積。該操作在擴大感受野的同時還不會增加模型參數(shù)量。3）在減少歸一化函數(shù)使用的同時，采用使用層歸一化函數(shù)替代批量歸一化函數(shù)，克服了批歸一化函數(shù)受批尺寸影響較大的缺點。

圖2 ReLU 與GeLU 激活函數(shù)曲線對比圖

圖3 ResNet 與ConvNeXt 結構對比

經上述改進后，ConvNeXt 模塊的最終結構如圖3（b）所示。

式中：x為輸入變量，即函數(shù)的自變量；r（x）為GeLU 激活函數(shù)的輸出變量，即因變量。

式中：g（x）為GeLu 激活函數(shù)輸出量，即函數(shù)的因變量；t為高斯函數(shù)積分變量。

1.2 瓶頸網絡

Ghost 模塊中的深度可分離卷積在減少模型計算量的同時，也不可避免地忽視了各通道之間相同位置上的特征信息。通道密集卷積計算最大限度地保留了每個通道之間的隱藏連接，因此對Ghost 模塊進行改進，在其后增加通道混洗操作，將輸出的特征圖重新分組排布，得到深度可分離通道密集卷積（GSConv）模塊，其結構原理如圖4所示。

圖4 GSConv 結構原理

在GSConv 模塊的基礎上搭建如圖5（a）所示的GSBottleneck，再引入“一次性聚合”的方法來設計跨級部分網絡（VoV-GSCSP）模塊（如圖6（b）所示），該模塊降低了計算和網絡結構的復雜性，但是保持了足夠的精度。最終將GSConv 模塊與VoVGSCP 模塊有機組合，以構成Slim Neck 網絡（如圖5所示。）

圖5 SlimNeck 結構原理

圖6 GSBottleneck 與VoVGSCP 結構原理

2 試驗

2.1 數(shù)據(jù)集構建

首先，該文使用的數(shù)據(jù)均是通過模擬煤礦井下環(huán)境，在皮帶上對煤和非煤異物混合進行多角度拍攝得到的，包括錨桿、角鐵、工字鋼、電鎬以及煤矸石等常見非煤異物。如圖7所示，為了使數(shù)據(jù)集更接近煤礦井下真實環(huán)境，采用Albumenations 庫對采集的圖像進行旋轉、鏡像、霧化以及對比度變換等一系列擴充和數(shù)據(jù)增強處理，擴充后的數(shù)據(jù)集包括3 000 張圖片。

圖7 數(shù)據(jù)增強

其次，使用LabellImg 對圖片進行標注（如圖8所示），標注的內容包括編號、異物名稱、邊框中心點坐標橫縱坐標（xa，ya）、邊框的寬度和高度（wa，ha）等（保存的標簽文件格式為xml）。

圖8 標簽文件生成

最后，將標簽文件的格式轉換為txt 文本形式，并按照7∶2∶1 的比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集。

2.2 模型訓練

硬件平臺采用AMD R5 3600 CPU和NVIDIA RTX 3050 8G GPU，操作系統(tǒng)為Ubuntu Kylin 20.04 LTS，應用軟件環(huán)境為CUDA 11.6、Python 3.8 以及Pytorch 1.13.0，訓練輪數(shù)為150 輪，批尺寸大小為32。

2.3 結果比對

該文通過消融試驗證明GhostNeXt-Slim Net模型具有較高的性能。該文的評價指標為精確率P、召回率R、所有類別平均精確率M、每秒十億次浮點運算數(shù)G以及推理時間T。

前3 個評價指標的計算公式分別如公式（5）～公式（7）所示。

式中：TP為正樣本被正確識別的數(shù)量；FP為誤判為正樣本的負樣本數(shù)量；FN為漏報的正樣本數(shù)量；n為各類非煤異物樣本總數(shù)；N為非煤異物類別數(shù)。

TP、FN、FP和TN（TN為負樣本被正確識別的數(shù)量）的定義見表1。

表1 TP、TN、FP 和FN 的定義表

設定模型一為GhostNet 原網絡；模型二將骨干網絡修改為GhostNeXt，不更改頸部網絡；模型三將頸部網絡更換為Slim Neck，骨干網絡不做修改；模型四為該文的最終模型，將骨干網絡修改為GhostNeXt，并且將將頸部網絡更換為Slim Neck，然后對4 種網絡模型進行逐一訓練。4 種模型平均精確率隨迭代次數(shù)變化情況對比效果如圖9所示，系統(tǒng)自動統(tǒng)計生成的各類指標數(shù)據(jù)見表2。

表2 消融試驗對比表

圖9 對比效果圖

該文采用GhostNeXt 主干網絡提高了非煤異物識別的精確率和召回率，縮短了推理時間。采用Slim Neck 在降低模型運算量的同時幾乎不影響其他性能指標。各類異物識別提升效果見表3。

表3 各類異物識別效果比對

2.4 邊緣平臺部署

為了進一步展示該文的模型GhostNeXt-Slim Net 的優(yōu)化效果，筆者將該模型部署在邊緣設備中。該邊緣設備搭載HM87 低功耗工業(yè)主板；CPU為雙核雙線程的英特爾奔騰3560M；GPU 是基于GP108-300 核心的英偉達GT 1030，擁有300 多個CUDA 處理器，而散熱設計功耗TDP 僅為30 W。操作系統(tǒng)選用基于Linux 核心的Fedora 29，該系統(tǒng)易用性高，方便管理員監(jiān)控和管理系統(tǒng)。CUDA 環(huán)境為10.2，可以與該邊緣平臺的GPU完美兼容。

由表4 可知，雖然曠視輕量網絡（Shfflenet）v2 與移動網絡v3S（Mobilenet v3 Small）擁有更快的識別幀率，但是檢測精度較低，不僅置信度偏低，而且還出現(xiàn)漏檢現(xiàn)象。與移動網絡v3L（Mobilenet v3 Large）相比，該文的模型網絡擁有更快的識別幀率和更高的識別精度。因此，該文模型實現(xiàn)了模型識別精度與速度的平衡優(yōu)化目標。

表4 各輕量化網絡識別效果比對

3 結語

綜上所述，該文得出以下3 個結論：1）該文結合Ghost模塊與ConvNeXt 模塊的GhostNext 主干網絡，以增加極少運算量為代價提高了模型提取特征的能力。2）Slim 頸部結構在幾乎不影響精確度和推理速度的情況下，減少了模型的運算量。3）該文的模型GhostNeXt-SlimNet 有效權衡了模型的精確度和運算量，既能滿足煤礦實際生產對非煤異物識別精度的需求，又能在邊緣設備上流暢地運行。