基于改進ConvNeXt模型的輕量化巖屑巖性識別方法

摘" 要： 巖屑錄井在地質分析及油氣勘探等領域起著重要的作用，巖屑巖性識別是其中一項關鍵內容，但目前識別手段難以兼顧準確性與輕量性。為提高識別效率，保證錄井工作的高效進行，提出一種基于改進ConvNeXt模型的輕量化識別方法。通過分析調整ConvNeXt模型的網絡層數，并將其中大部分傳統卷積替換為Ghost卷積，減少了模型的冗余參數；同時，融合SimAM無參注意力機制，在不增加模型參數的情況下提升了模型性能。實驗結果表明：改進后的ConvNeXt模型參數量和權重文件大小分別僅有15.44×106和15.5 MB，浮點運算量為0.69×109，參數量和運算量遠低于大部分網絡模型，便于嵌入到各種移動設備中；且在測試集上的綜合識別準確率可達到99.64%，高于ConvNeXt?S模型，滿足識別的可靠性要求。所提模型兼具了準確性與輕量性的特點，能較好地滿足實際錄井工作中的巖屑識別任務。

關鍵詞： 巖屑巖性識別； ConvNeXt模型； Ghost卷積； SimAM注意力機制； 輕量化； 消融實驗

中圖分類號： TN919.8?34； TP391.4" " " " " " " " 文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）24?0131?06

Method of lightweight rock debris lithology identification based on

improved ConvNeXt model

YANG Yuxuan， ZHONG Baorong

（College of Computer Science， Yangtze University， Jingzhou 434023， China）

Abstract： Rock debris logging plays an important role in geological analysis and oil and gas exploration， among which rock debris lithology identification is a key content. However， current identification methods are difficult to balance accuracy and lightweight. In order to improve the identification efficiency and ensure efficient logging work， an identification method based on improved lightweight ConvNeXt model is proposed. By adjusting the network layers of the ConvNeXt model and replacing most of the traditional convolutions with Ghost convolutions， the redundant parameters of the model are reduced. The SimAM parameterless attention mechanism is integrated to improve the model performance without increasing model parameters. The experimental results show that the improved ConvNeXt model has a parameter count and weight file size of only 15.44×106 and 15.5 MB， respectively， with a floating?point operation of 0.69×109. The parameter count and operation count are much lower than most network models， making it easy to embed into various mobile devices. Moreover， the comprehensive recognition accuracy on the test set can reach 99.64%， slightly higher than the ConvNeXt?S model， meeting the reliability requirements of recognition. The proposed model combines the characteristics of accuracy and lightweight， and can effectively meet the rock debris identification tasks in practical logging work.

Keywords： rock debris lithology identification; ConvNeXt model; Ghost convolution; SimAM attention mechanism; lightweight; ablation experiment

0" 引" 言

錄井是在鉆井現場直接獲取第一手實物、數據及影像等資料，提供地質、工程、信息一體化服務的技術[1]。通過分析識別在鉆井過程中隨鉆井液返回至地面上的巖屑，可得到地質構造以及油氣勘探方面的重要信息。關于巖屑巖性的分析識別，傳統的方法是通過人工利用顯微鏡等分析工具基于不同巖屑的物理和化學特性的差異進行判斷，依賴工作人員的主觀經驗，識別效率和可靠性較低。近年來由于機器學習及神經網絡的發(fā)展，巖屑巖性識別也逐漸轉為自動化識別，如：文獻[2]采用隨機森林算法實現火山巖巖性識別；文獻[3]通過結合隨機森林與K?近鄰算法，對小樣本下的火成巖巖性劃分提出了解決方法；文獻[4]在LightGBM算法的基礎上，利用GS算法對訓練時的超參數進行優(yōu)化，提出了GS?LightGBM機器學習模型，保證一定精度的同時提升了預測速度；文獻[5]基于巖石的高光譜圖像數據集，結合XGBoost決策樹和貪婪搜索算法構建了一種兩層梯度增強分類模型，綜合準確率可達到83%以上；文獻[6]構建了結合異常點檢測、多類分類和極端隨機樹分類器的機器學習方法，對包含離群值的數據集有較好的訓練效果。

以上方法均屬于傳統機器學習算法的分類研究，也稱為淺層次結構模型研究[7]，相較于深度學習模型，有較快的運行速度，但精度稍有不足。深度學習模型在提取圖像深層特征方面有明顯優(yōu)勢，例如：文獻[8]使用ResNet50模型作為特征提取器，并結合多尺度方法實現巖石巖性識別，最終準確率達到95%；文獻[9]利用LSTM神經網絡，結合巖性敏感的測井參數構建識別模型，識別效果相較于傳統機器學習有較大提升；文獻[10]采用遷移學習的訓練方法，以ResNet101為基準模型，在高質量巖石數據集上準確率達到了90%以上；文獻[11]提出的基于CNN的分類算法，對于不同站點的高光譜巖石圖像分類準確率均在94%以上；文獻[12]在鉆井過程中采集鉆柱振動數據，結合MobileNet和ResNet作為分類模型，使得模型有低延遲特性，并且分類準確率可達90%。

綜上所述，上面提到的兩類方法各有優(yōu)劣，傳統機器學習參數量較少，精度相較深度學習網絡略顯不足；但一般深度網絡模型參數量較大，可移植性不強。為滿足實際錄井過程的需要，本文以5種巖屑作為樣本數據集，包括碳酸鹽巖、礫巖、砂巖、泥巖和頁巖，對深度學習模型ConvNeXt[13]進行改進，使之保持高精度的同時滿足輕量化的要求。

1" 巖屑分類模型設計

1.1" ConvNeXt

ConvNeXt模型是一個深度卷積網絡模型，近幾年基于Transformer的深度學習模型逐漸成為趨勢，如2021年出現的Swin Transformer[14]。而ConvNeXt通過借鑒該模型的結構及訓練策略，僅使用純卷積的結構完成了對Transformer模型的超越，從側面說明了Transformer模型在準確率上的成功不一定是這類模型結構上的先進性，可能更在于訓練策略的正確使用。ConvNeXt主要由4個stage堆疊而來，每個stage包括一個下采樣模塊和多個ConvNeXt Block。其中第一個stage下采樣部分卷積核尺寸為4×4，步長為4，其他stage下采樣部分卷積核尺寸為2×2，步長為2，最后通過全局平均池化、層歸一化和全連接層得到結果。ConvNeXt結構如圖1所示。

1.2" Ghost Module

Ghost Module也稱Ghost卷積，是GhostNet[15]中的主要模塊，可以用來代替常規(guī)卷積，在減少模型參數量、降低計算資源的同時保持模型的性能。在一般卷積操作中，生成的特征圖在通道方向上有部分相似的內容，在這些相似內容中，將某個特征稱為本征特征，其他作為該特征的Ghost特征。在Ghost卷積中將本征特征和Ghost特征的生成分離開，采用計算量更小的網絡單獨生成Ghost特征。Ghost卷積由主卷積和輔助卷積兩部分組成。最終將主卷積提取的本征特征與輔助卷積對本征特征提取得到的Ghost特征進行拼接，形成輸出特征圖。Ghost Module結構如圖2所示。通過這種方式減少了特征提取過程中產生的冗余計算，提升了計算效率。

1.3" SimAM注意力機制

不同于SE注意力機制的一維通道注意力和CBAM中簡單將通道與空間注意力的結合，SimAM[16]注意力機制直接得到了每個神經元的三維注意力權重。SimAM注意力機制借鑒成熟的神經科學理論，得到神經元的優(yōu)先級與神經元之間的線性可分離性，其呈正相關，從而可得到神經元“真實”三維權重的能量函數，如式（1）所示。此外，由于SimAM是通過神經元之間的關系計算注意力權重，則避免了額外的參數學習。[et（wt，bt，xi）=1M-1i=1M-1（-1-（wtxi+bt））2+" " " " " " " " " " " "（1-（wtxi+bt））2+λw2t] （1）

式中：[et]表示得到的注意力權重；M為樣本數量；[wt]和[bt]分別表示權重和偏置；[xi]表示第i個樣本的特征向量；λ是正則化項[w2t]的系數。其中參數[wt]和[bt]有一個快速封閉形式的解決方案，無需通過迭代或其他優(yōu)化算法即可求解，如式（2）、式（3）所示。

[wt=-2（t-μt）（t-μt）2+2σ2t+2λ]" " " "（2）

[bt=-（t+μt）wt2]" " " " "（3）

式中：[μt]和[σ2t]表示除t外的所有神經元的平均值和方差。

式（2）、式（3）的解是在單通道上得到的，基于單通道中所有像素遵循相同分布的合理假設，可以得到該通道上所有神經元的平均值[μ]和方差[σ]。通過計算每個通道的平均值和方差并將其應用到該通道上的所有神經元，可大幅降低計算量。結合式（1）～式（3）最終可得到最小能量的計算公式，如公式（4）所示。能量越低，當前神經元與周圍神經元的相關性越低，則其優(yōu)先級越高。因此，每個神經元的重要性權重可通過該結果的倒數衡量。

[e*t=4（σ2+λ）（t-μ）2+2σ2+2λ]" " " " " "（4）

1.4" 模型總體架構

為了實現模型的可靠性與輕量性，本文基于ConvNeXt?S模型進行改進。將模型stage1～stage4中ConvNext Block的迭代次數做不同程度的減少，由于本文任務對模型復雜度要求不高，同時為了盡可能使其輕量化，將ConvNext Block的迭代次數調整為（1，1，1，1）。其次，為進一步減少參數量，通過分析該模型每個網絡層計算所需的參數量，得到ConvNeXt Block中用于通道變換的卷積核計算參數量較大，故將其替換為Ghost卷積來有效減少參數量。由于Ghost卷積也可作為通用卷積使用，則下采樣模塊中的部分卷積也替換為Ghost卷積，減少冗余參數。此外，SimAM作為無參注意力機制，計算的是每個神經元之間的相關性，并以此得到注意力權重，不額外增加計算參數。最后，在實驗過程中將其分別安插在模型每個stage的前、中、后三個不同位置，根據結果發(fā)現SimAM單獨放在每個stage尾部時效果最好，在不增加模型參數的情況下可以提升模型性能。最終得到改進的ConvNeXt整體結構如圖3所示。

2" 實驗結果與分析

2.1" 數據集

為突出本文方法的可靠性，實驗對5種外觀相近的沉積巖巖屑進行分類識別，分別是礫巖、泥巖、砂巖、碳酸鹽巖和頁巖，如圖4所示。本文所用數據樣本來自某油田的十口探井的巖屑數據，其中包含巖屑圖像及專業(yè)人員對其巖性的鑒別記錄表，巖屑圖像采用高分辨率相機拍攝，圖像像素密度高達2 000 dpi。

由于原數據集樣本數量不多且類別之間存在數量不平衡問題，會導致模型訓練過程中容易產生過擬合的現象，并且可能導致模型在不同類別之間的識別精度差距較大。為解決此類問題，本實驗通過裁剪等手段進行圖像擴充，擴充前數據集總量為1 899張，擴充后共10 994張，數據集在各種巖屑上的對比結果如表1所示。將擴充后的數據集按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。

2.2" 評價指標

為更全面地評估模型的性能，除了計算模型總體的準確率外，實驗采用混淆矩陣記錄每一類的預測情況，并以此得到模型的平均精確率（P），平均召回率（R）和F1等評價指標，三種指標的公式如式（5）～式（7）所示。同時考慮模型的輕量性和識別速度，對模型的參數大小和所需的浮點運算量（FLOPs）也進行了計算。

[P=1ni=1nTPTP+FP×100%]" " " "（5）

[R=1ni=1nTPTP+FN×100%]" " " " " （6）

[F1=1ni=1n2·Pi·RiPi+Ri×100%]" " " " （7）

式中：TP表示正樣本預測為正樣本的數量；FP表示負樣本預測為正樣本的數量；FN為正樣本預測為負樣本的數量；n表示樣本類別數。

2.3" 消融實驗

本文使用消融實驗的研究方法，記錄模型在每個改進步驟中的性能變化。模型改進效果對比結果如表2所示，以ConvNeXt?S作為基準對比對象，該模型中ConvNeXt Block的迭代次數為（3，3，27，3），改進1將ConvNeXt?S中ConvNeXt Block迭代次數更改為（1，1，1，1），此操作大幅降低了模型參數量，但同時模型各指標的精度略有下降；改進2將模型部分卷積操作替換為Ghost卷積，相較于原模型，參數量下降約[12]，同時總體精度提升大約1%；改進3引入SimAM注意力機制，在未增加模型參數的情況下各指標精度都有小幅提升；最后將所有改進結合起來得到ConvNeXt?Ghost?SimAM，參數量大約僅為基準模型的[112]，同時各指標精度都有大約2%的提升。

根據消融實驗的結果，改進后的模型在準確度與輕量化方面相比于ConvNeXt?S都有提升，尤其在模型參數和運算量方面。此外改進模型與原模型的Loss曲線與Accuracy曲線對比圖如圖5所示。從圖中可以看出，改進后的模型在該任務上收斂速度更快，損失值更低。

本文改進后模型在5種1 100張巖屑圖像測試集上的混淆矩陣如圖6所示。由結果可知，改進后的模型對各類巖屑都有較高的識別準確率，特別對于頁巖，模型在該類別的預測值與真實值完全匹配，其他4種也只有個別錯誤預測，這體現了模型較強的可靠性。

2.4" 不同網絡模型對比

本文選取了幾種常見的網絡模型，包括ResNet50、Xception、VGG16和SwinTransformer，采用同樣的策略訓練150輪，與本文方法針對準確率、參數量、浮點運算量和權重文件大小進行了對比，結果如表3所示。從結果可以看出，本文改進的模型在準確率上均高于其他模型，并且參數量和浮點運算量為15.44×106和0.69×109，綜合大小和計算量低于其他模型，降低了對計算機等設備的性能要求，更適合在實際中用于對巖屑巖性的識別；同時模型權重文件大小僅為15.5 MB，易于在計算資源有限的平臺中部署。

3" 結" 語

為解決錄井工作中巖屑巖性識別的效率問題，本文提出了一種輕量化的ConvNeXt網絡模型，最終得到以下結論。

1） 通過減少原ConvNeXt模型的網絡堆疊層數，在以一定精度損失為前提下大大減少了模型參數量。

2） 將原模型中的大部分普通卷積替換為Ghost卷積，該操作減少了模型的冗余參數，提升了模型的單位參數貢獻值，增加了模型識別精度。

3） 通過嵌入SimAM注意力機制有效提升了模型在各類巖屑的識別準確率。

最后訓練結果顯示，改進后的模型在測試集上的平均準確率可達到99.64%，模型參數量僅為15.44×106，能以較高的效率完成巖屑巖性識別工作。下一步工作考慮進一步加強模型在其他類別巖屑上的識別能力，同時構建如移動設備等資源有限的模型測試平臺，以此優(yōu)化模型在實際工作中的表現。

注：本文通訊作者為鐘寶榮。

參考文獻

[1] 王志戰(zhàn).中國石化錄井技術新進展與發(fā)展方向思考[J].石油鉆探技術，2023，51（4）：124?133.

[2] 劉凱，鄒正銀，王志章，等.基于機器學習的火山巖性智能識別及預測[J].特種油氣藏，2022，29（1）：38?45.

[3] 賴強，魏伯陽，吳煜宇，等.基于隨機森林的K?近鄰算法劃分火成巖巖性[J].特種油氣藏，2021，28（6）：62?69.

[4] 谷宇峰，張道勇，鮑志東，等.利用GS?LightGBM機器學習模型識別致密砂巖地層巖性[J].地質科技通報，2021，40（4）：224?234.

[5] LIN N， FU J， JIANG R， et al. Lithological classification by hyperspectral images based on a two?layer XGBoost model， combined with a greedy algorithm [J]. Remote sensing， 2023， 15（15）： 3764.

[6] XIE Y， ZHU C， HU R， et al. A coarse?to?fine approach for intelligent logging lithology identification with extremely randomized trees [J]. Mathematical geosciences， 2021， 53： 859?876.

[7] 鄭遠攀，李廣陽，李曄.深度學習在圖像識別中的應用研究綜述[J].計算機工程與應用，2019，55（12）：20?36.

[8] 馬澤棟，馬雷，李科，等.基于巖石圖像深度學習的多尺度巖性識別[J].地質科技通報，2022，41（6）：316?322.

[9] 武中原，張欣，張春雷，等.基于LSTM循環(huán)神經網絡的巖性識別方法[J].巖性油氣藏，2021，33（3）：120?128.

[10] 許振浩，馬文，林鵬，等.基于巖石圖像遷移學習的巖性智能識別[J].應用基礎與工程科學學報，2021，29（5）：1075?1092.

[11] LIU H， WU K， XU H， et al. Lithology classification using TASI thermal infrared hyperspectral data with convolutional neural networks [J]. Remote sensing， 2021， 13（16）： 3117.

[12] CHEN G， CHEN M， HONG G， et al. A new method of lithology classification based on convolutional neural network algorithm by utilizing drilling string vibration data [J]. Energies， 2020， 13（4）： 888.

[13] LIU Z， MAO H， WU C Y， et al. A ConvNet for the 2020s [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2022： 11976?11986.

[14] LIU Z， LIN Y， CAO Y， et al. Swin transformer： hierarchical vision transformer using shifted windows [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. [S.l.]： IEEE， 2021： 10012?10022.

[15] HAN K， WANG Y， TIAN Q， et al. GhostNet： more features from cheap operations [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA： IEEE， 2020： 1580?1589.

[16] YANG L， ZHANG R Y， LI L， et al. Simam： a simple， parameter?free attention module for convolutional neural networks [C]// International Conference on Machine Learning. [S.l.]： PMLR， 2021： 11863?11874.

作者簡介：楊宇軒（2000—），男，湖北天門人，碩士研究生，研究方向為機器學習與人工智能。

鐘寶榮（1963—），男，江蘇丹陽人，碩士研究生，教授，研究方向為網絡數據庫、機器學習與數據分析、圖形圖像處理。