基于深度學(xué)習(xí)的高溫合金鋼金相球化評級方法

中圖分類號 TQ050.4+1 文獻標志碼A 文章編號 0254-6094（2025）03-0490-08

高溫合金鋼（12CrMoV、15CrMo等）廣泛應(yīng)用于浙石化、鎮(zhèn)海煉化等大型石化企業(yè)中的鍋爐、壓力容器、壓力管道特種設(shè)備，其設(shè)備事故常會造成重大財產(chǎn)損失、嚴重威脅國民生命安全、影響社會穩(wěn)定，高溫合金鋼性能失效是事故發(fā)生的主要原因之一[1.2]。高溫合金鋼金相檢驗是及時發(fā)現(xiàn)其機械性能失效的關(guān)鍵手段，DL/T773—2016《火電廠用12Cr1MoV鋼球化評級標準》3]、DL/T787—2001《火電廠用15CrMo鋼珠光體球化評級標準》4等標準規(guī)定了鋼制造的鍋爐集箱、蒸汽管道和管件、受熱面等部件在高溫下長期使用后的顯微組織球化等級評定，目前高溫合金鋼球化評級主要依靠檢驗人員參照標準定義圖譜將顯微組織按球化程度分為5級，人工檢驗效率低下，主觀性較強，評級結(jié)果復(fù)現(xiàn)性較弱，為此，研究高溫合金鋼金相球化定量評級方法意義重大。

球化級別評定是基于珠光體的圖像特征，檢驗人員參考標準圖譜后，評定球化級別，因此金相球化評級是典型的圖像特征提取問題。圖像特征提取技術(shù)大致可分為經(jīng)典圖像特征處理技術(shù)和基于深度學(xué)習(xí)的圖像特征提取技術(shù)。其中經(jīng)典圖像特征處理技術(shù)是圖像經(jīng)濾波處理后，采用圖像分割算法得到邊緣提取圖像，該技術(shù)原理較為簡單，但不同類型的金相圖像特征差異較大，通用性較差；基于深度學(xué)習(xí)的圖像特征提取技術(shù)是通過圖像 + 標簽的形式訓(xùn)練大尺度卷積神經(jīng)網(wǎng)絡(luò)模型，使得卷積模型能夠完成圖像處理、特征提取等系列任務(wù)。

經(jīng)典圖像特征處理金相圖像經(jīng)過灰度處理，平滑濾波、高斯濾波等圖像預(yù)處理后，經(jīng)閾值、邊緣、區(qū)域、圖論、能量泛函等圖像分割后，得到晶粒邊界特征的二值圖像。2007年，華北電力大學(xué)首先采用維納濾波對金相進行去噪，然后采用形態(tài)學(xué)進行圖像分割，最后基于分形維數(shù)實現(xiàn)15CrMo鋼金相珠光體特征提取[5；張紅旗和王春光對12Cr1MoV鋼金相圖像進行直方圖均衡化圖像灰度處理、小波變換處理、Robert算子邊緣檢測后，得到12Cr1MoV鋼中珠光體邊緣輪廓信息，利用標準圖譜對12Cr1MoV鋼珠光體球化程度進行評級；張紅旗等采用直方圖均衡化的方法對圖像進行增強，使用中值濾波器對圖像進行降噪處理，分析小波算法的降噪機理，并使用小波進行了降噪處理，利用數(shù)學(xué)形態(tài)學(xué)的方法對圖像效果進行改善，使得珠光體的輪廓變得平滑、清晰。使用Sobel算子、LoG算子進行珠光體的邊緣提取，利用LoG算子對目標物的邊緣檢測取得了較滿意的效果[7]；2013年，華南理工大學(xué)對被測珠光體鋼進行金相數(shù)碼拍照，將金相照片類型由真彩色轉(zhuǎn)化為灰階，確定被測珠光體鋼照片的灰度閥值，然后對金相照片圖像進行二值化處理，最后用基于線段表的輪廓跟蹤方法對二值化圖像珠光體區(qū)域的輪廓進行識別[8]。經(jīng)典圖像特征處理技術(shù)采用系列圖像算法，可較好提取珠光體邊緣特征，但其算法流程復(fù)雜，差異較大的金相圖像適用性較差。

隨著深度卷積神經(jīng)網(wǎng)絡(luò)發(fā)展，圖像中特征提取任務(wù)一直是深度學(xué)習(xí)研究的重點內(nèi)容，12Cr1MoV金相圖像中組織特征選取問題可歸類于深度學(xué)習(xí)中的語義分割問題。語義分割從圖像中用目標檢測方法獲得不同實例，然后在相同實例區(qū)域內(nèi)進行逐像素預(yù)測，通過使用掩碼作為像素預(yù)測的標簽。全卷積神經(jīng)網(wǎng)絡(luò)（FullyConvolu-tionalNetworks，F(xiàn)CN）是語義分割的開端[9]，語義分割從此迅速發(fā)展。網(wǎng)絡(luò)模型的端到端訓(xùn)練也是由全卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的，雖然FCN實現(xiàn)了像素級別的圖片預(yù)測，但是它卻忽略了全局上下文信息，語義分割精度較低；后續(xù)，文獻[10]提出Deeplab深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其使用空洞卷積解決了重復(fù)的下采樣導(dǎo)致全局上下文信息丟失的問題，使用條件隨機場解決了較深卷積結(jié)構(gòu)空間不變性導(dǎo)致的細節(jié)丟失、分割結(jié)果粗糙的問題，目前已發(fā)展至DeepLabv3 ⁺ 版本[11]。受到自然語言處理中的Transformer[12啟發(fā)，許多學(xué)者嘗試將Transformer應(yīng)用于語義分割領(lǐng)域，利用Trans-former的注意力機制，建立遠距離依賴關(guān)系，取得了顯著的成果，目前基于Transformer的深度學(xué)習(xí)模型是語義分割研究熱點[13]

筆者在上述基于Transformer的語義分割網(wǎng)絡(luò)的基礎(chǔ)上，提出基于深度學(xué)習(xí)的高溫合金鋼金相珠光體球化評級方法，包括面向合金鋼珠光體的球化評級流程、基于Transformer編碼器-解碼器Segformer網(wǎng)絡(luò)珠光體特征提取、基于珠光體灰度特征的球化等級評定方法等，有效提升高溫合金鋼球化評級效率。

1基于深度學(xué)習(xí)的高溫合金鋼金相珠光體球化評級流程

圖1為面向合金鋼珠光體的球化等級評定流程圖，先用金相成像設(shè)備拍攝金相圖像I，進行對比度增強后得到相應(yīng)圖像E，將E輸入深度學(xué)習(xí)網(wǎng)絡(luò)，輸出掩膜結(jié)果 F_out ；計算 F_out 、實例分割像素覆蓋率 T_out 是否達到閾值 T_seg ，若 T_outseg ，則確定為球化5級，若 T_outgtrsimT_seg ，則初步評級為1、2、3、4級球化；將深度學(xué)習(xí)網(wǎng)絡(luò)輸出掩膜 F_out 進一步再分割，依據(jù)分割結(jié)果對球化等級進一步細分。

2基于深度學(xué)習(xí)的高溫合金鋼金相珠光體特征提取方法

2.1金相圖像增強方法

不同成像環(huán)境下，金相圖像的珠光體特征與背景差異較大，因此需將RGB三通道圖像轉(zhuǎn)為灰度圖像后進行灰度域圖像增強，突出珠光體和背景特征，便于后續(xù)深度學(xué)習(xí)、再分割等圖像處理。

采用一種局部自適應(yīng)對比度增強方法，首先將金相圖像區(qū)分為高頻與低頻區(qū)域，將金相圖像中珠光體特征等高頻細節(jié)部分做增強處理，避免若干低頻背景信息的干擾，令 G（i，j） 為原圖像點的灰度值； （2n+1）² 是以 （i，j） 為中心的窗口區(qū)域；m_h（i，j） 近似為背景部分； [G（i，j）-m_h（i，j） ]為高頻細節(jié)部分； σ_h²（i，j） 為方差 σ_{：f（i，j）} 為重構(gòu)增強圖像；D 為權(quán)值系數(shù)，則局部自適應(yīng)對比度增強算法可描述為：

2.2基于Transformer的編碼器-解碼器Segformer網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

圖2為基于Transformer的編碼器-解碼器Seg-former網(wǎng)絡(luò)結(jié)構(gòu)圖[14]，圖中 （k=7，s=4，p=3） 表示卷積核大小為 7×7 ，步長為4，填充為3的卷積計算，

BN為歸一化計算，Linear為全卷積計算。卷積Segformer網(wǎng)絡(luò)由編碼器和解碼器兩部分組成，網(wǎng)絡(luò)輸入為金相3通道RGB圖像（尺度為 W×H×3 ），經(jīng)過編碼器降采樣后，輸出 F₁∈R^{W/4，H/4，768}?F₂∈ R^{W/4，H/4，768}，F(xiàn)₃∈R^{W/4，H/4，768}，F(xiàn)₄∈R^{W/4，H/4，768}4 種特征圖，再將 F₁?F₂?F₃?F₄ 進行通道相加，得到編碼器輸出特征圖 F_encoder∈R^{W/4，H/4，3072} F_encoder 經(jīng)解碼器輸出通道數(shù)為語義分割類別 |N_c 的掩膜圖像 F_out 中矩陣元素即語義分割掩膜信息。

編碼器由 S₁，S₂，S₃，S₄ 不同階段組成，每個階段編碼器均由若干Attention+MLP網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成，圖3為Attention內(nèi)部結(jié)構(gòu)。首先將輸人特征圖 空間尺度

變換為Fin ，然后分支一結(jié)構(gòu) F_in^Attention 經(jīng)全連接層后變換為 ，分支二結(jié)構(gòu)F_in^Attention 經(jīng)卷積核為 d_i×d_i ，步長為 d_i 卷積與全連接層計算后得 ，則Attention輸出 可表示為：

相比于傳統(tǒng)的卷積計算，基于Transformer的Attention網(wǎng)絡(luò)結(jié)構(gòu)感受野與計算復(fù)雜度有效降低。

圖4為MLP內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)，其中卷積為深度可分離卷積，對特征圖單通道進行卷積，減少計算量，GELU激活函數(shù) GELU（x） 為：

2.3 珠光體特征再分割方法

通常情況下，Segformer網(wǎng)絡(luò)輸出掩膜圖像分割范圍比真實分割范圍大，可通過進一步細化分割，令Segformer網(wǎng)絡(luò)輸出掩膜圖像的語義分割特征為M，首先對M進行灰度處理，得到灰度圖像 G ：

G=0.2989M（：，：，1）+0.587M（：，：，2）+0.114M（：，：，：，3）

計算 G 中每個像素的累加概率 P（i） ：

則灰度熵 及類間方差 σ² 的計算式為：

分割灰度閾值T可確定為 T=max（σ²） 。

令再分割的珠光體特征區(qū)域集合為A{a，a，…，a_n} ，分別計算每個特征區(qū)域 ∣a_i 內(nèi)的灰度分布概率 H_i{h_i⁰，h_i¹，…，h_i²⁵⁵} ，取灰度值為[0，10]的像素點概率 {h_i⁰，h_i¹，…，h_i¹⁰} 為球化等級進一步細分指標，則用于計算球化等級的指標可計算 α 為：

Segformer網(wǎng)絡(luò)采用交叉熵損失為網(wǎng)絡(luò)訓(xùn)練損失函數(shù)，訓(xùn)練過程中網(wǎng)絡(luò)真實標簽為 F_out ，網(wǎng)絡(luò)輸出為 F_out^′ ，則網(wǎng)絡(luò)訓(xùn)練損失L計算式為：

其中， λ_j（j=1，2，…，10） 為評價系數(shù)。

3實驗

實驗金相圖像由PTI-A5800現(xiàn)場金相檢測儀采集12Cr1MoV、15CrMo等材質(zhì)容器獲得，邊緣計算硬件CPU為i78700k、內(nèi)存32GB、GPU為GeForceRTX2080Ti，深度學(xué)習(xí)環(huán)境為Py-torch1.8.1。使用VIA（VGGImageAnnotator）標注工具將堆疊千克組砝碼圖像灰度變換后標注為數(shù)據(jù)集，對數(shù)據(jù)集旋轉(zhuǎn)、透視變換、改變亮度、水平鏡面翻轉(zhuǎn)、垂直鏡面翻轉(zhuǎn)生成100張訓(xùn)練集圖像，另生成20張網(wǎng)絡(luò)驗證集圖像。設(shè)置網(wǎng)絡(luò)超參數(shù)學(xué)習(xí)率為0.00006，訓(xùn)練步長為160000，損失函數(shù)收斂在0.00184，分別采用語義分割領(lǐng)域常用的交并比（IntersectionoverUnion，IoU）、準確率（Accuracy，Acc）作為實驗珠光體特征提取結(jié)果評價指標。圖5為IoU計算方法示意圖，其中FP（FalsePositive）樣本的真實類別是負類，但是模型將其識別為正類，即圖中綠色區(qū)域；TP（TruePositive）樣本的真實類別是正類，且模型識別的結(jié)果也是正類，即圖中黃色區(qū)域;FN（FalseNega-tive）樣本的真實類別是正類，但是模型將其識別為負類，即圖中藍色區(qū)域;TN（TrueNegative）樣本的真實類別是負類，且模型將其識別為負類，即圖中白色區(qū)域。

loU可計算為：

準確率 .Acc 表示預(yù)測正確的樣本數(shù)量占全部樣本的百分比，可計算為：

圖6為深度學(xué)習(xí)預(yù)測與再分割預(yù)測結(jié)果，表1為Segformer網(wǎng)絡(luò)輸出與再分割背景、珠光體特征的 _{IoU，Acc} 結(jié)果對比。

結(jié)合圖、表內(nèi)容可以看出，Segformer網(wǎng)絡(luò)能較好提取金相圖中珠光體特征；將Segformer網(wǎng)絡(luò)輸出再分割能進一步提升背景、珠光體特征的_IoU，Acc ，再分割方法可有效提升Segformer網(wǎng)絡(luò)提取精度。

令評價系數(shù)A={255，254，253，252，251，250，249，248，247，246，245}，當(dāng) 0?αlt;20 時，球化評級為4級；20?αlt;30 時，球化評級為3級； 30?αlt;40 時，球化評級為2級； 40?α 時，球化評級為1級。表2為隨機4張金相球化評級得分及評級結(jié)果，圖7為相應(yīng)珠光體特征提取結(jié)果，從球化評級結(jié)果中可以看出，式（11）量化指標 α 可較好反映珠光體的球化等級。

4結(jié)束語

在珠光體金相球化評級定量研究領(lǐng)域，筆者創(chuàng)新性地提出基于深度學(xué)習(xí)的高溫合金鋼金相珠光體球化評級新方法，該方法通過研究不同球化等級珠光體特征差異，提出基于圖像珠光體灰度的評級指標 α 的計算方法，嘗試將金相球化評級結(jié)果形成量化指標；首先通過珠光體特征增強方法，增強珠光體特征信息，然后，研究基于Transformer的編碼器-解碼器Segformer網(wǎng)絡(luò)結(jié)構(gòu)，提取金相圖像中珠光體特征區(qū)域，經(jīng)過再分割的珠光體特征計算評級指標 α ;實驗表明，Segformer網(wǎng)絡(luò)可有效提取珠光體特征區(qū)域，深度學(xué)習(xí)提取 + 再分割方法可提高特征提取 _IoU，Acc 結(jié)果，且設(shè)計的評級指標 α 可較好反映球化等級。本研究方法深度學(xué)習(xí)模型部署在遠程，下一步將部署邊緣計算模型，可實現(xiàn)珠光體在線評級。

參考文獻

[1]陳國安，楊王玥，孫祖慶.中碳鋼過冷奧氏體形變過程中的組織演變[J].金屬學(xué)報，2007，43（1）：27-34.

[2] 裴朝，李華，胡愛民.基于LVDS的石油管道檢測系統(tǒng)[J].儀表技術(shù)與傳感器，2010（12）：44-46.

[3]中國電力工業(yè)聯(lián)合會標準化部.火電廠用12Cr1MoV鋼球化評級標準：DL/T773—2016[S].北京：中國電力出版社，2016.

[4] 中國電力工業(yè)聯(lián)合會標準化部.火電廠用15CrMo鋼珠光體球化評級標準：DL/T787—2001[S].北京：中國電力出版社，2016.

[5] 張強.基于D-S證據(jù)理論的圖像識別研究[D].保定：華北電力大學(xué)，2007.

[6] 張紅旗，王春光.12Cr1MoV鋼金相圖像處理技術(shù)的研究［J].內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報（自然科學(xué)版），2012，33（3）：163-168.

[7]張紅旗，王春光，王全喜，等.數(shù)字圖像處理技術(shù)在金相分析中的應(yīng)用研究[J].農(nóng)機化研究，2013，35（3）：209-213;217.

[8] 姚順春，陸繼東，李軍，等.基于激光等離子體光譜的12Cr1MoV珠光體球化等級的現(xiàn)場檢測方法：CN103424397A[P].2015-08-26.

[9] SHELHAMERE，LONGJ，DARRELLT.FullyConvol-utional Networksfor Semantic Segmentation[J].IEEETransactions on PatternAnalysisandMachineIntelligence，2015，39（4）：640-651.

[10] CHENLC，PAPANDREOUG，KOKKINOSI，etal.Semantic image segmentation with deep convolu-tional nets and fully connected crfs[J].arXiv，2014：14127062.

[11] PENGX，YINZ，YANGZ.Deeplab_v3_plus-netforImage Semantic Segmentationwith Channel Compres-sion[C]//202O IEEE 2Oth International Conference onCommunication Technology（ICCT）.IEEE，2020.

[12] VASWANIA，SHAZEERN，PARMARN，etal.Atten-tionisall you need[C]//Advancesin Neural Informa-tionProcessing Systems.2017：5998-6008.

[13] STRUDEL R，GARCIAR，LAPTEVI，etal.Segmenter：

Transformer for semantic segmentation[C]//Proceedingsof the IEEE/CVF International Conference on ComputerVision.2021：7262-7272.

[14]XIE EZ，WANGWH，YUZD，et al.SegFormer：Simpleand Efficient Design for Semantic Segmentation withTransformers[J].arXiv，2021，34：12077-12090.

（收稿日期：2024-04-04，修回日期：2025-05-19）

A Deep Learning-based Metallographic Spheroidization Rating Method for High-temperature Alloy Steels

LIAO Pu1， WANG Feng-huai1，2.3， CHEN Xing-yang1，2.3， LU Shu-hua1，2.3，XU Cheng1，YE Ling-wei1，2.3

（1. Zhejiang Special Equipment Science Research Institute ;2. Key Laboratory of Inspection and Testing TechnologyResearchforPetrochemicalEquipment，ZhejiangProvincialMarketRegulationandManagementAdministration; 3. Zhejiang Provincial KeyLaboratory ofSpecial Equipment Safety Testing Technology Research）

AbstractHigh-temperature alloy steel enjoys wide application in boilers，pressure vessels and pressure pipelines and the regular metallographic inspection is crucial to the equipment operation. Aiming at the metallographic pearlite feature extraction method's weak applicability basedonthe traditional threshold segmentation algorithm，a process of spheroidation grade evaluation was formulated to study the metallographic pearlite feature extraction based on deep learning，including investigating the quantitative indicatorsof different spheroidation grades from the standard definition rating map.Having high-temperature alloy steel metalographic images taken as experimental object for verification shows that，the background and pearlite features of Segformer network+resegmentation method has higher IoU and Acc ，and the quantitative indexes better reflect the spherification level.

Key words high-temperature alloy steel， metalographic rating，deep learning， image processing

（Continued from Page 437）

rameters and tube bundle structure parameters on heat transfer，resistance and ash accumulation characteristics of finned tube bundle were discussed.The results show that，the average convective heat transfer coefficient and inlet and outlet pressure dropon the flue gas sideare directly proportionalto the flue gas velocity and the longitudinal tube spacing of the tube bundle，and inversely proportional to the transverse tube spacing of the tube bundle.When the flue gas flow velocity is 4- 8m/s ，the deposition rates of particles with a particle size of 1μm and 5 μm increase with the increase of the flue gas flow velocity，and the deposition rates of particles with a particle size of 10μm basicallyremain unchanged after the flue gas flow velocity is 5m/s . At the same flow rate，the deposition rate increases first and then decreases with the increase of particle size，and the deposition rate reaches the maximum when the particle size is 5μm . Under the condition of the same particle inlet mas flow rate，increasing the transverse tube spacing and decreasing the longitudinal tube spacing can reduce the particle deposition rate.

Key Wordsheat pipe low-temperature economizer，helical fin tube with broken teeth，flow heat transfer， particle deposition，numerical simulation