人工智能在鋼鐵材料微觀組織分析中的應(yīng)用與展望

陳 鷹

(鋼鐵研究總院 中心實驗室，北京 100081)

0 引言

鋼鐵材料微觀組織分析是一項極為重要的測試分析技術(shù)。當前，人工智能在鋼鐵材料微觀組織分析中的應(yīng)用日益增長。材料基因工程、機器視覺和深度學(xué)習(xí)等材料科學(xué)與信息技術(shù)的發(fā)展，為鋼鐵材料微觀組織分析智能化帶來了新的機遇。

鋼鐵材料微觀組織分析的科學(xué)基礎(chǔ)是金相學(xué)。隨著科技的發(fā)展，金相學(xué)逐步成為顯微學(xué)、金屬學(xué)、物理冶金學(xué)和材料科學(xué)等多學(xué)科交叉的新興科學(xué)[1]。顯像、衍射和微區(qū)成分性能分析是微觀組織分析主要應(yīng)用的三種技術(shù)。根據(jù)不同材料的合金組成、基體及第二相、點線面晶體缺陷等，合理運用上述三種技術(shù)中的一種或是兩種以上的組合，可獲取試驗測試結(jié)果并基于結(jié)果數(shù)據(jù)(圖像等)分析得到相關(guān)結(jié)論信息。20世紀90年代，數(shù)字攝影技術(shù)隨CCD數(shù)碼相機的出現(xiàn)應(yīng)用在光學(xué)和電子顯微鏡上。計算機輔助圖像記錄和分析替代了過去暗室沖洗照片的圖像采集、記錄和分析方式[2]。現(xiàn)代微觀組織分析裝置已經(jīng)具備集成光學(xué)或電子成像、計算機圖像處理和分析的特征，為針對測試結(jié)果進行智能分析奠定堅實基礎(chǔ)。

筆者基于多年來從事鋼鐵材料研發(fā)與微觀組織檢測與分析實踐，綜述了人工智能在鋼鐵材料微觀組織分析的應(yīng)用與研究進展、主要問題和當前研究熱點，并對本技術(shù)領(lǐng)域未來發(fā)展進行了展望。

1 應(yīng)用與研究進展

1.1 測試結(jié)果數(shù)字化

目前，所有通過微觀組織分析裝置的測試結(jié)果(圖像、衍射花樣和微區(qū)成分)均實現(xiàn)了數(shù)字化。

圖1 透射電鏡操作軟件界面

圖1所示為某科研機構(gòu)的日立H800透射電鏡完成數(shù)字化改造后的軟件界面。

電子背散射衍射(EBSD)的計算機分析系統(tǒng)通過Houhg變換，自動確定菊池帶的位置、寬度、強度和帶間夾角，與對應(yīng)的晶體學(xué)庫中的理論值比較，標出對應(yīng)的晶面指數(shù)與晶帶軸，并計算出所測晶粒晶體坐標系相對于樣品坐標系的取向。圖2所示為電子背散射衍射裝置(EBSD)的軟件界面。

圖2 EBSD軟件界面

配備電子衍射光譜(EDS)探測器的掃描電鏡可以利用自動特征分析(AFA)軟件，對鋼中非金屬夾雜物進行自動化掃描檢測分析。分析結(jié)果可自動顯示，包含氧化物、硫化物、氮化物和硅酸鹽等夾雜物的成分、形態(tài)和分布等，如圖3所示。

圖3 全自動夾雜物檢測分析軟件界面

上述測試結(jié)果的數(shù)字化為微觀組織測試結(jié)果智能化分析奠定堅實基礎(chǔ)。

1.2 測試結(jié)果智能化分析

20世紀初，通過應(yīng)用圖像處理、計算機視覺和模式識別技術(shù), 多位學(xué)者[3-5]開展金相圖像自動分析研究，提高了金相分析的自動化程度并擴展了其功能。劉國權(quán)[6]介紹了材料顯微組織幾何形態(tài)的定量表征與分析技術(shù)及其標準化、顯微組織仿真及設(shè)計以及金相研究時應(yīng)注意的材料顯微組織的若干特性等內(nèi)容。許建廣[7]和顧超[8]提出圖像增強去噪預(yù)處理方法。湯力琨[9]提出基于數(shù)學(xué)形態(tài)學(xué)的去噪方法。Antonini[10]用 8個數(shù)值記錄圖像的邊界，以此描述金相顯微組織的灰度值、大小和顯微組織形狀等特征參數(shù)。Mandelbrot[11]則用分形維數(shù)來定量描述金相組織晶粒和組織的不規(guī)則性。燕惠芳等[12]則開展了鋼鐵金相組織自動識別系統(tǒng)關(guān)鍵技術(shù)研究。覃文軍[13]論述了圖像分析領(lǐng)域所面臨的問題及今后的發(fā)展方向。于金鑫等[14]采用圖像識別技術(shù)對鋼鐵材料在不同狀態(tài)下形成的微觀組織進行了分析，研究了不同圖像增強算法和機器學(xué)習(xí)算法對鋼鐵顯微組織識別精度的影響。上述針對圖像預(yù)處理、圖像分割、特征參數(shù)提取和模式識別等關(guān)鍵技術(shù)進行的深入研究和實踐，以及取得商業(yè)化應(yīng)用的圖像分析軟件，智能化程度不高，呈現(xiàn)弱人工智能的特征，可視為具備一定知識應(yīng)用的專家系統(tǒng)。

而針對衍射、微區(qū)成分等測試結(jié)果數(shù)據(jù)，楊平、王春芳等[15-16]結(jié)合實例說明， EBSD測試數(shù)據(jù)在鋼鐵材料中取向、晶界研究等方面的應(yīng)用。尚成嘉等[17]針對材料基因庫的構(gòu)建提出了EBSD測試結(jié)果可視化及數(shù)字化表征的方法，建立了材料微觀基因結(jié)構(gòu)與宏觀力學(xué)性能的數(shù)字化關(guān)聯(lián)。傅向葵等[18]開展了基于人工智能的非金屬夾雜物檢測與研究。肖娜等[19]研究了一種利用合適電化學(xué)充氫后的拉伸試樣獲取夾雜物，與極值統(tǒng)計法相結(jié)合，從而估算不同體積鋼中非金屬夾雜物的最大尺寸，并預(yù)測疲勞強度的夾雜物評估方法。這些測試結(jié)果的分析人工參與度較高，也呈現(xiàn)出弱人工智能特征。

1.3 組織性能預(yù)報

組織性能預(yù)報對鋼鐵材料熱軋生產(chǎn)過程中各種物理冶金現(xiàn)象進行綜合數(shù)值模擬，定量化描述其組織結(jié)構(gòu)演變過程，預(yù)測軋后產(chǎn)品顯微組織結(jié)構(gòu)和力學(xué)性能，其數(shù)學(xué)模擬研究始于20世紀70年代末的英國，如英國Sheffield 大學(xué)的Sellars 等[20-22]，之后世界各國均開展大量的理論和實踐研究工作， 并取得一定進展[23-30]。至2010年，世界各國相繼開發(fā)鋼的組織性能預(yù)報模擬和控制系統(tǒng)，如HSMM[31]、VAI-Q Strip[32]、METMODEL[33]、STRIPCAM[34]和SPPC[35]等，這些系統(tǒng)有的離線，有的在線，均在熱軋產(chǎn)線上取得成功應(yīng)用。

近年來，我國通過引進、消化、吸收和自主創(chuàng)新，已成功開發(fā)出具有自主知識產(chǎn)權(quán)的組織性能預(yù)報中間平臺和模型[36]。當前，工業(yè)大數(shù)據(jù)、智能制造、材料計算和機器學(xué)習(xí)等的應(yīng)用將會成為推動熱連軋過程組織性能預(yù)報強人工智能化的強大動力。

1.4 深度學(xué)習(xí)的應(yīng)用與研究

Alex Krizhevsky[37]在 2012 年使用 AlexNet 網(wǎng)絡(luò)在 ILSVRC 中以大比分獲勝，自此深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)作為一種新的機器學(xué)習(xí)方法，在各種分類任務(wù)中開始流行，并逐漸應(yīng)用到鋼鐵材料微觀組織分析中。Lubbers等[38]將機器學(xué)習(xí)和計算機視覺應(yīng)用于材料微觀組織圖像，通過激活預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)來合成顯微結(jié)構(gòu)圖像，通過大量訓(xùn)練后，可反映微觀組織生成過程。Decost等[39]構(gòu)建了超高碳鋼顯微組織數(shù)據(jù)集，包含了在不同熱處理條件、不同尺度下的超高碳鋼顯微組織，并開發(fā)了一套可視化工具，用于與微觀組織圖像數(shù)據(jù)集和元數(shù)據(jù)集進行交互和探索。Azimi等[40]基于卷積神經(jīng)網(wǎng)絡(luò)(FCNNs)的像素分割法，利用一種深度學(xué)習(xí)方法，對低碳鋼的某些微觀組織進行分類識別。

在圖像識別方面，國外多位研究者[41-44]嘗試將由人工主觀對圖像識別的傳統(tǒng)任務(wù)交給深度學(xué)習(xí)進行處理，進而消除人工識別的不確定性，有效、快速且自動地對材料顯微圖像進行識別。同樣，圖像分割模型在材料顯微圖像分析中得到了較為廣泛的應(yīng)用[39-40，45-47]。在圖像生成方面則出現(xiàn)以下兩種應(yīng)用：通過作為數(shù)據(jù)增廣策略增加模型所需的訓(xùn)練數(shù)據(jù)[48]和基于先驗知識和注意力機制的生成對抗性模型，以實現(xiàn)材料輻照圖像的生成和相應(yīng)的工業(yè)性能預(yù)測模型的構(gòu)建[49]。

具體實踐方面，楊俊鴻[50]開展了基于深度學(xué)習(xí)，以卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)兩種算法，對不同材料的金相組織進行識別與評級的研究。班曉娟等[51]討論了深度學(xué)習(xí)在材料顯微圖像分析和信息挖掘中的發(fā)展方向和挑戰(zhàn)?？紫槊鞯萚52]展望了基于深度學(xué)習(xí)的火電廠高溫緊固螺栓金相組織智能識別方法的前景。李維剛等[53]采用深度學(xué)習(xí)模型對鋼鐵材料微觀組織掃描電子顯微鏡(SEM)圖像進行自動辨識。提出了適用于鋼鐵材料微觀組織辨識的AlexNet、VggNet、GoogleNet和ResNet改進模型，比較了不同卷積神經(jīng)網(wǎng)絡(luò)模型在不同預(yù)處理方式下的圖片辨識精度。羅新中等[54]建立供神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的高碳盤條索氏體素材庫，利用人工智能和深度學(xué)習(xí)技術(shù)識別模型，并對其進行測試、互動優(yōu)化。

2 主要問題和研究熱點

目前，本領(lǐng)域研究與實踐存在以下問題：①大部分計算機輔助分析系統(tǒng)智能化程度低，人工參與度高；②對于制樣效果差或者干擾較多的組織結(jié)構(gòu)圖像處理與分析效果不理想、誤差大；③熱軋組織圖像數(shù)據(jù)和性能數(shù)值數(shù)據(jù)之間的內(nèi)在聯(lián)系不甚明晰；④缺乏能夠通過專業(yè)、恰當方法構(gòu)建圖像數(shù)據(jù)集和針對測試結(jié)果數(shù)據(jù)開展深度學(xué)習(xí)的算法和模型。預(yù)計存在以下四個方面的研究熱點。

2.1 組織結(jié)構(gòu)自動分類辨識

鋼鐵材料的微觀組織類型、含量、尺寸、形貌和分布等特點決定了材料的性能。因此，對微觀組織進行正確分類、識別及分析尤其重要。受合金元素、加熱條件、冷卻速度和加工工藝等因素的影響，鋼鐵材料微觀組織具有多樣性和復(fù)雜性。目前，鋼鐵材料微觀組織分類與辨識主要是通過人工根據(jù)專業(yè)知識水平和實踐經(jīng)驗開展，并且由于技術(shù)人員專業(yè)水平不同，使得人工分類辨識差異大、效率低、誤差大。因此，研究材料微觀組織的自動分類辨識具有重要意義。

2.2 微觀分析定量化和智能化

目前，現(xiàn)有微觀組織圖像自動分析軟件定量化和智能化分析水平低，人工介入較多，儀器與設(shè)備未與實驗數(shù)據(jù)管理系統(tǒng)進行實時聯(lián)動，數(shù)據(jù)收集仍需實驗員手動下載上傳。因此，利用人工智能技術(shù)高效智能地開展微觀分析具有重要現(xiàn)實意義，國內(nèi)外有些實驗室已經(jīng)開始探索如何使微觀分析的全過程更加定量化和智慧化的理論和應(yīng)用研究。

2.3 組織與性能數(shù)據(jù)映射關(guān)系構(gòu)建

熱軋組織性能預(yù)報系統(tǒng)“機理模型”開發(fā)思路是建立熱軋成品顯微組織與力學(xué)性能的關(guān)系模型，因此，需要大量采集分析微觀組織數(shù)據(jù)與材料性能數(shù)據(jù)。隨著工業(yè)大數(shù)據(jù)和智能制造技術(shù)的進步，通過深度學(xué)習(xí)對海量工業(yè)微觀組織數(shù)據(jù)進行深度挖掘與分析，構(gòu)建組織與性能多尺度的映射關(guān)系，為鋼鐵材料組織性能預(yù)報系統(tǒng)的開發(fā)、組織性能預(yù)測模型的建立提供數(shù)據(jù)和算法基礎(chǔ)。

2.4 圖像數(shù)據(jù)集構(gòu)建和深度學(xué)習(xí)模型開發(fā)

以上三個方向的順利開展，均需由具有多年鋼鐵材料研發(fā)經(jīng)驗的專業(yè)人員根據(jù)專業(yè)知識水平和實踐經(jīng)驗，采集大量鋼鐵材料的微觀組織圖像、衍射和微區(qū)成分與性能分析數(shù)據(jù)，并進行數(shù)據(jù)挖掘與分析，按照需要構(gòu)建不同的數(shù)據(jù)集。根據(jù)這些數(shù)據(jù)集的特征，開發(fā)基于深度學(xué)習(xí)模型與算法的專家系統(tǒng)，從而構(gòu)成相關(guān)強人工智能分析平臺模塊。

3 技術(shù)展望

綜合以上針對本領(lǐng)域技術(shù)應(yīng)用與研究進展的梳理，結(jié)合鋼鐵材料微觀組織檢測分析一線人員多年的工作經(jīng)驗與感悟，未來應(yīng)該在以下兩個方面展開研發(fā)與實踐。

(1)基于現(xiàn)有弱人工智能技術(shù)，提升(如圖像增強處理、圖像分割與晶界重建、組織特征提取和數(shù)值數(shù)據(jù)統(tǒng)計分析等)智能化程度。同時不斷研究適用于圖像智能分析、幾何參數(shù)求解和數(shù)值統(tǒng)計分析的新算法(如數(shù)學(xué)形態(tài)學(xué)和分形幾何的深度學(xué)習(xí)算法等)。

(2)加強金相測試和材料專家的專業(yè)知識經(jīng)驗在計算機系統(tǒng)中的表示和應(yīng)用，構(gòu)建具有可擴展性的微觀組織和性能的大數(shù)據(jù)集。引入新的基于深度學(xué)習(xí)的智能算法和模型, 提高計算機分析的智能化程度，徹底將弱人工智能提升為強人工智能。

4 結(jié)論

自20世紀70年代末開展熱軋組織性能預(yù)報物理數(shù)學(xué)模型的研究開始，歷經(jīng)近50年的研究與實踐，人工智能在鋼鐵材料微觀組織分析中的應(yīng)用日趨廣泛深入。伴隨著人工智能技術(shù)由專家系統(tǒng)知識應(yīng)用型向全面集成發(fā)展特征轉(zhuǎn)進，鋼鐵材料微觀組織試驗測試數(shù)據(jù)結(jié)果全面數(shù)字化，微觀組織測試結(jié)果的智能化分析持續(xù)創(chuàng)新發(fā)展。展望未來，基于深度學(xué)習(xí)的強人工智能技術(shù)應(yīng)用于圖像智能化分析、圖像和數(shù)值大數(shù)據(jù)集構(gòu)建、集成工業(yè)大數(shù)據(jù)和智能制造的組織性能預(yù)報等發(fā)展方向有望取得突破性進展。