無(wú)監(jiān)督學(xué)習(xí)在相圖測(cè)定中識(shí)別合金三相平衡點(diǎn)的研究

劉 玄 ,文 勇 ,梁建烈 ,馬 坤

(1.廣西民族大學(xué)電子信息學(xué)院,廣西 南寧 530006;2.廣西民族大學(xué)人工智能學(xué)院,廣西 南寧 530006;3.廣西民族大學(xué)材料與環(huán)境學(xué)院,廣西 南寧 530006)

0 引言(Introduction)

利用掃描電子顯微鏡可以觀察三種物相的局部平衡在顯微鏡下表現(xiàn)為這三個(gè)物相在某一點(diǎn)共存,三種物相共存的點(diǎn)即為三相平衡點(diǎn)。利用成分分析方法,確定與三相平衡點(diǎn)相連接的三個(gè)物相,即可以確定相圖的相區(qū),從而確定相圖[1-6]。

一個(gè)相圖的建立需要對(duì)大量掃描電子顯微鏡照片通過(guò)形貌區(qū)別進(jìn)行組織的標(biāo)定、比對(duì),使得研究工作變得煩瑣、費(fèi)力[7]。隨著科學(xué)技術(shù)的不斷發(fā)展,利用計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)理論實(shí)現(xiàn)圖像的自動(dòng)化處理已經(jīng)被證實(shí)是可行的,特別是近些年深度學(xué)習(xí)在圖像分割等領(lǐng)域取得了突破性的研究進(jìn)展[8-9]。在科學(xué)研究中,引入人工智能技術(shù),實(shí)現(xiàn)實(shí)驗(yàn)的自動(dòng)化和智能化,能夠大幅提高實(shí)驗(yàn)效率。為減輕研究人員低水平的重復(fù)性工作,研究一種高效的三相平衡點(diǎn)自動(dòng)識(shí)別方法具有重要意義。

1 總體方法(Overall method)

本文提出的識(shí)別三相平衡點(diǎn)的方法分為兩個(gè)階段:①三種物相語(yǔ)義分割階段,即三相分割;②三相平衡點(diǎn)識(shí)別標(biāo)注階段,即平衡點(diǎn)識(shí)別。三相分割階段,是在梯度回傳的圖像分割方法(Unsupervised Image Segmentation by Backpropagation,UISB)的基礎(chǔ)上進(jìn)行改進(jìn)后得出的方法,主要用于三相分割[10]。平衡點(diǎn)識(shí)別標(biāo)注階段,針對(duì)三相分割結(jié)果,設(shè)計(jì)一種基于卷積的識(shí)別算法識(shí)別三相平衡點(diǎn)所在的模式,三相平衡點(diǎn)所在的模式為三種不同物相交匯的區(qū)域,算法通過(guò)找到三相平衡點(diǎn)的位置,最終完成自動(dòng)標(biāo)注。

圖1為本文所提方法的數(shù)據(jù)流圖。擬定輸入原圖像為I,在三相分割階段,對(duì)三種物相分割產(chǎn)生三相分割圖L,在平衡點(diǎn)識(shí)別標(biāo)注階段,在分割圖L上識(shí)別和標(biāo)注平衡點(diǎn),最終輸出平衡點(diǎn)標(biāo)注圖T。

圖1 方法數(shù)據(jù)流圖Fig.1 Data flow of method

1.1 三相分割

基于UISB方法,上游任務(wù)中輸入為I,使用卷積網(wǎng)絡(luò)系統(tǒng)F提取特征信息,然后經(jīng)歸一化指數(shù)函數(shù)Soft max做出像素級(jí)的預(yù)測(cè)O=F(I)[10]。使用超像素預(yù)分割產(chǎn)生的超像素對(duì)預(yù)測(cè)結(jié)果細(xì)化產(chǎn)生偽標(biāo)簽O'=SR(O),通過(guò)計(jì)算CrossEntropy(O,O')反向傳播使網(wǎng)絡(luò)學(xué)習(xí)到有效特征,整個(gè)訓(xùn)練過(guò)程圖如圖2所示。

圖2 分割方法訓(xùn)練圖Fig.2 Training map of segmentation method

1.1.1 改進(jìn)的特征網(wǎng)絡(luò)

首先,原方法的卷積網(wǎng)絡(luò)系統(tǒng)F使用多個(gè)卷積層的堆疊,卷積核大小為3,存在感受野不足和隨層數(shù)加深丟失淺層信息的問(wèn)題,因此在網(wǎng)絡(luò)中間第三個(gè)卷積層后加入空洞卷積模塊,如圖2 所示[11]。該模塊中包含三個(gè)不同空洞率(Dilation Rate)和不同核大小的卷積提取特征信息,同時(shí)擴(kuò)大了感受野,空洞卷積也不需要額外的計(jì)算量。

其次,為了關(guān)注分割數(shù)據(jù)的某些重要特征,如物相(語(yǔ)義)交界的區(qū)域,通過(guò)注意力機(jī)制的引入讓網(wǎng)絡(luò)F學(xué)習(xí)到需要關(guān)注的特征,提升分割精度[12]。在圖2中,在網(wǎng)絡(luò)中間第二個(gè)卷積層后插入通道注意力(Channel Attention,CA)模塊和空間注意力(Spatial Attention,SA)模塊,CA模塊將輸入的特征圖F進(jìn)行平均和最大池化,通過(guò)兩個(gè)不同數(shù)量神經(jīng)元的全連接層,將得出結(jié)果相加,然后經(jīng)過(guò)Sigmoid函數(shù),給不同通道的特征打分,最后Mc和F相乘得到不同重要程度的特征F'=Mc×F。SA模塊對(duì)通道調(diào)整的特征圖F'進(jìn)行打分,產(chǎn)生位置注意力分?jǐn)?shù)圖,Ms和F'相乘得到結(jié)果S'=Ms×F',兩個(gè)注意力模塊的結(jié)構(gòu)圖如圖3所示。

圖3 CA和SA模塊Fig.3 Modules of CA and SA

1.1.2 超像素預(yù)分割優(yōu)化

原方法使用SLIC算法簡(jiǎn)單線性迭代聚類做預(yù)分割處理,在訓(xùn)練過(guò)程中用預(yù)分割結(jié)果細(xì)化網(wǎng)絡(luò)F的預(yù)測(cè)結(jié)果O[13]。本方法使用LSC線性譜聚類做處理,產(chǎn)生更緊湊且均勻的超像素,對(duì)于SLIC算法權(quán)衡顏色相似度和空間鄰近度的計(jì)算,LSC算法在圖像語(yǔ)義邊界的分割上擁有更好的貼邊性能,能生成更精準(zhǔn)的偽標(biāo)簽O'[14]。

1.2 三相平衡點(diǎn)識(shí)別算法

分割方法給三種物相分別分配了不同的類別標(biāo)簽,如圖4所示,展示了分割后的三相平衡點(diǎn)區(qū)域的類別標(biāo)簽特征圖的一種情況,每一種顏色表示一種類別(語(yǔ)義)即一種相,顯然三相平衡點(diǎn)區(qū)域的特點(diǎn)涵蓋了三種類別像素的區(qū)域,在類別標(biāo)簽圖上對(duì)具有這類特征的區(qū)域位置進(jìn)行捕捉辨別,然后進(jìn)行像素位置上的標(biāo)注,即標(biāo)注出三相平衡點(diǎn)。

圖4 類標(biāo)簽特征圖Fig.4 Feature map of class label

基于以上特征,提出一種快速有效的三相平衡點(diǎn)識(shí)別方法,其核心思想是偵測(cè)分割后的特征圖中的每一個(gè)像素點(diǎn)周邊一定范圍內(nèi)的像素類別的個(gè)數(shù),如果三種類別的像素點(diǎn)都超出一定的閾值,那么就認(rèn)定這個(gè)像素點(diǎn)是一個(gè)三相平衡點(diǎn)像素。在圖4示例中,設(shè)識(shí)別邊長(zhǎng)s=5,當(dāng)以虛線框中的像素作為中心像素,從中心分別向4個(gè)方向擴(kuò)展2個(gè)單位,形成5×5的正方形偵測(cè)區(qū)域,如圖4中粗實(shí)線框出區(qū)域。顯然,正方形偵測(cè)區(qū)域中三種類別的像素?cái)?shù)都大于等于閾值k,設(shè)k=5,認(rèn)定該點(diǎn)是一個(gè)三相平衡點(diǎn)像素。以此類推,每個(gè)滿足三相平衡點(diǎn)條件的像素,在空間位置上是臨近的,由此匯聚形成的像素塊,最終視覺(jué)上呈現(xiàn)為不規(guī)則形狀的點(diǎn),在本文中把這種點(diǎn)稱為自動(dòng)標(biāo)注的三相平衡點(diǎn)。三相平衡點(diǎn)識(shí)別與標(biāo)注算法,詳見(jiàn)表1。

表1 三相平衡點(diǎn)識(shí)別與標(biāo)注算法Tab.1 Three-phase equilibrium point identification and mark algorithm

算法描述如下:①輸入L∈Qh×w為三相分割的輸出圖,h和w表示輸入圖的高和寬,Q={1,2,3},其中系數(shù)代表三種分割類別,L i,j∈Q,i、j表示圖的具體位置。②輸出T∈Gh×w為平衡點(diǎn)標(biāo)注圖,G=0,1{ },0表示非平衡點(diǎn)標(biāo)記,1表示平衡點(diǎn)標(biāo)記,T i,j∈G,i、j表示圖的位置。③初始化T,令所有元素為0;設(shè)正方形偵測(cè)區(qū)域的識(shí)別邊長(zhǎng)為s,類別數(shù)量的像素閾值為k,s、k∈N*;初始化值全為1 的s×s大小的卷積核kernel。④用L生成三張類別真值圖L1、L2、L3∈0,1{ }h×w,在L1、L2、L3中以每個(gè)位置的像素為中心,計(jì)算以每個(gè)像素為中心、s為邊長(zhǎng)的框中同類像素的個(gè)數(shù)。⑤當(dāng)框的識(shí)別范圍內(nèi)三種類別的像素?cái)?shù)量都超閾值k,則標(biāo)記該位置點(diǎn)為三相平衡點(diǎn),即標(biāo)記該位置設(shè)定T i,j=1。⑥輸出平衡點(diǎn)標(biāo)注位置圖T。

1.3 測(cè)評(píng)指標(biāo)

本文用平均交并比(Mean Intersection over Union,MIo U)和平均像素精度(Mean Pixel Accuracy,

MPA)通用的語(yǔ)義分割度量標(biāo)準(zhǔn)對(duì)分割結(jié)果做出測(cè)評(píng)。計(jì)算公式分別如下:

在公式(1)和公式(2)中,k表示類別,p ij表示本屬于i類卻被預(yù)測(cè)為j類的像素?cái)?shù)量。同理,p ji與p ii分別表示本屬于j類被預(yù)測(cè)為i類的像素?cái)?shù)量和本屬于i類被預(yù)測(cè)為i類的像素?cái)?shù)量。

針對(duì)識(shí)別算法設(shè)置識(shí)別有效性的測(cè)評(píng)指標(biāo),根據(jù)圖5中標(biāo)注對(duì)比的區(qū)別,定義兩個(gè)測(cè)評(píng)指標(biāo):檢出率dr(Detection Rate)和誤檢率er(Error Rate)。檢出率代表有多少比例的人工標(biāo)注的平衡點(diǎn)被正確地標(biāo)注出來(lái),如果是100%,說(shuō)明所有的平衡點(diǎn)都被自動(dòng)標(biāo)注出來(lái)。誤檢率代表有多少比例的自動(dòng)標(biāo)注點(diǎn)實(shí)際上不是平衡點(diǎn),但被本文所提方法錯(cuò)誤地標(biāo)注出來(lái)。其中,圖5(a)為人工標(biāo)注圖,人工標(biāo)注的平衡點(diǎn)以一個(gè)小正方形表示;圖5(b)為自動(dòng)標(biāo)注圖,自動(dòng)標(biāo)注的平衡點(diǎn)以一個(gè)類似圓形的點(diǎn)表示。如果有自動(dòng)標(biāo)注點(diǎn)出現(xiàn)在正方形內(nèi),說(shuō)明該平衡點(diǎn)被檢出(正確標(biāo)注),如圖5(b)中小點(diǎn)在正方形中則被檢出,正方形中無(wú)小點(diǎn)則未被檢出;如果自動(dòng)標(biāo)注點(diǎn)不在任何正方形內(nèi),說(shuō)明該自動(dòng)標(biāo)注點(diǎn)被誤檢(錯(cuò)誤標(biāo)注),如圖5(b)中右邊和正下方共4個(gè)小點(diǎn)沒(méi)出現(xiàn)在正方形內(nèi)。

圖5 標(biāo)注對(duì)比Fig.5 Comparison of mark

檢出率和誤檢率計(jì)算公式分別為如下:

其中,total為測(cè)評(píng)圖像的像素總數(shù),ml(Manual Labeling)為人工標(biāo)注的三相平衡點(diǎn)總數(shù),side為標(biāo)注的小正方形區(qū)域的邊長(zhǎng),tl(True Labeling)為被檢出的人工標(biāo)注的平衡點(diǎn)總數(shù),f l(False Labeling)為不出現(xiàn)在任何人工標(biāo)注點(diǎn)區(qū)域內(nèi)的自動(dòng)標(biāo)注點(diǎn)的像素總數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析(Experimental results and analysis)

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)方法運(yùn)行在Linux Ubuntu 20.04.2操作系統(tǒng)上,使用Tensor Flow作為深度學(xué)習(xí)框架,采用Jupyter notebook在線編輯器編寫(xiě)代碼和進(jìn)行實(shí)驗(yàn);硬件配置的CPU 為Intel(R) Xeon(R) Gold 6278CCPU@2.60 GHz,GPU為T(mén)esla T4兩塊,顯存為16 GB。

2.2 數(shù)據(jù)集制作和設(shè)置

在三相分割中,使用326張512×512大小的三元合金相圖圖片作為測(cè)試數(shù)據(jù)集,在分割算法之前,對(duì)合金相圖數(shù)據(jù)采用不同程度的Clahe對(duì)比度增強(qiáng)和色度增強(qiáng)等手段。為了驗(yàn)證三相平衡點(diǎn)識(shí)別算法有效性,對(duì)326張本文分割算法分割出的三相分割結(jié)果圖和對(duì)應(yīng)的人工分割圖構(gòu)成本文所提算法分割集和人工分割集,之后進(jìn)行測(cè)評(píng)。

2.3 實(shí)驗(yàn)分析

2.3.1 分割方法實(shí)驗(yàn)分析

驗(yàn)證本文改進(jìn)的分割方法的有效性,實(shí)驗(yàn)選取與原分割算法(UISB)進(jìn)行對(duì)比,在三元合金相圖數(shù)據(jù)集上進(jìn)行測(cè)試,根據(jù)公式(1)與公式(2)的指標(biāo)計(jì)算兩種方法的得分,量化的測(cè)評(píng)結(jié)果見(jiàn)表2,本文分割方法MIoU和MPA分別為49.86%和65.46%。實(shí)驗(yàn)表明,本文分割方法在預(yù)分割階段采用LSC算法替換SLIC算法,實(shí)現(xiàn)對(duì)目標(biāo)語(yǔ)義整體和邊界更加精細(xì)的預(yù)分割,在網(wǎng)絡(luò)加入空洞卷積模塊和注意力模塊提升對(duì)感受野和重要特征關(guān)注度。對(duì)比UISB方法,在兩個(gè)指標(biāo)上均有精度提升。對(duì)三元相圖數(shù)據(jù)輸出更精準(zhǔn)的物相分割結(jié)果,將易于識(shí)別算法對(duì)三相平衡點(diǎn)進(jìn)行識(shí)別。

表2 量化測(cè)評(píng)對(duì)比Tab.2 Quantitative evaluation comparison

本文改進(jìn)的分割方法和UISB方法在部分?jǐn)?shù)據(jù)上的分割表現(xiàn)的對(duì)比結(jié)果如圖6所示,可以看出,改進(jìn)方法在分割精度上表現(xiàn)更好,而且不同物相的分割整體性較好。

圖6 分割對(duì)比圖Fig.6 Comparison diagram of segmentation

2.3.2 平衡點(diǎn)識(shí)別算法分析

驗(yàn)證本文識(shí)別算法的有效性,對(duì)人工分割集和本文算法分割集在公式(3)與公式(4)測(cè)評(píng)指標(biāo)上進(jìn)行測(cè)試,在平衡點(diǎn)識(shí)別算法中使用不同參數(shù)k(2＜k＜10)、s(2＜s＜8)對(duì)單張圖片進(jìn)行測(cè)試,取最好結(jié)果計(jì)算均值,識(shí)別指標(biāo)對(duì)比見(jiàn)表3。算法在人工分割集上表現(xiàn)出色,平均檢出率93%,原因是人工對(duì)物相的分割結(jié)果存在的誤差較少,而本文分割方法輸出的三相分割結(jié)果圖存在像素誤分、零散像素干擾等情況,但也取得62%的識(shí)別檢出率,表明識(shí)別算法能識(shí)別并標(biāo)注大部分的三相平衡點(diǎn)。

表3 識(shí)別指標(biāo)對(duì)比Tab.3 Comparison diagram of identification index

圖7為三相平衡點(diǎn)標(biāo)注圖的可視化結(jié)果,以小點(diǎn)在原圖上的形式展示,方便觀察使用了方框框選部分結(jié)果,從視覺(jué)效果上看,在三種物相的交接處標(biāo)注出大部分的三相平衡點(diǎn),雖然存在部分漏標(biāo)、錯(cuò)標(biāo)的情況,但是總體來(lái)看,方法在自動(dòng)標(biāo)注三相平衡點(diǎn)有一定的效果。

圖7 可視化結(jié)果Fig.7 Visualization of results

3 結(jié)論(Conclusion)

針對(duì)相圖測(cè)定中合金三相平衡點(diǎn)標(biāo)注的研究需要,提出三相平衡點(diǎn)識(shí)別方法進(jìn)行智能化的標(biāo)注。實(shí)驗(yàn)結(jié)果表明,總體的三相平衡點(diǎn)識(shí)別方法存在一定局限性,三相平衡點(diǎn)識(shí)別標(biāo)注的表現(xiàn)會(huì)依賴分割階段的分割表現(xiàn),但方法仍能夠識(shí)別并標(biāo)注出大部分的三相平衡點(diǎn)。總體來(lái)看,本文方法在智能化標(biāo)注三相平衡點(diǎn)上有一定的應(yīng)用價(jià)值,能起到輔助人工標(biāo)注的作用。