基于條件生成式對(duì)抗網(wǎng)絡(luò)的AFM圖像盲重構(gòu)方法

胡佳成，顏迪新，曹 叢，施玉書，張 樹，李東升

(1. 中國計(jì)量大學(xué),浙江 杭州 310018；2. 山東省計(jì)量科學(xué)研究院,山東 濟(jì)南 250014；3. 中國計(jì)量科學(xué)研究院,北京 100029)

1 引 言

原子力顯微鏡(atomic force microscope, AFM)，通常可以在橫向和縱向上提供非常高的分辨率，由于AFM探針的有限尺寸，AFM所測(cè)量圖像通常與真實(shí)樣本不同。探針尺寸對(duì)被測(cè)圖像的影響不僅會(huì)使被測(cè)圖像失真，而且還會(huì)降低被測(cè)圖像的分辨率。雖然可以采用制造尖銳掃描探針的技術(shù)，但由于其形狀規(guī)則、硬度高，通常使用較大尺寸的探針。在亞微米尺度的測(cè)量中，樣品尺寸比原子尺寸大。在這些情況下，掃描探針可以被認(rèn)為是一個(gè)點(diǎn)去接觸樣本，因?yàn)樘结樅蜆颖局g的小間隙可以忽略?；谶@個(gè)假設(shè)，可以從被測(cè)圖像中提取真實(shí)表面，但在大多數(shù)情況下是“不適定”的，因?yàn)樗菑?qiáng)非線性的[1,2]。

1994年，Villarrubia J S[3]提出了掃描尖銳變化參考表面和采用盲重構(gòu)算法建立探針針尖模型的方法來重構(gòu)AFM圖像，盲重構(gòu)法的優(yōu)點(diǎn)是可以在不確定樣品真實(shí)表面輪廓的情況下，通過掃描參考表面來估計(jì)探針，進(jìn)而利用得到的探針針尖模型來重構(gòu)圖像。1995年，Wang等[4]提出了訓(xùn)練神經(jīng)網(wǎng)絡(luò)在AFM圖像和真實(shí)樣品表面之間建立非線性映射，以此來恢復(fù)AFM中非理想針尖的展寬效應(yīng)失真，但該法需要已知探針針尖形貌的情況下，通過AFM圖像重構(gòu)樣本真實(shí)表面來生成訓(xùn)練集。目前獲取探針針尖形貌的方法主要有采用SEM/TEM、利用探針表征結(jié)構(gòu)(Tip-C)以及盲重構(gòu)。其中掃描電子顯微鏡(scanning electron microscope,SEM)和透射電子顯微鏡(transmission electron microscope,TEM)是兩種非原位針尖形貌成像技術(shù)，但是其本身操作(特別是TEM)復(fù)雜且費(fèi)時(shí)。另外對(duì)于針尖的成像而言，這種類型的方法需要將使用過的探針在AFM儀器和SEM/TEM儀器之間進(jìn)行轉(zhuǎn)換，而且這種操作無法確定在傳遞過程中針尖是否受到污染或損壞。盲重構(gòu)現(xiàn)以其不需要標(biāo)定探針表征樣品的形貌，僅從AFM圖像中重建針尖形貌的優(yōu)點(diǎn)，已作為一種非官方標(biāo)準(zhǔn)而廣泛應(yīng)用，但是這種方法本身更適于評(píng)估針尖在成像過程中的衰退狀態(tài)，并不適用于表征真實(shí)針尖形狀[5]。

本文提出了一種基于條件生成式對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial network, CGAN)AFM圖像盲重構(gòu)方法，采用pix2pixHD模型的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)通過仿真樣本數(shù)據(jù)以對(duì)抗訓(xùn)練機(jī)制進(jìn)行迭代優(yōu)化，并在該法中導(dǎo)入一維矩形光柵測(cè)量圖像聯(lián)合訓(xùn)練，得到模型實(shí)現(xiàn)了AFM圖像的盲重構(gòu)[6]。實(shí)驗(yàn)結(jié)果符合預(yù)期，且不需要重構(gòu)探針針尖形貌，該方法可以移植到儀器中用于修正AFM成像。

2 理論原理

2.1 CGAN原理

相比其它生成式模型，生成式對(duì)抗網(wǎng)絡(luò)(GAN)得到眾多研究者的關(guān)注,它由生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D構(gòu)成。其中G主要的目的是學(xué)習(xí)真實(shí)樣本的數(shù)據(jù)樣本的分布，然后生成新的樣本。D的目標(biāo)是最大程度的區(qū)分真實(shí)樣本和偽樣本即G生成的樣本，其使用公式[7]表示為

(1)

式中：Ex～Pdata代表判別網(wǎng)絡(luò)模型；Ex～PG代表生成網(wǎng)絡(luò)模型；Pdata代表真實(shí)的樣本；PG代表生成網(wǎng)絡(luò)生成的樣本，含義為當(dāng)生成網(wǎng)絡(luò)G固定時(shí)，尋找一個(gè)判別網(wǎng)絡(luò)可以最大程度的區(qū)分生成樣本和真實(shí)的樣本。生成網(wǎng)絡(luò)的目標(biāo)是讓本身生成的樣本更加接近真實(shí)樣本讓判別網(wǎng)絡(luò)鑒別不出本身的樣本為假。公式可表達(dá)為

(2)

故對(duì)抗網(wǎng)絡(luò)的優(yōu)化問題即為一個(gè)極小極大的博弈問題。

GAN是一個(gè)無監(jiān)督生成式模型，不需要預(yù)先建模，但對(duì)于單個(gè)AFM圖像較多像素的情形，生成網(wǎng)絡(luò)G基于深度神經(jīng)網(wǎng)絡(luò)(deep neural networks,DNN)忽略了AFM探針針尖對(duì)于圖像的展寬效應(yīng)所導(dǎo)致的局部相關(guān)性信息，且在最優(yōu)判別網(wǎng)絡(luò)下生成網(wǎng)絡(luò)的損失函數(shù)是KL散度，容易導(dǎo)致訓(xùn)練過程不收斂[8]。

條件生成式對(duì)抗網(wǎng)絡(luò)(CGAN)是對(duì)GAN的一個(gè)擴(kuò)展，以在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)都增加額外信息y為條件，y在AFM圖像去卷積重構(gòu)中為探針針尖形貌。CGAN結(jié)構(gòu)如圖1所示。

圖1 CGAN結(jié)構(gòu)Fig.1 Structure of CGAN

生成網(wǎng)絡(luò)G的輸入為樣本真實(shí)表面信息z和探針信息y，并生成偽樣本G(z|y)導(dǎo)入判別網(wǎng)絡(luò)D，通過將真實(shí)測(cè)量樣本信息x和條件探針信息y作為D輸入層的一部分，從而實(shí)現(xiàn)CGAN，其表達(dá)式[9]為

(3)

受限于探針信息的獲取，本文采用pix2pix模型,其結(jié)構(gòu)如圖2所示。

圖2 pix2pix結(jié)構(gòu)Fig.2 Structure of pix2pix

pix2pix的輸入為配對(duì)樣本數(shù)據(jù)(x,y)，利用CGAN實(shí)現(xiàn)了AFM針尖展寬效應(yīng)特征向量遷移的任務(wù)，將AFM測(cè)量樣本x繼續(xù)導(dǎo)入，與柵格真實(shí)樣本y以及偽樣本聯(lián)合作為判別網(wǎng)絡(luò)的輸入，表達(dá)式[10]為

(4)

式中：LCGAN(G,D)代表模型損失函數(shù)；λ代表特征匹配函數(shù)權(quán)重參數(shù)；LL1(G)代表L1范數(shù)正則化項(xiàng)。

2.2 AFM探針掃描柵格原理

基于pix2pix的AFM圖像去卷積盲重構(gòu)開啟新的思路和方法，也在應(yīng)用上增加了要求。此外，模型的學(xué)習(xí)需要大量訓(xùn)練樣本，而現(xiàn)有的AFM圖像相關(guān)的數(shù)據(jù)集難以滿足需求。Modarres M H等[11]對(duì)大約20 000張SEM圖像進(jìn)行人工標(biāo)注，完成首個(gè)真正意義上的SEM圖像數(shù)據(jù)集，涵蓋一維納米線和纖維，二維薄膜和涂層表面，以及三維圖形表面，但只有類別標(biāo)簽，沒有配對(duì)的真實(shí)參考圖像，不能用于網(wǎng)絡(luò)訓(xùn)練。此類數(shù)據(jù)集都是針對(duì)圖像檢索工作制作，數(shù)據(jù)集中的真實(shí)圖像通常帶有大量復(fù)雜內(nèi)容，圖像主體不夠突出，因此也不適宜用作網(wǎng)絡(luò)的訓(xùn)練樣本。

圖3為針尖掃描被測(cè)樣品表面示意圖。

AFM探針掃描樣品表面的成像過程可用式(5)描述[12]，

I=S⊕P

(5)

式中：I表示掃描結(jié)果的圖像；S表示被測(cè)樣品表面形貌；P表示探針針尖輪廓的映像；⊕表示膨脹運(yùn)算。

圖3中在AFM掃描成像中，由于探針針尖為非理想針尖，其具有展寬效應(yīng)等因素，導(dǎo)致掃描圖像失真。從數(shù)學(xué)形態(tài)學(xué)角度看，可以認(rèn)為真實(shí)圖像失真是受到了探針針尖形貌卷積的作用,因而不能反映樣品表面的真實(shí)形貌。圖像重構(gòu)的過程在數(shù)學(xué)形態(tài)學(xué)中可表示為[13]：

圖3 針尖掃描被測(cè)樣品表面示意圖Fig.3 Diagram of the surface of the sample scanned by the tip

S′=I?P

(6)

式中:S′為樣品表面重構(gòu)圖像;?為腐蝕運(yùn)算。

由式(6)可知，I為已知的AFM掃描圖像，要想得到重構(gòu)圖像，就需要知道探針針尖的形貌輪廓P。本文通過預(yù)設(shè)定探針針尖模型，利用膨脹運(yùn)算獲得仿真樣本數(shù)據(jù)用于對(duì)抗訓(xùn)練。

3 基于CGAN的AFM圖像盲重構(gòu)方法

本文提出的基于CGAN的AFM圖像盲重構(gòu)方法采用pix2pixHD模型利用全局生成網(wǎng)絡(luò)對(duì)仿真樣本數(shù)據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)對(duì)抗訓(xùn)練生成低分辨率圖片，并將低分辨率圖片作為局部提升網(wǎng)絡(luò)的輸入，然后生成分辨率更高的圖片。該模型采用多級(jí)生成網(wǎng)絡(luò)G和多尺度判別網(wǎng)絡(luò)D，并對(duì)pix2pix模型原有的損失函數(shù)上加入了針尖展寬效應(yīng)特征匹配損失[14]。

3.1 生成網(wǎng)絡(luò)

pix2pixHD生成網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 pix2pixHD生成網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The structure of pix2pixHD generation network

該結(jié)構(gòu)由G1和G2兩部分組成，G1作為全局生成網(wǎng)絡(luò)，G2作為局部提升網(wǎng)絡(luò)，其中G2又被割裂成兩個(gè)部分。G1網(wǎng)絡(luò)采用U-Net結(jié)構(gòu)，G2的左半部分提取AFM測(cè)量圖像特征，并和G1的輸出層的前一層特征進(jìn)行相加融合信息，把融合后的信息送入G2的后半部分輸出圖像。

首先在AFM仿真樣本上訓(xùn)練網(wǎng)絡(luò)G1，G2接在G1的后面，在AFM測(cè)量圖像上這兩個(gè)網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練，最終得到AFM重構(gòu)圖像。

G1結(jié)構(gòu)如圖5所示。

圖5 G1結(jié)構(gòu)Fig.5 The structure of G1

全局生成網(wǎng)絡(luò)G1在 128×128分辨率的柵格圖像上進(jìn)行操作，局部提升網(wǎng)絡(luò)G2輸出一個(gè)為G1圖片維度2倍的一張圖。G1采用U-Net網(wǎng)絡(luò)，由編碼結(jié)構(gòu)和解碼結(jié)構(gòu)組成，其中使用到了卷積層、池化層與轉(zhuǎn)置卷積層。卷積層采用的卷積核為3×3大小，步幅為1，填充值為1，使得卷積后特征圖尺寸大小不改變，激活函數(shù)采用ReLU函數(shù)，可以防止出現(xiàn)梯度消失的問題，同時(shí)加快網(wǎng)絡(luò)的收斂。池化層采用步幅為2的2×2最大池化下采樣，如此可以使輸入的特征圖尺寸減小一半。編碼結(jié)構(gòu)由兩個(gè)卷積層和一個(gè)池化層交替應(yīng)用。轉(zhuǎn)置卷積層采用了一個(gè)特征譜的上采樣，以及一個(gè)2×2卷積核使得特征數(shù)量通道減半。編碼結(jié)構(gòu)由一個(gè)轉(zhuǎn)置卷積層和兩個(gè)卷積層和重復(fù)應(yīng)用。收縮路徑作用是將圖像尺寸縮小，擴(kuò)張路徑的作用是將圖像還原為原尺寸[15]。

局部提升網(wǎng)絡(luò)G2由3個(gè)部分組成：一個(gè)卷積前向到端部分，一系列的殘差網(wǎng)絡(luò)和一個(gè)反卷積后向到端部分。G2的輸入標(biāo)簽圖的分辨率是256×256，殘差網(wǎng)絡(luò)的輸出是G2第一部分輸出特征圖和G1中最后一層特征圖的對(duì)應(yīng)元素之和，這有助于整合G1的全局信息到G2。

在訓(xùn)練期間，本文先按照測(cè)量圖像的分辨率訓(xùn)練全局生成器和局部提升網(wǎng)絡(luò)，然后聯(lián)合所有的網(wǎng)絡(luò)來進(jìn)行精調(diào)。對(duì)于AFM圖像盲重構(gòu)，多級(jí)生成器的設(shè)計(jì)可以有效利用整體信息和局部信息。

3.2 判別網(wǎng)絡(luò)

AFM高分辨率圖像的盲重構(gòu)，需要擴(kuò)大判別網(wǎng)絡(luò)的感受野，這將導(dǎo)致模型臃腫和過擬合的潛在因素，會(huì)占用大量GPU資源。本文為了解決這些問題，提出了多尺度判別網(wǎng)絡(luò)。該網(wǎng)絡(luò)對(duì)AFM測(cè)量圖像和重構(gòu)圖像進(jìn)行2倍和4倍的下采樣來創(chuàng)造3個(gè)尺度判別網(wǎng)絡(luò)：D1為原圖，D2為原圖的1/2下采樣，D3為原圖的1/4下采樣。

其中，分辨力最大的判別網(wǎng)絡(luò)的感受野為三者中最大，包含柵格測(cè)量圖像全局視角信息；分辨力最小的判別網(wǎng)絡(luò)監(jiān)督訓(xùn)練生成網(wǎng)絡(luò)以生成橫向分辨力更高的柵格邊緣信息，表達(dá)式[16]為

(7)

3.3 損失函數(shù)

本文基于多尺度判別網(wǎng)絡(luò)結(jié)合一個(gè)特征匹配損失來提升pix2pixHD的損失公式。具體來說，該損失函數(shù)從G的多級(jí)層中提取針尖卷積效應(yīng)特征，將生成的偽樣本和輸入的真實(shí)測(cè)量樣本分別送入D中，然后除了輸出層以外的所有層的特征圖訓(xùn)練映射測(cè)量和重構(gòu)圖像中的特征向量，其特征匹配損失函數(shù)式[17]為

(8)

(9)

式中：si為AFM測(cè)量圖像；xi為重構(gòu)圖像；T是總層數(shù)；Ni是每層的樣本數(shù)量。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)平臺(tái)是某省計(jì)量科學(xué)研究院的AFM測(cè)量系統(tǒng)。使用BRUKER公司的NanoScope V采用SNL-10型號(hào)針尖對(duì)一維矩形柵格進(jìn)行測(cè)量，使用Stage Controller控制AFM懸臂的行走方向和速度。G1采用128×128分辨力的模擬一維矩形柵格圖像(見圖6)與探針模型通過膨脹運(yùn)算得到仿真AFM成像圖(見圖7)作為訓(xùn)練集，在圖6和圖7中，子圖(a)為模擬一維矩形柵格圖像三維圖,子圖(b)為模擬一維矩形柵格圖像高度圖。G2則采用AFM測(cè)量系統(tǒng)對(duì)固定周期10 μm、線寬8 μm的一維矩形柵格測(cè)量圖像作為輸入，圖像三維圖和圖像高度圖分別如圖8、圖9所示。

圖6 模擬柵格圖像Fig.6 Diagram of simulate grid

圖7 仿真AFM成像Fig.7 Diagram of simulated AFM imaging

圖8 柵格測(cè)量圖像三維圖Fig.8 Three dimensional graph of grid measurement image

圖9 柵格測(cè)量圖像高度圖Fig.9 Height graph of grid measurement image

pix2pixHD模型訓(xùn)練采用python3.67在tensor-flow-gpu1.10.0框架中實(shí)現(xiàn)，網(wǎng)絡(luò)訓(xùn)練和測(cè)試使用英特爾Core i5-8400 2.80 GHz CPU，6G Geforce GTX 2060 GPU和16G RAM。G1數(shù)據(jù)集來源于膨脹運(yùn)算得到仿真AFM成像圖集合，對(duì)于每個(gè)圖像條件，400幅模擬柵格樣本圖像以及相對(duì)應(yīng)膨脹后的仿真AFM成像圖。其中，320幅圖像用于訓(xùn)練集，80幅圖片用于測(cè)試集。G2訓(xùn)練集源自某省計(jì)量科學(xué)研究院AFM測(cè)量系統(tǒng)，對(duì)線寬8 μm、高度120 nm的一維矩形柵格掃描得到真實(shí)測(cè)量圖像。訓(xùn)練集包括120幅AFM掃描圖像，所有圖像均采用研究所提供的標(biāo)稱值作為標(biāo)注，最終得到的成像盲重構(gòu)結(jié)果如圖10所示[18]。

圖10 柵格重構(gòu)圖像高度圖Fig.10 Height graph of grid reconstruction image

對(duì)柵格測(cè)量圖像以及重構(gòu)圖像進(jìn)行輪廓探測(cè)后采用霍夫變換測(cè)得線寬值如表1所示，AFM測(cè)量圖像線寬平均值為8.68 μm×8.56 μm，標(biāo)準(zhǔn)差為 0.72 μm×0.66 μm；本文所采用的pix2pixHD模型盲重構(gòu)圖像線寬為7.68 μm×7.64 μm，標(biāo)準(zhǔn)差為0.33 μm×0.45 μm，本方法模型相比于AFM測(cè)量值標(biāo)準(zhǔn)差降低了0.39 μm×0.21 μm，能更好的重構(gòu)AFM一維矩形柵格圖像，得到柵格邊緣更多細(xì)節(jié)信息。

表1 柵格圖像重構(gòu)前后線寬值Tab.1 Line width before and after reconstruction of grid image μm

5 結(jié) 論

針對(duì)AFM對(duì)一維矩形柵格成像過程中針尖展寬效應(yīng)的影響、AFM圖像重構(gòu)非線性的問題，本文提出一種基于條件生成式對(duì)抗網(wǎng)絡(luò)的AFM圖像盲重構(gòu)方法，通過pix2pixHD模型多級(jí)生成網(wǎng)絡(luò)，將仿真數(shù)據(jù)樣本作為先驗(yàn)知識(shí)添加到對(duì)抗網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集中，采用多尺度判別網(wǎng)絡(luò)擴(kuò)大感受野，對(duì)不同分辨率的AFM圖像進(jìn)行訓(xùn)練，實(shí)現(xiàn)了一維矩形柵格AFM圖像去卷積盲重構(gòu)，且具有較高的成像分辨率。實(shí)驗(yàn)表明：該方法可用于AFM圖像柵格表面的去卷積重構(gòu)，具有很強(qiáng)的靈活性，用于提高儀器準(zhǔn)確度。

本文利用對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)從AFM測(cè)量圖像到柵格真實(shí)表面的非線性映射，無需重構(gòu)探針針尖形貌。此外，該方法使重構(gòu)圖像對(duì)測(cè)量噪聲的靈敏度降低，這使得該法比傳統(tǒng)方法具有更廣泛的適用性，但其局限性在于模型訓(xùn)練中不能保證給定非線性函數(shù)為最佳逼近，AFM測(cè)量圖像數(shù)據(jù)必須足夠精細(xì)，以保留與針尖形狀有關(guān)的特征。