基于DCGAN的金相圖片生成方法及其應(yīng)用研究

楊維姝，伊軍英，孟雪，邱佳祺，馮慶軍

（1.江蘇科技大學(xué)冶金與材料工程學(xué)院，江蘇 張家港 215600；2.江蘇科技大學(xué)蘇州理工學(xué)院電氣與信息工程學(xué)院，江蘇 張家港 215600）

0 引言

金相圖片能夠反映出金屬材料的微觀組織和形貌特征，對研究金屬材料的性能具有重大作用。晶粒尺寸不同的金屬材料其力學(xué)性能有較大差異，晶界越多，晶粒越細(xì)，根據(jù)霍爾-佩奇公式，晶粒的平均直徑越小，材料的屈服強(qiáng)度就越高，材料的力學(xué)性能越好。

金相分析是研究金屬材料的重要手段之一，在日常的實(shí)驗(yàn)研究中，金相分析流程主要依靠實(shí)驗(yàn)人員的眼睛觀察，并結(jié)合個(gè)人經(jīng)驗(yàn)對所需金相顯微組織進(jìn)行判斷、分析與分類，這存在著明顯不足：鑒定結(jié)果受人的主觀因素影響較大，在一定程度上缺乏客觀性與通用性，而且這樣的分析方法效率低，不能實(shí)現(xiàn)金相圖片的快速分析和復(fù)現(xiàn)。為了解決這一問題，目前，已有很多學(xué)者開始研究金相圖片與計(jì)算機(jī)網(wǎng)絡(luò)相結(jié)合的方法，以實(shí)現(xiàn)金相圖片的自動(dòng)化處理[1][2]，然而此類技術(shù)的實(shí)現(xiàn)依賴于大量的金相圖片數(shù)據(jù)。在日常的實(shí)驗(yàn)中，人力物力的限制會(huì)導(dǎo)致在某一具體的實(shí)驗(yàn)研究中，圖片數(shù)據(jù)匱乏，限制了金相圖片分析技術(shù)的進(jìn)一步發(fā)展。

為了解決實(shí)驗(yàn)過程中金相圖片有限的問題，本文研究生成式對抗網(wǎng)絡(luò)[3]（GAN），探究此網(wǎng)絡(luò)在金相圖像領(lǐng)域的應(yīng)用效果。2014年Lan Goodfellow提出基于零和博弈思想的生成式對抗網(wǎng)絡(luò)，此網(wǎng)絡(luò)一經(jīng)提出便成為人工智能領(lǐng)域的研究熱點(diǎn)。其中，深度卷積對抗網(wǎng)絡(luò)（DCGAN）具有模型穩(wěn)定、分析數(shù)據(jù)強(qiáng)的優(yōu)點(diǎn)，可用此網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)樣本[4][5]，從而進(jìn)行金相圖片特征的普遍性研究。

1 圖像預(yù)處理

金相圖片往往包含很多影響觀察的劃痕、污漬等，為了便于觀察研究金相特征，需對圖像進(jìn)行降噪處理，去掉金相顯微組織圖像中的干擾噪聲，保留有用的細(xì)節(jié)信息，從而得到高質(zhì)量的金相圖片。常用的降噪方法有線性濾波法、中值濾波法、基于離散余弦變換的圖像去噪。研究發(fā)現(xiàn)，基于小波變換的圖像降噪方法[6]在去除金相圖片噪聲時(shí)有著較好的效果，通過低波濾波器對小波分段后的圖像進(jìn)行篩選，保留圖像低頻部分的主要信息，達(dá)到降噪目的。

本文采用一種基于雙曲線閾值函數(shù)的小波閾值降噪方法，通過改進(jìn)軟閾值函數(shù)得到最佳的金相去噪圖像。改進(jìn)前的降噪結(jié)果為

至此，便可導(dǎo)入待處理的金相圖片，去除圖片的劃痕等噪聲。如此降噪后得到的恢復(fù)圖像達(dá)到了較好的處理效果，在去噪的同時(shí)保留了清晰的金相細(xì)節(jié)特征，如圖1所示：

2 生成模型

2.1 樸素GAN原理

GAN起源于零和博弈的思想，并將其結(jié)合應(yīng)用到神經(jīng)網(wǎng)絡(luò)中，構(gòu)建生成網(wǎng)絡(luò)G（Generator）和判別網(wǎng)絡(luò)D（Discriminator）兩個(gè)網(wǎng)絡(luò)模型。其中，生成模型使新樣本圖片盡可能近似為真實(shí)樣本。而判別模型則是一個(gè)分類器，其目標(biāo)是使判斷結(jié)果準(zhǔn)確。兩大模型動(dòng)態(tài)博弈，通過交替訓(xùn)練以實(shí)現(xiàn)生成模型和對抗模型達(dá)到納什平衡，當(dāng)D模型不能正確分辨出圖片來源時(shí)，可認(rèn)為生成器能夠生成“真實(shí)”圖片，此圖片對后續(xù)的研究具有同真實(shí)圖片一樣的參考價(jià)值。

利用隨意梯度下降法對兩模型進(jìn)行優(yōu)化，建立目標(biāo)函數(shù)對此模型進(jìn)行監(jiān)督和判斷。當(dāng)給定G模型時(shí)，D模型的優(yōu)化方式與常規(guī)二值分類器的訓(xùn)練一樣，用交叉熵表示其目標(biāo)函數(shù)，即

其中G表示生成器，D表示判斷器，x為真實(shí)數(shù)據(jù)樣本，z為隨機(jī)噪聲矢量，G(z)為噪聲矢量z在G空間上映射而成的生成數(shù)。式中第一項(xiàng)表示D對真實(shí)數(shù)據(jù)x標(biāo)注為1，第二項(xiàng)表示D對由G生成的數(shù)據(jù)標(biāo)注為0。

判別器D的目標(biāo)是能正確區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，當(dāng)輸入為真實(shí)樣本x時(shí)應(yīng)使輸出盡可能為1，而當(dāng)輸入為生成數(shù)據(jù)G(z)時(shí)應(yīng)使輸出盡可能為0，所以目標(biāo)函數(shù)式（5）轉(zhuǎn)化為如下表達(dá)式：

生成器G與判斷器D時(shí)刻進(jìn)行零和博弈，故生成器G的目標(biāo)函數(shù)為

為使兩者達(dá)到某種納什平衡，故GAN結(jié)合D和G的博弈情況，其優(yōu)化目標(biāo)函數(shù)可表示為

當(dāng)GAN搭建完成，便可以利用此網(wǎng)絡(luò)進(jìn)行圖片生成、圖像超分辨率、圖像修復(fù)等。

2.2 利用DCGAN擴(kuò)充數(shù)據(jù)集

GAN避免了反復(fù)應(yīng)用馬爾可夫鏈學(xué)習(xí)機(jī)制，無需變分下限或近似推斷，極大的提高了應(yīng)用效率，但難以保證G網(wǎng)絡(luò)模型和D網(wǎng)絡(luò)模型在對抗過程中保持平衡。而深度卷積生成對抗網(wǎng)絡(luò)[7]（DCGAN）將GAN與CNN相結(jié)合，提高了原始GAN訓(xùn)練的穩(wěn)定性和生成圖片的質(zhì)量。

DCGAN是GAN中一個(gè)代表性模型，在樸素GAN的基礎(chǔ)上，引入卷積神經(jīng)網(wǎng)絡(luò)，替換原先的生成器和判別器結(jié)構(gòu)，從而有效的提高網(wǎng)絡(luò)的穩(wěn)定性[8]。DCGAN的生成器和判別器均舍棄了CNN的池化層，其中，判別器使用卷積結(jié)構(gòu)，生成器使用反卷積結(jié)構(gòu)。DCGAN在生成器和判別器后的每一層加了BN層（Batch Normalization），加快訓(xùn)練速度，提高穩(wěn)定性。移除完全連接的隱藏層，以實(shí)現(xiàn)更深層次的體系結(jié)構(gòu)。此外，在生成器中，除輸入層使用Tanh激活函數(shù)，其余層全部使用ReLU激活函數(shù)；在判別器中，所有層都使用LeakyReLU激活函數(shù)[7]。

將DCGAN應(yīng)用到金相圖片中，可有效擴(kuò)充金相圖片數(shù)據(jù)集，在大量樣本的基礎(chǔ)上，分析結(jié)果將更具說服力。

3 金相圖片特征分析

利用上述模型，將其應(yīng)用到鋁合金固溶、軋制加工工藝[9]中，DCGAN生成的大量Al-Zn-Mg-Cu合金的金相圖片，可對其組織形貌進(jìn)行特征分析。由DCGAN生成的金相圖像，圖像數(shù)據(jù)的增多，使得金相圖片的分析更具說服力。

將Al-Zn-Mg-Cu合金在470℃下固溶6h處理，研究軋制變形量對鋁合金組織和性能的影響，如圖2為具有代表性的未軋制和軋制變形量分別為8%、12%、16%的固溶鋁合金金屬試樣在蔡司顯微鏡下拍攝得到的金相圖片利用上述模型而生成的金相圖片。

圖2 固溶鋁合金金相組織處理后圖片

軋制變形量的增加，對固溶鋁合金晶粒尺寸產(chǎn)生一定影響,且隨著變形量的增加，合金中的孿晶數(shù)量越來越多，孿晶的方向也從單一變?yōu)榻诲e(cuò)分布。軋制溫度的提高可以促進(jìn)更多的滑移系開動(dòng)，使得孿晶變得細(xì)長。

由表1可知，軋制變形量對固溶合金的加工硬化效果影響較為顯著，當(dāng)變形量增加至8%時(shí)，合金硬度可達(dá)到88.16HV，比未軋制的合金硬度提高了23.27%。一定溫度范圍內(nèi)，隨著軋制變形量的升高，硬度值呈升高趨勢。對于固溶處理后的鋁合金，以一定的變形量軋制后，試樣的晶粒隨著軋制變形量的增加得到細(xì)化，且孿晶數(shù)量增多、趨于交錯(cuò)分布，若再將其進(jìn)行經(jīng)過時(shí)效處理[10]，可利用孿晶分布的特點(diǎn)從而更進(jìn)一步提高其硬度值。

表1 固溶鋁合金的維氏硬度值（單位：HV）

4 結(jié)語

（1）GAN是深度學(xué)習(xí)領(lǐng)域中一個(gè)重要的模塊，此網(wǎng)絡(luò)具有強(qiáng)大的生成能力，在圖像分析領(lǐng)域具有重要的作用，將此網(wǎng)絡(luò)與相應(yīng)的圖像分析方法相結(jié)合，能有效的處理樣本少、圖像質(zhì)量差的問題，為大數(shù)據(jù)分析的圖像處理方法提供了保障。（2）DCGAN與GAN相比，其生成的圖片質(zhì)量更高且模型穩(wěn)定，在圖像生成領(lǐng)域?qū)⒕哂懈鼜V泛的應(yīng)用，結(jié)合金相圖像特征復(fù)雜的特點(diǎn)，DCGAN更適合用來擴(kuò)充金相圖像樣本集。在研究過程中發(fā)現(xiàn)，DCGAN穩(wěn)定性強(qiáng)，具有強(qiáng)大的圖像生成能力。（3）軋制變形量的增加使固溶鋁合金晶粒尺寸得到細(xì)化，合金中的孿晶數(shù)量增多，孿晶的方向也從單一變?yōu)榻诲e(cuò)分布，當(dāng)變形量增加至8%時(shí)，合金硬度可達(dá)到88.16HV，比未軋制的合金硬度提高了23.27%，且隨著軋制變形量的升高，硬度值呈升高趨勢。