基于GAN網(wǎng)絡(luò)的煤巖圖像樣本生成方法

王 星，高 峰，陳 吉，郝鵬程，荊正軍

(1.遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院,遼寧 葫蘆島 125105; 2.神東煤炭集團公司寸草塔一礦,內(nèi)蒙古 鄂爾多斯 017205; 3.阜新煤礦集團 恒大煤礦，遼寧 阜新 123002)

煤炭是我國的主體能源，也是最經(jīng)濟的化石能源，對我國的能源安全和經(jīng)濟社會發(fā)展起著舉足輕重的作用[1-2]。煤炭的智能化、無人化開采在提高煤炭產(chǎn)量的同時，也是減少煤礦事故，特別是工作面事故的主要途徑。煤巖界面自動識別[3]是實現(xiàn)智能化和無人化開采的核心技術(shù)，是采煤機滾筒和掘錨機截割部位高度的自動調(diào)節(jié)以及液壓支架頂板支護自動調(diào)整的關(guān)鍵所在，同時也是公認的世界難題。因此，深入研究煤巖界面的自動識別方法具有重要的理論意義和實踐價值。

圍繞煤巖界面的自動識別研究，國內(nèi)外學(xué)者提出了多種方法，如振動檢測方法[4]利用拾振傳感器監(jiān)測采煤機切割力響應(yīng)變化，通過減少采煤機噪聲的方法提高煤巖識別效率;放射性探測方法[5]依據(jù)γ射線穿過煤和巖石表現(xiàn)出的不同衰減曲線來識別煤巖;聲壓檢測方法[6]通過聲波、雷達等進行煤巖界面探測;紅外探測方法[7]通過檢測煤巖界面切割時產(chǎn)生的紅外輻射來識別煤巖界面。由于受到傳感器自身性能、γ射線穿透能力、探測范圍以及粉塵環(huán)境等方面的影響，上述煤巖識別方法的準確性和效率還有提升空間。

近年來通過提取煤巖的顏色、紋理和形狀等特征來識別煤巖的方法受到越來越多的關(guān)注，出現(xiàn)了以字典學(xué)習(xí)法[8]、小波變換法[9]、相似性度量法[10]和神經(jīng)網(wǎng)絡(luò)法[11]等為代表的煤巖圖像識別[12-15]方法。劉富強等[16]通過圖像預(yù)處理、邊緣提取、區(qū)域標記等分析煤或矸石的灰度分布情況，之后通過比較灰度直方圖的方式區(qū)分煤巖。李文斌等[17]基于光澤并通過光漫射特征及直方圖方法判別煤巖。HOBSON等[18]通過對比相關(guān)圖像處理方法，得出紋理比灰度更適合進行煤巖識別的結(jié)論。為了提高共生矩陣慣性矩在圖像紋理分析中的作用，于國防[19]提出一種基于間隔灰度壓縮的擴階共生矩陣慣性矩來提高煤巖識別效率。黃韶杰[20]以煤巖顏色為例，采用邊緣檢測和灰度閾值法進行煤巖識別。MENG等[21]通過分析煤巖紋理的不同，提出一種基于灰度共生矩陣和反向傳播神經(jīng)網(wǎng)絡(luò)的煤巖識別方法。伍云霞等[22-24]提出了基于字典學(xué)習(xí)、Curvelet變換、帶局部約束的字典學(xué)習(xí)等能充分表達圖像的紋理特征和邊緣特征的方法來提高煤巖識別的效率。相似性度量方法以圖像之間的相似度大小作為分類依據(jù)，孫繼平、陳浜等[8-10]提出了支持向量誘導(dǎo)字典學(xué)習(xí)和小波變換等的煤巖識別方法。常見的煤巖圖像相似度距離測度還包括歐式距離、切比雪夫距離等。佘杰[25]運用支持向量機對煤巖進行識別。K-means方法[26]是最為常用的煤巖聚類方法，它在煤巖圖像數(shù)量較大、圖像光線好、煤巖差異性比較大時具有較好的處理效果。王瑩[27]提出了多參數(shù)融合的煤巖識別方法。

通過研究分析發(fā)現(xiàn)，以下2個因素很大程度上制約了基于圖像的煤巖識別方法的發(fā)展:① 井下采煤機等設(shè)備工作環(huán)境的復(fù)雜性導(dǎo)致獲取圖像困難，所獲圖像質(zhì)量和數(shù)量不足以支撐相關(guān)算法的運行和優(yōu)化;② 我國煤巖存在多樣性、相似性和復(fù)雜性等特征，使得識別準確率還有待提高。因此，切實提高煤巖樣本數(shù)量與質(zhì)量、構(gòu)建更加高效的煤巖識別模型是當前迫切需要解決的問題。

GAN[28-41]在圖像生成和解決圖像數(shù)據(jù)短缺問題上具有明顯優(yōu)勢，可用于解決煤巖圖像數(shù)據(jù)短缺問題。目前，在單張圖像上訓(xùn)練GAN模型的方法相對較少，已經(jīng)提出了3種在單張“自然”圖像上訓(xùn)練的GAN模型，即SinGAN[29]，InGAN[30]和ConSinGAN[31]。這3種方法都基于圖像的雙向相似性度量，可用于圖像生成任務(wù)。SinGAN和ConSinGAN2種方法都是訓(xùn)練一個在單張圖像上能夠無條件生成圖像的模型，在多種尺度上訓(xùn)練生成器和判別器，即在同一圖像的不同分辨率上訓(xùn)練模型。ConSinGAN雖然在“自然場景”(具有明顯結(jié)構(gòu)的自然場景圖片)中能夠生成真實性、多樣性都很高的圖片，但是在煤巖圖像的生成中，由于煤巖的結(jié)構(gòu)布局并不明顯，引發(fā)生成樣本多樣性不足的問題，同時其性能不能滿足實際需求。經(jīng)過實驗發(fā)現(xiàn)，可以通過改進模型的結(jié)構(gòu)和訓(xùn)練的方法使該模型在生成煤巖圖像時增加生成圖像多樣性的同時提升其性能。

針對以上存在的煤巖圖像數(shù)據(jù)短缺的問題并結(jié)合GAN的最新進展，筆者從擴大樣本的數(shù)量和提高樣本的質(zhì)量出發(fā)，提出一種基于生成式對抗網(wǎng)絡(luò)的Var-ConSinGAN模型并構(gòu)建生成與特征遷移的框架，為基于圖像的煤巖識別方法奠定樣本基礎(chǔ)。其中特征遷移的目的是使某一類圖像的某種特征遷移到其他類別的圖像中，提高生成圖像多樣性。主要工作包含4點，提出新的圖像尺寸變換函數(shù)，增加生成煤巖圖像的多樣性;更改模型訓(xùn)練方式，通過改變不同尺度下的訓(xùn)練次數(shù)，使得模型學(xué)習(xí)圖像特征的側(cè)重點向紋理細節(jié)方向傾斜;將單張圖像生成與大規(guī)模圖像生成結(jié)合，實現(xiàn)特征遷移;通過改變模型的訓(xùn)練過程，減少訓(xùn)練模型的時間，提升模型性能。

1 生成式對抗網(wǎng)絡(luò)

1.1 模型框架

GAN[28](Generative Adversarial Network)是無監(jiān)督學(xué)習(xí)的一種方法，通過讓2個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進行學(xué)習(xí)。生成式對抗網(wǎng)絡(luò)由生成器和判別器構(gòu)成，其核心目標是訓(xùn)練生成器。生成器的目的是生成與真實樣本盡可能相似的樣本，判別器的目的是盡可能區(qū)分出給定樣本是真實樣本還是生成的樣本。2者目的相反，在不斷博弈的過程中相互提高，最終在判別器判別能力足夠可靠的前提下仍無法區(qū)分給定樣本是真實樣本還是生成樣本，此時生成器能夠生成無法分辨真假的樣本。

圖1描述了GAN模型由2個神經(jīng)網(wǎng)絡(luò)模型組成，分別是生成器G和判別器D。GAN模型可以將任意的分布作為輸入，Z表示輸入的隨機噪聲，一般取Z～N(0,1)或[-1,1]的均勻分布作為輸入。生成器G的參數(shù)為θ，輸入Z在生成器下得到G(Z;θ)，輸出可以被視為從分布中抽取的樣本G(Z;θ)～Pg，Pg為噪聲Z經(jīng)過生成器后的概率分布。

圖1 GAN模型結(jié)構(gòu)Fig.1 GAN model structure

1.2 基本原理

GAN的損失函數(shù)(即目標函數(shù))為

[lg(D(x))]+Ez～pz(Z){lg[1-D(G(Z))]}

(1)

其中，V(D，G)為生成器G和判別器D的運算關(guān)系;x為真實數(shù)據(jù);pdata為真實數(shù)據(jù)概率密度分布;E為分別對[lg(D(x))]和[lg(1-G(Z))]求數(shù)學(xué)期望。由式(1)可以看出，從判別器D的角度看，判別器D盡可能區(qū)分真實樣本x和生成樣本G(Z)，因此D(x)必須盡可能大而D(G(Z))則盡可能小，即V(D,G)整體的值盡可能大。從生成器G的角度看，生成器G的目標是使自己生成的樣本G(Z)盡可能騙過判別器D，使D(G(Z))盡可能大，即V(D,G)的值盡可能小。GAN的2個模塊在訓(xùn)練中相互對抗，最終達到全局最優(yōu)。

在訓(xùn)練初期，雖然G(Z)和x在同一個特征空間中，但它們分布的差異很大，此時雖然鑒別真實樣本和生成樣本的模型D鑒別能力不強，但它能夠準確地把兩者區(qū)分開，而隨著訓(xùn)練的推進，生成樣本的分布逐漸與真實樣本重合，判別器D雖然在不斷更新，但是也不能完全判斷樣本的類別。當生成樣本與真實樣本的分布基本重合時，模型達到最優(yōu)狀態(tài)，這時判別器D對于任意樣本的輸出都接近0.5。

2 基于GAN的煤巖樣本生成模型

為煤巖識別提供數(shù)據(jù)支撐，解決煤巖數(shù)據(jù)短缺問題，通過少量的煤巖圖像生成可以應(yīng)用于計算機視覺的煤巖圖像數(shù)據(jù)集。為了使生成的煤巖圖像更接近真實煤巖圖像，筆者利用Var-ConSinGAN和ACGAN[32](Conditional Image Synthesis With Auxiliary Classifier GANs)方法構(gòu)建了樣本生成與特征遷移框架。第1部分，用Var-ConSinGAN模型進行訓(xùn)練，訓(xùn)練后的模型可以生成任意數(shù)量且和原始煤巖圖像類似的樣本，生成的樣本與原始圖像相比，保留了原始特征且具有一定多樣性。第2部分，使用ACGAN[32]對第1部分生成的大量煤巖圖像進行特征遷移，得到多樣性更加豐富的煤巖圖像。

如圖2所示，上半部分的Var-ConSinGAN模型對應(yīng)第1部分的單張煤巖圖像生成，其中，Ladv為GAN使用的目標函數(shù)。模型的輸入是一張符合正態(tài)分布的噪聲圖片，經(jīng)過網(wǎng)絡(luò)訓(xùn)練，生成器輸出滿足真實圖像分布的生成樣本。模型的生成器由上自下從第0階段開始訓(xùn)練，當前階段生成器的規(guī)模和圖像的分辨率都很小。隨著訓(xùn)練階段的增加，生成器的規(guī)模和圖像的分辨率都會逐漸增加。所有生成器采用串聯(lián)的方式連接在一起，并將生成的圖像送入同一個判別器中。圖2中下半部分ACGAN對應(yīng)模型的第2部分，GACGAN和DACGAN分別是ACGAN中的生成器和判別器，由于所有的圖像都由一個生成器生成且生成器模型中的參數(shù)數(shù)量固定不變，因此不同類別之間往往會發(fā)生參數(shù)共用的情況，當生成的一類樣本在生成過程中用到了其他類別的參數(shù)時，也就學(xué)習(xí)到了其他類別的某些特征。其中第1部分的單張煤巖圖像生成是核心，這決定了數(shù)據(jù)從少到多的生成，在有了大量的數(shù)據(jù)基礎(chǔ)以后才能利用第2部分的模型做特征遷移的工作(2.6節(jié)中詳細描述特征遷移)。

圖2 煤巖圖像生成與特征遷移框架Fig.2 Framework for image generation and feature migration of coal and rock

Var-ConSinGAN模型的訓(xùn)練過程如圖2所示，Gn的輸入是隨機噪聲圖像Zn，和前一個生成器生成的圖像Xn向上采樣到當前分辨率的圖像(除了純生成的最低級別)。圖像單尺度的生成是在每個尺度n上，將n-1尺度生成的圖像Xn-1上采樣，并添加輸入噪聲映射Zn，之后將結(jié)果送入生成器中。生成器的輸出是一個添加了殘差圖像Xn-1的圖像Xn，圖像Xn就是對應(yīng)尺度n的輸出圖像。圖2中藍色圖形表示模型的卷積層，黃色圖形表示經(jīng)過上采樣后的圖像和噪聲，他們之間通過一個殘差操作相連接。

2.1 金字塔結(jié)構(gòu)

Var-ConSinGAN模型的設(shè)計采用SinGAN[29]中使用的金字塔結(jié)構(gòu)，具有多個階段(每個階段對應(yīng)不同的圖像尺度，即不同的圖像分辨率)，由許多個GAN疊加在一起組成一個金字塔的形狀，其中訓(xùn)練和生成均以一種由粗到精(低分辨率到高分辨率)的方式完成。在每個尺度(分辨率)上，Gn學(xué)習(xí)生成圖像樣本，其中所有重疊的patch用判別器Dn進行識別，直到判別器無法從下采樣訓(xùn)練圖像Xn中的patch識別出圖像的真假。patch指圖3中的黃色區(qū)域，在用卷積神經(jīng)網(wǎng)絡(luò)處理圖像時，神經(jīng)網(wǎng)絡(luò)每次處理的圖像區(qū)域的大小等于卷積核的大小，這個卷積核處理的圖像區(qū)域就是patch，即感受野。

圖3 圖像patch變化Fig.3 Change map of image patch

如圖3所示，在分辨率最低的那一個尺度上，輸入的是原圖像經(jīng)過下采樣得到的最小的尺度，在圖像經(jīng)過固定的11×11的感受野時，由于輸入的圖像是原圖縮小到很小的一個尺度，所以即便網(wǎng)絡(luò)的感受野很小，也能覆蓋掉輸入圖像的大部分區(qū)域。而在分辨率越來越大的尺度上，輸入的圖像變大，感受野不變，則patch能覆蓋的范圍會越來越小。當訓(xùn)練進程沿著金字塔向下移動時，有效的patch大小會減小(在原始圖像上用黃色標記以作說明)。判別器不將圖像看做一個整體，而是由很多個小的patch組成，通過這種方法，它就可以判斷每一個patch的真假。因此，生成器就可以通過生成在整體來看不同，但僅從patch來看卻十分相似的圖像，來達到使判別器無法判斷是真實樣本還是生成樣本目的。在更高分辨率上訓(xùn)練的生成器，將前一個生成器生成的圖像作為輸入，在此基礎(chǔ)上生成比當前分辨率還要高的圖像。

2.2 多尺度架構(gòu)

ConSinGAN[31]中的多尺度架構(gòu)是實現(xiàn)金字塔模型的一個有效方法。多尺度圖像樣本的生成經(jīng)歷了多個生成器，每個生成器Gn負責(zé)生成逼真的圖像樣本。這通過對抗性訓(xùn)練來實現(xiàn)，在訓(xùn)練中，Gn生成的樣本送入與之相對應(yīng)的判別器Dn，該判別器Dn試圖將生成樣本中的patch與Xn中的patch區(qū)分開。

圖像樣本的生成從分辨率最低的尺度開始，依次通過所有生成器，直到分辨率最高的尺度，同時會在每個尺度中加入噪聲。所有的生成器和判別器都具有相同的感受野，因此在生成過程中可以捕捉到尺寸減小的結(jié)構(gòu)。在分辨率最低的尺度上，該生成是生成性的，即將空間高斯噪聲Z0映射到圖像樣本X0中。式(2)是生成器用噪聲Z0生成樣本X0的過程:

X0=G0(Z0)

(2)

在分辨率最低的尺度中，有效感受野通常能在圖像中占很大比例，因此可以生成圖像的結(jié)構(gòu)布局。每個生成器Gn都有更精細的尺度，增加了之前尺度沒有的細節(jié)。除了空間高斯噪聲Z0以外，每個生成器還會接受前一個生成器生成圖像的上采樣圖像:

Xn=Gn(Zn+(Xn-1)↑r)n

(3)

式中，↑r為圖像Xn-1的上采樣圖像。

如圖4所示，所有的生成器都具有類似的結(jié)構(gòu)。具體來說，先將高斯噪聲Zn加入到圖像(Xn-1)↑r中，再將合成的圖像送入到生成器中。這種方式可以確保生成器不會忽略噪聲。卷積層的作用是生成(Xn-1)↑r中缺失的紋理細節(jié)，如公式(4)所示，其中γn代表卷積操作，卷積操作由3個完全相同的卷積塊構(gòu)成，每一個卷積塊都是由卷積核為3×3的卷積層、歸一化層和激活函數(shù)層組成，這種結(jié)構(gòu)在生成煤巖圖像時可以通過長寬比來生成任意大小的煤巖圖像。

圖4 生成器的殘差結(jié)構(gòu)Fig.4 Residual structure of generator

Xn=(Xn-1)↑r+γn(Zn+(Xn-1)↑r)

(4)

2.3 圖像尺寸調(diào)整

2.2節(jié)中提到，在訓(xùn)練前期模型主要學(xué)習(xí)圖像的整體結(jié)構(gòu)布局，在訓(xùn)練后期重點學(xué)習(xí)圖像的紋理細節(jié)。由于煤巖圖像的結(jié)構(gòu)具有很大的不確定性，在判斷煤巖類別的時候主要是從色澤和紋理等細節(jié)進行區(qū)分，因此在生成煤巖圖像的時候把重點放在紋理和細節(jié)的生成上，對圖像的布局進行粗略的學(xué)習(xí)。模型在訓(xùn)練的過程中需要用到圖像在不同分辨率下的多張重構(gòu)圖像，不同分辨率圖像的數(shù)量取決于訓(xùn)練時的階段數(shù)。要實現(xiàn)紋理細節(jié)的學(xué)習(xí)需要一定的n階高分辨率的學(xué)習(xí)(通常至少3個)，而不需要太多低分辨率的學(xué)習(xí)。筆者設(shè)計了一個曲線函數(shù)用于尺寸調(diào)整，保持高分辨率階段的密度大于低分辨率階段的密度。曲線函數(shù)為

xn=1-xNr[(N-1)/lg(N)]lg(1+n)+1

(5)

式中，n的取值范圍是[0,N-1]。

例如，使用原始的圖像尺度調(diào)整方法，當訓(xùn)練階段數(shù)為4時，得到的分辨率為25×38，40×60，89×133，167×250。在保持其他參數(shù)不變的情況下，使用新曲線函數(shù)的圖像尺度調(diào)整方法得到的分辨率為56×83，100×150，117×176，167×250。除最大分辨率相同外，后者每一階段的分辨率都大于前者。

2.4 多階段訓(xùn)練方式

單張圖像生成的關(guān)鍵是多尺度、多階段的訓(xùn)練方式。在訓(xùn)練更新當前階段生成器的同時訓(xùn)練其附近部分生成器，固定其他生成器的所有參數(shù)，同時在訓(xùn)練過程中降低較低階段的學(xué)習(xí)率。較大的學(xué)習(xí)率會使模型的學(xué)習(xí)速度加快，較小的學(xué)習(xí)率能夠降低學(xué)習(xí)的速度，從而防止過擬合。

如圖5所示，首先保證同時訓(xùn)練的生成器數(shù)量不超過3個，當超過3個時，選擇當前階段和前兩階段的生成器進行訓(xùn)練并更新參數(shù)，固定其他所有生成器的參數(shù)，其中，lr為深度學(xué)習(xí)中的學(xué)習(xí)率，是實驗中人為設(shè)置的超參數(shù)。其次使用變化的學(xué)習(xí)率，默認情況下最多允許同時訓(xùn)練3個生成器，并分別將較低階段生成器的學(xué)習(xí)率調(diào)至1/10和1/100。圖5中從上到下的4個框表示訓(xùn)練過程中的4個階段，從階段0開始到階段3結(jié)束，隨著訓(xùn)練階段的遞增生成器的個數(shù)逐漸增加。當訓(xùn)練至第4階段時，生成器G0的參數(shù)固定不變，更新生成器G1，G2，G3的參數(shù)并將其學(xué)習(xí)率設(shè)置為0.01lr，0.1lr，lr。

圖5 模型訓(xùn)練過程中生成器及其學(xué)習(xí)率的變化Fig.5 Change of generator and its learning rate in the process of model training

2.5 動態(tài)變化的迭代次數(shù)

由于金字塔模型具有多尺度、多階段的結(jié)構(gòu)特性，在訓(xùn)練上需要消耗很長時間。模型在完成單次訓(xùn)練任務(wù)時，所需要的訓(xùn)練時間在可接受范圍之內(nèi)，但是當需要完成多次重復(fù)訓(xùn)練任務(wù)時，需要消耗的時間將成倍增長。同時在煤巖圖像生成中煤巖圖像細節(jié)紋理特征比其結(jié)構(gòu)特征更為重要。因此Var-ConSinGAN提出了在訓(xùn)練過程中改變每一輪訓(xùn)練需要的迭代次數(shù)，不僅縮短了模型訓(xùn)練的時間，還符合模型重點學(xué)習(xí)煤巖細節(jié)特征的思想。SinGAN[29]訓(xùn)練模型時需要訓(xùn)練每一階段的生成器，之后ConSinGAN[31]提出了固定一部分生成器只訓(xùn)練特定數(shù)量生成器的方式，Var-ConSinGAN在此基礎(chǔ)上更改了每一輪訓(xùn)練的迭代次數(shù)。

(6)

式(6)為一個分段函數(shù)，該分段函數(shù)用于計算每一輪需要的迭代次數(shù)。其中iter為每一階段生成器的當前迭代次數(shù);niter為自定義的迭代次數(shù);β為達到訓(xùn)練峰值的速率;max為最大訓(xùn)練階段數(shù)，當訓(xùn)練階段達到最大值時，訓(xùn)練的迭代次數(shù)保持不變;depth為當前訓(xùn)練階段，隨著訓(xùn)練階段的變化而變化。具有初始值的超參數(shù)都可以根據(jù)具體訓(xùn)練情況改變。

個別階段生成器的迭代次數(shù)有增加，但是通過減少大部分生成器的迭代次數(shù)，使模型整體的迭代次數(shù)有明顯下降，減少了訓(xùn)練所需時間，提高了模型的性能。

2.6 特征遷移

在實際開采中有各種各樣的煤巖，由于開采的方式和進度不同，得到的煤巖圖像千差萬別，利用特征遷移處理不同類別之間的圖像可以得到新樣本。特征遷移是當b類圖像不具有a類圖像的某種特征時，通過模型將a類圖像的某種特征遷移到b類圖像中，使生成的新圖像同時具有a類和b類圖像的部分特征。Var-ConSinGAN模型利用一張煤巖圖像進行生成，生成的結(jié)果在與原始圖片類似的基礎(chǔ)上通過改變其部分結(jié)構(gòu)和紋理特征從而生成新的煤巖圖像。因此，通過框架中的ACGAN[32]對Var-ConSinGAN模型生成的煤巖圖像進行特征遷移具有重要意義。

生成器和判別器的模型由卷積神經(jīng)網(wǎng)絡(luò)組成，因此網(wǎng)絡(luò)的規(guī)模和參數(shù)數(shù)量固定不變。模型中的所有參數(shù)共同決定生成圖像的樣子，因此不同類別之間在生成圖像時會使用一部分相同的參數(shù)，這使得不同類別之間可以學(xué)習(xí)到自身不具備的特征。

利用Var-ConSinGAN模型訓(xùn)練一次后，就把這次生成的圖像看作是一個類別，然后對這些不同類別的圖像進行特征遷移。由于類別劃分清晰，所以該部分采用ACGAN[32]的結(jié)構(gòu)，如圖6所示。圖6中C，Z，Xreal,Xfake分別為輸入圖像的類別、用于生成圖像的噪聲、真實圖像數(shù)據(jù)和生成器生成的假圖像；真表示原圖，假表示生成器生成的圖。圖7中的判別器除了判斷真假外還會輸出輸入圖像的類別C。

圖6 ACGAN模型結(jié)構(gòu)Fig.6 ACGAN model structure

3 訓(xùn)練過程和損失函數(shù)

按順序訓(xùn)練多尺度架構(gòu)，從最低分辨率尺度到最高分辨率尺度。當同時訓(xùn)練3個以上生成器時，只更新當前最近的3個生成器的參數(shù)，固定其他生成器。在第n階段，GAN的損失函數(shù)包含對抗損失和重建損失。GAN的損失函數(shù)為

(7)

其中，ladv為對抗損失;lrec為重建損失;α為人為設(shè)置的權(quán)重。對抗損失指在生成的樣本中，生成圖像中的patch和真實圖像中的patch分布之間的距離。重建損失可以確定一組能夠生成圖像的噪音。

對抗損失。模型中使用了WGAN-GP[33，37]損失，是一種截斷修剪的策略，即懲罰判別器相對于其輸入(由隨機噪聲Z生成的圖片，即fake image)曲線的常量，這種損失能使模型的訓(xùn)練變得更加穩(wěn)定，并且取得更高質(zhì)量的生成效果。

重建損失。對于輸入的噪聲來說，希望它能夠更好的生成原圖像。構(gòu)建一個噪聲向量{Zrec0，Zrec1，…，ZrecN-1，ZrecN}={Z*，0，…，0}，Z0，Z1等為Z噪聲向量，下標0，1等為不同階段噪聲向量，下標rec表示該噪聲向量在lrec損失中用到;Z*為固定的噪聲向量，在一次訓(xùn)練中保持不變。式(8)為重建損失函數(shù)，重建損失也可以在每一階段都使用n=0時的公式進行計算。

(8)

判別器的訓(xùn)練方式保持不變，即它的輸入是生成器生成的圖像或真實的圖像，訓(xùn)練時的目標是使ladv最大化。在訓(xùn)練初始階段，首先要對輸入圖像進行縮放，使圖像的長邊在第n階段時具有250像素的分辨率。模型中生成器的每一級由3個卷積層組成，每層有64個濾波器，濾波器大小為3×3。判別器也使用和生成器相同的結(jié)構(gòu)，即3個卷積層，64個濾波器，濾波器的大小為3×3。在訓(xùn)練中，始終訓(xùn)練模型的最后3個階段。每個階段訓(xùn)練的迭代次數(shù)由2.5節(jié)中的公式計算得出，初始學(xué)習(xí)率為0.000 5，在每個訓(xùn)練階段迭代1 600次后學(xué)習(xí)率降低10倍，迭代次數(shù)達不到1 600次的不發(fā)生變化，模型使用ADAM優(yōu)化器優(yōu)化網(wǎng)絡(luò)。模型中使用的激活函數(shù)是ReLU，激活函數(shù)的參數(shù)設(shè)置為0.05。

4 實驗結(jié)果及分析

實驗重點在單張煤巖圖像生成上，在實驗中檢驗了模型的有效性，同時與過去的模型在生成結(jié)果和性能上做了對比，結(jié)果表明該文Var-ConSinGAN模型能夠在煤巖圖像生成領(lǐng)域中取得較好的效果。實驗時使用的數(shù)據(jù)由相機拍攝的500張煤巖圖像組成。模型訓(xùn)練的硬件環(huán)境包括CentOS Linux release 7.5.1804(Core),Intel(R)Core(TM) i9-9900K CPU @ 3.60 GHz,NVIDIA GeForce GTX 2080Ti;軟件環(huán)境包括Python 3.5,Pytorch 1.1.0和CUDA 10.2等。

4.1 無條件煤巖圖像生成

在圖像生成任務(wù)中，煤巖圖像從隨機采樣的高斯噪音中生成。因為模型的結(jié)構(gòu)由全卷積構(gòu)成，所以可以通過改變噪聲向量的大小，以達到用訓(xùn)練好的模型進行生成煤巖圖像任務(wù)的目的。如圖7所示，利用Var-ConSinGAN模型生成效果較好的煤巖圖像，該生成圖像具有不同尺寸大小，并且在接近真實煤巖圖像的基礎(chǔ)上提高了其多樣性。在訓(xùn)練的煤巖圖像的布局結(jié)構(gòu)性較弱但細節(jié)紋理較強的情況下，模型能夠達到最佳效果;在結(jié)構(gòu)性較強而細節(jié)紋理較弱的煤巖圖像生成時，會對模型的生成效果產(chǎn)生一定的影響。本次實驗用到的部分重要參數(shù)設(shè)置分別為train_stages=4，lr_scale=0.1，nfc=64，ker_size=3，num_layer=3，padd_size=0，max_size=250，train_depth=3，niter=2 000，lr_g=0.000 5，lr_d=0.000 5。

圖7中第1列是該實驗使用的6張原始煤巖圖像數(shù)據(jù)，第3列是模型訓(xùn)練過程中的重構(gòu)圖像，其余的圖像是經(jīng)過單張圖像生成的不同尺寸的圖像。從圖7的結(jié)果可以看出，模型生成的圖像并不是簡單的由原圖像拉伸得到，而是利用模型學(xué)習(xí)到的煤巖圖像特征擴展而成。卷積神經(jīng)網(wǎng)絡(luò)中的卷積操作是將圖像中的特征提取出來并以參數(shù)的形式儲存下來，而在圖像生成時使用卷積神經(jīng)網(wǎng)絡(luò)對圖像進行下采樣，由生成圖像的方式?jīng)Q定，可以生成任意長寬比的煤巖圖像。圖7中除第4行的圖像外，其他5行圖像結(jié)構(gòu)布局特征并不明顯，所以模型生成的圖像與原始圖像極為相似，細節(jié)紋理也十分逼真，第4行的圖像因為其紋理有橫向分布的空間特征，所以效果沒有其他圖像的效果好。

實驗中使用SSIM指數(shù)評估了生成圖像的每一組結(jié)果。首先，把原圖縮放重建到與生成圖像相同分辨率的尺寸上，之后用每一張生成的圖像計算其與原圖像的SSIM指數(shù)，再對每一類圖像的SSIM指數(shù)求均值得到該類圖像(根據(jù)原始圖像生成的圖像)的SSIM指數(shù)，見表1，列舉了結(jié)果中92個SSIM指標值。由SSIM測量系統(tǒng)可得相似度的測量可由3種對比模塊組成，分別為:亮度、對比度、結(jié)構(gòu)。SSIM值越大表明生成的圖像和原始圖像越相似，實驗結(jié)果顯示不同種類之間的值差距較大，主要是因為使用的煤巖圖像數(shù)據(jù)分為結(jié)構(gòu)性和紋理性2種。結(jié)構(gòu)性指煤巖圖像具有明顯的塊狀分布，紋理性指煤巖的表面較為平整。

表1 各類生成圖像的SSIM指數(shù)Table 1 SSIM index of various generated images

通過實驗結(jié)果可以得出，當原圖像結(jié)構(gòu)性強時，生成的圖像SSIM指數(shù)由于其結(jié)構(gòu)發(fā)生了多樣性變化，所以其SSIM指數(shù)較低;相反，當原圖像結(jié)構(gòu)性較弱而紋理較強時，生成的圖像SSIM指數(shù)較高。為了保證生成高質(zhì)量圖像的同時提高其多樣性，必須保證SSIM指數(shù)既不能太高也不能太低。

4.2 對比實驗

對比試驗分別是ConSinGAN[31]、更換圖像尺寸調(diào)整后的模型及使用迭代次數(shù)分段函數(shù)的模型。在實驗中訓(xùn)練時采用的迭代輪數(shù)是6輪，每一輪迭代次數(shù)初始值是3 000次，訓(xùn)練時圖像的最長邊尺寸是250像素。主要從生成圖像的多樣性、生成圖像的質(zhì)量及相同輪數(shù)下不同方法的生成效果等3方面進行對比。在訓(xùn)練中是從n=0時開始訓(xùn)練，即當訓(xùn)練輪數(shù)n=2時，實際上已經(jīng)訓(xùn)練了3輪，即n=1，2，3。

如圖8所示，該結(jié)果是ConSinGAN[31]模型生成的效果圖。從圖8可以看出，當訓(xùn)練輪數(shù)n=2時，生成的圖像已有基本輪廓，紋理也比較清晰。對比第2輪的4張生成樣本，可以發(fā)現(xiàn)樣本之間存在部分差異性，當在第3輪之后，生成的煤巖圖像之間的差異性基本消失，但是圖像的質(zhì)量有所提高，清晰度比之前訓(xùn)練輪數(shù)較少時要高。由此得出結(jié)論，隨著訓(xùn)練輪數(shù)的增加，生成圖像的多樣性會降低，而生成圖像的質(zhì)量會得到一定提高。另外，生成圖像的多樣性體現(xiàn)在了圖像的中間區(qū)域，而圖像的上下左右4塊邊緣區(qū)域的變化很少，多張圖像一起看時就像給圖像加了“邊框”。

圖8 ConSinGAN生成的不同階段數(shù)下的圖像Fig.8 Images generated by ConSinGAN under different stages

如圖9所示，該結(jié)果在模型的訓(xùn)練過程中使用了曲線函數(shù)。從圖中可以看出，當訓(xùn)練輪數(shù)n=2時，生成的圖像“邊框”感明顯，并且紋理細節(jié)與原始圖像差距較大，造成這種情況的原因是模型在訓(xùn)練過程中使用了曲線函數(shù)。模型為了增加生成圖像的多樣性而減少了前幾輪中每一輪的迭代次數(shù)，導(dǎo)致模型總體的訓(xùn)練次數(shù)降低，從而無法學(xué)習(xí)到更多的細節(jié)。在之后的迭代輪數(shù)中，第3輪的多樣性最高，同時圖像的質(zhì)量和原圖像尺寸變換之后的質(zhì)量相同。與ConSinGAN模型生成的煤巖樣本相比，該方法改善了生成樣本中存在明顯“邊框”感的問題。

圖9 迭代次數(shù)動態(tài)變化時模型生成的不同階段數(shù)下的圖像Fig.9 Images generated by the model under different stages when the number of iterations changes dynamically

如圖10所示，該結(jié)果是在模型中改變圖像尺寸變換方法后生成的圖像。從圖10可以看出，在第2輪時模型只學(xué)習(xí)到了紋理細節(jié)特征，而圖像的整體布局基本沒有學(xué)習(xí)到，所以生成的圖像看起來只有紋理，可辨識度不高。這種情況在之后的訓(xùn)練輪數(shù)中得到了解決，生成的圖像具有很好的多樣性。原模型在第6輪訓(xùn)練后，模型接近過擬合，生成的圖像除細小變換外基本沒有不同。但在使用了新的圖像尺寸變換方法后，不僅增加了生成圖像的多樣性，還解決了圖像邊緣多樣性不足的問題。

圖10 更改圖像尺寸變換方式后模型生成的不同階段 數(shù)下的圖像Fig.10 Images under different stages generated by the model after changing the image size transformation mode

經(jīng)過實驗對比，可以得出有效的結(jié)論。針對原有方法生成的煤巖圖像多樣性不足且“邊框”感明顯的問題，本文提出的2種方法具有明顯的效果。每一種方法都會使結(jié)果得到改善，最后，該文將2種方法同時使用，使改模型能夠很好地完成煤巖圖像生成任務(wù)。

4.3 模型性能

實驗的數(shù)據(jù)、超參數(shù)和實驗環(huán)境完全相同，在訓(xùn)練輪數(shù)為3和5時分別訓(xùn)練2個模型，得到的結(jié)果見表2。由表2可知，當訓(xùn)練論數(shù)等于3時兩者相差約182 s，得益于訓(xùn)練方法的改變，模型性能有了較大的提升。但是當訓(xùn)練輪數(shù)等于5時，兩者的時間差較小。雖然兩者的總迭代次數(shù)都與訓(xùn)練輪數(shù)等于3時完全相同，但是訓(xùn)練所需時間卻隨著訓(xùn)練輪數(shù)的增加而變得接近。造成這種情況的原因是卷積運算增加了耗時，雖然通過改變訓(xùn)練方式使模型的總迭代次數(shù)減少，但是由于每一輪中前者比后者訓(xùn)練的尺度要大，卷積運算所需要的時間更長，所以總耗時增加。雖然隨著訓(xùn)練輪數(shù)的增加，總耗時會逐漸接近原模型的訓(xùn)練時間，但在訓(xùn)練到第3輪時就能得到煤巖生成需要的結(jié)果。

表2 ConSinGAN和改進后模型的訓(xùn)練時間對比Table 2 Training time comparison between ConSinGAN and improved model

4.4 特征遷移

當模型Var-ConSinGAN訓(xùn)練完成時，將模型最后一次迭代的參數(shù)保存下來。接下來根據(jù)訓(xùn)練好的模型生成需要的煤巖圖像，其中每一張訓(xùn)練圖像對應(yīng)一個模型參數(shù)，每次訓(xùn)練只能得到一張圖像對應(yīng)的模型參數(shù)。然后將這里得到的模型參數(shù)加載到網(wǎng)絡(luò)中，此任務(wù)和訓(xùn)練時有部分不同，訓(xùn)練的時候需要將生成的結(jié)果輸入到判別器當中，將得到的判別器的結(jié)果作為反饋去反向更新生成器的參數(shù)，然而在訓(xùn)練之后的生成任務(wù)中，由于生成器已經(jīng)完全固定，所以不需要將結(jié)果輸入到判別器中，同時生成器的參數(shù)也不需要更新，在加載模型之后，需要將模型模式設(shè)置為評估模式。

通過訓(xùn)練得到14個煤巖圖像的模型參數(shù)。一個模型需要生成1 200張煤巖圖像，其中分別生成相對于原圖像的長寬比為1∶1，2∶1和1∶2各400張。特征遷移使用ACGAN[32]，其生成器模型由5個卷積塊構(gòu)成，其中4個卷積塊的結(jié)構(gòu)相同，每個卷積塊都是由一個卷積層、一個歸一化層和一個激活函數(shù)層構(gòu)成，最后一個卷積塊去掉了歸一化層并且把激活函數(shù)由ReLU換成Tanh。這些卷積塊按順序組合而成，并在模型的開頭添加了一個全連接的線性層用來將噪聲向量進行擴展。判別器模型也是由6個卷積塊構(gòu)成，每個卷積塊的結(jié)構(gòu)都一樣，由一個卷積層，一個歸一化層、一個激活函數(shù)層和一個Dropout層組成。

本實驗使用生成的14類煤巖圖像，每類1 200張共16 800張圖像，達到了深度學(xué)習(xí)對數(shù)據(jù)量的要求。實驗的模型參數(shù)設(shè)置是|nz|=110，lr=0.000 2，num_classes=14。參數(shù)中的num_classes表示訓(xùn)練的類別，可以根據(jù)具體實驗更改;nz是噪音向量，如果需要更改噪音向量的大小，也需要修改模型對應(yīng)的參數(shù);生成器和判別器都采用Adam優(yōu)化器。模型的生成器由一個全連接層和5個卷積層構(gòu)成，每個卷積層后添加一個歸一化層和ReLU激活函數(shù)層。判別器由6個卷積層構(gòu)成，每個卷積層后添加歸一化層、LeakyReLU激活函數(shù)層和Dropout層，最后添加2個全連接層用于分類和判斷樣本的真假。

如圖11所示，左圖為生成器生成的煤巖圖像，右圖為經(jīng)過縮放變換后的真實煤巖圖像。由于ACGAN模型的結(jié)構(gòu)設(shè)計較為簡單且煤巖圖像整體較黑，導(dǎo)致生成的圖像非常模糊。從生成的結(jié)果可以看出用GAN[32,35-36,38]來做圖像生成的同時使用特征遷移是有一定效果的。右圖中的真實圖像在左圖的生成圖像中無法找到與其完全一樣的圖像，并且生成的圖像具有真實圖像所沒有的特征，實現(xiàn)了不同類別之間的特征遷移。

如圖12所示，實驗中使用的煤巖圖像具有明顯的燈光反光點，這種白色反光點在煤巖圖像的生成過程中會被模型認為是煤巖的特征，在利用Var-ConSinGAN模型生成煤巖圖像時也會生成大量白色反光點，對生成效果產(chǎn)生較大影響;同時，該模型在生成時無法兼顧結(jié)構(gòu)特征明顯的煤巖圖像。以上兩點是本文未來工作中需要改進的一個重要方面。

圖12 具有燈光反光點的煤巖圖像Fig.12 Coal and rock image with light reflection points

5 結(jié)論與展望

5.1 結(jié) 論

(1)Var-ConSinGAN模型不僅可以緩解現(xiàn)有模型生成的煤巖圖像具有明顯“邊框”感的問題，還對圖像的紋理特征、結(jié)構(gòu)布局進行隨機生成，同時縮短模型訓(xùn)練需要的時間，提升模型性能。

(2)使用相機拍攝的500張煤巖圖像進行仿真實驗，結(jié)果表明，相比于其他圖像生成的方法，Var-ConSinGAN模型可以在極少的數(shù)據(jù)上進行訓(xùn)練(其他用于圖像生成的GAN模型必須有大量的圖像數(shù)據(jù))。

(3)模型有效提高了生成圖像的質(zhì)量與多樣性，證明了Var-ConSinGAN模型在煤巖圖像生成領(lǐng)域中的可行性。

5.2 展 望

針對當前缺少煤巖圖像數(shù)據(jù)的問題，下一步將利用生成式對抗網(wǎng)絡(luò)構(gòu)建煤巖圖像數(shù)據(jù)集，在網(wǎng)絡(luò)模型中引入注意力機制等方法，以消除煤巖圖像數(shù)據(jù)本身(如帶白色反光點和無法兼顧結(jié)構(gòu)特征明顯的圖像)存在的不足對生成結(jié)果的影響。在使用AlexNet,VGG,GoogLeNet,ResNet,Inception等模型進行煤巖識別任務(wù)的同時，驗證構(gòu)造的煤巖圖像數(shù)據(jù)集的可用性。采煤時采煤滾筒通過人為控制高度從而避開頂板和底板，會造成安全隱患。針對采煤時采煤滾筒需實現(xiàn)自動調(diào)節(jié)高度這一問題，接下來將采用圖像語義分割這一技術(shù)，實現(xiàn)采煤機切割時的自動化。