基于生成對抗網(wǎng)絡(luò)的紅外圖像數(shù)據(jù)增強

陳佛計，朱 楓，吳清瀟，郝穎明，王恩德

（1.中國科學(xué)院沈陽自動化研究所，沈陽 110016；2.中國科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，沈陽 110016；3.中國科學(xué)院大學(xué)，北京 100049；4.中國科學(xué)院光電信息處理重點實驗室，沈陽 110016）

（*通信作者電子郵箱1754208529@qq.com）

0 引言

近年來，基于深度學(xué)習(xí)的方法在很多領(lǐng)域取得了良好的表現(xiàn)，但是很大程度上依賴于海量標(biāo)數(shù)據(jù)。在某些條件下，標(biāo)注紅外數(shù)據(jù)很難獲取，而且需要大量的人力成本。因此，針對紅外數(shù)據(jù)少、數(shù)據(jù)難以獲得的問題，基于現(xiàn)有的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強是一種比較好的、獲取更多數(shù)據(jù)的方法。目前，數(shù)據(jù)增強的方法有兩種：基于有監(jiān)督的方式和基于無監(jiān)督的方式。有監(jiān)督方式的數(shù)據(jù)增強是采用預(yù)設(shè)的規(guī)則，在已有的數(shù)據(jù)上進(jìn)行數(shù)據(jù)的擴(kuò)增，包括幾何變換類和顏色變換類等方法。但是，基于有監(jiān)督方式進(jìn)行數(shù)據(jù)增強并沒有對數(shù)據(jù)集進(jìn)行實質(zhì)性的改變；而無監(jiān)督數(shù)據(jù)增強是通過模型學(xué)習(xí)數(shù)據(jù)所服從的分布，隨機(jī)生成與樣本集分布一致的數(shù)據(jù)，該方法可以使得數(shù)據(jù)集覆蓋更多的模式，更有利于提高模型的性能。生成模型是無監(jiān)督學(xué)習(xí)任務(wù)中最為關(guān)鍵的技術(shù)，目前比較常用模型有基于有向圖模型的赫姆霍茲機(jī)（Helmholtz Machines）［1］、深度信念網(wǎng) 絡(luò)（Deep Belief Network，DBN）［2］、變分自動編碼器（Variational Auto-Encoder，VAE）［3］；基于無向圖模型的受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）［4］、深度玻爾茲曼機(jī)（Deep Boltzmann Machine，DBM）［5］、自回歸模型（AutoRegressive model，AR）［6］以及基于零和博弈的生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［7］等。AR 和VAE是通過一種顯示方式對數(shù)據(jù)進(jìn)行建模，但是AR 是按照像素點去生成圖像，導(dǎo)致計算成本太高，而且在并行性上受到限制，在處理大分辨率圖像的時候有一定的困難。VAE 雖然在圖像生成上是可并行的，但是其生成的圖像比較模糊。相較于顯示建模方式，隱式建模方法GAN 不僅避免了難解的推斷，而且還可以生成高質(zhì)量的圖像；并且由于其擬合高維數(shù)據(jù)分布的能力，以及在圖像生成方面的優(yōu)良表現(xiàn)，GAN 是生成模型中目前較好的一種方法。

生成紅外圖像模型的總體結(jié)構(gòu)如圖1 所示，GAN 由生成器和鑒別器兩個部分組成。生成器的目的是生成和樣本數(shù)據(jù)所服從分布一致的新樣本來騙過鑒別器；而鑒別器的目的是鑒別輸入的圖像是否來自于真實數(shù)據(jù)分布。通過對抗訓(xùn)練，生成器和鑒別器的性能不斷提升，最終達(dá)到納什平衡狀態(tài)。林懿倫等［8］對生成對抗網(wǎng)絡(luò)的基本思想以及其常見的模型架構(gòu)和訓(xùn)練方式進(jìn)行了詳細(xì)的介紹，并且對其一些應(yīng)用場景進(jìn)行了介紹。曹仰杰等［9］對生成對抗網(wǎng)絡(luò)的優(yōu)點和缺點進(jìn)行了總結(jié)和歸納，并且對其在高質(zhì)量圖像生成和圖像翻譯等領(lǐng)域的研究現(xiàn)狀和未來的發(fā)展方向進(jìn)行了闡述。因此，本文的目標(biāo)是基于生成對抗網(wǎng)絡(luò)的方法生成更多的類似于真實紅外圖像樣本的數(shù)據(jù)。最近有很多工作基于GAN 來作圖像生成，一種方式是基于服從某一分布的隨機(jī)向量生成圖像，該方法的基本思想是用一個多層神經(jīng)網(wǎng)絡(luò)實現(xiàn)一個非線性的映射，該映射可以將采樣的隨機(jī)向量映射為目標(biāo)域中的圖像?；谠撍枷氲哪Ｐ陀袠?biāo)準(zhǔn)GAN、集成高斯混合模型的條件生成對抗網(wǎng)絡(luò)［10］、信息最大化生成對抗網(wǎng)絡(luò)（Info-GAN）［11］、自注意力生成對抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Network，SAGAN）［12］等。另一種方式是圖像到圖像的轉(zhuǎn)換，該方法的基本思想是用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)域之間的映射關(guān)系，基于該映射可以將圖像從一個域轉(zhuǎn)換到目標(biāo)域，而且變換前后的圖像在內(nèi)容上是一致的，基于該思想的模型有圖像翻譯生成對抗網(wǎng)絡(luò)（Pix2Pix）［13］、循環(huán)一致性對抗網(wǎng)絡(luò)（Cycle-GAN）［14］、輔助分類器生成對抗網(wǎng)絡(luò)（Auxiliary Classifier Generative Adversarial Network，ACGAN）［15］、星型生成對抗網(wǎng)絡(luò)（Star-GAN）［16］等。在實際項目中，有些場景和目標(biāo)的紅外圖像很難獲取，而且數(shù)據(jù)量少，但是可以獲取目標(biāo)和場景大量彩色圖像，為了得到大量紅外圖像數(shù)據(jù)，因此將彩色圖像轉(zhuǎn)換為紅外圖像是進(jìn)行數(shù)據(jù)增強的一種很好的思路。在對抗網(wǎng)絡(luò)之前主要是基于仿真的技術(shù)將圖像從彩色域轉(zhuǎn)換到紅外域，例如：許洪等［17］研究的紅外多光譜圖像的仿真生成；陳珊等［18］進(jìn)行的基于可見光圖像的紅外場景仿真。但是仿真的方法是一個復(fù)雜的過程，需要大量計算和建立復(fù)雜的模型。而生成對抗網(wǎng)絡(luò)可以基于神經(jīng)網(wǎng)絡(luò)強大的擬合能力學(xué)習(xí)一個端到端的映射，基于該映射直接將圖像從彩色域轉(zhuǎn)換到紅外域，從而避免仿真方法那些復(fù)雜的計算。因此，針對紅外數(shù)據(jù)少的問題，基于GAN 將彩色圖像轉(zhuǎn)換成紅外圖像是一種解決該問題很好的方法。

圖1 生成紅外圖像模型的總體結(jié)構(gòu)Fig.1 Overall structure of infrared image generation model

本文將重點關(guān)注如何基于彩色圖像來生成紅外圖像，從而為深度學(xué)習(xí)模型提供更多的訓(xùn)練數(shù)據(jù)。首先，基于編碼器-解碼器的神經(jīng)網(wǎng)絡(luò)架構(gòu)來構(gòu)建生成對抗網(wǎng)絡(luò)中的生成器，它通過解碼從編碼器得到的隱變量來生成紅外圖像，而鑒別器是通過一個卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。其次，基于Wasserstein 距離來度量生成分布和真實分布之間的距離，并且基于此構(gòu)建模型的損失函數(shù)。為了很好地約束模型生成更高質(zhì)量的圖像，在損失函數(shù)中還加入了L1 正則化項。最后，基于由彩色圖像和紅外圖像成對數(shù)據(jù)構(gòu)成的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練，并且驗證了將彩色圖像轉(zhuǎn)換成紅外圖像方法的有效性。

1 相關(guān)工作

基于深度神經(jīng)網(wǎng)絡(luò)的生成對抗網(wǎng)絡(luò)是生成模型中生成圖像質(zhì)量最好的一種方法，按照生成器輸入量的不同，目前基于生成對抗網(wǎng)絡(luò)做圖像生成主要分為基于隨機(jī)向量生成圖像和基于圖像轉(zhuǎn)換生成圖像兩種方法，下面分別對其介紹。

1）基于隨機(jī)向量生成圖像。標(biāo)準(zhǔn)GAN 通過Kullback-Leibler散度對真實樣本數(shù)據(jù)服從的分布和生成樣本數(shù)據(jù)服從的分布之間的相似性進(jìn)行度量，但是由于Kullback-Leibler 散度固有的缺陷，導(dǎo)致模型會出現(xiàn)梯度消失和模式崩潰的問題，最終使得生成圖像的質(zhì)量不是很理想。因此瓦瑟斯坦生成對抗網(wǎng)絡(luò)（Wasserstein Generative Adversarial Network，WGAN）［19］采用瓦瑟斯坦距離來對真實分布和生成分布之間的距離進(jìn)行度量，該方式很好地避免了梯度消失的問題。在標(biāo)準(zhǔn)GAN中，輸入向量通常會被生成器進(jìn)行過度耦合的處理，導(dǎo)致隱向量中每一個維度的量沒有足夠明確的語義信息。因此，Info-GAN［11］將輸入向量分解為隱變量和條件變量兩個部分，并且將其一起送入生成器，在訓(xùn)練過程中通過加入互信息正則化的約束項來實現(xiàn)變量之間的解耦，從而使得輸入向量中的某些維度可解釋性。在構(gòu)造生成對抗網(wǎng)絡(luò)生成器的時候，小的卷積核使得網(wǎng)絡(luò)難以發(fā)現(xiàn)圖像中的依賴關(guān)系，大的卷積核會導(dǎo)致喪失計算上的效率。因此，SAGAN［12］通過引入自注意力機(jī)制來捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，并且全局信息也會被很好地利用去生成質(zhì)量更好的圖像?；赟AGAN［12］，大規(guī)模生成對抗網(wǎng)絡(luò)（BIG-GAN）［20］通過增加Batch的大小、模型的容量以及共享嵌入核正交正則化等技巧進(jìn)一步改善了生成圖像的質(zhì)量和多樣性。

2）基于圖像轉(zhuǎn)換生成圖像。計算機(jī)視覺和圖像處理中的很多問題都可以被看作是圖像轉(zhuǎn)換的問題。圖像轉(zhuǎn)換的問題經(jīng)常被很多模型看作是像素的分類或者是回歸問題，這些模型以輸出的每一個像素條件獨立于輸入圖像中的所有像素為條件，逐個生成圖像的每一個像素，但是這些模型生成的圖像一般都比較模糊。Pix2Pix［13］模型通過學(xué)習(xí)一個條件生成模型，在對抗損失函數(shù)和重構(gòu)損失項的約束下，基于條件輸入圖像來生成相應(yīng)的圖像。在Pix2Pix［13］模型的基礎(chǔ)上，Pix2pixHD［21］基于實例分割圖像，使用多尺度的生成器和鑒別器來生成高分辨率的圖像。Cycle-GAN［14］通過在損失函數(shù)中加入循環(huán)一致性損失，基于不成對的數(shù)據(jù)來生成圖像。Star-GAN［16］實現(xiàn)了基于一個生成器來進(jìn)行多域之間圖像的轉(zhuǎn)換，該模型以圖像和目標(biāo)域的類標(biāo)簽作為輸入，將輸入圖像轉(zhuǎn)換到由類標(biāo)簽指明的域。為了增加生成圖像的多樣性，ACGAN［15］在網(wǎng)絡(luò)架構(gòu)中加入輔助分來器，來約束模型生成更多種類的圖像。

2 圖像生成方法

基于GAN 進(jìn)行圖像轉(zhuǎn)換主要包含目標(biāo)函數(shù)的設(shè)計、生成器架構(gòu)的設(shè)計、鑒別器架構(gòu)的設(shè)計以及訓(xùn)練算法的設(shè)計四個部分，下面對每一個部分進(jìn)行詳細(xì)介紹。

2.1 目標(biāo)函數(shù)

GAN 最終目的是最小化生成數(shù)據(jù)分布PG和真實數(shù)據(jù)分布PData之間的距離，而度量該距離的方式有兩種，分別是f散度和積分概率度量（Integral Probability Metric，IPM）。相較于f散度，IPM 度量標(biāo)準(zhǔn)不會受到數(shù)據(jù)高維度的影響，并且即使是兩個分布之間的支撐集沒有相應(yīng)的交集時，該方式也不會出現(xiàn)梯度消失的問題。因此，采用IPM 度量標(biāo)準(zhǔn)中的Wasserstein 距離來對PG和PData之間的差異進(jìn)行度量，并且該距離被定義為如式（1）所示：

式（2）表示評價函數(shù)f在滿足k利普希茨連續(xù)性約束的條件下(f(x))的上確界就等價于PG和PData之間的Wasserstein 距離。并且式（2）中的f函數(shù)可以用一個w參數(shù)化的，最后一層神經(jīng)網(wǎng)絡(luò)不用非線性激活函數(shù)的多層神經(jīng)網(wǎng)絡(luò)fw來實現(xiàn)，其實際上就是對應(yīng)對抗網(wǎng)絡(luò)中的鑒別器。通過約束神經(jīng)網(wǎng)絡(luò)的參數(shù)w不超過某個范圍的條件下，PG和PData間的Wasserstein距離可以表示成如下形式：

由于生成器的目標(biāo)是最小化PG和PData之間的瓦瑟斯坦距離，而鑒別器的目標(biāo)是最大化PG和PData之間的瓦瑟斯坦距離。因此，該模型的損失函數(shù)可以被設(shè)計成式（4）和式（5）所示的形式。

生成器Loss：

鑒別器Loss：

由于基于成對的數(shù)據(jù)來對模型進(jìn)行訓(xùn)練，為了更好地保持輸入圖像和輸出圖像之間內(nèi)容上的一致性，在生成器的損失函數(shù)部分加入了由生成樣本和真實樣本差的1 模實現(xiàn)的正則化項，可以表示成如下形式：

其中：y代表真實的樣本數(shù)據(jù)；G(x')表示生成的樣本數(shù)據(jù)；x'表示生成器的輸入彩色樣本數(shù)據(jù)。

2.2 生成器網(wǎng)絡(luò)

生成器的目的是基于輸入的彩色圖像生成服從于真實數(shù)據(jù)分布PData的紅外圖像。因為生成器的輸入和輸出在內(nèi)容上、物體的位置上是一致的，僅僅在表面上是不一樣的，所以兩者的高維特征是一致的。基于這樣的構(gòu)想，采用Encoder-Decoder［22］的神經(jīng)網(wǎng)絡(luò)架構(gòu)來實現(xiàn)生成器。Encoder 和Decoder 都是基于卷積塊（卷積運算-批量正則化-ReLu 激活函數(shù)）和轉(zhuǎn)置卷積塊（轉(zhuǎn)置卷積運算-批量正則化-Leak-ReLu激活函數(shù)）來實現(xiàn)。Encoder的作用是將輸入的彩色圖像映射成一個高維特征向量，而Decoder的作用是將這個高維特征向量解碼成和輸入圖像內(nèi)容一致的紅外圖像。由于生成器輸入和輸出的許多低層信息是一致的，為了更好地利用輸入圖像的這些低層信息，在Encoder 和Decoder 之間加入了跳躍連接來更好地共享這些信息。生成器的網(wǎng)絡(luò)架構(gòu)如圖2 所示，具體說明如表1所示。

圖2 生成器的網(wǎng)絡(luò)架構(gòu)Fig.2 Network architecture of generator

表1 生成器的編解碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Encoder-decoder neural network structure of generator

2.3 鑒別器網(wǎng)絡(luò)

鑒別器的目的是區(qū)分真實紅外圖像樣本和生成紅外圖像樣本，其作用等價于一個二分類的問題，因此，可以基于一個多層的卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)鑒別器。為了更好地捕捉圖像中的高頻信息，將圖像分成N小塊，然后讓鑒別器鑒別小塊圖像是來自于真實數(shù)據(jù)分布PData還是來自于生成數(shù)據(jù)分布pG，最后將鑒別器對N小塊圖像的平均輸出作為最終鑒別器的輸出。鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖3和表2說明所示。

圖3 鑒別器的網(wǎng)絡(luò)架構(gòu)Fig.3 Architecture of discriminator

表2 鑒別器的二分類神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Two-classification neural network structure of discriminator

2.4 訓(xùn)練算法

在訓(xùn)練過程中為了更好地減小生成樣本和真實樣本之間的差距，必須先擁有一個優(yōu)良的鑒別器，因此，在訓(xùn)練對抗網(wǎng)絡(luò)的過程中更新鑒別器參數(shù)k次，才更新生成器參數(shù)1次。同時，使用批量正則化都的技巧來解決初始化差的問題，在一定程度上緩解生成器過擬合，并且防止生成器將所有的樣本都收斂到樣本空間中的一點。該節(jié)對訓(xùn)練模型的算法進(jìn)行詳細(xì)的說明，其偽代碼形式如算法1所示。

算法1 紅外圖像生成模型訓(xùn)練算法。

參數(shù)設(shè)置：初始化生成器的參數(shù)θG和鑒別器的參數(shù)θD，迭代次數(shù)N和步數(shù)k是在訓(xùn)練鑒別器的時候會用到的超參數(shù)。

3 實驗和結(jié)果分析

為了驗證該模型的有效性和泛化性能，在多個數(shù)據(jù)集上對該模型進(jìn)行了測試。其中一個數(shù)據(jù)集RGB-INR 是由成對彩色圖像和近紅外圖像組成的針對自然場景的數(shù)據(jù)集。該數(shù)據(jù)集包含9 個類別477 張圖像［23］，自然場景類別包括鄉(xiāng)村、田地、森林、室內(nèi)、山地、建筑物、街道、城市以及水等。另一個數(shù)據(jù)集VEDAI［24］也是基于成對彩色圖像和紅外圖像組成的空對地拍攝的場景圖像，該數(shù)據(jù)集中的目標(biāo)除了有尺度大小變化外，還包含多方位、光照、陰影和阻擋的變化。同時，該數(shù)據(jù)集對同一場景采集了不同波段和分辨率的圖像。

3.1 分析目標(biāo)函數(shù)

在實驗中為了探索不同正則化對生成圖像質(zhì)量的影響。分別設(shè)計了不帶正則化、帶有L1 正則化以及帶有L2 正則化的三種不同損失函數(shù)。如圖4 所示，圖中右邊的三列分別對應(yīng)三種損失函數(shù)下生成器生成的紅外圖像，通過對比可以看出，當(dāng)目標(biāo)函數(shù)沒有正則化的時候，生成的圖像比較模糊。當(dāng)帶有正則化時，生成器可以很好地捕捉圖像中的細(xì)節(jié)信息，并且生成圖像的質(zhì)量比較高。

圖4 不同損失函數(shù)下的實驗結(jié)果Fig.4 Experimental results under different loss functions

3.2 定量評估

對生成圖像的質(zhì)量進(jìn)行評估是一個比較難的問題。傳統(tǒng)的像素均方誤差評估標(biāo)準(zhǔn)無法對實驗結(jié)果的聯(lián)合統(tǒng)計進(jìn)行評估，因此沒法對損失函數(shù)想要捕捉的結(jié)構(gòu)進(jìn)行合理的測量。所以新的方法FID（Fréchet Inception Distance）［25］被用于對生成圖像的質(zhì)量和多樣性進(jìn)行評估。該方法的基本思想基于Inception網(wǎng)絡(luò)［26］的卷積特征層將真實數(shù)據(jù)分布PG和生成數(shù)據(jù)分布PData建模為一個均值為μx、μg，方差為Σx、Σg的多元高斯分布。基于這些信息，F(xiàn)ID 這種度量方式可以被表示成如下形式：

該度量方式的思想與人類的判斷相似，該指標(biāo)的值越小，表示生成圖像的質(zhì)量和多樣性越好。同時該度量方式對噪聲不是很敏感，并且可以很好地反映模式崩潰的問題?；谠撛u估方式對生成圖像的定量評估結(jié)果如表3所示。

表3 對實驗結(jié)果的FID定量評估Tab.3 Quantitative evaluation of FID on experimental results

通過上述定量評估指標(biāo)的比較，可以發(fā)現(xiàn)加入正則化使得FID 的數(shù)值降低，也就意味著模型在正則化的約束下，生成圖像的質(zhì)量有所提高，并且L1 正則化的作用比L2 正則化更加有效。

3.3 與基于紅外仿真方法生成圖像的比較

基于仿真技術(shù)生成的紅外圖像，如圖5 所示，通過與相應(yīng)場景真實的紅外圖像比較，發(fā)現(xiàn)基于紅外仿真技術(shù)生成的圖像丟失了場景中海水表面的一部分信息，而且場景中艦艇目標(biāo)的形狀相較于真實紅外圖像中艦艇目標(biāo)的形狀發(fā)生了改變。而基于生成對抗網(wǎng)絡(luò)生成的紅外圖像，如圖5 所示，很好地保留了原始圖像中各種目標(biāo)的形狀、紋理等信息，同時生成的紅外圖像和原始紅外圖像比較接近。但是，基于對抗網(wǎng)絡(luò)生成的紅外圖像會存在局部模式崩潰的現(xiàn)象，而基于仿真方法生成的紅外圖像不會出現(xiàn)模式崩潰的現(xiàn)象。

圖5 真實紅外圖像和對抗網(wǎng)絡(luò)生成的紅外圖像以及仿真技術(shù)生成的紅外圖像Fig.5 Real infrared images，infrared images generated by adversarial neural network and infrared images generated by simulation technology

4 結(jié)語

針對實際項目中紅外圖像少的問題，本文提出了一種基于生成對抗網(wǎng)絡(luò)將彩色圖像轉(zhuǎn)變?yōu)榧t外圖像的方法，從而為模型的訓(xùn)練提供更多可用的訓(xùn)練樣本。通過成對的數(shù)據(jù)訓(xùn)練該模型，使得基于編碼器-解碼器神經(jīng)網(wǎng)絡(luò)架構(gòu)的生成器具有在高維空間中將彩色圖像映射為紅外圖像的能力，而且通過實驗證明，該方法可以生成高質(zhì)量的紅外圖像。目前該方法只是針對分辨率比較小的圖像，實際中可能要求更大分辨率的圖像，因此后續(xù)將繼續(xù)改進(jìn)該方法，進(jìn)一步對生成紅外圖像有更加深入的研究。同時，在模型的訓(xùn)練過程中生成器生成的圖像存在模式崩潰的現(xiàn)象，而且目前對生成對抗網(wǎng)絡(luò)生成圖像的評估還沒有一個統(tǒng)一的標(biāo)準(zhǔn)，因此，希望研究者們在將來的研究中對以上兩個問題有更加深入的研究。