基于ISE-StyleGAN 的紅外艦船圖像生成算法

李海軍，孔繁程，牟俊杰，劉霄，杜貞斌，林云

（1 海軍航空大學 岸防兵學院，山東 煙臺 264001）

（2 煙臺大學 計算機學院，山東 煙臺 264005）

（3 煙臺大學 教務處，山東 煙臺 264005）

0 引言

紅外成像制導相對于傳統(tǒng)紅外制導方式抗干擾能力強，動態(tài)范圍更明顯，是當前精確制導武器主要制導手段之一，精確制導的主要目標是精準發(fā)現(xiàn)，精確打擊，因此紅外制導的關(guān)鍵因素在于目標的檢測。傳統(tǒng)紅外目標檢測一般先對圖像區(qū)域進行選擇，利用尺度不變性特征變換（Scale Invariant Feature Transform，SIFT）和方向梯度直方圖（Histogram of Oriented Gradient，HOG）等方法進行特征提取，通過一系列的邏輯運算，然后再使用分類器進行區(qū)分，這樣的方法需手工設計，時間復雜度高，并且魯棒性差。近年來，隨著計算機視覺領(lǐng)域的不斷發(fā)展，深度學習逐漸應用在目標檢測領(lǐng)域中，根據(jù)實際領(lǐng)域需求，不斷發(fā)展成單階段和兩階段的目標檢測算法。當前，將深度學習應用至紅外目標檢測領(lǐng)域越來越受到關(guān)注，紅外目標檢測大多通過可見光領(lǐng)域的算法實現(xiàn)，模型的訓練對于數(shù)據(jù)的數(shù)量和質(zhì)量的要求很高，而復雜環(huán)境下的完整紅外艦船圖像難以獲取，所以對基于深度學習的紅外艦船檢測精度有所影響。近年來出現(xiàn)基于人工智能的深度生成模型，包括變分編碼器（Variational Auto-Encoders，VAE）［1］、深度信念網(wǎng)絡（Deep Belief Network，DBN）［2］、生成式對抗網(wǎng)絡（Generative Adversarial Networks，GAN）［3］等，其中GAN 可以通過無監(jiān)督學習實現(xiàn)對目標特征的提取，在生成模型中其具有較強的泛化能力，已發(fā)展出多種變體［4-7］，基于GAN 的圖像生成成為研究熱點。針對使用GAN 對小樣本進行圖像生成訓練時易出現(xiàn)過擬合的問題，UTKARSH O 等［8］提出基于錨點的策略，增強潛在空間對于圖像中不同區(qū)域擁有不同的真實感，能夠保持源圖像和生成圖像的差異性和相對相似性。LIU R 等［9］通過引入同框架相兼容增強潛在的對比損失，使得相鄰潛在空間生成的圖像相似度高，而不同潛在空間生成的圖像差異性高，生成圖像能夠保證視覺質(zhì)量且更加多樣化。SAR 圖像中存在相干斑噪聲，導致其條件生成對抗網(wǎng)絡模型（Conditional Generative Adversarial Nets，CGAN）出現(xiàn)崩潰，GUO J Y 等［10］通過歸一化相干斑噪聲解決了模型崩潰的問題。

目前，利用GAN 進行數(shù)據(jù)生成的研究對象仍是以可見光圖像為主［11］，紅外圖像生成領(lǐng)域的研究方法集中于可見光圖像轉(zhuǎn)紅外圖像，通過紅外圖像進行生成處理的研究較少，對紅外背景下艦船數(shù)據(jù)生成的研究更是少之又少。由于實地采集紅外艦船圖像難度較大、費效比高、數(shù)據(jù)量較少，為能更好地提升基于深度學習的紅外目標檢測精度和效果，本文提出基于樣式的生成對抗網(wǎng)絡（Style Generative Adversarial Nets，StyleGAN）的紅外艦船圖像生成算法，通過訓練生成式對抗網(wǎng)絡模型，得到高質(zhì)量紅外艦船圖像，能夠提供紅外艦船數(shù)據(jù)。根據(jù)紅外艦船圖像特點，采用StyleGAN 作為基礎(chǔ)架構(gòu)，在生成器引入自注意力機制，增強艦船圖像細節(jié)，精簡噪聲模塊，以免圖像風格混亂；同時，調(diào)整模塊分辨率大小，使模型更適合本文圖像；利用小波判別器通過小波分解提取圖像特征，減少圖像偽影的產(chǎn)生，使用雙時間尺度更新規(guī)則和Adam 優(yōu)化器優(yōu)化.訓練過程，同時再引入WGAN-gp 損失函數(shù)提升收斂效率。

1 算法原理與網(wǎng)絡結(jié)構(gòu)設計

1.1 生成式對抗網(wǎng)絡

生成式對抗網(wǎng)絡GAN 本質(zhì)是對抗雙方生成器和判別器通過零和博弈不斷學習、不斷改進，最終生成能夠以假亂真的本不存在的數(shù)據(jù)。生成器主要進行樣本偽造，訓練過程中要不斷提高偽造水平，盡可能與真實樣本相同；判別器用來判斷生成器生成樣本的真實性，通過計算生成樣本與真實樣本的差值去引導生成器不斷減小差異。GAN 基本結(jié)構(gòu)如圖1 所示。

圖1 生成式對抗網(wǎng)絡結(jié)構(gòu)Fig.1 Generative adversarial network structure diagram

原始GAN 中目標優(yōu)化函數(shù)為

式中，D表示判別器，G表示生成器，x～pdata表示x來源于真實分布，Z～pz表示隨機噪聲z來源于模擬分布，Ex～pata[lnD(x)]表示判別器損失，EZ～pzln {1-D[G(z)]}表示生成器損失。

訓練結(jié)束時，對抗雙方達到納什平衡，判斷器無法識別生成圖像的真?zhèn)?。原始GAN 訓練過程中生成器從隨機噪聲中取樣，存在生成樣本圖像狀態(tài)不可控的問題，近年來不斷改進，其中KARRAS T 等提出基于樣式的生成式對抗網(wǎng)絡（StyleGAN）［12］，StyleGAN 移除傳統(tǒng)隨機噪聲，將潛向量（latent code）作為初始輸入，采用無監(jiān)督學習對圖像中的語義進行解耦，并采用樣式傳遞方式解決生成圖像不可控的問題。

1.2 網(wǎng)絡結(jié)構(gòu)設計

StyleGAN 模型在高分辨率圖像生成以及樣式風格變換上有良好的性能，網(wǎng)絡結(jié)構(gòu)如圖2 所示，因此，以StyleGAN 為基礎(chǔ)結(jié)構(gòu)，針對數(shù)據(jù)集的特點，對其生成器結(jié)構(gòu)進行改進。StyleGAN 能夠在可見光自然.圖像的紋理細節(jié)方面有很好的表現(xiàn)，對于紅外艦船圖像來說，其圖案形狀、顏色豐富程度以及樣式種類遠.不及可見光自然圖像，直接將結(jié)構(gòu)復雜的StyleGAN 應用在紅外圖像生成上難以得到理.想的生成圖像。因此，在原始StyleGAN 基礎(chǔ)上對模型進行修改，提出紅外艦船增強StyleGAN（Infrared Ship Enhancement StyleGAN，ISE-StyleGAN）模型，以顯著提高模型訓練的穩(wěn)定性并獲取高質(zhì)量生成樣本。

圖2 StyleGAN 生成器結(jié)構(gòu)Fig.2 StyleGAN generator structure

1.2.1 基于自注意力機制的生成器

1）StyleGAN 中的感受野大小受限于卷積核，在訓練過程中難以從全局角度捕捉紅外艦船圖像內(nèi)容，導致圖像部分內(nèi)部信息和長距離像素關(guān)聯(lián)信息丟失，但是如果使用全連接層獲取全局信息，會使模型冗余增加，計算量激增。所以，考慮通過引入自注意力機制解決此問題。自注意力生成對抗網(wǎng)絡（Self-Attention Generative Adversarial Networks，SAGAN）［13］首次將自注意力機制引入生成式對抗網(wǎng)絡中，生成模型的效果得到極大提升。本文將自注意力引入生成器中，使算法能夠在全局領(lǐng)域進行操作，學習到圖像中更多的細節(jié)和長距離像素關(guān)聯(lián)信息。

如圖3 所示，自注意力機制將特征映射為三部分，第一部分f(x)和第三部分h(x)使用1×1 卷積模塊進行f(x)=W線性變換，第二部分g(x)進行通道壓縮，即

圖3 自注意力機制Fig.3 Self-attention

式中，Wf、Wg、Wh、Wv表示四個1×1 卷積層權(quán)重矩陣。

然后將f(x)、g(x)轉(zhuǎn)換為矩陣形式，進行轉(zhuǎn)置相乘，經(jīng)過softmax 處理得到注意力權(quán)重βi，j為

式中，βj，i表示第i個位置對生成第j個位置的關(guān)系權(quán)重，N表示輸入特征圖中含有特征的位置數(shù)量。

再將h(x)與得到的注意力權(quán)重βj，i相乘，再經(jīng)過1×1 卷積層處理得到自注意力特征映射oj為

最后將自注意力特征映射與一比例參數(shù)相乘，再同輸入特征圖加權(quán)相加得到最終輸出zi為

式中，γ是初值為0 的預定義系數(shù)。

2）由于紅外艦船圖像具有色彩單一、樣式結(jié)構(gòu)樸素的特點，所以，對生成器進行針對性簡化，將生成器最后一個模塊的分辨率大小設定為256×256，使生成器更適合本文提供的數(shù)據(jù)需求，在確保生成圖像質(zhì)量的前提下，能夠減少網(wǎng)絡所需參數(shù)量，提高生成器的運算效率。

3）減少隨機噪聲的輸入數(shù)量。由于紅外艦船圖像的紋理細節(jié)特征沒有可見光圖像豐富，按照原始StyleGAN 模型進行圖像生成時，噪聲過多會引入較多噪點，影響自適應實例歸一化［14］的進行，進而導致生成圖像質(zhì)量下降。因此，生成器每個不同分辨率網(wǎng)絡模塊的噪聲輸入均只引入一個噪聲模塊。最終改進生成器結(jié)構(gòu)如圖4 所示。噪聲模塊N的生成方法表示為

圖4 改進的生成器結(jié)構(gòu)Fig.4 Improved generator architecture

1.2.2 小波判別器

使用小波判別器［15］（Wavelet discriminator）進行偽影抑制。由于實驗過程中發(fā)現(xiàn)，在64×64 分辨率的早期訓練階段，可以觀察到阻塞偽影，但隨著訓練的進行，它們逐漸消失。由于判別器判別失敗，偽影會使高分辨率合成缺失高頻細節(jié)，因此需要使用更強的鑒別器來抑制偽影的產(chǎn)生。

小波判別器結(jié)構(gòu)如圖5 所示，在每一個分辨率模塊中，使用一個基于跳躍連接的網(wǎng)絡從小波分解中提取特征，并將它們合并到從更高分辨率塊派生的特征表示中。判別器對輸入圖像分層，進行雙線性下采樣降尺度處理，并在每個尺度上檢測離散小波分解位置與真實圖像的頻率差異。這樣的小波鑒別器在對抗阻塞偽影方面效果顯著。同時，它對分布匹配沒有任何負面影響，可有效引導生成器生成豐富的圖像細節(jié)。

圖5 小波判別器結(jié)構(gòu)Fig.5 Structure of wavelet discriminator

1.2.3 損失函數(shù)

使用WGAN-gp［16］損失函數(shù)提升收斂效率，以此將生成圖像z同真實樣本x的Wasserstein-1 距離輸入至判別器，并基于WGAN 的損失標準，用梯度懲罰項替換權(quán)重裁剪項，避免梯度爆炸。最終損失函數(shù)為

1.2.4 雙時間尺度更新規(guī)則

訓練時采用雙時間尺度更新規(guī)則（TTUR）［17］。TTUR 提出新的訓練參數(shù)更新策略，將生成器G和判別器D自動設置不同的學習率，讓D的收斂速度加快，并且能夠平衡兩者的訓練速度。訓練過程是根據(jù)生成器和判別器損失函數(shù)LG、LD的隨機梯度來進行的，其中θ是生成器中的學習變量參數(shù)，ω是判別器的學習變量參數(shù)。由于梯度是隨機的，從圖像數(shù)據(jù)集Pdata(x)中隨機選擇m個真實樣本x(i)，1 ≤i≤m，和生成圖像數(shù)據(jù)集PG(z)中m個隨機選擇的生成樣本z(i)，1 ≤i≤m。如果實際梯度為h(θ，ω)=?θ LG和g(θ，ω)=?ω LD，那么就用隨機變量M(ω) 和M(θ) 定 義和。因此梯度隨機近似于實際梯度。TTUR 一般假設生成器和判別器更新的學習率為a（n）和b（n），則

2 實驗結(jié)果及分析

2.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)的獲取采用網(wǎng)絡爬蟲方式，主要是通過網(wǎng)絡檢索“艦船”、“貨輪”等軍用民用船只，共4 284 張紅外艦船圖像，其中艦船數(shù)量為7 196 艘。首先按照8∶2 的比例將圖片劃分成訓練集和測試集，然后從測試集中隨機抽取一半作為驗證集，實驗前不對紅外圖像進行任何處理。

2.2 實驗配置

本文所有實驗均在Ubuntu20.04 操作系統(tǒng)中進行，CPU 是core i9-12900KF，GPU 為顯存12G 的NVIDIA GeForce RTX 3080ti，python 版本為3.7.11，開發(fā)工具是pycharm2020.1，框架使用Pytorch1.9.0。實驗前首先將自建紅外艦船數(shù)據(jù)集進行批處理，訓練參數(shù)設置如表1 所示。學習率使用TTUR，批訓練數(shù)設置為32，單次實驗訓練900 個Epochs，使用Adam 優(yōu)化器。

表1 實驗訓練參數(shù)Table 1 Experimental training parameters

2.3 算法訓練過程

ISE-StyleGAN 算法實現(xiàn)過程為：

2.4 圖像生成效果評價

2.4.1 目視判斷評價

為全面展示生成的紅外圖像，圖6 中選取了某一圖像在各個迭代生成階段的生成效果?？梢娫贓poch=100 時，圖像像素化嚴重并存在失真現(xiàn)象，無法辨別出艦船圖像；當Epoch=300 時，圖像網(wǎng)格基本消失，但在圖像中央已能大致看出艦船輪廓；當Epoch=600 時，艦船圖像開始顯現(xiàn)，輪廓已接近真實清晰，但圖像背景略微模糊；當Epoch=900 時，整體生成的紅外圖像非常接近真實圖像，艦船目標已能夠通過目視判讀出。

由圖6 可以看到，在Epoch 從100 到900 的訓練過程中，能夠得到不同分辨率的紅外艦船圖像。因此，可以通過利用低分辨率圖像得到艦船的整體輪廓以及部分艦船特征，以此來對艦船目標進行檢測識別，并持續(xù)跟蹤目標；利用高分辨率圖像可識別出艦船中的細節(jié)特征，因此，可以更具針對性地進行艦船目標的細粒度識別，比如，可對艦船中的駕駛室、雷達、水線等要害部位進行識別定位，利用反艦導彈進行精確打擊。

圖6 ISE-StyleGAN 訓練過程Fig.6 The training process of ISE-StyleGAN

為進一步驗證算法的生成圖像質(zhì)量，對圖像中顯著位置天線桅桿進行放大對比。圖7 展示了兩幅圖的原圖、艦船天線桅桿放大圖以及ISE-StyleGAN 生成圖像。從圖7（b）、（d）中可以看到雖然生成圖像的天線桅桿略有模糊，并且中間的桅桿和右邊的桅桿中部橫桿一小部分不相同，但是圖像整體形狀、桅桿位置分布以及其他細節(jié)部分基本一致，并且整體的亮度以及對比度比較符合人眼要求。相比圖7（f），圖7（h）也略微模糊，整體亮度偏灰暗，天線桅桿形狀大致相同，能夠看出輪廓邊緣，較好地區(qū)分出天線桅桿和海面背景。綜上，通過將原圖和生成圖像中顯著位置進行對比看出，盡管在整體亮度以及模糊程度上略有差別，但是生成圖像能夠較好地生成圖像局部特征，基本還原出原圖的效果。

圖7 原圖與生成圖像的對比Fig.7 Compare of the original images with the generated images

基于相同實驗條件、不同場景進行實驗，隨機選擇不同背景的生成紅外圖像如圖8 所示，對比原數(shù)據(jù)、DCGAN、CycleGAN、StyleGAN 和ISE-StyleGAN 的實驗結(jié)果。DCGAN 生成圖像背景部分同原圖像相差較多，并且該算法生成的第一張圖像中目標尺度大小存在問題，第二張圖像中存在空間扭曲，說明仍然存在訓練不穩(wěn)定、模型坍塌的現(xiàn)象；CycleGAN 的生成圖像對于曝光度較低的背景部分具有較好的生成效果，但是整體的灰度分布、灰度等級存在著較大差異并且有顏色偏移的現(xiàn)象。StyleGAN 也能生成表面光滑、質(zhì)量較好的自然圖像，但是部分圖中夾雜著一些明顯與原始圖像特征不符的缺陷特征，存在風格混亂的問題，該算法生成的第一張圖中艦船位置顛倒，第四張圖中海面出現(xiàn)黑色條紋，圖像缺乏真實性。

圖8 不同生成式對抗網(wǎng)絡算法生成圖像對比Fig.8 Comparison of images generated by different generative adversarial network algorithms

根據(jù)紅外圖像的先驗知識以及目視判讀得到：1）本文算法在白天、黑夜、云霧等各種氣象條件下都能得到較好的艦船和背景的紅外成像效果；2）本文算法在艦船目標不同尺度不同數(shù)量的條件下也能有較好的紅外成像效果；3）圖中展示的生成圖像滿足艦船的大多數(shù)特征要求，輪廓清晰可辨，圖像紋理細節(jié)較明顯，整體的灰度分布同真實圖像的紅外效果非常接近，僅僅在整體亮度以及色差上略有差別。

通過目視圖像中特征顯著位置對比以及主觀評價生成圖像可得：使用本文算法所得紅外圖像能基本展示出艦船的輪廓以及紋理細節(jié)，在灰度分布上與真實圖像大致相同，整體上兩幅圖片的相似度很高，通過目視以及主觀判斷，生成的紅外艦船圖像表現(xiàn)較好。

2.4.2 客觀指標評價

為進一步驗證實驗生成圖像的有效性，通過客觀性能指標峰值信噪比（Peak Signal to Noise Ratio，PSNR）和多層級結(jié)構(gòu)相似性（Multi-Scale Structural Similarity Index，MS-SSIM）［18］對生成圖像進行定量分析。PSNR 指標基于原始圖像和生成圖像中對應像素點的誤差大小，主要是衡量生成圖像失真程度，分值越高，圖像越逼真。由于數(shù)據(jù)集中圖像尺度豐富多樣，所以另一個評估指標采用MS-SSIM。同SSIM 程序相同，MS-SSIM 也是進行原始與生成圖像的分辨率、亮度、對比度以及相關(guān)結(jié)構(gòu)的比較，得到比較分數(shù)然后進行積累，對圖像進行下采樣，整個過程重復迭代，以此來進行不同圖像尺度的多SSIM 評價。

表2 和表3 給出了各個模型對各種背景、尺度的紅外艦船圖像生成客觀指標評價結(jié)果，可以看到ISEStyleGAN 的PSNR 值以及MS-SSIM 值在各種類型的目標下都是最高，說明本文提出的改進算法相比幾種經(jīng)典生成式對抗網(wǎng)絡方法生成的紅外艦船圖像更加逼真，質(zhì)量更好。同時，ISE-StyleGAN 生成的艦船輪廓和細節(jié)同原始圖像更相似，因此，可以推斷出ISE-StyleGAN 生成的艦船圖像特征同原始圖像特征更相似。

表2 生成式對抗網(wǎng)絡模型PSNR 指標結(jié)果Table 2 PSNR index results of generative adversarial network model

表3 生成式對抗網(wǎng)絡模型MS-SSIM 指標結(jié)果Table 3 MS-SSIM index results of generative adversarial network model

2.4.3 目標檢測算法測試

生成紅外艦船圖像旨在解決由于紅外數(shù)據(jù)量不足影響目標檢測精度的問題。所以，可以通過將生成數(shù)據(jù)集應用至艦船檢測任務來進一步驗證生成圖像的有效性。驗證過程采用不同的數(shù)據(jù)集，包括原始紅外艦船數(shù)據(jù)集，原始數(shù)據(jù)集同常規(guī)增廣的數(shù)據(jù)組合數(shù)據(jù)集，DCGAN、CycleGAN、StyleGAN、ISE-StyleGAN 生成圖像組合數(shù)據(jù)集分別進行艦船檢測訓練，數(shù)據(jù)集具體設計如表4 所示。常規(guī)增廣包括圖像平移變換、隨機縮放、隨機裁剪等方法，檢測算法采用YOLOv3、SSD、Faster R-CNN、Centernet，epoch=50，使用平均精確率（mAP）作為評價指標。

表4 目標檢測測試數(shù)據(jù)集構(gòu)成Table 4 Data set composition of object detection test

圖9 給出了四種算法訓練在不同數(shù)據(jù)集中的mAP 變化曲線，對比可知，使用原始數(shù)據(jù)集進行目標檢測，精度結(jié)果都不是很理想，并且不同檢測算法使用這1 000 張圖片得到的結(jié)果相差較大，說明不同檢測算法對數(shù)據(jù)集依賴程度不同。對原始數(shù)據(jù)集進行擴充后無論是使用常規(guī)增廣還是通過算法數(shù)據(jù)生成，目標檢測精度均能得到一定程度的提升，同時，不同生成式對抗網(wǎng)絡算法得到的擴充數(shù)據(jù)集在相同目標檢測模型中運行，可比較出各個模型的性能差異。使用常規(guī)增廣方法在不同檢測算法上有8%左右的精度提升，其他主流生成算法能將精度提升10%左右，但是，存在使用生成算法的效果不如常規(guī)增廣的情況。對比表5 中序號2和序號5 的YOLOv3 算法檢測精度，常規(guī)增廣的檢測效果提升更明顯，對比序號2 和序號4 使用SSD 算法，也是常規(guī)增廣效果更好。因此，雖然主流生成算法能夠豐富紅外艦船特征多樣性，但是使用該數(shù)據(jù)集生成的圖像質(zhì)量不高，存在風格混亂以及缺陷特征的問題，會造成海雜波的虛檢。從表5 可以看出本文算法生成的數(shù)據(jù)使用四種目標檢測算法測試都能有較好的檢測效果，魯棒性較強。例如在YOLOv3 算法中，ISEStyleGAN 擴充后的目標檢測網(wǎng)絡與原始數(shù)據(jù)集相比在平均精確率上提升15%左右，驗證了基于ISEStyleGAN 生成紅外艦船圖像的有效性和可行性。

圖9 各數(shù)據(jù)集用不同算法得到的mAP 值Fig.9 mAP value of each dataset by different algorithms

表5 各數(shù)據(jù)集目標檢測的mAP 值Table 5 mAP value of target detection in each dataset

3 結(jié)論

本文針對紅外艦船數(shù)據(jù)難以獲取的問題，提出ISE-StyleGAN 紅外艦船圖像生成算法，通過目視判讀以及客觀評價指標對原始圖像以及DCGAN、CycleGAN、StyleGAN、ISE-StyleGAN 生成圖像進行對比實驗。結(jié)果表明，本文算法生成的紅外艦船圖像質(zhì)量較好，同真實紅外圖像相似度較高；再經(jīng)過4 種經(jīng)典目標檢測算法測試，本文算法生成圖像構(gòu)建的數(shù)據(jù)集檢測效果均最優(yōu)。因此，該方法可用于紅外圖像生成，為紅外艦船數(shù)據(jù)提供來源。