• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    非成對訓練樣本條件下的紅外圖像生成

    2024-01-04 02:24:48蔣昕昊楊志勇
    光學精密工程 2023年24期
    關鍵詞:紅外損失卷積

    蔡 偉,姜 波,蔣昕昊,楊志勇

    (火箭軍工程大學 兵器發(fā)射理論與技術國家重點學科實驗室,陜西 西安 710025)

    1 引言

    紅外成像技術利用紅外探測器獲取目標與環(huán)境的熱輻射差異,通過光電轉(zhuǎn)換技術形成可觀測的紅外圖像,具有抗干擾能力強、探測距離遠、可全天候工作等優(yōu)勢,因此在軍事偵察、公共安防、醫(yī)療成像等方面發(fā)揮了重要作用。但在紅外成像技術的發(fā)展過程中,經(jīng)常需要豐富多樣的紅外圖像數(shù)據(jù)作為驗證測試的樣本。同時基于深度學習的算法也必須使用大量的紅外數(shù)據(jù)對模型進行訓練,從而確保模型的訓練效果。然而,在許多場景中,由于測試環(huán)境、搭載設備等客觀因素的限制,采用實拍紅外圖像的獲取方式是十分困難的,構建大規(guī)模的紅外數(shù)據(jù)集成本極高。因此利用紅外圖像仿真技術生成高質(zhì)量的紅外數(shù)據(jù),不僅能夠有效地降低獲取紅外數(shù)據(jù)的成本,還可以生成很多自然環(huán)境以及外場試驗難以獲得的紅外數(shù)據(jù),這些數(shù)據(jù)將為紅外相關設備在軍事、民用領域的應用提供有力支撐。

    Vega/VegaPrime,SE-Workbench,MuSES,DIRSIG 等傳統(tǒng)的紅外仿真技術[1-3]利用人工構建的三維模型計算每個單位的熱輻射,模擬真實場景下的紅外數(shù)據(jù)。但這些方法的計算框架較為復雜,需要大氣溫度、相對濕度、風速等諸多額外的環(huán)境信息。而利用圖像風格遷移的方法將種類多樣的可見光圖像直接轉(zhuǎn)換為紅外圖像相比于傳統(tǒng)的紅外仿真方法更加快捷方便。近幾年,隨著深度學習技術的迅速崛起,生成對抗網(wǎng)絡在圖像生成和轉(zhuǎn)換、信息安全、視覺計算等領域展現(xiàn)出顯著的應用價值[4-6]?;谏蓪咕W(wǎng)絡的圖像風格遷移模型取得了巨大成功。Pix2pix[7]首次使用U-Net 作為生成器,PathGAN(Generative Adversarial Network)作為 判別器,實現(xiàn)了語義圖到真實場景圖、衛(wèi)星圖到地圖、日景圖到夜景圖的轉(zhuǎn)換,但Pix2pix 對訓練樣本要求嚴格,必須使用成對圖像作為輸入。然而,針對圖像跨模態(tài)轉(zhuǎn)換問題,很難采集和建立充足的成對訓練數(shù)據(jù),因此Pix2pix 在實際應用中具有一定局限性。而CycleGAN,DiscoGAN,DualGAN等[8-10]方法利用一種循環(huán)一致性損失函數(shù)對非成對圖像進行訓練,實現(xiàn)了四季場景轉(zhuǎn)換、照片與藝術畫互轉(zhuǎn)。但基于循環(huán)一致性損失函數(shù)的方法通常要求圖像之間的雙向映射,這種限制嚴格的雙向映射對于模態(tài)差異較大的圖像轉(zhuǎn)換效果并不理想,尤其面對復雜場景的紅外圖像轉(zhuǎn)換時模型的性能受到極大影響。如圖1 所示,Cycle-GAN 在進行可見光圖像到紅外圖像轉(zhuǎn)換時,由于雙向映射的嚴格要求,反而造成了圖中紅色方框內(nèi)的生成結(jié)果失真(彩圖見期刊電子版)。因此,如何在非成對樣本訓練的條件下高質(zhì)量的實現(xiàn)紅外圖像的轉(zhuǎn)換,對于紅外數(shù)據(jù)集的構建具有重要的研究價值。

    圖1 兩種紅外仿真算法生成圖像效果對比Fig.1 Comparison of image effects generated by two infrared simulation algorithms

    基于以上分析,本文提出了一種使用非成對樣本進行訓練的可見光圖像到紅外圖像轉(zhuǎn)換的生成對抗網(wǎng)絡(Visible to Infrared Generative Adversarial Network,VTIGAN),有效實現(xiàn)了紅外圖像仿真生成。VTIGAN 相比于循環(huán)一致性損失的方法而言,并不要求模態(tài)間的雙向映射,而是引入多層對比損失和風格相似性損失約束網(wǎng)絡訓練,重點關注可見光圖像到紅外圖像的單向映射,因此不僅降低了網(wǎng)絡復雜度,紅外圖像的生成質(zhì)量也更高。本文的貢獻總結(jié)如下:

    (1)針對可見光圖像到紅外圖像轉(zhuǎn)換時模態(tài)差異較大,現(xiàn)有算法使用非成對數(shù)據(jù)訓練效果不佳的問題,本文提出了一種新穎的紅外圖像仿真生成算法VTIGAN,實現(xiàn)非成對訓練樣本下可見光圖像到紅外圖像的轉(zhuǎn)換;

    (2)在生成對抗網(wǎng)絡的基礎上引入多層對比損失、風格相似性損失和同一性損失約束網(wǎng)絡模型的訓練,在圖像轉(zhuǎn)換過程中最大程度保留輸入的可見光圖像語義內(nèi)容不變,同時生成逼真的紅外風格特征;

    (3)在公開的可見光-紅外數(shù)據(jù)集上進行了大量實驗,證明了VTIGAN 生成的紅外圖像在定量評價和視覺效果上的優(yōu)越性,相比于其他算法更加適合非成對訓練樣本條件下可見光圖像到紅外圖像的轉(zhuǎn)換。

    2 算法原理

    假設可 見光域 為χ?RH×W×C、紅外域 為γ?RH×W×C,給定非成對可見光圖像數(shù)據(jù)集和紅外圖像數(shù)據(jù)集分別為X={x∈χ},Y={y∈γ}。本文的目的是通過VTIGAN 學習一個映射G:X→Y,從而實現(xiàn)可見光圖像到紅外圖像的轉(zhuǎn)換。VTIGAN 包含一對生成器和判別器{G,DY},生成器G完成X→Y的映射,判別器DY負責確保轉(zhuǎn)換后的圖像屬于紅外域。生成器G由編碼器、轉(zhuǎn)換器、解碼器組成,分別表示為Genc,Gcon,Gdec,生成紅外圖像?的過程如式(1)所示:

    在圖像轉(zhuǎn)換過程中,VTIGAN 從編碼器中提取輸入圖像的多層特征信息,并使用一個雙層MLP 網(wǎng)絡[11](HX和HY)將提取到的特征信息投影到共享的嵌入空間,從而計算輸入和輸出圖像間的多層對比損失。此外,VTIGAN 還引入了兩個輕量的特征映射網(wǎng)絡{Hf,Hr},提取仿真紅外圖像和真實紅外圖像間的公共信息,并以此構成風格相似性損失。特征映射網(wǎng)絡{Hf,Hr}依次由卷積層、ReLU 激活函數(shù)、平均池化層、雙層點卷積級聯(lián)而成。

    圖2 顯示了VTIGAN 的整體網(wǎng)絡架構。VTIGAN 主要結(jié)合了對抗損失、多層對比損失、風格相似性損失以及同一性損失實現(xiàn)網(wǎng)絡模型的訓練。下面將從網(wǎng)絡結(jié)構和損失函數(shù)兩個方面詳細介紹本方法的具體原理。

    圖2 VTIGAN 的基本框架Fig.2 Basic framework of VTIGAN

    2.1 生成器

    VTIGAN 利用卷積神經(jīng)網(wǎng)絡和transformer[12]的組合,構建了 一種新 穎的生成器,主要由編碼器、轉(zhuǎn)換器、解碼器三部分組成。具體網(wǎng)絡結(jié)構如圖3 所示。

    圖3 生成器網(wǎng)絡結(jié)構Fig.3 Network structure of generator

    2.1.1編碼器

    編碼器主要利用卷積神經(jīng)網(wǎng)絡對圖像進行特征提取,便于之后的轉(zhuǎn)換器進行相應的轉(zhuǎn)換。第1個卷積層采用64 個尺度為7×7 的卷積核提取特征,并加入3 個像素的填充保留特征圖的空間維度。接下來的兩個卷積層分別由128 和256個卷積核組成,所有卷積核尺度為3×3,步幅設置為2,填充設置為1。每個卷積層后面還包括一個批量歸一化層和Relu 激活函數(shù)。設T∈RH×W×C表示編碼器輸出的張量,則輸入尺寸為256×256×3 的可見光圖像,輸出T的尺寸為64×64×256。

    2.1.2轉(zhuǎn)換器

    轉(zhuǎn)換器利用transformer 架構在潛在空間對深度特征進行解糾纏并重新組合,實現(xiàn)可見光到紅外的風格轉(zhuǎn)換。為方便后續(xù)的矩陣運算,首先使用卷積投影模塊(conv_projection)將T映射為三組向量,這些向量稱為查詢向量Q、鍵向量K、值向量V。投影模塊主要由深度可分離卷積[13]構成,其中特別的是生成Q的投影模塊使用步幅為1 的深度卷積,其他投影模塊的深度卷積步幅為2。設WQ,WK,WV分別為投影模塊的訓練參數(shù),則三組向量的學習過程如式(2)所示:

    其中:Depthwise(·) 表示深度可分離卷積,reshape(·) 表示矩 陣重組。向 量Q∈,K∈,V∈,sq=4 096,sk=sv=1 024,tq=tk=tv=256。

    卷積投影模塊之后設置了一個自注意力模塊(Self-Attention)。在此模塊中,查詢向量Q、鍵向量K通過矩陣運算對全局特征進行解糾纏,并生成自注意力矩陣更新值向量V中的特征信息。此過程如式(3)所示:

    其中:Θ∈R64×64×256,KT為鍵K的轉(zhuǎn)置,softmax(·)表示歸一化函數(shù),reshape(·)表示矩陣重組。

    與常規(guī)的transformer 架構不同,為進一步降低計算量,本文使用雙層點卷積代替MLP 作為transformer 中的最后處理模塊。轉(zhuǎn)換器的最終輸出如式(4)所示:

    其中:Γconv256和Γconv512分別表示卷積核數(shù)量為256和512 的卷積層,ΓGELU表示高斯誤差線性單元激活函數(shù),ΓBN為批量歸一化層。

    2.1.3解碼器

    解碼器的構成與編碼器恰好相反,采用3層逐級連接的反卷積,將轉(zhuǎn)換器輸出的特征圖逐級還原為紅外圖像,完成整個生成過程。編碼器、轉(zhuǎn)換器、解碼器的結(jié)構參數(shù)詳見表1。

    表1 生成器內(nèi)部參數(shù)Tab.1 Generators internal parameters

    2.2 判別器

    在一般的生成對抗網(wǎng)絡中,判別器通常由多個卷積層構成,最終輸出一個介于0~1 之間的標量作為判定樣本真?zhèn)蔚母怕?。這種判別方式針對整張圖像進行加權得出結(jié)果,無法關注到圖像的局部特征。由于可見光圖像與紅外圖像模式差異大,此種判別方法精度要求過低無法實現(xiàn)高質(zhì)量的圖像生成。因此,本文使用70×70 的PathGAN[6]作 為VTIGAN 的判別 器,具體結(jié) 構如 圖4 所 示,其輸入 為256 pixel×256 pixel 的 圖像,輸出結(jié)果為30×30 的矩陣,每個矩陣元素代表輸入圖像中一個70×70 感受野的圖像補丁為真的概率,最終以全部矩陣元素的均值判定整張圖像的真假。這種補丁級判別器針對每一個圖像補丁精準判別,重點關注了圖像局部特征的提取和表征,更加適合可見光到紅外這兩種模式差異較大的圖像轉(zhuǎn)換。

    圖4 判別器網(wǎng)絡結(jié)構Fig.4 Network structure of discriminator

    2.3 損失函數(shù)

    2.3.1 對抗損失

    在傳統(tǒng)生成對抗網(wǎng)絡中通常使用交叉熵損失函數(shù),這會導致生成的圖像雖然被判定為真實圖像,但實際仍遠離判別器的決策邊界。由于此時交叉熵損失函數(shù)已經(jīng)擬合,生成器不會繼續(xù)進行優(yōu)化,最終限制了生成的圖像質(zhì)量。通過理論分析和實際測試發(fā)現(xiàn)最小二乘損失函數(shù)可以對判定為真實樣本的圖像進行懲罰,使距離決策邊界較遠的樣本不斷靠近決策邊界,從而進一步提高圖像轉(zhuǎn)換的效果。因此,VTIGAN 選擇最小二乘損失函數(shù)構建對抗損失,其表達形式如式(5)~式(7)所示:

    其中:y為真實紅外圖像為生成紅外圖像,)表示計算期望,D Y(·)表示判別器判定圖像為真的概率。

    2.3.2 多層對比損失

    圖像轉(zhuǎn)換過程中,要求輸入圖像和輸出圖像在對應空間位置上應具有相似的語義信息。因此VTIGAN 引入多層對比損失最大化輸入和輸出圖像對應位置間的互信息。通過將可見光和紅外圖像對應位置互信息的最大化,可以監(jiān)督生成網(wǎng)絡提取兩個對應位置的共性部分(圖像轉(zhuǎn)換時應該被保留的內(nèi)容),同時忽略其他位置上的特征對圖像轉(zhuǎn)換的影響,具體實現(xiàn)如下。

    多層對比損失的目的是關聯(lián)查詢樣本和所對應的正樣本,并排除數(shù)據(jù)中的其他負樣本。如圖2 所示(彩圖見期刊電子版),設定查詢樣本為生成的紅外圖像中隨機選取的綠色圖像框,正樣本則為可見光圖像中相同位置所對應的藍色圖像框,而可見光圖像中除正樣本位置外隨機位置選取的紫色圖像框均為負樣本。首先將查詢樣本、正樣本和N 個負樣本映射為P維向量,分別表示為q∈RP,ν-∈RN×P,ν+∈RP,接著對P維向量進行L2 正則化,此時可構建一個(N+1)類的分類問題,并計算排除負樣本選出正樣本的概率。在數(shù)學上可使用交叉熵損失[13]表示為:

    其中,δ為查詢樣本和其他樣本間的距離縮放因子。

    VTIGAN 使用Genc和雙層MLP 的組合分別對可見光和紅外圖像進行特征提取,同時為了更加精確的進行特征表示,可見光和紅外圖像的特征提取網(wǎng)絡之間并不共享權重。以可見光圖像為例,選取Genc(x)中的L 層傳遞到MLP 中,將其投影為特征集合,如式(9)所示:

    由上述公式可得到最終輸入與輸出圖像間的多層對比損失,如式(11)所示:

    2.3.3 風格相似性損失

    在紅外圖像數(shù)據(jù)集Y={y∈γ}中,不同紅外圖像雖然語義內(nèi)容各不相同,但具有相似的紅外風格特征。為了提高生成紅外圖像的真實性,VTIGAN 使用風格相似性損失充分挖掘生成圖像和真實樣本之間的聯(lián)系,最大程度上實現(xiàn)紅外風格特征的轉(zhuǎn)換。如圖1 所示,在網(wǎng)絡中首先使用編碼器Genc和雙層MLP 將生成的紅外圖像和真實紅外圖像轉(zhuǎn)換為兩組特征集合,接著利用兩個輕量的特征映射網(wǎng)絡{Hf,Hr}將特征集合映射為64 維的風格特征向量,此時利用風格相似性損失度量二者之間距離,其形式化表達如式(12)所示:

    通過在深層信息上約束生成圖像和真實圖像間風格特征的相似,可以促使生成紅外圖像更加真實,而不是簡單的色彩疊加。

    2.3.4 同一性損失

    生成器以可見光圖像作為輸入,可以實現(xiàn)可見光圖像到紅外圖像的映射,然而若將紅外圖像作為輸入,理想的生成器將不進行任何更改而直接輸出原始圖像。這種以紅外圖像直接作為輸入,得到的輸出圖像與輸入圖像之間的L1 損失被定義為同一性損失。其表達式如式(13)所示:

    同一性損失的加入可以在訓練過程中糾正生成器的偏差,激勵生成器生成更加真實的紅外圖像的特征。

    2.3.5 總損失函數(shù)

    上述各種損失函數(shù)都會對紅外仿真圖像生成效果產(chǎn)生影響,將各項損失進行加權,最終構成VTIGAN 的整體損失函數(shù),如式(14)所示:

    其中,λ是調(diào)整各項損失函數(shù)在訓練中占比的權值。

    3 實驗結(jié)果與分析

    3.1 準備工作

    本文算法的有效性檢驗在Pytorch 深度學習開發(fā)框架下進行,硬件平臺配置如表2 所示。

    3.1.1 數(shù)據(jù)集制備

    本文使用的數(shù)據(jù)集為艾睿光電紅外開源平臺提供的可見光-紅外數(shù)據(jù)集。該數(shù)據(jù)集內(nèi)容豐富,包含了車輛、建筑、植物等多種物體的可見光和紅外圖像,圖像尺寸均為256 pixel×256 pixel。為充分驗證算法的有效性,本實驗將該數(shù)據(jù)集劃分為交通場景和建筑場景兩大類,其中交通場景主要包含車輛和公路的可見光與紅外圖像,建筑場景主要包含水泥建筑、樹木、草坪等物體。兩類場景中均含有5 000 組圖像作為實驗樣本,其中訓練集包含可見光和紅外圖像各4 500 張,且訓練過程中圖像均采用隨機輸入的方式,確保在非成對訓練樣本條件下進行訓練。測試集則包含500 組配對的可見光和紅外圖像,其中500 張可見光圖像作為測試樣本,而與之對應的500 張紅外圖像作為參考樣本對生成紅外圖像進行定量評價。

    3.1.2 評價指標選取

    為比較不同算法的圖像遷移效果,本文使用全參考評價方法定量分析生成紅外圖像質(zhì)量,主要選取以下三個指標:峰值信噪比(Peak Signalto-Noise Ratio,PSNR)、結(jié)構相似度(Structure Similarity Index Measure,SSIM)和Frechét inception distance(FID)。

    PSNR[15]作為使用最廣泛的全參考評價指標之一,在圖像壓縮、超分辨率重建等領域發(fā)揮了重要作用。PSNR 基于對應像素點間的均方誤差衡量生成圖像與參考圖像之間的差異,其值越大代表生成圖像失真越小,即生成圖像的質(zhì)量越高。PSNR 的形式化表達如式(15)所示:

    其中:MSE表示參考圖像和生成圖像之間的均方誤差,MAXI為圖像中的最大像素值。

    SSIM[16]用于計算生成圖像與參考圖像之間的相似性,取值范圍在0~1 之間,值越大圖像相似性越高。SSIM 用均值作為亮度的估計,標準差作為對比度的估計,協(xié)方差作為結(jié)構相似程度的度量,更加符合人類視覺提取圖像結(jié)構信息的方式。假設參考圖像和生成圖像分別為x和y,其結(jié)構相似性定義如下:

    其中:l(x,y),c(x,y),s(x,y)分別x和y的亮度比較、對比度比較以及結(jié)構比較,μx和μy分別為x和y的均值,σx和σy分別為x和y的標準差,σxy表示x和y的協(xié)方差,C1,C2,C3,α,β,γ均為常數(shù)。

    FID[17]通過Inception 模型度量生成圖像與參考圖像在深度特征空間中的距離,具有較好的魯棒性,其分數(shù)越低,說明生成圖像的質(zhì)量越高且多樣性豐富。FID 的形式化表達如式(18)所示:

    其中:μr,μg分別為參考圖像和生成圖像的特征的均值,Σr,Σg分別為參考圖像和生成圖像的特征的協(xié)方差矩陣,Tr表示求矩陣對角線元素和的運算。

    3.1.3 實驗參數(shù)設置

    使用動量為0.5 的自適應矩估計優(yōu)化器(Adam)[18]對訓練過程中神經(jīng)網(wǎng)絡損失進行優(yōu)化,初始網(wǎng)絡參數(shù)隨機選自均值為0,方差為0.02的高斯分布。經(jīng)調(diào)試后,實驗具體參數(shù)設置如表3 所示。

    表3 實驗參數(shù)設置Tab.3 Setting of experimental parameters

    3.2 實驗結(jié)果分析

    為了驗證VTIGAN 算法在可見光到紅外圖像遷移任務上的優(yōu)良性能,本文將其與其他圖像遷移算法進行了對比實驗分析。主要對比網(wǎng)絡包含CycleGAN,DSMAP(Domain-Specific Mappings)[19],UGATIT(Unsupervised Generative Attentional networks)[20],GLANet(Global and Local Alignment Networks)[21],CUT(Contrastive Learning for Unpaired Image-to-Image Translation)[22]。為了充分對比不同算法之間的性能差異,本文從客觀定量分析和主觀視覺評價兩方面對圖像風格遷移結(jié)果進行了評價。

    3.2.1 客觀定量分析

    使用PSNR,SSIM 和FID 三個指標對各模型的測試結(jié)果進行定量分析,對比結(jié)果如表4所示。

    表4 圖像評價指標對比Tab.4 Comparison of image evaluation indexes

    從不同方法的實驗結(jié)果來看VTIGAN 在三項指標的評價結(jié)果上達到了最優(yōu),相比于Cycle-GAN 在PSNR,SSIM 和FID 三個指標上分別提升了16.8%,14.3%和35.0%,相比于排名第二的方法UGATIT 在PSNR、SSIM 和FID 三個指標上分別提升了3.1%,2.8%和11.3%。從兩組不同場景實驗的評價結(jié)果對比來看,由于交通場景相比于建筑場景復雜程度略低,因此在交通場景上的圖像生成結(jié)果均優(yōu)于建筑場景。但場景復雜度對不同方法的影響程度并不相同,從表4 中數(shù)據(jù)分析可以看出,VTIGAN 從交通場景到建筑場景三項圖像評價指標下降幅度分別為5.3%,2.7%和7.9%,指標下降幅度最小。而CycleGAN 的表現(xiàn)受場景復雜度的影響最大,在PSNR,SSIM 和FID 三個指標上分別下降了11.1%,15.7% 和32.7%。從定量評價結(jié)果來看本文提出的VTIGAN 針對可見光圖像到紅外圖像的遷移取得了最優(yōu)的表現(xiàn),且該方法具有較好的魯棒性,對于復雜場景下的抗干擾能力更強。

    3.2.2 主觀視覺評價

    為了更加直觀比較各模型在可見光圖像到紅外圖像遷移任務上的性能差異,本節(jié)選取了水泥建筑、樹木、草坪、工地、交通車輛五類主要實例的紅外圖像生成結(jié)果直接進行比對,各方法具體實驗結(jié)果示例如圖5 所示。

    圖5 實驗結(jié)果示例Fig.5 Example of experimental results

    圖5 中第一列為測試時輸入的可見光圖像,第二列為真實的紅外參考樣本,后面依次排列的是不同方法的測試結(jié)果。從五類實例的生成效果來看,GLANet,CUT,CycleGAN 三種方法對于5 類實例的紅外特征生成均有明顯的錯誤,例如水泥建筑的結(jié)果對比中CycleGAN 未能正確生成樓房的紅外特征,GLANet 和CUT 對于車輛的紅外信息均生成錯誤。而DSMAP,UGATIT,VTIGAN 三種方法對于紅外特征均能正確的生成,但從圖像的逼真程度和清晰度來看VTIGAN 優(yōu)于DSMAP 和UGATIT。這些方法對于紅外圖像仿真均有一定的應用價值,但也存在一些共性的不足,從圖5 中可以看出交通車輛的紅外圖像中遠處行駛的兩輛車,由于目標較小,六種方法均未正確生成其紅外特征,甚至直接造成了信息的缺失??傊?,從主觀評價上來看,本文提出的VTIGAN 相比于其他方法生成圖像的紅外特征精確且清晰度和逼真度更優(yōu)。

    3.3 消融實驗

    本文聯(lián)合對抗損失、多層對比損失、風格相似性損失、同一性損失四種損失函數(shù)對網(wǎng)絡模型進行訓練。為驗證各個損失函數(shù)的有效性,本節(jié)采取消融實驗的方法測試多層對比損失、風格相似性損失、同一性損失對算法性能的影響。實驗結(jié)果如表5 所示,在本實驗中依次去除多層對比損失、風格相似性損失、同一性損失,并保留其他損失函數(shù)不變,從實驗結(jié)果可知去除任意一項損失函數(shù)均導致算法性能的下降。其中,多層對比損失和風格相似損失作為圖像遷移過程中的主要約束,去除后導致算法性能大幅下降,進一步驗證了本文算法的有效性。

    4 結(jié)論

    可見光圖像遷移生成紅外圖像具有重要的理論研究意義和實際應用價值。本文針對非成對數(shù)據(jù)條件下可見光圖像遷移生成紅外圖像的任務要求,提出了一種新穎的紅外圖像仿真算法VTIGAN。VTIGAN 以特征提取能力強大的transformer 架構為基礎構建了一種新的生成器,使用PathGAN 作為判別器對生成圖像進行更精細化的鑒別,并聯(lián)合對抗損失、多層對比損失、風格相似性損失、同一性損失四種損失函數(shù)對模型的訓練加以約束,確保紅外圖像高質(zhì)量的生成。在可見光-紅外數(shù)據(jù)集上進行實驗,與目前主流的圖像遷移算法相比VTIGAN 在客觀定量分析和主觀視覺評價兩方面均取得明顯優(yōu)勢,對于復雜場景下的抗干擾能力優(yōu)于基于循環(huán)一致性損失函數(shù)的方法,相比于CycleGAN 在PSNR,SSIM 和FID 三個指標上分別提升了20.6%,23.2%和40.8%,能夠生成清晰度更高、紅外特征更準確的紅外仿真圖像。在下一步的研究中將關注以下兩方面:(1)現(xiàn)有算法對于圖像中的小目標轉(zhuǎn)換效果不佳,下一步研究可加強模型對小目標紅外特征轉(zhuǎn)換的能力,以進一步提高紅外仿真圖像的使用價值;(2)可見光-紅外數(shù)據(jù)集的種類和數(shù)量仍然較少,下一步可從大型數(shù)據(jù)集制備的角度來提高模型性能。

    猜你喜歡
    紅外損失卷積
    網(wǎng)紅外賣
    少問一句,損失千金
    基于3D-Winograd的快速卷積算法設計及FPGA實現(xiàn)
    胖胖損失了多少元
    閃亮的中國紅外『芯』
    金橋(2021年4期)2021-05-21 08:19:20
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    TS系列紅外傳感器在嵌入式控制系統(tǒng)中的應用
    電子制作(2019年7期)2019-04-25 13:17:14
    玉米抽穗前倒伏怎么辦?怎么減少損失?
    基于傅里葉域卷積表示的目標跟蹤算法
    基于快速遞推模糊2-劃分熵圖割的紅外圖像分割
    在线观看免费视频日本深夜| 亚洲一区高清亚洲精品| 日日爽夜夜爽网站| 激情视频va一区二区三区| 亚洲国产毛片av蜜桃av| av在线天堂中文字幕| 一级作爱视频免费观看| 免费在线观看日本一区| 激情在线观看视频在线高清| 一级a爱片免费观看的视频| 久久久久久久午夜电影| 18禁黄网站禁片午夜丰满| 久久热在线av| 精品不卡国产一区二区三区| 丰满的人妻完整版| 久久精品国产亚洲av高清一级| 午夜老司机福利片| 免费在线观看日本一区| 日本免费一区二区三区高清不卡 | 黄色毛片三级朝国网站| 不卡一级毛片| 免费高清视频大片| 给我免费播放毛片高清在线观看| 久久人妻av系列| 午夜激情av网站| 亚洲第一av免费看| 狠狠狠狠99中文字幕| 日韩大码丰满熟妇| 精品第一国产精品| 色哟哟哟哟哟哟| 国产一卡二卡三卡精品| 亚洲五月婷婷丁香| 最新美女视频免费是黄的| 色老头精品视频在线观看| 亚洲美女黄片视频| 搡老妇女老女人老熟妇| 成熟少妇高潮喷水视频| 777久久人妻少妇嫩草av网站| 亚洲国产毛片av蜜桃av| 国产伦人伦偷精品视频| 午夜福利成人在线免费观看| 国产精品1区2区在线观看.| 国产在线观看jvid| 国产精品av久久久久免费| 可以在线观看的亚洲视频| 夜夜躁狠狠躁天天躁| 黑人巨大精品欧美一区二区mp4| 国产高清激情床上av| 两个人视频免费观看高清| 女人被狂操c到高潮| 91在线观看av| 自线自在国产av| 国产一区二区激情短视频| 亚洲人成电影观看| x7x7x7水蜜桃| 99国产精品99久久久久| 波多野结衣高清无吗| 黄色视频不卡| 国产麻豆69| 一区二区三区国产精品乱码| 亚洲自拍偷在线| 久久中文字幕一级| 欧美另类亚洲清纯唯美| 女同久久另类99精品国产91| 亚洲熟妇中文字幕五十中出| 亚洲成av人片免费观看| 成人精品一区二区免费| 亚洲国产精品999在线| 久久中文字幕人妻熟女| 可以在线观看的亚洲视频| 国产成人欧美在线观看| 久久热在线av| 久久香蕉精品热| 国产精品久久久久久精品电影 | www.精华液| 成年版毛片免费区| 日韩欧美一区二区三区在线观看| 给我免费播放毛片高清在线观看| 久久久久久久久中文| 韩国精品一区二区三区| 精品免费久久久久久久清纯| 日本三级黄在线观看| 777久久人妻少妇嫩草av网站| 日韩欧美一区视频在线观看| 又大又爽又粗| 可以在线观看毛片的网站| 老熟妇仑乱视频hdxx| 久久久国产精品麻豆| x7x7x7水蜜桃| 免费无遮挡裸体视频| 国产主播在线观看一区二区| 香蕉国产在线看| 精品国内亚洲2022精品成人| 久久久久亚洲av毛片大全| 国产精品av久久久久免费| 可以免费在线观看a视频的电影网站| 99国产精品一区二区三区| 99re在线观看精品视频| 一本久久中文字幕| 久久青草综合色| 日本免费一区二区三区高清不卡 | 欧美精品啪啪一区二区三区| 岛国视频午夜一区免费看| 后天国语完整版免费观看| 丁香六月欧美| 午夜福利欧美成人| 高清毛片免费观看视频网站| 精品久久久久久久人妻蜜臀av | 69精品国产乱码久久久| 国产亚洲精品一区二区www| 亚洲国产毛片av蜜桃av| 视频在线观看一区二区三区| 国产激情欧美一区二区| 午夜影院日韩av| 日本a在线网址| 免费久久久久久久精品成人欧美视频| 一二三四在线观看免费中文在| av视频免费观看在线观看| 嫁个100分男人电影在线观看| 精品久久久久久久久久免费视频| 久久久国产欧美日韩av| 日韩av在线大香蕉| 精品国产乱子伦一区二区三区| 成人av一区二区三区在线看| 久久人妻熟女aⅴ| 一卡2卡三卡四卡精品乱码亚洲| 午夜激情av网站| 亚洲,欧美精品.| 一级作爱视频免费观看| 亚洲专区字幕在线| 午夜福利欧美成人| 99香蕉大伊视频| 亚洲av成人一区二区三| 国产不卡一卡二| 日韩高清综合在线| 国产精品电影一区二区三区| 无遮挡黄片免费观看| 欧美日韩乱码在线| 亚洲在线自拍视频| 黑人巨大精品欧美一区二区蜜桃| 最近最新免费中文字幕在线| 中文字幕av电影在线播放| 亚洲精品在线观看二区| 电影成人av| 怎么达到女性高潮| 午夜福利欧美成人| 国产极品粉嫩免费观看在线| 757午夜福利合集在线观看| 久久婷婷人人爽人人干人人爱 | 亚洲自拍偷在线| 国产精品 国内视频| 亚洲欧美日韩高清在线视频| 亚洲欧美日韩无卡精品| 亚洲成av人片免费观看| 国产伦一二天堂av在线观看| 黄片小视频在线播放| 欧美日韩一级在线毛片| 国产精品电影一区二区三区| 国产一区在线观看成人免费| 久9热在线精品视频| 美国免费a级毛片| 午夜a级毛片| 青草久久国产| 亚洲自偷自拍图片 自拍| 日韩欧美一区视频在线观看| 日本vs欧美在线观看视频| 日韩精品中文字幕看吧| 国产黄a三级三级三级人| 欧美黄色淫秽网站| 动漫黄色视频在线观看| 午夜亚洲福利在线播放| 两个人看的免费小视频| 亚洲精品国产区一区二| 亚洲精品国产精品久久久不卡| 国产麻豆69| 中文字幕精品免费在线观看视频| 午夜免费成人在线视频| 久久香蕉精品热| 又黄又粗又硬又大视频| 精品少妇一区二区三区视频日本电影| 一区二区三区激情视频| 波多野结衣av一区二区av| 91精品三级在线观看| 99国产精品一区二区蜜桃av| 狂野欧美激情性xxxx| 麻豆一二三区av精品| 亚洲精品国产区一区二| 18禁国产床啪视频网站| 亚洲aⅴ乱码一区二区在线播放 | 亚洲国产欧美日韩在线播放| 亚洲成人国产一区在线观看| 69av精品久久久久久| 欧美丝袜亚洲另类 | 欧美丝袜亚洲另类 | 大码成人一级视频| 国产成人欧美| 两个人视频免费观看高清| 久久久久久久久免费视频了| 国产真人三级小视频在线观看| 久久九九热精品免费| 99久久99久久久精品蜜桃| 国产精品香港三级国产av潘金莲| 热99re8久久精品国产| 又黄又爽又免费观看的视频| 久久精品人人爽人人爽视色| 国产aⅴ精品一区二区三区波| www.自偷自拍.com| 亚洲五月天丁香| 国产成人免费无遮挡视频| 欧美在线黄色| 99久久国产精品久久久| 午夜两性在线视频| 国产伦人伦偷精品视频| 麻豆一二三区av精品| 日本 av在线| 国产麻豆成人av免费视频| 日韩精品中文字幕看吧| videosex国产| 黄片播放在线免费| 亚洲国产精品sss在线观看| 男人的好看免费观看在线视频 | 夜夜躁狠狠躁天天躁| 美女免费视频网站| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美日韩瑟瑟在线播放| 一个人免费在线观看的高清视频| 久久人人爽av亚洲精品天堂| 一级a爱片免费观看的视频| 波多野结衣一区麻豆| 久久久久国产精品人妻aⅴ院| 亚洲成人国产一区在线观看| 国产单亲对白刺激| 久久欧美精品欧美久久欧美| 69av精品久久久久久| 50天的宝宝边吃奶边哭怎么回事| 亚洲第一av免费看| 午夜精品在线福利| 欧美精品啪啪一区二区三区| 亚洲av日韩精品久久久久久密| 日本在线视频免费播放| 亚洲欧美日韩无卡精品| 国产熟女午夜一区二区三区| 又紧又爽又黄一区二区| 亚洲性夜色夜夜综合| 黑人欧美特级aaaaaa片| 亚洲国产毛片av蜜桃av| 欧美色欧美亚洲另类二区 | 国产麻豆成人av免费视频| 一级黄色大片毛片| 国产高清有码在线观看视频 | 日本一区二区免费在线视频| 午夜两性在线视频| 中亚洲国语对白在线视频| 久久精品国产综合久久久| 亚洲男人天堂网一区| 国产单亲对白刺激| 日韩免费av在线播放| 久久精品成人免费网站| 欧美国产精品va在线观看不卡| 99在线人妻在线中文字幕| 亚洲avbb在线观看| 久久欧美精品欧美久久欧美| 欧美日韩福利视频一区二区| 亚洲专区国产一区二区| 欧美成人性av电影在线观看| 成人永久免费在线观看视频| 视频区欧美日本亚洲| 国产精品一区二区在线不卡| 亚洲国产看品久久| 狂野欧美激情性xxxx| 精品电影一区二区在线| 香蕉国产在线看| 精品福利观看| 69av精品久久久久久| 9191精品国产免费久久| 国产精品日韩av在线免费观看 | 久久香蕉国产精品| 亚洲欧美日韩高清在线视频| 国产91精品成人一区二区三区| 久久久久国产一级毛片高清牌| 国产精品综合久久久久久久免费 | 日韩精品中文字幕看吧| 男女之事视频高清在线观看| 日日摸夜夜添夜夜添小说| 在线永久观看黄色视频| 亚洲avbb在线观看| 欧美在线黄色| 亚洲欧美精品综合久久99| 18禁观看日本| 欧美日韩福利视频一区二区| 免费在线观看影片大全网站| 在线观看免费日韩欧美大片| 欧美成人午夜精品| 最近最新免费中文字幕在线| 午夜激情av网站| 日韩欧美免费精品| 欧美日本视频| 国产精品精品国产色婷婷| 欧美成人午夜精品| 狠狠狠狠99中文字幕| 亚洲av成人一区二区三| 久久久水蜜桃国产精品网| 国产片内射在线| 精品国产一区二区三区四区第35| 久久久国产成人精品二区| 日本免费一区二区三区高清不卡 | 精品人妻1区二区| 一级作爱视频免费观看| 免费在线观看影片大全网站| 禁无遮挡网站| 777久久人妻少妇嫩草av网站| 制服丝袜大香蕉在线| 中文字幕高清在线视频| 在线天堂中文资源库| 国产aⅴ精品一区二区三区波| 国产精品香港三级国产av潘金莲| 一卡2卡三卡四卡精品乱码亚洲| 午夜影院日韩av| 无人区码免费观看不卡| 午夜福利高清视频| 国产精品美女特级片免费视频播放器 | 深夜精品福利| 国产日韩一区二区三区精品不卡| 欧美激情 高清一区二区三区| 一卡2卡三卡四卡精品乱码亚洲| 亚洲成人精品中文字幕电影| 少妇的丰满在线观看| 日本五十路高清| 欧美日韩福利视频一区二区| 精品电影一区二区在线| bbb黄色大片| 不卡一级毛片| 久久香蕉激情| 午夜视频精品福利| tocl精华| 老汉色∧v一级毛片| 高清毛片免费观看视频网站| 亚洲 欧美 日韩 在线 免费| 久久性视频一级片| 欧美日韩黄片免| 久久久久九九精品影院| 夜夜看夜夜爽夜夜摸| 老鸭窝网址在线观看| 亚洲国产精品合色在线| 啪啪无遮挡十八禁网站| 免费无遮挡裸体视频| 亚洲人成77777在线视频| 国产精品久久电影中文字幕| 人人妻人人澡欧美一区二区 | 99re在线观看精品视频| 欧美另类亚洲清纯唯美| 国产真人三级小视频在线观看| 亚洲人成电影观看| 美女国产高潮福利片在线看| 老鸭窝网址在线观看| netflix在线观看网站| 久热这里只有精品99| 国产成人欧美在线观看| 美女午夜性视频免费| 欧美中文日本在线观看视频| 美女免费视频网站| 亚洲国产中文字幕在线视频| 久热这里只有精品99| www.精华液| 在线观看免费视频网站a站| 亚洲欧美精品综合久久99| 搡老岳熟女国产| 国产成人欧美在线观看| av在线播放免费不卡| 精品日产1卡2卡| 亚洲国产毛片av蜜桃av| 中文字幕色久视频| 精品国产一区二区三区四区第35| 国产成人啪精品午夜网站| 国产精品香港三级国产av潘金莲| 多毛熟女@视频| 精品一品国产午夜福利视频| 国产高清videossex| 日本 av在线| 国产精品 欧美亚洲| 国产主播在线观看一区二区| 欧美大码av| 久久精品国产清高在天天线| 黄片播放在线免费| 久久香蕉国产精品| 91九色精品人成在线观看| 午夜福利免费观看在线| 美国免费a级毛片| 制服丝袜大香蕉在线| 日韩国内少妇激情av| 亚洲一码二码三码区别大吗| 欧美日韩精品网址| 十八禁人妻一区二区| 日本黄色视频三级网站网址| 在线观看日韩欧美| 日韩欧美国产一区二区入口| 国产亚洲欧美98| 久久国产乱子伦精品免费另类| 欧美中文日本在线观看视频| 亚洲精品久久成人aⅴ小说| 国产精品 欧美亚洲| 一进一出好大好爽视频| 欧美一级a爱片免费观看看 | 深夜精品福利| 91精品国产国语对白视频| 欧美日韩中文字幕国产精品一区二区三区 | 丝袜在线中文字幕| a级毛片在线看网站| 亚洲国产欧美网| 午夜免费观看网址| 午夜福利成人在线免费观看| 自线自在国产av| 两性夫妻黄色片| 又紧又爽又黄一区二区| 亚洲色图 男人天堂 中文字幕| 女人被躁到高潮嗷嗷叫费观| 国产麻豆69| 波多野结衣av一区二区av| 国产亚洲欧美精品永久| 午夜免费观看网址| 日日夜夜操网爽| 露出奶头的视频| 欧美乱码精品一区二区三区| 亚洲aⅴ乱码一区二区在线播放 | 欧美日韩瑟瑟在线播放| 在线观看午夜福利视频| 99久久久亚洲精品蜜臀av| 女警被强在线播放| 身体一侧抽搐| 一边摸一边抽搐一进一小说| 久久精品亚洲熟妇少妇任你| 亚洲性夜色夜夜综合| 一本大道久久a久久精品| 99国产精品一区二区蜜桃av| 亚洲三区欧美一区| 欧美日韩福利视频一区二区| 91成人精品电影| 久久久久国产一级毛片高清牌| 一区福利在线观看| 九色国产91popny在线| 变态另类丝袜制服| 国产伦一二天堂av在线观看| 一级,二级,三级黄色视频| 亚洲 欧美 日韩 在线 免费| 国产成人一区二区三区免费视频网站| 搡老岳熟女国产| svipshipincom国产片| 久久中文看片网| 国产激情欧美一区二区| 成人亚洲精品一区在线观看| 精品久久久精品久久久| 一个人观看的视频www高清免费观看 | 男女做爰动态图高潮gif福利片 | 亚洲激情在线av| 50天的宝宝边吃奶边哭怎么回事| 国产一区二区三区在线臀色熟女| 欧美国产精品va在线观看不卡| 麻豆av在线久日| 身体一侧抽搐| 亚洲免费av在线视频| 国产又色又爽无遮挡免费看| 人人澡人人妻人| 欧美日韩中文字幕国产精品一区二区三区 | 精品电影一区二区在线| 精品久久蜜臀av无| 免费av毛片视频| 窝窝影院91人妻| 欧美激情高清一区二区三区| 变态另类成人亚洲欧美熟女 | 国产野战对白在线观看| 丰满人妻熟妇乱又伦精品不卡| 91精品三级在线观看| 99久久99久久久精品蜜桃| 国产成人精品无人区| 国产视频一区二区在线看| 欧美乱码精品一区二区三区| 人成视频在线观看免费观看| 老汉色∧v一级毛片| 免费不卡黄色视频| 在线永久观看黄色视频| 免费一级毛片在线播放高清视频 | 亚洲三区欧美一区| 久久这里只有精品19| 美女免费视频网站| 黑人欧美特级aaaaaa片| 免费高清在线观看日韩| 免费无遮挡裸体视频| 真人一进一出gif抽搐免费| 男女午夜视频在线观看| 国产高清videossex| av有码第一页| 欧美日本视频| 日本免费a在线| 美国免费a级毛片| 久久人妻熟女aⅴ| 在线观看免费日韩欧美大片| 极品人妻少妇av视频| 欧美一区二区精品小视频在线| 免费观看人在逋| 欧美 亚洲 国产 日韩一| 国产不卡一卡二| 亚洲男人的天堂狠狠| 国产不卡一卡二| 国产97色在线日韩免费| www.自偷自拍.com| 久久这里只有精品19| 久久欧美精品欧美久久欧美| 女人精品久久久久毛片| 午夜福利18| 91麻豆av在线| 国产一区在线观看成人免费| 午夜老司机福利片| 国产亚洲精品第一综合不卡| 老司机午夜福利在线观看视频| 两个人免费观看高清视频| 欧美久久黑人一区二区| 国产精品九九99| 咕卡用的链子| 国产精品av久久久久免费| www日本在线高清视频| 亚洲国产欧美一区二区综合| 精品不卡国产一区二区三区| 国产av又大| 999久久久国产精品视频| 国产亚洲欧美98| 亚洲国产精品999在线| 欧美另类亚洲清纯唯美| av视频免费观看在线观看| 国产日韩一区二区三区精品不卡| 精品国产一区二区三区四区第35| 给我免费播放毛片高清在线观看| 午夜两性在线视频| 一区在线观看完整版| 午夜视频精品福利| 国产麻豆成人av免费视频| 亚洲精品在线观看二区| 久久久精品国产亚洲av高清涩受| 神马国产精品三级电影在线观看 | 女人爽到高潮嗷嗷叫在线视频| 香蕉丝袜av| 在线十欧美十亚洲十日本专区| 69av精品久久久久久| 九色亚洲精品在线播放| 午夜福利在线观看吧| 亚洲欧美日韩另类电影网站| a在线观看视频网站| 亚洲中文字幕一区二区三区有码在线看 | 欧美成人性av电影在线观看| 9热在线视频观看99| 在线观看午夜福利视频| 精品一区二区三区视频在线观看免费| 一区二区三区精品91| 麻豆久久精品国产亚洲av| 亚洲一卡2卡3卡4卡5卡精品中文| 日本免费一区二区三区高清不卡 | 欧美+亚洲+日韩+国产| 亚洲成a人片在线一区二区| 国产精品久久久av美女十八| 国产激情久久老熟女| 国产蜜桃级精品一区二区三区| 中文字幕久久专区| 免费人成视频x8x8入口观看| 成人国产一区最新在线观看| 正在播放国产对白刺激| 国内毛片毛片毛片毛片毛片| 动漫黄色视频在线观看| 99久久综合精品五月天人人| 国产一区二区激情短视频| 亚洲专区国产一区二区| 亚洲免费av在线视频| 天堂动漫精品| 9热在线视频观看99| 非洲黑人性xxxx精品又粗又长| 国产一卡二卡三卡精品| 99国产精品一区二区三区| 欧美日韩福利视频一区二区| 午夜福利一区二区在线看| 欧美乱码精品一区二区三区| 亚洲精华国产精华精| 日本五十路高清| 91老司机精品| 大型av网站在线播放| 嫩草影视91久久| 国产高清videossex| 日韩欧美免费精品| 成人av一区二区三区在线看| 欧美国产日韩亚洲一区| 亚洲性夜色夜夜综合| 亚洲精品中文字幕在线视频| 欧美日韩亚洲国产一区二区在线观看| 视频区欧美日本亚洲| 久热爱精品视频在线9| 在线av久久热| 国产一区二区三区综合在线观看| 国产精品一区二区精品视频观看| 桃色一区二区三区在线观看| 长腿黑丝高跟| 亚洲欧美精品综合一区二区三区| 亚洲欧美激情综合另类| 天堂动漫精品| 一二三四在线观看免费中文在| 亚洲一区高清亚洲精品| 亚洲精品粉嫩美女一区| 女同久久另类99精品国产91| e午夜精品久久久久久久| 亚洲精品美女久久av网站| 又紧又爽又黄一区二区| 老司机午夜福利在线观看视频| 国产亚洲欧美在线一区二区| 亚洲欧美日韩另类电影网站| 中出人妻视频一区二区| av有码第一页| 亚洲成人免费电影在线观看| 中出人妻视频一区二区| 亚洲精品国产精品久久久不卡|