基于生成對抗網(wǎng)絡(luò)的可見光圖像融合方法

吳永琢

青島酒店管理職業(yè)技術(shù)學(xué)院，山東青島 266100

0 引言

可見光圖像融合的研究目的在于解決從不同源或不同條件下捕獲的圖像之間的視覺差異，生成具有更高視覺質(zhì)量和更豐富信息的融合圖像。這種技術(shù)主要應(yīng)用于軍事、太空探索、公共安全、環(huán)境監(jiān)測等領(lǐng)域?？梢姽鈭D像融合所帶來的意義在于提高圖像的空間與時間分辨率，減少噪聲，增加對比度等，從而給人們提供更多、更準(zhǔn)確的信息，方便進(jìn)行持續(xù)監(jiān)測、環(huán)境分析以及做出決策。例如，可見光圖像融合應(yīng)用于軍事方面，可以幫助判斷敵方軍事目標(biāo)；應(yīng)用于太空探索，可以提供更清晰的星球和宇宙景象圖像；應(yīng)用于公共安全方面，可以幫助警方追蹤罪犯或走失者的行跡；應(yīng)用于環(huán)境監(jiān)測方面，可以幫助科學(xué)家更好地了解大氣污染、氣候變化等環(huán)境問題。

因此，可見光圖像融合的研究和應(yīng)用具有非常重要的實際意義，可以為人們提供更多、更準(zhǔn)確、更豐富的信息，方便人們做出決策和行動。為了進(jìn)行目標(biāo)識別和監(jiān)控以及視覺任務(wù)的應(yīng)用，需要采集可見光圖像。但是，可見光圖像容易受到外界因素的影響，因此需要通過紅外傳感器或孔徑雷達(dá)等工具進(jìn)行目標(biāo)檢測，將目標(biāo)信息和可見光圖像背景信息放置在一張圖像中。為了更好地融合這2 方面信息，需要研究有效的融合方法。許多人對這個問題進(jìn)行研究，并取得了多項研究成果。其中，周華兵等人[1]提出了一種基于語義分割的可見光圖像融合技術(shù)，通過語義分割算法，針對不同區(qū)域設(shè)計損失函數(shù)，對可見光圖像中的目標(biāo)區(qū)域進(jìn)行分割，區(qū)分出多種類型的提取區(qū)域，再對目標(biāo)和背景區(qū)域進(jìn)行融合。蔣一純等人[2]提出了一種基于圖像退化模型的可見光圖像融合方法，通過圖像退化模型，在不同的退化過程中獲取退化圖像，并對照高清數(shù)據(jù)集進(jìn)行訓(xùn)練，以實現(xiàn)可見光圖像的無干擾融合。

為保證可見光圖像的更好融合，本文采用生成對抗網(wǎng)絡(luò)技術(shù)作為研究前提。該技術(shù)不需要參考圖像特點，可以直接構(gòu)造不同的融合板塊，以此設(shè)計可見光圖像的融合方法，并且為融合圖像過程中的細(xì)節(jié)處理和抗干擾提供理論支持。

1 提取源圖像的預(yù)融合通路與采集路徑

可見光圖像通常具有較高的空間分辨率，可觀的細(xì)節(jié)和明暗度，因此，需提取源圖像的像素強度與紋理信息，且源圖像需由不同的傳感器獲取，因此具有不同的重要特征。為將源圖像的重要信息進(jìn)行有效融合，需要考慮2 組圖像之間的差異性[3]。為增強圖像的差異性特征，需提取源圖像信息預(yù)融合通路，提取源圖像的像素強度與紋理信息采集路徑如下：

其中，h為通路中的操作機制；gj為第j層的輸出結(jié)果；l(·)為突顯函數(shù)[4]；k為帶有強度與紋理信息的圖像；df為紋理參數(shù)。

2 設(shè)置生成網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)

本文的圖像融合過程是基于生成對抗網(wǎng)絡(luò)技術(shù)，并使用生成器和判別器優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。通過設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，構(gòu)建了無監(jiān)督學(xué)習(xí)模塊，以便判斷源圖像的具體采集路徑。判斷器和生成器主要是為了實現(xiàn)圖像高質(zhì)量融合，因此，以提取紋理信息和強度信息作為基礎(chǔ)，針對性地對源圖像進(jìn)行相似性約束和判斷。

以訓(xùn)練數(shù)據(jù)集合為基礎(chǔ)，采用生成器對源圖像進(jìn)行分析，在其包含的信息中進(jìn)行融合判斷，并依據(jù)判斷器獲取融合的基礎(chǔ)性特征[4-5]。在整個流程中生成器的作用較為重要，其能夠感知到源圖像中的亮度區(qū)域或者陰暗區(qū)域，以此區(qū)分可見光圖像與其他圖像的背景信息。對生成器的具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行設(shè)定，具體如表1 所示。

表1 生成器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

如表中內(nèi)容所示，z為卷積核的尺寸；x為移動步長；b、b"為原始和預(yù)處理后的可見光圖像；c1、c2為輸入和輸出通路數(shù)；m為亮度權(quán)重；l-relu為網(wǎng)絡(luò)結(jié)構(gòu)的激活函數(shù)；v為激活參數(shù)。通過對網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)設(shè)計，確定可見光圖像的特征變化范圍，以亮度為主要提取特征。

為了計算可見光圖像的亮度特征值，可以將圖像轉(zhuǎn)化為分量空間，對圖像中的亮度領(lǐng)域進(jìn)行格式轉(zhuǎn)化。在顏色空間中選擇某一個顏色通道，將其轉(zhuǎn)化為不同層級的圖像，并提取出圖像中的亮度特征，根據(jù)生成對抗網(wǎng)絡(luò)技術(shù)實現(xiàn)可見光圖像的融合。

3 可見光圖像融合方法設(shè)計

在獲取圖像特征和生成網(wǎng)絡(luò)參數(shù)的基礎(chǔ)上，提取圖像中的亮度特征，通過上文中設(shè)置的生成網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建無監(jiān)督學(xué)習(xí)模塊，判斷源圖像的具體融合路徑，方法如下：

對選擇的激活函數(shù)進(jìn)行泛化，將“relu”函數(shù)作為線性修正單元，可以對權(quán)重進(jìn)行更新，“l(fā)-relu”函數(shù)是由“relu”函數(shù)變形得來，主要對較小的圖像參數(shù)特征更新，具體為：

其中，λ為較小參數(shù)；Z為圖像數(shù)據(jù)，當(dāng)輸入的Z＞ 0 時，且其梯度不為0，則可通過“relu”函數(shù)進(jìn)行權(quán)重更新；若Z＜ 0 時，其梯度為0，則“relu”函數(shù)不能進(jìn)行權(quán)重更新，以此選擇“l(fā)-relu”函數(shù)進(jìn)行變形。

針對輸入的圖像數(shù)據(jù)Z，將其放置于對抗網(wǎng)絡(luò)中的中心區(qū)域，并對圖像中隱含的神經(jīng)元進(jìn)行排布，避免梯度的消失。在對抗網(wǎng)絡(luò)中分為平移和擴展，在2組參量的歸一化處理中，源圖像可近似于正態(tài)分布形式，以此增加圖像的網(wǎng)絡(luò)表達(dá)能力?；诖?，對可見光圖像進(jìn)行融合：

其中，B為融合結(jié)果；N、M為輸入圖像的寬、高；Z↓為輸入的可見光圖像；Z↑為另外一組圖像，可為紅外圖像或者熱成像圖像或者雷達(dá)圖像；為范數(shù)；? 為 梯度算子；? 為平衡參數(shù)。至此，本文基于生成對抗網(wǎng)絡(luò)完成可見光圖像的融合方法設(shè)計?？梢姽鈭D像融合結(jié)構(gòu)圖如圖1所示。

基于生成對抗網(wǎng)絡(luò)完成可見光圖像融合的部分偽代碼如下所示：

4 實驗測試分析

上文基于生成對抗網(wǎng)絡(luò)設(shè)計新的融合方法。為驗證該方法能夠應(yīng)用于可見光圖像融合中，采用對比測試方法進(jìn)行論證。分別選擇文獻(xiàn)[1]提出的基于語義分割的融合方法和文獻(xiàn)[2]提出的基于圖像退化模型的融合方法作為對照組，與本文模型進(jìn)行比較，驗證不同方法的有效性。

4.1 搭建測試環(huán)境

為保證測試的準(zhǔn)確性，以Windows 操作系統(tǒng)搭建測試環(huán)境，選擇PyCharm 和MATLAB 編程軟件進(jìn)行圖像訓(xùn)練學(xué)習(xí)的建模，并支持3 組融合方法的連接。

在搭建好的測試環(huán)境中選擇40 組不同場景的需要融合的數(shù)據(jù)，另一組傳感器獲取的圖像為紅外圖像，將所選取的圖像設(shè)置為統(tǒng)一的尺寸大小，將所有的圖像輸入至測試平臺中，設(shè)置測試參數(shù)，并對其具體含義進(jìn)行說明，如表2 所示。

表2 測試參數(shù)設(shè)定

根據(jù)表2 內(nèi)容所示，在測試前先將圖像放置在模型中進(jìn)行訓(xùn)練，使其尺寸達(dá)到設(shè)定要求，當(dāng)隨機選擇的圖像能夠具有融合特征后，再將其進(jìn)行數(shù)據(jù)擴增，選擇出待融合的測試圖像組。以訓(xùn)練完成的圖像數(shù)據(jù)集合作為測試對象，設(shè)定此次不同方法融合效果的評價指標(biāo)，對比不同方法的融合效果。

4.2 設(shè)定評價指標(biāo)

選擇客觀評價指標(biāo)進(jìn)行后續(xù)的融合評定，對融合圖像的本身質(zhì)量評價選擇信息熵指標(biāo)，在融合圖像與源圖像的關(guān)聯(lián)性評價中選擇差異相關(guān)和作為指標(biāo)，信息熵值越大，說明包含的平均信息量越多，圖像融合的質(zhì)量越高。差異相關(guān)和反映圖像之間的信息互補性，指標(biāo)越大，說明融合效果越好。

4.3 不同方法的融合效果對比

此次選擇的測試集合中包含長波紅外圖像、短波紅外圖像以及熱成像儀圖像，將這3 種類型圖像與可見光圖像進(jìn)行融合，圖像中的場景包含人物、建筑和樹木3 個內(nèi)容。由于傳統(tǒng)方法的融合過程為已知狀態(tài)，直接展示本文方法融合后的圖像，以“熱成像儀圖像和可見光圖像”融合為例，結(jié)果如圖2 所示。

如圖2 所示，此次以熱成像儀圖像和可見光圖像為例，在本文方法應(yīng)用下能夠進(jìn)行有效融合，為具體驗證不同類型圖像的融合效果，依次對其他類型圖像進(jìn)行融合，并將結(jié)果傳至測試平臺，通過指標(biāo)進(jìn)行評價。

首先比較信息熵指標(biāo)的評分，結(jié)果如圖3 所示。

由圖3 可知，在本文方法應(yīng)用下，長波紅外圖像、短波紅外圖像、熱成像儀圖像與可見光圖像融合，均可以獲取較高的信息熵，說明融合后的平均信息量包含較大，具有較高的圖像質(zhì)量，而2 組傳統(tǒng)方法在熱成像儀圖像與可見光圖像的融合后，獲取的信息熵值較低，且其余2 組融合的信息熵值也比本文方法低，綜合說明本文方法更加有效。

另外，比較圖像融合后的差異相關(guān)和指標(biāo)，結(jié)果如圖4 所示。在本文方法應(yīng)用下，融合后的圖像差異相關(guān)和最高，長波紅外圖像、短波紅外圖像、熱成像儀圖像均可以取得較大的差異相關(guān)和值，相比傳統(tǒng)方法，具有一定的融合優(yōu)勢，說明可以應(yīng)用在可見光的圖像融合中。

5 結(jié)束語

本文通過生成對抗網(wǎng)絡(luò)技術(shù)設(shè)計新的可見光圖像融合方法，并通過實驗測試論證新方法具有有效性，能夠改善傳統(tǒng)方法的不足之處，具有一定的應(yīng)用價值。但研究過程中仍存在不足之處，如在可見光的融合測試過程中沒有采用真實的圖像進(jìn)行分析，在實際應(yīng)用中可能會出現(xiàn)一定的偏差，需要在后續(xù)的研究中選擇不同類型的真實圖像進(jìn)行驗證，為可見光圖像的融合提供理論支持，保證圖像細(xì)節(jié)的提取和應(yīng)用。