基于深度引導(dǎo)與自學(xué)習(xí)的高動(dòng)態(tài)成像算法

張俊超 楊飛帆② 時(shí) 偉* 陳濺來 趙黨軍 楊德貴

①(中南大學(xué)航空航天學(xué)院 長(zhǎng)沙 410083)

②(北京航空航天大學(xué)前沿科學(xué)技術(shù)創(chuàng)新研究院 北京 100191)

1 引言

自然場(chǎng)景亮度的變化范圍可達(dá)8～10個(gè)數(shù)量級(jí)，而普通數(shù)碼相機(jī)能捕獲的動(dòng)態(tài)范圍一般為2～3個(gè)數(shù)量級(jí)[1]，導(dǎo)致成像設(shè)備無法準(zhǔn)確呈現(xiàn)真實(shí)場(chǎng)景的全部信息，由此，高動(dòng)態(tài)成像技術(shù)應(yīng)運(yùn)而生。高動(dòng)態(tài)成像技術(shù)使得圖像更加準(zhǔn)確地記錄和展示真實(shí)場(chǎng)景，在視頻監(jiān)控[2]、醫(yī)療診斷[3]和軍事偵察[4]等領(lǐng)域有著廣闊的應(yīng)用前景。

多曝光圖像融合是當(dāng)前高動(dòng)態(tài)場(chǎng)景成像的主流方法，通過控制相機(jī)的曝光時(shí)間，在不改變硬件的條件下對(duì)同一場(chǎng)景多次曝光，獲得不同曝光度的圖像[5]。然后，基于不同曝光度圖像間互補(bǔ)和冗余信息，利用圖像融合技術(shù)在單張圖像上準(zhǔn)確表征高動(dòng)態(tài)場(chǎng)景。Shen等人[6]提出了基于隨機(jī)游走理論的線性系統(tǒng)，將局部對(duì)比度和色彩一致性作為變量，求得系統(tǒng)的穩(wěn)定點(diǎn)作為權(quán)值，得到了較好的融合效果。Hou等人[7]提出了基于引導(dǎo)濾波的權(quán)值更新策略，該方法能在權(quán)值圖中保留更多的場(chǎng)景細(xì)節(jié)。Lee等人[8]提出了基于相對(duì)像素強(qiáng)度和全局梯度的多曝光圖像融合方法，通過設(shè)計(jì)反映整體亮度和全局梯度的權(quán)重函數(shù)，提升融合結(jié)果?；诮Y(jié)構(gòu)塊分解的方法[9]為多曝光圖像融合提供了新的思路，圖像塊被分解為信號(hào)強(qiáng)度、信號(hào)結(jié)構(gòu)和平均光強(qiáng)，通過分別融合再重構(gòu)的方式獲得細(xì)節(jié)豐富的融合圖像。傳統(tǒng)的多曝光圖像融合結(jié)果受權(quán)值更新策略的影響極大，經(jīng)驗(yàn)式地設(shè)計(jì)融合策略，導(dǎo)致算法的魯棒性較差[10]。

近些年來，深度學(xué)習(xí)已被成功應(yīng)用于圖像融合任務(wù)中，包括紅外與可見光圖像融合[11-13]、多聚焦圖像融合[14,15]、偏振圖像融合[16,17]和多曝光圖像融合[18-23]等。Cai等人[18]提出了一種基于有監(jiān)督學(xué)習(xí)的多曝光圖像融合網(wǎng)絡(luò)，其中真實(shí)的融合圖像是從13種傳統(tǒng)算法融合結(jié)果中擇優(yōu)獲得的。Prabhakar等人[19]首次提出了一種無監(jiān)督的多曝光圖像融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過約束融合圖像和多曝光圖像間的結(jié)構(gòu)相似度，并以自動(dòng)編碼器的結(jié)構(gòu)進(jìn)行非監(jiān)督學(xué)習(xí)。該損失函數(shù)未考慮曝光程度對(duì)結(jié)構(gòu)相似度(Structural SIMilarity, SSIM)的影響，導(dǎo)致不同曝光區(qū)域出現(xiàn)不自然的邊緣[10]。因此，Jung等人[20]將圖像塊的結(jié)構(gòu)張量信息集成到損失函數(shù)中，并將多曝光圖像的平均圖像作為假定圖像，指導(dǎo)融合網(wǎng)絡(luò)的訓(xùn)練。Xu等人[21]提出了一種非監(jiān)督的圖像融合網(wǎng)絡(luò)框架，該框架可以解決多種圖像融合的問題，在損失函數(shù)設(shè)計(jì)中引入了感知損失和結(jié)構(gòu)相似度度量。此外，基于生成對(duì)抗學(xué)習(xí)的多曝光圖像融合網(wǎng)絡(luò)[22](Multi-Exposure image Fusion based on Generative Adversarial Network, MEF-GAN)被提出，其中生成子網(wǎng)絡(luò)用于輸出融合圖像；判別子網(wǎng)絡(luò)用于判別融合圖像與真實(shí)圖像的相似度，并以對(duì)抗學(xué)習(xí)的方式指導(dǎo)生成子網(wǎng)絡(luò)的訓(xùn)練，使得融合圖像接近真實(shí)圖像。雖然這些多曝光圖像融合網(wǎng)絡(luò)[18-22]在融合兩張圖像時(shí)獲得了較傳統(tǒng)算法更好的結(jié)果，可是多張曝光圖像的融合結(jié)果依賴兩兩融合的順序，導(dǎo)致這些網(wǎng)絡(luò)在處理多曝光圖像融合方面存在不足。為此，Ma等人[23]提出了基于深度引導(dǎo)學(xué)習(xí)的多曝光圖像融合網(wǎng)絡(luò)(Multi-Exposure image Fusion Network, MEF-Net)，并基于多曝光圖像融合的結(jié)構(gòu)相似度(MEF-SSIM)損失函數(shù)進(jìn)行學(xué)習(xí)。該MEF-Net網(wǎng)絡(luò)可以接受任意空間分辨率和任意數(shù)量的曝光圖像序列的融合，輸出加權(quán)融合的系數(shù)，并通過引導(dǎo)濾波進(jìn)一步優(yōu)化融合結(jié)果。MEF-Net[23]網(wǎng)絡(luò)在處理多曝光圖像融合方面已經(jīng)獲得了較好的結(jié)果，可是在兩張極度曝光情況下，圖像融合效果較差，出現(xiàn)了明顯的光暈現(xiàn)象。近年來，面向運(yùn)動(dòng)場(chǎng)景的多曝光圖像融合和基于單幀圖像的高動(dòng)態(tài)成像問題也引起了越來越多的關(guān)注。Yan等人[24]提出了一種基于注意機(jī)制引導(dǎo)的端到端多曝光圖像融合網(wǎng)絡(luò)，其中，注意機(jī)制用于抑制非對(duì)準(zhǔn)區(qū)域，并增強(qiáng)對(duì)準(zhǔn)區(qū)域的融合。之后，Liu等人[25]對(duì)該工作進(jìn)行了改進(jìn)，提出了一種基于注意機(jī)制引導(dǎo)的可變形深度融合網(wǎng)絡(luò)，融合效果得到了提升。Sharif等人[26]提出了一種兩步法的深度神經(jīng)網(wǎng)絡(luò)，基于單幀低動(dòng)態(tài)范圍的圖像重構(gòu)高動(dòng)態(tài)場(chǎng)景。

本文的研究工作是面向靜態(tài)場(chǎng)景的多曝光圖像融合，針對(duì)上述問題，本文提出一種基于深度引導(dǎo)與自學(xué)習(xí)的多曝光圖像融合算法。該網(wǎng)絡(luò)以任意數(shù)量的不同曝光度圖像作為輸入，并采用引導(dǎo)濾波深度引導(dǎo)網(wǎng)絡(luò)輸出加權(quán)融合系數(shù)。為了實(shí)現(xiàn)非監(jiān)督學(xué)習(xí)，在損失函數(shù)設(shè)計(jì)方面，本文通過引入強(qiáng)度保真約束項(xiàng)和加權(quán)的多曝光圖像融合結(jié)構(gòu)相似性度量項(xiàng)，提升融合質(zhì)量。此外，本文采用一種自學(xué)習(xí)的策略，用于減弱兩幅極度曝光圖像融合產(chǎn)生的光暈現(xiàn)象。本自學(xué)習(xí)策略是在不改變網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的前提下，對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重(基于多曝光圖像訓(xùn)練獲得)進(jìn)行再學(xué)習(xí)和優(yōu)化。實(shí)驗(yàn)結(jié)果表明，本文所提算法在定量指標(biāo)和視覺融合效果方面均優(yōu)于現(xiàn)有主流算法。本文的主要貢獻(xiàn)總結(jié)如下：(1)在損失函數(shù)設(shè)計(jì)方面，本文提出強(qiáng)度保真約束項(xiàng)和加權(quán)的多曝光圖像融合結(jié)構(gòu)相似性度量項(xiàng)，通過多曝光實(shí)驗(yàn)驗(yàn)證了其有效性。(2)本文提出一種自學(xué)習(xí)的策略，面向兩幅極度曝光圖像融合問題，基于本文所提非監(jiān)督的損失函數(shù)，以自學(xué)習(xí)的方式優(yōu)化預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)重，減弱光暈現(xiàn)象。

2 基于深度引導(dǎo)與自學(xué)習(xí)的多曝光圖像融合算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)

圖2 CAN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 損失函數(shù)的設(shè)計(jì)

加權(quán)的MEF-SSIM項(xiàng)：在MEF-SSIM指標(biāo)[28]的

2.3 自學(xué)習(xí)

為了提升兩幅極度曝光情況下的圖像融合質(zhì)量，本文采用自學(xué)習(xí)的方式，對(duì)預(yù)訓(xùn)練好的模型進(jìn)行參數(shù)微調(diào)，以減弱或消除光暈現(xiàn)象。自學(xué)習(xí)過程如圖3所示：首先，基于本文所提網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)，采用多曝光圖像(多于兩幅)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得最佳的權(quán)重參數(shù)。然后，面向兩幅極度曝光圖像的融合，將學(xué)習(xí)到的最佳權(quán)重參數(shù)作為網(wǎng)絡(luò)權(quán)重的初始值，不改變網(wǎng)絡(luò)的結(jié)構(gòu)和損失函數(shù)，基于當(dāng)前兩幅極度曝光的測(cè)試圖像，對(duì)網(wǎng)絡(luò)進(jìn)行再學(xué)習(xí)和優(yōu)化，非監(jiān)督地自學(xué)習(xí)得到適用于當(dāng)前融合圖像的最佳參數(shù)。

圖3 自學(xué)習(xí)過程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

為了訓(xùn)練和測(cè)試所提出的網(wǎng)絡(luò)，本文采用了公開發(fā)表的數(shù)據(jù)集1)https://github.com/hangxiaotian/Perceptual-Multi-exposure-Image-Fusion，其中，訓(xùn)練集包含90組多曝光的圖像(曝光次數(shù)大于2)，測(cè)試集中包含15組多曝光的圖像和50組兩曝光(極度曝光)的圖像。本文的網(wǎng)絡(luò)是基于Pytorch框架編程實(shí)現(xiàn)的，優(yōu)化器為Adam，初始學(xué)習(xí)率為10-4，最大迭代次數(shù)為500，自學(xué)習(xí)階段的最大迭代次數(shù)為100。為了驗(yàn)證本文所提方法的有效性，在多曝光圖像融合實(shí)驗(yàn)中，與目前主流的算法Shen11[6], Hou16[7], Lee18[8],Li20[9]和MEF-Net[23]進(jìn)行對(duì)比；在兩曝光圖像融合實(shí)驗(yàn)中，還增加了基于深度學(xué)習(xí)的方法：Jung20[20]、Xu22[21]和MEF-GAN[22]。由于Jung20[20], Xu22[21]和MEF-GAN[22]方法在處理多曝光圖像融合時(shí)，融合結(jié)果依賴圖像融合的順序，為了公平對(duì)比，這3種方法只作為兩張圖像融合實(shí)驗(yàn)的比較。另外，這些對(duì)比算法的代碼均由原作者提供，深度學(xué)習(xí)方法的實(shí)驗(yàn)結(jié)果是基于原作者提供的網(wǎng)絡(luò)權(quán)重獲得的。在客觀對(duì)比方面，采用了當(dāng)前多曝光圖像融合領(lǐng)域常用的評(píng)價(jià)指標(biāo)：MEF-SSIM[28]，它是一種無需參考圖像的評(píng)價(jià)指標(biāo)，用來評(píng)估融合的圖像和多曝光圖像間的相似度，相似度越高，MEF-SSIM的值越接近于1。此外，針對(duì)彩色圖像融合，本文同現(xiàn)有算法[20-23]的處理方式一致：首先，將RGB圖像轉(zhuǎn)換到Y(jié)CbCr空間；其次，基于本文算法對(duì)Y通道進(jìn)行融合，并采用文獻(xiàn)[20]中的方式對(duì)Cb和Cr通道進(jìn)行融合，公式表達(dá)為

其中， CbY表示融合圖像的Cb通道，C bk表示第k張曝光圖像的Cb通道，τ=128，表示8位圖像的灰度中值。Cr通道可以以同樣的方式融合。最后再將融合圖像的YCbCr通道轉(zhuǎn)換到RGB空間，得到最終的融合圖像。

3.2 多曝光圖像融合實(shí)驗(yàn)

多曝光圖像融合的實(shí)驗(yàn)結(jié)果如圖4所示：第1行代表9張曝光圖像序列，第2行和第3行表示融合的圖像。從實(shí)驗(yàn)結(jié)果可以看出，現(xiàn)有的主流算法均獲得了不錯(cuò)的融合效果。然而，Lee18[8]算法融合結(jié)果出現(xiàn)了局部過曝的現(xiàn)象，如圖4(d)紅色矩形所框區(qū)域所示。Li20[9]算法融合結(jié)果丟失了部分信息，如圖4(e)藍(lán)色矩形所框的黑板區(qū)域。Shen11[6]和Hou16[7]作為傳統(tǒng)算法取得了和基于深度學(xué)習(xí)的算法MEFNet[23]等同的融合效果。通過和這些算法對(duì)比，如圖4黃色矩形所框區(qū)域，在地面紋理和花盆色彩保留等方面，本文所提方法均取得了更好的融合效果。通過與MEF-Net[23]的結(jié)果對(duì)比，表明本文所提損失函數(shù)能有效提升多曝光圖像融合的質(zhì)量，其中強(qiáng)度保真約束項(xiàng)，將融合圖像引導(dǎo)嵌入到更加自然的色彩中，保護(hù)色彩和紋理信息。

圖4 多曝光圖像融合實(shí)驗(yàn)結(jié)果

多曝光圖像融合實(shí)驗(yàn)的定量對(duì)比結(jié)果如圖5所示，圖中展示了15組多曝光圖像融合的MEF-SSIM結(jié)果。從圖中可以看出，所有算法均取得了較高的MEF-SSIM值，在傳統(tǒng)方法中，Li20[9]方法獲得了更高的結(jié)構(gòu)相似度。與基于深度學(xué)習(xí)的方法MEFNet[23]比較，在大多數(shù)場(chǎng)景中本文所提算法取得了更高的MEF-SSIM值，從客觀評(píng)價(jià)指標(biāo)方面證明了本文方法的先進(jìn)性。

圖5 不同算法多曝光圖像融合的MEF-SSIM結(jié)果

3.3 兩幅極度曝光圖像融合實(shí)驗(yàn)

本節(jié)只展示了兩幅極度曝光下的圖像融合結(jié)果，實(shí)驗(yàn)結(jié)果如圖6和圖7所示，其中圖6(a)為2張曝光圖像(Chapel)序列：欠曝光圖像和過曝光圖像；圖6(b)-圖6(k)為不同算法的融合結(jié)果。Shen11[6],Lee18[8]和Li20[9]算法均產(chǎn)生了局部過曝的融合結(jié)果，Hou16[7]作為傳統(tǒng)算法減弱了光暈現(xiàn)象，獲得了更好的融合效果。Jung20[20], Xu22[21], MEF-GAN[22]和MEF-Net[23]算法是基于深度學(xué)習(xí)的方法，Jung20[20]在處理極度曝光圖像融合時(shí)產(chǎn)生了明顯的不足，這是由損失函數(shù)中的均值引導(dǎo)圖導(dǎo)致的。Xu22[21]算法產(chǎn)生了整體霧化的現(xiàn)象，MEF-GAN[22]算法減弱了霧化現(xiàn)象，但產(chǎn)生了色彩不自然的融合結(jié)果。MEF-Net[23]算法在柵格區(qū)域產(chǎn)生了明顯的光暈現(xiàn)象。本文方法和結(jié)合自學(xué)習(xí)策略的結(jié)果分別顯示在圖6(j)和圖6(k)中，本文方法在處理極度曝光圖像融合時(shí)也產(chǎn)生了光暈現(xiàn)象，這是由于本文所提出的網(wǎng)絡(luò)是基于多曝光圖像集進(jìn)行訓(xùn)練，訓(xùn)練集中未包含兩幅極度曝光情況下的圖像。本文提出一種更實(shí)用的策略：自學(xué)習(xí)，不是在訓(xùn)練集中增加極度曝光的圖像對(duì)來減弱光暈現(xiàn)象，該策略不需要修改訓(xùn)練數(shù)據(jù)集，以自學(xué)習(xí)的方式優(yōu)化網(wǎng)絡(luò)權(quán)重，提升新數(shù)據(jù)的融合效果。從實(shí)驗(yàn)結(jié)果可以看出，自學(xué)習(xí)策略可以有效減弱光暈現(xiàn)象，提升融合質(zhì)量，如圖6中柵格區(qū)域和白色矩形區(qū)域(色板的放大顯示)。圖7(a)為2張曝光圖像(Desk)序列：欠曝光圖像和過曝光圖像；圖7(b)-圖7(k)為不同算法的融合結(jié)果。Shen11[6], Hou16[7]和Lee18[8]算法在臺(tái)燈區(qū)域均產(chǎn)生了黑色陰影的融合結(jié)果。Jung20[20]和Xu22[21]算法在臺(tái)燈區(qū)域獲得了較好的融合效果，但在門的區(qū)域產(chǎn)生了不自然的融合色彩。MEF-GAN[22]網(wǎng)絡(luò)產(chǎn)生了局部過曝的融合結(jié)果，如圖7(h)所示。與MEF-Net[23]的融合結(jié)果對(duì)比，本文算法在臺(tái)燈區(qū)域也產(chǎn)生了黑色陰影，基于自學(xué)習(xí)再優(yōu)化后，融合的結(jié)果如圖7(k)所示，消除了黑色陰影，融合質(zhì)量得到了提升。

圖6 兩曝光圖像(Chapel)融合實(shí)驗(yàn)結(jié)果

圖7 兩曝光圖像(Desk)融合實(shí)驗(yàn)結(jié)果

兩曝光圖像融合實(shí)驗(yàn)的定量對(duì)比結(jié)果如圖8所示，其中展示了50組兩曝光圖像融合的MEF-SSIM結(jié)果。從中可以看出，在傳統(tǒng)方法中，Li20[9]方法獲得了更高的結(jié)構(gòu)相似度。在基于深度學(xué)習(xí)的算法中，Jung20[20], Xu22[21]和MEF-GAN[22]算法的MEF-SSIM值較低，且MEF-GAN[22]網(wǎng)絡(luò)在有些場(chǎng)景獲得了極低的MEF-SSIM值，這與視覺效果一致。本文所提方法在大多數(shù)場(chǎng)景獲得了最高的MEFSSIM值，如圖8紅色實(shí)心線所示，證明了本文所提損失函數(shù)和自學(xué)習(xí)策略能有效提升融合質(zhì)量。

圖8 不同算法兩曝光圖像融合的MEF-SSIM結(jié)果

3.4 參數(shù)τ c 對(duì)極度曝光情況的影響

針對(duì)兩曝光圖像融合問題，損失函數(shù)中強(qiáng)度保真約束項(xiàng)占據(jù)主導(dǎo)，引導(dǎo)圖的好壞直接影響融合圖像色彩的質(zhì)量，而引導(dǎo)圖的質(zhì)量在本算法中受制于參數(shù)τc的 選取。因此，在本節(jié)分析參數(shù)τc的變化對(duì)融合質(zhì)量的影響。如圖9所示，隨著參數(shù)τc值的增大，融合圖像的亮度也相應(yīng)地增大。當(dāng)τc取76.8～128時(shí)，融合效果最佳；當(dāng)τc取153.6時(shí)，融合圖像中燈泡的細(xì)節(jié)信息丟失；當(dāng)τc取179.2～204.8時(shí)，融合效果又得到了提升。如圖10所示，對(duì)于該場(chǎng)景(Room)來說，當(dāng)τc取128～153.6時(shí)，融合效果達(dá)到了最佳，保留了暖氣片的色彩信息和窗外的風(fēng)景。根據(jù)式(4)可知，引導(dǎo)圖中的權(quán)重是由每一幅圖像的全局均值μk與τc之間的距離所決定的。源圖像的全局均值μk與τc之間的距離越近，該源圖像在引導(dǎo)圖的貢獻(xiàn)就越大。當(dāng)τc的取值逐漸增加時(shí)，過曝光圖像的全局均值μk與τc之間的距離不斷減小，因此引導(dǎo)圖中包含過曝光的信息就越多；當(dāng)τc的取值大于過曝光圖像的全局均值后，隨著τc的繼續(xù)增加，過曝光圖像的權(quán)重又不斷減小。因此，參數(shù)τc對(duì)融合結(jié)果的影響較大，不同曝光圖像的最佳參數(shù)τc也 是不同的，在本文所有的實(shí)驗(yàn)中，τc都簡(jiǎn)單地設(shè)為128，對(duì)不同的場(chǎng)景未達(dá)到最優(yōu)的結(jié)果，以后工作將設(shè)計(jì)一種自適應(yīng)的策略，學(xué)習(xí)得到最優(yōu)的參數(shù)τc。

圖9 不同參數(shù)下的融合結(jié)果(Desk)

圖10 不同參數(shù)下的融合結(jié)果(Room)

4 結(jié)束語

本文提出基于深度引導(dǎo)與自學(xué)習(xí)的多曝光圖像融合算法，并設(shè)計(jì)了專門的損失函數(shù)。其中，強(qiáng)度保真項(xiàng)約束用于引導(dǎo)融合圖像嵌入源圖像的色彩信息；基于光強(qiáng)變化，引入了加權(quán)的MEF-SSIM，用于自適應(yīng)調(diào)整不同約束項(xiàng)的權(quán)重。此外，本文采用一種自學(xué)習(xí)的學(xué)習(xí)策略，提升兩幅極度曝光圖像融合的質(zhì)量。本文通過多曝光和兩幅極度曝光圖像融合的對(duì)比實(shí)驗(yàn)，證實(shí)了本文算法在融合效果和定量指標(biāo)方面均優(yōu)于現(xiàn)有主流算法。此外，本文所提自學(xué)習(xí)策略可以應(yīng)用于其他網(wǎng)絡(luò)，用于非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的再優(yōu)化。本文算法涉及的τc參數(shù)，會(huì)直接影響極度曝光情況的融合效果，最佳τc值的選擇將是未來的研究方向。