基于多尺度特征校準(zhǔn)的圖像協(xié)調(diào)化方法

高陳強(qiáng) 謝承娟 楊 烽 趙 悅 李鵬程

(重慶郵電大學(xué)通信與信息工程學(xué)院 重慶 400065)

(信號與信息處理重慶市重點實驗室 重慶 400065)

1 引言

圖像組合是把一幅圖像的“興趣內(nèi)容”復(fù)制到另外一幅圖像的指定區(qū)域，從而合成一幅新的圖像。隨著移動智能終端，移動互聯(lián)網(wǎng)各種應(yīng)用的發(fā)展，這一需求越來越明顯。特別是，在機(jī)器學(xué)習(xí)領(lǐng)域，通過圖像組合，可以低成本地產(chǎn)生大量帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，用于機(jī)器學(xué)習(xí)模型訓(xùn)練，從而減少人工標(biāo)注。

通常情況下，用于圖像組合的兩幅圖像存在成像差異，即復(fù)制的“興趣內(nèi)容”(前景區(qū)域)與嵌入的圖像(背景區(qū)域)存在較大顏色、亮度等差異，這使得組合圖像在視覺上不協(xié)調(diào)。因此，圖像協(xié)調(diào)化是圖像組合中必須且極其重要的一個環(huán)節(jié)，其目的是對編輯后的組合圖像實現(xiàn)視覺一致性，即調(diào)整前景區(qū)域的外觀使其和新的背景一致，從而讓整幅圖像在視覺上更加真實。

對于圖像協(xié)調(diào)化任務(wù)，導(dǎo)致組合圖像看起來不真實的主要原因是前景區(qū)域和背景區(qū)域的拍攝條件(例如，天氣、季節(jié)、一天的時間)不同，從而使得前景和背景的顏色、光照等外觀特征存在明顯差異。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network, DCNN)因其強(qiáng)大的學(xué)習(xí)能力被廣泛應(yīng)用于各種計算機(jī)視覺任務(wù)，也有一些網(wǎng)絡(luò)模型被設(shè)計用于解決圖像協(xié)調(diào)化任務(wù)。一些方法利用額外的輔助網(wǎng)絡(luò)提供語義信息，然后通過一個編解碼網(wǎng)絡(luò)輸出協(xié)調(diào)化圖像[1,2]。另一些方法基于組合圖像前景與背景存在外觀差異的特性，分別學(xué)習(xí)前景和背景特征，然后采用對抗訓(xùn)練的方式實現(xiàn)圖像協(xié)調(diào)化[3,4]。這些方法都沒有考慮相同拍攝條件下圖像局部的亮度變化，使得圖像整體的光照不協(xié)調(diào)。

對于相同條件下拍攝的自然圖像，通常具有如下光照特性：不同局部區(qū)域的亮度、色度等特性由于入射光的投射角度以及不同物體的反射系數(shù)等因素的影響存在差異，但是亮度和色度的變化是連續(xù)的，相鄰區(qū)域的亮度和色度差異微小。

基于以上分析，受Inception[5]和SKNet[6]中多尺度感受野的并行多分支結(jié)構(gòu)的啟發(fā)，本文設(shè)計了一個新的編解碼網(wǎng)絡(luò)實現(xiàn)圖像協(xié)調(diào)化任務(wù)。首先，本文提出一個多尺度特征校準(zhǔn)模塊(Multi-scale Feature Calibration Module, MFCM)用于學(xué)習(xí)不同尺度的感受野之間細(xì)微的特征差異。然后，基于MFCM本文設(shè)計了一個編碼器學(xué)習(xí)組合圖像中前景與背景的外觀差異和局部光照強(qiáng)度變化。最后通過解碼器重構(gòu)出協(xié)調(diào)化圖像。具體地，MFCM首先利用多個不同尺度的卷積核對輸入特征圖多次提取特征，這相當(dāng)于用多個具有互補(bǔ)感受野的濾波器探測原始圖像，從而在多尺度上捕捉前景目標(biāo)以及有用的上下文信息。由于不同組合圖像前景目標(biāo)尺度以及拍攝條件存在差異，為了充分有效地利用以不同感受野提取的特征信息，MFCM進(jìn)一步通過一個通道注意力門自適應(yīng)地對所有特征校準(zhǔn)。

本文在iHarmony4數(shù)據(jù)集[4]上對所提方法進(jìn)行了評估，實驗結(jié)果表明本文方法能同時學(xué)習(xí)到組合圖像前景與背景的外觀差異和局部的光照強(qiáng)度變化，有助于圖像協(xié)調(diào)化任務(wù)。與現(xiàn)有方法相比，本文方法能達(dá)到更好的性能。

2 相關(guān)工作

本節(jié)簡要介紹已有的圖像協(xié)調(diào)化方法以及其他相關(guān)的圖像轉(zhuǎn)換工作。

2.1 圖像協(xié)調(diào)化相關(guān)方法

傳統(tǒng)的圖像協(xié)調(diào)化方法通過匹配顏色空間中的低水平外觀統(tǒng)計信息[7]來調(diào)整前景區(qū)域和背景區(qū)域一致。近年來，基于深度學(xué)習(xí)的方法成為研究的熱點。Zhu等人[8]深入開展了基于深度學(xué)習(xí)的圖像真實性研究工作，設(shè)計了一個具有高容量的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)模型用于區(qū)分真實圖像和自動生成的組合圖像，并且通過優(yōu)化模型預(yù)測的真實性分?jǐn)?shù)來調(diào)整掩碼區(qū)域的顏色。Tsai等人[1]首次嘗試訓(xùn)練一個端到端的CNN模型用于圖像協(xié)調(diào)化任務(wù)，提出的深度圖像協(xié)調(diào)化(Deep Image Harmonization, DIH)模型采用一個具有跳躍連接(skip connection)的編解碼結(jié)構(gòu)，在解碼器中加入一個額外的分支用于語義分割，利用語義信息輔助圖像協(xié)調(diào)化過程。Sofiiuk等人[2]將一個預(yù)訓(xùn)練的語義分割網(wǎng)絡(luò)和基于編解碼的協(xié)調(diào)化網(wǎng)絡(luò)聯(lián)合訓(xùn)練，利用語義分割網(wǎng)絡(luò)中提取的高層語義特征對編碼器提取的特征進(jìn)行補(bǔ)充。Cun等人[3]基于DIH網(wǎng)絡(luò)在解碼器中插入空間分離注意力模塊用于分開學(xué)習(xí)前景和背景特征，除此之外，他們還加入對抗損失用于提高生成圖像的真實性。Cong等人[4]將組合圖像的前景和背景看作不同的域，將真實圖像的前景和背景看作相同的域，以一個注意力增強(qiáng)的U-Net網(wǎng)絡(luò)作為生成器，結(jié)合一個全局鑒別器和一個用于判定一幅圖像中前景與背景是否屬于相同域的域驗證鑒別器，通過對抗訓(xùn)練的方式實現(xiàn)圖像協(xié)調(diào)化。然而，這些方法只考慮了組合圖像前景和背景之間的外觀差異，沒有考慮到相同拍攝條件下圖像中局部的亮度變化差異。本文所提方法能夠同時學(xué)習(xí)組合圖像中前景與背景區(qū)域的外觀差異和局部的亮度變化。

2.2 圖像轉(zhuǎn)換相關(guān)方法

圖像協(xié)調(diào)化可以看作圖像轉(zhuǎn)換(image-to-image translation)任務(wù)[9,10]的一個特例，圖像轉(zhuǎn)換任務(wù)的目的是將圖像從一個域轉(zhuǎn)換到另一個域，例如圖像超分重建[11,12]、圖像修復(fù)[13,14]、圖像風(fēng)格遷移[15,16]等任務(wù)。Isola等人[9]提出逐像素轉(zhuǎn)換型生成對抗網(wǎng)絡(luò)(pixel-to-pixel Generative Adversarial Networks,pix2pix GAN)用于解決圖像著色和圖像重構(gòu)問題，這個網(wǎng)絡(luò)也可用于圖像協(xié)調(diào)化任務(wù)。除此之外，Anokhin等人[17]將生成模型與一種新穎的上采樣策略相結(jié)合用于模擬白天的光照變化，實現(xiàn)了在不同的光照下重新渲染相同的場景。He等人[18]利用圖像之間語義上的密集對應(yīng)提出一種算法實現(xiàn)具有相似語義結(jié)構(gòu)的圖像間的顏色轉(zhuǎn)換。然而，這些方法要么只考慮了圖像轉(zhuǎn)換任務(wù)的普遍特性，要么只設(shè)計用于某一特定圖像轉(zhuǎn)換任務(wù)，不能很好地適用于圖像協(xié)調(diào)化問題。

3 本文方法

圖像協(xié)調(diào)化可以建模為一個監(jiān)督學(xué)習(xí)問題，將組合圖像和對應(yīng)的前景掩碼輸入網(wǎng)絡(luò)模型，網(wǎng)絡(luò)通過學(xué)習(xí)調(diào)整前景的外觀使其和背景一致，從而生成協(xié)調(diào)的具有真實感的圖像。本文的協(xié)調(diào)化網(wǎng)絡(luò)的主體是一個具有跳躍連接的編解碼結(jié)構(gòu)，如圖1所示。本文利用MFCM構(gòu)建編碼器學(xué)習(xí)組合圖像中前景與背景的外觀差異和局部光照強(qiáng)度變化，然后通過解碼器對編碼器學(xué)習(xí)到的特征解碼，重構(gòu)出圖像。最后將重構(gòu)圖像的前景與原始組合圖像的背景組合得到最終的協(xié)調(diào)化圖像。網(wǎng)絡(luò)的實現(xiàn)細(xì)節(jié)將在3.2節(jié)進(jìn)行詳細(xì)介紹。

圖1 本文的圖像協(xié)調(diào)化網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1 多尺度特征校準(zhǔn)模塊(MFCM)

MFCM由兩部分組成：首先，對任意的輸入特征圖X，通過多個并行的分支以不同的感受野提取特征，這一過程稱為多尺度特征提取(Multi-scale Feature Extraction, MFE)；然后，為了充分有效地利用所有分支提取的特征，通過一個通道注意力門控制攜帶不同尺度信息的多分支信息流，這一過程稱為特征校準(zhǔn)(Feature Calibration, FC)。MFCM網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，本文的多尺度特征提取部分由兩個分支組成，更多的分支可能會更有利于提升圖像協(xié)調(diào)化效果。接下來詳細(xì)介紹MFCM。

多尺度特征提取：對于輸入特征圖X，通過兩個并行的分支分別提取特征，如圖2中淺藍(lán)色區(qū)域所示。本文采用3×3和5×5兩種尺度的卷積核提取特征。為了控制模型的復(fù)雜度，每一個分支中加入1×1的卷積降低通道數(shù)。并行分支的每一個卷積層后接有歸一化層和激活層。由于不同圖像的顏色、光照等外觀特征各不相同，將不同圖像看作屬于不同的域。為了學(xué)習(xí)到每一張圖像的外觀統(tǒng)計特征，歸一化層選擇實例歸一化(Instance Normalization, IN)[19]而不是批歸一化(Batch Normalization, BN)[20]。激活函數(shù)選擇LeakyReLU。具體地，兩個分支的處理過程如式(1)

圖2 多尺度特征校準(zhǔn)模塊網(wǎng)絡(luò)結(jié)構(gòu)

3.2 網(wǎng)絡(luò)細(xì)節(jié)

本文的協(xié)調(diào)化網(wǎng)絡(luò)結(jié)構(gòu)中，編碼器的前兩層為帶有激活函數(shù)的標(biāo)準(zhǔn)卷積層，后面接有5個連續(xù)的多尺度特征校準(zhǔn)模塊，如圖1中淺粉色模塊所示。整個編碼器的結(jié)構(gòu)如圖1中藍(lán)色區(qū)域所示。編碼器中每一個網(wǎng)絡(luò)層均以2為因子進(jìn)行下采樣。然后，解碼器通過2為因子的反卷積層對編碼器學(xué)習(xí)的特征上采樣，直至恢復(fù)出輸入圖像的分辨率。解碼器的每一個網(wǎng)絡(luò)層都包含了反卷積層、歸一化層和激活函數(shù)。整個協(xié)調(diào)化網(wǎng)絡(luò)中歸一化層和激活函數(shù)選擇與MFCM一致。由于圖像編碼過程特征分辨率不斷降低，不可避免會丟失一些信息，利用編碼器的輸出不可能完整地重構(gòu)出圖像。因此，在編碼器的每一層和解碼器對應(yīng)分辨率的反卷積層中間加入跳躍連接。跳躍連接中編碼器特征與解碼器特征采用逐像素加和的方式融合。對于上采樣得到的特征圖，通過兩個1×1的卷積層分別預(yù)測重構(gòu)圖像和前景掩碼，并對預(yù)測的前景掩碼逐像素取反得到背景掩碼。最后利用預(yù)測的前景掩碼提取出重構(gòu)圖像的前景區(qū)域，利用背景掩碼提取出組合圖像的背景區(qū)域，將重構(gòu)圖像的前景區(qū)域與組合圖像的背景區(qū)域組合得到最終的輸出圖像。

3.3 損失函數(shù)

對于圖像協(xié)調(diào)化任務(wù)，組合圖像與真實圖像之間僅在前景區(qū)域存在外觀上的差異，為了準(zhǔn)確地衡量前景區(qū)域的外觀差異，本文選擇前景歸一化均方誤差(Foreground Normalized Mean Square Error,FN-MSE)[2]作為損失函數(shù)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，F(xiàn)N-MSE的表達(dá)式如式(7)

式中，M表示前景掩碼，Iout表示網(wǎng)絡(luò)輸出圖像，Igt表示對應(yīng)的真實圖像，Amin是一個超參，目的是避免前景區(qū)域太小導(dǎo)致?lián)p失函數(shù)訓(xùn)練不穩(wěn)定。根據(jù)文獻(xiàn)[2]中的設(shè)置，Amin=100。

式(7)中對輸出圖像前景區(qū)域與真實圖像前景區(qū)域的L2范數(shù)進(jìn)行歸一化，近似為輸出圖像與真實圖像前景區(qū)域的外觀特征的統(tǒng)計差異。這樣可以實現(xiàn)協(xié)調(diào)化效果較好的訓(xùn)練數(shù)據(jù)對應(yīng)的損失較小，而協(xié)調(diào)化效果較差的訓(xùn)練數(shù)據(jù)對應(yīng)的損失較大，由此使得網(wǎng)絡(luò)能更加關(guān)注較難樣本的學(xué)習(xí)。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集與評估指標(biāo)

iHarmony4數(shù)據(jù)集[4]是圖像協(xié)調(diào)化任務(wù)廣泛使用的公開數(shù)據(jù)集，本文方法在該數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試。iHarmony4數(shù)據(jù)集由4個子數(shù)據(jù)集構(gòu)成，分別是HCOCO, HFlickr, HAdobe5k和Hday2night，每一組數(shù)據(jù)對包含了組合圖像和真實圖像。

HCOCO是將Microsoft COCO[23]的訓(xùn)練集和測試集合并之后采用文獻(xiàn)[1]中提出的方法合成的。HCOCO中組合圖像由背景區(qū)域和前景區(qū)域組合得到，背景區(qū)域和前景區(qū)域都是從真實圖像中提取出來的，但是前景區(qū)域的外觀信息被修改過。前景區(qū)域的外觀信息是從另一張圖像中屬于同一類別的前景轉(zhuǎn)換得到的。HCOCO子數(shù)據(jù)集包含38545個訓(xùn)練數(shù)據(jù)對和4283個測試數(shù)據(jù)對。

HFlickr采用從Flickr1)https://www.flickr.com/explore中收集的4833張圖像合成，每一張圖像被手動分割出1個或2個前景區(qū)域，組合圖像的合成過程和HCOCO相同。HFlickr子數(shù)據(jù)集包含7449個訓(xùn)練數(shù)據(jù)對和828個測試數(shù)據(jù)對。

HAdobe5k是基于MIT-Adobe5k數(shù)據(jù)集[24]合成的。MIT-Adobe5k數(shù)據(jù)集中共有5000張照片，每一張照片均被5個攝影師處理過，生成5種不同的風(fēng)格。選擇其中的4329張照片用于構(gòu)建HAdobe5k數(shù)據(jù)集，對每張照片手動分割出一個前景區(qū)域。組合圖像的背景區(qū)域從原始照片中提取得到，前景區(qū)域從5張編輯后的圖像中提取得到。HAdobe5k子數(shù)據(jù)集包含19437個訓(xùn)練數(shù)據(jù)對和2160個測試數(shù)據(jù)對。

Hday2night基于Day2night數(shù)據(jù)集[25]合成，選擇其中包含80個場景的106張圖像用于構(gòu)建Hday2night子數(shù)據(jù)集，對每張圖像手動分割出1個前景區(qū)域。其中組合圖像的構(gòu)建過程與HAdobe5k相同，背景區(qū)域和前景區(qū)域從相同場景的不同照片中提取得到。Hday2night子數(shù)據(jù)集包含311個訓(xùn)練數(shù)據(jù)對和133個測試數(shù)據(jù)對。

本文采用均方誤差(Mean Square Error, MSE)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)作為模型性能的評價指標(biāo)。其中，MSE值越小，代表模型的性能越好；PSNR值越大，代表模型的性能越好。

4.2 訓(xùn)練細(xì)節(jié)

在將圖像輸入網(wǎng)絡(luò)之前，需要縮放到256×256的固定尺寸。為了提高模型訓(xùn)練的穩(wěn)定性，將輸入數(shù)據(jù)縮放到[0,1]范圍并利用ImageNet數(shù)據(jù)集[26]的三原色(Red Green Blue, RGB)均值和標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化處理。除此之外，本文還采取了水平翻轉(zhuǎn)和隨機(jī)大小裁剪的數(shù)據(jù)增強(qiáng)策略來提高模型的泛化能力。

本文的模型在PyTorch v1.1和CUDA v9.0的環(huán)境下訓(xùn)練，優(yōu)化器選擇Adam，對應(yīng)的參數(shù)設(shè)置為β1=0.9,β2=0.999,ε=10?8。初始學(xué)習(xí)率設(shè)置為0.001。對于模型的訓(xùn)練和測試，將4個子數(shù)據(jù)集的訓(xùn)練集合并成一個完整的訓(xùn)練集訓(xùn)練模型，然后分別在4個子數(shù)據(jù)集和合并后的完整測試集上評估模型性能。

4.3 與已有方法對比結(jié)果

4.3.1 定量結(jié)果對比

表1給出了本文方法與現(xiàn)有圖像協(xié)調(diào)化方法深度圖像協(xié)調(diào)化(Deep Image Harmonization,DIH)[1]、空間分離注意力模塊(Spatial-Separated Attention Module, S2AM)[3]、圖像域驗證網(wǎng)絡(luò)(Domain Verification Networks, DoveNet)[4]和具有前景語義感知的圖像協(xié)調(diào)化方法(Foreground-aware Semantic Representation for Image Harmonization, FSRIH)[2]的真實圖像與協(xié)調(diào)化圖像的MSE和PSNR分?jǐn)?shù)。從表1的結(jié)果可以看出，本文方法除了Hday2night子數(shù)據(jù)集的PSNR分?jǐn)?shù)與目前最優(yōu)的方法相比略低一點，其他所有子數(shù)據(jù)集及整個iHarmony4數(shù)據(jù)集的評估結(jié)果都超過了已有方法，實現(xiàn)了最優(yōu)的協(xié)調(diào)化結(jié)果。這表明本文方法能學(xué)習(xí)到組合圖像局部的光照強(qiáng)度變化，從而能更好地學(xué)習(xí)到組合圖像前景與背景的外觀差異，有助于圖像協(xié)調(diào)化任務(wù)。

表1 不同方法在iHarmony4測試集上的性能對比

本文還通過僅對前景區(qū)域進(jìn)行評估來研究前景區(qū)域的比例對模型性能的影響。根據(jù)文獻(xiàn)[2]和文獻(xiàn)[4]中的做法，將前景區(qū)域占整幅圖像的比例劃分為3個范圍，分別是0～5%, 5%～15%和15%～100%，采用只對前景區(qū)域計算MSE，即fMSE(foreground MSE)進(jìn)行評估。對前景區(qū)域的評估結(jié)果如表2所示。從表2的結(jié)果可以看出本文方法在具有不同前景區(qū)域比例的數(shù)據(jù)上都達(dá)到了最優(yōu)的性能，特別是前景目標(biāo)占整幅圖像比例較大時模型性能提升較大。這驗證了MFCM的魯棒性，表明MFCM能在多尺度上捕捉前景目標(biāo)及上下文信息，有助于學(xué)習(xí)到不同尺度前景目標(biāo)與背景區(qū)域的外觀差異和局部亮度變化。

表2 不同方法在iHarmony4測試集上不同前景區(qū)域比例的MSE和fMSE指標(biāo)對比

4.3.2 定性結(jié)果對比

圖3展示了組合圖像、真實圖像、已有的基于深度學(xué)習(xí)的協(xié)調(diào)化方法[2–4]以及本文方法生成的協(xié)調(diào)化圖像。圖中的紅色虛線框標(biāo)示了前景區(qū)域所在的位置，從圖3中可以觀察到本文的方法生成的協(xié)調(diào)化圖像前景與背景的顏色、亮度等特性是一致的，圖像整體的光照更加協(xié)調(diào)，這也驗證了本文方法對圖像協(xié)調(diào)化任務(wù)是有效的。

圖3 不同方法在iHarmony4測試集上的定性對比

4.4 消融實驗

為了驗證MFCM中MFE與FC兩部分的有效性，對應(yīng)的消融實驗結(jié)果如表3?！癛F=3”和“RF=5”分別表示僅利用3×3和5×5大小的卷積核提取特征的模型性能，結(jié)果表明利用3×3大小的卷積核提取特征的模型性能更好?！癕FE”代表僅采用MFE提取特征，其對應(yīng)的結(jié)果優(yōu)于“RF=3”和“RF=5”，這表明利用多個不同尺度的卷積核對輸入特征圖多次提取特征能學(xué)習(xí)到圖像局部的亮度變化差異，有利于圖像協(xié)調(diào)化任務(wù)?！癕FE+FC”代表采用完整的MFCM提取特征，其結(jié)果優(yōu)于“MFE”，這驗證了網(wǎng)絡(luò)自適應(yīng)地校準(zhǔn)特征能夠更加充分利用多尺度特征，對圖像協(xié)調(diào)化任務(wù)是有效的。

表3 多尺度特征校準(zhǔn)模塊不同組件的消融實驗結(jié)果

表4評估了以不同的方式進(jìn)行特征校準(zhǔn)對模型性能的影響。具體地，表4評估了獨立預(yù)測特征權(quán)重、利用鄰域特征間的交互關(guān)系預(yù)測特征權(quán)重和利用全局特征間的交互關(guān)系預(yù)測特征權(quán)重的模型性能。從表4可以看出，利用鄰域通道間的交互進(jìn)行特征校準(zhǔn)可以達(dá)到更優(yōu)的效果。由于每一個卷積核可以被看作一個特征提取器，不同的特征之間存在一定的相關(guān)性，而各通道間獨立地預(yù)測各自的權(quán)重沒有考慮到通道間的相互關(guān)聯(lián)，預(yù)測的權(quán)重不能準(zhǔn)確地表示不同特征的相對重要性。由于特征校準(zhǔn)是基于多尺度感受野的并行特征提取模塊實現(xiàn)的，如果利用所有通道間的交互關(guān)系預(yù)測特征權(quán)重，以不同的感受野提取的特征之間可能存在相互干擾，預(yù)測得到的特征權(quán)重不準(zhǔn)確。因此，對于多尺度特征提取模塊，利用局部鄰域通道間的交互關(guān)系預(yù)測通道權(quán)重會更合理。除此之外，表5是以不同的局部跨通道范圍進(jìn)行特征校準(zhǔn)的實驗結(jié)果，具體地，表5給出了k=3,k=5,k=7和k=9時模型的性能評估結(jié)果，實驗表明，當(dāng)k=7時模型性能最好。

表4 以不同的方式進(jìn)行特征校準(zhǔn)的實驗結(jié)果

表5 以不同的跨通道范圍進(jìn)行特征校準(zhǔn)的實驗結(jié)果

5 結(jié)論

本文根據(jù)圖像協(xié)調(diào)化任務(wù)的特性提出了一個新的多尺度特征校準(zhǔn)模塊，并基于此模塊通過一個編碼器學(xué)習(xí)組合圖像中前景與背景的外觀差異和局部亮度變化，然后通過解碼器重構(gòu)出圖像，以此來實現(xiàn)圖像協(xié)調(diào)化。通過在iHarmony4數(shù)據(jù)集上對協(xié)調(diào)化圖像進(jìn)行定性分析以及以MSE和PSNR作為模型性能的評估標(biāo)準(zhǔn)進(jìn)行定量分析，驗證了本文方法是有效的。