融合光照損失的圖像超分辨率生成對抗網(wǎng)絡(luò)

陳亞瑞，丁文強，徐肖陽，胡世凱，閆瀟寧，許能華

(1. 天津科技大學(xué)人工智能學(xué)院，天津 300457；2. 深圳市安軟科技股份有限公司，深圳 518131)

單幅圖像超分辨率(single image super-resolution，SSIR)重建是根據(jù)一張低分辨率(low resolution，LR)圖像恢復(fù)出高分辨率(high resolution，HR)圖像的過程．SSIR作為計算機視覺一個非常重要的研究方向，引起了國內(nèi)外眾多學(xué)者的廣泛關(guān)注，其研究成果有大量的商業(yè)應(yīng)用．超分辨率重建在醫(yī)學(xué)成像、衛(wèi)星成像、人臉識別、視頻監(jiān)控以及恢復(fù)重要歷史圖像資料等諸多領(lǐng)域發(fā)揮了非常重要的作用.

在深度學(xué)習(xí)沒有興起之前，傳統(tǒng)的SSIR通常使用插值法[1-3]．插值法具有計算簡單、計算速度快等優(yōu)點，但有時會導(dǎo)致生成圖像的邊緣和細節(jié)模糊．隨著深度學(xué)習(xí)的不斷發(fā)展，深度學(xué)習(xí)在單幅圖像超分辨率領(lǐng)域的優(yōu)異表現(xiàn)，促進了單幅圖像超分辨率研究的快速發(fā)展，各種神經(jīng)網(wǎng)絡(luò)的變體也應(yīng)用于單幅圖像超分辨率的研究中，包括卷積神經(jīng)網(wǎng)絡(luò)[4]、對抗神經(jīng)網(wǎng)絡(luò)[5]以及二者的結(jié)合等[6]．

超分辨率生成對抗網(wǎng)絡(luò)(super-resolution generative adversarial networks，SRGAN)[7]是將圖像超分辨率與生成對抗網(wǎng)絡(luò)結(jié)合，生成視覺效果較好的高分辨率圖像．然而，SRGAN模型的訓(xùn)練數(shù)據(jù)由人工構(gòu)造，根據(jù)已知的高分辨率圖像，利用雙三次插值法[3]進行下采樣，得到低分辨率圖像．人工構(gòu)造的高分辨率-低分辨率(HR-LR)圖像對并沒有考慮復(fù)雜情況下的圖像超分辨率問題，例如低光照、模糊、噪聲、運動等復(fù)雜情況．這導(dǎo)致了用人工構(gòu)造的HR-LR圖像對訓(xùn)練得到的模型在處理人工生成的低分辨率圖像時效果很好，但是處理現(xiàn)實生活中低分辨率圖像的效果往往不盡如人意．SRGAN模型的損失更加關(guān)注峰值信噪比(peak signal-to-noise ratio，PSNR)，而忽略了結(jié)構(gòu)相似性(structural similarity，SSIM)，這使生成的高分辨率圖像雖然有較好的峰值信噪比，但是視覺效果不佳．基于此，本文模型在SRGAN模型的基礎(chǔ)上進行了3個方面的改進：首先，構(gòu)造一個新的損失函數(shù)(光照損失)，解決低光照條件下的圖像超分辨率問題；其次，增加結(jié)構(gòu)相似性損失，平衡生成圖像的PSNR和SSIM，使生成圖像的視覺效果更好；最后，構(gòu)造新的訓(xùn)練數(shù)據(jù)集，在傳統(tǒng)低分辨率圖像的基礎(chǔ)上，通過減少圖像的灰度值降低圖像的亮度，得到全新的HR-LR圖像對，此時的LR圖像不僅是低分辨率而且還是低光照條件．

1 背 景

1.1 圖像超分辨率

從低分辨率圖像估計其對應(yīng)高分辨率圖像的挑戰(zhàn)性任務(wù)被稱作超分辨率．傳統(tǒng)的圖像超分辨率方法通常使用插值法，例如雙線性插值法[2]、雙三次插值法[3]、Lanczos[7]重采樣等．插值法具有計算簡單、計算速度快等優(yōu)點，但是生成的圖像往往比較模糊，紋理細節(jié)通常比較平滑．在深度學(xué)習(xí)興起之后，傳統(tǒng)的圖像超分辨率方法逐漸走向了沒落，而基于深度學(xué)習(xí)的圖像超分辨率方法迅速發(fā)展，研究人員提出了很多新的方法．

基于深度學(xué)習(xí)的圖像超分辨率方法主要包括基于卷積神經(jīng)網(wǎng)絡(luò)[8-12]、基于遞歸神經(jīng)網(wǎng)絡(luò)[13-15]、基于循環(huán)神經(jīng)網(wǎng)絡(luò)[16]、基于對抗神經(jīng)網(wǎng)絡(luò)[5,17]、基于反饋機制[18-19]、基于通道注意力機制[20-22]等．還有一些特殊的圖像超分辨率方法，例如針對多尺度超分辨率重建[23]、基于弱監(jiān)督學(xué)習(xí)的超分辨率重建[24-25]、基于無監(jiān)督的超分辨率重建[26-27]、針對盲超分辨率圖像重建[28-30]等．

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率

由于卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、識別等領(lǐng)域有著出色的表現(xiàn)，因此Dong等[8]將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)應(yīng)用到超分辨率重建中，提出了超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)(superresolution convolutional neural network，SRCNN)．雖然SRCNN模型只有3層神經(jīng)網(wǎng)絡(luò)，但是相較于傳統(tǒng)的圖像超分辨率方法，取得了顯著的效果．

由于CNN的優(yōu)異表現(xiàn)，越來越多的研究人員開始嘗試用CNN實現(xiàn)圖像的超分辨率重建，并提出了許多新的模型．例如，Dong等[9]改進了SRCNN模型，提出了快速超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)(fast super-resolution convolutional neural network，F(xiàn)SRCNN)．Kim等[4]提出了超分辨率重建極深卷積神經(jīng)網(wǎng)絡(luò)(very deep convolutional network for super- resolution，VDSR)模型，相比于SRCNN模型，VDSR模型使用了更深的神經(jīng)網(wǎng)絡(luò)，可以提取更多的特征圖，使重建后的圖像細節(jié)更加豐富．Mao等[10]提出了極深殘差編解碼網(wǎng)絡(luò)(very deep residual encoderdecoder networks，RED-Net)模型，該模型用到了編碼-解碼結(jié)構(gòu)．考慮到DenseNet模型的優(yōu)點，Tong 等[11]提出了SRDenseNet網(wǎng)絡(luò)．Yu等[12]在2018年提出了WDSR模型，并取得了當年NTIRE競賽的冠軍. 目前，盡管卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建上很難恢復(fù)真實的紋理和細節(jié)，生成的圖像比較模糊，但是其在圖像超分辨率領(lǐng)域仍然占據(jù)著重要位置，每年都會有許多基于CNN的圖像超分辨率模型被提出.

1.3 基于生成對抗網(wǎng)絡(luò)的圖像超分辨率

傳統(tǒng)的圖像超分辨率方法和基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法都是以峰值信噪比作為一項重要的評判指標，導(dǎo)致的結(jié)果就是隨著模型的不斷改進，PSNR越來越大，但是生成的圖像在視覺感知上質(zhì)量較差．這也證實了，即使PSNR數(shù)值大，圖像的感官質(zhì)量也并不一定就好．為了生成符合人類感官質(zhì)量的圖像，Ledig等[5]提出了SRGAN模型，網(wǎng)絡(luò)主體采用對抗生成網(wǎng)絡(luò)(generative adversarial net，GAN)，損失函數(shù)采用感知損失與對抗損失之和．雖然峰值信噪比不是最高，但是SRGAN模型生成的圖像更加自然清晰，更符合人眼的視覺效果．盡管SRGAN模型取得了很好的視覺效果，但是隨著網(wǎng)絡(luò)的加深，SRGAN模型生成的圖像也會在細節(jié)上出現(xiàn)模糊，在圖像紋理上出現(xiàn)偽影．

基于SRGAN出現(xiàn)的問題，Wang等[17]對SRGAN模型進行了改進，提出了ESRGAN模型. ESRGAN模型對SRGAN模型進行了3個方面的改進．首先，引入沒有批量歸一化的RRDB(residual-inresidual dense block)作為基本的網(wǎng)絡(luò)架構(gòu)單元．其次，使用相對平均GAN(RaGAN)改進判別器網(wǎng)絡(luò)，有助于生成器網(wǎng)絡(luò)恢復(fù)更多的真實紋理細節(jié)．最后，提出了一種改進的感知損失，使用激活之前的VGG特征代替SRGAN模型中激活之后的VGG特征，調(diào)整之后的感知損失提供了更清晰的圖像邊緣和視覺上更令人滿意的結(jié)果．

1.4 創(chuàng)新與改進

不論是傳統(tǒng)的圖像超分辨率方法，還是基于深度學(xué)習(xí)的圖像超分辨率方法，其關(guān)注的研究領(lǐng)域大都是從低分辨率圖像恢復(fù)出高分辨率圖像，較少研究現(xiàn)實生活中存在的復(fù)雜的低分辨率圖像，例如低分辨率圖像同時存在低光照、模糊、噪聲等情況．這就導(dǎo)致了在用模型處理現(xiàn)實中的低分辨率圖像時，生成圖像的效果并不好．

本文的融合光照損失的圖像超分辨率生成對抗網(wǎng)絡(luò)(image super-resolution generative adversarial network based on light loss，LSRGAN)模型是在SRGAN模型的基礎(chǔ)上進行創(chuàng)新：

(1)LSRGAN模型能夠?qū)崿F(xiàn)在低光照條件下的圖像超分辨率重建．

(2)提出新的損失為光照損失．利用RGB顏色空間與YIQ顏色空間的線性關(guān)系計算出圖像中的亮度分量，將圖像中的亮度作為損失函數(shù)，更好地恢復(fù)低光照條件下的低分辨率圖像．

(3)將圖像的結(jié)構(gòu)相似性作為損失函數(shù)添加到原有的損失中，這有利于生成更加真實、自然的圖像，提高圖像的感官質(zhì)量．

(4)構(gòu)建新的訓(xùn)練數(shù)據(jù)集．先將高分辨率圖像進行變黑處理，得到人造的低光照圖像．然后使用雙三次插值法進行下采樣，得到低光照條件下的低分辨率圖像．

2 本文方法

2.1 模型損失函數(shù)

LSRGAN模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示．

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig. 1 Structure diagram of network

LSRGAN模型在對抗過程中的目標函數(shù)為

其中：G為生成器網(wǎng)絡(luò)，θ為生成器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；D為判別器網(wǎng)絡(luò)，?為判別器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；E為期望，IHR為真實高分辨率圖像，ILR為低分辨率圖像；Pdata( IHR)為真實高分辨率圖像的分布，Pdata( ILR)為低分辨率圖像的分布；G ( ILR)為生成器網(wǎng)絡(luò)生成的超分辨率圖像，D ( IHR)為當輸入圖像為真實高分辨率圖像時判別真?zhèn)?，D (G( ILR))為輸入圖像為超分辨率圖像時判別真?zhèn)危?/p>

LSRGAN模型生成器網(wǎng)絡(luò)的全部損失函數(shù)為

其中：α、β、γ、δ為模型的超參數(shù)，為光照損失，為內(nèi)容損失，為結(jié)構(gòu)相似性損失，為對抗損失．

其中：ISR為超分辨率圖像；IHR為高分辨率圖像；Y為圖像亮度，Y = 0.299 R + 0.587G +0.144B，R、G、B分別為圖像的RGB三通道值．

相較于基于像素的內(nèi)容損失，基于式(4)內(nèi)容損失生成的圖像具有更好的視覺效果．

其中：ISR為生成的超分辨率圖像，IHR為真實的高分辨率圖像；μISR為ISR的平均值，μIHR為IHR的平均值；為 ISR的方差，為 IHR的方差，σISRIHR為ISR和IHR的協(xié)方差；C1=( k1l)2，C2= ( k2l)2，C1和 C2為維持穩(wěn)定的常數(shù)，l為像素值的動態(tài)范圍，k1= 0.01，k2= 0.03．結(jié)構(gòu)相似性的范圍為0～1，當兩張圖像一模一樣時，SSIM的值等于1．

對抗損失lDSR是基于判別器網(wǎng)絡(luò)，判別器網(wǎng)絡(luò)用于區(qū)分真實的高分辨率圖像和生成的高分辨率圖像，對抗損失可以有效提高生成圖像的視覺效果，其表達 式為

其中：G為生成器網(wǎng)絡(luò)，D為判別器網(wǎng)絡(luò)，G ( ILR)為生成器網(wǎng)絡(luò)生成的超分辨率圖像，D (G( ILR))為輸入圖像為超分辨率圖像時判別真?zhèn)危?/p>

LSRGAN模型在訓(xùn)練過程中，根據(jù)式(1)中的目標函數(shù)，對生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)進行交替優(yōu)化，解決對抗最小-最大問題，得到最優(yōu)的生成器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)θ和判別器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)?．

2.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)

生成器網(wǎng)絡(luò)包括特征提取單元、深度殘差單元以及上采樣單元3個主要部分．生成器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖2所示，其中特征提取單元包括64個卷積核大小為3×3的卷積層和ReLU層，低分辨率圖像先經(jīng)過該卷積層進行卷積特征提取，然后通過ReLU函數(shù)進行激活．深度殘差單元包括12個殘差塊，用于進一步對特征提取單元提取到的特征圖進行特征學(xué)習(xí)并提取高頻信息．每個殘差塊內(nèi)部依次為卷積層、批標準化BN層、ReLU層、卷積層、批標準化BN層和殘差邊．卷積層進行特征圖的特征提取，批標準化BN層對特征圖的特征進行標準化，以減少模型的計算量．用ReLU函數(shù)進行激活，給學(xué)習(xí)到的特征圖增加非線性元素．殘差邊將輸入和輸出進行疊加操作，避免因網(wǎng)絡(luò)層數(shù)太多而導(dǎo)致梯度消失的問題．上采樣單元由1個反卷積層和ReLU層組成，用于根據(jù)提取的高頻信息將低分辨率圖像進行指定倍數(shù)的放大〔本文是將低分辨率(LR)圖像的長和寬均放大3倍〕，從而得到超分辨率圖像．

圖2 生成器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖 Fig. 2 Structure diagram of generation network

2.3 判別器網(wǎng)絡(luò)結(jié)構(gòu)

判別器網(wǎng)絡(luò)用于區(qū)分超分辨率圖像和真實的高分辨率圖像，促進生成器網(wǎng)絡(luò)生成效果更好的超分辨率圖像．判別器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖3所示．判別器網(wǎng)絡(luò)由卷積塊和全連接層組成．其中卷積塊由卷積核大小為3×3的卷積層、LeakyReLU層以及批標準化BN層組成，用于不斷地提取輸入圖像的特征．

圖3 判別器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖 Fig. 3 Structure diagram of discrimination network

輸入至判別器網(wǎng)絡(luò)的圖像先經(jīng)過卷積核大小為3×3、通道數(shù)為64的卷積層進行特征提取，然后經(jīng)過LeakyReLU函數(shù)進行激活．通過7個組成相同的卷積塊進一步提取圖像特征，隨著特征圖大小的不斷減少，通道數(shù)不斷增多，分別為64、128、128、256、256、512、512，將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征存儲到通道中．最后經(jīng)過全連接層進行分類，Sigmoid層計算出輸入圖像是真實高分辨率圖像的概率．

3 實 驗

3.1 實驗設(shè)置

實驗在NVIDIA GeForce RTX 3090GPU上訓(xùn)練所有網(wǎng)絡(luò)，所有實驗均在低分辨率和高分辨率圖像之間以3倍的尺度因子執(zhí)行．為了公平比較，所有實驗的PSNR和SSIM度量均使用TensorFlow封裝好的方法計算．優(yōu)化器為Adam，學(xué)習(xí)率為0.0002，數(shù)據(jù)的批量處理大小為16，更新迭代13000次．

訓(xùn)練數(shù)據(jù)來自數(shù)據(jù)集 BSDS200[31]、Genral-100[9]、DIV2K[32]和Flickr2K[33]中隨機采樣的高分辨率圖像，訓(xùn)練數(shù)據(jù)集詳細信息見表1．BSDS200數(shù)據(jù)集是BSDS500數(shù)據(jù)集的訓(xùn)練子集，由伯克利大學(xué)提供，常用于圖像分割、輪廓檢測和圖像超分辨率重建．General-100數(shù)據(jù)集有100張圖像，里面包含人物、動物、日常景象等．DIV2K數(shù)據(jù)集有1000張高分辨率圖像，其中800張用于訓(xùn)練，100張用于驗證，100張用于測試．Flickr2K數(shù)據(jù)集有2650張高分辨率圖像，里面包含人物、動物、日常景象等．

表1 訓(xùn)練數(shù)據(jù)集詳細信息 Tab. 1 Details of training dataset

測試數(shù)據(jù)來自Set5[34]、Set14[35]、BSDS100[36]和Urban100[19]數(shù)據(jù)集，測試數(shù)據(jù)集詳細信息見表2. Set5數(shù)據(jù)集有5張圖像，里面含有人物、動物、昆蟲等．Set14數(shù)據(jù)集有14張圖像，里面含有人物、動物、自然景象等．BSDS100數(shù)據(jù)集有100張圖像，是BSDS500數(shù)據(jù)集的測試子集．Urban100數(shù)據(jù)集有100張圖像，里面包含各種建筑物．

表2 測試數(shù)據(jù)集詳細信息 Tab. 2 Details of test dataset

3.2 構(gòu)建新的訓(xùn)練數(shù)據(jù)集

對隨機采樣得到的高分辨率圖像進行隨機裁剪，裁剪成224像素×224像素大小的高分辨率圖像；挑選裁剪后的圖像，剔除不符合要求的圖像；最終得到3428張高分辨率圖像．對裁剪、挑選后得到的3428張高分辨率圖像先得到其灰度圖，然后通過減少灰度圖的灰度值減少圖像的亮度，接著使用雙三次插值法進行下采樣，得到低光照低分辨率圖像．這一步可以用公式表示為

式中：ILR為所求的低光照低分辨率圖像；IHR為高分辨率圖像；↓s表示下采樣；s為下采樣的尺度因子；f(?)為用于將高分辨率圖像進行變黑處理的函數(shù)，其中 f( IHR) =α? IHR+γ? ones(size( IHR))，α為超參數(shù)，γ為黑度參數(shù)．

3.3 精度對比

對比Bilinear、SRCNN、SRFBN[19]、SRGAN和LSRGAN這5個模型在黑度參數(shù)γ分別為-70、 -130和-160條件下的精度，即對比PSNR和SSIM．

首先在構(gòu)造的訓(xùn)練數(shù)據(jù)集(在數(shù)據(jù)集BSDS200、Genral-100、DIV2K和Flickr2K中隨機采樣)上進行訓(xùn)練，然后在4個測試數(shù)據(jù)集BSDS100、Set14、Set5和Urban100上進行測試．測試時，先對測試數(shù)據(jù)進行3.2節(jié)中的變黑處理和下采樣處理，然后對處理后的測試數(shù)據(jù)進行測試，實驗結(jié)果見表3和圖4．

圖4 定性結(jié)果實驗對比 Fig. 4 Qualitative results of experimental comparison

表3 定量結(jié)果實驗對比 Tab. 3 Quantitative results of experimental comparison

由表3可知：黑度參數(shù)γ的值越小，圖像的亮度就越低，圖像超分辨率重建的難度越大．當黑度參數(shù)γ= ? 70時，測試圖像的亮度改變不大，亮度減小的程度對測試圖像的影響較小，此時LSRGAN模型在4個測試數(shù)據(jù)集上的8個指標中取得了4個最好的結(jié)果，SRFBN模型取得了2個最好的結(jié)果，SRCNN模型取得了2個最好的結(jié)果．當黑度參數(shù)γ=? 130時，測試圖像的亮度改變較大，亮度減小的程度對測試圖像的影響較大，此時LSRGAN模型在4個測試數(shù)據(jù)集上的8個指標中取得了3個最好的結(jié)果，SRFBN模型取得了2個最好的結(jié)果，SRGAN模型取得了2個最好的結(jié)果，SRCNN模型取得了1個最好的結(jié)果．當黑度參數(shù)γ=? 160時，測試圖像的亮度改變很大，亮度減小的程度對測試圖像的影響很大，此時僅憑肉眼很難分辨出測試圖像的內(nèi)容．在這種情況下，LSRGAN模型展現(xiàn)出了絕對的優(yōu)勢，在4個測試集上的8個指標全部取得了最好的定量結(jié)果．綜上所述，LSRGAN模型在整體上表現(xiàn)最好，且隨著圖像亮度的降低，LSRGAN模型的生成效果越來越好；當圖像的亮度很低且影響到圖像內(nèi)容的觀測時，光照損失發(fā)揮了很重要的作用，此時LSRGAN模型具有很好的生成效果．

由圖4可知：隨著黑度參數(shù)γ的值逐漸減小，圖像的亮度逐漸降低，圖像超分辨率重建的難度逐漸增大，模型的生成能力逐漸減弱．此時，LSRGAN模型的折線斜率變化最小，這表明LSRGAN模型的生成能力受圖像亮度降低的影響最?。虼丝梢缘贸鼋Y(jié)論，當圖像逐漸變暗時，LSRGAN模型受圖像亮度降低的影響最小，LSRGAN模型依然具有很好的模型生成能力，可以生成視覺效果較好的圖像．

3.4 生成圖像對比

3.4.1 公共測試集

為了進一步展示5種模型的生成效果，在公共測試集Set14中隨機選擇1張圖片，在黑度參數(shù)γ分別為-70、-130和-160時進行生成測試，生成結(jié)果如圖5所示．

圖5 公共測試集Set14的模型生成圖像效果展示 Fig. 5 Model generation image effect display of public test Set14

在公共測試集Urban100中隨機選擇1張圖片，在黑度參數(shù)γ分別為-70、-130和-160時進行生成測試，生成結(jié)果如圖6所示．

圖6 公共測試集Urban100的模型生成圖像效果展示 Fig. 6 Model generation image effect display of public test Urban100

根據(jù)圖5和圖6可知：隨著黑度參數(shù)γ的值越來 越小，低分辨率圖像的亮度越來越低；當γ=? 1 60時，圖像幾乎全黑，此時圖像中包含的有用信息很少，將其恢復(fù)成高分辨率圖像是十分困難的．

從生成圖像的效果可以看出，LSRGAN模型可以實現(xiàn)在低光照條件下的圖像超分辨率重建，并且生成的圖像具有較好的視覺效果．

3.4.2 真實圖像

在模型的訓(xùn)練和測試時，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的低光照條件都是人為構(gòu)造的，如此得到的低光照圖像是線性的，整個圖像的亮度一起降低．為了進一步驗證模型的生成能力，收集了現(xiàn)實生活中的低光照圖像進行測試．將現(xiàn)實生活中的低光照圖像進行3倍下采樣處理，這里不需要進行變黑處理；然后將處理后的圖像輸入模型進行測試，生成結(jié)果如圖7所示.

圖7 現(xiàn)實生活中的低光照圖像的模型生成圖像效果展示 Fig. 7 Model generation image effect display of low light image in real life

由圖7可知：現(xiàn)實生活中的低光照圖像情況比較復(fù)雜，可能存在局部亮度低的問題，并且導(dǎo)致圖像質(zhì)量不高的原因是多方面的．在這種情況下，LSRGAN模型仍然具有較好的圖像超分辨率和恢復(fù)光照的能力，可以處理現(xiàn)實生活中的低光照圖像．

4 結(jié) 論

本文提出了一種融合光照損失的圖像超分辨率生成對抗網(wǎng)絡(luò)LSRGAN模型，并在實驗中展示了模型定性指標PSNR和SSIM的值及模型生成圖像的效果．與經(jīng)典SRGAN模型的對比實驗顯示，該模型不僅能夠?qū)崿F(xiàn)一般情況下的圖像超分辨率重建，而且可以實現(xiàn)在低光照條件下的圖像超分辨率重建，并取得了較好的實驗效果．理論分析及實驗結(jié)果表明，LSRGAN模型中的光照損失和結(jié)構(gòu)相似性損失可以幫助恢復(fù)圖像的光照強度，具有較好的恢復(fù)效果，同時使生成的圖像具有較好的視覺效果．