基于元學習生成對抗網(wǎng)絡的刑偵圖像超分辨率

徐 健，李新婷，鄧 聰，牛麗嬌

(1.西安郵電大學 通信與信息工程學院，陜西 西安 710121;2.西安郵電大學 電子信息現(xiàn)場勘驗應用技術(shù)公安部重點實驗室，陜西 西安 710121)

隨著現(xiàn)代化信息技術(shù)的不斷發(fā)展和監(jiān)控設備使用的迅速普及，視頻圖像成為刑事案件證據(jù)資料的重要來源之一。由于許多監(jiān)控畫面中犯罪嫌疑人與監(jiān)控探頭的距離太遠，畫面分辨率過低，導致犯罪嫌疑人或物證的重要特征難以辨認，在很大程度上阻礙了案件偵破的進程。圖像超分辨率(Super-Resolution,SR)可以有效地提升視頻圖像質(zhì)量的同時不依賴于監(jiān)控設備，因此僅對低分辨率(Low-Resolution,LR)圖像本身進行高質(zhì)量的重建，是解決視頻圖像分辨率低的有效方法之一，也是視頻偵查領域的重要研究問題之一。

隨著深度學習的深入研究和發(fā)展，卷積神經(jīng)網(wǎng)絡強大的表示能力使得圖像超分辨率算法的性能顯著提升?；诰矸e神經(jīng)網(wǎng)絡[1](Convolutional Neural Network,CNN)的圖像超分辨率算法根據(jù)訓練方式的不同，分為有監(jiān)督算法和無監(jiān)督算法。有監(jiān)督算法通常在訓練網(wǎng)絡時采用成對的訓練數(shù)據(jù)，例如成對的雙三次插值[2]低分辨率圖像與原始高分辨率(High-Resolution,HR)圖像，訓練網(wǎng)絡學習由低分辨率圖像到高分辨率圖像的非線性映射，從而實現(xiàn)圖像超分辨率。Dong等[3]采用三層的神經(jīng)網(wǎng)絡學習高低分辨率圖像之間的映射關系，但隨著網(wǎng)絡層數(shù)的增加，網(wǎng)絡的表示能力也更強。在網(wǎng)絡層數(shù)較多時，為了降低網(wǎng)絡參數(shù)量，Kim等[4]引入殘差學習降低參數(shù)量，還采用遞歸連接[5]避免冗余的參數(shù)，而Tai等[6]通過殘差遞歸連接共享網(wǎng)絡參數(shù)。另外，為了更好地感知高低分辨率圖像之間的映射，Lai等[7]提出多路徑學習提高模型的學習能力，Saeed等[8]采用級聯(lián)殘差結(jié)構(gòu)學習中高級圖像特征，Li等[9]提出多尺度密集交叉網(wǎng)絡學習不同尺度特征之間的相關性，增強網(wǎng)絡的學習能力。通過有監(jiān)督的方式可以有效地學習到高低分辨率圖像之間的映射關系。然而，現(xiàn)實情況中，真實低分辨率圖像與訓練所用的低分辨率圖像并不完全一致，且真實圖像的退化模型未知，導致圖像的超分辨率結(jié)果并不理想。另外，訓練得到的網(wǎng)絡模型單一，僅適用于一些或某一類特定情況下的圖像，普適性不強。

無監(jiān)督算法能夠打破網(wǎng)絡訓練需要成對訓練圖像的限制，學習不成對高低分辨率圖像之間的數(shù)據(jù)分布與映射關系，有效應對真實高低分辨率圖像對難以獲取的情況。Ledig等[10]提出了利用生成對抗網(wǎng)絡[11-13](Generative Adversarial Network,GAN)進行圖像超分辨率，用不成對圖像分別訓練生成器和判別器網(wǎng)絡，學習高低分辨率圖像之間的映射。Zhu等[14]通過增加判別器與生成器形成環(huán)形結(jié)構(gòu)，加強網(wǎng)絡約束，優(yōu)化生成器性能，但生成對抗網(wǎng)絡的訓練難度大，且對設備要求較高。Shocher等[15]提出基于零次學習的圖像超分辨率算法，不使用任何外部訓練樣本，訓練和測試同過程，僅使用低分辨率圖像自身的重復相似性作為指引，但數(shù)千次的梯度更新較為耗時。Soh等[16]采用元學習策略降低梯度更新的次數(shù)，加快網(wǎng)絡收斂的同時保持網(wǎng)絡性能。這種無監(jiān)督的算法在應對真實場景下的圖像超分辨率是有一定優(yōu)勢的，且自適應性強。

在真實的刑偵場景中，刑偵圖像找不到相對應的成對高分辨率訓練樣本，很多需要用成對高低分辨樣本對訓練的方法對于刑偵圖像并不適用，而且刑偵圖像的來源非常廣泛，不同廠家生產(chǎn)的攝像設備拍攝的不清晰圖像往往經(jīng)歷不同的壓縮方式和退化過程。因此，針對刑偵圖像高分辨率樣本無法獲取及對圖像中的細節(jié)要求較高的問題，擬提出一種基于生成對抗網(wǎng)絡和元學習的刑偵圖像超分辨率算法。利用非成對樣本訓練網(wǎng)絡，先從非成對樣本中獲取不同場景下圖像的先驗信息，再從大量外部訓練圖像獲取先驗信息，利用圖像內(nèi)部的重復相似性，憑借元學習策略使網(wǎng)絡快速收斂，獲得超分辨率結(jié)果。

1 基本理論

1.1 生成對抗網(wǎng)絡

GAN是一種生成模型，包含生成網(wǎng)絡和判別網(wǎng)絡兩個主要網(wǎng)絡，結(jié)構(gòu)框架如圖1所示。

圖1 生成對抗網(wǎng)絡結(jié)構(gòu)框架

所謂的對抗，是指生成器與判別器之間的對抗，生成器盡可能地生成接近真實的樣本欺騙判別器，判別器的目的是盡可能否定生成器生成的假樣本，并通過對抗損失反饋更新生成器與判別器的參數(shù)，直到判別器無法分辨出真、假樣本。對于圖像超分辨率任務而言，生成器的任務是生成高分辨率圖像，而判別器是區(qū)分出真實高分辨率圖像與生成的高分辨率圖像之間的真假。循環(huán)對抗網(wǎng)絡[17](Cycle-in-Cycle Generative Adversarial Networks，CinCGAN) 由生成器生成不含噪聲的低分辨率圖像，結(jié)合循環(huán)周期降噪框架和循環(huán)周期超分辨率模型，利用圖像間跨域轉(zhuǎn)換，提高網(wǎng)絡性能。多個生成對抗網(wǎng)絡的組合可以相互制約，也可實現(xiàn)圖像跨域轉(zhuǎn)換。

1.2 偽監(jiān)督超分辨率

有監(jiān)督超分辨率算法通過成對高低分辨率圖像訓練超分辨率網(wǎng)絡，旨在優(yōu)化目標函數(shù)和網(wǎng)絡結(jié)構(gòu)，但前提是存在理想的高低分辨率圖像對。與有監(jiān)督算法不同的是，偽監(jiān)督超分辨率算法借助生成對抗網(wǎng)絡生成用于訓練的成對高低分辨率圖像，生成的訓練數(shù)據(jù)接近真實圖像的數(shù)據(jù)分布，不僅可以使網(wǎng)絡適應真實圖像的超分辨率，還可以精確地學習到高低分辨率圖像之間的映射。通過生成對抗模型將高分辨率樣本映射到具有理想下采樣核的低分辨率圖像空間中，用生成的成對高低分辨率樣本訓練超分辨率網(wǎng)絡，不僅可以采用對抗損失，還可以采用像素級損失對網(wǎng)絡進行約束。

1.3 元學習策略

元學習[18]是一種讓模型學習如何學習參數(shù)的方法，旨在讓模型能夠只接受小部分相關訓練樣本的情況下快速學習新的知識，使模型的訓練過程更像人類的學習過程。根據(jù)流形學習[19-20]，盡管自然圖像種類繁多分布復雜，但是多數(shù)自然圖像都集中分布在某個低維流形附近，可以為模型訓練提供可遷移的先驗信息。近年來，大量研究將少次學習[21]與元學習結(jié)合，提出了很多相關的算法提升模型學習能力。元學習的最終目的是讓模型獲得一個良好的初始化參數(shù)，這個初始化參數(shù)在訓練任務集合上可能性能不佳，但以此參數(shù)為初始點學習新的測試任務時，可以快速收斂。

2 刑偵圖像超分辨率算法

基于生成對抗網(wǎng)絡和元學習的刑偵圖像超分辨率算法的重建模型包括大規(guī)模外部訓練、元學習和元測試等3個階段。大規(guī)模外部訓練階段采用偽監(jiān)督超分辨率網(wǎng)絡[22]為基礎框架，結(jié)合多個生成對抗網(wǎng)絡，用不成對的圖像進行訓練，生成偽圖像對，采用多個損失函數(shù)對超分辨率網(wǎng)絡進行監(jiān)督訓練。大規(guī)模外部訓練使得網(wǎng)絡能夠?qū)W習到隱含于自然圖像中的先驗信息，為元學習初始點的選擇提供了有效幫助。元學習階段采用基于優(yōu)化的元學習方法，使用不同的高斯模糊核生成用于元學習的任務樣本，構(gòu)建任務集。元測試階段將網(wǎng)絡賦予元學習階段得到的結(jié)果作為初始值，使用內(nèi)部相似性進行較少參數(shù)更新后得到重建結(jié)果。

2.1 大規(guī)模訓練

大規(guī)模訓練階段的主要目的是使用非成對的高、低分辨率圖像，訓練網(wǎng)絡學習從真實低分辨率圖像空間X到高分辨率圖像空間Y的一個映射FXY，并在超分辨率網(wǎng)絡G3進行元遷移學習之前，將G3的模型參數(shù)θ從初始化θ0迭代更新至一個合適的參數(shù)θT(T=1,2,…,n)。假設真實低分辨率訓練樣本圖像為Ireal,LR，真實高分辨率訓練樣本圖像為Ireal,HR，Gi(i=1,2,3)為生成網(wǎng)絡，Di(i=1,2,3)為判別網(wǎng)絡，由真實低分辨率圖像到高分辨率圖像的映射關系為ISR=G3[G1(Ireal,LR)]。大規(guī)模訓練網(wǎng)絡包括真實高分辨率圖像與偽高分辨率圖像之間的對抗網(wǎng)絡、偽真實低分辨率圖像與偽凈低分辨率圖像之間的對抗網(wǎng)絡和超分辨率圖像與真實高分辨率圖像之間的對抗網(wǎng)絡，結(jié)構(gòu)如圖2所示。

圖2 大規(guī)模訓練網(wǎng)絡結(jié)構(gòu)

1)真實高分辨率圖像與偽高分辨率圖像之間的對抗訓練(G1,D1)。高分辨率圖像Ireal,HR經(jīng)過雙三次下采樣和一個已知的退化核(σ=s/2的高斯核，s為放大尺寸)得到退化圖像Iclean,LR，對圖像Iclean,LR進行恒等映射，產(chǎn)生恒等映射圖像Iidt,LR，則Iclean,LR和Lidt,LR之間產(chǎn)生恒等映射損失Lidt，在每一個生成器生成圖像的過程中附加Lidt損失，防止圖像顏色產(chǎn)生變化。然后，Iclean,LR經(jīng)過生成器G1生成與其對應的偽真實低分辨率圖像Ifake,LR，判別器D1通過判斷Ireal,LR和Ifake,LR之間的真?zhèn)萎a(chǎn)生一部分對抗損失Ladv，指導生成器G1生成與真實低分辨率圖像同分布的圖像，學習真實低分辨率圖像的數(shù)據(jù)分布。

2)偽真實低分辨率圖像與偽凈低分辨率圖像之間的對抗訓練(G2,D2)。Ifake,LR經(jīng)過生成器G2生成偽凈低分辨率圖像I′clean,LR，由反向生成器F生成循環(huán)低分辨率圖像Icyc,LR，與Ifake,LR之間產(chǎn)生循環(huán)一致性損失Lcyc，保證偽低分辨率圖像空間與偽凈低分辨率圖像空間映射過程中的循環(huán)一致性。生成I′clean,LR的目的是與Ireal,HR構(gòu)成偽訓練樣本對(I′clean,LR,Ireal,HR)，而判別器D2通過判斷Iclean,LR和I′clean,LR之間的真?zhèn)萎a(chǎn)生一部分對抗損失Ladv，使生成器G2生成的圖像與凈低分辨率圖像盡可能接近，學習真實低分辨率圖像與下采樣圖像之間的轉(zhuǎn)換。

3)超分辨率圖像與真實高分辨率圖像之間的對抗訓練(G3,D3)。由偽訓練樣本對(I′clean,LR,Ireal,HR)訓練超分辨率網(wǎng)絡G3得到超分辨率圖像Ifake,HR，判別器D3通過判斷Ifake,HR和Ireal,HR之間的真?zhèn)萎a(chǎn)生一部分對抗損失Ladv，使G3生成的超分辨率圖像接近真實高分辨率圖像。另外，由于超分辨率網(wǎng)絡的訓練方式為監(jiān)督訓練，因此可通過重建損失Lrec提高網(wǎng)絡性能和重建精度。

通道殘差注意力網(wǎng)絡[23](Residual Channel Attention Networks，RCAN)是一種很深層次的殘差嵌套網(wǎng)絡，各殘差塊之間有長、短跳躍連接。采用增加殘差塊個數(shù)的RCAN作為大規(guī)模訓練過程中生成器G3的網(wǎng)絡結(jié)構(gòu)，在第一個卷積層Conv中提取輸入圖像的特征，對于每個殘差塊中的卷積層后面都加入ReLU激活函數(shù)，在殘差塊之間進行局部長、短跳躍連接，共有20個殘差組。在輸出之前加入全局長跳躍連接，融合圖像淺層特征，防止信息丟失，融合后的特征經(jīng)過上采樣層后，輸出超分辨率圖像。生成器網(wǎng)絡結(jié)構(gòu)如圖3所示。對于生成器G1和G2，采用去掉上采樣層的RCAN實現(xiàn)不同域之間的轉(zhuǎn)換。判別器Di(i=1,2,3)均采用相同的網(wǎng)絡結(jié)構(gòu)，在第一個卷積層提取特征，緊接著5個卷積層，每個卷積層后面都有BN層和LeakyReLU激活函數(shù)層，再由密集層Dense進行過渡，最終Sigmoid激活層輸出判別結(jié)果。判別器Di網(wǎng)絡結(jié)構(gòu)如圖4所示。

圖3 生成器G3網(wǎng)絡結(jié)構(gòu)

圖4 判別器Di網(wǎng)絡結(jié)構(gòu)

對于生成器G1、G2和G3而言，三者均采用了對抗性損失，生成器G1的對抗損失為

Ladv1=EIreal,LR～PLR[logD1(Ireal,LR)]+
EIclean,LR～P′LR[log (1-D1(G1(Iclean,LR)))]

(1)

式中，PLR和P′LR分別表示真實低分辨率圖像和凈低分辨率圖像滿足的數(shù)據(jù)分布形式。G1與D1通過最小最大化過程同時進行對抗訓練。

生成器G2的對抗損失為

(2)

生成器G3的對抗損失為

Ladv3=EIreal,HR～PHR[logD3(Ireal,HR)]+
EI′clean,LR～P′LR[log (1-D3(G3(I′clean,LR)))]

(3)

式中，PHR表示真實高分辨率圖像滿足的數(shù)據(jù)分布形式。G3與D3通過最小最大化過程同時進行對抗訓練。

一般情況下，往往使用雙向循環(huán)一致?lián)p失Lcyc確保雙向的映射都具備循環(huán)一致性，但對于圖像超分辨率問題而言，若使用雙向循環(huán)一致?lián)p失，將會對待重建圖像加以限制，而使用單向循環(huán)一致?lián)p失，便會減少限制，即僅僅單向限制

Lcyc(G2,F)=‖F(xiàn)[G2(Ifake,LR)]-Ifake,LR‖1

(4)

使得反向生成器F成為一對多的映射網(wǎng)絡，對于各種形式噪聲干擾或者不同分布的真實低分辨率圖像具備魯棒性。

恒等映射損失Lidt最初在網(wǎng)絡模型中主要用于從繪畫生成真實圖像的過程，加入此損失后可以使得在顏色上面與原先繪畫保持一致，使用此損失可以避免圖像在顏色上的改變，其表達式為

Lidt=‖Iidt,LR-Iclean,LR‖1

(5)

重建的高分辨率圖像與真實的高分辨率圖像無論是低層次的像素值上，還是高層次的抽象特征上，都應當接近。由此，重建損失表達式為

Lrec=‖Ifake,HR,Ireal,HR‖1

(6)

綜上所述，訓練過程使用的總損失函數(shù)為

Ltotal=Ladv1+Ladv2+Ladv3+
λcycLcyc+λidtLidt+λrecLrec

(7)

式中：λcyc和λidt分別為循環(huán)一致?lián)p失與恒等映射損失的權(quán)重；λrec為重建損失的權(quán)重。

聞喜被稱為“花饃之鄉(xiāng)”，制作花饃歷史悠久，作為一項與勞動人民生活中產(chǎn)生的藝術(shù)，已有1000多年的歷史了，從先秦時期就有有關記載，最早是用來祭祀的，人們把它做成豬、牛、羊等動物的模樣來祭祀祖先。因聞喜花饃技藝獨特、歷史悠久，在2006年與定襄面塑、焙面面塑、新絳面塑共同作為山西面塑藝術(shù)入選省級非物質(zhì)文化遺產(chǎn)名錄；2008年以其獨有的食用、觀賞、禮儀功能，作為傳統(tǒng)美術(shù)—面花的成員被列為第二批國家級非物質(zhì)文化遺產(chǎn)，這些都是對聞喜花饃的肯定和鼓勵。

2.2 元遷移學習

元遷移學習過程的主要目的是從超分辨率網(wǎng)絡預訓練得到的參數(shù)θT出發(fā)，找到一個在測試階段僅僅需要較少梯度更新就能使性能得到大幅提升的初始點。模型無關元學習[24](Model-Agnostic Meta-Learning，MAML)是一種將初始化參數(shù)作為元學習目標的元學習方法，可以充分利用外部訓練數(shù)據(jù)，將訓練結(jié)果遷移到新的任務上，并且在新的任務中僅僅需要較少梯度更新即可使模型達到收斂。因此，借鑒MAML的思想，設計了元遷移學習更新過程，如圖5所示。

圖5 元學習參數(shù)更新過程

(8)

(9)

對于每次梯度更新，得到新的參數(shù)θi為

(10)

(11)

(12)

2.3 元測試

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與數(shù)據(jù)

為驗證所提算法的有效性，采用雙三次插值(Bicubic)、ZSSR、紋理遷移網(wǎng)絡超分辨率[27](Texture Transformer network for image Super-Resolution,TTSR)、深度交替網(wǎng)絡[28](Deep Alternating Network,DAN)、多尺度圖像超分辨率[29](Multi-Scale image Super-Resolution,MSWSR)和殘差通道注意力網(wǎng)絡[23](Residual Channel Attention Networks,RCAN)等5種算法作為對比算法，分別在標準數(shù)據(jù)集Set5[30]、Set14[31]、BSD100[32]和Urban100[33]上進行測試，從圖像質(zhì)量評價指標和視覺方面進行性能比較。另外，為驗證所提算法的實用性，采用真實刑偵圖像進行測試，從視覺方面與其他算法進行對比。實驗環(huán)境為Ubuntu 20.04，深度學習框架為Tensorflow 2.0,32G內(nèi)存主頻為DDR4 3200MHZ，GPU為NVIDIA GTX1080Ti。

3.2 結(jié)果與分析

采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)的平均值作為圖像質(zhì)量的定量評價結(jié)果，超分辨率放大倍數(shù)為2。不同算法在標準數(shù)據(jù)集上的PSNR/SSIM結(jié)果如表1所示。表1中Bicubic為雙三次插值算法，ZSSR和TTSR為無監(jiān)督算法，DAN、MSWSR和RCAN為監(jiān)督算法，時間為測試單張圖像的耗費時間。

表1 不同算法在標準數(shù)據(jù)集上的PSNR/SSIM結(jié)果

由表1可以看出，所提算法的運行時間為0.49 s，比其他算法的運行時間都短，這是因為元學習策略能夠加快網(wǎng)絡收斂，降低算法時間成本。而所提算法的PSNR/SSIM相比無監(jiān)督算法ZSSR和TTSR要高，且與監(jiān)督算法DAN、RCAN和MSWSR的指標非常接近，也就是說，在缺乏成對訓練樣本的情況下，也能得到與監(jiān)督算法相接近的PSNR和SSIM值，超分辨率圖像包含的細節(jié)信息更豐富。由于所提算法不僅結(jié)合了外部訓練數(shù)據(jù)集的先驗信息，還利用了圖像自身的自相似性，使得超分辨率圖像包含更多的細節(jié)信息。不同算法在標準數(shù)據(jù)集上的超分辨率結(jié)果分別如圖6和圖7所示。

圖6 Set5數(shù)據(jù)集超分辨率結(jié)果

圖7 Set14數(shù)據(jù)集超分辨率結(jié)果

從圖6和圖7可以看出，ZSSR和TTSR的視覺效果較為模糊，與原始圖像相比丟失了大部分細節(jié)和紋理信息，這是因為無監(jiān)督算法ZSSR和TTSR僅從圖像自身獲取先驗信息，缺少外部信息。DAN在視覺上感覺良好，但圖像整體表現(xiàn)過于平滑，無法有效辨別紋理細節(jié)。RCAN和MSWSR與ZSSR和TTSR的視覺效果相接近，都較為模糊。所提算法與其他算法相比，更接近于原始高分辨率圖像，包含較多的紋理細節(jié)信息，輪廓也較為清晰。

大量低分辨率圖像對應的高分辨率圖像都難以獲取，且低分辨率圖像的退化過程未知，面對真實刑偵場景下的超分辨率問題時，大多數(shù)算法的普適性不強。所提算法在不利用成對數(shù)據(jù)訓練網(wǎng)絡的情況下，獲得的超分辨率圖像包含豐富的紋理信息，且視覺效果良好，適用于真實情況下大量成對樣本難以獲取以及退化過程未知的情況。為了驗證所提算法在真實場景下的超分辨率算法性能，選取兩張真實刑偵圖像作為測試圖像，并與其他5種超分辨率算法進行視覺效果對比，結(jié)果分別如圖8和圖9所示。圖8為車牌圖像，可以看出，所提算法比其他5種算法的后保險杠和車牌上的紋理更加明顯，車牌的輪廓和字符的邊緣也更清晰。圖9為人物圖，雖然圖像分辨率過低無法辨識其面部信息，但可以看出，所提算法比其他5種算法恢復了更多的紋理信息，這是因為所提算法有效結(jié)合了圖像內(nèi)部和外部訓練樣本所提供的先驗信息。此外，真實場景下的低分辨率圖像大都經(jīng)過壓縮算法的處理，存在人工壓縮痕跡，導致所提算法在恢復細節(jié)信息的同時，也對圖像上的壓縮痕跡也進行了放大，使得超分辨率圖像出現(xiàn)色彩失真的情況。但是，所提算法恢復的紋理細節(jié)較多，有利于刑偵過程中根據(jù)恢復的細節(jié)尋找相關線索，適用于真實刑偵場景的需要。

圖8 真實刑偵圖像(一)超分辨率結(jié)果

圖9 真實刑偵圖像(二)超分辨率結(jié)果

4 結(jié)語

基于循環(huán)生成對抗網(wǎng)絡和元學習的刑偵圖像超分辨率算法重建模型的整體學習過程均使用非成對的訓練樣本，適用于真實情況下大量成對訓練樣本難以獲取以及退化過程未知的情況。在僅有非成對訓練樣本時，由生成對抗網(wǎng)絡生成偽樣本對，再以監(jiān)督的方式訓練超分辨率網(wǎng)絡，使網(wǎng)絡性能接近監(jiān)督式學習的算法性能，結(jié)果上優(yōu)于大量運用非成對樣本訓練的無監(jiān)督算法，能夠適應真實的刑偵場景。另外，模型從非成對的外部訓練圖像獲取先驗信息，利用自然圖像內(nèi)部的重復相似性，憑借元學習策略降低梯度反向傳播的次數(shù)，縮短運行時間，速度上符合實際應用的要求。實驗結(jié)果表明，所提算法在運行時間上具有一定的優(yōu)勢，在性能上接近監(jiān)督式算法的性能，且在真實刑偵圖像的超分辨率中，獲得了良好的視覺效果。