基于退化學(xué)習(xí)的圖像超分辨綜述

陳紅，周耀東

（西華大學(xué)計(jì)算機(jī)與軟件工程學(xué)院，成都610039）

0 引言

人們生活逐漸被網(wǎng)絡(luò)滲透，數(shù)字圖像作為可視化的信息載體得到了高度關(guān)注。而在數(shù)字成像系統(tǒng)中超分辨率的研究是很重要的探索方向，尤其是在醫(yī)療、監(jiān)控、壓縮等領(lǐng)域。圖像超分辨技術(shù)按退化原理可以分為監(jiān)督退化的圖像超分辨率和無(wú)監(jiān)督退化的圖像超分辨率。監(jiān)督退化是先假設(shè)出了一個(gè)圖像退化模型，這個(gè)模型模擬了自然環(huán)境下的高分辨率圖像如何退化為人眼觀察到的低分辨率圖像[3-4]，然后經(jīng)過(guò)逆過(guò)程得到超分辨率結(jié)果。其常用的有兩種模型，一種是先用模糊內(nèi)核與高分辨率圖像卷積，再使用具有縮放因子的雙三次下采樣器作用于卷積后的高分辨率圖像得到小尺寸的低分辨率圖像，最后再加上一加性高斯白噪聲(AWGN)。Kim 等人[3]采用另一種簡(jiǎn)化的模型，直接把高分辨率圖像通過(guò)雙三次下采樣器得到退化圖像。無(wú)監(jiān)督退化的提出是為了仿制真實(shí)的低分辨到高分辨的超分過(guò)程，提出的模型與現(xiàn)實(shí)的情況存在很大的區(qū)別。本文著重對(duì)圖像超分辨率方法分兩類進(jìn)行闡述和分析，以向人們展示圖像超分辨率技術(shù)的發(fā)展方向和應(yīng)用前景。

1 監(jiān)督退化的圖像超分辨率

監(jiān)督學(xué)習(xí)的圖像超分辨率，基本上是學(xué)習(xí)了人為設(shè)計(jì)的圖像降質(zhì)過(guò)程的逆過(guò)程，需要先構(gòu)成LR-HR 的圖像對(duì)，采用雙三次下采樣的方法將高分辨率圖像縮小為低分辨率圖像，這種方法是現(xiàn)階段主要的研究方式。監(jiān)督學(xué)習(xí)是從成對(duì)的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)（模型參數(shù)），輸入一個(gè)低分辨率圖像通過(guò)這個(gè)函數(shù)得到高分辨率圖像；監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入輸出，也可以說(shuō)是低分辨率圖像和高分辨率圖像；訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。監(jiān)督學(xué)習(xí)就是最常見(jiàn)的分類問(wèn)題，通過(guò)已有的訓(xùn)練樣本（即已知數(shù)據(jù)及其對(duì)應(yīng)的輸出）去訓(xùn)練得到一個(gè)最優(yōu)模型（這個(gè)模型屬于某個(gè)函數(shù)的集合，最優(yōu)表示某個(gè)評(píng)價(jià)準(zhǔn)則下是最佳的），再利用這個(gè)模型將所有的輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單的判斷從而實(shí)現(xiàn)分類的目的。監(jiān)督學(xué)習(xí)的目標(biāo)往往是讓計(jì)算機(jī)去學(xué)習(xí)我們已經(jīng)創(chuàng)建好的分類系統(tǒng)（模型），但是在超分辨中是為了學(xué)習(xí)低到高的映射關(guān)系，輸入一張低分辨率圖像最后可以得到一張放大的高清圖像。

從基于傳統(tǒng)的字典學(xué)習(xí)到基于深度學(xué)習(xí)的超分辨率方法已經(jīng)很成熟了，Yang 等人[1]提出了基于圖像塊的稀疏表示圖像超分辨，明顯降低了計(jì)算成本，顯著加快算法速度。文獻(xiàn)[24-25]中Freedman 等人[6]提出了基于示例的超分辨框架，不依賴外部示例數(shù)據(jù)庫(kù)，也不使

用整個(gè)輸入圖像作為示例補(bǔ)丁的源，而是在自然圖像上遵循局部自相似假設(shè)，并從輸入圖像中極其局部的區(qū)域提取補(bǔ)丁。大量從外部低分辨率和高分辨率示例圖像對(duì)中學(xué)習(xí)映射功能[1,2,9-10]。近年來(lái)，許多基于深度學(xué)習(xí)的圖像超分辨在網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)策略、參數(shù)效率上提出創(chuàng)新[3,11-17]。Dong 等人[11]開(kāi)創(chuàng)了在超分辨率工作中運(yùn)用深度學(xué)習(xí)的先河，結(jié)構(gòu)簡(jiǎn)單，僅僅使用了三個(gè)卷積層。Shi 等人[12]對(duì)SRCNN 提出了改進(jìn)，為了降低復(fù)雜度，直接在低分辨率圖像尺寸上提取特征，最后使用亞像素卷積層放大得到高分辨率圖像。Ledig 等人[15]為了增強(qiáng)細(xì)節(jié)信息，提出了感知損失函數(shù)。下面介紹兩種常用的監(jiān)督退化學(xué)習(xí)的超分辨方法。

1.1 基于字典學(xué)習(xí)的超分辨

對(duì)超分辨率方法的字典訓(xùn)練，預(yù)先構(gòu)建高低分辨率圖像對(duì)，由于在現(xiàn)實(shí)生活中真實(shí)的實(shí)驗(yàn)數(shù)據(jù)很難采集，所以將清晰的圖像進(jìn)行下采樣和添加加性高斯白噪聲等操作得到低分辨率圖像。設(shè)Y∈Rn表示為原始高分辨率圖像，X∈Rm表示為降質(zhì)處理后得到的低分辨率圖像，HR 圖像和LR 圖像之間的關(guān)系可以表示為：

S 表示下采樣因子，B 為模糊算子，n 為加性高斯白噪聲。

將低分辨率圖像X∈Rn圖像雙三次方插值得到和高分辨率圖像相同大小的低分辨率圖像M∈Rn。將所有的M 圖像分成若干個(gè)3×3 或者5×5 之類的小塊，小塊之間有1×1 或者2×2 之類的重疊區(qū)域，對(duì)應(yīng)的Y 圖像同樣對(duì)應(yīng)坐標(biāo)位置，分成小塊。對(duì)低分辨率圖像塊做特征提取操作，通過(guò)4 個(gè)濾波器提取低分辨率塊圖像的特征信息，4 個(gè)濾波器依次定義為：

每個(gè)圖像塊可以產(chǎn)生相應(yīng)地4 個(gè)特征向量，合并后得到最后的特征表示。因?yàn)槊總€(gè)低分辨率圖像塊的特征表示都將其鄰近信息編碼進(jìn)去，這將更好地促進(jìn)最終SR 重建圖像的相鄰塊之間相互兼容。

接下來(lái)隨機(jī)初始化字典Dh和Dl并訓(xùn)練。訓(xùn)練過(guò)程如下：

上面方法是對(duì)兩個(gè)字典分開(kāi)訓(xùn)練，式中?1范數(shù)‖ ‖·1為了保證稀疏度，?2范數(shù)‖ ‖·2對(duì)字典的列向量進(jìn)行約束。

通過(guò)對(duì)兩字典同時(shí)訓(xùn)練可以節(jié)省時(shí)間，Yang 等人采樣聯(lián)合字典訓(xùn)練，假定對(duì)高分辨率字典和低分辨率字典的稀疏表示是相似的，則可以用相同的編碼來(lái)表示高分辨率和低分辨率圖像塊，上面公式聯(lián)合得到：

式中N 和M 分別表示Y 和X 向量形式的維度，接下來(lái)一般采用交替優(yōu)化方法，先對(duì)字典固定，更新Z 值：

最終得到D 和Z。

1.2 基于深度學(xué)習(xí)的超分辨

最近幾年深度學(xué)習(xí)在處理圖像、文本、語(yǔ)音的任務(wù)上表現(xiàn)出了一定的優(yōu)勢(shì)，所以基于深度學(xué)習(xí)做超分辨也得到了廣泛關(guān)注，涌現(xiàn)了大量的文章[31-35]。以下是對(duì)近年基于深度學(xué)習(xí)超分辨方法的部分分析，表1 是部分分類。

影響超分辨效果的因素有很多，例如數(shù)據(jù)集的多少、學(xué)習(xí)策略、評(píng)價(jià)指標(biāo)等。這幾年在基于深度學(xué)習(xí)的方法中這些因素都有體現(xiàn)，文獻(xiàn)[21]和[22]在網(wǎng)絡(luò)設(shè)計(jì)上改進(jìn)，文獻(xiàn)[23]使用感知損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)。雖然改進(jìn)方法很多，但是大致的框架流程是差不多，先提取圖像塊特征，建立映射關(guān)系，最后圖像重建。圖1 展示了大致的流程：

圖1 基于深度學(xué)習(xí)超分辨網(wǎng)絡(luò)結(jié)構(gòu)

圖1 是最簡(jiǎn)單的直接學(xué)習(xí)低分辨率到高分辨率映射的網(wǎng)絡(luò)結(jié)構(gòu)，提取特征是將圖像分成小塊提取特征，中間的卷積網(wǎng)絡(luò)可以看做許多的卷積層，通過(guò)不斷地訓(xùn)練調(diào)整參數(shù)，最后低分辨率圖像通過(guò)學(xué)習(xí)的參數(shù)得到高分辨率圖像。深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的主要模塊是卷積，池化，激活，這是一個(gè)標(biāo)準(zhǔn)的非線性變換模塊。隨著深度學(xué)習(xí)的發(fā)展，更深的結(jié)構(gòu)模型，意味著更好的非線性表達(dá)能力，可以學(xué)習(xí)更加復(fù)雜的變換，從而可以擬合更加復(fù)雜的特征輸入。然而隨著網(wǎng)絡(luò)深度的加深可能導(dǎo)致，梯度不穩(wěn)定，這就有可能出現(xiàn)網(wǎng)絡(luò)加深，性能反而開(kāi)始下降。殘差網(wǎng)絡(luò)[17]的提出，解決了之前網(wǎng)絡(luò)結(jié)構(gòu)較深時(shí)無(wú)法訓(xùn)練的問(wèn)題，也提高了性能。文獻(xiàn)[26]結(jié)合了之前的字典學(xué)習(xí)提出了的殘差字典學(xué)習(xí)，將低分辨圖像與高分辨圖像的殘差高頻信息學(xué)習(xí)出來(lái)。圖2展示了基于殘差學(xué)習(xí)的圖像超分辨。

圖2 基于殘差學(xué)習(xí)的超分辨網(wǎng)絡(luò)

圖2 中網(wǎng)絡(luò)輸入的是低分辨率圖像通過(guò)插值后變成目標(biāo)像素的低分辨率圖像，再將這個(gè)圖像與網(wǎng)絡(luò)學(xué)到的殘差相加得到最終的輸出。殘差網(wǎng)絡(luò)用來(lái)處理超分辨問(wèn)題再合適不過(guò)，其原因在于輸入的低分辨率圖像和輸出的高分辨率圖像在很大程度上是相似的，也就是指低分辨率圖像攜帶的低頻信息與高分辨率圖像的低頻信息相近，在訓(xùn)練階段帶上這冗余部分會(huì)多花費(fèi)大量的時(shí)間，實(shí)際上我們只需要學(xué)習(xí)高分辨率圖像和低分辨率圖像之間高頻部分的殘差圖像即可。之后改進(jìn)基于殘差學(xué)習(xí)的網(wǎng)絡(luò)提出了很多方法，何愷明[16]第一次將遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)融入圖像超分辨任務(wù)，而Tai等人[18]對(duì)一些殘差網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了分析調(diào)整，提高了網(wǎng)絡(luò)性能。

2 無(wú)監(jiān)督退化的圖像超分辨率

深入了解一些如今做超分的方法，會(huì)發(fā)現(xiàn)大家都是先將原圖HR 進(jìn)行下采樣得到LR，再用LR 作為輸入，經(jīng)過(guò)設(shè)計(jì)的超分算法，得到SR，與原來(lái)的HR 計(jì)算圖像質(zhì)量指標(biāo)，如PSNR、SSIM 等。這個(gè)流程跟我們的實(shí)際應(yīng)用場(chǎng)景相差甚遠(yuǎn)，需要做超分的輸入圖片，大多數(shù)都沒(méi)有經(jīng)過(guò)下采樣，即使是有圖像質(zhì)量壓縮，模式也是未可知的，遠(yuǎn)遠(yuǎn)不是用某個(gè)函數(shù)下采樣就能模擬出來(lái)。所以針對(duì)現(xiàn)實(shí)生活中低分辨率圖像的模糊核未知且對(duì)應(yīng)的高分辨率圖像不存在的問(wèn)題提出了無(wú)監(jiān)督退化學(xué)習(xí)，所謂無(wú)監(jiān)督的訓(xùn)練，就是指在訓(xùn)練過(guò)程是不需要配對(duì)的圖像對(duì)去用于訓(xùn)練。

目前無(wú)監(jiān)督超分辨率方法很少，Zhang[19]設(shè)計(jì)了一個(gè)新的SISR 退化模型，利用現(xiàn)有的盲去模糊方法進(jìn)行模糊核估計(jì)，文章給出的實(shí)驗(yàn)效果很好，但是經(jīng)過(guò)實(shí)驗(yàn)后發(fā)現(xiàn)，在未知模糊核的情況下效果仍待改進(jìn)。自2014 年Ian Goodfellow 提出了GAN（Generative Adver?sarial Network）以來(lái)，對(duì)GAN 的研究可謂如火如荼，各種GAN 的變體[28-30]不斷涌現(xiàn)。Kupyn 等人[27]實(shí)現(xiàn)了一種基于GAN 盲運(yùn)動(dòng)去模糊的方法，即在沒(méi)有關(guān)于模糊核信息的前提下，給定模糊圖像，復(fù)原清晰圖像。Ledig等人[15]利用GAN 增強(qiáng)了超分效果，提出了感知損失函數(shù)，它包含了對(duì)抗損失和內(nèi)容損失，對(duì)抗損失采用了一個(gè)判別器網(wǎng)絡(luò)，使結(jié)果更加接近原始自然圖像，但它不是無(wú)監(jiān)督退化的方法。最近Zhao 等人[2]提出了一種無(wú)監(jiān)督退化學(xué)習(xí)的單圖像超分辨，利用生成對(duì)抗網(wǎng)絡(luò)模擬真實(shí)的超分辨過(guò)程。生成對(duì)抗網(wǎng)絡(luò)主要分成兩個(gè)部分，一個(gè)是生成器，顧名思義它的功能是生成數(shù)據(jù)；一個(gè)是判別器，用來(lái)判斷生成的數(shù)據(jù)的真假。如圖3 顯示了簡(jiǎn)單的無(wú)監(jiān)督退化超分辨生成對(duì)抗結(jié)構(gòu)。

在這個(gè)網(wǎng)絡(luò)中，雙向結(jié)構(gòu)一致性被利用于去訓(xùn)練退化和超分辨率重構(gòu)網(wǎng)絡(luò)，以一種非監(jiān)督的方式，退化網(wǎng)絡(luò)可以通過(guò)使用生成對(duì)抗網(wǎng)絡(luò)去建模從高分辨率到低分辨率的退化過(guò)程，然后這些生成的逼真的低分辨率圖像和現(xiàn)實(shí)生活中的高分辨率圖像用于去訓(xùn)練超分辨率重構(gòu)的網(wǎng)絡(luò)，形成第一個(gè)循環(huán)。然后在第二個(gè)逆循環(huán)中，實(shí)際生活中的低分辨率圖像被用于進(jìn)一步去穩(wěn)定SR 重構(gòu)和退化網(wǎng)絡(luò)的訓(xùn)練。在合成的和實(shí)際生活的圖像上的大量實(shí)驗(yàn)表明提出的算法在對(duì)比最先進(jìn)的單圖像超分辨率方法都能變現(xiàn)更出色。

圖3 無(wú)監(jiān)督學(xué)習(xí)超分辨網(wǎng)絡(luò)

3 結(jié)語(yǔ)

現(xiàn)代社會(huì)網(wǎng)絡(luò)迅猛發(fā)展，通過(guò)圖片、視頻展示和傳遞信息成為一種日常的操作。因而對(duì)圖像質(zhì)量的要求也越來(lái)越高，由于設(shè)備、技術(shù)、距離等限制，導(dǎo)致許多成像系統(tǒng)所得到的圖像不能滿足實(shí)際需要，所以圖像超分辨率技術(shù)的出現(xiàn)可以解決這些問(wèn)題。圖像超分辨率在視頻、遙感、醫(yī)學(xué)和安全監(jiān)控等領(lǐng)域具都有十分重要的應(yīng)用，另外其應(yīng)用也逐步涉及到其他各個(gè)領(lǐng)域。在高清數(shù)字電視方面采用超分辨率技術(shù)會(huì)進(jìn)一步減少成本，提高畫面的質(zhì)量。超分辨率技術(shù)在采集軍事與氣象遙感圖像應(yīng)用可實(shí)現(xiàn)高于系統(tǒng)分辨率的圖像觀測(cè)。在醫(yī)學(xué)成像系統(tǒng)中（如CT、MRI 和超聲波儀器等），可以用圖像超分辨率技術(shù)來(lái)提高圖像質(zhì)量，對(duì)病變目標(biāo)進(jìn)行仔細(xì)的檢測(cè)。在銀行、證券等部門的安全監(jiān)控系統(tǒng)中，當(dāng)有異常情況發(fā)生后，可對(duì)監(jiān)控錄像進(jìn)行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線索。單圖像超分辨率是一個(gè)具有挑戰(zhàn)性的研究問(wèn)題，具有重要的現(xiàn)實(shí)生活應(yīng)用，在未來(lái)超分辨技術(shù)廣泛的應(yīng)用前景必然會(huì)推動(dòng)這一技術(shù)不斷發(fā)展。

深度卷積神經(jīng)網(wǎng)絡(luò)在單幅圖像上的超分辨率取得了非常好的效果，人們?cè)诰W(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)策略等方面，提出了不同的方法，并獲得了令人振奮的創(chuàng)新。未來(lái)既可以從無(wú)監(jiān)督退化學(xué)習(xí)的方面進(jìn)行改進(jìn)，也可以改進(jìn)損失函數(shù)來(lái)提升性能。