基于深度卷積生成對抗網(wǎng)絡模型的超分辨數(shù)據(jù)重建

宋俊芳

摘要：深度卷積生成對抗網(wǎng)絡的超分辨任務包括生成網(wǎng)絡和判別網(wǎng)絡建模過程。實現(xiàn)分為尋找到低分辨圖與高分辨圖之間的關系模型和利用量化后的關系將低分辨圖像通過恢復生動紋理和顆粒細節(jié)達到高分辨圖兩步。方法重建的圖像可為高精度的目標檢測提供保障。

關鍵詞：深度卷積；生成對抗網(wǎng)絡；超分辨重建；低分辨圖像；高分辨圖像

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2018）06-0075-01

1 深度學習超分辨重建

超分辨任務是指將同一場景的低分辨圖變?yōu)楦叻直鎴D的過程，任務的難點是要對知高分辨圖退化為低分辨圖的機理，作出合理的假設（如低分辨率圖完全擁有用于推理預測其所對應的高分辨率的部分信息），來逆向（低分辨到高分辨）建模倒逼，尋找這種內(nèi)蘊性的表達。目前比較流行的就是采用深度學習的思路訓練這樣的網(wǎng)絡模型，較為經(jīng)典的如基于深度卷積生成式對抗網(wǎng)絡的超分辨任務。它包括兩個部分，生成網(wǎng)絡（可用各種深度神經(jīng)網(wǎng)絡，如卷積神經(jīng)網(wǎng)絡、深度置信網(wǎng)絡等）與判別網(wǎng)絡（帶有二分類器的各種深度神經(jīng)網(wǎng)絡）；其中生成網(wǎng)絡用于將低分辨圖變?yōu)楦叻直鎴D，也稱偽高分辨圖；判別網(wǎng)絡用于區(qū)分真實的高分辨圖和偽高分辨圖，進而實現(xiàn)指導生成網(wǎng)絡的過程；需要注意的是偽高分辨圖與真實高分辨圖的尺寸是—致的。優(yōu)化時，需要滿足判別網(wǎng)絡盡可能以最大的概率判別真?zhèn)危瑫r又需要生成網(wǎng)絡得到的偽高分辨圖盡可能與真實的高分辨圖分布特性一致，即判別網(wǎng)絡以最小的概率將生成的偽高分辨圖判斷為真實的高分辨圖。當生成式對抗網(wǎng)絡訓練完成后，取出生成網(wǎng)絡部分怦可實現(xiàn)低分辨圖到高分辨圖的恢復；其中的求解仍采用交替迭代，即固定判別網(wǎng)絡時，優(yōu)化生成網(wǎng)絡的參數(shù)；同理，固定生成網(wǎng)路時，優(yōu)化判別網(wǎng)絡的參數(shù)。

2 深度卷積對抗式生成網(wǎng)絡建模

生成式對抗網(wǎng)絡是一個整體架構，其中的生成模型和判別模型可以采用各種深度神經(jīng)網(wǎng)絡，唯一不一樣的是它包含兩個網(wǎng)絡。而深度卷積對抗生成網(wǎng)絡模型是將生成模型與判別模型都采用傳統(tǒng)卷起神經(jīng)網(wǎng)絡的架構來實現(xiàn)。下面分別對生成模型和判別模型如何用卷積神經(jīng)網(wǎng)絡實現(xiàn)數(shù)據(jù)的輸入-輸出作出描述。

2.1 生成模型構建

假設模型的輸入噪聲z服從均勻分布下的采樣即：R100～ ，如何利用卷積神經(jīng)網(wǎng)絡得到穩(wěn)定的輸出（即得到生成圖像，其尺度與自然圖像的尺寸一致），可以將傳統(tǒng)卷積神經(jīng)網(wǎng)絡替換為轉置卷積神經(jīng)網(wǎng)絡，其池化操作被轉置或者微步卷積層替代，它可以被看作是傳統(tǒng)卷積操作的一種逆向傳遞過程。

2.2 判別模型構建

判別模型的輸入是自然數(shù)據(jù)和生成模型的輸出數(shù)據(jù)，輸出是所對應的類標1和0；這一部分仍采用傳統(tǒng)的經(jīng)典卷積神經(jīng)網(wǎng)絡模型實現(xiàn)，如LetNet5，VGGNet等。改進之處是將所有的池化層被卷積操作代替，并且真?zhèn)畏诸惼鞒怂粚油?，所有的隱層使用的非線性函數(shù)修正為線性單元的改進版Leaky ReLU。而判別模型中的卷積流、卷積、非線性和批量歸一化保持不變。

3 任務實現(xiàn)

超分辨任務包括兩部分：（1）尋找到低分辨圖與高分辨圖之間的關系模型；（2）利用量化后的關系將低分辨圖像通過恢復生動紋理和顆粒細節(jié)等以達到高分辨圖的效果。具體過程如圖1所示，輸入為低分辨圖，輸出為重建的相對高分辨圖，當整個網(wǎng)絡收斂時，取出圖中左下腳的虛線部分，并將對應的生成圖像作為最后恢復的高分辨圖像。

詳細算法步驟如下：

輸入：采集圖像，人工獲取的高分辨率圖像訓練樣本。

輸出：和高分辨率圖像同樣尺寸的生成圖像。

（1）初始化深度卷積網(wǎng)絡參數(shù)：，通過深度卷積網(wǎng)絡獲取得到對應的特征圖；初始化深度對抗網(wǎng)絡參數(shù)：初始化目標函數(shù)參數(shù)：。（2）對判別模型參數(shù)和生成模型參數(shù)進行交替迭代優(yōu)化。（3）取出生成網(wǎng)絡部分即只關注生成模型，輸入低分辨圖，通過深度卷積網(wǎng)絡預測其輸出。

4 結語

將深度卷積生成對抗式網(wǎng)絡模型用于圖像的超分辨重建，在生成網(wǎng)絡和判別網(wǎng)絡中都引入深度轉置卷積神經(jīng)網(wǎng)絡，所有的池化層被卷積操作代替，并且真?zhèn)畏诸惼鞒怂粚油?，所有隱層使用的非線性函數(shù)修正為線性單元的改進版Leaky ReLU。結果使得用該方法重建圖像，不僅清晰度變好，且邊緣信息得到了很好的保留，可為高精度的目標檢測與分類識別提供保障。

參考文獻

[1]張喜升.對抗樣本和生成對抗網(wǎng)絡——深度學習中的對抗方法綜述[D].南開大學，2016.

[2]虢齊.基于深度學習的圖像生成技術研究與應用[D].電子科技大學，2017.

[3]朱純，王翰林，魏天遠，等.基于深度卷積生成對抗網(wǎng)絡的語音生成技術[J].儀表技術，2018，（2）：13-15+20.

[4]滕達，宋曉，龔光紅，等.深度神經(jīng)網(wǎng)絡圖像識別魯棒性增強方法研究[C].中國體視學與圖像分析學術會議.2015.

Abstract：The super-resolution task of deep convolution generation against network includes generation network and discriminative network modeling process. The realization is divided into finding the relationship model between the low-resolution map and the high-resolution map and using the quantified relationship to achieve the high-resolution map by recovering the low-resolution image through vivid texture and particle details. The reconstructed image can provide high-precision target detection.

Key words：deep convolution； generation of confrontation network； super-resolution reconstruction； low-resolution image； high-resolution image