基于卷積神經(jīng)網(wǎng)絡(luò)的圖像紋理的超分辨率重建

蔣 雪，韓 芳

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201600)

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像紋理的超分辨率重建

蔣 雪，韓 芳

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201600)

目前，深度學(xué)習(xí)已經(jīng)在圖像超分辨率重建上表現(xiàn)出不錯的性能，但是對某些紋理細(xì)節(jié)還原度不高。針對此問題，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的紋理的超分辨率重建算法。首先用梯度算子提取圖像的紋理特征，再將圖像按照紋理進(jìn)行分類，最后用卷積神經(jīng)網(wǎng)絡(luò)對同一類別的樣本集進(jìn)行超分辨率重建。實(shí)驗(yàn)證明，該算法能夠恢復(fù)一定的紋理信息，而且對同類紋理的重建結(jié)果優(yōu)于已有算法。

圖像處理；卷積神經(jīng)網(wǎng)絡(luò)；超分辨率重建；紋理特征

0 引言

超分辨率圖像重建(Super-Resolution Image Reconstruction，SRIR或SR)就是圖像復(fù)原的一種，它通過信號處理或者圖像處理的方法，將低分辨率(Low-Resolution，LR)圖像或序列轉(zhuǎn)化為高分辨率(High-Resolution，HR)圖像。圖像分辨率是指單位英寸中所包含的像素點(diǎn)數(shù)，是評判圖像質(zhì)量的一個重要指標(biāo)。所以較高分辨率的圖像包含更多的信息，能夠提供更豐富的細(xì)節(jié)。

圖像成像的基本理念是通過圖像重建模型生成的HR圖像與原本的LR輸入圖像盡可能地一致。最初，Harris和Goodman通過對單幅圖像進(jìn)行線性插值和樣條函數(shù)插值實(shí)現(xiàn)了單幅圖像超分辨率(Single Image Super-Resolution, SISR)重建。但是圖像插值的方法主要是增強(qiáng)了邊緣信息，而包含的信息量沒有相應(yīng)地提高。

基于學(xué)習(xí)的單幀超分辨率問題是近年來研究的一個熱點(diǎn)，又稱為基于樣例(Example-based)的超分辨率。典型的有稀疏表達(dá)[1](Sparse Representation)和機(jī)器學(xué)習(xí)的方法。稀疏表達(dá)是分別訓(xùn)練高分辨率和低分辨率圖像塊字典(過完備基)，使得任意的圖像塊都能用此字典線性稀疏地表達(dá)，并且同一個圖像塊對應(yīng)的低分辨率和高分辨率字典的線性表達(dá)式一致。機(jī)器學(xué)習(xí)的方法是通過訓(xùn)練大量的樣本對，建立高低分辨率圖像之間的映射關(guān)系。例如，F(xiàn)REEMAN W T[2]的馬爾科夫隨機(jī)場(Markov Random Field, MRF)以及Dong Chao[3]等人的超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network，SRCNN)。

1 本文算法

目前，基于樣例的超分辨率算法都是以各種類型的圖像作為樣例，例如稀疏表達(dá)的方法是希望建立一個完備的字典，任意的低分辨率圖像都能通過此字典進(jìn)行線性的表達(dá)而得到高分辨率圖像。基于卷積神經(jīng)網(wǎng)絡(luò)的算法也是將各種類型的圖像作為樣本集，希望任何圖像都能通過此網(wǎng)絡(luò)得到超分辨率重建。然而，實(shí)際情況是此類算法只能對圖像進(jìn)行一定程度的還原，或者說只能恢復(fù)某些圖像塊。

通過對超分辨率重建算法的研究發(fā)現(xiàn)，大部分模型對邊緣的識別度高，能夠恢復(fù)一定的邊緣信息，但是對紋理豐富的圖像塊的還原度較差。例如，有連續(xù)邊緣的圖像、邊緣不平滑的圖像等。再對這些圖像塊做進(jìn)一步研究，發(fā)現(xiàn)具有同樣紋理特征的HR，其對應(yīng)的LR的恢復(fù)偏差也類似。如圖1所示，圖1(a)是原圖，圖1(b)是用卷積神經(jīng)網(wǎng)絡(luò)重建的HR，圖1(c)是兩圖的恢復(fù)偏差。灰色的像素點(diǎn)表示兩圖的像素值基本相等，白色表示重建的像素值偏亮，黑色相反。從圖1可以發(fā)現(xiàn)恢復(fù)偏差圖像具有明暗線條相間的特征，而且有一部分圖像的恢復(fù)偏差都具有此特征。假設(shè)具有相同恢復(fù)偏差的圖像塊也具有相同的從低分辨率到高分辨率的映射關(guān)系。因此，本文的算法是針對具有相同紋理特征的圖像進(jìn)行超分辨率重建，訓(xùn)練出的模型只還原此類紋理特征。

圖1 用卷積神經(jīng)網(wǎng)絡(luò)重建后與原始圖像的偏差

本文的算法主要分為兩個步驟：先對圖像樣本進(jìn)行紋理分類，再用卷積神經(jīng)網(wǎng)絡(luò)對同種類型的樣本進(jìn)行訓(xùn)練。

1.1 紋理分類

紋理是指圖像中局部或者整體在分布上具有某種規(guī)律的特征現(xiàn)象。紋理特征提取就是用定量化的數(shù)字來表示這種規(guī)律的特征分布。紋理特征可分為4種類型：統(tǒng)計(jì)型、模型型、信號處理型和結(jié)構(gòu)型。統(tǒng)計(jì)的方法[4]是基于像元及其鄰域的灰度屬性, 研究像元及其鄰域內(nèi)灰度的一階、二階或高階統(tǒng)計(jì)特性。本文就是采用此類算法，用梯度算子得到圖像的灰度的一階特性，再對此特性進(jìn)行統(tǒng)計(jì)得到特征表示量。

梯度算子是圖像處理中經(jīng)常使用的一階導(dǎo)數(shù)方法。用灰度導(dǎo)數(shù)的大小來表示灰度變化，其計(jì)算公式為：

(1)

dx(i,j)=[I(i+1,j)-I(i-1,j)]/2

(2)

dy(i,j)=[I(i,j+1)-I(i,j-1)]/2

(3)

(4)

(5)

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法

目前，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像超分辨率重建上表現(xiàn)出不錯的性能，如SRCNN、FSRCNN[5]和VDSR[6]。FSRCNN的網(wǎng)絡(luò)層采用較小的卷積核，輸入采用沒有用插值算法放大的原始低分辨率圖像，通過減小特征圖的大小和需要訓(xùn)練的參數(shù)來提高網(wǎng)絡(luò)訓(xùn)練的速度。而VDSR是一個20層的卷積神經(jīng)網(wǎng)絡(luò)，通過增加網(wǎng)絡(luò)的層數(shù)來提高超分辨率模型的性能。

一般的超分辨率模型都是根據(jù)圖像特征的線性組合得到重構(gòu)圖像HR，但是在經(jīng)過多層的特征提取后，很難保證能完全保留輸入的所有細(xì)節(jié)。于是VDSR里提到用殘差學(xué)習(xí)(Residual-Learning)來解決這個問題。由于輸入圖像和輸出圖像很大程度上相似，因此將輸出圖像與輸入圖像之差作為殘差圖像。網(wǎng)絡(luò)只需重構(gòu)出殘差圖像，而不用完全恢復(fù)圖像的所有細(xì)節(jié)。實(shí)驗(yàn)證明，用殘差學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)，會達(dá)到更好的重構(gòu)效果，所以本文也采用了此法。

圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率模型

網(wǎng)絡(luò)模型設(shè)定為7層的卷積神經(jīng)網(wǎng)絡(luò)，每層的卷積核大小為3，前6層的卷積核數(shù)量為64，最后一層為1，激活函數(shù)采用修正線性單元(Rectified Linear Unit，ReLU)，卷積層的表達(dá)式如下：

(6)

(7)

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)設(shè)置

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是在caffe上進(jìn)行，GPU為GTX-960，設(shè)定的初始學(xué)習(xí)率為0.000 1，學(xué)習(xí)方法采用隨機(jī)梯度下降法。在訓(xùn)練過程中，若訓(xùn)練測試集的準(zhǔn)確率在一段時間內(nèi)沒有下降，將學(xué)習(xí)率下調(diào)50%。最后訓(xùn)練的迭代次數(shù)為850 000，選擇測試集準(zhǔn)確度最高的模型作為最終模型。

2.2 實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)結(jié)果中，選取圖像庫Set5里紋理較為豐富的圖像塊作為測試集，并與雙三次插值法、SCSR[1]、SRCNN以及VDSR作比較。圖3和圖4表示了當(dāng)放大倍數(shù)為3時各圖像塊的還原效果以及客觀評價指標(biāo)峰信噪比(Peak Signal to Noise Ratio, PSNR)?？梢杂^察到，本文算法能夠恢復(fù)一定的紋理細(xì)節(jié)，并且對紋理信息豐富的圖像塊具有更優(yōu)越的復(fù)原效果。

圖3 選自Set5里baby的圖像塊的超分辨率重建結(jié)果

圖4 選自Set5里butterfly的圖像塊的超分辨率重建結(jié)果

PSNR是比較兩個圖像相似度的評價指標(biāo)，對兩個圖像相同位置的像素值之差進(jìn)行定量計(jì)算，PSNR值越高說明恢復(fù)的圖像越接近原圖像。此外，還有一種評價圖像相似度的指標(biāo):結(jié)構(gòu)相似性(Structural Similarity, SSIM)。相比PSNR只考慮單個像素值的誤差，SSIM是從圖像全局出發(fā)來對圖像的結(jié)構(gòu)進(jìn)行相似性評價。SSIM越高說明兩個圖像的結(jié)構(gòu)越相似。本文采取這兩種評價指標(biāo)，選取Set5和Set14里紋理較為豐富的圖像塊，進(jìn)一步對上述5個算法作比較。由表1和表2可以看出，對于同類的圖像塊，本文算法在圖像像素值和圖像結(jié)構(gòu)相似度上都高于其他算法，說明本文算法的確對相同類型的圖像塊具有更好的還原效果。

表1 不同算法實(shí)驗(yàn)結(jié)果的PSNR對比

表2 不同算法實(shí)驗(yàn)結(jié)果的SSIM對比

實(shí)驗(yàn)證明，基于紋理的超分辨率重建算法對相同特征紋理的重建結(jié)果優(yōu)于普通的超分辨率算法。針對某種紋理特征的超分辨率模型能夠提高此類紋理圖像的復(fù)原效果。并且本文使用的分類方法提取的數(shù)據(jù)集占總數(shù)據(jù)集的20%，同時平均提高了0.1的PSNR值。由此推斷，如果采用同一類別相似度更高的分類方法對數(shù)據(jù)集進(jìn)行更細(xì)致的劃分，應(yīng)該會進(jìn)一步地提高超分辨率模型的性能。這也是未來需要探討的問題。

3 結(jié)論

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的紋理的超分辨率重建方法，先對圖像進(jìn)行紋理特征的分類，再針對一種類型的圖像構(gòu)建超分辨率模型。對于同類的紋理圖像，本文的算法優(yōu)于目前已有的算法。但是，此方法有一些需要改進(jìn)之處。對紋理特征分類，目的是使相同類型的圖像塊具有相同的從低分辨率到高分辨率的映射關(guān)系，但是本文的分類方法并不能完全達(dá)到這個效果。所以還需進(jìn)一步地改進(jìn)紋理的分類方法。

[1] Yang Jianchao, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010, 19(11):2861-2873.

[2] FREEMAN W T,PASZTOR E C. Learning low-level vision[J]. International Journal of Computer Vision, 2000, 40(1):25-47.

[3] Dong Chao, CHEN C L, He Kaiming, et al. Learning a deep convolutional network for image super-resolution[C]. European Conference on Computer Vision (ECCV),2014, 8692:184-199.

[4] 劉麗, 匡綱要. 圖像紋理特征提取方法綜述[J]. 中國圖象圖形學(xué)報, 2009, 14(4):622-635.

[5] Dong Chao, Chen C L, Tang Xiaoou. Accelerating the super-resolution convolutional neural network[C]. European Conference on Computer Vision (ECCV), 2016,9906: 391-407.

[6] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[J]. CVPR 2016, 2016:1646-1654.

Image texture super-resolution reconstruction based on convolutional neural network

Jiang Xue, Han Fang

(School of Information Science and Technology, Donghua University, Shanghai 201600, China)

At present, deep learning performs well in super resolution reconstruction. However, some texture information is not reconstructed well enough. To solve this problem, we proposed a texture super-resolution reconstruction algorithm based on convolution neural network (CNN). We firstly extract texture features using gradient operator and classify the images according to their texture features. And then, for the same category of image samples, a super-resolution reconstruction model is built based on CNN. The experiments show that this algorithm can restore some texture information very well, and the results are better than other algorithms.

image processing; convolutional neural network(CNN); super-resolution reconstruction; texture feature

TP183

A

10.19358/j.issn.1674- 7720.2017.20.017

蔣雪，韓芳.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像紋理的超分辨率重建[J].微型機(jī)與應(yīng)用，2017,36(20)：57-60.

2017-03-25)

蔣雪(1993-)，女，碩士，主要研究方向：深度學(xué)習(xí)、圖像超分辨率。

韓芳(1981-)，通信作者，女，博士，副教授，主要研究方向：神經(jīng)動力學(xué)、智能算法、深度學(xué)習(xí)等。E-mail:yadiahan@163.com。