基于泰勒公式的網(wǎng)絡結構超分辨率算法

胡聲輝，楊曉敏

(四川大學電子信息學院，成都 610065)

0 引言

圖像超分辨率的目標是從低分辨率圖像中獲取信息來重建高分辨率圖像。圖像超分辨率廣泛的應用于多個領域，如：醫(yī)學圖像處理、人臉識別、高清圖像生成等。實際上，圖像超分辨率是一個不適定問題，這意味著他存在著不止一種方法來重建高分辨率圖像。大體的有三種方式，基于重建的方法，基于重建的方法和基于學習的方法。

近年來，深度學習發(fā)展迅速，基于此方法的圖像超分辨率也得到了很好的效果。董超等人[1]參考了稀疏表示和字典學習的方式，第一次提出了一個三層的端到端卷積神經(jīng)網(wǎng)絡結構來處理圖像超分辨率任務，這種方式比傳統(tǒng)方法操作更簡便，圖像處理效果更好。自此，圖像超分辨率努力地方向被吸引到了提高卷積神經(jīng)網(wǎng)絡的性能。之前工作把大部分精力放在了通過引入更多的參數(shù)并加深網(wǎng)絡的深度來提高圖像的精度中，缺忽略了網(wǎng)絡模型所占用的計算資源。網(wǎng)絡計算量和存儲量的增加導致了訓練難度的劇增，并且如此規(guī)模網(wǎng)絡的網(wǎng)絡很難應用到實際的應用場景中。其次，之前的研究都將網(wǎng)絡的每一層來處理由上一層傳遞過來的所有的圖像結構和特征的信息流，都沒有區(qū)分不同的頻率信息。而實質上，不同頻率的圖像信息有對應的紋理和結構，應該得到不同的處理。泰勒展開公式指出可以用函數(shù)在某一點的各階導數(shù)值做系數(shù)構建一個多項式來近似表達這個函數(shù)，這與圖像頻帶的分布及處理非常相似。因為圖像也可以用數(shù)個主要的頻帶來近似的表示，并且處理圖像只需處理這幾個頻帶的圖像信息。在這篇文章中，我們引入了泰勒展開公式的結構來構建我們的網(wǎng)絡模型。而基于泰勒公式的網(wǎng)絡模型由數(shù)個處理對應頻帶信息的模塊組成，以此來逐漸恢復分層次的圖像信息流。

圖像信息流在經(jīng)過不同模塊的處理后精度雖然會提高，但信息會有所損失，所以必須得由之前模塊的信息作為補充來修正信息流。密集連接可以解決這一困擾并且得到很好的效果圖像，模型泛化能力和表征性能都得到明顯提高。

1 算法實現(xiàn)

1.1 算法描述

在本節(jié)中，我們在頻域中處理圖像的方法與泰勒公式之間建立了聯(lián)系，并將此概念應用于卷積神經(jīng)網(wǎng)絡結構設計中。

通常來說，一幅圖像可以由不同頻率的特征信息所組成的。換句話說，一幅自然圖像可以被分解成一系列不同頻帶的圖像信息。實際工作中也是類似的處理，將圖片信息分成多頻帶信息，然后用不同的方式分別處理對應的頻帶信息。在圖像融合領域中的研究[2]和超分辨率領域中的研究[3]表明，分別處理分解后的頻帶信息流可以得到很好的效果。這種處理模式與泰勒展開公式中，將原函數(shù)微分并分解至各階導數(shù)的加權和的形式非常類似，我們可以從這種結構中獲得設計網(wǎng)絡的靈感。泰勒公式具體如下表示：

事實上，我們不可能照顧到所有頻帶的信息流，在大多數(shù)情況下，研究或者工程都僅處理主要的頻帶信息而忽略那些對結果影響不大的超高頻信息。同樣泰勒展開公式也可以應用于獲得實際情況的近似值，如下列公式描述的那樣，可以逐漸增加階次N以逼近函數(shù)的真實值。

泰勒展開公式傳遞出了一個理念函數(shù)值可以由分解出來的各階導數(shù)的加權和來表示。而在實際處理中，我們僅取前面幾階導數(shù)的加權來獲得近似值P(x)。而o((x-x0)n)可以表示為函數(shù)的誤差，這個誤差的大小取決于所取的階數(shù)N的大小來決定，隨著N的增大，誤差必然會隨之減小。顯然，在泰勒展開公式和圖像頻域處理之間存在著的聯(lián)系。每一階導數(shù)對應著一個頻帶信息，而近似值P(x)與處理之后的圖像對應。如果我們將超分辨率卷積神經(jīng)網(wǎng)絡看成一個函數(shù)，那么我們就可以應用上述公式的理念來構建卷積神經(jīng)網(wǎng)絡模型。一般來說，我們可以通過將第一次處理的圖像與原圖像相減的方式獲得補充的高頻圖像信息，之后將得到的高頻信息圖像當作基礎圖像，并再次處理它。之后重復數(shù)次之前的操作并得到更高頻率的圖像信息。最后將原圖像與得到的各個高頻率圖像相加當作輸出圖像。反向投影第一次用在圖像超分辨率領域是在DBPN[4]一文中，實際上這種方式是通過圖像上采樣與下采樣獲得殘差信息，并將此加以利用。而EBRN[3]利用反向投影所產生的殘差信息當作高頻信息，并逐漸產生更高頻的圖像分量。但這種方式在高分辨率空間處理信息，增加了更多的參數(shù)量和計算量。實際上，在低分辨率圖像中濾波器已經(jīng)具備很強的泛化能力了，因此我們構建基于泰勒公式的網(wǎng)絡模塊(TF-Inspired Block，TIB)僅在低分辨率空間處理信息流就可以模擬圖像的頻域處理操作。這個模塊的組成參見圖1，模塊的功能由函數(shù)fTIB，n表示。TIB的函數(shù)表達式如下：

圖1 TIB模塊結構示意圖

1.2 基于泰勒公式的網(wǎng)絡結構的整體框架

模塊TIB在基于泰勒公式的網(wǎng)絡結構起著補充高頻信息的關鍵性作用。我們假設訓練整個網(wǎng)絡以達到能使圖像從低分辨率圖像映射到高分辨率圖像的能力。為了達到這一目標，整個網(wǎng)絡需要多個模塊去逐漸處理信息流來提升整個網(wǎng)絡的性能。這些模塊一般是以串聯(lián)的方式連接，但這種連接方式會導致信息流逐漸損失并加大了訓練難度。串聯(lián)模式下，模塊之間可采用跳躍連接的方式將之前準確的信息流傳遞直接傳遞到后面的模塊幫助修正信息流。特別來說，密集連接也就是多個跳躍連接將所有模塊用的濾波器連接的方式，提取并融合特征和結構信息，這極大提高了信息的利用率。在本文中，我們提出的基于泰勒公式的模塊密集連接，這種模塊群可以使我們的網(wǎng)絡性能有最優(yōu)的表現(xiàn)。

從圖2中可見，整個網(wǎng)絡由三個部分組成：特征提取模塊(Feature Extraction Block，F(xiàn)EB)，處理功能模塊：基于泰勒公式的網(wǎng)絡模塊群(TF-Inspired Dense Blocks，TIDB)，上采樣重建模塊(Reconstruction Block，RB)。首先圖像信息流分為兩路，其中一路直接進行原始圖像上采樣，另外一路經(jīng)過學習得到低分辨率圖像到高分辨率圖像所缺少的殘差信息，稱為殘差圖像。整個網(wǎng)絡模塊中我們都使用PreLU作為激活函數(shù)，Conv(s，m)表示一個卷積濾波器，Deconv(s，m)表示反卷積濾波器，其中表示卷積濾波器的尺寸，表示卷積層數(shù)。ILR、OSR分別表示處理功能模塊TIDB的輸入和輸出，In、On則表示第n個TIB模塊的輸入和輸出。FEB模塊提取的原始低分辨率圖像ILR中的特征結構信息，輸出為O0。RB模塊由一個反卷積濾波器Deconv(k，m)和一個Conv(3，m)組成，并且每個濾波器后都有一個激活函數(shù)保證非線性映射能力。Deconv(k，m)中的k根據(jù)所需要的上采樣的倍數(shù)因子決定。倍數(shù)因子為2到4倍時，k的取值相應為6到8。最后將原始圖像上采樣對應倍數(shù)后的圖像與學習的得到的殘差圖像相加就得到了所需的超分辨率圖像。

圖2 網(wǎng)絡整體框架

2 實驗結果

本文參考文獻[5]，使用含有800張訓練樣本圖的DIV2K數(shù)據(jù)集作為我們的訓練數(shù)據(jù)集，采用雙三次插值的方法將原高分辨率圖像下采樣至低分辨率圖像，并且都使用與文獻[6]一致的方式增廣所有的圖像。本文分別在5個標準數(shù)據(jù)集：Set5、Set14、B100、Urban100、Manga109等上采用峰值信噪比(Peak Signal-To-Noise Ratio，PSNR)，結構相似性指數(shù)(Structural Similarity Index，SSIM)兩個客觀指標在RGB通道上來驗證我們的超分辨率結果。

本次實驗中將模塊的參數(shù)設置為N=4，D=3，同時模塊之間采用密集連接進一步提升模型的性能，通過數(shù)種客觀指標及可視化的評估以證明所提出算法模型的優(yōu)秀性能。本實驗中我們對比了近些年來4種典型的基于卷積神經(jīng)網(wǎng)絡的圖像超分辨輕網(wǎng)絡模型算法，這4種算法是：DRRN、MemNet、CARN，OISR-RK2-s。本文提出的基于泰勒公式的網(wǎng)絡結構超分辨率算法(TIDN)在本實驗中與上述4種算法分別在2、3、4倍圖像放大系數(shù)基礎上對比網(wǎng)絡的性能以及所需的參數(shù)量和計算量的大小。實驗將從客觀指標和視覺感知兩方面進行對比。

表1是各個算法在5種驗證集下的客觀指標所取得的值。其中PSNR和SSIM的數(shù)值越大表示圖像效果越好，算法越優(yōu)越。在相同的圖像表現(xiàn)前提下，算法所占用的參數(shù)量和計算量越小越好。從表1可以看出，文中所提的基于泰勒展式的網(wǎng)絡結構超分辨率算法確實能有效地對低分辨率圖像信息進行更好地提取和補充高分辨率信息。

表1 客觀指標對比結果

從圖3中可以看出我們的算法得出的超分辨率圖像在結構性的紋理修復細節(jié)上比其他4種算法能力更強，恢復出的圖像細節(jié)的結構更接近原始圖像。這表明了我們提出的網(wǎng)絡算法的優(yōu)越性。

圖3 對比實驗4倍放大的細節(jié)表現(xiàn)

4 結語

本文基于泰勒公式提出了超分辨率網(wǎng)絡模型，這種模型具有強大的性能，能漸進地處理圖像的細節(jié)。我們的網(wǎng)絡結構仍有改進的空間，在保證網(wǎng)絡泛化性能前提下，繼續(xù)降低參數(shù)使用量以確保模型的優(yōu)越性。