改進的卷積神經網絡紅外圖像超分辨率算法

廖小華，陳念年，蔣 勇，祁世風

改進的卷積神經網絡紅外圖像超分辨率算法

廖小華，陳念年，蔣 勇，祁世風

（西南科技大學 計算機科學與技術學院，四川 綿陽 621010）

基于卷積神經網絡的圖像超分辨率算法可以分為圖像尺寸放大和圖像細節(jié)恢復/增強兩個步驟，在細節(jié)恢復過程中，卷積層直接從輸入圖像中學習特征并將該特征作為下一個卷積層的輸入數據。為了加強輸入圖像和卷積層各通道圖像的特征表達能力，提出了一種新的卷積神經網絡算法，該算法對輸入圖像和通道圖像進行選擇性灰度變換而增強特征表達的能力。實驗結果表明，在公共紅外圖像數據集和實驗室采集的紅外圖像數據集上，所提方法的超分辨率重建效果均優(yōu)于當前的幾種典型算法，能夠恢復的細節(jié)信息更多。

紅外圖像；超分辨率；深度學習；灰度變換

0 引言

紅外熱像儀利用紅外探測器獲取目標和背景的輻射熱量之差而形成紅外圖像。因為紅外成像技術具有隱蔽性好、穿透性強、辨識性高等優(yōu)點，紅外圖像在軍事、航天、監(jiān)控、工業(yè)等領域中得到了廣泛應用[1]。由于紅外光波容易被大氣中的水分吸收及紅外成像系統的限制性[2]，紅外圖像存在空間分辨率低、成像質量差等問題。圖像超分辨率重建技術是指利用單幀或多幀低分辨率圖像恢復一幀高分辨率圖像的圖像處理技術。相較于研究如何突破硬件上的障礙，運用圖像處理技術以提高圖像質量是一種更加經濟實用的方法[3]。

目前，可見光圖像超分辨率重建技術的研究集中于空域[4]，空域的重建算法主要分為插值法[5]、重構法[6]和學習法。受限于低分辨率圖像內部先驗信息的匱乏，插值法與重構法獲取的重建圖像仍然不能滿足業(yè)界對高分辨率圖像的需求。學習法是一種利用圖像外部先驗信息的方法，通過將大量高分辨率圖像和低分辨率圖像進行成對訓練以獲取樣本對之間的映射關系從而實現圖像的超分辨率重建。

基于學習的圖像超分辨率方法主要有字典學習法和深度學習法。Yang[7]等假定高分辨率和低分辨率圖像具有相同的稀疏表示系數，通過聯合學習獲取訓練圖像的過完備字典而完成單幀圖像超分辨率重建。由于稀疏表示兼具圖像壓縮的作用，所以通過字典學習的方式獲得的圖像存在過平滑現象。隨著深度學習的發(fā)展，Dong[8]等提出一種基于卷積神經網絡的圖像超分辨率重建算法（Image Super-Resolution Using Deep Convolutional Networks，SRCNN），不同于字典學習法，SRCNN實則為一種基于空間濾波的圖像處理技術。因為SRCNN中包含了有限多個可供訓練的卷積核，因此理論上SRCNN可以提取目標圖像的任何特征以達到提高圖像分辨率的目的。Kim[9]等提出殘差卷積神經網絡算法用于圖像超分辨率重建，殘差網絡避免了深層卷積網絡難以訓練的問題。卷積層的加深會帶來大量的訓練參數，Kim[10]等提出遞歸卷積神經網絡算法，該算法通過多個卷積層共享參數的方式減少了訓練參數。Tai[11]等結合殘差網絡和遞歸網絡的優(yōu)點提出深度遞歸殘差網絡算法，該算法利用遞歸學習減少訓練參數的同時輔以殘差學習，使得網絡層數達到了52層之多，在當時取得了目前技術水平的實驗效果。Jia[12]等提出一種多尺度的卷積神經網絡算法，利用兩種不同尺寸的卷積核在輸入圖像上進行特征提取而重建出理想的高分辨率圖像。文獻[8-12]均采用了先對目標低分辨率圖像插值放大再進行圖像細節(jié)恢復/增強的策略，這表明低分辨率目標圖像在整個超分辨率重建過程中只有尺寸放大的步驟而無尺寸縮小的處理。Haris[13]等提出一種基于迭代反投影思想的卷積神經網絡算法，該算法可以讓低分辨率圖像隨著卷積層的推進而實現圖像尺寸的放大與縮小。

基于卷積網絡的圖像超分辨率算法實際分為圖像尺寸放大和圖像細節(jié)恢復/增強兩個步驟，但無論是只有尺寸放大還是既有尺寸放大也有尺寸縮小的神經網絡，此類算法均存在以下問題：卷積網絡直接在輸入圖像上進行特征提取且未給予各卷積層輸出的特征圖像過多地關注。由于紅外圖像存在對比度低、細節(jié)信息大量丟失等問題，若直接在低分辨率紅外圖像上進行特征的提取，則難以保證獲取到足夠有效的特征信息；再者，卷積層各通道的特征圖像也存在特征表達能力不足的情況。針對上述存在的問題，本文結合灰度變換提出一種改進的卷積神經網絡算法，通過對輸入圖像和特征圖像進行選擇性灰度變換而增強其表達特征的能力。在不采取子塊化處理的情況下對紅外低分辨率圖像進行訓練，得到一種新的基于深度學習的圖像超分辨率重建算法。

1 本文方法

1.1 卷積網絡與灰度變換

卷積神經網絡圖像超分辨率算法是一種基于空間濾波的圖像處理方法，卷積網絡可以通過一系列的卷積核提取輸入圖像的不同特征。因為卷積核較多，所以一個訓練好的卷積網絡能夠提取出圖像超分辨率重建所需的多種圖像特征，最終對不同的特征圖像進行融合而實現圖像超分辨率重建。圖1展示了卷積網絡提取到的部分特征圖像以及對應的輸入圖像和標簽圖像。

圖1中，(a)和(b)分別表示輸入圖像和標簽圖像，(c)～(f)表示卷積網絡中部分通道提取到的特征圖像。其中，(d)表示該網絡對圖中人物較感興趣。

前已述及，當前基于深度學習的圖像超分辨率重建算法分成圖像尺寸放大和圖像細節(jié)恢復/增強兩個步驟?；叶茸儞Q[14]作為一種簡單且有效的數字圖像增強技術而倍受關注。徐軍[15]等首先將紅外圖像分割成目標區(qū)、過渡區(qū)和背景區(qū)3種區(qū)域，然后對各區(qū)域進行不同方式的灰度變換而完成紅外圖像的增強處理。本文采用馬爾科夫隨機場算法對實驗室采集到的紅外圖像進行區(qū)域分割，分割的結果如圖2所示。

圖2 馬爾科夫隨機場圖像分割

圖2中，(a)表示原始圖像，(b)表示分割結果，(c)～(e)表示紅外圖像分割出來的不同區(qū)域。其中，(c)表示在圖像恢復/增強過程中的關注對象為圖中人物，(d)表示關注對象為圖中的樹木和建筑，(e)表示關注對象為圖中的地面區(qū)域。

綜上，可以認為紅外圖像的不同區(qū)域等同于卷積神經網絡中不同通道提取的特征圖像。因為對紅外圖像的不同區(qū)域進行不同的灰度變換可以達到有效恢復/增強圖像的目的，那么，若對卷積網絡的特征圖像也進行有選擇的灰度變換，則有望進一步提高卷積神經網絡的超分辨率重建效果。

1.2 改進的卷積神經網絡

為了增強輸入圖像和特征圖像的特征表達能力，本文結合灰度變換對SRCNN網絡結構進行加強處理，提出一種改進的卷積神經網絡算法并實現了針對紅外圖像的超分辨率重建。所提算法對輸入的低分辨率紅外圖像進行可訓練的灰度變換，這直接提高了輸入圖像的特征表達能力；對特征圖像進行選擇性灰度變換，則間接加強了輸入圖像中的有效特征且對無效的特征進行抑制。本文算法的神經網絡結構如圖3所示，圖3的算法完整流程為：

Step 1：讀入待超分辨率重建的圖像并進行插值放大，得到神經網絡的輸入數據；

Step 2：低分辨率圖像在進入第一個卷積層之前進行一次灰度變換以增強輸入圖像的特征表達能力，令經過灰度拉伸的輸入圖像為0：

0＝11×(1)

Step 3：對0進行第一次卷積運算，得到第一個卷積層的輸出0：

0＝1*0＋1(2)

Step 4：對特征圖0的各個通道分別進行灰度變換，令增強后的0為1：

1＝2×0＋2,＝1, 2, …,0(3)

Step 5：將1進行第二次卷積運算，得到第二個卷積層的輸出2：

2＝2*1＋2(4)

Step 6：對特征圖2的各個通道分別進行灰度變換，令增強后的2為3：

3＝3×2＋3,＝1, 2, …,2(5)

Step 7：將3進行第三次卷積運算，得到神經網絡的輸出圖像：

＝3*3＋3(6)

Step 8：令：

＝{1,2,3,1,2,3,11,2,3,2,3}

則待優(yōu)化的損失函數為：

Step9：更新神經網絡的參數并進行下一輪迭代，制止迭代終止或Loss滿足給定的閾值條件。

當要求圖像卷積之后的尺寸不變時，圖像分塊化操作會加重卷積運算的計算量，本文所提算法與SRCNN均不對圖像進行分塊操作。

2 實驗與分析

本實驗使用的軟硬件平臺為：Linux操作系統Ubuntu16.04，Intel XeonE5-1630 v3@3.7GHz四核處理器，16GB內存，Nvidia GTX1080Ti 11GB顯卡。實驗程序在Tensorflow1.2框架下使用Python2.7.15語言編寫。

2.1 數據集與評價指標

文中以公共紅外圖像數據集TNO（TNO Image Fusion Dataset）和實驗室采集的紅外圖像進行實驗分析，對TNO中的紅外圖像進行數據增強而得到288張訓練數據和48張驗證數據，測試數據為實驗室采集的紅外圖像。數據增強的方式為：①進行4個角度的旋轉（45°，90°，135°，180°）；②4個尺寸的縮放（1/2，1/3，1/4，1/5）；③5個比例的裁剪（0.3，0.5，0.6，0.8，0.9）；④2個方向的翻轉（水平、垂直）。經增強后的部分紅外圖像如圖4所示。

采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）作為評價指標，PSNR的定義為：

式中：MSE（mean-square error，MSE）表示兩幅圖像之間的均方誤差，MSE的定義為：

圖3 改進的卷積神經網絡

圖4 數據增強

2.2 消融實驗

為了驗證灰度變換對增強卷積網絡超分辨率重建效果的有效性，本文分別以數據集Image91和Set5作為訓練集和測試集進行2倍放大驗證實驗，所得結果如圖5、圖6所示。

如圖5，Proposed-Line-Line表示21、2、2、3、3均存在且可訓練，即對輸入圖像和特征圖像都進行線性灰度變換；Proposed-Line-No表示11存在且可訓練，即只對輸入圖像進行線性灰度變換，而特征圖像不進行灰度變換；Proposed-No-Line表示2、2、3、3均存在且可訓練，即對輸入圖像不進行灰度變換，而對特征圖像進行線性灰度變換；SRCNN表示11、2、2、3、3均不存在，即不對輸入圖像和特征圖像進行線性灰度變換。

圖5 2倍率下不同添加方式的線性灰度變換PSNR曲線

圖6 2倍率下線性灰度變換與非線性灰度變換的PSNR曲線

因此，由Proposed-No-Line和SRCNN可知對卷積后的特征圖進行灰度變換有利于圖像超分辨率重建；由Proposed-Line-No和Proposed-No-Line可知對輸入圖像進行灰度變換比對卷積后的特征圖進行灰度變換更有利于圖像超分辨率重建，這存在的一種解釋是對輸入圖像進行灰度變換可以提高低分辨率圖像像素之間的差異性，從而直接增強低分辨率圖像的特征表達能力并間接提升卷積運算提取特征的能力；由Proposed-Line-Line可知對輸入圖像和卷積后的特征圖分別進行灰度變換有利于提高圖像超分辨率重建的效果。

如圖6，Proposed-Exp-Line表示11、2、2、3、3均存在且可訓練，即對輸入圖像進行指數灰度變換，而對卷積后的特征圖進行線性灰度變換；Proposed-Exp-No表示11存在且可訓練，即對輸入圖像進行指數灰度變換，而對卷積后的特征圖不進行灰度變換。

因此，由Proposed-Line-Line和Proposed-Exp-Line可知對輸入圖像進行線性灰度變換比指數灰度變換更能提高算法的重建效果，這存在的一個解釋是線性變換會對全局像素進行相同的對比度拉伸或壓縮，而指數變換具備局部拉伸和局部壓縮的雙重特點。相比之下，線性變換更容易提升低分辨率圖像的特征表達能力。

2.3 不同算法的結果比較

將本文算法與經典算法進行比較，以公共紅外圖像數據集TNO進行模型的訓練與驗證，以實驗室采集的紅外圖像進行算法測試。采用峰值信噪比作為定量評估指標，并繪制出不同迭代次數時模型的重建效果曲線。

受實驗環(huán)境、迭代次數的影響，實驗結果與SRCNN原文獻略有不同，但文中所提算法與復現的SRCNN在數據處理方式和實驗參數設置方面均保持一致。圖7展示了所提方法與SRCNN在3倍放大尺寸下峰值信噪比隨迭代次數的變化曲線。能夠看出，相比于SRCNN，本文方法的重建效果和收斂速度都有所提高。

圖7 3倍率下不同算法的PSNR曲線

表1給出了不同算法在公共數據集上的PSNR對比；圖8給出了不同算法在實驗室采集的紅外圖像上的視覺效果比較。

由表1、圖8(a)～(e)可知，本文提出的算法在超分辨率重建效果上均優(yōu)于幾種經典算法；由圖8(f)～(g)可知，SRCNN的重建圖像邊緣較寬，這表明從SRCNN中恢復的紅外圖像其梯度信息不如本文提出的算法。

表1 3倍率下不同算法對公共紅外圖像的超分辨率重建比較

圖8 3倍率下不同算法對實驗室采集圖像的超分辨率重建比較

3 結論

本文在現有的卷積神經網絡上進行改進，根據灰度變換和空間濾波各自的優(yōu)勢提出一種新型神經網絡算法并應用于紅外圖像超分辨率重建。將文中方法與經典重建算法進行比較，實驗結果表明，提出的算法能夠恢復更多的細節(jié)信息并加快神經網絡的收斂速度。

目前，基于深度學習的圖像超分辨率重建技術研究主要集中在卷積層如何連接上，這制約了此類算法的進一步發(fā)展，新型網絡結構單元的設計在今后的研究中應該被重視。

[1] 陳錢. 紅外圖像處理技術現狀及發(fā)展趨勢[J]. 紅外技術, 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J]., 2013, 35(6): 311-318.

[2] 江靜, 張雪松. 圖像超分辨率重建算法綜述[J]. 紅外技術, 2012, 34(1): 24-30.

JIANG Jing, ZHANG Xuesong. A Review of Super-resolution Reconstruction Algorithms[J]., 2012, 34(1): 24-30.

[3] 李方彪, 何昕, 魏仲慧, 等. 生成式對抗神經網絡的多幀紅外圖像超分辨率重建[J]. 紅外與激光工程, 2018, 47(2): 26-33.

LI Fangbiao, HE Xin, WEI Zhonghui, et al. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]., 2018, 47(2): 26-33.

[4] YUAN Q, ZHANG L, SHEN H. Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering[J]., 2013, 22(6): 2327-2342.

[5] ZHOU F, YANG W M, LIAO Q M. Interpolation-based image super-resolution using multisurface fitting [J]., 2012, 21(7): 3312-3318.

[6] Simon Baker, Takeo Kanad. Limits on super -resolution and how to break them[J]., 2002, 24(9): 1167-1183.

[7] YANG J C, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[8] DONG C, Loy C C, HE K, et al. Image Super-Resolution Using Deep Convolutional Networks[J].., 2014, 38(2):295-307.

[9] Kim J, Kwon Lee J, Lee K M. Accurate image superresolution using very deep convolutional networks[C]//, 2016: 1646-1654.

[10] Kim J, Kwon Lee J, Lee K M. Deeply-recursive convolutional network for image super-resolution[C]//, 2016: 1637-1645.

[11] TAI Y, YANG J, LIU X. Image Super-Resolution via Deep Recursive Residual Network[C]//2017(CVPR), 2017: 2790-2798.

[12] JIA X Y, XU X M, CAI B. (2018) Single Image Super-Resolution Using Multi-scale Convolutional Neural Network[C]//, 2017: 149-157.

[13] Haris M, Shakhnarovich G, Ukita N. Deep back-projection networks for super-resolution[C]//, 2018: 1664-1673.

[14] 孔琛, 孫堅. 線性灰度變換算法在紅外測溫系統中應用[J]. 紅外技術, 2008, 30(8): 465-467.

KONG Chen, SUN Jian. Application of the Linear Gray Level Transformation Method in Infrared Temperature Measurement System[J]., 2008, 30(8):465-467.

[15] 徐軍, 梁昌洪, 張建奇. 一種紅外圖像增強的新方法[J]. 西安電子科技大學學報, 2000(5): 546-549.

XU Jun, LIANG Changhong, ZHANG Jianqi. A new approach to IR image enhancement[J]., 2000(5): 546-549.

Infrared Image Super-resolution Using Improved Convolutional Neural Network

LIAO Xiaohua，CHEN Niannian，JIANG Yong，QI Shifeng

(Southwest University of Science and Technology, College of Computer Science and Technology, Mianyang 621010, China)

Image super-resolution algorithms based on convolution neural network can be classified into two steps: image size enlargement and image detail recovery/enhancement. During the detail recovery process, the convolution layer learns the feature directly from the input image and takes the feature as the input data of the next convolution layer. In this study, a novel convolution neural network algorithm is proposed to enhance the feature expression ability of input and channel images in convolution layers by the selective gray transformation of the input and channel images. The experimental results demonstrate that the super-resolution reconstruction effect of the proposed method is superior to several typical algorithms in both conventional infrared images and the infrared images collected from our laboratory, and the proposed method can be applied to recover more details.

infrared image, super-resolution, deep learning, gray scale transform

TP39

A

1001-8891(2020)01-0075-06

2019-07-08；

2019-12-17.

廖小華（1991-），男，湖南懷化人，碩士研究生，主要研究方向為數字圖像處理。E-mail：xiaohualiao0319@163.com。

陳念年（1977-），男，碩士，副教授，碩士研究生導師，主要從事機器視覺高精密測量、圖像處理方向的研究。E-mail：cnnnet@qq.com

西南科技大學研究生創(chuàng)新基金（19ycx0054）。