深度學(xué)習(xí)實時視頻超分辨率重建實驗設(shè)計

彭智勇， 黃揚鈚， 秦祖軍， 梁紅珍

（1.桂林電子科技大學(xué)光電工程學(xué)院，廣西桂林 541004；2.桂林生命與健康職業(yè)技術(shù)學(xué)院，廣西桂林 541001）

0 引 言

影像超分辨率重建是指通過軟件算法從低分辨率的圖像、視頻中恢復(fù)出紋理清晰的高分辨率圖像或視頻，最早由Harris［1］和Goodman［2］提出。超分辨率重建是后期圖像識別、處理、測量的基礎(chǔ)，是圖像處理領(lǐng)域中的基礎(chǔ)熱點問題，特別是基于深度學(xué)習(xí)的影像超分辨率重建技術(shù)由于其高性能，近年很多學(xué)者進行了深入的研究?；谏疃葘W(xué)習(xí)的視頻超分辨率重建技術(shù)可以分為基于單幀圖像的幀內(nèi)超分辨率重建和基于多幀視頻的幀間超分辨率重建。

基于單幀圖像的幀內(nèi)超分辨率重建，有很多學(xué)者基于深度學(xué)習(xí)提出了超分辨率重建模型，如：VDSR［3］、ESPCN［4］、ClassSR［5］等?；趲瑑?nèi)圖像的超分辨率重建算法由于僅考慮幀內(nèi)特征信息，忽略了視頻序列的幀間相關(guān)，性能較好的超分辨率重建算法計算量和內(nèi)存損耗過大；結(jié)構(gòu)簡單算法則特征信息不能充分利用，重建效果不好。基于多幀視頻的幀間超分辨率重建，有VESPCN［6］、FRVSR［7］、RBPN［8］等，此類算法往往將已經(jīng)完成超分辨率重建的幀作為后續(xù)特征提取的輸入，當(dāng)連續(xù)幀之間存在較大變化時，往往存在嚴重偽影及誤差累積，并且現(xiàn)有深度學(xué)習(xí)超分辨率重建算法運算復(fù)雜，還不能實現(xiàn)實時超分辨率重建。

本文設(shè)計了基于深度學(xué)習(xí)的實時視頻超分辨率重建研究型實驗。針對視頻特點，在利用幀內(nèi)特征的同時也利用幀間特征，解決處理速度慢的問題，實現(xiàn)實時超分辨率重建。該實驗將GhostModule 結(jié)構(gòu)應(yīng)用于循環(huán)遞歸神經(jīng)網(wǎng)絡(luò)并結(jié)合殘差結(jié)構(gòu)設(shè)計一個快速的視頻超分辨率網(wǎng)絡(luò)，采用具有多級跳躍連接殘差映射，以解決循環(huán)卷積神經(jīng)網(wǎng)絡(luò)中存在梯度消失的風(fēng)險，從而能長時間保存高頻紋理信息，在取得較好重建效果的情況下實現(xiàn)實時視頻超分辨率重建。

1 實驗設(shè)計

1.1 實驗算法原理

1.1.1 整體結(jié)構(gòu)設(shè)計

循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）［9］可以對時域特征進行很好的建模，廣泛應(yīng)用于自然語言處理的研究，并可用于提煉視頻幀間時域特征。Kim等［3］提出的殘差結(jié)構(gòu)超分辨率重建網(wǎng)絡(luò)VDSR，該結(jié)構(gòu)加深了卷積神經(jīng)網(wǎng)絡(luò)的深度，具有較好的超分辨率重建性能，VDSR 采用的全局的殘差結(jié)構(gòu)，盡管有效地把低層特征傳遞到高層，但沒有充分利用中間層的特征，導(dǎo)致重建的圖像紋理細節(jié)不夠清晰。本文在傳統(tǒng)RCNN 的基礎(chǔ)上，受到VDSR的啟發(fā)，設(shè)計了結(jié)合殘差結(jié)構(gòu)的RCNN，實時視頻超分辨率重建網(wǎng)絡(luò)整體結(jié)構(gòu)（見圖1）。

圖1 實時視頻超分辨率重建網(wǎng)絡(luò)整體結(jié)構(gòu)示意圖

新的網(wǎng)絡(luò)結(jié)構(gòu)與VDSR 處理方法相似，網(wǎng)絡(luò)分為兩條支路。在初始階段，上面的支路對視頻當(dāng)前幀LRt進行雙三次方線線性插值得到初始的高分辨率圖像；下面的支路進行殘差學(xué)習(xí)，對輸入進行循環(huán)特征提取，并把得到的高頻特征信息輸入到亞像素卷積層對殘差圖像放大。最后通過殘差圖像和初始的高分辨率圖像相加，得到最后的當(dāng)前幀超分辨率圖像SRt。其中，PixelShuffler（2）是一放大2 倍的上采樣模塊，在圖1結(jié)構(gòu)中以放大4 倍為例通過2 個PixelShuffler（2）共放大到4 倍。在整體結(jié)構(gòu)上，新網(wǎng)絡(luò)與VDSR 不同的是，VDSR在當(dāng)前圖像輸入的特征行提取模塊之前就進行放大，因此后面的特征提取是在高分辨率圖像上進行運算，這無疑增加了計算量。而本文實驗針對低分辨率影像通過RNN網(wǎng)絡(luò)循環(huán)進行特征提取，最后才對殘差圖像進行放大，能有效減少計算量并保證處理效果。算法實現(xiàn)的重點為循環(huán)特征提取模型的設(shè)計。

1.1.2 循環(huán)特征提取模塊設(shè)計

GhostModule［10］網(wǎng)絡(luò)基于一組原始的特征圖，結(jié)合一系列線性變換，以很小的計算代價生成許多從原始特征發(fā)掘所需信息的“幻影”特征圖，從而通過低的計算成本生成了更多的特征圖。GhostModule 網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)結(jié)構(gòu)參數(shù)量對比如下式表示：

式中：p1為傳統(tǒng)結(jié)構(gòu)的參數(shù)量；p2為GhostModule 網(wǎng)絡(luò)的參數(shù)量；假設(shè)特征提取模塊的輸入和輸出通道數(shù)量均為f；k為卷積核的大?。ㄟ@里取3 × 3）；r為GhostModule的比例參數(shù)。由式（1）2 個參數(shù)之比得

當(dāng)k取值較大時，分母后半部分可忽略不計，此時c≈r，即相比于傳統(tǒng)網(wǎng)絡(luò)。GhostModule 具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，更大的感受野，且參數(shù)量是普通卷積層的1／r，從而GhostModule網(wǎng)絡(luò)具有強的特征提取能力及小的算法量。

圖2 所示為運用GhostModule 設(shè)計循環(huán)特征提取模塊示意圖，其中圖2（b）為本文特征提取模塊內(nèi)部結(jié)構(gòu)，與傳統(tǒng)的循環(huán)塊［見圖2（a）］相比，設(shè)計的循環(huán)塊由GhostModule和隱藏信息與輸出分支結(jié)構(gòu)兩部分組成。該循環(huán)塊采用具有多級跳躍連接層之間的殘差映射，解決了循環(huán)卷積神經(jīng)網(wǎng)絡(luò)中存在梯度消失的缺陷，同時確保了流暢的信息流，并能夠長時間的保存高頻紋理信息，從而網(wǎng)絡(luò)更容易地處理更長的視頻幀序列。

圖2 循環(huán)特征提取模塊示意圖

由圖2（b）可知，新的循環(huán)特征提取模塊把當(dāng)前幀It、前一幀It-1（t為影像幀編號，t＝0，1，…n-1），它們之間的隱藏信息和上一個循環(huán)特征提取模塊的輸出作為輸入，得到循環(huán)塊前部分（GhostModule）的輸出；同時，將GhostModule的輸出分別輸入到2 條支路：左邊的支路作為本模塊的預(yù)期目標(biāo)輸出Ot（RGB三通道）；右邊支路作為本模塊的隱藏（遺留）信息Ht。把每次通過循環(huán)塊得到的預(yù)期目標(biāo)輸出融合到n-1 個歷史預(yù)期目標(biāo)中，即

式中：n為循環(huán)塊執(zhí)行的次數(shù)；St為n次循環(huán)塊預(yù)期目標(biāo)輸出的融合后的結(jié)果，其通道數(shù)為n×3。進一步把融合后的結(jié)果St輸入到放大模塊，即可得到放大后的殘差圖像HRES。最后把HRES與初始雙三次插值放大的高分辨率HBICUBIC相加即可得到最終的超分辨率圖像

1.2 實驗環(huán)境及設(shè)置

1.2.1 系統(tǒng)環(huán)境

實驗采用的硬件環(huán)境為：CPU 型號為英特爾i9-10900K，內(nèi)存：32GB；系統(tǒng)：Win 7；GPU 為NVIDIA RTX2080TI，GPU主要用于對算法并行加速計算。實驗軟件環(huán)境為：ubuntu16.04、NVIDIA-3090、pytorch1.7.1、CUDA11.0 等。

1.2.2 測試數(shù)據(jù)及參數(shù)設(shè)置

本實驗使用的訓(xùn)練數(shù)據(jù)集為Vidmeo-90K［11］，該數(shù)據(jù)集大約包含90 000 個視頻序列，每個視頻序列包含7 幀視頻剪輯與各種運動和不同的場景圖像，其中隨機抽取8 000 個視頻序列用于訓(xùn)練，其余用于測試；實驗的驗證集為Vid4（包含4 個視頻序列）和UDM10（包含10 個視頻序列）。由于Vidmeo-90K 只提供高分辨率的目標(biāo)圖像，通過對高分辨率圖像進行高斯模糊（均方差σ ＝1.6）下采樣到1／4 像素得到64 ×64 大小的低分辨率輸入塊。經(jīng)順時針隨機旋轉(zhuǎn)0°、90°、180°、270°，左右與上下翻轉(zhuǎn)得到8 倍于原始數(shù)據(jù)集的增強數(shù)據(jù)集。本文以Y 通道下重建高分辨率圖像的PSNR與SSIM作為實驗的評價指標(biāo)，同時評估模型的參數(shù)量、計算復(fù)雜度和運算速度。

在訓(xùn)練循環(huán)卷積神經(jīng)網(wǎng)絡(luò)時，學(xué)習(xí)速率最初被設(shè)置為0.000 1，經(jīng)過每20 個epoch學(xué)習(xí)率降低0.1 倍，共訓(xùn)練了60 個epoch。本文實驗選用的優(yōu)化器為Adam，優(yōu)化器的相關(guān)參數(shù)設(shè)置：β1＝0.9，β2＝0.999 和權(quán)重衰減為0.000 5，以L1 作為損失函數(shù)進行監(jiān)督訓(xùn)練，訓(xùn)練的批量數(shù)據(jù)大小為4。

2 實驗結(jié)果與分析

2.1 峰值信噪比（PSNR）與結(jié)構(gòu)相似性（SSIM）性能對比

本文以通道數(shù)C＝128，循環(huán)特征提取模塊數(shù)量分別取B＝5 和B＝10 兩種網(wǎng)絡(luò)結(jié)構(gòu)與目前主流視頻超分辨率重建網(wǎng)絡(luò)VESPCN，F(xiàn)RVSR，RBPN、RVSRLTD［12］，DRVSR［13］，DUF-52L［14］，PFNL［15］在VID4 數(shù)據(jù)集上進行了PSNR與SSIM評價指標(biāo)對比測試，結(jié)果如表1 所示。由表1 可見，本文算法在VID4 數(shù)據(jù)集4個場景的測試中，本文5-128 和10-128 比大多數(shù)傳統(tǒng)算法有更高的評價指標(biāo)。

表1 在VID4 上關(guān)于PSNR／SSIM性能的對比

2.2 速度對比

與TOFlow，F(xiàn)RVSR 10-128，DUF-52L，RBPN 在UDM10 數(shù)據(jù)集上進行參數(shù)量、速度對比測試，結(jié)果如表2 所示。由表2 可見，本文5-128 的方法在參數(shù)量和計算量較小的前提下，測試指標(biāo)PSNR比TOFlow高1.81 dB，比FRVSR高0.98 dB；與較大的模型相比，本文10-128 結(jié)構(gòu)在PSNR 上比DUF-52L 低0.01 dB，比RBPN低0.19 dB。

表2 在UDM10 上關(guān)于速度的對比測試（×4）

以320 ×180 的低分辨率視頻序列為輸入進行4倍放大輸入1280 ×720 的高分辨率視頻序列。與傳統(tǒng)較快速的FRVSR模型相比，F(xiàn)RVSR速度為129 ms／幀，本文5-128 速度為24 ms／幀，故本文的重建速度為FRVSR 的5.4 倍。本文的模型參數(shù)為FRVSR 的30.5%，在參數(shù)量上與TOFlow（1.41Mb）相近的基礎(chǔ)下，運行速度是TOFlow（1 658 ms／幀）模型的34.5 倍，是高性能算法DUF-52L的28.8 倍。將本文算法應(yīng)用于超分辨率系統(tǒng)，以1 920 ×1 080 作為高分辨率圖像，取B＝5，C＝128 的網(wǎng)絡(luò)結(jié)構(gòu)，可以達到24 f／s的速度實現(xiàn)視頻超分辨率重建。

2.3 真實效果對比

本文在效果圖上進行了對比測試，在VID4 上對幾種經(jīng)典算法與本文算法的2 幅圖（共4 個場景）實際視覺效果對比，如圖3 所示。

圖3 VID4數(shù)據(jù)測試效果圖（A：第1幅圖，B：第2幅圖）

由第1、2 幅效果圖的綠框場景可見，本文算法紋理明顯比其他的算法更清晰；在第2 幅圖的紅色場景區(qū)域，所有算法相比于原始的高清圖像，均存在一定的紋理丟失。

3 結(jié) 語

本文基于RCNN，引入GhostModule代替?zhèn)鹘y(tǒng)的卷積層，改進了傳統(tǒng)的殘差結(jié)構(gòu)，并搭建一個輕量級的循環(huán)卷積神經(jīng)網(wǎng)絡(luò)進行視頻的超分辨率重建，實現(xiàn)視頻的實時超分辨率重建。實驗結(jié)果表明：本新網(wǎng)絡(luò)的重建速度為FRVSR 的5.4 倍；在參數(shù)量上與TOFlow 相近的基礎(chǔ)下，運行速度是TOFlow模型的34.5 倍；是高性能算法DUF-52L的28.8 倍。

同時，本文基于前沿技術(shù)與工程應(yīng)用角度，將科研項目與教育教學(xué)結(jié)合，積極探索和開設(shè)研究型教學(xué)實驗［16-17］，開展了基于深度學(xué)習(xí)的實時視頻超分辨率重建研究型實驗項目設(shè)計，很好地鍛煉了學(xué)生的探索精神，培養(yǎng)學(xué)生運用理論知識和實踐技能探索解決復(fù)雜問題的能力，鍛煉學(xué)生積極探索精神與工程創(chuàng)新能力。