采用光流特征對齊的壓縮視頻超分辨率重建*

付凌宇，王正勇，熊淑華，何小海

（四川大學，四川 成都 610065）

0 引言

隨著通信技術(shù)的不斷發(fā)展，視頻在日常生活中的應(yīng)用越來越廣泛。為了滿足不同拍攝和成像設(shè)備的傳輸需求，同時為了節(jié)省帶寬，視頻在傳輸前往往需要先下采樣為低分辨率視頻再進一步壓縮，這將導(dǎo)致視頻質(zhì)量顯著下降。為了解決這一問題，高效視頻編碼（High Efficiency Video Coding，H.265/HEVC）標準[1-2]被提出，該標準針對視頻數(shù)據(jù)中的冗余成分進行壓縮,然而在減少視頻數(shù)據(jù)量的同時，也會產(chǎn)生一定的壓縮偽影。此外，針對低分辨率視頻進行壓縮，不僅會降低視頻的分辨率,也會進一步損害視頻的質(zhì)量。因此，亟待提出更有效的壓縮視頻超分辨率重建算法。

近年來，深度學習技術(shù)在各個領(lǐng)域都展現(xiàn)出了巨大的潛力，在壓縮視頻和圖像的質(zhì)量增強方面也得到了越來越廣泛的重視。文獻[3]提出了第1個神經(jīng)網(wǎng)絡(luò)框架——面向減少偽影的卷積神經(jīng)網(wǎng)絡(luò)（Artifacts Reduction Convolutional Neural Networks，AR-CNN）來去除單幅圖像的壓縮偽影。文獻[4]將卷積神經(jīng)網(wǎng)絡(luò)引入HEVC的環(huán)路濾波器中，提出了一種可變?yōu)V波器尺寸的殘差學習卷積神經(jīng)網(wǎng)絡(luò)（Variable-filter-size Residue learning Convolutional Neural Networks，VRCNN），能夠有效提升壓縮視頻的質(zhì)量。文獻[5]將多幀輸入的思想引入壓縮視頻質(zhì)量增強任務(wù)中，提出了一種多幀質(zhì)量增強網(wǎng)絡(luò)（Multi-Frame Quality Enhancement，MFQE），通過在網(wǎng)絡(luò)中設(shè)計一個運動補償模塊來利用峰值質(zhì)量幀增強相鄰幀。文獻[6]通過使用更加高效的網(wǎng)絡(luò)模塊，將MFQE擴展到MFQE2.0，進一步提升了重建視頻的質(zhì)量。文獻[7]在網(wǎng)絡(luò)中利用了一種時空可變形融合模塊（Spatio-Temporal Deformable Fusion，STDF），從而更好地利用了相鄰幀的信息，在壓縮視頻質(zhì)量增強方面取得了一定的效果。

視頻超分辨率重建的目標是從相應(yīng)的低分辨率（Low-Resolution，LR）視頻幀和其相鄰幀中重建出高分辨率（High-Resolution，HR）視頻幀，從而恢復(fù)視頻的細節(jié)信息，提高視頻質(zhì)量。文獻[8]以光流估計和運動補償作為子模塊，提出了第1個端到端的視頻超分辨率重建框架。文獻[9]、文獻[10]、文獻[11]延續(xù)了文獻[8]的思想，利用光流進行相鄰幀之間的運動補償，隨后利用這些參考信息來幫助重建高分辨率視頻幀。文獻[12]在網(wǎng)絡(luò)中提出了一個亞像素運動補償層（Sub-Pixel Motion Compensation，SPMC），以充分利用亞像素間的運動信息，并且首次將卷積長短期記憶網(wǎng)絡(luò)（Convolutional Long Short-Term Memory，ConvLSTM）[13]引入視頻超分辨率重建網(wǎng)絡(luò)中。文獻[14]提出了一種時域可變形對齊網(wǎng)絡(luò)（Temporally-Deformable Alignment Network，TDAN），引入可變形卷積來代替光流估計進行運動補償。文獻[15]提出了一種采用增強的可變形卷積的視頻超分辨率重建框架（Video Restoration framework with Enhanced Deformable convolutions，EDVR），該 框架使用了一種新的時空注意融合模塊，并且對可變形卷積的運動補償模塊進行了改進。文獻[16]通過重新設(shè)計一些視頻超分辨率的基本模塊來改進特征傳播和對齊過程，在速度和性能上均實現(xiàn)了一定的提升，這些模塊作為視頻超分辨率的基礎(chǔ)在后續(xù)的研究中也得到了廣泛應(yīng)用。

然而，大多數(shù)質(zhì)量增強和超分辨率重建算法僅面向單一任務(wù)，無法實現(xiàn)面向壓縮低分率視頻的超分辨率重建任務(wù)。解決壓縮視頻的超分辨率重建問題的方法分為兩種，一種是結(jié)合視頻壓縮編碼的先驗知識，針對壓縮后的低分辨率視頻進行優(yōu)化，如文獻[17]提出了一種端到端的恢復(fù)重建網(wǎng)絡(luò)來解決這一問題，該網(wǎng)絡(luò)在針對壓縮視頻的超分辨率重建任務(wù)上取得了一定的效果；另一種是將此任務(wù)分為兩步依次進行處理，在提高視頻分辨率的同時減少壓縮偽影?；诘?種思想，本文通過兩個階段的操作來解決壓縮視頻超分辨率重建問題，第1階段使用質(zhì)量增強網(wǎng)絡(luò)對視頻進行質(zhì)量增強以減少視頻的壓縮效應(yīng)，第2階段使用超分辨率重建網(wǎng)絡(luò)將質(zhì)量增強的低分辨率視頻恢復(fù)至原始分辨率，進一步提升視頻的質(zhì)量。

1 針對壓縮視頻的超分辨率重建框架

為了模擬在實際應(yīng)用中由于拍攝和成像設(shè)備的傳輸限制而導(dǎo)致的某些視頻分辨率不足的情況，首先對高分辨率視頻進行下采樣以獲得低分辨率視頻。視頻的下采樣過程可以表示為：

式中：HR為原始高分辨率視頻；D為下采樣過程；LR為下采樣后的低分辨率視頻。其次對下采樣后的低分辨率視頻進行壓縮，最終本文的待處理視頻可以表示為：

式中：C為視頻的壓縮過程；V為經(jīng)過壓縮的低分辨率視頻。本文旨在將經(jīng)過壓縮的低分辨率視頻V恢復(fù)重建為質(zhì)量增強的高分辨率視頻。由于待處理視頻V依次經(jīng)過了下采樣和壓縮兩個降質(zhì)過程，并且在下采樣和壓縮過程中對視頻的處理方式不同，輸出視頻的降質(zhì)類型也不同，因此將壓縮視頻超分辨率重建視為一個單一任務(wù)，并且使用獨立的網(wǎng)絡(luò)從待處理視頻V中直接恢復(fù)重建出質(zhì)量增強的高分辨率視頻比較困難?；诖丝紤]，本文將壓縮視頻的超分辨率重建任務(wù)分為兩個階段來分別進行處理：首先對待處理視頻V進行質(zhì)量增強來減少壓縮過程中產(chǎn)生的偽影，得到質(zhì)量增強的低分辨率視頻；其次對質(zhì)量增強的低分辨率視頻進行超分辨率重建來恢復(fù)下采樣過程造成的信息損失。將壓縮視頻的超分辨率重建過程分解為兩個階段，可以更有效地針對下采樣和壓縮兩種不同的降質(zhì)類型進行處理，網(wǎng)絡(luò)的獨立訓練也會更加靈活有效。

本文提出的壓縮視頻超分辨率重建算法的總體框架如圖1所示。

圖1 本文提出的壓縮視頻超分辨率重建算法

如圖1所示，所提算法首先對原始視頻進行下采樣操作得到相應(yīng)的低分辨率視頻；其次對低分辨率視頻，通過HEVC編碼標準進行壓縮編碼得到相應(yīng)的碼流；最后碼流經(jīng)過HEVC解碼得到壓縮后的低分辨率視頻，即本文的待處理視頻。對待處理視頻，本文首先通過一個質(zhì)量增強網(wǎng)絡(luò)來減少編碼過程中產(chǎn)生的壓縮效應(yīng)，得到質(zhì)量增強的低分辨率視頻；其次通過超分辨率重建網(wǎng)絡(luò)將質(zhì)量增強的低分辨率視頻恢復(fù)至原始分辨率。該算法框架可以表示為：

式中：xt為壓縮后的低分辨率視頻；yp為質(zhì)量增強的低分辨率視頻；hp為針對壓縮降質(zhì)類型的質(zhì)量增強過程；hs為針對下采樣降質(zhì)類型的超分辨率重建過程；ys為最終獲得的質(zhì)量增強的高分辨率視頻。待處理視頻依次經(jīng)過質(zhì)量增強網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)進行處理，得到的輸出視頻在有效去除壓縮偽影的同時，能很好地恢復(fù)下采樣過程造成的信息損失，最終實現(xiàn)高質(zhì)量的高分辨率壓縮重建視頻。

2 網(wǎng)絡(luò)結(jié)構(gòu)

本文的壓縮視頻超分辨率重建框架由質(zhì)量增強網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)構(gòu)成，二者的網(wǎng)絡(luò)結(jié)構(gòu)相似。質(zhì)量增強網(wǎng)絡(luò)可以在超分辨率重建網(wǎng)絡(luò)的基礎(chǔ)上關(guān)閉上采樣模塊來獲得，因此本文著重介紹超分辨率重建網(wǎng)絡(luò)的具體細節(jié)。

2.1 超分辨率重建網(wǎng)絡(luò)

超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。輸入視頻幀首先通過一個殘差塊來進行特征提取，這些特征以雙向傳播的方式在網(wǎng)絡(luò)中進行傳播。其中，對齊方式采用基于光流的特征對齊以獲得更好的性能，對齊后的特征通過多個殘差塊進行進一步的細化，隨后通過一個卷積層和pixel-shuffling層生成輸出視頻幀。

圖2 本文超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)

首先，為了更好地利用視頻傳輸過程中的時域信息，本文的超分辨率重建網(wǎng)絡(luò)采用雙向傳播的方式，網(wǎng)絡(luò)中特征以交替的方式獨立地向兩個方向進行傳播，網(wǎng)絡(luò)從整個序列中重復(fù)地提取信息，提高了特征的表達性。這里以正向傳播過程為例，具體的傳播過程可以表示為：式中：為第i個時間步長的第j個傳播分支的特征；F(·)為特征傳播分支的表達式，一個特征傳播分支包含4部分輸入；xi和xi-1分別為當前低分辨率視頻幀和相鄰低分辨率視頻幀；為前一個時間步長的第j個分支傳播來的特征；為同一個時間步長里前一個傳播分支的特征。反向傳播過程與正向傳播過程類似，反向傳播的分支和正向傳播分支相鄰。在反向傳播分支中，特征逆向傳播，在整個網(wǎng)絡(luò)中，特征以交替的方式向兩個方向傳播。

其次，為了提高對齊的準確性以使網(wǎng)絡(luò)獲得更好的性能，本文采用基于光流的特征對齊模塊。該模塊包括1個光流估計模塊和1個特征變換模塊，再通過1個連接層將特征傳遞到后續(xù)殘差塊中，其中每條傳播分支包含5個殘差塊。具體而言，基于光流的特征對齊過程可以表示為：

式中：S(·)為光流估計過程；為獲得的光流；W(·)為特征變換過程；R(·)為殘差塊；c(·)為通道維度的特征連接。先將當前視頻幀xi和相鄰視頻幀xi-1輸入光流估計模塊，以獲得估計的光流；然后基于光流對前一個時間步長的第j個分支傳播來的特征進行特征變換；之后將特征變換的輸出結(jié)果和同一個時間步長里前一個傳播分支的特征共同作為連接層的輸入；隨后輸出結(jié)果，通過多個殘差塊來獲得該傳播分支的輸出特征最后輸出特征又作為輸入分別傳遞到下一個傳播分支和相鄰的時間步長中。

本文的網(wǎng)絡(luò)在每一個時間步長i上包含4個特征對齊模塊及相應(yīng)的殘差塊，最后網(wǎng)絡(luò)的中間特征通過由1個卷積層和pixel-shuffle層組成的上采樣模塊來生成高分辨率視頻幀。網(wǎng)絡(luò)還將雙線性上采樣模塊加入殘差學習的框架來保證訓練的穩(wěn)定性。網(wǎng)絡(luò)的上采樣過程可以表示為：

式中：u為上采樣模塊。

2.2 訓練階段

本文訓練質(zhì)量增強網(wǎng)絡(luò)與超分辨率重建網(wǎng)絡(luò)所用的訓練樣本對分別為其中Xi表示原始高分辨率視頻幀，Li表示經(jīng)過下采樣的低分辨率視頻幀，Vi表示對Li進行壓縮后的視頻幀，表示Vi經(jīng)過質(zhì)量增強網(wǎng)絡(luò)處理后的視頻幀。

式中：θ1為質(zhì)量增強網(wǎng)絡(luò)的參數(shù)；f(·)為質(zhì)量增強網(wǎng)絡(luò)的輸出函數(shù)；ε為保證數(shù)值穩(wěn)定設(shè)置的常數(shù)，本文設(shè)置為0.001。

訓練質(zhì)量增強網(wǎng)絡(luò)所用的訓練集和驗證集來自REDS數(shù)據(jù)集[19]。本文將REDS數(shù)據(jù)集中240個320×180分辨率的視頻序列作為訓練樣本，對每個序列，取前20幀在HEVC隨機接入配置encoder_randomaccess_main.cfg，當量化參數(shù)（Quantization Parameter，QP）為{27,32,37,42}時，分別進行編碼，隨后將得到的經(jīng)過壓縮的低分辨率視頻幀與未壓縮的低分辨率視頻幀共同組成質(zhì)量增強網(wǎng)絡(luò)的訓練樣本對。本文采用Adam（Adaptive Moment Estimation）優(yōu)化器，主網(wǎng)絡(luò)與光流網(wǎng)絡(luò)的初始學習率分別設(shè)置為1×10-4和2.5×10-5，總迭代次數(shù)設(shè)置為2×105。

完成對質(zhì)量增強網(wǎng)絡(luò)的訓練后，通過質(zhì)量增強網(wǎng)絡(luò)獲得質(zhì)量增強的低分辨率視頻幀再將與原始高分辨率視頻幀Xi組成超分辨率重建網(wǎng)絡(luò)的訓練樣本對網(wǎng)絡(luò)的損失函數(shù)表示為：

式中：θ2為超分辨率重建網(wǎng)絡(luò)的參數(shù)；g(·)為超分辨率重建網(wǎng)絡(luò)的輸出函數(shù)。

訓練超分辨率重建網(wǎng)絡(luò)所用的訓練集和驗證集同樣來自REDS數(shù)據(jù)集，首先將經(jīng)過壓縮的REDS數(shù)據(jù)集中320×180分辨率的視頻序列作為質(zhì)量增強網(wǎng)絡(luò)的輸入，得到質(zhì)量增強的低分辨率視頻；其次將質(zhì)量增強的低分辨率視頻與數(shù)據(jù)集中1 280×720分辨率的視頻共同組成超分辨率重建網(wǎng)絡(luò)的訓練對。重建網(wǎng)絡(luò)的網(wǎng)絡(luò)設(shè)置均與質(zhì)量增強網(wǎng)絡(luò)相同。

3 實驗結(jié)果

本文實驗均在CPU為i7-9700 @3.00 GHz和GPU為Nvidia GeForce RTX 2080 Ti的計算機上運行。實驗采用HEVC官方編碼版本HM16.20，配置文件采用encoder_randomaccess_main.cfg，量化QP分別為27，32，37，42。

本文首先采用REDS數(shù)據(jù)集中的測試集來驗證網(wǎng)絡(luò)的收斂性，以證明網(wǎng)絡(luò)結(jié)構(gòu)的合理性和有效性。以QP=32為例，在訓練質(zhì)量增強網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)的過程中，測試序列的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和迭代次數(shù)之間的關(guān)系曲線如圖3所示。由圖可知，本文的質(zhì)量增強網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)均在REDS數(shù)據(jù)集上實現(xiàn)了有效收斂。

圖3 迭代次數(shù)與PSNR的關(guān)系曲線

本文對19個視頻序列進行實驗，并選擇兩種兩階段的方法作為對比方法，首先采用文獻[7]提出的去壓縮網(wǎng)絡(luò)STDF對視頻進行質(zhì)量增強，其次分別采用雙三次插值算法與文獻[14]提出的TDAN重建網(wǎng)絡(luò)對視頻進行超分辨率重建，所提算法與相關(guān)對比方法均在相同配置下進行。本文采用峰值信噪比來評估不同算法的性能，所有視頻序列僅在亮度（Y）通道進行測量。

表1展示了所提算法、STDF+Bicubic、STDF+TDAN和標準HM16.20算法+Bicubic在QP分別為32，37，42時重建視頻的PSNR對比。實驗結(jié)果表明當QP為32時，相比于采用標準HM16.20算法壓縮并采用雙三次插值算法進行超分辨率重建，本文所提算法在所有視頻序列上均有一定的質(zhì)量提升，19個視頻序列的PSNR平均提升為0.92 dB；與STDF+Bicubic和STDF+TDAN方法相比，本文所提算法也均有一定的質(zhì)量提升，在19個視頻序列上PSNR分別平均提升了0.69 dB和0.29 dB。同時，在QP為37和42時，本文所提算法與相關(guān)對比算法相比也實現(xiàn)了一定的性能提升。

為了驗證本文所提質(zhì)量增強網(wǎng)絡(luò)的有效性，圖4給出了4個不同分辨率的視頻序列BQSqure 416×240、RaceHorses 832×480、BasketballDrive 1920×1080和PeopleOnStreet 2 560×1 600的率失真曲線。由圖4可以看出，不同分辨率的視頻序列在依次經(jīng)過下采樣和壓縮后，經(jīng)過本文所提的質(zhì)量增強網(wǎng)絡(luò)進行處理的視頻序列的率失真曲線均在HEVC標準的率失真曲線的上方，證明了本文所提質(zhì)量增強網(wǎng)絡(luò)的有效性。

圖4 不同分辨率視頻序列的率失真曲線

表2給出了6個不同分辨率的視頻在依次經(jīng)過下采樣和壓縮，并使用本文所提的質(zhì)量增強網(wǎng)絡(luò)進行質(zhì)量增強后，分別采用雙三次插值算法和本文所提的超分辨率重建網(wǎng)絡(luò)進行重建的PSNR結(jié)果。由表2可以看出，本文所提的超分辨率重建網(wǎng)絡(luò)在不同分辨率的視頻序列上均比采用雙三次插值算法有一定的質(zhì)量提升，在4個QP上的PSNR平均提升為0.75 dB。并且，對比表1和表2中QP為32時的實驗結(jié)果可以看出，對于壓縮后的低分辨率視頻，采用本文所提的質(zhì)量增強網(wǎng)絡(luò)進行處理后再采用雙三次插值算法進行重建，比直接采用雙三次插值算法進行超分辨率重建有一定的質(zhì)量提升。由表1可知，在QP為32時直接采用雙三次插值算法對PeopleOnStreet 2 560×1 600序列進行重建的PSNR為25.59 dB，而通過表2可以看出，對PeopleOnStreet 2 560×1 600序列首先采用本文所提的質(zhì)量增強網(wǎng)絡(luò)進行處理，其次采用雙三次插值算法進行超分辨率重建，得到的重建視頻的PSNR為25.89 dB，相比于直接采用雙三次插值算法進行重建的結(jié)果提升了0.3 dB，進一步證明了本文所提的質(zhì)量增強網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)的有效性。

表1 本文算法和相關(guān)對比算法的重建視頻質(zhì)量PSNR參數(shù)對比

表2 本文所提超分辨率重建網(wǎng)絡(luò)和雙三次插值算法的重建視頻質(zhì)量PSNR參數(shù)對比

圖5給出了KristenAndSara 1 280×720序列的主觀對比結(jié)果。圖5（a）為采用HEVC編碼標準壓縮后的低分辨率視頻幀，圖5（b）為采用本文所提的質(zhì)量增強網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)進行處理后的視頻幀。由圖中黑框內(nèi)的部分可以看出，圖5（b）中衣服上的條紋更為清晰，與圖5（a）相比，顯著減小了壓縮效應(yīng)。

圖5 KristenAndSara 1 280×720序列主觀效果對比

4 結(jié)語

本文提出了一種采用光流特征對齊的壓縮視頻超分辨率重建算法，對壓縮后的低分辨率視頻分為兩個階段進行處理。首先通過一個質(zhì)量增強網(wǎng)絡(luò)對經(jīng)過壓縮的低分辨率視頻進行質(zhì)量增強，去除壓縮偽影；其次通過一個超分辨率重建網(wǎng)絡(luò)對質(zhì)量增強的低分辨率視頻進行重建，將視頻恢復(fù)至原始分辨率。所提網(wǎng)絡(luò)均采用基于光流的特征對齊，特征以雙向傳播的方式在網(wǎng)絡(luò)中進行傳播。實驗結(jié)果表明，與經(jīng)過HEVC編碼標準壓縮后直接采用雙三次插值算法進行超分辨率重建相比，本文所提算法在視頻的客觀效果和主觀感受上均有一定的提升；與相關(guān)算法相比，本文所提算法在不同QP上的PSNR也都有一定的提升。下一步，將針對降低兩階段的壓縮視頻超分辨率重建算法的復(fù)雜度開展進一步的研究。