簡述視頻超分辨率的發(fā)展近況

許倬維 池漫釗 蔡文康 羅金濤

摘 要 視頻超分辨率是指采用信號(hào)處理的方法通過對(duì)低分辨率視頻的退化圖像通過處理以獲得一幅或者多幅高分辨率復(fù)原圖像，該技術(shù)可以彌補(bǔ)硬件實(shí)現(xiàn)的局限并且成本低，在視頻、遙感等領(lǐng)域有著重要的應(yīng)用前景。近幾年來，視頻超分辨率的方法被大量提出。其中，基于機(jī)器學(xué)習(xí)的視頻超分辨率方式以其強(qiáng)大的性能、可觀的輸出結(jié)果，成為視頻超分辨率之主流以及眾人才研究與發(fā)展的方向。在該文章中，作者通過介紹主流視頻超分辨率模型的提出背景，核心框架與工作貢獻(xiàn)，呈現(xiàn)近年來視頻超分辨率的主要發(fā)展情況。

關(guān)鍵詞 視頻超分辨率（VSR）;模型框架;近況

1視頻超分辨率（VSR）介紹

視頻超分辨率（video super-resolution）技術(shù)是指結(jié)合了來自同一動(dòng)態(tài)過程的多個(gè)低分辨率圖像序列的信息，通過信號(hào)處理的方式對(duì)低分辨率圖像進(jìn)行加工處理，重新構(gòu)建出具有高時(shí)空分辨率的圖像序列集，也就是重新構(gòu)建出具有更高清晰度更多信息量的視頻。由于視頻是在時(shí)間域上一連串具備空間信息的圖像集合，因此，視頻超分辨率技術(shù)處理方法上分為了時(shí)間超分辨率和空間超分辨率。視頻的時(shí)間超分辨率技術(shù)是通過時(shí)間域一連串視頻幀畫面之間的相關(guān)性，恢復(fù)出丟失的細(xì)節(jié)信息，而視頻空間超分辨率則是通過對(duì)一幀畫面進(jìn)行圖像超分辨率，直接得到具有更高分辨率的圖像序列集。因此，該技術(shù)可以彌補(bǔ)硬件實(shí)現(xiàn)的局限并且使用成本低，使用范圍廣，在視頻、遙感、生物醫(yī)學(xué)等領(lǐng)域有著重要的應(yīng)用前景[1]。

2視頻超分辨率的實(shí)現(xiàn)方式

頻超分辨率技術(shù)實(shí)現(xiàn)的方式主要是通過以下三種：模型重建，插值運(yùn)動(dòng)幀補(bǔ)償以及機(jī)器學(xué)習(xí)。

2.1 模型重建

基于幀內(nèi)模型重建的視頻超分辨率方法主要針對(duì)單幀圖像空域信息的提取，其算法基礎(chǔ)與圖像超分辨率是相同的，都是基于均衡及非均衡采樣定理的，目的是從低分辨率空間信息中預(yù)估高分辨率信息，從而分出了頻率域處理與空間域處理。頻域處理的模型基礎(chǔ)是傅里葉變換的性質(zhì)，盡管在頻域內(nèi)進(jìn)行圖像插值的方法，設(shè)計(jì)復(fù)雜度低，運(yùn)算成本可觀，操作易實(shí)現(xiàn)，但是其只能應(yīng)用于全局平行移動(dòng)與線性空間不變降質(zhì)模型的局限，以及先驗(yàn)知識(shí)有限的劣勢，使得不再成為研究主流?？沼蛱幚矸绞较碌挠^測模型包括了全局和局部運(yùn)動(dòng)、光學(xué)模糊、幀內(nèi)運(yùn)動(dòng)模糊、空間可變點(diǎn)擴(kuò)散函數(shù)、非理想采樣等內(nèi)容，具有很強(qiáng)的先驗(yàn)約束能力， 現(xiàn)研究較多的是凸集投影（POCS）和最大后驗(yàn)概率估計(jì)（MAP）方法[2]。

2.2 插值運(yùn)動(dòng)幀補(bǔ)償

通過插值運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄊ腔谝曨l時(shí)域信息進(jìn)行實(shí)現(xiàn)，通過運(yùn)動(dòng)補(bǔ)償算法將視頻信息中正在運(yùn)動(dòng)的物體插值到時(shí)域上正確的位置上，提高視頻幀率，彌補(bǔ)視頻采樣設(shè)備采樣幀率的限制，從而生成高質(zhì)量的視頻。Zhongding Jiang采用了一種光流場方法來準(zhǔn)確預(yù)估視頻幀之間的運(yùn)動(dòng)變化情況，同時(shí)提供了一個(gè)穩(wěn)定有效的機(jī)制以檢測與剔除會(huì)影響超分辨率效果的錯(cuò)誤視頻幀的匹配，從而實(shí)現(xiàn)視頻中連續(xù)幀的圖像調(diào)整與修正。該方法在應(yīng)用于大量復(fù)雜動(dòng)態(tài)視頻序列后，證明了有效性。

2.3 機(jī)器學(xué)習(xí)

近年來，主流的視頻超分辨率方法都是基于機(jī)器學(xué)習(xí)的，這類方法著重對(duì)先驗(yàn)知識(shí)的模型識(shí)別，通過算法去學(xué)習(xí)識(shí)別指定類別，如實(shí)驗(yàn)對(duì)象、場景、圖像，將識(shí)別所得的先驗(yàn)知識(shí)應(yīng)用于超分辨率中，從而得到比傳統(tǒng)超分辨率方法更好的結(jié)果。盡管如此，基于學(xué)習(xí)的視頻超分辨率無論是在理論依據(jù)或是在實(shí)踐技巧上，都是以模型重建與插值運(yùn)動(dòng)幀補(bǔ)償為指導(dǎo)方向的[3]。

3近年視頻超分辨率發(fā)展路程

基于機(jī)器學(xué)習(xí)的視頻超分辨率方法是近幾年來各大計(jì)算機(jī)視覺頂級(jí)會(huì)議的熱論話題，也是現(xiàn)階段發(fā)展速度最快的視頻超分辨率方式。視頻超分辨率的發(fā)展起步較晚，幾乎是在圖像超分辨率發(fā)展至成熟的今日才稍有成果。這也不難理解，視頻是圖像基于時(shí)間的大規(guī)模擴(kuò)展，對(duì)信息量與信息間相關(guān)性的研究一定程度上需要能夠?qū)σ粠瑘D像進(jìn)行深入了解。

2016年6月，Armin KappelerI等人于電氣和電子工程師協(xié)會(huì)（IEEE）的期刊上發(fā)表了基于卷積神經(jīng)網(wǎng)絡(luò)的視頻超分辨率（VSRnet）模型，將計(jì)算機(jī)視覺中相對(duì)成熟的網(wǎng)絡(luò)結(jié)構(gòu)與運(yùn)動(dòng)補(bǔ)償相結(jié)合，應(yīng)用于視頻超分辨率處理上。但是，模型VSRnet運(yùn)算速率并不可觀，并且不能實(shí)時(shí)處理，這很大程度上限制了模型的可塑性。

3.1 提取特征信息進(jìn)行訓(xùn)練

非常碰巧，同年9月，Jose Caballero的團(tuán)隊(duì)就解決了如何快速進(jìn)行超分辨率的問題。

Jose Caballero等人發(fā)現(xiàn)，在過往的超分辨率模型，諸如SRCNN，通常是將低分辨率（LR）圖像通過上采樣插值的方式，進(jìn)行尺寸放大到高分辨率（HR）空間，之后在高分辨率空間上實(shí)施超分辨率（SR）操作，從而增加了計(jì)算成本;于是，該團(tuán)隊(duì)提出了使用亞像素卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)單圖像與視頻超分辨率（ESPCN）模型。

ESPCN模型運(yùn)用神經(jīng)卷積網(wǎng)絡(luò)（CNN） 結(jié)構(gòu)，突出于低分辨率圖像空間中提取出特征圖形，獲得與高分辨率相同尺寸的高分辨率圖像特征，并通過之后的高效亞像素卷積層的學(xué)習(xí)，將最終的低分辨率特征圖轉(zhuǎn)換為高分辨率圖像輸出。

ESPCN模型的優(yōu)勢在于，只在最后一層對(duì)圖像尺寸做變換，前面的網(wǎng)絡(luò)結(jié)構(gòu)在運(yùn)算時(shí)輸入計(jì)算的是較小規(guī)模的低分辨率數(shù)據(jù)，從而降低了計(jì)算與存儲(chǔ)器的復(fù)雜度;同時(shí)，各網(wǎng)絡(luò)層學(xué)習(xí)目標(biāo)是特征圖像而不是原始圖像，能夠使網(wǎng)絡(luò)學(xué)習(xí)到更好更復(fù)雜的低分辨率至高分辨率映射，從而具有更高的重建精度與額外增益[4]。

自此，提取圖像特征信息進(jìn)行學(xué)習(xí)訓(xùn)練幾乎成為主流超分辨率模型的必備選擇。

3.2 高效結(jié)合運(yùn)動(dòng)補(bǔ)償

ESPCN模型在超分辨率速率上擁有著極大的提升，但是該方法僅僅是對(duì)每一幀進(jìn)行處理而沒有整合幀間關(guān)聯(lián)信息。

整合了ESPCN與VSRnet兩大模型后，Jose Caballero等人利用Max Jaderberg所提出的空間變換網(wǎng)絡(luò)具有反映圖像間映射關(guān)系這一能力，首次將空間變換網(wǎng)絡(luò)應(yīng)用于幀間運(yùn)動(dòng)補(bǔ)償，于2017年出了結(jié)合運(yùn)動(dòng)補(bǔ)償?shù)膶?shí)時(shí)視頻超分辨率VESPCN模型，獲得了很可觀的輸出質(zhì)量。

VESPCN模型的提出后，引起了計(jì)算機(jī)視覺界的熱烈討論。在經(jīng)過一定實(shí)驗(yàn)后，香港中文大學(xué)的Xin Tao及他的團(tuán)隊(duì)得到了以下三個(gè)結(jié)論：①VESPCN模型在視頻幀的尺寸縮放靈活度還可以提高;②前向扭曲的運(yùn)動(dòng)補(bǔ)償方式并非最佳方式;③對(duì)齊多幀以構(gòu)建準(zhǔn)確對(duì)應(yīng)關(guān)系與有效融合圖像細(xì)節(jié)的操作對(duì)高質(zhì)量的輸出尤為重要，

最終，Xin Tao團(tuán)隊(duì)提出了基于細(xì)節(jié)揭示的視頻超分辨率（DVSR）模型。在適當(dāng)幀對(duì)齊的基礎(chǔ)上，DVSR模型通過亞像素運(yùn)動(dòng)關(guān)系恢復(fù)細(xì)節(jié)，得到視覺與數(shù)量上更加高質(zhì)量的輸出結(jié)果。

DVSR模型將一系列低分辨率圖像作為輸入并產(chǎn)生一個(gè)高分辨率圖像，包括三個(gè)模塊：運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)補(bǔ)償和細(xì)節(jié)融合。運(yùn)動(dòng)估計(jì)模塊負(fù)責(zé)幀之間的運(yùn)動(dòng)場估計(jì)，這部分使用的正是前文的VESPCN模型;運(yùn)動(dòng)補(bǔ)償層利用通過運(yùn)動(dòng)估計(jì)所得的亞像素信息，完成實(shí)時(shí)運(yùn)動(dòng)補(bǔ)償與分辨率增強(qiáng)，并形成有效的幀對(duì)齊。細(xì)節(jié)融合網(wǎng)絡(luò)是帶跳躍連接形式的編碼器-解碼器模塊，著重于圖像細(xì)節(jié)的添加與訓(xùn)練的加速[5]。

亞像素運(yùn)動(dòng)補(bǔ)償層的運(yùn)用，可以同時(shí)實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償與分辨率增強(qiáng)，值得一提的是，這在先前的工作中是分開獨(dú)立處理的。同時(shí)，該層無多余參數(shù)，反向傳播損失能夠在場中平穩(wěn)流動(dòng)，從而能夠有效地整合至神經(jīng)網(wǎng)絡(luò)中，在不增加額外成本的同時(shí)，得到良好的輸出表現(xiàn)。

至此，運(yùn)動(dòng)補(bǔ)償所得的細(xì)節(jié)成果可以被高效地融入高分辨率輸出中。

3.3 幀循環(huán)處理

大部分主流視頻超分辨率方法都會(huì)結(jié)合運(yùn)動(dòng)信息，諸如：VESPCN， DVSR框架中加入的運(yùn)動(dòng)補(bǔ)償模塊，Zhaowen Wang等人提出的時(shí)間動(dòng)態(tài)自學(xué)習(xí)模塊等。他們處理多幀接連處理的方法是通過卷積神經(jīng)網(wǎng)絡(luò)與運(yùn)動(dòng)補(bǔ)償相結(jié)合，處理一批低分辨率幀以生成單個(gè)預(yù)估高分辨率幀并在整個(gè)視頻上以滑動(dòng)窗口方式持續(xù)該操作。

Mehdi S. M. Sajjadi等人發(fā)現(xiàn)，該方法使得每個(gè)輸入幀會(huì)被多次處理，從而增加了計(jì)算成本; 同時(shí)，每個(gè)輸出幀是獨(dú)立地根據(jù)輸入幀進(jìn)行估計(jì)的，這將大大限制了訓(xùn)練模型會(huì)產(chǎn)生在時(shí)間上能夠趨于一致結(jié)果的能力。于是，他們提出了一個(gè)端到端可訓(xùn)練的幀循環(huán)視頻超分辨率（FRVSR）框架，在促進(jìn)時(shí)間上結(jié)果一致的同時(shí)，通過每個(gè)步驟只進(jìn)行一次幀扭曲來降低運(yùn)算成本。該模型被錄入2018年的cvpr文章中[6]。

模型包括了可訓(xùn)練的光流估計(jì)網(wǎng)絡(luò)和超分辨率網(wǎng)絡(luò)。光流估計(jì)網(wǎng)絡(luò)負(fù)責(zé)通過相鄰的低分辨率輸入圖像的運(yùn)動(dòng)流，生成映射關(guān)系圖;超分辨率網(wǎng)絡(luò)則負(fù)責(zé)某一時(shí)間幀低分辨率圖像與其上一幀超分辨率圖像的融合，生成該時(shí)間幀上的超分辨率，并應(yīng)用于下一幀中。

FRVSR框架通過參考大量的先前超分辨率輸出以有效幫助網(wǎng)絡(luò)進(jìn)行下一幀的超分辨率輸出，不僅使每個(gè)輸入幀只被處理一次，同時(shí)所有輸出結(jié)果都趨于時(shí)間一致。同時(shí)，該訓(xùn)練模型框架在較大的時(shí)間范圍內(nèi)傳播信息，而無須增加計(jì)算量。

3.4 遞歸反投影以實(shí)現(xiàn)多路徑結(jié)合

超分辨率的發(fā)展形勢趨近于：新的模型都基于在已有模型的改進(jìn)，這使得網(wǎng)絡(luò)主體框架的類型并沒有改變。Muhammad Haris的團(tuán)隊(duì)經(jīng)過總結(jié)，將已有的超分辨率網(wǎng)絡(luò)分為三類：①預(yù)定義增采樣：預(yù)定地將圖像增采樣至特定尺寸，一定程度上引入了噪聲;②單一增采樣：僅在最后一步進(jìn)行增持采樣，可能無法學(xué)習(xí)到復(fù)雜的映射;③逐步采樣：在網(wǎng)絡(luò)層中間斷插入增采樣層，例如LapSRN框架，這會(huì)受低分辨率特征的限制; 并在這三類網(wǎng)絡(luò)以外，于2018年提出了使用迭代增減采樣的深度反投影超分辨率網(wǎng)絡(luò)（DBPN）。DBPN框架允許保留部分高分辨率內(nèi)容，在龐大的訓(xùn)練集下，獲得了較好的成果[7]。

該團(tuán)隊(duì)清楚地知道，基于循環(huán)網(wǎng)絡(luò)（RNN）的視頻超分辨率，無論是否進(jìn)行明確的幀對(duì)齊，多幀的同時(shí)處理會(huì)使得訓(xùn)練成本大大提高。并且，構(gòu)造出能夠?qū)λ幸曨l幀中內(nèi)容所包含的微妙或顯著運(yùn)動(dòng)變化進(jìn)行精確觀察的循環(huán)網(wǎng)絡(luò)絕非易事。嘗試整合FRVSR模型的優(yōu)勢之后，Muhammad Haris等人改進(jìn)了原有模型，于2019年提出了循環(huán)反投影網(wǎng)絡(luò)（RBPN）。

RBPN的操作可分為三個(gè)階段：基于運(yùn)動(dòng)流的特征提取、整合多路徑細(xì)節(jié)信息的多重投影以及根據(jù)多重投影所得的高分辨率特征信息而進(jìn)行的超分辨率重建。RBPN創(chuàng)新點(diǎn)在于，將單圖片超分辨率和多圖片超分辨率集成在一個(gè)統(tǒng)一的超分辨率框架中：單圖片超分辨率和多圖片超分辨率從不同路徑的資源中提取缺失的細(xì)節(jié)信息：單圖片超分辨率提取表示目標(biāo)幀細(xì)節(jié)的各種特征圖、多圖片超分辨率從其他幀提供多組特征映射，并通過用于視頻超分辨率的循環(huán)神經(jīng)網(wǎng)絡(luò)以時(shí)間順序迭代地更新這些不同的路徑源，最終通過反投影合并在單圖片超分辨率和多圖片超分辨率路徑中提取的細(xì)節(jié)，因而生成更佳的訓(xùn)練效果[8]。

4結(jié)束語

現(xiàn)階段基于機(jī)器學(xué)習(xí)的視頻超分辨率主流框架是卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)合。視頻超分辨率方法的研究是在單張圖像與多張圖像超分辨率方法的基礎(chǔ)上進(jìn)行改進(jìn)，使模型能夠提取空間與時(shí)間上的細(xì)節(jié)特征并進(jìn)行融合。每個(gè)新的構(gòu)架會(huì)利用優(yōu)秀的舊框架進(jìn)行延伸與改進(jìn)而得，在未來有著極大的發(fā)展前景。

參考文獻(xiàn)

[1] Shi W，Caballero J ，Huszár，F(xiàn)erenc，et al. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[J]. IEEE CVPR，2016，（1）：1874–1883.

[2] Kappeler A，Yoo S， Dai Q， et al. Video Super-Resolution With Convolutional Neural Networks[J]. IEEE Transactions on Computational Imaging，2016，2（2）：109-122.

[3] Tao X，Gao H，Liao R，et al. Detail-revealing Deep Video Super-resolution [J]. IEEE International Conference on Computer Vision（ICCV），2017，（1）：4482-4490.

[4] Liu D，Wang Z，F(xiàn)an Y，et al. Robust Video Super-Resolution with Learned Temporal Dynamics[C]. 2017 IEEE International Conference on Computer Vision （ICCV），IEEE，2017：1-7.

[5] Sajjadi M S M，Vemulapalli R，Brown M . Frame-Recurrent Video Super-Resolution[J]. IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2018，（1）：6626–6634.

[6] 張曉玲，沈蘭蓀.超分辨率圖像復(fù)原技術(shù)的研究進(jìn)展[J].測控技術(shù)，2005，24（5）：1-5.

[7] 蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào)，2013，39（8）：1202-1213.

[8] 王勇，鄭輝，胡德文.視頻的超分辨率增強(qiáng)技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究，2005，22（1）：4-7.

作者簡介

許倬維，池漫釗，蔡文康，羅金濤均為深圳大學(xué)在讀本科生，多次獲得美國數(shù)學(xué)建模大賽獎(jiǎng)項(xiàng)，跟隨導(dǎo)師王妙輝進(jìn)行計(jì)算機(jī)視覺方面的研究學(xué)習(xí)。