基于視點(diǎn)圖像與EPI特征融合的光場(chǎng)超分辨率

安平 陳欣 陳亦雷 黃新彭 楊超

（新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院，上海大學(xué)通信與信息工程學(xué)院，上海 200444）

1 引言

普通的二維成像只能記錄場(chǎng)景內(nèi)光線在取景平面的2D 投影，僅能獲取光線的空間信息；而光場(chǎng)（Light Field，LF）成像［1］能夠記錄整個(gè)空間內(nèi)的光線分布，既能獲取光線的空間信息，也能獲取光線的角度信息［2］。光場(chǎng)圖像可通過(guò)特制的光場(chǎng)相機(jī)［3］獲取。光場(chǎng)相機(jī)由傳統(tǒng)相機(jī)在原有的感光元件和主透鏡之間放置一層微透鏡陣列改造而成，通過(guò)相機(jī)主透鏡的光線在到達(dá)感光元件之前，將通過(guò)微透鏡陣列發(fā)生二次折射。因此光場(chǎng)相機(jī)不僅能夠利用微透鏡位置記錄入射光線的位置，還能夠利用光線二次折射的折射角度記錄入射光線的方向，即同時(shí)獲取光線的空間信息和角度信息。利用光場(chǎng)成像技術(shù)可以實(shí)現(xiàn)深度估計(jì)［4］、圖像重聚焦［5］、三維建模［6］等應(yīng)用，具有十分重要的研究意義。

在實(shí)際應(yīng)用中，光場(chǎng)通常表現(xiàn)為視點(diǎn)圖像（Viewpoint Image，VI）陣列的形式，記作L(s，t，x，y)，其中，s和t是角度維度；x和y是空間維度。光場(chǎng)圖像的分辨率可以表示為S×T×X×Y，其中，S×T是角度分辨率，表示光場(chǎng)中包含的視點(diǎn)圖像數(shù)量；X×Y是空間分辨率，表示每一個(gè)視點(diǎn)圖像的尺寸。光場(chǎng)實(shí)現(xiàn)了高維的圖像數(shù)據(jù)表達(dá)，但是由于光場(chǎng)采集設(shè)備的限制，在有限的成像條件下，光場(chǎng)圖像的空間分辨率和角度分辨率需要折中。這導(dǎo)致了光場(chǎng)圖像的空間分辨率遠(yuǎn)低于傳統(tǒng)成像設(shè)備得到的二維圖像的分辨率，例如商用光場(chǎng)相機(jī)Lytro Illum獲取的光場(chǎng)圖像分辨率僅為14×14×376×540。因此，如何提高光場(chǎng)圖像的空間分辨率成為一個(gè)亟須解決的問(wèn)題。

不同于傳統(tǒng)二維圖像基于場(chǎng)景內(nèi)容先驗(yàn)的超分辨率，光場(chǎng)圖像超分辨率所需的像素信息實(shí)際存在于光場(chǎng)內(nèi)部的各個(gè)視點(diǎn)圖像中。傳統(tǒng)的光場(chǎng)超分辨率方法根據(jù)光場(chǎng)視點(diǎn)圖像視差和像素點(diǎn)之間的對(duì)應(yīng)關(guān)系，利用先驗(yàn)的視差信息對(duì)視點(diǎn)圖像像素信息進(jìn)行顯式投影（Warp）來(lái)達(dá)到超分辨率的目的。但視差先驗(yàn)信息嚴(yán)重依賴(lài)視點(diǎn)圖像本身的質(zhì)量，現(xiàn)有的視差估計(jì)方法通常不能滿(mǎn)足這類(lèi)方法對(duì)視差先驗(yàn)信息的高精確度要求。近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，許多基于深度學(xué)習(xí)的光場(chǎng)超分辨率方法被提出，利用卷積神經(jīng)網(wǎng)絡(luò)能夠隱式地學(xué)習(xí)視點(diǎn)圖像之間的視差關(guān)系。基于深度學(xué)習(xí)的光場(chǎng)超分辨率方法無(wú)需先驗(yàn)的視差信息，能夠直接通過(guò)網(wǎng)絡(luò)學(xué)習(xí)光場(chǎng)信息達(dá)到良好的超分辨率質(zhì)量。但現(xiàn)有基于深度學(xué)習(xí)的方法沒(méi)有充分利用光場(chǎng)特性，光場(chǎng)超分辨率的整體性能還有很大的提升空間。

固定光場(chǎng)的角度維度采集光場(chǎng)數(shù)據(jù)得到的二維圖像，即視點(diǎn)圖像。視點(diǎn)圖像記錄了在固定角度下對(duì)場(chǎng)景的觀察，能夠獲取場(chǎng)景中的主要紋理信息。固定光場(chǎng)的一維角度維度和一維空間維度采集光場(chǎng)數(shù)據(jù)得到的光場(chǎng)二維切片，即極平面圖像（Epipolar Plane Image，EPI）。場(chǎng)景中同一個(gè)可見(jiàn)的物體點(diǎn)由于不同視點(diǎn)圖像之間的視差關(guān)系，在EPI中形成一條連續(xù)的直線。該直線能夠有效地反映出光場(chǎng)圖像內(nèi)部的幾何一致性。同時(shí)，光場(chǎng)中存在水平和垂直兩個(gè)方向的EPI，能夠從兩個(gè)不同的角度維度反映出視點(diǎn)圖像之間的關(guān)聯(lián)性。因此，利用視點(diǎn)圖像和EPI 信息實(shí)現(xiàn)光場(chǎng)超分辨率，能夠充分探索光場(chǎng)的紋理信息及幾何一致性，學(xué)習(xí)光場(chǎng)圖像整體信息。結(jié)合以上光場(chǎng)特性，本文提出了一種基于視點(diǎn)圖像與EPI特征融合的端到端光場(chǎng)超分辨率方法。本方法主要?jiǎng)?chuàng)新性如下：

利用三維視點(diǎn)圖像堆棧包含EPI 信息的特點(diǎn)，將輸入的四維光場(chǎng)數(shù)據(jù)按照水平/垂直EPI 方向堆疊排列，使用3D 遞減卷積網(wǎng)絡(luò)提取特征，不僅能同時(shí)感知視點(diǎn)圖像和EPI 信息，還能學(xué)習(xí)光場(chǎng)圖像不同角度維度之間的聯(lián)系，有效增強(qiáng)了光場(chǎng)超分辨率質(zhì)量。

采用雙分支結(jié)構(gòu)的網(wǎng)絡(luò)設(shè)計(jì)，同時(shí)結(jié)合光場(chǎng)圖像水平和垂直EPI 信息進(jìn)行光場(chǎng)超分辨率，有效提高了超分辨率結(jié)果的幾何一致性。

采用端到端網(wǎng)絡(luò)設(shè)計(jì)，能夠同時(shí)超分辨率所有視點(diǎn)圖像。在真實(shí)和合成光場(chǎng)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均表明，本方法相比于現(xiàn)有主流方法，取得了更好的超分辨率效果。同時(shí)，在網(wǎng)絡(luò)參數(shù)量和執(zhí)行速度上也具有更好的表現(xiàn)。

本文共分為五個(gè)部分。第一部分為引言；第二部分簡(jiǎn)要介紹現(xiàn)有的光場(chǎng)超分辨率方法；第三部分闡述本文所提出的整體模型框架和具體實(shí)現(xiàn)方法；第四部分給出具體的實(shí)驗(yàn)設(shè)置和結(jié)果分析；最后一部分是結(jié)論。

2 相關(guān)工作

傳統(tǒng)的光場(chǎng)超分辨率方法基于光場(chǎng)視點(diǎn)圖像之間的空間關(guān)聯(lián)性，利用先驗(yàn)的視差信息對(duì)視點(diǎn)圖像像素信息進(jìn)行顯式Warp，通常需要復(fù)雜的優(yōu)化算法以獲取較優(yōu)的超分辨率結(jié)果。Bishop 等人［7］首次提出了光場(chǎng)超分辨率重建，利用盲反卷積提高了光場(chǎng)圖像的空間分辨率；而Mitra 等人［8］分析了EPI 的低秩性與視差之間的關(guān)系，提出了使用混合高斯模型的光場(chǎng)超分辨率方法。與方法［8］不同的是，Wanner 等人［9-10］在EPI 上應(yīng)用結(jié)構(gòu)張量計(jì)算視差圖，并利用變分模型進(jìn)行光場(chǎng)超分辨率。Rossi 等人［11］利用基于圖的正則化對(duì)光場(chǎng)超分辨率設(shè)計(jì)了全局優(yōu)化問(wèn)題，通過(guò)計(jì)算Warp 矩陣優(yōu)化超分辨率結(jié)果。Ghassab 等人［12］在基于圖的正則化的基礎(chǔ)上，結(jié)合交替方向乘子法模型和邊緣保留技術(shù)實(shí)現(xiàn)光場(chǎng)超分辨率。然而，由于光場(chǎng)圖像中存在遮擋、噪聲等問(wèn)題，缺少有效的像素信息，同時(shí)現(xiàn)有的視差估計(jì)方法也無(wú)法提供高精度的視差圖，因此傳統(tǒng)光場(chǎng)超分辨率方法難以獲得高質(zhì)量的超分辨率結(jié)果。

Dong 等人［13］首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用至單圖像超分辨率，通過(guò)特征提取、非線性映射和重建等步驟達(dá)到良好的超分辨率結(jié)果，隨著單圖像超分辨率的發(fā)展［14］，卷積神經(jīng)網(wǎng)絡(luò)也逐漸被應(yīng)用于光場(chǎng)超分辨率。Yuan 等人［15］提出了一種基于EPI 的聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)，首先將單圖像超分辨率方法應(yīng)用于光場(chǎng)圖像，隨后使用EPI 增強(qiáng)網(wǎng)絡(luò)提高超分辨率結(jié)果的幾何一致性。Zhang 等人［16］將視點(diǎn)圖像按照四個(gè)方向堆疊輸入殘差網(wǎng)絡(luò)中提取特征，并利用不同的視點(diǎn)圖像組合方案實(shí)現(xiàn)對(duì)所有視點(diǎn)圖像的空間超分辨率。Yeung 等人［17］提出了一種空間-角度可分離卷積，在卷積過(guò)程中不斷變換光場(chǎng)圖像的表達(dá)形式以實(shí)現(xiàn)空間超分辨率。Farrugia 等人［18］使用光流對(duì)齊所有視點(diǎn)圖像，結(jié)合低秩先驗(yàn)和深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)光場(chǎng)超分辨率。Jin 等人［19］提出了一種以其余視點(diǎn)圖像作為輔助信息，利用視點(diǎn)圖像之間的互補(bǔ)性提升參考視點(diǎn)圖像分辨率的方法，并使用結(jié)構(gòu)一致性正則化網(wǎng)絡(luò)提高超分辨率結(jié)果的幾何一致性。Wang 等人［20］利用普通卷積和膨脹卷積分別從光場(chǎng)原始圖像中提取出空間特征和角度特征，并利用網(wǎng)絡(luò)進(jìn)行特征融合實(shí)現(xiàn)光場(chǎng)超分辨率。Liang 等人［21］提出了一種混合角度分辨率訓(xùn)練策略，使用解耦融合模型實(shí)現(xiàn)了適用于多角度分辨率光場(chǎng)的空間超分辨率，有效提升了超分辨率性能。

對(duì)光場(chǎng)進(jìn)行空間超分辨率處理時(shí)，需要著重考慮光場(chǎng)原有的特性，而不是將不同的視點(diǎn)圖像作為獨(dú)立的個(gè)體來(lái)考慮。而現(xiàn)有的基于深度學(xué)習(xí)的超分辨率方法中，基于單圖像超分辨率的方法［15］忽視了光場(chǎng)的整體性；基于不同視點(diǎn)圖像組合的方法［16］沒(méi)有充分利用視點(diǎn)圖像信息；基于不同類(lèi)型特征提取的方法［17-21］沒(méi)有充分利用光場(chǎng)特有的EPI 信息。因此本文提出了一種基于視點(diǎn)圖像與EPI特征融合的端到端光場(chǎng)超分辨率方法，使用雙分支網(wǎng)絡(luò)充分學(xué)習(xí)視點(diǎn)圖像信息以及水平和垂直EPI 信息，能夠同時(shí)完成所有視點(diǎn)圖像的高質(zhì)量超分辨率。

3 本文方法

3.1 方法框架

本文利用三維視點(diǎn)圖像堆棧包含EPI信息的特點(diǎn)，提出了一種基于視點(diǎn)圖像與EPI 特征融合的端到端光場(chǎng)超分辨率方法。本方法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要分為三個(gè)模塊：特征提取模塊、特征融合模塊、上采樣模塊。特征提取模塊分為水平和垂直兩個(gè)分支，分別由三層3D 遞減卷積層組成，能夠同時(shí)感知視點(diǎn)圖像和EPI 信息，用于對(duì)四維光場(chǎng)數(shù)據(jù)提取中間特征；特征融合模塊的設(shè)計(jì)參考Yeung 等人［17］，由一層2D 卷積層和Q層空間角度卷積組成，用于將中間特征轉(zhuǎn)換為全局特征；上采樣模塊主要由一層2D 反卷積層和一層2D 卷積層組成，用于對(duì)全局特征進(jìn)行上采樣，獲取高分辨率殘差信息。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Proposed network structure

整體的超分辨率過(guò)程可以簡(jiǎn)要描述如下：首先將低分辨率的光場(chǎng)圖像按照水平/垂直EPI 方向堆疊排列得到兩組四維光場(chǎng)數(shù)據(jù)，輸入雙分支結(jié)構(gòu)的特征提取模塊得到兩個(gè)中間特征；隨后利用特征融合模塊將兩個(gè)中間特征轉(zhuǎn)換為全局特征并對(duì)其進(jìn)行優(yōu)化；最后將優(yōu)化后的全局特征輸入上采樣模塊得到高分辨率光場(chǎng)殘差，與同樣經(jīng)過(guò)反卷積上采樣的垂直分支中間特征相加，得到最終的超分辨率結(jié)果。選用垂直分支中間特征的具體原因?qū)⒃?.3節(jié)給出解釋。

3.2 視點(diǎn)圖像堆棧中的EPI

已知四維光場(chǎng)數(shù)據(jù)L(s，t，x，y)，固定角度維度s和空間維度x得到的EPI 稱(chēng)為水平EPI，記作；固定角度維度t和空間維度y得到的EPI稱(chēng)為垂直EPI，記作。而固定角度維度s或t堆疊視點(diǎn)圖像，即按照水平或垂直EPI 方向堆疊視點(diǎn)圖像，可以得到三維水平或垂直視點(diǎn)圖像堆棧，記作。如圖2所示，水平/垂直三維視點(diǎn)堆棧中包含一個(gè)水平/垂直EPI 切面。將按照水平EPI方向堆疊排列的四維光場(chǎng)數(shù)據(jù)輸入網(wǎng)絡(luò)時(shí)，輸入數(shù)據(jù)尺寸為N×S×T×X×Y，其中N是Batch 維度；S和T是視點(diǎn)圖像的角度維度；X和Y是視點(diǎn)圖像的空間維度。對(duì)上述四維光場(chǎng)數(shù)據(jù)進(jìn)行3D 卷積操作，角度維度S將作為卷積處理的通道維，角度維度T為卷積處理的深度維，3D 卷積核的直接卷積對(duì)象是尺寸為T(mén)×X×Y的三維視點(diǎn)圖像堆棧，其中包含了水平EPI切面。因此，這樣做不僅能夠同時(shí)學(xué)習(xí)S組三維視點(diǎn)圖像堆棧中的視點(diǎn)圖像和EPI 信息，還能夠?qū)W習(xí)S組三維視點(diǎn)圖像堆棧之間的聯(lián)系，即三維視點(diǎn)圖像堆棧在另一個(gè)角度維度的關(guān)聯(lián)，達(dá)到通過(guò)網(wǎng)絡(luò)學(xué)習(xí)光場(chǎng)圖像整體信息的效果?；谝陨咸攸c(diǎn)，本文將輸入的低分辨率四維光場(chǎng)圖像按照水平/垂直的EPI 方向堆疊排列，并采用雙分支結(jié)構(gòu)3D 遞減卷積網(wǎng)絡(luò)充分學(xué)習(xí)視點(diǎn)圖像、水平和垂直EPI信息，以達(dá)到更好的超分辨率效果。

圖2 光場(chǎng)的四維表示、EPI和三維視點(diǎn)圖像堆棧Fig.2 4D representation of light field，EPI and 3D viewpoint image stack

3.3 特征提取模塊

為了充分利用水平和垂直兩個(gè)方向的EPI 信息，特征提取模塊采用雙分支結(jié)構(gòu)設(shè)計(jì)，分為水平和垂直兩個(gè)分支。如3.2 節(jié)所述，不同于其他基于深度學(xué)習(xí)的光場(chǎng)超分辨率方法，本文為了充分利用光場(chǎng)圖像的幾何一致性，特征提取模塊采用3D 卷積層而非2D 卷積層進(jìn)行特征提取，特征提取模塊的水平和垂直分支分別由三層3D 遞減卷積層所組成。水平分支的輸入為按照水平EPI方向堆疊排列的四維光場(chǎng)數(shù)據(jù)，尺寸為N×S×T×X×Y，其中T×X×Y包含水平EPI 信息；垂直分支的輸入為按照水平EPI 方向堆疊排列的四維光場(chǎng)數(shù)據(jù)，尺寸為N×T×S×X×Y，其中S×X×Y包含垂直EPI信息。

按照水平/垂直EPI 方向堆疊排列的低分辨率四維光場(chǎng)數(shù)據(jù)通過(guò)三層3D 遞減卷積層，得到中間特征Fh和Fv，尺寸均為N×(S·T)×1×X×Y。在卷積過(guò)程中，特征的深度維逐層遞減為1。以本文所使用角度分辨率為7×7 的光場(chǎng)為例（即S=T=7），在此過(guò)程中特征尺寸變化如下所示：

用公式表達(dá)以上卷積過(guò)程為：

其中，h 和v 表示水平和垂直EPI 方向；Convi(·)表示第i個(gè)3D 卷積層，i=1，2，3；leakyrelu(·) 表示Leaky ReLU 激活函數(shù)；表示按照水平EPI 方向堆疊排列的低分辨率四維光場(chǎng)數(shù)據(jù)；表示按照垂直EPI 方向堆疊排列的低分辨率四維光場(chǎng)數(shù)據(jù)，用公式表達(dá)如下所示：

3.4 特征融合模塊

為了進(jìn)一步整合不同堆疊方向下學(xué)習(xí)到的視點(diǎn)圖像與EPI信息，以提升超分辨率結(jié)果的整體性，特征融合模塊采用了Q層空間角度卷積來(lái)融合優(yōu)化特征提取模塊得到的中間特征Fh和Fv。首先連接兩個(gè)中間特征得到全局特征Fg：

將得到的全局特征Fg輸入空間角度卷積中進(jìn)行進(jìn)一步的融合優(yōu)化?？臻g角度卷積由空間卷積和角度卷積兩個(gè)2D 卷積層順序組成，輸入空間卷積的特征尺寸為(N·S·T)×C×X×Y，2D 卷積核的直接卷積對(duì)象是尺寸為X×Y的視點(diǎn)圖像；輸入角度卷積的特征尺寸為(N·H·W)×C×S×T，2D卷積核的直接卷積對(duì)象是尺寸為S×T的宏像素，中間使用Reshape 操作來(lái)改變特征尺寸。利用空間角度卷積可以學(xué)習(xí)光場(chǎng)圖像的空間維度（視點(diǎn)圖像）和角度維度（宏像素）信息之間的聯(lián)系。以上步驟用公式表達(dá)如下：

其中，SAConvj(·)表示第j個(gè)空間角度卷積，j=1，2，…，Q；SpaConv(·)表示空間卷積；AngConv(·)表示角度卷積；表示通過(guò)Q層空間角度卷積后輸出的全局特征，尺寸為(N·S·T)×C×X×Y。

3.5 上采樣模塊

該殘差與同樣經(jīng)過(guò)一層2D 反卷積層上采樣后的垂直分支中間特征相加，即可得到最終的超分辨率結(jié)果Lsr。用公式表示如下：

其中，Conv(·)表示2D 卷積；Deconv(·)表示2D 反卷積。

3.6 訓(xùn)練細(xì)節(jié)

本文使用的訓(xùn)練數(shù)據(jù)集參照J(rèn)in 等人［19］，選定了來(lái)自Stanford Lytro LF Archive［22］中6 組不同類(lèi)別的88 張真實(shí)光場(chǎng)圖像（光場(chǎng)相機(jī)圖像）、來(lái)自Kalantari 等人［23］的72 張真實(shí)光場(chǎng)圖像（光場(chǎng)相機(jī)圖像），以及來(lái)自HCI new［24］的20 張合成光場(chǎng)圖像，共180張光場(chǎng)圖像用于訓(xùn)練，具體信息如表1所示。

表1 訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集Tab.1 Training datasets and test datasets

本文僅針對(duì)角度分辨率為7×7 的光場(chǎng)圖像進(jìn)行空間超分辨率，用于訓(xùn)練的真實(shí)及合成光場(chǎng)數(shù)據(jù)集角度分辨率分別為14×14 和9×9，訓(xùn)練時(shí)對(duì)其進(jìn)行裁切，僅使用其中心區(qū)域的7×7 視點(diǎn)圖像。同時(shí)本文使用雙三次插值（Bicubic）的下采樣方式獲取訓(xùn)練所需的低分辨率光場(chǎng)圖像，訓(xùn)練時(shí)對(duì)原始空間分辨率的光場(chǎng)圖像進(jìn)行在線隨機(jī)裁切，使用尺寸為7×7×64×64 的光場(chǎng)圖像塊進(jìn)行訓(xùn)練。同時(shí)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行在線增強(qiáng)，對(duì)圖像塊隨機(jī)進(jìn)行上下或左右的翻轉(zhuǎn)以及90°、180°或270°的旋轉(zhuǎn)，以提高訓(xùn)練模型的魯棒性。

本文在RTX 3090 GPU上使用PyTorch 1.9對(duì)提出的模型進(jìn)行訓(xùn)練。特征提取模塊中的三層3D 遞減卷積層均包含49個(gè)卷積核，每層的卷積核尺寸分別為3×3×3、2×3×3 和2×3×3，卷積層之間加有Leaky ReLU 激活函數(shù)。特征融合模塊中所使用的2D 卷積均包含64 個(gè)卷積核，尺寸為3×3，卷積層之間加有ReLU 激活函數(shù)，空間角度卷積數(shù)量Q設(shè)置為6。本文使用Xaviers 算法初始化每個(gè)卷積層的權(quán)重，并使用Adam 優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，Batch 的大小設(shè)置為1，學(xué)習(xí)率初始值為10-4，每2000個(gè)epoch 學(xué)習(xí)率減半。網(wǎng)絡(luò)訓(xùn)練過(guò)程中，使用最終的超分辨率結(jié)果Lsr和原始參考圖像Lhr之間的L1損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行監(jiān)督：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

本文選取了四個(gè)常用的光場(chǎng)超分辨率數(shù)據(jù)集用于測(cè)試，分別為兩組真實(shí)光場(chǎng)數(shù)據(jù)集：Stanford Lytro LF Archive 的General 分類(lèi)（共57 張光場(chǎng)相機(jī)圖像，分辨率為372×540）、Kalantari 等人［23］的測(cè)試數(shù)據(jù)（共30 張光場(chǎng)相機(jī)圖像，分辨率為372×540）；兩組合成光場(chǎng)數(shù)據(jù)集：HCI old［25］（5 張合成光場(chǎng)圖像，分辨率為786×786）、HCI new（4 張合成光場(chǎng)圖像，分辨率為512×512），共96 張光場(chǎng)圖像用于測(cè)試，具體信息如表1所示。

實(shí)驗(yàn)結(jié)果的展示主要分為客觀評(píng)價(jià)和主觀評(píng)價(jià)兩個(gè)部分：客觀評(píng)價(jià)主要采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為評(píng)價(jià)指標(biāo)；主觀評(píng)價(jià)將對(duì)各方法的超分辨率結(jié)果及其誤差圖、圖像細(xì)節(jié)和紋理部分的EPI進(jìn)行展示和分析。

4.2 對(duì)比實(shí)驗(yàn)

為了客觀評(píng)價(jià)所提出方法的有效性，本文主要選用了六個(gè)對(duì)比方法，包括四個(gè)現(xiàn)階段較為先進(jìn)的光場(chǎng)超分辨率方法：resLF［16］、LF-ATO［19］、SA-Inter［20］、LF-AFnet［21］，一種基于深度學(xué)習(xí)的經(jīng)典單圖像超分辨率方法：VDSR［26］和一個(gè)單圖像超分辨率基線方法：Bicubic。本文中所有的實(shí)驗(yàn)數(shù)據(jù)均來(lái)自各論文作者給定的代碼和訓(xùn)練模型，VDSR 使用3.6 節(jié)中所述訓(xùn)練數(shù)據(jù)集中的所有光場(chǎng)視點(diǎn)圖像對(duì)其重新訓(xùn)練，網(wǎng)絡(luò)設(shè)置和訓(xùn)練方式參照原論文。此外，resLF原論文提供了使用Bicubic 下采樣的×2 模型和使用模糊（Blur）下采樣的×2和×4模型，本文對(duì)以上三個(gè)模型都進(jìn)行了客觀指標(biāo)展示，主觀實(shí)驗(yàn)部分僅展示使用Bicubic 下采樣的超分結(jié)果。而SA-Inter 提供了針對(duì)5×5 光場(chǎng)圖像的×2 模型和針對(duì)7×7 光場(chǎng)圖像的×4模型，因此本文利用該×2模型分別超分4組5×5 光場(chǎng)圖像，重疊視點(diǎn)圖像部分取其客觀指標(biāo)最優(yōu)，以達(dá)到超分7×7光場(chǎng)圖像的效果。

上述方法在4.1 節(jié)中所述測(cè)試數(shù)據(jù)集上×2 及×4的超分辨率結(jié)果客觀指標(biāo)如表2和表3所示。表格中所展示的數(shù)據(jù)為該數(shù)據(jù)集中所有測(cè)試光場(chǎng)圖像的平均PSNR 和SSIM，加粗展示的為最優(yōu)數(shù)據(jù)，加下劃線展示的為次優(yōu)數(shù)據(jù)?？梢钥闯觯凇?的超分辨率任務(wù)下，本文方法僅在HCI new 數(shù)據(jù)集上的平均SSIM 略低于LF-AFnet 0.06%，而平均PSNR 相比提高了0.006 dB。在剩余三個(gè)測(cè)試數(shù)據(jù)集上的表現(xiàn)相比次優(yōu)數(shù)據(jù)分別提高了0.159 dB/0.03%、0.268 dB/0.07%、1.394 dB/0.55%；在×4 的超分辨率任務(wù)下，本文方法的平均PSNR 和SSIM 相比次優(yōu)數(shù)據(jù)分別提高了0.063 dB/0.27%、0.208 dB/0.96%、0.133 dB/0.52%、1.427 dB/3.52%。由此可證明，本文提出的方法無(wú)論在真實(shí)還是合成光場(chǎng)數(shù)據(jù)集上的測(cè)試結(jié)果均優(yōu)于其他方法，同時(shí)在×2 和×4 的超分辨率任務(wù)下，均能保持較高的超分辨率質(zhì)量。

表2 ×2超分辨率結(jié)果平均PSNR（dB）/SSIM對(duì)比Tab.2 Comparison of average PSNR（dB）/SSIM of ×2 super-resolution results

表3 ×4超分辨率結(jié)果平均PSNR（dB）/SSIM對(duì)比Tab.3 Comparison of average PSNR（dB）/SSIM of ×4 super-resolution results

同時(shí)，本文在測(cè)試數(shù)據(jù)集中挑選了四張測(cè)試光場(chǎng)圖像進(jìn)行超分辨率的主觀結(jié)果對(duì)比。圖3 為×2超分辨率主觀結(jié)果對(duì)比，展示了中心視點(diǎn)圖像Y 通道的誤差圖和超分辨率結(jié)果局部細(xì)節(jié)放大，同時(shí)繪制了局部紋理部分的水平和垂直EPI，圖像下方標(biāo)注了該圖像所有視點(diǎn)圖像的平均PSNR 和SSIM。其中誤差圖為超分辨率結(jié)果與原始參考圖像（Ground Truth）的差值，截?cái)嘀禐?.1，顏色越暗表示誤差較小，反之則誤差較大。圖4 為×4 超分辨率主觀結(jié)果對(duì)比，展示了中心視點(diǎn)圖像超分辨率結(jié)果及其局部細(xì)節(jié)放大、局部紋理部分的水平和垂直EPI，以及其平均PSNR 和SSIM。通過(guò)主觀結(jié)果對(duì)比可以看出，本文方法的超分辨率結(jié)果和Ground Truth更為接近，相比其他方法具有更豐富的細(xì)節(jié)信息、更清晰的圖像紋理和邊緣。同時(shí)本文方法在EPI 上的表現(xiàn)也更為優(yōu)秀，連續(xù)性更好，EPI 中由于視差所形成的直線沒(méi)有斷連和錯(cuò)連，也沒(méi)有出現(xiàn)明顯的鋸齒現(xiàn)象。尤其是bedroom 和general_23_eslf這兩張光場(chǎng)圖像的EPI，可以觀察到，本文方法得到的EPI 更接近Ground Truth 的EPI，而其他方法在超分辨率過(guò)程中丟失了圖像細(xì)節(jié)信息，EPI 中的視差線條信息不全，出現(xiàn)了斷連和錯(cuò)連的現(xiàn)象。這也表明，本文方法相較于其他方法具有更好的幾何一致性。圖5 展示了×2 任務(wù)下，不同方法在測(cè)試光場(chǎng)圖像bicycle 上的視點(diǎn)圖像質(zhì)量可視化分布，顏色越深代表質(zhì)量越高，反之則質(zhì)量越差。方格內(nèi)為該角度位置視點(diǎn)圖像的PSNR，通過(guò)該圖也可以看出，本文方法在各個(gè)視點(diǎn)圖像上的超分辨質(zhì)量整體高于其他方法。

圖3 ×2超分辨率主觀結(jié)果對(duì)比，展示了中心視點(diǎn)圖像Y通道的誤差圖、局部細(xì)節(jié)放大、水平EPI（下左）和垂直EPI（下右），以及平均PSNR（dB）/SSIMFig.3 Comparison of ×2 super-resolution subjective results，which shows the error map of the Y channel of the central viewpoint image，the zoom-in of the partial details，horizontal EPI（bottom left），vertical EPI（bottom right），and the average PSNR（dB）/SSIM

圖4 ×4超分辨率主觀結(jié)果對(duì)比，展示了中心視點(diǎn)圖像的超分辨率結(jié)果、局部細(xì)節(jié)放大、水平EPI（下左）和垂直EPI（下右），以及平均PSNR（dB）/SSIMFig.4 Comparison of ×4 super-resolution subjective results，which shows the super-resolution result of the central viewpoint image，the zoom-in of the partial details，horizontal EPI（bottom left），vertical EPI（bottom right），and the average PSNR（dB）/SSIM

圖5 ×2任務(wù)下，測(cè)試光場(chǎng)圖像bicycle的視點(diǎn)圖像PSNR（dB）分布Fig.5 The PSNR（dB）distribution of viewpoint images of the test light field image bicycle under×2 task

為了進(jìn)一步驗(yàn)證本文方法相較其他方法有更好的計(jì)算效率，本文還從網(wǎng)絡(luò)模型的參數(shù)量以及超分辨率任務(wù)執(zhí)行時(shí)間的角度來(lái)評(píng)估上述不同方法。表4 展示了×2 任務(wù)下，不同方法在Kalantari 等人［23］和HCI new 兩個(gè)測(cè)試數(shù)據(jù)集上使用RTX 3090 GPU進(jìn)行超分辨率的平均執(zhí)行時(shí)間，以及在上述四個(gè)測(cè)試數(shù)據(jù)集上的平均PSNR 和SSIM。從表格中可以看出，本文方法在保證超分辨率結(jié)果質(zhì)量的基礎(chǔ)上，還能夠較大幅度地縮減網(wǎng)絡(luò)參數(shù)量。在×2任務(wù)下，本文提出的方法與LF-AFnet和LF-ATO 相比，參數(shù)量分別縮減了69%和52%，同時(shí)執(zhí)行速度也是對(duì)比的光場(chǎng)超分辨率方法中最快的。

表4 ×2任務(wù)下，不同方法的計(jì)算效率和平均PSNR（dB）/SSIM對(duì)比Tab.4 Comparison of computational efficiency and average PSNR（dB）/SSIM of different methods under×2 task

4.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文方法的有效性，本文在×4任務(wù)下主要針對(duì)特征提取模塊進(jìn)行了消融實(shí)驗(yàn)，網(wǎng)絡(luò)其他部分均保持不變。消融實(shí)驗(yàn)主要分為兩個(gè)部分，共設(shè)計(jì)了3 個(gè)變體，網(wǎng)絡(luò)模塊設(shè)計(jì)如圖6 所示，實(shí)驗(yàn)結(jié)果客觀指標(biāo)如表5所示。

圖6 不同特征提取模塊的消融Fig.6 Ablation of different feature extraction module

1）為了驗(yàn)證雙分支網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本文設(shè)計(jì)了兩組單分支變體。單獨(dú)保留使用按照水平EPI方向堆疊排列的光場(chǎng)數(shù)據(jù)作為輸入的水平分支，記作消融A；單獨(dú)保留使用按照垂直EPI 方向堆疊排列的光場(chǎng)數(shù)據(jù)作為輸入的垂直分支，記作消融B。

如表5所示，消融A和消融B的實(shí)驗(yàn)結(jié)果十分近似，可以看出，將視點(diǎn)圖像按照水平或垂直EPI方向堆疊排列得到的學(xué)習(xí)效果相近。而本文的雙分支結(jié)構(gòu)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果明顯高于消融A和B，即雙分支結(jié)構(gòu)網(wǎng)絡(luò)相比單分支結(jié)構(gòu)網(wǎng)絡(luò)得到的超分辨率效果有著明顯提升，這驗(yàn)證了本文雙分支結(jié)構(gòu)的有效性。同時(shí)消融B的實(shí)驗(yàn)結(jié)果略高于消融A，因此網(wǎng)絡(luò)設(shè)計(jì)時(shí)，本文選擇使用垂直分支中間特征與高分辨率殘差信息相加，得到最終的超分辨率結(jié)果。

表5 ×4任務(wù)下，消融實(shí)驗(yàn)參數(shù)量及超分辨率結(jié)果平均PSNR（dB）/SSIM對(duì)比Tab.5 Comparison of parameters and average PSNR（dB）/SSIM of super-resolution results of ablation experiments under×4 task

2）為了驗(yàn)證將輸入的四維光場(chǎng)數(shù)據(jù)按照水平/垂直EPI 方向堆疊排列的有效性，本文還設(shè)計(jì)了將按照視點(diǎn)圖像順序排列的光場(chǎng)數(shù)據(jù)（尺寸為1×(S·T)×X×Y）直接整體輸入單分支結(jié)構(gòu)網(wǎng)絡(luò)的消融實(shí)驗(yàn)，代替使用按照水平/垂直EPI 方向堆疊排列的光場(chǎng)數(shù)據(jù)（尺寸為S×T×X×Y或T×S×X×Y）作為輸入，記作消融C。

如表5 所示，消融C 的實(shí)驗(yàn)結(jié)果明顯低于消融A 和B，可以看出，將輸入的光場(chǎng)數(shù)據(jù)按照EPI 方向堆疊排列能夠有效提高光場(chǎng)超分辨率性能，同時(shí)也驗(yàn)證了，使用按照EPI 方向堆疊排列的四維光場(chǎng)數(shù)據(jù)作為網(wǎng)絡(luò)輸入能夠有效利用EPI信息。

仿照本文原本的網(wǎng)絡(luò)設(shè)計(jì)，以本文所使用角度分辨率為7×7 的光場(chǎng)為例（即S=T=7），消融C的輸入尺寸為1×49×X×Y，在輸入三層3D 遞減卷積網(wǎng)絡(luò)的過(guò)程中，特征尺寸變化如下：

相比原網(wǎng)絡(luò)設(shè)計(jì)，消融C增大了特征的深度維，同時(shí)增大了3D 卷積核的尺寸，相應(yīng)增大了3D 卷積的感受野。因此在網(wǎng)絡(luò)參數(shù)量上，該單分支設(shè)計(jì)的參數(shù)量為746K，與本文的雙分支網(wǎng)絡(luò)的參數(shù)量784K 基本相當(dāng)，高于消融A/B 的參數(shù)量688K。從實(shí)驗(yàn)結(jié)果可以看出，消融C遠(yuǎn)低于本文的雙分支結(jié)構(gòu)網(wǎng)絡(luò)，這也印證了本文的雙分支網(wǎng)絡(luò)結(jié)構(gòu)以及將輸入光場(chǎng)數(shù)據(jù)按照EPI方向堆疊排列的有效性。

從以上分析可以看出，將低分辨率光場(chǎng)圖像按照EPI 方向堆疊排列形成的四維光場(chǎng)數(shù)據(jù)作為輸入，同時(shí)使用本文所設(shè)計(jì)的雙分支結(jié)構(gòu)網(wǎng)絡(luò)，能夠更加充分地利用光場(chǎng)視點(diǎn)圖像、水平和垂直EPI 信息，探索光場(chǎng)圖像原有的紋理信息和幾何一致性信息，有效提高了光場(chǎng)超分辨率性能。

5 結(jié)論

本文提出了一種基于視點(diǎn)圖像與EPI特征融合的端到端光場(chǎng)超分辨率方法。本方法強(qiáng)調(diào)了三維視點(diǎn)圖像堆棧包含EPI 信息這一特點(diǎn)，將四維光場(chǎng)數(shù)據(jù)按照水平/垂直EPI 方向堆疊排列，使用雙分支結(jié)構(gòu)的3D 遞減卷積網(wǎng)絡(luò)同時(shí)感知光場(chǎng)視點(diǎn)圖像和EPI 信息，提取光場(chǎng)特征。本方法充分利用了視點(diǎn)圖像信息、水平和垂直EPI信息，有效增強(qiáng)了光場(chǎng)超分辨率質(zhì)量，提高了超分辨率結(jié)果的幾何一致性。實(shí)驗(yàn)結(jié)果表明，本文方法在多個(gè)數(shù)據(jù)集上的客觀指標(biāo)和主觀質(zhì)量均優(yōu)于其他主流方法。同時(shí)，相較于其他方法，本文的網(wǎng)絡(luò)模型參數(shù)量能夠保持在較低水平，在超分辨率任務(wù)執(zhí)行速度上也有較好的表現(xiàn)。未來(lái)，我們的工作方向是結(jié)合光場(chǎng)更多特性以獲得質(zhì)量更佳的超分辨率結(jié)果。