利用條件生成對(duì)抗網(wǎng)絡(luò)的光場(chǎng)圖像重聚焦

謝檸宇，丁宇陽，李明悅，劉淵，律睿慜，晏濤

江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，無錫 214122

0 引 言

散焦是一種非常重要的攝影技術(shù)，通過調(diào)節(jié)光圈的大小以及對(duì)焦平面的位置，使圖像中的非拍攝主體處于一種模糊狀態(tài)，從而突出清晰的拍攝主體。為了獲取一個(gè)較淺的景深，即具有良好散焦效果的圖像，必須借助大光圈的鏡頭，這對(duì)相機(jī)有較高的要求。較低性能的相機(jī)往往無法獲取具有理想散焦效果的圖像，即使性能很好的單反相機(jī)獲取的較淺景深的圖像，也只能突出某一平面的主體，無法后期調(diào)整照片的主體對(duì)象和景深大小。

生成對(duì)抗網(wǎng)絡(luò)(Goodfellow等，2014)源于博弈論，包含生成器(generator，G)和判別器(discriminator，D)，G用于生成目標(biāo)數(shù)據(jù)樣本，D用于判斷生成數(shù)據(jù)的真?zhèn)?，二者互相博弈，最終得到近乎完美的生成圖像。Mirza和Osindero(2014)在生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上提出了條件生成對(duì)抗網(wǎng)絡(luò)，這是一種帶條件約束的生成模型，在生成器 G和判別器D中均引入了條件變量用于指導(dǎo)生成目標(biāo)數(shù)據(jù)。

光場(chǎng)圖像同時(shí)具備目標(biāo)場(chǎng)景的空間與角度信息，其應(yīng)用在多個(gè)計(jì)算機(jī)視覺領(lǐng)域都取得了可觀成果，如圖像超分辨率(Tsai等，2020)、圖像拼接(Guo等，2016)、光場(chǎng)重聚焦(Liu等，2020)、全景圖生成(Overbeck等，2018)、深度估計(jì)(王程 等，2020)和圖像重定向(晏濤 等，2019)等?，F(xiàn)有的獲取光場(chǎng)的方法主要分為兩類：1)緊湊型的商業(yè)光場(chǎng)相機(jī)(Ren等，2005)，借助一個(gè)主透鏡和一系列子透鏡捕獲場(chǎng)景角度信息。然而，由于傳感器的限制，商業(yè)光場(chǎng)相機(jī)僅能提供一個(gè)密集的角度分辨率和較低的空間分辨率。2)相機(jī)陣列，借助一系列按矩陣規(guī)則排列的相機(jī)同時(shí)拍攝對(duì)象的多個(gè)視角。早期的相機(jī)陣列龐大，不方便使用，近年來借助小型相機(jī)陣列(Lin等，2015)獲取光場(chǎng)的技術(shù)獲得了一定進(jìn)展，具有廣闊前景，使借助相機(jī)陣列獲取光場(chǎng)圖像愈發(fā)容易。與全光相機(jī)相比，相機(jī)陣列具有更高的分辨率和更大的基線，提高了圖像質(zhì)量，提供了更大的視差，為光場(chǎng)重聚焦算法提供了數(shù)據(jù)支持，同時(shí)也放大了傳統(tǒng)重聚焦算法的缺陷。

傳統(tǒng)重聚焦算法(Vaish等，2005)通過子視點(diǎn)疊加獲取重聚焦圖像，可以得到粗糙的視覺效果，但在散焦區(qū)域存在混疊等現(xiàn)象，這種情況在通過相機(jī)陣列獲取的具有較大基線的光場(chǎng)圖像上尤其明顯。近年來，有不少基于光場(chǎng)重構(gòu)算法用于解決這個(gè)問題。Kalantari等人(2016)通過神經(jīng)網(wǎng)絡(luò)對(duì)原有的子視點(diǎn)進(jìn)行視點(diǎn)內(nèi)插，利用合成的全新光場(chǎng)進(jìn)行重聚焦。Ledig等人(2016)在Kalantari等人(2016)基礎(chǔ)上引入生成對(duì)抗網(wǎng)絡(luò)以提高生成子視點(diǎn)的質(zhì)量。Wu等人(2017)為了進(jìn)一步提高重構(gòu)光場(chǎng)質(zhì)量，先使用EPI(epipolar plane image)進(jìn)行插值放大，然后使用神經(jīng)網(wǎng)絡(luò)修復(fù)高頻細(xì)節(jié)重構(gòu)光場(chǎng)。此類方法雖然能通過提高光場(chǎng)的角度分辨率緩解混疊的問題，但需要極高的計(jì)算成本，并且由于現(xiàn)有的光場(chǎng)重構(gòu)算法自身存在的偽影、色差等常見問題，借助重構(gòu)后的光場(chǎng)圖像得到的重聚焦圖像往往會(huì)產(chǎn)生新的問題?；谏⒔逛秩?Liu等，2016)的方法提供了一種全新的思路，使用光場(chǎng)圖像的視差信息獲取中心視點(diǎn)的彌散圓(circle of confusion，COC)圖像，并借助各向異性濾波渲染圖像，一定程度上降低了計(jì)算成本，但是該算法過分依賴COC圖像的精度，一旦COC圖像出現(xiàn)錯(cuò)誤，就會(huì)出現(xiàn)同一深度平面同時(shí)出現(xiàn)對(duì)焦區(qū)域和散焦區(qū)域的情況，還會(huì)出現(xiàn)單一色塊的現(xiàn)象，嚴(yán)重影響視覺效果。Ignatov等人(2020)借助深度學(xué)習(xí)提高散焦效果，雖然顯著提升了視覺效果，卻僅能聚焦前景，無法對(duì)景深進(jìn)行調(diào)控。Busam 等人(2020)利用立體匹配圖像進(jìn)行重聚焦操作，可以提供更為準(zhǔn)確的深度信息。Dansereau等人(2015)提出一種光場(chǎng)體積重聚焦的方法，相比于傳統(tǒng)的平面重聚焦方法，能夠獲得更大的景深。

本文提出了一種可控景深的光場(chǎng)重聚焦方法，算法流程如圖1所示。本文的貢獻(xiàn)主要為以下3個(gè)方面：1)首次利用深度學(xué)習(xí)實(shí)現(xiàn)了可控景深的光場(chǎng)重聚焦算法，提高了算法效率。2)提出了一種條件生成對(duì)抗神經(jīng)網(wǎng)絡(luò)，能夠借助光場(chǎng)的中心子視點(diǎn)以及COC圖像生成對(duì)應(yīng)的重聚焦圖像。3)新建了一個(gè)具有光場(chǎng)圖像、散焦圖像與其對(duì)應(yīng)的COC圖像的數(shù)據(jù)集。

圖1 本文算法總覽Fig.1 Overview of our method

1 算法原理

本文算法分為兩個(gè)步驟：1)首先利用光場(chǎng)圖像計(jì)算出對(duì)應(yīng)的視差圖，再借助視差圖計(jì)算光場(chǎng)子視點(diǎn)圖像的中心視點(diǎn)中每個(gè)像素的COC。這一步可以調(diào)整參數(shù)得到不同大小的COC，從而完成對(duì)圖像的景深的調(diào)整。2)以光場(chǎng)中心視點(diǎn)為輸入、COC圖像為條件輸入，構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)對(duì)中心視點(diǎn)進(jìn)行散焦渲染，得到最終重聚焦后的圖像。

1.1 彌散圓COC計(jì)算

設(shè)定透鏡焦距為f，則圖像中任意一個(gè)像素點(diǎn)P對(duì)應(yīng)的COC的半徑可表示(Liu等，2016)為

(1)

式中，Zf與Zp分別表示對(duì)焦平面與P點(diǎn)處的深度值，F(xiàn)表示所選光圈的光圈值。從光場(chǎng)模型(Wang等，2018)可知，深度Z=fB/d，其中B為光場(chǎng)圖像基線，即光場(chǎng)圖像子視點(diǎn)間的軸距，d表示視差值。本次實(shí)驗(yàn)中的視差圖利用Wang等人(2019)的算法計(jì)算，最終式(1)整合為

(2)

式中，f，F(xiàn)，df，B均為定值，因此，圖像中不同像素的COC的半徑r與該點(diǎn)的視差值和對(duì)焦平面的視差值的差值的絕對(duì)值成線性關(guān)系。設(shè)點(diǎn)K為

(3)

則式(2)最終整合為

r=K|(dp-df)|

(4)

通過選擇不同的df可以選擇不同的對(duì)焦平面，此時(shí)對(duì)焦平面處的r數(shù)值為0。由式(4)可知，調(diào)整K值大小，可以對(duì)像素的COC的半徑大小進(jìn)行調(diào)整，較大的K值提供一個(gè)較大的COC的半徑，產(chǎn)生一個(gè)比較明顯的模糊效果，即一個(gè)較小的景深。為方便觀察，本文對(duì)生成的單通道COC圖像進(jìn)行了染色處理，如圖2所示，其中前4幅是合成場(chǎng)景，后兩幅是真實(shí)場(chǎng)景，圖2(b)右側(cè)標(biāo)尺數(shù)值表示COC的半徑大小。

圖2 具有不同焦平面與景深的COC圖像Fig.2 COC images with different focal planes and depths of field((a)RGB images；(b)COC images)

1.2 條件生成對(duì)抗網(wǎng)絡(luò)

COC圖像體現(xiàn)了各深度平面的對(duì)象在成像平面的擴(kuò)散程度，為了將其與原圖像結(jié)合生成對(duì)應(yīng)的重聚焦圖像，Liu等人(2016)使用濾波器進(jìn)行散焦渲染，但簡(jiǎn)單的線性疊加無法完全模擬散焦效果，并且極度依賴視差圖的準(zhǔn)度(計(jì)算出的數(shù)值和真實(shí)值的差異)。簡(jiǎn)單的端到端生成對(duì)抗網(wǎng)絡(luò)無法有效控制最終生成的結(jié)果圖像，即對(duì)于相同的輸入圖像，網(wǎng)絡(luò)會(huì)根據(jù)輸入的COC圖像進(jìn)行不同的散焦渲染，得到不同的散焦圖像。對(duì)此，本文提出了一種基于COC圖像的條件生成對(duì)抗網(wǎng)絡(luò)模型，采用散焦渲染方法，并使用兩個(gè)不同的編碼器處理輸入圖像和約束條件，用于學(xué)習(xí)散焦圖像與清晰圖像和COC圖像之間的映射關(guān)系，并在輸入端通過添加約束條件的方式對(duì)結(jié)果進(jìn)行控制。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示，圖中C表示concatenate操作，T/F意為True/False，即判別器的判別結(jié)果。

圖3 本文提出的條件生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Conditional generative adversarial networks structure proposed in this paper

網(wǎng)絡(luò)生成器的輸入為原光場(chǎng)的中心子視點(diǎn)圖像(大小為512×512×3)和第1步計(jì)算得到的COC圖像(大小為512×512×1)，生成器的輸出再與COC圖像一起進(jìn)入判別器，以保證生成的散焦圖像與COC相對(duì)應(yīng)。由于實(shí)際應(yīng)用中往往無法獲取精準(zhǔn)的COC圖像，本文將COC圖像與中心視點(diǎn)圖像分別輸入網(wǎng)絡(luò)，削弱二者的直接聯(lián)系，降低不準(zhǔn)確的COC圖像對(duì)重聚焦圖像的影響。生成器模型呈Y型結(jié)構(gòu)，分為3段。第1段由兩個(gè)編碼器組成，分別對(duì)輸入的COC圖像和中心子視點(diǎn)圖像進(jìn)行特征提取。編碼器分為4層，每層由1個(gè)卷積層、1個(gè)ReLU激活函數(shù)和1個(gè)BN(batch normalization)層組成，BN層的輸出作為下一層編碼器的輸入。第2段的輸入為第1段兩個(gè)編碼器的輸出執(zhí)行concatenate操作后的結(jié)果，由4層殘差結(jié)構(gòu)組成，目的是增加網(wǎng)絡(luò)的深度以及整合兩個(gè)編碼器的輸出。第3段是解碼器部分，共4層，本文沒有使用反卷積操作，而是選擇了上采樣后接2D卷積層，并添加了與中心視點(diǎn)編碼器的跳級(jí)連接，最后對(duì)連接結(jié)果進(jìn)行卷積核大小為1的卷積操作，解碼器每層均添加了ReLU激活函數(shù)和BN層。判別器的輸入為執(zhí)行concatenate操作后的中心子視點(diǎn)圖像和COC圖像，再經(jīng)過3層編碼器(編碼器結(jié)構(gòu)與生成器一樣)，最后通過兩層全連接層以及sigmoid激活函數(shù)得到判別結(jié)果。

本文提出的條件生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)包含兩部分，定義為

Losstotal=λ0LossD+LossG

(5)

式中，LossD表示判別器損失，在提出的方法中采用交叉熵?fù)p失作為判別器損失，LossG表示生成器損失，超參數(shù)λ0在本次實(shí)驗(yàn)中設(shè)置為10。

生成器損失LossG定義為

LossG=λ0LossL1+λ2Lossper+λ3Lossstyle

(6)

表1 不同超參數(shù)的平均PSNR和SSIMTable 1 Average PSNR and SSIM under different hyperparameters

實(shí)驗(yàn)表明，本文擬定的參數(shù)值可使結(jié)果達(dá)到一個(gè)理想指標(biāo)。λ2和λ3參考 Liu等人(2018)方法中的取值。

L1損失LossL1定義為

(7)

式中，Vgen表示生成器的結(jié)果，Vgt表示圖像的真值。本文使用預(yù)訓(xùn)練的VGG-16(Visual Geometry Group 16-layer network)(Simonyan和Zisserman，2015)網(wǎng)絡(luò)對(duì)生成器的結(jié)果和真值進(jìn)行特征提取，并選擇pool1，pool2和pool3網(wǎng)絡(luò)層計(jì)算特征圖的損失。

感知損失Lper定義為

(8)

風(fēng)格損失Lstyle定義為

(9)

式中，G代表Gram矩陣。

2 實(shí)驗(yàn)結(jié)果

條件生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練需要大量帶有條件的數(shù)據(jù)集，而本研究需要的重聚焦圖像和COC圖像并無公開的數(shù)據(jù)集可直接利用，因此本文借助blender仿真軟件制作了一個(gè)全新的數(shù)據(jù)集。使用blender仿真軟件制作數(shù)據(jù)集有3個(gè)優(yōu)點(diǎn)：1)可以獲取每個(gè)光場(chǎng)子視點(diǎn)對(duì)應(yīng)的準(zhǔn)確視差，可以計(jì)算出最精準(zhǔn)的COC圖像；2)參數(shù)透明可控，可以獲取與COC圖像對(duì)應(yīng)的重聚焦圖像；3)模型容易獲取，場(chǎng)景多樣，可以快速制作出大量數(shù)據(jù)集用于訓(xùn)練。該數(shù)據(jù)集包含10個(gè)不同的場(chǎng)景，每個(gè)場(chǎng)景選擇了多個(gè)對(duì)焦平面，渲染了多種不同景深的光場(chǎng)圖像，并借用了blender中的單反相機(jī)插件模擬了其對(duì)應(yīng)的散焦效果。本文數(shù)據(jù)集共包含210組光場(chǎng)圖像和對(duì)應(yīng)的重聚焦圖像，并從中隨機(jī)抽取了180幅光場(chǎng)圖像用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練,3幅用于評(píng)估模型,剩下27幅以及5幅真實(shí)場(chǎng)景數(shù)據(jù)用于測(cè)試。本文所提算法在TitanX GPU上進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練次數(shù)為3 500，初始學(xué)習(xí)率設(shè)為0.000 2，訓(xùn)練完成約需28 h。

2.1 光場(chǎng)重聚焦結(jié)果對(duì)比

本文與傳統(tǒng)重聚焦算法(Vaish等，2004)、基于光場(chǎng)重構(gòu)優(yōu)化后的重聚焦算法、包括利用神經(jīng)網(wǎng)絡(luò)進(jìn)行光場(chǎng)重構(gòu)的重聚焦算法(Kalantari等，2016)、引入對(duì)抗網(wǎng)絡(luò)提高重構(gòu)光場(chǎng)質(zhì)量的重聚焦算法(Ledig等，2016)、利用EPI進(jìn)行光場(chǎng)重構(gòu)的重聚焦算法(Wu等，2017)以及結(jié)合COC圖像使用各向異性濾波模擬散焦渲染的算法(Wang等，2019)進(jìn)行對(duì)比。由于傳統(tǒng)重聚焦算法和基于光場(chǎng)重構(gòu)的重聚焦算法都不具備修改對(duì)焦平面和景深的功能，因此本文僅與其在單一對(duì)焦平面與景深上對(duì)比，結(jié)果如圖4所示，其中，圖4(b)為真值圖像，其對(duì)應(yīng)的COC圖像如圖2所示。由于Wang等人(2019)、Kalantari等人(2016)和Ledig等人(2016)的算法均無法處理圖像的邊緣，對(duì)圖像進(jìn)行了裁剪處理，為方便定性分析，對(duì)上述算法結(jié)果的邊緣進(jìn)行了簡(jiǎn)單的填充處理，如圖4(c)(f)(g)所示。

從圖4可以看出，傳統(tǒng)重聚焦算法在散焦區(qū)域存在嚴(yán)重混疊現(xiàn)象，如圖4各算法第1行中的樹葉等?；诠鈭?chǎng)重構(gòu)的算法通過視點(diǎn)內(nèi)插提升子視點(diǎn)數(shù)量，一定程度上改善了混疊現(xiàn)象。但是，此類算法的最終效果極其依賴于重構(gòu)的子視點(diǎn)質(zhì)量，顏色誤差、偽影等現(xiàn)象對(duì)最終的重聚焦圖像質(zhì)量會(huì)產(chǎn)生較大影響，上述對(duì)比實(shí)驗(yàn)都體現(xiàn)了這個(gè)問題。基于各向異性濾波的算法在大范圍的散焦區(qū)域表現(xiàn)尚可，但存在大量單一色塊的現(xiàn)象(圖4(c)第2行)，而且在散焦區(qū)域和清晰區(qū)域交界的地方存在大量錯(cuò)誤(圖4(c)第4行)。本文算法能較好地解決上述問題，在散焦區(qū)域和清晰區(qū)域交錯(cuò)存在的地區(qū)也能保證過渡平緩，散焦區(qū)域也較為自然，不存在混疊現(xiàn)象,同時(shí)，在與訓(xùn)練集存在較大差異的真實(shí)場(chǎng)景中也能得到較好的結(jié)果。與仿真數(shù)據(jù)相比，真實(shí)場(chǎng)景計(jì)算的COC圖像存在較多錯(cuò)誤，如位于散焦區(qū)域的像素卻得到一個(gè)較小的COC數(shù)值，導(dǎo)致其未能進(jìn)行正確的散焦渲染，Wang等人(2019)的算法就體現(xiàn)了這個(gè)問題。本文算法利用深度學(xué)習(xí)技術(shù)，并采用了Y型結(jié)構(gòu)的生成器，削弱了COC圖像與輸入的中心子視點(diǎn)圖像的直接聯(lián)系，可以大幅度降低錯(cuò)誤的COC圖像對(duì)散焦渲染效果的影響。同時(shí)，本文算法在對(duì)焦平面區(qū)域存在清晰度不高、細(xì)小的紋路和材質(zhì)無法恢復(fù)的問題，這可能是由于本文的網(wǎng)絡(luò)結(jié)構(gòu)主要功能是對(duì)輸入的中心視點(diǎn)依照對(duì)應(yīng)的COC圖像進(jìn)行散焦處理，對(duì)所有區(qū)域都會(huì)進(jìn)行不同程度的模糊。

圖4 光場(chǎng)重聚焦實(shí)驗(yàn)對(duì)比Fig.4 Comparison of light field refocusing by different methods((a)center images;(b)ground truth;(c)Wang et al.(2019);(d)Vaish et al.(2004);(e)Wu et al.(2017);(f)Kalantari et al.(2016);(g)Ledig et al.(2016);(h)ours)

最后，本文通過平均峰值信噪比(PSNR)和平均結(jié)構(gòu)相似性(SSIM)對(duì)不同的算法結(jié)果進(jìn)行定量分析，結(jié)果如表2所示，其中，對(duì)Wang等人(2019)、Kalantari等人(2016)和Ledig等人(2016)的算法僅計(jì)算裁剪后區(qū)域的數(shù)值。定量分析表明，本文算法在大多數(shù)場(chǎng)景都優(yōu)于對(duì)比算法，而在對(duì)焦平面區(qū)域占據(jù)圖像大部分區(qū)域時(shí)，Vaish等人(2004)的結(jié)果略高于本文算法，這是因?yàn)樵搮^(qū)域具有極小的視差，傳統(tǒng)的重聚焦算法對(duì)此不需要進(jìn)行復(fù)雜處理就可以使重聚焦后的圖像在該區(qū)域與輸入僅有微小差距，而本文算法仍需要通過網(wǎng)絡(luò)對(duì)該區(qū)域進(jìn)行散焦渲染。即便如此，本文的結(jié)果與其差距仍然很小。值得注意的是，在此類場(chǎng)景中，本文算法的視覺效果明顯優(yōu)于Vaish等人(2004)的結(jié)果。而Kalantari等人(2016)、Ledig等人(2016)和Wu等人(2017)的方法由于重構(gòu)的光場(chǎng)子視點(diǎn)存在色差、偽影等問題，在數(shù)值上表現(xiàn)不佳。

表2 光場(chǎng)重聚焦結(jié)果定量分析Table 2 Quantitative analysis of the light field refocus results

2.2 散焦渲染對(duì)比

Ignatov等人(2020)提出了一種利用深度學(xué)習(xí)的單幅圖像散焦渲染算法，可以對(duì)輸入圖像的背景區(qū)域進(jìn)行散焦渲染。本文算法獲取了具有與之相同對(duì)焦平面與景深大小的實(shí)驗(yàn)結(jié)果。二者的對(duì)比實(shí)驗(yàn)結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果表明，Ignatov等人(2020)的算法可以在背景區(qū)域取得較好的散焦效果，但是由于完全依賴神經(jīng)網(wǎng)絡(luò)選擇散焦渲染的區(qū)域，未添加有效的約束，導(dǎo)致前景區(qū)域也存在不同程度的模糊。本文算法以COC圖像作為約束條件，可以更好地區(qū)分散焦區(qū)域與對(duì)焦區(qū)域。同時(shí)，除了背景的散焦渲染外，本文算法還提供了調(diào)節(jié)對(duì)焦平面與景深大小的功能。

圖5 Ignatov等人(2020)與本文方法散焦渲染實(shí)驗(yàn)對(duì)比Fig.5 Comparison of bokeh rendering between Ignatov et al.(2020)method and ours((a)center images;(b)ground truth;(c)Ignatov et al.(2020);(d)ours)

2.3 對(duì)焦平面與景深的調(diào)節(jié)

本文算法首先生成包含不同對(duì)焦平面和不同景深信息的COC圖像，再通過條件生成對(duì)抗網(wǎng)絡(luò)進(jìn)行散焦渲染獲取對(duì)應(yīng)的重聚焦圖像，能夠獲得單反相機(jī)拍攝的圖像后期處理難以達(dá)到的效果，實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 對(duì)焦平面與景深調(diào)節(jié)實(shí)驗(yàn)結(jié)果Fig.6 Results of focal plane and depth of field adjusting((a)refocus images;(b)dyed COC images)

3 結(jié) 論

本文提出了一種光場(chǎng)圖像重聚焦方法。首先輸入光場(chǎng)圖像、對(duì)焦平面與景深參數(shù)，得到COC圖像，再將其與光場(chǎng)中心視點(diǎn)圖像輸入條件生成對(duì)抗網(wǎng)絡(luò)，輸出最終的重聚焦圖像。本文提出的條件生成對(duì)抗網(wǎng)絡(luò)能夠根據(jù)輸入的COC圖像，對(duì)輸入的中心視點(diǎn)圖像進(jìn)行相應(yīng)的散焦渲染。實(shí)驗(yàn)結(jié)果表明，提出的方法可以顯著地提升圖像的視覺效果。

但是，本文提出的條件生成對(duì)抗網(wǎng)絡(luò)模型仍存在一定的不足。在實(shí)際應(yīng)用中，從真實(shí)場(chǎng)景的光場(chǎng)圖像中計(jì)算的COC圖像往往存在大量錯(cuò)誤，導(dǎo)致對(duì)焦平面區(qū)域存在一定程度的模糊，尤其是對(duì)焦平面位于前景且占據(jù)圖像大部分區(qū)域時(shí)，一定程度上影響了圖像質(zhì)量與視覺效果。下一步將通過引入可以同時(shí)利用仿真圖像和真實(shí)光場(chǎng)圖像的半監(jiān)督的領(lǐng)域自適應(yīng)學(xué)習(xí)優(yōu)化模型，并嘗試加入其他損失函數(shù)進(jìn)一步弱化錯(cuò)誤的COC圖像對(duì)圖像結(jié)果的影響，以期在真實(shí)場(chǎng)景上獲取更好的效果。