基于G-Buffer的深度學(xué)習(xí)反走樣算法

張靖儀

（四川大學(xué)計算機(jī)學(xué)院，成都610065）

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員已提出諸多基于深度學(xué)習(xí)的反走樣算法，用于提升圖形渲染的質(zhì)量，然而現(xiàn)有的深度學(xué)習(xí)反走樣算法并未有效利用圖形渲染的優(yōu)勢。針對上述問題，將圖形繪制過程中涉及到的G-Buffer信息、時序反走樣的理念及循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種基于G-Buffer的深度學(xué)習(xí)反走樣算法。實驗結(jié)果表明，該算法可有效解決幾何邊緣等高頻區(qū)域的走樣現(xiàn)象，并取得和超采樣反走樣算法類似的效果。

0 引言

圖形繪制離散化過程中，若采樣率不滿足奈奎斯特采樣定理，便會引起渲染失真等圖形走樣現(xiàn)象。這種走樣現(xiàn)象在圖形繪制方面通常表現(xiàn)為幾何走樣和著色走樣，這些走樣將對圖形繪制結(jié)果產(chǎn)生不利影響。

為了消除走樣現(xiàn)象，提升圖形繪制質(zhì)量，研究人員提出了大量基于圖形的反走樣算法。比較典型的圖形反走樣算法有超采樣反走樣算法[1]、多重采樣反走樣算法[2]和時序反走樣算法[3]等。其中超采樣反走樣算法是圖形繪制領(lǐng)域比較常用的一種反走樣算法，該算法通過增加著色樣本數(shù)量的方式，有效改善了幾何走樣和著色走樣等圖形繪制失真現(xiàn)象，然而該算法需要額外的著色計算，這顯著增加了著色帶寬。多重采樣反走樣算法則是一種利用幾何掩碼來降低幾何反走樣計算開銷的反走樣算法，然而該算法并不能起到著色反走樣的目的。時序反走樣算法是另一種圖形反走樣算法，該算法通過時間平攤超采樣的方式也能取得較好的反走樣效果，但是該算法會帶入額外的鬼影、模糊等問題。

為了解決圖形反走樣算法的缺陷，受數(shù)據(jù)驅(qū)動的啟發(fā)，研究人員已提出大量基于深度學(xué)習(xí)的反走樣算法。如Nalbach[4]提出過一種基于U-shaped的深度學(xué)習(xí)反走樣算法，該算法通過數(shù)據(jù)驅(qū)動的方式來解決超采樣反走樣算法著色代價過高、多重采樣反走樣算法著色走樣等問題；NVIDIA[5]提出過一種深度學(xué)習(xí)反走樣算法，該算法利用深度學(xué)習(xí)推理加速技術(shù)有效解決了深度學(xué)習(xí)反走樣算法的效率問題，并通過采集大規(guī)模圖形繪制場景的方式，顯著提升了反走樣網(wǎng)絡(luò)的泛化能力。

雖然已有的深度學(xué)習(xí)反走樣算法能有效規(guī)避圖形反走樣算法的缺陷，但是這些反走樣算法并未有效利用圖形渲染的優(yōu)勢。針對上述問題，本文將G-Buffer信息、時序反走樣理念等圖形渲染技術(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種新的深度學(xué)習(xí)反走樣算法。并通過實驗驗證本文算法的有效性。

1 相關(guān)研究

1.1 時序反走樣

圖形繪制過程中需要對時序信號進(jìn)行離散化處理，然而對于時序信號頻率變化較高的區(qū)域，若時序信號的采樣率不能滿足奈奎斯特采樣定理，便會出現(xiàn)時序走樣現(xiàn)象。這種走樣現(xiàn)象在時序上主要表現(xiàn)為閃爍、車輪效應(yīng)等圖形時序信號失真現(xiàn)象。

時序反走樣算法是解決時序走樣現(xiàn)象的常用算法。該算法最早由Yang[3]提出，其基本思想是通過重投影等方式將一個像素空間域上的多個采樣點平攤到歷史幀中，并通過混合歷史樣本的方式來達(dá)到時序反走樣的目的。通過這種時間平攤超采樣的方式，時序反走樣算法不僅能取得超采樣反走樣算法類似的優(yōu)勢，還能有效節(jié)省反走樣算法的時間開銷。

然而該算法會帶入額外的鬼影、模糊等問題。其中鬼影具體表現(xiàn)為當(dāng)前幀中殘留了過時的歷史數(shù)據(jù)，模糊具體表現(xiàn)為畫質(zhì)退化現(xiàn)象。研究人員通常使用啟發(fā)式算法來規(guī)避上述問題。常用的啟發(fā)式算法有鄰域裁剪[6]、基于指數(shù)的混合系數(shù)計算方式[7]等。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域常用的一種處理時序信息的網(wǎng)絡(luò)結(jié)構(gòu)。其核心思想是：通過復(fù)用上一時刻隱藏數(shù)據(jù)的方式來提高網(wǎng)絡(luò)處理時序信息的能力。由于循環(huán)神經(jīng)網(wǎng)絡(luò)具有良好的處理時序數(shù)據(jù)的能力，因此該網(wǎng)絡(luò)也被廣泛應(yīng)用于視頻處理、語音識別等圖像處理領(lǐng)域。

近年來，隨著深度學(xué)習(xí)技術(shù)的興起，循環(huán)神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖形繪制領(lǐng)域。例如，Schied[8]將循環(huán)神經(jīng)網(wǎng)絡(luò)和圖形降噪技術(shù)相結(jié)合，提出了一種能高效解決蒙特卡洛降噪問題的神經(jīng)網(wǎng)絡(luò)?；谠摼W(wǎng)絡(luò)的降噪算法不單能提高圖形降噪的質(zhì)量，還能顯著改進(jìn)連續(xù)幀畫面的時序穩(wěn)定性。

1.3 和G-Buffer相關(guān)的深度學(xué)習(xí)圖形繪制技術(shù)

G-Buffer中存儲了大量有助于提升圖形繪制質(zhì)量的有效信息，如法線、深度等。近年來的研究成果也表明基于G-Buffer的深度學(xué)習(xí)圖形繪制技術(shù)往往能幫助神經(jīng)網(wǎng)絡(luò)取得更好的圖形泛化能力。如Nalbach[5]提出過一種基于G-Buffer和U-shaped結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在圖像反走樣、景深、運(yùn)動模糊等領(lǐng)域都能取得不錯的泛化效果。Schied[9]將G-Buffer和深度學(xué)習(xí)技術(shù)將結(jié)合，取得了比原始深度學(xué)習(xí)圖形降噪算法更好的圖形降噪效果及網(wǎng)絡(luò)泛化能力。

2 算法實現(xiàn)

2.1 問題分析

已有的圖形反走樣算法雖然能取得較好地反走樣效果，但這些反走樣算法并不能完全解決圖形走樣現(xiàn)象。例如超采樣反走樣算法并不能解決圖形繪制過程中的閃爍現(xiàn)象；多重采樣反走樣算法并不能起到著色反走樣的作用；時序反走樣算法會帶入潛在的模糊、重影等問題。

為了規(guī)避圖形反走樣算法的缺陷，研究人員通常使用啟發(fā)式的方法來解決上述問題。例如超采樣反走樣算法通過邊緣超采樣或改進(jìn)采樣模式的方式來緩解圖形繪制過程中的閃爍問題，多重采樣反走樣算法通過改進(jìn)高光濾波模式的方式可以在一定程度上緩解著色走樣現(xiàn)象；時序反走樣算法通過運(yùn)動濾波、鄰域裁剪等方式來規(guī)避潛在的重影問題。

然而這種基于啟發(fā)式的方法通常是基于某種預(yù)定的假設(shè)而產(chǎn)生的某種暫時可行的處理方法，并不具有較強(qiáng)的普適性。相對而言，基于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)反走樣算法雖然能有效規(guī)避圖形反走樣算法的缺陷，但已有的深度學(xué)習(xí)反走樣算法并沒有充分利用圖形渲染的優(yōu)勢。

2.2 基于G-Buffer的深度學(xué)習(xí)反走樣算法

針對上述問題，本文將圖形繪制過程中涉及到的G-Buffer信息、時序反走樣理念及循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種基于G-Buffer的深度學(xué)習(xí)反走樣算法。該算法通過融合已有時序反走樣算法和循環(huán)神經(jīng)網(wǎng)絡(luò)的方式來實現(xiàn)時間平攤超采樣的目的，并利用GBuffer數(shù)據(jù)來訓(xùn)練反走樣網(wǎng)絡(luò)的模型參數(shù)。

具體的算法流程框架如圖1所示，首先利用重采樣時域數(shù)據(jù)模塊來實現(xiàn)時序反走樣的目的，再將重采樣時域數(shù)據(jù)模塊的輸出結(jié)果和當(dāng)前時刻的G-Buffer數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，然后經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到最終反走樣結(jié)果。其中重采樣時域數(shù)據(jù)模塊的目的是復(fù)現(xiàn)時域反走樣算法中時域樣本采集的功能；而循環(huán)神經(jīng)網(wǎng)絡(luò)則是為了提升神經(jīng)網(wǎng)絡(luò)的時域融合效果；GBuffer信息作為神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的目的是為了改進(jìn)反走樣網(wǎng)絡(luò)的泛化能力。

圖1 本文算法的處理流程

神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖2所示。其中網(wǎng)絡(luò)的輸入是重采樣得到的時域數(shù)據(jù)和T時刻的法線、深度等G-Buffer信息，網(wǎng)絡(luò)的輸出是T時刻的反走樣結(jié)果。網(wǎng)絡(luò)前半部分由3×3×32大小的卷積核及ReLU結(jié)構(gòu)堆砌而成，網(wǎng)絡(luò)后半部分采用一個3×3×3大小的卷積核。最后網(wǎng)絡(luò)的輸出結(jié)果不僅作為當(dāng)前時刻的反走樣輸出結(jié)果，還作為下一時刻重采樣時域數(shù)據(jù)模塊的輸入數(shù)據(jù)，經(jīng)重采樣時域數(shù)據(jù)模塊處理后作為循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)，并和下一時刻的G-Buffer信息一同作為下一時刻網(wǎng)絡(luò)的輸入數(shù)據(jù)。

圖2 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)圖

實驗部分使用的數(shù)據(jù)集是NVIDIA提供的Amazon Lumberyard Bistro[9]場景經(jīng)裁剪旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)技術(shù)處理后得到的1900段包含G-Buffer信息及超采樣反走樣結(jié)果的圖像序列數(shù)據(jù)集。其中每段圖像序列由7組連續(xù)的幀畫面組成。并按3:1:1的方式隨機(jī)分成訓(xùn)練集、驗證集及測試集。且訓(xùn)練過程中迭代次數(shù)設(shè)置為300，批處理數(shù)量設(shè)置為8。

3 實驗結(jié)果

為了驗證本文算法的有效性，本文通過對比時序反走樣算法、超采樣反走樣算法的反走樣繪制結(jié)果及性能指標(biāo)來衡量本文算法的有效性。其中圖3是一個典型的反走樣效果對比圖，且從左到右分別為未反走樣的圖像、經(jīng)時序反走樣算法處理后的圖像、經(jīng)本文算法處理后的圖像及經(jīng)超采樣反走樣算法處理后的圖像。對比圖3中的四幅圖像，可以明顯看出，本文算法具有較好的反走樣效果，且這種反走樣效果優(yōu)于時序反走樣算法，又近似于超采樣反走樣算法取得的效果。表1則是本文算法與時序反走樣算法的在測試集上統(tǒng)計得到的平均性能對比結(jié)果，其中SSIM指標(biāo)越大，則說明該算法的反走樣效果越接近于超采樣反走樣算法。從表1中明顯可以看到，本文算法的SSIM指標(biāo)遠(yuǎn)大于時序反走樣算法的SSIM指標(biāo)，即本文算法優(yōu)于時序反走樣算法。

表1 反走樣性能對比結(jié)果

圖3 反走樣效果對比圖

4 結(jié)語

本文提出了一種基于G-Buffer的深度學(xué)習(xí)反走樣算法，該算法通過重采樣時域數(shù)據(jù)、循環(huán)神經(jīng)網(wǎng)絡(luò)等方式實現(xiàn)了時域反走樣的目的，并利用G-Buffer數(shù)據(jù)來訓(xùn)練反走樣網(wǎng)絡(luò)的模型參數(shù)。實驗結(jié)果證明，本文算法可有效解決幾何邊緣等高頻區(qū)域的走樣現(xiàn)象，并取得和超采樣反走樣算法類似的效果。且這種反走樣效果優(yōu)于典型的時序反走樣算法。后續(xù)的研究中，將考慮使用網(wǎng)絡(luò)剪枝、深度學(xué)習(xí)推理加速等技術(shù)來提升本文算法的反走樣效率。