基于循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)域反走樣算法

李健寬

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

走樣是圖形渲染中的基本問題之一，它是圖形幾何及著色計(jì)算過程中采樣率不足導(dǎo)致的現(xiàn)象，具體表現(xiàn)為幾何邊緣的鋸齒及紋理失真。而圖形反走樣算法能夠減緩這種走樣現(xiàn)象，極大提升圖形繪制的質(zhì)量，因此，高效高性能的反走樣算法研究是圖形學(xué)的重要課題。

時(shí)域反走樣（Temporal Anti-Aliasing，TAA）是當(dāng)前實(shí)時(shí)渲染中應(yīng)用最廣泛的反走樣算法，它屬于通過增加采樣率緩解走樣誤差的算法，TAA將子樣本點(diǎn)分散到了圖形繪制的歷史幀中，采用啟發(fā)式算法將歷史樣本點(diǎn)融合到當(dāng)前幀中。樣本點(diǎn)分?jǐn)偟綍r(shí)域上使得TAA消耗較低渲染系統(tǒng)資源的同時(shí)，為畫面效果帶來極大的提升，這也是TAA從眾多反走樣算法中脫穎而出的重要原因。

近年來深度學(xué)習(xí)不斷發(fā)展，圖形渲染領(lǐng)域也出現(xiàn)一些與深度學(xué)習(xí)結(jié)合的方法。2018年，英偉達(dá)推出了圖靈架構(gòu)顯卡，附有專為深度學(xué)習(xí)設(shè)計(jì)的硬件Tensor Core，此類深度學(xué)習(xí)專用硬件的出現(xiàn)讓圖像任務(wù)中表現(xiàn)優(yōu)異的深度學(xué)習(xí)算法越來越多的被引入實(shí)時(shí)渲染領(lǐng)域中。例如，與Tensor Core一同推出的英偉達(dá)深度學(xué)習(xí)超采樣（Deep Learning Super-Sampling，DLSS），該算法利用數(shù)據(jù)驅(qū)動(dòng)方式從大量場(chǎng)景圖像中學(xué)習(xí)反走樣網(wǎng)絡(luò)模型，用于提升圖形渲染品質(zhì)。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是深度學(xué)習(xí)領(lǐng)域應(yīng)對(duì)時(shí)序數(shù)據(jù)的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，Chaitanya[1]將其應(yīng)用在光線跟蹤實(shí)時(shí)降噪上。RNN中的隱藏單元能有效提取歷史信息，這些信息將幫助神經(jīng)網(wǎng)絡(luò)得到更優(yōu)質(zhì)的光線跟蹤去噪的結(jié)果，并保證了所繪制效果在序列上的穩(wěn)定性。

當(dāng)前的時(shí)域反走樣算法雖然較好地提升了圖像質(zhì)量，但也仍面臨模糊、重影、閃爍等現(xiàn)象，在時(shí)域復(fù)用框架下難以避免。現(xiàn)有的工程實(shí)現(xiàn)上需要不斷找到更優(yōu)的啟發(fā)式方法來消除這些現(xiàn)象，然而這些啟發(fā)式方法往往依賴于特定的假設(shè)。我們期望使用數(shù)據(jù)驅(qū)動(dòng)的方式，讓深度學(xué)習(xí)發(fā)揮在圖像任務(wù)上的優(yōu)勢(shì)。

本文將研究RNN與TAA的結(jié)合算法，用深度學(xué)習(xí)替代時(shí)域反走樣中的眾多啟發(fā)式方法，進(jìn)行圖形序列反走樣。并對(duì)效果進(jìn)行定量分析。

1 相關(guān)研究

TAA最初由Yang[2]提出，其核心思想是通過將子像素級(jí)別采樣點(diǎn)分?jǐn)偟綒v史幀來獲取近似超采樣效果。TAA可以作為一種時(shí)域復(fù)用框架，它讓我們以相對(duì)極低的資源開銷獲取高品質(zhì)的游戲畫面，這使得它被廣泛應(yīng)用在游戲引擎及交互式圖形程序中。

盡管TAA能產(chǎn)生優(yōu)質(zhì)的畫面效果，但也經(jīng)常出現(xiàn)重影、模糊和閃爍等諸多問題。其中，模糊現(xiàn)象來源于重投影Nehab[3]步驟中對(duì)歷史像素采樣的過程：重投影的像素由歷史幀的多個(gè)像素插值獲得，而歷史幀像素又由更早歷史幀的多個(gè)像素插值獲取，隨時(shí)間推移，迭代過程中參與貢獻(xiàn)的像素范圍不斷擴(kuò)大，導(dǎo)致圖像模糊。重影現(xiàn)象產(chǎn)生的原因在于融合了錯(cuò)誤的歷史數(shù)據(jù)，這種錯(cuò)誤一方面來源于當(dāng)前像素的可見性變化，如當(dāng)前重投影的像素對(duì)應(yīng)的物體表面在歷史幀還未出現(xiàn)，另一方面來源于高頻變化的顏色區(qū)域，歷史像素丟棄判斷方法失效。對(duì)于重影現(xiàn)象，工業(yè)界最常用的方法是鄰域裁剪。Salvi[4]說明了鄰域裁剪的理論依據(jù)，salvi、malan、pedersen[5]分別給出了鄰域裁剪的不同實(shí)現(xiàn)方案。

隨著深度學(xué)習(xí)的興起，我們能看到越來越多的圖像技術(shù)被應(yīng)用到圖形學(xué)領(lǐng)域，這些技術(shù)與圖形領(lǐng)域知識(shí)結(jié)合，發(fā)揮了比原始圖像算法更優(yōu)的效果。Nalbach[6]使用G-Buffer輔助著色計(jì)算，并提出利用u-shaped結(jié)構(gòu)的網(wǎng)絡(luò)完成反走樣（anti-aliasing）、環(huán)境光遮擋（ambient occlusion）、基于圖像的光照（image-based lighting）等眾多任務(wù)。隨后，Chaitanya[1]提出循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)序列圖像結(jié)果穩(wěn)定性的改進(jìn)，該算法同樣利用了G-Buffer輔助信息完成對(duì)降噪效果的改善。

Jaderberg[7]首次提出 STN（Spatial Transformer Net?works），它引入了可微的重投影網(wǎng)絡(luò)層，保證梯度在重投影后的隱藏單元上傳遞，它常被用在與反走樣算法解決相似問題的超分辨率任務(wù)中，STN結(jié)合運(yùn)動(dòng)向量將保證序列數(shù)據(jù)的有效利用。例如，F(xiàn)RVSR[8]利用循環(huán)神經(jīng)網(wǎng)絡(luò)，將上幀圖形利用運(yùn)動(dòng)向量重投影后，與當(dāng)前時(shí)刻圖像通過網(wǎng)絡(luò)進(jìn)行融合，最終得到超分辨率結(jié)果。這與TAA流程有眾多相似之處，它們都利用了歷史時(shí)刻重投影后的圖像與當(dāng)前圖像融合得出最終結(jié)果。

基于深度學(xué)習(xí)的圖形渲染研究尚處于起步階段，相較于圖像領(lǐng)域，圖形繪制中可以快速、精確獲得用于重投影的運(yùn)動(dòng)向量（Motion Vector）以及G-Buffer中包含的除顏色外的深度、法線重要信息。通過引入深度學(xué)習(xí)在圖像領(lǐng)域的經(jīng)驗(yàn)，結(jié)合圖形繪制可精確中間信息，能讓我們用另一種途徑完成多種圖形繪制任務(wù)。

2 算法實(shí)現(xiàn)

2.1 問題分析

時(shí)域反走樣中，無論是重投影還是模糊、閃爍、重影處理，都使用了啟發(fā)式方法，這些方法并非數(shù)學(xué)形式上完美解決，而是研究者通過對(duì)問題理解基于假設(shè)而提出的暫時(shí)處理方法：TAA重投影計(jì)算中，運(yùn)動(dòng)向量采用像素鄰域最長的作為當(dāng)前像素的重投影向量；鄰域裁剪中，使用AABB或統(tǒng)計(jì)當(dāng)前像素鄰域的均值方差形式對(duì)歷史樣本顏色進(jìn)行裁剪；歷史樣本融合過程中，利用人工設(shè)計(jì)方法計(jì)算的衰減因子，以指數(shù)衰減融合的方式將歷史幀采樣的像素顏色和當(dāng)前像素進(jìn)行融合。

在這種沒有解析解的圖像處理問題上，深度學(xué)習(xí)方法大量數(shù)據(jù)中使用損失函數(shù)的梯度尋求更有的神經(jīng)網(wǎng)絡(luò)模型，通常能成為現(xiàn)有問題的前沿解決方案。

本文算法的目標(biāo)是將循環(huán)神經(jīng)網(wǎng)絡(luò)與現(xiàn)有的時(shí)域反走樣框架進(jìn)行融合。時(shí)域反走樣算法中，有幾個(gè)關(guān)鍵的步驟，分別是：子像素偏移、重投影、鄰域裁剪、加權(quán)融合。本文算法利用循環(huán)神經(jīng)網(wǎng)絡(luò)替換掉TAA中融合歷史樣本的方法，直接從場(chǎng)景中采集的大量圖像序列來學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型參數(shù)，最終的模型能夠很好地完成圖形反走樣任務(wù)。

2.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的反走樣算法

本文算法完整保留了TAA算法中的子像素偏移、重投影等步驟：T時(shí)刻渲染的畫面將進(jìn)行子像素級(jí)別的偏移，之后利用神經(jīng)網(wǎng)絡(luò)進(jìn)行當(dāng)前幀像素和重投影后的T-1時(shí)刻歷史像素的融合，在TAA中對(duì)應(yīng)的是鄰域裁剪及加權(quán)融合兩個(gè)步驟，而本文算法則將完全依賴于從場(chǎng)景數(shù)據(jù)中學(xué)習(xí)得到的卷積神經(jīng)網(wǎng)絡(luò)。

本文算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。所提出的神經(jīng)網(wǎng)絡(luò)模型是在Chaitanya[1]的基礎(chǔ)上的時(shí)序改進(jìn)版本，他們使用的是一種帶有Skip Connection的編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)，這種結(jié)構(gòu)能夠在編碼階段學(xué)習(xí)圖像特征的內(nèi)部表示，并在解碼階段還原圖像的反走樣表示。此外，G-Buffer也能提供場(chǎng)景的輔助信息幫助我們完成圖像的反走樣表達(dá)，我們將延遲渲染中的深度、法線等幾何信息與走樣圖像一起作為神經(jīng)網(wǎng)絡(luò)輸入，幫助神經(jīng)網(wǎng)絡(luò)進(jìn)行更有效的反走樣推斷。時(shí)序上，網(wǎng)絡(luò)的輸出由當(dāng)前時(shí)刻的運(yùn)動(dòng)向量利用STN中提供的可微重投影層進(jìn)行重投影變換，T-1時(shí)刻網(wǎng)絡(luò)輸出經(jīng)過重投影層的變換，與T時(shí)刻圖像、G-Buffer一起，作為T時(shí)刻的網(wǎng)絡(luò)輸入。

實(shí)驗(yàn)中采用大量的由走樣圖像序列到超采樣圖像序列對(duì)組成的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，我們使用英偉達(dá)提供的Falcor[9]渲染程序采集Sun Temple[10]場(chǎng)景數(shù)據(jù)。具體而言，我們采集了1000段圖像序列，分割為訓(xùn)練、測(cè)試、驗(yàn)證集，每段序列由7組圖像構(gòu)成，每組圖像包含走樣圖像、運(yùn)動(dòng)向量、G-Buffer、Ground Truth、TAA組成。針對(duì)采集的每段圖像序列，我們使用本文提出的模型進(jìn)行訓(xùn)練。每段數(shù)據(jù)經(jīng)過旋轉(zhuǎn)（90°、180°、270°）、倒序排列序列圖像等數(shù)據(jù)增強(qiáng)處理，訓(xùn)練輪數(shù)為500輪。

訓(xùn)練完成后的網(wǎng)絡(luò)模型使用流程如圖2：

（1）重投影上一幀結(jié)果，與當(dāng)前渲染結(jié)果共同作為神經(jīng)網(wǎng)絡(luò)輸入

（2）渲染當(dāng)前幀，產(chǎn)生子像素級(jí)別抖動(dòng)，并保留GBuffer信息

（3）利用自編碼卷積神經(jīng)網(wǎng)絡(luò)對(duì)1、2輸入進(jìn)行處理，輸出反走樣圖像

（4）重復(fù)步驟1

圖1 本文算法采用的網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)據(jù)輸入輸出

圖2 本文算法在時(shí)序上的流程

3 實(shí)驗(yàn)結(jié)果及分析

圖3 左到右分別為原始圖像、TAA、本文算法、Ground Truth

表1 TAA與本文算法性能對(duì)比

本文研究的目的在于使用深度學(xué)習(xí)方法提升時(shí)域反走樣的效果，我們將分別統(tǒng)計(jì)本文算法及TAA算法在所采集數(shù)據(jù)集上的RMSE指標(biāo)，來統(tǒng)計(jì)逐像素?cái)?shù)值上的差異。表1為TAA及本文算法進(jìn)行的定量比較，可以看出本文算法相對(duì)于原始的算法，RMSE數(shù)值更低，這意味著本文算法結(jié)果與Ground Truth差異更小，即在統(tǒng)計(jì)上本文算法優(yōu)于TAA。而圖3在實(shí)際場(chǎng)景中的測(cè)試則可以看出，TAA算法對(duì)原圖產(chǎn)生了一定的反走樣效果，幾何邊緣鋸齒現(xiàn)象減弱，但整體畫面更加模糊；相比之下，本文算法結(jié)果既保留了清晰的幾何邊緣，在紋理上也保持了原有的清晰度，產(chǎn)生了更接近Ground Truth的高質(zhì)量反走樣結(jié)果。

4 結(jié)語

本文給出了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的反走樣算法的實(shí)現(xiàn)，我們將時(shí)域反走樣中的方法融進(jìn)了深度學(xué)習(xí)流程中，最終得到的效果能夠較好地完成圖形反走樣任務(wù)。在結(jié)果分析中能看到，本文算法能較好解決幾何走樣、著色走樣問題，性能指標(biāo)優(yōu)于英偉達(dá)實(shí)現(xiàn)版本的TAA算法。本文算法能用于減緩實(shí)際游戲、交互式圖形程序中遇到的走樣現(xiàn)象，具有實(shí)際意義。