基于未來(lái)幀的時(shí)間性反走樣研究及實(shí)踐

杜興盛，吳 桐，張靖儀，李 根，李 鑫，張嚴(yán)辭,

基于未來(lái)幀的時(shí)間性反走樣研究及實(shí)踐

杜興盛1，吳 桐2，張靖儀2，李 根2，李 鑫3，張嚴(yán)辭1,2

(1. 四川大學(xué)計(jì)算機(jī)學(xué)院，四川 成都 610065；2. 四川大學(xué)視覺(jué)合成圖形圖像技術(shù)國(guó)家重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065；3. 國(guó)家空域管理中心，北京 101318)

時(shí)間性反走樣算法具有效率優(yōu)勢(shì)，是近年來(lái)被廣泛應(yīng)用的實(shí)時(shí)反走樣算法之一。該算法通過(guò)將采樣點(diǎn)平攤至歷史多幀及復(fù)用歷史數(shù)據(jù)的方式來(lái)實(shí)現(xiàn)實(shí)時(shí)反走樣。在時(shí)域信息采樣充分且歷史數(shù)據(jù)可復(fù)用的前提下，該算法能取得和超采樣反走樣算法類(lèi)似的效果。然而在實(shí)際應(yīng)用中，時(shí)間性反走樣算法會(huì)有幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失等問(wèn)題。本文以時(shí)間性反走樣算法為研究基礎(chǔ)，針對(duì)時(shí)間性反走樣算法存在的問(wèn)題，提出了一種基于未來(lái)幀的時(shí)間性反走樣算法。其基本思想是，在使用已有時(shí)域信息的基礎(chǔ)上，將未經(jīng)反走樣處理的未來(lái)一幀納入時(shí)間性反走樣，通過(guò)使用未來(lái)幀的樣本，提升幾何反走樣效果，實(shí)現(xiàn)抗重影以及改善子像素細(xì)節(jié)缺失情況。本文算法提出了可復(fù)用未來(lái)幀數(shù)據(jù)提取以及未來(lái)幀數(shù)據(jù)復(fù)用的解決方案。實(shí)驗(yàn)結(jié)果表明，與時(shí)間性反走樣算法相比，該算法的反走樣效果更優(yōu)。

時(shí)間性反走樣；未來(lái)幀；幾何反走樣；抗重影；子像素細(xì)節(jié)缺失

走樣現(xiàn)象一直是影響渲染質(zhì)量的關(guān)鍵因素，近年來(lái)，時(shí)間性反走樣算法(temporal anti-aliasing，TAA)[1-4]因其較低的計(jì)算成本與較少的內(nèi)存占用，在實(shí)時(shí)渲染領(lǐng)域備受關(guān)注。相比多重采樣反走樣算法[5](multisampling anti-aliasing，MSAA)，TAA能更好地滿(mǎn)足延遲渲染的抗鋸齒需求。然而，由于使用累積幀來(lái)代替歷史多幀以及鄰域裁剪方法的局限性，TAA會(huì)有重影、圖像模糊及子像素缺失等問(wèn)題，在時(shí)域信息采樣不充分區(qū)域，TAA依然會(huì)有幾何邊緣鋸齒問(wèn)題。

為解決TAA所帶來(lái)的這些問(wèn)題，本文提出了一種基于未來(lái)幀的時(shí)間性反走樣算法 (future- frame-based temporal anti-aliasing，F(xiàn)TAA)，其基本思想為:在復(fù)用歷史數(shù)據(jù)的基礎(chǔ)上，引入未來(lái)幀增加時(shí)域信息，將未經(jīng)反走樣處理的未來(lái)一幀數(shù)據(jù)納入時(shí)間性反走樣，緩解TAA存在的幾何邊緣鋸齒、重影與子像素細(xì)節(jié)缺失的問(wèn)題。

1 相關(guān)工作

基于覆蓋超采樣的空間性反走樣算法。走樣的根本原因在于采樣頻率不足，超采樣反走樣算法[6](supersampling anti-aliasing，SSAA)通過(guò)混合多個(gè)采樣點(diǎn)的著色結(jié)果，可以得到高質(zhì)量的反走樣效果。MSAA將三角形覆蓋率與著色率解耦，同一個(gè)三角形若覆蓋多個(gè)采樣點(diǎn)，也只會(huì)著色一次。NVIDIA的覆蓋采樣反走樣算法(cover-age-sampling anti-aliasing，CSAA)[7]提高了采樣數(shù)，但不增加顯存開(kāi)銷(xiāo)，三角形覆蓋多少采樣點(diǎn)只影響子像素在混合時(shí)的權(quán)重；AMD的增強(qiáng)質(zhì)量反走樣算法(enhanced quality anti-aliasing，EQAA)[8]將子像素著色結(jié)果存放在表格中，每個(gè)采樣點(diǎn)只保存著色結(jié)果在表格中的ID，用以將采樣點(diǎn)與著色結(jié)果解耦。

基于圖形分析的空間性反走樣算法。該類(lèi)算法最早由LOTTES[9]提出，Lottes通過(guò)形態(tài)分析的方式有效解決了SSAA的性能問(wèn)題；JIMENEZ等[10]擴(kuò)展了形態(tài)分析的反走樣模式，有效緩解了上述算法存在的邊緣模糊問(wèn)題；文獻(xiàn)[11-12]簡(jiǎn)化了形態(tài)分析的匹配過(guò)程，顯著提升了上述算法的反走樣效率。然而基于形態(tài)分析的空間性反走樣算法并不能有效解決著色走樣[13]及細(xì)節(jié)缺失現(xiàn)象。TOKUYOSHI和KAPLANYAN[14]將幾何分析和光照計(jì)算相結(jié)合，有效緩解了著色走樣；文獻(xiàn)[15-16]通過(guò)擴(kuò)展幾何緩存(G-Buffer)和引入幾何分析的方式顯著提升了反走樣算法的細(xì)節(jié)恢復(fù)效果。

TAA算法是一種將空域內(nèi)的采樣點(diǎn)平攤到時(shí)域上，以達(dá)到降低每幀渲染時(shí)間的超采樣方法。Intel提出了一種和傳統(tǒng)形態(tài)反走樣相結(jié)合的TAA[3]；NVIDIA在Game Developer Conference分享了一種和自適應(yīng)超采樣相結(jié)合的TAA[17]；AMD旗下Radeon系列顯卡集成了Radeon圖像銳化技術(shù)[18]。Naughty Dog Game Engine于2016年SIGGRAPH會(huì)議上分享過(guò)和自適應(yīng)濾波技術(shù)相結(jié)合的TAA[19]；Decima Engine于2017年SIGGRAPH會(huì)議上分享過(guò)和快速近似反走樣相結(jié)合的TAA[20]；Unreal Engine于2017和2018年SIGGRAPH會(huì)議上分享了諸多和TAA相關(guān)的研究成果[4,21]。

深度學(xué)習(xí)反走樣算法。NALBACH等[22]提出過(guò)一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的深度學(xué)習(xí)反走樣算法。SALVI[23]利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)改進(jìn)深度學(xué)習(xí)反走樣算法的時(shí)序穩(wěn)定性。NVIDIA在圖靈顯卡架構(gòu)的基礎(chǔ)上提出過(guò)一種基于深度學(xué)習(xí)的超采樣反走樣算法(deep learning super sampling)[24]。

2 算法概述

TAA[1]通過(guò)復(fù)用歷史數(shù)據(jù)的方式，可有效滿(mǎn)足實(shí)時(shí)反走樣算法的性能要求。然而其在實(shí)際運(yùn)用中，也存在諸多影響圖像質(zhì)量的問(wèn)題，如圖1所示。圖1(a)由于相機(jī)運(yùn)動(dòng)，新出現(xiàn)物體因累積幀時(shí)域信息缺失，使得幾何邊緣鋸齒無(wú)法消除；圖1(b)由于鄰域裁剪在高頻信息處失效，運(yùn)動(dòng)物體的歷史數(shù)據(jù)被錯(cuò)誤復(fù)用出現(xiàn)重影；圖1(c)由于子像素細(xì)節(jié)采樣失敗，同時(shí)鄰域裁剪出錯(cuò)使得無(wú)法正確復(fù)用累積幀，導(dǎo)致子像素細(xì)節(jié)缺失。

針對(duì)TAA存在的幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失問(wèn)題，本文受視頻壓縮中雙向預(yù)測(cè)[25]的啟發(fā)，提出了FTAA算法。其基本思想為：在復(fù)用累積幀的基礎(chǔ)上，引入未來(lái)一幀，同時(shí)利用未來(lái)幀提供的時(shí)域信息緩解TAA存在的幾何邊緣鋸齒、重影與子像素細(xì)節(jié)缺失問(wèn)題，并解決了如下問(wèn)題：

圖1 TAA算法問(wèn)題((a)鋸齒問(wèn)題；(b)重影問(wèn)題；(c)子像素缺失問(wèn)題)

(1) 在累積幀時(shí)域信息缺失區(qū)域，由于FTAA引入了未來(lái)幀提供了更多的時(shí)域信息，將當(dāng)前幀和未來(lái)幀數(shù)據(jù)進(jìn)行混合，從而實(shí)現(xiàn)更好的幾何邊緣抗鋸齒效果。

(2) FTAA將時(shí)間性反走樣的混合因子擴(kuò)充到未來(lái)幀，通過(guò)改變混合方式，在保持原有反走樣效果的同時(shí)，降低混合結(jié)果對(duì)累積幀中歷史數(shù)據(jù)的依賴(lài)，從而抑制重影。

(3) 當(dāng)前幀子像素細(xì)節(jié)采樣失敗時(shí)，未來(lái)幀子像素細(xì)節(jié)采樣可能成功，F(xiàn)TAA加入未來(lái)幀數(shù)據(jù)可以降低子像素細(xì)節(jié)缺失程度；除此之外，F(xiàn)TAA通過(guò)引入未來(lái)幀來(lái)提升鄰域裁剪的限制范圍，同時(shí)降低累積幀子像素細(xì)節(jié)被裁剪出錯(cuò)概率，進(jìn)一步降低子像素細(xì)節(jié)缺失程度。

3 FTAA

3.1 基于G-Buffer和重采樣的可復(fù)用未來(lái)幀數(shù)據(jù)提取方案

本文利用G-Buffer提供的運(yùn)動(dòng)向量，從可見(jiàn)性的角度來(lái)評(píng)估未來(lái)幀數(shù)據(jù)的可復(fù)用性，進(jìn)而實(shí)現(xiàn)未來(lái)幀數(shù)據(jù)的有效提取。該思路的基本假設(shè)如下：①可見(jiàn)的未來(lái)樣本對(duì)應(yīng)的著色數(shù)據(jù)具備可復(fù)用性；②不可見(jiàn)的未來(lái)樣本對(duì)應(yīng)的著色數(shù)據(jù)不具備可復(fù)用性。其中可見(jiàn)性指未來(lái)樣本是否落在時(shí)刻目標(biāo)像素的可見(jiàn)范疇。如圖2所示，像素在當(dāng)前時(shí)刻采樣到了藍(lán)色樣本，而物體間遮擋變化使得1時(shí)刻采樣到的橙色樣本并未落在時(shí)刻像素的可見(jiàn)范疇，1時(shí)刻像素對(duì)應(yīng)的橙色樣本為典型的不具備可見(jiàn)性的未來(lái)樣本。

圖3為評(píng)估可見(jiàn)性方法流程。假設(shè)場(chǎng)景中僅桌形物體發(fā)生運(yùn)動(dòng)。圖中紅色方格對(duì)應(yīng)的像素p在時(shí)刻采樣到了背景，這將使得p重投影得到的對(duì)應(yīng)樣本s1能投影回時(shí)刻目標(biāo)像素p中心位置，判斷未來(lái)樣本s1在目標(biāo)像素p的可見(jiàn)范疇。然而紫色方格對(duì)應(yīng)的像素p在時(shí)刻采樣到了桌腳，桌腳在1時(shí)刻不可見(jiàn)，p重投影得到的桌面樣本s1，并不能重投影至?xí)r刻目標(biāo)像素p中心位置，判斷未來(lái)樣本s1在目標(biāo)像素p為不可見(jiàn)范疇。

圖2可見(jiàn)性發(fā)生變化

圖3 評(píng)估可見(jiàn)性方法流程

基于精度受損考慮，方法通過(guò)s+1能否重投影至?xí)r刻目標(biāo)像素相近范疇來(lái)評(píng)估s+1的可見(jiàn)性，評(píng)估過(guò)程為

3.2 未來(lái)幀數(shù)據(jù)復(fù)用機(jī)制

3.2.1 未來(lái)幀數(shù)據(jù)融合方案

未來(lái)幀未經(jīng)反走樣處理，直接引入反而會(huì)加劇走樣，因此本方案將當(dāng)前幀與未來(lái)幀進(jìn)行初步融合，獲得初步反走樣結(jié)果為

其中，e為最小閾值；e為最大閾值；lux為亮度求取函數(shù)；max為最大值函數(shù)；clp為限制函數(shù)。

3.2.2 基于未來(lái)幀的鄰域裁剪改進(jìn)方案

對(duì)于存在子像素細(xì)節(jié)的目標(biāo)像素，若對(duì)應(yīng)的歷史數(shù)據(jù)包含子像素細(xì)節(jié)，而時(shí)刻目標(biāo)像素鄰近像素范疇內(nèi)的抖動(dòng)樣本均未采樣到子像素細(xì)節(jié)，則鄰域裁剪會(huì)出錯(cuò)，進(jìn)而導(dǎo)致子像素細(xì)節(jié)缺失。為了緩解上述問(wèn)題，本文提出了基于未來(lái)幀的鄰域裁剪改進(jìn)方法，以減少鄰域裁剪的出錯(cuò)頻率。改進(jìn)方法為，復(fù)用1幀可見(jiàn)樣本著色信息，以提高樣本采樣到子像素細(xì)節(jié)的幾率，從而降低了子像素細(xì)節(jié)缺失概率。

本文通過(guò)改進(jìn)AABB的構(gòu)建方式，來(lái)解決子像素細(xì)節(jié)缺失問(wèn)題。即利用幀及初步反走樣結(jié)果中鄰近像素范疇內(nèi)的著色樣本，確定著色極值(包括極小值和極大值)，進(jìn)而確定AABB的頂點(diǎn)，以提升AABB的限制精度，其提升將降低被錯(cuò)誤修正的可能性。改進(jìn)方法僅在靜態(tài)場(chǎng)景下使用，因?yàn)閳?chǎng)景運(yùn)動(dòng)將導(dǎo)致目標(biāo)像素及鄰近像素范疇內(nèi)的樣本很難采樣到包含子像素細(xì)節(jié)的運(yùn)動(dòng)信息，進(jìn)而導(dǎo)致包含子像素細(xì)節(jié)信息的概率很低。而動(dòng)態(tài)場(chǎng)景下，使用改進(jìn)后的鄰域裁剪方法，將不能顯著改善子像素細(xì)節(jié)缺失情況。綜合考慮時(shí)間開(kāi)銷(xiāo)和效果，復(fù)用機(jī)制僅在靜態(tài)場(chǎng)景下使用改進(jìn)后的方法，動(dòng)態(tài)場(chǎng)景仍使用原有方法。裁剪結(jié)果將作為基于未來(lái)幀的混合方案的累積幀數(shù)據(jù)。

3.3 基于未來(lái)幀的混合方案

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)概述

針對(duì)文獻(xiàn)[1]TAA算法存在的幾何邊緣鋸齒、子像素細(xì)節(jié)缺失、重影問(wèn)題，本文提出了基于FTAA算法，并設(shè)計(jì)了一系列實(shí)驗(yàn)，用于驗(yàn)證其有效性。

實(shí)驗(yàn)環(huán)境為NVIDIA GeForce GTX-1060 GPU，Intel(R) Core(TM) i5-8400 CPU，8 GB內(nèi)存。輸出分辨率均為1920×1080，實(shí)驗(yàn)中使用采樣率為32 spp的SSAA算法產(chǎn)生的結(jié)果作為Ground Truth。

4.2 驗(yàn)證FTAA方法能有效緩解時(shí)域欠采樣區(qū)域的幾何邊緣鋸齒

圖4 時(shí)域信息缺失區(qū)域相框反走樣效果對(duì)比

4.3 驗(yàn)證FTAA方法能有效緩解重影問(wèn)題

實(shí)驗(yàn)過(guò)程中選取圖5所示的TAA無(wú)法根除重影的區(qū)域進(jìn)行對(duì)比。由圖5(a)可見(jiàn)，小車(chē)向左運(yùn)動(dòng)時(shí)，地毯著色變化較為顯著，鄰域裁剪失效，TAA方法出現(xiàn)了藍(lán)色區(qū)域所示的重影。對(duì)比圖5(b)和(a)可知，F(xiàn)TAA取得比TAA更好的抗重影效果。與TAA相比，F(xiàn)TAA因多復(fù)用未來(lái)幀數(shù)據(jù)，影響了歷史數(shù)據(jù)初始權(quán)重的計(jì)算結(jié)果，并且在高頻區(qū)域，根據(jù)基于未來(lái)幀的混合方案，累積幀的混合權(quán)重會(huì)進(jìn)一步降低，從而有效抑制了重影問(wèn)題。

4.4 驗(yàn)證FTAA方法能有效緩解子像素缺失問(wèn)題

實(shí)驗(yàn)通過(guò)對(duì)比圖6所示的吊燈在反走樣效果上的差異，來(lái)驗(yàn)證FTAA方法對(duì)子像素細(xì)節(jié)缺失情況的改善。圖6(a)～(c)分別展示了TAA，F(xiàn)TAA及SSAA在吊燈區(qū)域的反走樣效果。觀察圖6(a)和(c)藍(lán)色方框標(biāo)記的區(qū)域，可以明顯看到TAA方法存在顯著的子像素細(xì)節(jié)缺失。而對(duì)比圖6(a)和6(b)藍(lán)色標(biāo)記區(qū)域的反走樣結(jié)果可知，F(xiàn)TAA有效改善了子像素細(xì)節(jié)缺失的情況。在本文方法中，未來(lái)幀數(shù)據(jù)融合方案可以引入有效的未來(lái)幀數(shù)據(jù)中子像素信息；并且對(duì)鄰域裁剪方法進(jìn)行改進(jìn)后，引入了未來(lái)幀數(shù)據(jù)，以提升歷史限制精度，進(jìn)而降低包含子像素細(xì)節(jié)的歷史數(shù)據(jù)被丟棄的概率?？傊?，F(xiàn)TAA方法增加子像素被采樣到的概率，減少了鄰域裁剪的出錯(cuò)頻率，進(jìn)而改善子像素細(xì)節(jié)缺失的情況。

4.5 驗(yàn)證FTAA 在實(shí)際應(yīng)用中的有效性

為了驗(yàn)證在實(shí)際應(yīng)用中FTAA能取得比TAA更優(yōu)的反走樣效果。在實(shí)驗(yàn)場(chǎng)景中設(shè)了多個(gè)視角進(jìn)行相機(jī)漫游，并獲取連續(xù)幀畫(huà)面經(jīng)TAA，F(xiàn)TAA及SSAA反走樣處理后的效果圖，以及3種方法的平均渲染幀率。實(shí)驗(yàn)共獲取了1 304幀畫(huà)面對(duì)應(yīng)的反走樣效果圖，并將其作為性能評(píng)估指標(biāo)SSIM及PSNR的輸入數(shù)據(jù)。將SSAA的反走樣結(jié)果將作為參考效果。

圖5 物體運(yùn)動(dòng)區(qū)域反走樣效果對(duì)比

圖6 子像素區(qū)域反走樣效果對(duì)比

圖7展示了1 304 幀畫(huà)面在不同算法下的反走樣性能評(píng)估指標(biāo)的計(jì)算結(jié)果。觀察SSIM曲線和PSNR曲線的變化情況可知，曲線起始區(qū)域的變化尤為顯著。這與時(shí)間平攤超采樣的理念有關(guān)，起始幀開(kāi)始，隨著時(shí)間的推進(jìn)，采樣頻率將會(huì)提高，時(shí)域信息的采樣逐漸飽和；在時(shí)域信息飽和的過(guò)程中，反走樣質(zhì)量將會(huì)急劇提升；時(shí)域信息飽和后，反走樣質(zhì)量基本穩(wěn)定。但相機(jī)或場(chǎng)景的運(yùn)動(dòng)會(huì)使得當(dāng)前幀的一些區(qū)域未出現(xiàn)在歷史幀中，進(jìn)而導(dǎo)致當(dāng)前幀部分區(qū)域缺乏充足的時(shí)域信息，從而使得反走樣質(zhì)量發(fā)生浮動(dòng)。觀察曲線非起始部分的浮動(dòng)情況，可以明顯看到FTAA的評(píng)估結(jié)果普遍高于TAA。這證實(shí)了FTAA在實(shí)際應(yīng)用中的有效性，說(shuō)明其反走樣質(zhì)量普遍優(yōu)于TAA。

圖7 SSIM及PSNR評(píng)估結(jié)果示意圖

表1統(tǒng)計(jì)了1 304幀畫(huà)面在不同算法下的渲染幀率。由表1可知，F(xiàn)TAA的渲染幀率略低于TAA，但明顯優(yōu)于SSAA，其能滿(mǎn)足實(shí)時(shí)反走樣的性能需求。由于SSAA每幀目標(biāo)像素需要生成多個(gè)著色樣，TAA和FTAA每幀目標(biāo)像素僅生成一個(gè)著色樣本，其余的樣本從歷史幀及未來(lái)幀中獲取，所以TAA和FTAA的渲染幀率優(yōu)于SSAA。而與TAA對(duì)比，F(xiàn)TAA在反走樣過(guò)程中需要提取和復(fù)用未來(lái)數(shù)據(jù)，這將增加時(shí)間成本，因而FTAA的渲染幀率略遜于TAA。

表1 渲染幀率對(duì)比

4.6 FTAA方法與DLSS2.0方法定性對(duì)比分析

NVIDIA在圖靈顯卡架構(gòu)的基礎(chǔ)上提出的基于深度學(xué)習(xí)的超采樣反走樣算法2.0[24](deep learning super sampling，DLSS2.0)是當(dāng)下廣泛使用的基于深度學(xué)習(xí)的反走樣算法。由于本文未復(fù)現(xiàn)DLSS2.0方法，所以不能在相同條件下進(jìn)行效率和效果的對(duì)比分析，只簡(jiǎn)單地從原理上進(jìn)行歸納總結(jié)，在應(yīng)用場(chǎng)景、實(shí)現(xiàn)難易程度等方面進(jìn)行對(duì)比分析。DLSS2.0方法可以借助RTX GPU和訓(xùn)練好的AI模型加速運(yùn)算，每幀只需1/4分辨率的像素渲染結(jié)果作為輸入，利用低分辨率幀得到近似與原始分辨率的畫(huà)質(zhì)，且?guī)时仍挤直媛实母?。DLSS2.0方法可以處理光照及陰影變化情況，在復(fù)雜的動(dòng)態(tài)場(chǎng)景中，本文效果要遜色于DLSS2.0方法。但由于DLSS2.0方法是在圖靈顯卡架構(gòu)的基礎(chǔ)上提出的，需要RTX顯卡才能支持，并且需要準(zhǔn)備訓(xùn)練集以及訓(xùn)練相應(yīng)的AI模型。FTAA方法不依賴(lài)于圖靈顯卡架構(gòu)，對(duì)硬件要求更低，也無(wú)需訓(xùn)練集和AI模型訓(xùn)練，可以直接部署在場(chǎng)景中使用，實(shí)現(xiàn)更簡(jiǎn)單。

4.7 算法局限性分析

針對(duì)幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失問(wèn)題，本文提出了FTAA方法。FTAA雖能通過(guò)復(fù)用未來(lái)幀提供的時(shí)域信息，以改善TAA的反走樣效果，但其仍存在如下不足：

(1) 與TAA相比，F(xiàn)TAA的時(shí)間成本略遜。FTAA是利用未來(lái)幀數(shù)據(jù)實(shí)現(xiàn)改進(jìn)目的的。然而，在可復(fù)用未來(lái)幀數(shù)據(jù)提取及復(fù)用的過(guò)程中，將對(duì)效率產(chǎn)生一定影響，即時(shí)間成本的提升。

(2) 本文提出的可復(fù)用未來(lái)幀數(shù)據(jù)提取方法，并未考慮光照及陰影對(duì)提取效果的影響。換言之，在光照或陰影變化時(shí)，提取方法獲取的未來(lái)幀數(shù)據(jù)可能不具備可復(fù)用性，這將對(duì)FTAA的反走樣效果產(chǎn)生不利影響。

5 結(jié)束語(yǔ)

為了改進(jìn)TAA存在的走樣問(wèn)題(包括幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失)，本文提出了一種基于未來(lái)幀的時(shí)間性反走樣算法。算法最終能實(shí)現(xiàn)：①改進(jìn)了時(shí)域欠采樣區(qū)域的幾何邊緣抗鋸齒效果；②取得了重影抑制的效果；③降低了子像素細(xì)節(jié)缺失程度。然而，本文算法仍需在以下方面進(jìn)一步改進(jìn)和完善：

(1) 本文方法在設(shè)計(jì)的過(guò)程中，并未考慮光照及陰影變化對(duì)提取效果的影響。如何在光照及陰影變化的情況下，取得較優(yōu)的可復(fù)用未來(lái)幀數(shù)據(jù)提取效果，將是未來(lái)工作的重要研究方向之一。

(2) 本文設(shè)計(jì)的FTAA并未解決超高分辨圖像的反走樣問(wèn)題。出于擴(kuò)大FTAA應(yīng)用范疇的考慮，后續(xù)將研究如何復(fù)用未來(lái)一幀提供的時(shí)域信息，以改進(jìn)超高分辨圖像的反走樣效果。

[1] PEDERSEN L J F. Temporal reprojection anti-aliasing in inside[J]. Game Developers Conference, 2016, 3(4): 10.

[2] YANG L, LIU S Q, SALVI M. A survey of temporal antialiasing techniques[J]. Computer Graphics Forum, 2020, 39(2): 607-621.

[3] KIM S. Temporally stable conservative morphological anti-aliasing (tscmaa)[EB/OL]. [2021-04-10]. https://www. intel.com/content/www/us/en/developer/articles/technical/temporally-stable-conservative-morphological-anti-aliasing-tscmaa.html.

[4] ABADIE G. A life of a bokeh[EB/OL]. [2021-04-10]. https://advances.realtimerendering.com/s2018/.

[5] FRIDVALSZKY A, TóTH, B. Multisample anti-aliasing in deferred rendering[C]//The Eurographics Association 2020. Goslar: Eurographics Association Press, 2020: 21-24.

[6] BEETS K, BARRON D. Super-sampling anti-aliasing analyzed[EB/OL]. [2021-04-10]. https://www.beyond3d.com/ content/articles/37/.

[7] NVIDIA. NVIDIA Tesla P100[EB/OL]. [2021-04-10]. https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf.

[8] AMD. EQAA Modes for AMD 6900 Series Graphics Cards[EB/OL]. [2021-04-10]. https://developer.amd.com/ wordpress/media/2012/10/EQAA%2520Modes%2520for%2520AMD%2520HD%25206900%2520Series%2520Cards.pdf.

[9] LOTTES T. Fxaa[EB/OL]. [2021-04-10]. https://developer. download.nvidia.com/assets/gamedev/files/sdk/11/FXAA_WhitePaper.pdf.

[10] JIMENEZ J, MASIA B, ECHEVARRIA J I, et al. Practical morphological antialiasing[M]//GPU Pro 360. Boca Raton: Taylor & Francis, CRC Press, 2018: 135-153.

[11] STRUGAR F, LAKE A. Conservative morphological anti-aliasing 2.0[EB/OL]. [2021-04-10]. https://www.intel. com/content/www/us/en/developer/articles/technical/conservative-morphological-anti-aliasing-20.html.

[12] JIMENEZ J, ECHEVARRIA J I, SOUSA T, et al. SMAA: enhanced subpixel morphological antialiasing[J]. Computer Graphics Forum, 2012, 31(2pt1): 355-364.

[13] KAPLANYAN A S, HILL S, PATNEY A, et al. Filtering distributions of normals for shading antialiasing[C]// Proceedings of High Performance Graphics. Goslar: Eurographics Association Press, 2016: 151-162.

[14] TOKUYOSHI Y, KAPLANYAN A S. Improved geometric specular antialiasing[C]//The ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games. New York: ACM Press, 2019: 1-8.

[15] CHAJDAS M G, MCGUIRE M, LUEBKE D. Subpixel reconstruction antialiasing for deferred shading[C]// Symposium on Interactive 3D Graphics and Games on - I3D '11. New York: ACM Press, 2011: 15-22.

[16] DU W J, FENG J Q, YANG B G. Sub-pixel anti-aliasing via triangle-based geometry reconstruction[J]. Computer Graphics Forum, 2014, 33(7): 81-90.

[17] MARRS A, SPJUT J, GRUEN H, et al. Improving temporal antialiasing with adaptive ray tracing[M]. Heidelberg: Springer, 2019: 353-370.

[18] EDELSTEN A. Amd radeon? image sharpening[EB/OL]. [2021-04-10]. https://www.amd.com/en/technologies/radeon- software-image-sharpening.

[19] XU K. Temporal antialiasing in uncharted 4[EB/OL]. [2021-04-10]. http://advances.realtimerendering.com/s2016/.

[20] DE CARPENTIER G, ISHIYAMA K. Decima engine: advances in lighting and aa[EB/OL]. [2021-04-10]. https:// advances.realtimerendering.com/s2017/.

[21] BAVOIL C. Aggregate g-buffer anti-aliasing in unreal engine 4[EB/OL]. [2021-04-10]. http://advances.realtimerendering. com/s2016/.

[22] NALBACH O, ARABADZHIYSKA E, MEHTA D, et al. Deep shading: convolutional neural networks for screen space shading[J]. Computer Graphics Forum, 2017, 36(4): 65-78.

[23] SALVI M. Deep Learning: The Future of Real-Time Rendering? [EB/OL]. [2021-04-10]. https://openproblems. realtimerendering.com/s2017/.

[24] LIU E. Dlss 2.0 - image reconstruction for real-time rendering with deep learning[EB/OL]. [2021-04-10]. http://behindthepixels. io/assets/files/DLSS2.0.pdf.

[25] SOFOKLEOUS A. Review: H.264 and MPEG-4 video compression: video coding for next-generation multimedia[J]. The Computer Journal, 2005, 48(5): 563.

Future-frame-based temporal anti-aliasing research and practice

DU Xing-sheng1, WU Tong2, ZHANG Jing-yi2, LI Gen2, LI Xin3, ZHANG Yan-ci1,2

(1. College of Computer Science, Sichuan University, Chengdu Sichuan 610065, China; 2. National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu Sichuan 610065, China; 3. National Airspace Management Center, Beijing 101318, China)

Highly advantageous in efficiency, the algorithm of temporal anti-aliasing has been one of the most widely employed real-time anti-aliasing algorithms in recent years. To achieve real-time anti-aliasing, this algorithm assigns the sampling points to the multiple history frames and reuses historical data. When the sampling information in the time domain is sufficient and historical data is usable, it can achieve a similar effect as supersampling anti-aliasing can. However, problems such as geometric edge jagging, ghosting, and subpixel detail missing will arise in the use of this algorithm in practical applications. Based on the research of temporal anti-aliasing, this thesis proposed the future-frame-based temporal anti-aliasing to solve the problems. The basic idea of the proposed algorithm was that: using the existing information in the time domain, it took the next aliasing future frame into account, using samples in future frame to enhance the geometric anti-aliasing effect, achieve anti-ghosting, and improve the situation of subpixel detail missing. In the process of implementation, this thesis proposed solutions to reusable future data extraction and future data reuse. Experimental results indicate that compared with the temporal anti-aliasing, the proposed algorithm can yield a better effect.

temporal anti-aliasing; future frame; geometric anti-aliasing; anti-ghosting; subpixel detail missing

23 June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010133

A

2095-302X(2022)01-0133-08

2021-06-23；

2021-08-03

3 August，2021

國(guó)家重大項(xiàng)目(GJXM92579)

National Key Projects (GJXM92579)

杜興盛(1997–)，男，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：1425174059@qq.com

DU Xing-sheng (1997–), master student. His main research interest covers computer graphic. E-mail：1425174059@qq.com

張嚴(yán)辭(1975–)，男，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、基于GPU的通用并行計(jì)算、3D游戲技術(shù)等。E-mail：yczhang@scu.edu.cn

ZHANG Yan-ci (1975–), professor, Ph.D. His main research interests cover computer graphic, generic GPU-based parallel computing, 3D game technical, etc. E-mail：yczhang@scu.edu.cn