基于流動(dòng)圖與時(shí)間上升頻的實(shí)時(shí)云層移動(dòng)研究

陳 燁,李順新,2,3

(1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,湖北 武漢 430065;2.湖北智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430065;3.武漢科技大學(xué) 大數(shù)據(jù)科學(xué)與工程研究院,湖北 武漢 430065)

0 引 言

目前,在視頻游戲以及可交互模擬應(yīng)用中,云層渲染技術(shù)的應(yīng)用越來(lái)越普遍。CryTek工作室[1]在2006年對(duì)云霧進(jìn)行了數(shù)學(xué)建模的分析,近幾年許多廠商也據(jù)此提出了基于頂點(diǎn)網(wǎng)格的形體建模以及基于點(diǎn)云或噪聲貼圖建模方式等其他體積云以及體積霧的解決方案,然后通過(guò)體素渲染[2]或光線步進(jìn)的渲染方式以及基于物理的路徑追蹤方式進(jìn)行渲染。其中,光線步進(jìn)相較于體素渲染及路徑追蹤實(shí)現(xiàn)簡(jiǎn)單且開銷較小,更適合渲染作為實(shí)時(shí)應(yīng)用中遠(yuǎn)景的云層。

云層移動(dòng)動(dòng)畫方面,基于物理的實(shí)現(xiàn)是通過(guò)模擬大氣溫度以及壓強(qiáng)等屬性變化來(lái)模擬真實(shí)的云層移動(dòng)過(guò)程[3],但這種方法不適合對(duì)性能要求較高的實(shí)時(shí)應(yīng)用如游戲中。地平線游戲制作組[4-5]的解決方案是讓光線步進(jìn)生成云層隨高度偏移世界坐標(biāo),并且向上移動(dòng)云層模擬云層的浮動(dòng)效果,這種方法渲染出的云層效果與細(xì)節(jié)不夠優(yōu)秀但足夠高效。龔昱寧等[6]在此基礎(chǔ)上做出了改進(jìn),提出可控域扭曲建模云層來(lái)增加移動(dòng)細(xì)節(jié)并使云層擁有更多的扭曲效果,這種方法本質(zhì)是修改用于計(jì)算云層密度信息的噪聲,在云層移動(dòng)時(shí)依舊不會(huì)表現(xiàn)出向前形變的效果。

針對(duì)上述問(wèn)題,該文在地平線組方案的基礎(chǔ)上做出一些改進(jìn)。為了讓云層在移動(dòng)時(shí)表現(xiàn)出符合風(fēng)向的動(dòng)畫效果,提出用流動(dòng)圖來(lái)豎向偏移云層采樣點(diǎn)的算法,整合了現(xiàn)有的云層渲染算法以及渲染提速算法,優(yōu)化了地平線制作組方案的動(dòng)畫效果,增加了更真實(shí)以及細(xì)節(jié)更加豐富的前向翻騰效果。

1 相關(guān)工作

為了模擬更加真實(shí)的天空,云層渲染被廣泛研究,并且不斷有許多新的想法和突破。對(duì)云層模擬一般分成三個(gè)方面:云層建模、云層光照、動(dòng)畫模擬[7]。該文主要討論云層建模以及動(dòng)畫模擬中的云層移動(dòng)。

1.1 云層建模

相較于非真實(shí)感強(qiáng)烈的天空盒或廣告牌的云層建模方法,游戲盜賊之海開發(fā)團(tuán)隊(duì)[8]使用頂點(diǎn)網(wǎng)格和噪聲渲染云的基礎(chǔ)形狀。這種使用幾何形體的渲染方法需要手動(dòng)放置每一朵云,不僅不能很好地表現(xiàn)出云層的流動(dòng)效果,還增加了顯存和存儲(chǔ)空間的占用。另一種常見的云層建模方法稱為點(diǎn)云,點(diǎn)云的核心思想是將云看成多個(gè)單位諸如粒子的組合[9],通過(guò)溫度、濕度以及風(fēng)向等參數(shù)以及粒子之間的相互作用模擬云的生成過(guò)程。Nilsso[10]的方法是首先固定幾個(gè)半徑較大的粒子,然后使用一個(gè)隨機(jī)數(shù)發(fā)生器來(lái)生成其他粒子的位置得到單個(gè)云的形狀。Prashant[11]通過(guò)云圖(cloudmap)控制點(diǎn)云參數(shù)。點(diǎn)云模擬云層生成過(guò)程需要一定的時(shí)間導(dǎo)致這種建模方式并不適用于云層的實(shí)時(shí)更新,且存在每一次參數(shù)改變都會(huì)帶來(lái)較多的GPU和CPU的數(shù)據(jù)交互,難以滿足實(shí)時(shí)云層移動(dòng)渲染的渲染需求。因深度學(xué)習(xí)的興起,除上述常見云層建模方法外,近幾年也有將深度學(xué)習(xí)與云層建模相結(jié)合的工作,如通過(guò)神經(jīng)網(wǎng)絡(luò)根據(jù)云層照片生成云層模型[12],此方法雖不用手動(dòng)建模,但和上述使用頂點(diǎn)網(wǎng)格的建模方法有著同樣的缺點(diǎn),即無(wú)法實(shí)時(shí)表現(xiàn)云層動(dòng)態(tài)。

針對(duì)上述局限性,Schneider等人[4-5]開發(fā)了一個(gè)新的云層建模方法,并在游戲《地平線:零之黎明》中使用,作者預(yù)計(jì)算分形后的云層密度到3維噪聲中,根據(jù)CryTek工作室提出的模型,在光線步進(jìn)的每一個(gè)點(diǎn)都對(duì)預(yù)計(jì)算的噪聲采樣來(lái)模擬當(dāng)前位置云層的密度,并使用天氣圖控制云出現(xiàn)的位置及云層高度信息,最終得到云層模型。這種云層建模方式的缺點(diǎn)是不是基于物理的,無(wú)法模擬溫度、風(fēng)向等參數(shù)的改變所產(chǎn)生的變化,但可以通過(guò)噪聲模 擬流動(dòng)效果。H?ggstr?m[13]改進(jìn)了控制建模的天氣圖,他增加控制云層密度的通道,通過(guò)調(diào)節(jié)參數(shù)能夠?qū)崿F(xiàn)云層從零到布滿整個(gè)天空的過(guò)渡。Fablan B[14]結(jié)合光線步進(jìn)與體素渲染,使近處的霧更加真實(shí)。蘭未[15]討論了該方法在移動(dòng)端的使用且給出了在移動(dòng)端的優(yōu)化方案。

1.2 云層移動(dòng)

云層移動(dòng)受到大氣湍流的影響在流動(dòng)時(shí)表現(xiàn)出向前的翻滾,對(duì)云層的前向翻滾模擬可以渲染出更加可信的云層使整體畫面的真實(shí)感更加強(qiáng)烈。但對(duì)其研究較少,更多的是建模和光照方面的更新,近幾年只有地平線制作組和龔昱寧提出了他們的解決方案。

地平線制作組提出的云層移動(dòng)解決方案是首先讓采樣點(diǎn)坐標(biāo)隨時(shí)間緩慢上升,用此坐標(biāo)采樣基礎(chǔ)紋理以此來(lái)給云層一個(gè)整體向上流動(dòng)的效果,然后使用卷曲噪聲偏移采樣點(diǎn),用此坐標(biāo)采樣細(xì)節(jié)紋理來(lái)模擬邊緣的抖動(dòng)效果。龔昱寧等提出可控域扭曲云層湍流渲染解決方案是在地平線組方案上的優(yōu)化,主要是增加云層本身的扭曲效果,使云層移動(dòng)時(shí)細(xì)節(jié)更豐富。此方法首先根據(jù)給定頻率振幅等屬性采樣域扭曲反Worley噪聲得到3個(gè)用于后續(xù)計(jì)算的分量,然后根據(jù)分量偏移出采樣點(diǎn)采樣Worley及Perlin-Worley噪聲得到云層扭曲前后的密度值進(jìn)行混合。該方案沒有密度上的預(yù)計(jì)算操作,需要在一次步進(jìn)過(guò)程中進(jìn)行大量的采樣操作,如果后續(xù)將不同位置的扭曲頻率振幅等屬性整合成圖,采樣數(shù)還會(huì)繼續(xù)增多。

1.3 流動(dòng)圖

流動(dòng)圖是一個(gè)記錄向量場(chǎng)的紋理,圖上的顏色記錄該處向量場(chǎng)的方向。流動(dòng)圖一般用于表現(xiàn)平面上的流動(dòng)效果,如水面的波浪和火焰的搖曳。流動(dòng)圖也可以用于表現(xiàn)云層的流動(dòng)方向并以此模擬出極端天氣如龍卷。Wang[16]在他們的形狀可變的云層實(shí)現(xiàn)中引入了3維流動(dòng)圖來(lái)控制云層形狀,而該文使用流動(dòng)圖創(chuàng)造云層在豎直方向上的偏移。圖1為使用的流動(dòng)圖樣例。

圖1 流動(dòng)圖樣例

2 文中方法

該文在云層建模實(shí)現(xiàn)流程上與地平線游戲制作組提出的基本一致,但更改了流程中用于實(shí)現(xiàn)云層移動(dòng)的算法,且使用時(shí)間上升頻對(duì)交叉矩陣降低分辨率后的結(jié)果降噪,提升渲染效率。

流程分為以下3個(gè)步驟:

(1)根據(jù)交叉矩陣篩選出當(dāng)前幀需要渲染的像素。

(2)從被選像素開始向云層光線步進(jìn)。在光線步進(jìn)過(guò)程中,使用流動(dòng)圖控制云層移動(dòng)并累計(jì)云層透明度,然后將該透明度作為步驟3中的混合系數(shù)。

(3)使用時(shí)間上升頻,按系數(shù)混合當(dāng)前渲染結(jié)果與歷史渲染數(shù)據(jù)作為當(dāng)前幀輸出,保存這個(gè)輸出用于增強(qiáng)下一幀的渲染效果。

2.1 無(wú)縫流動(dòng)

為了創(chuàng)造云層在豎直方向上的無(wú)縫偏移,該文放棄使用地平線組用于偏移細(xì)節(jié)噪聲采樣點(diǎn)的卷曲噪聲,這種解決方案雖然能模擬出云層移動(dòng)時(shí)部分流動(dòng)效果但存在不足,對(duì)細(xì)節(jié)的偏移只能影響云層邊緣,云層移動(dòng)會(huì)出現(xiàn)主體的云沒有動(dòng)但邊緣在快速抖動(dòng)以及抖動(dòng)不連續(xù)的現(xiàn)象,降低云層真實(shí)感。而使用流動(dòng)圖,在設(shè)置合理的情況下可以解決這一問(wèn)題。流動(dòng)圖本質(zhì)是一個(gè)二維的向量場(chǎng),因此用于控制云層在移動(dòng)時(shí)各部分的移動(dòng)情況時(shí)會(huì)使云層整體形狀而非僅邊緣部分發(fā)生改變,而且能夠很好地控制云層移動(dòng)時(shí)的翻滾方向。對(duì)于不連續(xù)現(xiàn)象的產(chǎn)生,該文通過(guò)對(duì)兩個(gè)相位的流動(dòng)圖采樣疊加來(lái)實(shí)現(xiàn)無(wú)縫循環(huán)。對(duì)流動(dòng)圖的無(wú)縫采樣步驟可總結(jié)如下:

(1)構(gòu)造周期相同,相位差半個(gè)周期的波形函數(shù)P0,P1。為了防止得到的偏移量隨時(shí)間越來(lái)越大,使用frac函數(shù)將其限制在[0,1]之間。

(1)

(2)使用波形函數(shù)P0,P1,周期化向量場(chǎng)方向,流動(dòng)圖本身記錄的值的范圍為[0,1],作為方向使用時(shí)需將其映射為[-1,1]。該文使用時(shí)間和云層采樣點(diǎn)的高度百分比ph作為流動(dòng)圖采樣的原始位置。

(2)

(3)將兩個(gè)相差半個(gè)周期的結(jié)果進(jìn)行加權(quán)混合,使一個(gè)周期結(jié)束到另一個(gè)周期開始的跳躍情況被另一層采樣覆蓋,從而得到一個(gè)連續(xù)的偏移量,作為云層該點(diǎn)的偏移指向。

offset=lerp(S0,S1,abs(0.5-P0)*2)

(3)

2.2 云層移動(dòng)實(shí)現(xiàn)

云層受到大氣中風(fēng)的影響移動(dòng),風(fēng)速會(huì)隨著地區(qū)溫度及海拔高度的變化而發(fā)生變化。通常來(lái)說(shuō),在地表一定區(qū)域內(nèi)海拔越高風(fēng)速越大,云移動(dòng)也會(huì)表現(xiàn)出云頂移動(dòng)的比底部快進(jìn)而產(chǎn)生湍流現(xiàn)象。地平線組方案的做法是根據(jù)高度百分比來(lái)增加采樣點(diǎn)偏移的速度,使云層看起來(lái)傾斜著向前運(yùn)動(dòng),這種移動(dòng)的問(wèn)題是過(guò)于整齊,在邊緣生成的云會(huì)整齊地朝前移動(dòng),產(chǎn)生明顯的斷層。為防止斷層產(chǎn)生,用根據(jù)采樣點(diǎn)高度百分比以及時(shí)間共同采樣流動(dòng)圖的結(jié)果來(lái)偏移采樣點(diǎn),這種做法不僅能夠使云層移速隨高度改變,還能使云層整體形狀根據(jù)流動(dòng)圖內(nèi)容扭曲形變。

引入上述采樣算法,則云層實(shí)時(shí)移動(dòng)的步驟可表示為:

輸入:采樣點(diǎn)坐標(biāo)pos,風(fēng)速信息(up,forword)。

輸出:采樣點(diǎn)的密度density。

步驟一:根據(jù)采樣點(diǎn)在云層中的高度Ah以及當(dāng)前云層高度Ch,計(jì)算采樣點(diǎn)在云層中的高度百分比ph。

(4)

步驟二:按公式(3)采流動(dòng)圖并與風(fēng)速信息一起應(yīng)用于當(dāng)前采樣點(diǎn),得到偏移后的采樣點(diǎn)pos'。

pos'+=ph×offset×(up,froward)

(5)

步驟三:使用偏移后的采樣點(diǎn)位置對(duì)形狀噪聲(GetShape)和細(xì)節(jié)噪聲(GetDetail)采樣得到最終云層密度d。

d=GetShape(pos')-GetDetail(pos')

(6)

2.3 時(shí)間上升頻

光線步進(jìn)算法中有多少像素被光線步進(jìn)是影響性能消耗的最重要因素。公式(7)是文中方法所需總執(zhí)行時(shí)間的近似。

(7)

其中,T表示總的執(zhí)行時(shí)間,np為需要渲染的像素?cái)?shù)量,ns為沿觀察方向的步進(jìn)數(shù),ts為每一步云層密度采樣需要的時(shí)間,tm為控制云層移動(dòng)所需的時(shí)間。

在ts和tm固定的情況下,減少每幀渲染的像素?cái)?shù)np可以大幅優(yōu)化性能。但是降低分辨率通常會(huì)大大降低圖片質(zhì)量,而使用時(shí)間上升頻可以在渲染較低分辨率的前提下仍保留質(zhì)量,時(shí)間上升頻本質(zhì)是利用歷史渲染結(jié)果來(lái)增強(qiáng)當(dāng)前幀的渲染效果,將歷史渲染結(jié)果與當(dāng)前結(jié)果按一定關(guān)系與比例混合。

該文使用4×4交叉矩陣M降低所需渲染的像素?cái)?shù),每一幀按M中的順序渲染每個(gè)4×4像素塊的一個(gè)像素,即每幀都以十六分之一的分辨率渲染整個(gè)畫面。對(duì)于每個(gè)4×4的像素塊,使用交叉矩陣M來(lái)控制其渲染順序而不是按順序渲染來(lái)避免產(chǎn)生較強(qiáng)的割裂感。

上升頻步驟可總結(jié)如下:

(1)使用逆視圖投影矩陣(Mview·Mproj)-1從剪輯空間坐標(biāo)Pcs計(jì)算世界坐標(biāo)Pws。

Pws=Pcs·(Mview·Mproj)-1

(8)

(9)

(10)

(4)使用當(dāng)前幀計(jì)算得出的透明度α作為當(dāng)前幀與歷史結(jié)果混合系數(shù)進(jìn)行混合。

Cfinal=C·α+C'·(1-α)

(11)

圖2為單幀渲染畫面以及使用時(shí)間上升頻后的結(jié)果。

圖2 時(shí)間上升頻

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在Unity(2021.3.5fc1)上進(jìn)行,分別使用了1 920*1 080和3 840*2 160的渲染分辨率與GTX3070顯卡。

3.2 云層移動(dòng)效果

為了說(shuō)明文中解決方案在云層移動(dòng)表現(xiàn)效果上具有一定優(yōu)勢(shì),將文中方案與地平線組提出的解決方案進(jìn)行對(duì)比,而與龔昱寧提出的解決方案進(jìn)對(duì)比時(shí)將會(huì)與原論文實(shí)現(xiàn)圖片比較。其中基于流動(dòng)圖的效果圖為文中方案實(shí)現(xiàn)效果,對(duì)照組效果圖分別為地平線組方案實(shí)現(xiàn)效果以及從域扭曲方案原文中截取的效果圖。為方便觀察云層整體形狀與邊緣細(xì)節(jié),從云層側(cè)方進(jìn)行了對(duì)比,并且每10幀記錄一次云層變化,然后按時(shí)間順序拼接。觀測(cè)結(jié)果如圖3和圖4所示。

圖3 文中方案實(shí)現(xiàn)效果

圖4 地平線組方案實(shí)現(xiàn)效果

將上述實(shí)驗(yàn)結(jié)果局部放大后得到如圖5所示的結(jié)果圖,其中圖5(a)為文中方案實(shí)現(xiàn)結(jié)果局部放大圖,圖5(b)為地平線游戲組方案的實(shí)現(xiàn)結(jié)果局部放大圖,圖5(c)顯示了局部截取的位置。由圖5(b)可以看出,地平線組方案實(shí)現(xiàn)云層移動(dòng)時(shí)會(huì)在邊緣產(chǎn)生不連續(xù)的情況,表現(xiàn)為邊緣云層突然從后方出現(xiàn)并向前移動(dòng),在連續(xù)的移動(dòng)中這種情況帶來(lái)的人造感尤為明顯,此外,這種方法實(shí)現(xiàn)的云層形狀不會(huì)在移動(dòng)時(shí)發(fā)生改變。相較于上述結(jié)果,文中方案不僅能夠?qū)崿F(xiàn)連續(xù)的移動(dòng)且能夠在云層邊緣處表現(xiàn)出朝風(fēng)向的形變,從而在連續(xù)的移動(dòng)中表現(xiàn)出前向翻滾細(xì)節(jié),見圖5(a)。

圖5 局部放大結(jié)果

圖6為域扭曲方法原文[6]截取的效果圖,圖7為文中方案在類似角度觀察結(jié)果。龔昱寧[6]在論文中表示其方案實(shí)現(xiàn)云層移動(dòng)湍流細(xì)節(jié)優(yōu)于低頻線組方案,而對(duì)比圖6,文中方案擁在渲染時(shí)間小于域扭曲方案的同時(shí)有其方案類似的細(xì)節(jié)表現(xiàn)。

圖6 域扭曲原文截取結(jié)果

圖7 文中方案實(shí)現(xiàn)結(jié)果

3.3 性能消耗

光線步進(jìn)是一個(gè)十分耗時(shí)的過(guò)程,如果不進(jìn)行性能優(yōu)化很難在實(shí)時(shí)應(yīng)用中使用。由公式(8)可知,渲染耗時(shí)與光線步進(jìn)的次數(shù)以及渲染像素?cái)?shù)量相關(guān),因此首先對(duì)比了不同步進(jìn)次數(shù)渲染一幀的效果,以此得到渲染出可接受云層效果的最低所需步進(jìn)次數(shù)。圖8是分辨率為1 920*1 080時(shí)步進(jìn)次數(shù)依次為8,16,32,64,128,256時(shí)的實(shí)驗(yàn)局部結(jié)果圖。對(duì)比圖8(a)、圖8(b)可以看出,當(dāng)步進(jìn)數(shù)為64時(shí),文中云層渲染方法雖部分位置細(xì)節(jié)仍有不足但效果已經(jīng)能夠接受。

圖8 不同步進(jìn)次數(shù)的效果

圖9為直接渲染結(jié)果與使用交叉矩陣減少渲染像素然后使用時(shí)間上升頻方法提升云層渲染質(zhì)量后的結(jié)果,表1為兩種方法在步進(jìn)次數(shù)為8,16,32,64時(shí)的耗時(shí)。根據(jù)圖9渲染結(jié)果以及表1中數(shù)據(jù)可以看出,使用交叉矩陣和時(shí)間上升頻方法會(huì)在云層邊緣處出現(xiàn)失真,但渲染效率大幅提升,在步進(jìn)次數(shù)為64時(shí)直接渲染需要的時(shí)間為12.7 ms,而文中方法僅需1.6 ms。由于云是一種低頻的信息,在幀率足夠的情況下邊緣處的失真不會(huì)破壞云層整體的真實(shí)性。

表1 云層渲染所需時(shí)間

圖9 直接渲染與使用交叉矩陣+時(shí)間上升頻結(jié)果對(duì)比

最后,對(duì)比了在不同分辨率以及不同步長(zhǎng)的情況下三種渲染方法都應(yīng)用交叉矩陣以及時(shí)間上升頻提升渲染效率的耗時(shí),如圖10所示,其中域扭曲渲染方法所需時(shí)間來(lái)自原文給出的參考時(shí)間。

圖10 不同分辨率及步進(jìn)次數(shù)下渲染耗時(shí)

圖10(b)展示了三種方法渲染一幀的耗時(shí),域扭曲方法所需時(shí)間明顯高于文中方法所需時(shí)間,雖然使用設(shè)備不同,但此耗時(shí)仍具有一定參考價(jià)值,因?yàn)樾枰刂圃茖优で?域扭曲方法沒有對(duì)云層密度預(yù)計(jì)算,因此耗時(shí)會(huì)遠(yuǎn)高于使用了預(yù)計(jì)算的地平線組方法以及文中方法。在步進(jìn)數(shù)為64時(shí),文中云層渲染方法雖部分位置細(xì)節(jié)仍有不足但效果已經(jīng)能夠接受,在渲染分辨率為1 920*1 080時(shí)耗時(shí)1.6 ms僅比地平線組的耗時(shí)增加了0.1 ms,十分高效。即使在對(duì)畫面有著更高要求的場(chǎng)景如4k分辨率下,渲染速度依舊可以達(dá)到3.1 ms,如圖10(b),比地平線組耗時(shí)增加0.2 ms,仍然十分高效。

4 結(jié)束語(yǔ)

提出了使用流動(dòng)圖對(duì)云層進(jìn)行豎直方向上的偏移,使流動(dòng)云層能夠在移動(dòng)時(shí)表現(xiàn)出更加真實(shí)的前向翻滾細(xì)節(jié),且比較了該方法在不同分辨率以及步進(jìn)次數(shù)下的性能消耗和渲染效果。實(shí)驗(yàn)結(jié)果表明,所提云層移動(dòng)方法相較于另外兩種方法有著更加真實(shí)的云層隨風(fēng)形變細(xì)節(jié)。使用交叉矩陣以及時(shí)間上升頻來(lái)提升云層渲染效率后在步進(jìn)數(shù)為64時(shí)能夠達(dá)到1.6 ms每幀,僅比地平線組方法高0.1 ms,十分高效。但上述結(jié)論均建立在擁有一個(gè)設(shè)置合理的流動(dòng)圖的前提之下,后續(xù)將考慮程序化生成一個(gè)合理的流動(dòng)圖。