神經(jīng)輻射場加速技術(shù)綜述

鄭清芳/ZHENG Qingfang

（ 1. 中興通訊股份有限公司，中國 深圳 518057；2. 移動網(wǎng)絡(luò)和移動多媒體技術(shù)國家重點實驗室，中國 深圳 518055）

過去10 年，視頻相關(guān)技術(shù)[1-5]領(lǐng)域最深刻的變革發(fā)生在內(nèi)容分析方面。自從2012年AlexNet[6]在ImageNet大規(guī)模圖像識別挑戰(zhàn)（ILSVRC）競賽中奪冠以來，基于深度學(xué)習(xí)的計算機(jī)視覺技術(shù)突飛猛進(jìn)，將內(nèi)容分析的準(zhǔn)確率提升至前所未有的水平，并催生出巨大的市場應(yīng)用規(guī)模。以人臉識別為代表的各項視頻內(nèi)容分析技術(shù)走出實驗室，服務(wù)于千行百業(yè)。

未來10 年，同樣激動人心的突破有望發(fā)生在視覺內(nèi)容生成方面。簡單便捷地從2D視頻/圖像集中合成出嶄新視角的視頻/圖像，甚至重建出物體及場景的3D模型，并且畫質(zhì)達(dá)到照片級的逼真度和清晰度，一直是內(nèi)容生成方面的長期技術(shù)研究課題[7]。2020年美國加州大學(xué)伯克利分校的研究團(tuán)隊提出神經(jīng)輻射場技術(shù)（NeRF）[8]。NeRF 因其創(chuàng)新的方法及突出的效果，吸引了業(yè)界的廣泛關(guān)注，成為視圖合成/3D重建領(lǐng)域新的技術(shù)框架。自從發(fā)表后近兩年的時間里，該NeRF 論文被引用超過1 000 次。同時業(yè)界研究者對NeRF 技術(shù)進(jìn)行了大量的改進(jìn)，并將其應(yīng)用領(lǐng)域擴(kuò)展到視頻編輯[9]、數(shù)據(jù)壓縮[10]、虛擬人[11]、城市建模[12]、地圖構(gòu)建[13]等諸多方面。

NeRF 技術(shù)的一個顯著缺點是模型訓(xùn)練及圖像渲染的速度極慢。在Nvidia的高端顯卡上，訓(xùn)練一個場景的模型需耗時1～2 d，而從模型中渲染出一幅800×800分辨率的圖像需耗時超過20 s。運算速度方面的不足阻礙了NeRF 技術(shù)在實際應(yīng)用中的部署?？上驳氖牵?jīng)過業(yè)界研究者近兩年的努力，渲染速度提升超過10 000 倍[14]，訓(xùn)練速度提升超過300倍[15]。

針對NeRF的各種加速技術(shù)，本文梳理并總結(jié)了速度提升的技術(shù)機(jī)理和工程技巧，并分析各項技術(shù)之間互相結(jié)合以達(dá)到復(fù)合加速效果的可能性，從而有助于激發(fā)更高效算法的產(chǎn)生，進(jìn)一步推進(jìn)NeRF 技術(shù)在內(nèi)容生成及其他領(lǐng)域的應(yīng)用。

1 相關(guān)研究工作

文獻(xiàn)[16]和文獻(xiàn)[17]分別對2021年3月之前的NeRF相關(guān)技術(shù)做了綜述。文獻(xiàn)[16]針對促使NeRF 出現(xiàn)的各種技術(shù)和NeRF 出現(xiàn)后的各種改進(jìn)性技術(shù)這兩個主題，提供了注釋性的參考文獻(xiàn)，但不涉及對各技術(shù)的詳細(xì)說明。文獻(xiàn)[17]將相關(guān)技術(shù)大致分為兩大類：第1 類對NeRF 表示方法的理論性質(zhì)和不足進(jìn)行分析，并提出優(yōu)化策略，包括對合成精度、繪制效率以及對模型泛用性的優(yōu)化；第2 類則以NeRF 的框架為基礎(chǔ)對算法進(jìn)行擴(kuò)展和延伸，使其能夠解決更加復(fù)雜的問題。文獻(xiàn)[16]和文獻(xiàn)[17]促使更多的研究者對NeRF 進(jìn)行研究，但也因其成文時間較早，無法涵蓋對2021 年3 月以后NeRF的許多重要進(jìn)展的總結(jié)。

文獻(xiàn)[18]綜述了神經(jīng)渲染技術(shù)的整體發(fā)展。神經(jīng)渲染技術(shù)廣義上是指所有利用神經(jīng)網(wǎng)絡(luò)產(chǎn)生新的視覺內(nèi)容的技術(shù)，而NeRF僅是其中的一個子領(lǐng)域，側(cè)重于合成出新的視角的視覺內(nèi)容。文獻(xiàn)[18]重點介紹了將經(jīng)典渲染與可學(xué)習(xí)3D表示相結(jié)合的高級神經(jīng)渲染方法，盡管提及了許多NeRF相關(guān)的文獻(xiàn)，但本質(zhì)上不是針對NeRF的綜述。

在本文的撰寫過程中，加拿大滑鐵盧大學(xué)的研究者在Arxiv.org上展示了預(yù)印本[19]，全面介紹了過去兩年業(yè)界提出的各種NeRF 改進(jìn)，以及NeRF 技術(shù)在各種計算機(jī)視覺任務(wù)中的應(yīng)用。與文獻(xiàn)[19]不同，本文著眼于運算速度的提升，對各種加速技術(shù)進(jìn)行分類，闡釋技術(shù)背后的機(jī)理和工程技巧，展現(xiàn)NeRF發(fā)表以來的技術(shù)演進(jìn)脈絡(luò)，以期為相關(guān)研究者提供有益參考。

2 NeRF技術(shù)簡介

對于給定的三維場景，任意位置的外觀取決于具體位置和觀測角度。場景表現(xiàn)出的顏色與光照條件相關(guān)，導(dǎo)致從不同角度觀察同一位置時顏色也會出現(xiàn)變化。NeRF 是一個描述三維場景的函數(shù)(r,g,b,σ) = FΘ(x,y,z,θ,φ)，其中FΘ用多層感知機(jī)（MLP）來具體表示。輸入位置信息(x,y,z)和觀測角度(θ,φ)后，該函數(shù)輸出該位置的體密度σ 和在對應(yīng)觀測角度的顏色值rgb。在基于NeRF的場景表示基礎(chǔ)上，可以采用經(jīng)典體渲染方法渲染出不同視角的新圖像。具體地，對于圖像中任意像素，沿著觀測角度的光線r 采樣N 個點Xi(i =1,…,N)，對每個采樣點先根據(jù)FΘ計算出σi和rgbi，然后根據(jù)以下公式計算出最終的顏色值：

其中，δi代表在光線r上的采樣間隔。

為了訓(xùn)練出FΘ對應(yīng)的MLP具體參數(shù)，對于給定的場景，采用不同位姿的攝像頭拍攝得到n幅圖像，利用梯度下降的方法，通過最小化預(yù)測圖像Ip與真值圖像Ic之間的誤差對FΘ進(jìn)行擬合，即

圖1 給出了NeRF 算法的流程。在文獻(xiàn)[8]中，作者為了得到含有更多高頻信息的輸出圖像，對輸入MLP 的位置和視角參數(shù)進(jìn)行了高階編碼操作γ(.)。另外，為了提升運行速度，作者采用先粗放后精細(xì)的策略提高采樣的效率：首先在光線方向上均勻采樣64個點，然后由這64點的密度值估計出密度分布函數(shù)，再對高密度的區(qū)域采樣128點。

▲圖1 神經(jīng)輻射場算法流程[8]

NeRF的運行速度十分緩慢，主要有兩個原因：

1）巨大的計算量。例如：在渲染一幅分辨率為800×800 的圖像時，NeRF 為了計算出每個像素的最終顏色值，需在光線行進(jìn)的方向上采樣192（64+128）個點，并進(jìn)行256次MLP推理。這意味著渲染該圖像總共需要800×800×256=163 840 000 次MLP 推理。MLP 的網(wǎng)絡(luò)架構(gòu)如圖2（a）所示。每次推理計算需要超過100 萬次浮點運算?？傮w而言，整個過程需要超過100T次浮點計算。

2）低效的實現(xiàn)方式。在通常針對Nvidia 圖形處理器（GPU）優(yōu)化的深度學(xué)習(xí)函數(shù)庫中，MLP 是逐層計算的。每一層用一個核函數(shù)來實現(xiàn)具體的計算，并向GPU 全局顯存寫入計算結(jié)果，而下一層在計算時又需從全局顯存讀取該計算結(jié)果并將其作為本層的輸入。在目前的GPU芯片架構(gòu)中，全局顯存的數(shù)據(jù)讀寫速度遠(yuǎn)小于計算速度。頻繁的數(shù)據(jù)讀寫嚴(yán)重制約了GPU的實際工作性能。

3 加速技術(shù)介紹

鑒于NeRF 巨大的潛在應(yīng)用前景，針對當(dāng)前NeRF 十分低效的運行速度，近兩年來研究者們提出了一系列加速技術(shù)。由上一節(jié)的分析可知，對于給定分辨率的圖像，NeRF的實際運行速度受到每道光線中的MLP 的計算復(fù)雜度、采樣點數(shù)量、硬件的技術(shù)特性等因素的綜合影響。本文從采用小型化MLP、減少采樣點數(shù)量、緩存中間計算結(jié)果以及充分利用硬件特性4個方面對現(xiàn)有技術(shù)進(jìn)行分類和介紹。

3.1 采用小型化MLP

在NeRF 的實現(xiàn)中，圖像中每個像素的色彩值的計算都需上百次的MLP推理，因此減輕MLP 的計算復(fù)雜度是非常有必要的。如果采用更小型化的MLP，不論是減少其深度還是寬度，都會導(dǎo)致模型表征能力的下降，損害最終輸出圖像的視覺質(zhì)量。因而，此類方法的關(guān)鍵在于采用何種策略能夠確保小型化MLP 的最終輸出不會影響最終的視覺質(zhì)量。

DeRF[20]和KiloNeRF[21]采用了分而治之的策略：用更小的MLP來表示目標(biāo)場景的一部分而非整個場景。DeRF把整個場景劃分為不規(guī)則的互相獨立的16個Voronoi單元。相比于NeRF 中的MLP，每個Voronoi 單元對應(yīng)的MLP 深度不變但寬度減半，因此計算量只有原來的1/4。在渲染時，由于每條光線上的每個采樣點只計算與它相對應(yīng)的MLP，因此整體速度可以達(dá)到原始NeRF 的1.7 倍。KiloNeRF 采用沿坐標(biāo)軸均勻分解場景的方法，最多可以把場景分為16×16×16 = 4 096個小場景。每個小場景對應(yīng)的MLP的具體架構(gòu)如圖2（b）所示。該架構(gòu)僅有4 個隱含層且每層只有32 個通道，其計算量為NeRF 中MLP 的1/87。相比于原始的NeRF，KiloNeRF 的總體渲染速度可以達(dá)到3 個數(shù)量級的加速倍速。為了保證視覺質(zhì)量，在KiloNet 訓(xùn)練過程中采用知識蒸餾的方式，使KiloNeRF的輸出與NeRF的輸出相一致。

▲圖2 NeRF與KiloNeRF的比較[21]

Instant NeRF[22]的核心思路是：既然MLP 的最終輸出值取決于MLP 自身的參數(shù)和輸入的特征，那么小型化MLP 表征能力的減弱可以通過增強輸入特征的表征能力來彌補。Instant NeRF中的MLP由兩個分別包含1個及2個隱含層且每層都為64個通道的小型MLP串聯(lián)組成。不同于NeRF中的位置編碼，Instant NeRF對輸入?yún)?shù)采取多分辨哈希編碼方式：輸入?yún)?shù)在某個分辨率中經(jīng)過哈希后對應(yīng)一個特征向量，把輸入?yún)?shù)在所有分辨率中對應(yīng)的特征向量串聯(lián)起來形成最終的特征向量。Instant NeRF 不但加速了渲染過程，在Nvidia RTX 3090 GPU上能夠以60 fps的速度輸出1 920×1 080的圖片，而且解決了NeRF 模型訓(xùn)練慢的問題，將NeRF 訓(xùn)練速度提高了60 倍。實驗結(jié)果表明，在最快的情況下，Instant NeRF模型的訓(xùn)練時間只需要5 s。圖3以2D空間場景為例解釋了Instant NeRF 的計算過程。該計算過程包括5 個步驟：1）對于給定的輸入坐標(biāo)x，在不同的分辨率中分別找到周圍的體素；2）在哈希表中查詢不同分辨率的體素所對應(yīng)的特征向量；3）根據(jù)x 在各自體素中的相對位置，插值計算出x 在不同分辨中的特征向量；4）將在各分辨率上的特征向量串聯(lián)，形成最終的特征向量；5）將特征向量輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行推理計算

▲圖3 Instant NeRF的計算過程[22]

3.2 減少采樣點數(shù)量

盡管NeRF已經(jīng)采用了層次化的采樣策略來避免對整條光線進(jìn)行密集采樣，但是仍然需要固定的192個采樣點。事實上，由于目標(biāo)場景通常無法完全充滿整個三維空間，必然有某些采樣點落在目標(biāo)場景之外。另外，某些采樣點在視角方向上被完全遮擋，使得這些采樣點對最終的計算結(jié)果并無幫助。因此，更合理的采樣策略應(yīng)該可以避免把計算資源浪費在這些采樣點上。

文獻(xiàn)[23]引入了一種用于快速和高質(zhì)量自由視角渲染的新神經(jīng)場景表示方法：神經(jīng)稀疏體素場（NSVF）。NSVF 定義了一組由稀疏體素八叉樹組織的體素有界隱式場，以對每個體素中的局部屬性進(jìn)行建模，并為體素的每個頂點分配一個特征。體素內(nèi)部具體位置的特征通過對體素8個頂點處的特征進(jìn)行插值計算。在渲染過程中，需要對每條光線進(jìn)行軸對齊邊界框相交（AABB）測試，即比較從光線原點到體素的6個邊界平面中的距離，檢查光線是否與體素相交。對于不相交的空體素，可以直接跳過，從而實現(xiàn)10 倍以上的渲染加速。圖4比較了NSVF與NeRF的不同采樣策略。因為NSVF 渲染過程是完全可微的，所以可以通過將渲染的輸出結(jié)果與一組目標(biāo)圖像進(jìn)行比較，然后進(jìn)行反向傳播來實現(xiàn)端到端優(yōu)化。監(jiān)督訓(xùn)練NSVF的過程采用了漸進(jìn)式的策略，使得不包含場景信息的稀疏體素會被修剪掉，以允許網(wǎng)絡(luò)專注于具有場景內(nèi)容的體積區(qū)域的隱函數(shù)學(xué)習(xí)。文獻(xiàn)[23]中的實驗表明，只需1 萬～10 萬個稀疏體素就能夠?qū)崿F(xiàn)復(fù)雜場景的逼真渲染。

▲圖4 神經(jīng)稀疏體素場和神經(jīng)輻射場的不同采樣策略對比[23]

盡 管TermiNeRF[24]、NeuSample[25]、DONeRF[26]的具體做法不同，但背后的思想?yún)s是類似的：在訓(xùn)練的過程中，聯(lián)合訓(xùn)練NeRF 和一個采樣神經(jīng)網(wǎng)絡(luò)，而在渲染過程中，僅需對每條光線推理一次采樣神經(jīng)網(wǎng)絡(luò)，即可得到所需的全部采樣點位置。以加速效果最好的DONeRF為例，為了在不影響圖像質(zhì)量的前提下大幅減少每條光線所需的采樣點數(shù)量，文獻(xiàn)[26]的作者引入真實深度信息，只考慮物體表面周圍的重要采樣點。DONeRF 由一個著色網(wǎng)絡(luò)和一個采樣網(wǎng)絡(luò)組成。其中，著色網(wǎng)絡(luò)使用類似NeRF 的光線行進(jìn)累積法來輸出顏色值，而采樣網(wǎng)絡(luò)則通過將空間沿光線離散化并預(yù)測沿光線的采樣概率，來預(yù)測每條光線上的多個潛在采樣對象。為了消除輸入的模糊性，光線被轉(zhuǎn)換到一個統(tǒng)一的空間中。作者使用非線性采樣來追蹤接近的區(qū)域，并在采樣網(wǎng)絡(luò)和著色網(wǎng)絡(luò)之間，對局部采樣進(jìn)行扭曲，以使著色網(wǎng)絡(luò)的高頻預(yù)測被引導(dǎo)到前景上。圖5 展示了DONeRF 的計算過程。實驗結(jié)果表明，DONeRF 只用4 個采樣點就取得了與NeRF 相似的圖像質(zhì)量，渲染速度可實現(xiàn)20～48倍的提升。

▲圖5 DONeRF的計算過程[26]

如圖6所示，EfficientNeRF[27]在訓(xùn)練時采用了與NeRF相似的先粗放后精細(xì)的采樣策略，但是在粗放采樣階段只計算體密度σ > 0 的有效樣本，在精細(xì)采樣階段只計算w >0.000 1的關(guān)鍵樣本以及與其臨近的另外4個關(guān)鍵樣本，整體的訓(xùn)練時間減少了88%。每個位置對應(yīng)的σ值被初始化為非零值并存儲在Vσ中，在后續(xù)的每次訓(xùn)練迭代中根據(jù)Viσ =進(jìn)行更新。其中，β ∈(0,1)是控制更新率的參數(shù)，σ(x)是本次迭代中得到的體密度值。w根據(jù)公式（2）—（4）計算。

▲圖6 EfficientNeRF訓(xùn)練過程中的采樣策略[27]

3.3 緩存中間計算結(jié)果

通過預(yù)先計算并將計算結(jié)果緩存起來，在后續(xù)使用時直接獲取該結(jié)果，是常見的加速方法。NeRF 本質(zhì)上是將5 維的輸入?yún)?shù)（3維的位置參數(shù)+2維的視角參數(shù)）映射到4維向量的函數(shù)(r,g,b,σ) = FΘ(x,y,z,θ,φ)。對此，最簡單方法是直接將5 維輸入空間離散化，并將對應(yīng)的計算結(jié)果全部緩存。但該方法因為所需的內(nèi)存容量太大而不具可行性：即使假設(shè)輸入?yún)?shù)每個維度的分辨率都是512，所需的內(nèi)存也超過150 TB。

如圖7 所示，F(xiàn)astNeRF[28]和SqueezeNeRF[29]都利用了函數(shù)分解的思想。FastNeRF 將NeRF 分解為兩個函數(shù)：第1 個函數(shù)(σ,u,v,w) = Fpos(x,y,z)將位置參數(shù)映射到體密度σ 和輻射圖(u,v,w)；第2 個函數(shù)β = Fdir(θ,φ)則將視角參數(shù)映射到與輻射圖對應(yīng)的權(quán)重向量β，其中u、v、w、β 都是D 維向量。Fdir和Fpos的全部結(jié)果被預(yù)先計算并緩存。渲染時先根據(jù)位置和視角參數(shù)從緩存中分別查詢得到權(quán)重向量和深度輻射圖，然后通過計算二者的內(nèi)積即可獲得顏色值：(r,g,b) =。該計算量遠(yuǎn)小于NeRF 中的一次MLP 推理，因此FastNeRF的渲染速度比NeRF提升了約3 000倍。假設(shè)k和l分別表示位置和視角方向的分辨率，緩存Fpos和Fdir所需的內(nèi)存空間復(fù)雜度分別為O(Dk3)和O(Dl2)，且O(Dk3)和O(Dl2)遠(yuǎn)小于緩存NeRF 所需的內(nèi)存空間復(fù)雜度O(k3l2)。在通常設(shè)置中，k = l = 1 024，D = 8，F(xiàn)astNeRF 所需的最大緩存空間大約為54 GB。為了能夠運行在內(nèi)存更小的嵌入式設(shè)備上，如圖7 所示，SqueezeNeRF在FastNeRF的基礎(chǔ)上將函數(shù)Fpos進(jìn)一步分解為3 個函數(shù)并緩存其結(jié)果，所需內(nèi)存空間的復(fù)雜度也從O(Dk3)降到O(Dk2)。

▲圖7 NeRF、FastNeRF、SqueezeNeRR 3種神經(jīng)網(wǎng)絡(luò)架構(gòu)的對比

在文獻(xiàn)[30]中，作者首次提出NeRF-SH 模型(σ,k) = FSH(x,y,z)，將空間位置映射為體密度σ 和球諧系數(shù)k =。NeRF-SH 的 訓(xùn) 練 過 程、渲染過程與NeRF 類似。作者采用稀疏八叉樹表示3維場景，在葉子節(jié)點上存儲各體素位置對應(yīng)的體密度σ 和球諧系數(shù)k。該位置在方向(θ,φ)的顏色值為，其中，Yml(θ,φ)是與方向(θ,φ) 相對應(yīng)的球諧系數(shù)，S(x) =(1 + exp(?x))?1。與NeRF 相比，PlenOctree 技術(shù)不僅可以將渲染速度提升3 000多倍，還能將訓(xùn)練速度提升約4倍。在一般的場景中，Ple‐nOctree需要的內(nèi)存空間通常不超過5 GB。EfficientNeRF[27]采用不同的數(shù)據(jù)結(jié)構(gòu)來組織緩存數(shù)據(jù)，用一個兩層的樹NerfTree 代替PlenOctree 中的稀疏八叉樹，實現(xiàn)了更快的緩存查詢速度。

根據(jù)圖形學(xué)知識，物體的顏色可以表示為漫反射色與鏡面反射色兩者之和，其中鏡面反射色與相機(jī)觀測角度有關(guān)。文獻(xiàn)[31]定義一個函數(shù)(σ,cdiffuse,vspecular)= F(x,y,z)，場景中的每個位置都對應(yīng)著體密度σ、漫反射色cdiffuse，以及與鏡面反射色有關(guān)的4 維特征向量vspecular。這些數(shù)據(jù)經(jīng)預(yù)先計算后被緩存在稀疏神經(jīng)輻射網(wǎng)格（SNeRG）中。在渲染時，每條光線上采樣點通過查詢緩存直接獲取對應(yīng)的σ、cdiffuse和vspecular，這些采樣點的cdiffuse和vspecular分別根據(jù)σ值加權(quán)累積得到Cdiffuse和Vspecular。Vspecular只需經(jīng)過一次MLP 推理就可得到累積的鏡面反射色Cspecular，則最終像素的顏色為rgb = Cdiffuse+ Cspecular。利用該技術(shù)在AMD Radeon Pro 5500M GPU 上渲染Synthetic 360o圖像時，速度可達(dá)到84 fps。SNeRG 中的數(shù)組內(nèi)容可以通過便攜式網(wǎng)絡(luò)圖形（PNG）、聯(lián)合圖像專家組（JPEG）等算法被壓縮到平均90 MB以內(nèi)。

3.4 充分利用硬件特性

在實際部署中，算法總是運行在特定芯片上的。提升算法的運行速度通常意味著必須高效地利用芯片中的并行處理能力和內(nèi)存/緩存資源。

在Nvidia GPU 上，Instant NeRF 和KiloNeRF 取得顯著加速效果的重要原因之一在于：小型化的MLP 能夠更充分利用GPU 芯片的技術(shù)特性。例如，與NeRF 中的MLP 相比，KiloNeRF 中MLP 的理論計算量只有1/87，而實際加速效果卻高出1 000 倍。在常規(guī)的統(tǒng)一計算設(shè)備架構(gòu)（CUDA）深度學(xué)習(xí)函數(shù)庫中，MLP逐層用一個核函數(shù)計算，需要在GPU的全局顯存中讀寫中間計算結(jié)果。對于計算小型化MLP，數(shù)據(jù)訪問的時間遠(yuǎn)大于數(shù)據(jù)計算的時間。KiloNeRF 和Instant NeRF 都使用CUDA 重新編寫一個核函數(shù)，并在其中完成MLP的所有計算，從而省去中間計算結(jié)果的數(shù)據(jù)搬運操作，減少頻繁啟停核函數(shù)的時間開銷。

為了在移動設(shè)備上部署NeRF，Google 推出MobileN‐eRF[14]。MobileNeRF充分利用了標(biāo)準(zhǔn)GPU光柵化管道的并行性。測試結(jié)果表明，在輸出圖像視覺質(zhì)量相當(dāng)?shù)那疤嵯拢琈obileNeRF 能夠比SNeRG 快10 倍，相當(dāng)于比原始NeRF 快了10 000 倍以上。為了適配GPU 的光柵化管道，MobileN‐eRF 采用與原始NeRF 不同的訓(xùn)練過程和表征方法，用帶有紋理的多邊形來表征每個場景模型。其中，多邊形大致沿著場景表面排布，紋理圖中存儲特征向量和離散的不透明度。渲染時MobileNeRF 先利用帶Z-buffering 的經(jīng)典多邊形光柵化管道為每個像素生成特征向量，然后將特征向量傳遞給OpenGL著色語言（GLSL）片段著色器，并在其中運行小型化MLP，生成每個像素的色彩值。此外，MobileNeRF 的GPU 顯存利用率也高于SNeRG，在運行過程中前者占用的GPU顯存約為后者的1/5。

基于現(xiàn)場可編程邏輯門陣列（FPGA），上?？萍即髮W(xué)開發(fā)了首個針對NeRF 渲染算法的定制化芯片ICARUS[32]。ICARUS的架構(gòu)由定制的全光核組成，其中每個全光核集成了位置編碼單元（PEU）、MLP 引擎和體渲染單元（VRU）。當(dāng)采用40 nm 互補金屬氧化物半導(dǎo)體（CMOS）工藝且工作在300 MHz 時，單個全光核僅占7.59 mm2面積，功耗為309.8 mW，能效比GPU 高146 倍。ICARUS 的高效性能主要得益于以下3個方面：

1）使用經(jīng)過量化的定點數(shù)模型，尤其對于對復(fù)雜度最高的MLP計算，使用移位累加等近似算法。

2）全光核內(nèi)部完成NeRF 的全部計算過程。當(dāng)芯片加載經(jīng)過訓(xùn)練的NeRF網(wǎng)絡(luò)模型參數(shù)后，只要輸入觀察位置與視角，即可輸出對應(yīng)像素的最終色彩值，無須在片外存儲中間計算結(jié)果，從而消除了各運算單元內(nèi)部、單元之間的數(shù)據(jù)存儲和搬運操作。

3）每個像素的計算過程和結(jié)果完全獨立，控制邏輯大大簡化，可以方便地通過增加全光核數(shù)量來實現(xiàn)并行加速。

4 總結(jié)與討論

NeRF 技術(shù)可以從不同視角的2D 圖像集中學(xué)習(xí)并建立3D場景的隱含模型，并渲染出嶄新視角的圖像。不僅如此，新圖像的視覺效果能夠達(dá)到非常逼真的程度。自從2020 年第1篇關(guān)于NeRF的論文發(fā)表以來，NeRF技術(shù)為視角合成乃至3D 重建領(lǐng)域帶來新的研究思路。在兩年左右的時間里，該技術(shù)引起了業(yè)界廣泛關(guān)注，并得到了突飛猛進(jìn)的發(fā)展。在未來，NeRF 技術(shù)將為視覺內(nèi)容生成領(lǐng)域帶來巨大變革，如同當(dāng)前深度卷積網(wǎng)絡(luò)技術(shù)為視覺內(nèi)容分析領(lǐng)域帶來的變革一樣，在虛擬現(xiàn)實（VR）/增強現(xiàn)實（AR）及未來的元宇宙時代起到關(guān)鍵作用。

為了解決由NeRF技術(shù)運行速度緩慢導(dǎo)致的實際部署難的問題，研究者們已經(jīng)提出各種加速技術(shù)。本文介紹了NeRF 的技術(shù)原理，并分析該技術(shù)運行緩慢的原因：在獲得每個像素的最終顏色值時，整體運行速度取決于MLP 的計算復(fù)雜度、每道光線沿線的采樣點數(shù)量等綜合因素。本文相應(yīng)地從采用小型化MLP、減少采樣點數(shù)量、緩存中間計算結(jié)果以及充分利用硬件特性4個方面對現(xiàn)有技術(shù)進(jìn)行綜述，介紹了各技術(shù)的加速原理和實現(xiàn)方法，希望可以幫助相關(guān)研究者快速了解本領(lǐng)域的技術(shù)現(xiàn)狀及演進(jìn)脈絡(luò)。

另外，NeRF 相關(guān)技術(shù)仍在快速發(fā)展中，同時實際應(yīng)用場景仍需要更加高效的加速技術(shù)。展望未來的技術(shù)發(fā)展，我們認(rèn)為應(yīng)重點關(guān)注以下幾個研究方向：

1） 復(fù)合加速效果

必須指出的是，盡管本文從技術(shù)原理的角度做了正交分類，并在各分類中列舉了代表性的工作，但所提及的諸多具體技術(shù)都綜合利用了多種加速原理。例如，EfficientNeRF在訓(xùn)練階段減少采樣點數(shù)量，而在渲染階段緩存計算結(jié)果；Instant NeRF 和KiloNeRF 都采用小型化MLP，并針對特定GPU 架構(gòu)優(yōu)化MLP 的推理速度。我們推測，通過結(jié)合額外的加速原理，現(xiàn)有的方法可以實現(xiàn)更高的加速倍數(shù)，例如：KiloNeRF 可以進(jìn)一步與DONeRF 相結(jié)合，減少采樣點數(shù)量，進(jìn)一步提高渲染速度；Instant NeRF 可以在訓(xùn)練階段結(jié)合EfficientNeRF中的采樣策略，并采用DS-NeRF[33]中在損失函數(shù)里增加深度信息約束的做法，來加快訓(xùn)練過程收斂。對此，我們希望本文的分析能夠啟發(fā)感興趣的研究者設(shè)計出更加高效的算法。

2）訓(xùn)練加速和渲染加速

NeRF 技術(shù)的特點是：針對每一個靜態(tài)場景都需要訓(xùn)練一個模型，然后從模型中渲染出所需的圖像。鑒于原始NeRF 的訓(xùn)練渲染過程都十分緩慢，為了在實際應(yīng)用中使用NeRF 技術(shù)，加速訓(xùn)練過程和渲染過程都十分必要。前述加速方法中有些只適用于渲染過程，甚至是以犧牲訓(xùn)練速度為代價的，例如：在KiloNeRF 和MobileNeRF 之類的采用小型化MLP 的方法中，為了保證最終模型的輸出質(zhì)量，需要先訓(xùn)練出NeRF中的MLP模型，再通過知識蒸餾的方式，訓(xùn)練出更小型化的MLP。

在諸如電商貨品展示的應(yīng)用場景中，可以通過兩階段的過程來綜合利用上述兩類加速方法：先離線使用某種加速方法訓(xùn)練出NeRF 模型，并進(jìn)一步轉(zhuǎn)換成更高效的表達(dá)形式，然后在線展示過程中采用另外一種加速方法渲染出圖片。而對于諸如3D 視頻通信的端到端實時應(yīng)用而言，往往需要同時加速模型訓(xùn)練和渲染過程。在本文提及的方法中，Ple‐nOctree、EfficientNeRF 和Instant-NeRF 能同時加速訓(xùn)練過程和渲染過程，但訓(xùn)練過程的加速比遠(yuǎn)小于渲染過程，訓(xùn)練速度遠(yuǎn)小于30 fps。

3）專用加速芯片

算法與芯片的發(fā)展總是相輔相成、互相促進(jìn)的。當(dāng)某種算法被廣泛采用時，通常研究者會為之設(shè)計專用的加速芯片，在性能、成本、功耗等方面實現(xiàn)更佳的匹配，從而進(jìn)一步推廣算法的應(yīng)用。在關(guān)于AlexNet 的論文發(fā)表之后大約兩年的時間，中科院計算所設(shè)計出第一款深度卷積網(wǎng)絡(luò)加速原型芯片DIANNAO[34]。該芯片將速度提升近120 倍，從此拉開波瀾壯闊的人工智能（AI）計算芯片產(chǎn)業(yè)化序幕；在有關(guān)NeRF 的論文發(fā)表之后大約兩年的時間，上?？萍即髮W(xué)設(shè)計出第一款NeRF 渲染加速芯片ICARUS，使能效提升近140倍。ICARUS是否會同樣在芯片產(chǎn)業(yè)風(fēng)起云涌？現(xiàn)有GPU的技術(shù)特性并不完全適配神經(jīng)渲染的計算流程。類似Mobile‐NeRF 的技術(shù)通過復(fù)雜的轉(zhuǎn)化過程后，可以更加高效地利用現(xiàn)有GPU 的并行能力，從而能夠運行在移動設(shè)備中的嵌入式GPU 上。我們十分期待業(yè)界共同努力，持續(xù)創(chuàng)新，研發(fā)出神經(jīng)渲染專用加速芯片產(chǎn)品，并創(chuàng)造出巨大的市場應(yīng)用空間，使得在各種設(shè)備上便捷、快速、經(jīng)濟(jì)地渲染出逼真高清的視覺內(nèi)容成為現(xiàn)實。