基于NeRF的文物建筑數(shù)字化重建

程斌 楊勇 徐崇斌,* 李國(guó)帥 任鏷 高致

基于NeRF的文物建筑數(shù)字化重建

程斌1楊勇2徐崇斌2,*李國(guó)帥2任鏷3高致2

（1 中國(guó)空間技術(shù)研究院杭州中心，杭州 310012） （2 北京空間機(jī)電研究所，北京 100094） （3 北京印刷學(xué)院，北京 102600）

文物古跡建筑在歷史的發(fā)展中不斷丟失其本身的特征，在時(shí)間的推移中不斷改變或消失。因此，如何精確的測(cè)量保存當(dāng)前文物的歷史風(fēng)貌是一個(gè)亟需解決的問(wèn)題。數(shù)字化建?？梢宰畲蟪潭鹊乇４嫖奈镌诋?dāng)前時(shí)期的外觀特征，因此將數(shù)字化建模應(yīng)用到文物重建中具有重要意義。文物重建任務(wù)中用到的大多依舊是傳統(tǒng)的基于視覺(jué)的重建方法，這種方法一般需要多個(gè)視點(diǎn)圖像，并且負(fù)擔(dān)極高的時(shí)間成本，對(duì)于大量文物古跡的重建與更新是不夠高效的。針對(duì)這一問(wèn)題，文章通過(guò)無(wú)人機(jī)拍攝遙感影像完成數(shù)據(jù)采集，引入神經(jīng)輻射場(chǎng)（Neural Radiance Fields，NeRF）方法進(jìn)行文物古跡的數(shù)字化重建，構(gòu)建體素，完成目標(biāo)渲染。該方法可以在10min左右實(shí)現(xiàn)較好的重建效果，并且避免傳統(tǒng)網(wǎng)格重建結(jié)果中孔洞的出現(xiàn)，給文物古跡建筑的重建提供了新的思路。

遙感影像 文物保護(hù) 三維重建 神經(jīng)輻射場(chǎng)

0 引言

文物古跡是每一個(gè)歷史時(shí)期文化的重要見(jiàn)證，是研究歷史、追本溯源的重要信息來(lái)源。隨著時(shí)間推移，許多文物逐漸風(fēng)蝕，丟失其本身的歷史風(fēng)貌。這一點(diǎn)在古跡建筑中更為常見(jiàn)。但作為地標(biāo)建筑，其本身便自帶不可移動(dòng)性，給建筑文物的保護(hù)帶來(lái)了難題，文物保護(hù)的推進(jìn)已經(jīng)刻不容緩。

三維重建技術(shù)的發(fā)展給文物保護(hù)帶來(lái)了新的解決方向。通過(guò)對(duì)文物的數(shù)字化重建，可以最大程度地保存文物本身的結(jié)構(gòu)信息和紋理信息。近年來(lái)，三維重建方法[1]發(fā)展十分迅速。1963年，Roberts等人[2]提出將圖像轉(zhuǎn)換為三維表示后，基于視覺(jué)的方法就在重建領(lǐng)域中逐步占據(jù)主流。自此，結(jié)構(gòu)光、立體匹配、三角測(cè)距等多種方法層出不窮，共同促進(jìn)三維重建領(lǐng)域快速發(fā)展。這些方法大多通過(guò)測(cè)量或者特征匹配的方式獲取物體的深度信息，再通過(guò)點(diǎn)云配準(zhǔn)融合與表面網(wǎng)格生成的方式獲取目標(biāo)三維模型，并且已經(jīng)很好地落地在實(shí)際生產(chǎn)應(yīng)用中。

隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)快速席卷各大工業(yè)領(lǐng)域?；谏疃葘W(xué)習(xí)的三維重建算法發(fā)展迅速，并以其高效、快速的優(yōu)勢(shì)逐步獲得研究人員青睞。但是由于結(jié)構(gòu)上的復(fù)雜性，基于表面（點(diǎn)云、網(wǎng)格）的重建很難適用于深度學(xué)習(xí)的訓(xùn)練，而基于體素的重建在神經(jīng)網(wǎng)絡(luò)重建中更加常見(jiàn)。這種方法通過(guò)將圖像像素投影為三維空間中的體素，在三維重建中展現(xiàn)了獨(dú)特的優(yōu)勢(shì)。而后，神經(jīng)輻射場(chǎng)[3]（Neural Radiance Fields，NeRF）的提出為體素重建的進(jìn)展作出了巨大貢獻(xiàn)，基本成為了未來(lái)一段時(shí)間內(nèi)三維重建發(fā)展的主流路線。它大大增強(qiáng)了渲染圖像的真實(shí)效果，并且基于圖像的損失計(jì)算方法使神經(jīng)渲染的結(jié)果更加趨近于觀測(cè)圖像。通過(guò)圖像與相機(jī)參數(shù)生成體素，并不斷訓(xùn)練調(diào)整體素重建效果，最終能夠渲染得到趨近真實(shí)的結(jié)果。受限于機(jī)器算力與算法本身的局限性，NeRF的訓(xùn)練通常同樣消耗大量的時(shí)間。針對(duì)這一問(wèn)題，2021年Thomas等人[4]將哈希編碼融入到NeRF中，大大縮短了神經(jīng)渲染的訓(xùn)練時(shí)間。目前，文物古建筑重建領(lǐng)域大部分采用的依舊是傳統(tǒng)方法，而對(duì)NeRF的相關(guān)方法幾乎不曾涉及。

另外，在遙感技術(shù)領(lǐng)域，針對(duì)大范圍的古跡建筑場(chǎng)景數(shù)字化問(wèn)題，通常采用無(wú)人機(jī)巡航攝影的方法采集多視角觀測(cè)圖像，并對(duì)圖像進(jìn)行特征提取與融合從而估計(jì)場(chǎng)景點(diǎn)云，完成場(chǎng)景重建。此類方法一般需要大批量不同視角的圖像，在相機(jī)姿態(tài)估計(jì)后進(jìn)行點(diǎn)云的融合與配準(zhǔn)，這一步驟將會(huì)消耗大量時(shí)間成本。因此，進(jìn)行高效、快速地對(duì)建筑、自然場(chǎng)景等進(jìn)行三維重建的研究依然具有十分重要的理論意義與實(shí)際意義。

本文對(duì)具有歷史意義的古跡建筑，采用無(wú)人機(jī)拍攝獲取遙感影像，并且將NeRF引入到文物古建筑場(chǎng)景的重建任務(wù)中。相較于傳統(tǒng)的無(wú)人機(jī)巡航攝影測(cè)量的重建方法，NeRF在重建質(zhì)量、重建速度和資源消耗方面表現(xiàn)的更加優(yōu)異。

1 三維重建技術(shù)

1.1 傳統(tǒng)的三維重建技術(shù)

傳統(tǒng)的三維重建方法具體可區(qū)分為主動(dòng)視覺(jué)和被動(dòng)視覺(jué)兩種。這兩種技術(shù)大多可劃分為深度數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、點(diǎn)云生成、點(diǎn)云融合配準(zhǔn)以及表面網(wǎng)格生成等步驟?；谥鲃?dòng)視覺(jué)的方法一般通過(guò)測(cè)量?jī)x器直接獲得目標(biāo)物體的深度信息，主要有激光掃描[5-7]、結(jié)構(gòu)光[8-11]、TOF[12-14]（Time of Flight）和陰影法[15-16]等。

但是由于主動(dòng)視覺(jué)的三維重建技術(shù)大多容易收到周圍光照環(huán)境的影響，并且復(fù)雜或者昂貴的采集裝置使得它們的使用場(chǎng)景十分受限。而基于被動(dòng)視覺(jué)的三維重建技術(shù)以其價(jià)格低、實(shí)用性強(qiáng)、采集數(shù)據(jù)便捷等優(yōu)點(diǎn)吸引了許多研究者的關(guān)注。這種技術(shù)一般僅需要一臺(tái)或多臺(tái)相機(jī)采集圖像數(shù)據(jù)，通過(guò)提取不同圖像間的特征對(duì)應(yīng)點(diǎn)獲得物體的深度信息，重構(gòu)點(diǎn)云。但缺點(diǎn)是目前為止，重建精度依舊不如基于主動(dòng)視覺(jué)的技術(shù)。因此，近年來(lái)，大量的研究人員涌入這一方向，促進(jìn)該方向的研究進(jìn)展。

傳統(tǒng)的基于被動(dòng)視覺(jué)的三維重建技術(shù)從相機(jī)數(shù)目上區(qū)分可分為單目視覺(jué)、雙目視覺(jué)和多目視覺(jué)三種。單目視覺(jué)指在三維重建過(guò)程中，僅用一臺(tái)相機(jī)采集單幅或多幅圖像，通過(guò)采集的圖像重建目標(biāo)的三維模型。對(duì)于這種單個(gè)相機(jī)從多個(gè)視角拍攝的圖像，通常使用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法[17-18]（Structure from Motion，SfM）恢復(fù)目標(biāo)場(chǎng)景的三維信息。雙目視覺(jué)[19-20]的方法是利用兩個(gè)相同的相機(jī)在不同視角對(duì)同一個(gè)目標(biāo)場(chǎng)景進(jìn)行拍攝，根據(jù)特征匹配計(jì)算同一成像點(diǎn)在不同視角下的視差，根據(jù)視差獲得物體的深度信息，重構(gòu)三維點(diǎn)云。多目視覺(jué)[21]即在雙目視覺(jué)的基礎(chǔ)上增加一臺(tái)或多臺(tái)相機(jī)進(jìn)行拍攝。

1.2 基于NeRF的三維重建技術(shù)

除了傳統(tǒng)的三維重建技術(shù)之外，神經(jīng)網(wǎng)絡(luò)也逐漸成為三維重建領(lǐng)域的重要手段。卷積神經(jīng)網(wǎng)絡(luò)一經(jīng)提出，就以其獨(dú)特的感受野優(yōu)勢(shì)在圖像處理領(lǐng)域大放異彩。研究者們開始將基于圖像的三維重建轉(zhuǎn)移到深度學(xué)習(xí)的方法上，并且在實(shí)驗(yàn)中取得了極佳的效果?；趯W(xué)習(xí)的三維重建算法大多基于二維圖像，考慮到點(diǎn)云與網(wǎng)絡(luò)在結(jié)構(gòu)上的不均勻性導(dǎo)致其轉(zhuǎn)移到神經(jīng)網(wǎng)絡(luò)中尤為困難，而利用體素網(wǎng)絡(luò)對(duì)三維物體進(jìn)行參數(shù)化表示則可以很輕易地將深度學(xué)習(xí)中的二維卷積擴(kuò)展到三維，因此基于體素的重建方法在深度學(xué)習(xí)中更為適用。NeRF則是體素重建的典型代表。

2020年，Mildenhall等人[3]提出了神經(jīng)輻射場(chǎng)的概念，通過(guò)沿?cái)z像機(jī)射線對(duì)5D坐標(biāo)（位置和觀察方向）進(jìn)行采樣，并將位置輸入MLP網(wǎng)絡(luò)來(lái)估計(jì)顏色和體素密度，利用體素渲染合成圖像。由于網(wǎng)絡(luò)和渲染函數(shù)是全程可微的，因此可以通過(guò)最小化渲染圖像和真實(shí)圖像的殘差進(jìn)行優(yōu)化。由于該工作的網(wǎng)絡(luò)訓(xùn)練一般需要消耗大量的時(shí)間成本，一些針對(duì)加快NeRF渲染速度的工作也被提出。Liu等人[22]在優(yōu)化MLP的同時(shí)，通過(guò)動(dòng)態(tài)更新八叉樹結(jié)構(gòu)。在體素渲染計(jì)算中，當(dāng)沿線的透射率為0時(shí)，允許跳過(guò)射線上的空隙和提前終止射線積分計(jì)算，以此減小體素渲染的時(shí)間消耗。Wizadwongsa等人[23]將MLP和多平面圖像參數(shù)化結(jié)合，直接在三維MPI坐標(biāo)網(wǎng)格上進(jìn)行監(jiān)督，網(wǎng)格可以很容易地被緩存，從而加快實(shí)時(shí)渲染速度。Lindell等人[24]通過(guò)監(jiān)督網(wǎng)絡(luò)的梯度表現(xiàn)得像一個(gè)標(biāo)準(zhǔn)的神經(jīng)輻射場(chǎng)的MLP，來(lái)訓(xùn)練一個(gè)網(wǎng)絡(luò)可以沿著射線“自動(dòng)整合”得到輸出顏色值。這使得渲染步驟可以將沿射線的積分分解成比標(biāo)準(zhǔn)正交估計(jì)少2或4個(gè)樣本，加快NeRF的渲染速度。Sitzmann等人[25]通過(guò)直接編碼從光線到輸出顏色的映射來(lái)優(yōu)化MLP。這樣在渲染時(shí)每條光線只需要對(duì)MLP進(jìn)行一次評(píng)估，而最初的體素渲染則需要數(shù)百次，有效地加快了網(wǎng)絡(luò)的訓(xùn)練時(shí)間。

傳統(tǒng)的三維重建技術(shù)關(guān)注的是幾何表達(dá)而不是真實(shí)感渲染，這意味著即使重建的幾何精度很高也不一定能得到真實(shí)的渲染效果。而NeRF更加注重真實(shí)感渲染，能夠以新視角合成的方式交互性、實(shí)時(shí)性的在任意視角對(duì)物體進(jìn)行渲染，從而模擬三維效果。

2 NeRF三維重建算法

2020年，NeRF[3]一經(jīng)發(fā)表就迅速獲得三維重建領(lǐng)域的廣泛關(guān)注，并在兩年的發(fā)展中逐漸成為三維重建的關(guān)鍵技術(shù)，基本奠定了三維重建技術(shù)在未來(lái)一段時(shí)間內(nèi)的發(fā)展路線。與一般的深度學(xué)習(xí)方法不同，NeRF不是在訓(xùn)練網(wǎng)絡(luò)之后用既定的網(wǎng)絡(luò)參數(shù)測(cè)試結(jié)果，而是在訓(xùn)練過(guò)程中逐漸優(yōu)化體素，完成體素的隱式表達(dá)，從而獲得新視角下的渲染結(jié)果。NeRF的工作流程主要分為兩步：體素重建和體素渲染。

NeRF工作的MLP網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 NeRF重建網(wǎng)絡(luò)結(jié)構(gòu)圖

式中表示從第一個(gè)采樣點(diǎn)到采樣點(diǎn)的所有采樣點(diǎn)的索引。

另外，為了減少射線上采樣點(diǎn)過(guò)多造成計(jì)算量過(guò)大的影響，NeRF采用了由“粗”到“精”的分層采樣方法。由于一條射線上僅有少部分區(qū)域?qū)ψ罱K渲染的像素顏色有貢獻(xiàn)，而大部分區(qū)域周圍都是沒(méi)有顏色存在的。因此，NeRF先對(duì)射線均勻采樣個(gè)采樣點(diǎn)作為“粗”采樣，根據(jù)每個(gè)采樣點(diǎn)的透射率求得射線上顏色分布，從而進(jìn)行射線上的“精”采樣，這樣可以有效地分配計(jì)算資源。

根據(jù)體素渲染的結(jié)果和原圖像進(jìn)行損失計(jì)算，不斷優(yōu)化體素重建結(jié)果。

3 文物數(shù)字化重建

在遙感影像文物數(shù)字化重建任務(wù)中，影像數(shù)據(jù)對(duì)重建結(jié)果至關(guān)重要。傳統(tǒng)的建筑攝影測(cè)量技術(shù)一般通過(guò)無(wú)人機(jī)[27]或者光學(xué)攝影測(cè)量衛(wèi)星[28]進(jìn)行數(shù)據(jù)采集。而無(wú)人機(jī)拍攝的影像具有更多細(xì)節(jié)，因此，用于對(duì)細(xì)節(jié)要求程度很高的文物重建更具優(yōu)勢(shì)。

本文選取的無(wú)人機(jī)攝影測(cè)量數(shù)據(jù)，拍攝塔爾寺。塔爾寺坐落于青海省西寧市，建于1379年。塔爾寺是中國(guó)藏傳佛教格魯派六大寺院之一，作為青海省標(biāo)志性的古跡建筑與全國(guó)重點(diǎn)文物保護(hù)單位，塔爾寺的數(shù)字化重建具有十分重大的理論價(jià)值與文化價(jià)值。

本文分別使用傳統(tǒng)的三維重建技術(shù)與NeRF進(jìn)行塔爾寺的數(shù)字化重建。傳統(tǒng)重建方法中采用的傾斜攝影軟件ContextCapture Center Master (CCMaster)是一款專業(yè)的建筑重建軟件，在業(yè)內(nèi)一直獲得廣泛認(rèn)可。而為了更快地獲得重建結(jié)果，采用的NeRF是Thomas等人[4]提出的instance-ngp[4]，能有效地減少NeRF的訓(xùn)練時(shí)間，并提供交互式的可視化重建結(jié)果。

3.1 實(shí)驗(yàn)準(zhǔn)備

目前在遙感技術(shù)領(lǐng)域中，衛(wèi)星遙感影像的分辨率大多還是以m作為單位，對(duì)于古跡建筑的數(shù)字化重建往往達(dá)不到重建需求。而無(wú)人機(jī)遙感技術(shù)由于成本低、分辨率高、靈活性強(qiáng)等優(yōu)點(diǎn)，逐漸成為衛(wèi)星遙感的有力補(bǔ)充。本文利用無(wú)人機(jī)搭載高分辨率CCD陣列相機(jī)從空中對(duì)塔爾寺內(nèi)不同地表建筑進(jìn)行巡航拍攝，從不同視角采集了塔爾寺的遙感影像數(shù)據(jù)，包括八寶如意塔、大金瓦殿和吉祥行宮場(chǎng)景。

本研究的所有實(shí)驗(yàn)都在相同的環(huán)境配置下完成，采用的是Rtx3090顯卡，內(nèi)存大小為64G。CCMaster直接導(dǎo)入遙感影像進(jìn)行網(wǎng)格重建，但是由于受到內(nèi)存的限制，該軟件需要對(duì)整個(gè)場(chǎng)景分塊重建后進(jìn)行人工拼接，在本文的實(shí)驗(yàn)中，統(tǒng)一將原場(chǎng)景分成四塊，既能滿足內(nèi)存需求，人工拼接也不需要消耗太多的時(shí)間；而NeRF方法中，由于圖像數(shù)據(jù)不能直接被NeRF所使用，需要進(jìn)行數(shù)據(jù)預(yù)處理，即估計(jì)相機(jī)的內(nèi)外參數(shù)，此步驟采用colmap[29]-30]軟件完成。

3.2 實(shí)驗(yàn)結(jié)果比較

為了更好地比較傳統(tǒng)重建技術(shù)和NeRF體素重建的效果，本文分別從模型的重建效果、重建時(shí)間和重建所需遙感影像圖數(shù)量進(jìn)行了對(duì)比分析。

3.2.1 重建效果對(duì)比

本文對(duì)塔爾寺篩選了250張遙感影像作為重建數(shù)據(jù)，通過(guò)兩種重建方法對(duì)其進(jìn)行數(shù)字化重建，并 分別在影像的拍攝角度與非拍攝角度進(jìn)行對(duì)比。其中，八寶如意塔及周圍場(chǎng)景的對(duì)比結(jié)果如圖2所示。圖2左邊兩列是重建三維模型的某一視角的觀測(cè)結(jié)果，GroundTruth是原始圖像。通過(guò)圖2中傳統(tǒng)重建方法與NeRF體素重建方法的對(duì)比來(lái)看，NeRF的重建效果比傳統(tǒng)方法的效果更好。在各區(qū)域顏色、形狀更接近于遙感影像的效果。在細(xì)節(jié)部分，CCMaster錯(cuò)誤地將木材地紋理映射在了八寶如意塔上，塔頂?shù)陌咨珔^(qū)域也錯(cuò)誤地映射了紋理。并且從周圍情況看，CCMaster出現(xiàn)很多孔洞（如紅色標(biāo)注所示），而NeRF不會(huì)出現(xiàn)這種情況，并且可以更好地渲染出樹木等細(xì)節(jié)情況。雖然NeRF重建塔周圍的直立木架有一定難度，但是CCMaster重建的木架顯得更加凌亂。

圖2 CCMaster傳統(tǒng)重建方法與NeRF重建效果對(duì)比

3.2.2 重建時(shí)間對(duì)比

長(zhǎng)期以來(lái)，時(shí)間消耗一直是三維重建技術(shù)領(lǐng)域的重點(diǎn)問(wèn)題之一。傳統(tǒng)的重建方法流程中，深度信息估計(jì)往往需要消耗大量的時(shí)間，這也導(dǎo)致整個(gè)重建的時(shí)間成本急劇增多。而instance-ngp則大大縮短了重建時(shí)間。

由于NeRF的重建結(jié)果取決于網(wǎng)絡(luò)訓(xùn)練的時(shí)間，因此本文將instance-ngp對(duì)八寶如意塔場(chǎng)景在不同訓(xùn)練時(shí)間下的重建結(jié)果進(jìn)行對(duì)比，對(duì)比結(jié)果如圖3所示，并且將NeRF訓(xùn)練過(guò)程中的重建損失收斂情況繪制在圖4中。

圖3 NeRF不同訓(xùn)練迭代次數(shù)的重建結(jié)果

圖4 八寶如意塔場(chǎng)景的NeRF重建的訓(xùn)練損失收斂情況

該場(chǎng)景的重建共訓(xùn)練50 000個(gè)迭代次數(shù)，消耗時(shí)間8.23min。圖3中分別顯示了instance-ngp訓(xùn)練的迭代次數(shù)從1000到50 000的重建效果。從圖中可以看出，從1 000到5 000次期間重建效果優(yōu)化更為明顯，而10 000到50 000次的迭代優(yōu)化后人眼幾乎看不出差別。并且從圖4中可以看出，在訓(xùn)練到20 000個(gè)迭代次數(shù)左右時(shí)，網(wǎng)絡(luò)已經(jīng)接近收斂到最終情況，此時(shí)的NeRF重建結(jié)果也接近于最終的重建結(jié)果。在本文的實(shí)驗(yàn)中，沒(méi)有計(jì)算具體收斂的時(shí)間，而是以50 000個(gè)迭代次數(shù)消耗的時(shí)間作為最終的重建時(shí)間，因?yàn)樵诰唧w的重建任務(wù)中并不能確定模型的收斂時(shí)間，往往都是設(shè)定固定的迭代次數(shù)完成重建。即使是這樣，NeRF重建的消耗時(shí)間也遠(yuǎn)小于傳統(tǒng)重建 技術(shù)。

在確定NeRF體素重建消耗的時(shí)間之后，本文對(duì)比了三個(gè)場(chǎng)景在CCMaster和instance-ngp (NeRF)中的重建時(shí)間，包括八寶如意塔場(chǎng)景、大金瓦寺場(chǎng)景和吉祥行宮場(chǎng)景，見(jiàn)表1。

表1 不同場(chǎng)景的文物數(shù)字化重建消耗時(shí)間

從表1中可以看出，instance-ngp重建所消耗的時(shí)間遠(yuǎn)遠(yuǎn)少于CCMaster的重建時(shí)間。另外，從instance- ngp對(duì)不同古跡建筑的重建時(shí)間上可以看出，NeRF的時(shí)間消耗始終在一定的范圍之內(nèi)，這得益于深度學(xué)習(xí)強(qiáng)大的擬合能力。

3.2.3 不同圖像數(shù)量的重建結(jié)果對(duì)比

遙感文物三維重建的質(zhì)量受到影像數(shù)量的影響。在一般情況下，不同視點(diǎn)的影像數(shù)據(jù)越多就能夠提取到更多的圖像匹配特征點(diǎn)，能在更大程度上減少遮擋帶來(lái)的影響，因此可以重建出更稠密的點(diǎn)云，三維重建的質(zhì)量自然更好。但是很多時(shí)候往往得不到足夠高質(zhì)量與數(shù)量的影響數(shù)據(jù)，如何用更少的數(shù)據(jù)對(duì)文物古跡進(jìn)行數(shù)字化重建也是文物三維重建的重點(diǎn)問(wèn)題之一。

本文分別使用50張圖像、150張圖像和250張圖像對(duì)大金瓦寺進(jìn)行重建對(duì)比，如圖5所示，圖中為影像數(shù)量。

如圖5所示，當(dāng)輸入的遙感影像數(shù)量較少時(shí)，兩種方法的重建效果都一般，NeRF具體表現(xiàn)為模糊，而CCMaster則是孔洞太多（如紅色標(biāo)注所示），網(wǎng)格形狀誤差較大。隨著遙感影像數(shù)量的增多，NeRF方法中，大金瓦寺樓頂?shù)募?xì)節(jié)也越來(lái)越好，重建效果逐步改善；而CCMaster的結(jié)果中，孔洞的數(shù)目相對(duì)減少，但是大金瓦寺樓頂?shù)木W(wǎng)格反而有更大的誤差，這可能是不同的影像數(shù)據(jù)估計(jì)的相機(jī)參數(shù)之間的誤差導(dǎo)致的。通過(guò)最后的NeRF和CCMaster的結(jié)果比較也可以看出，NeRF重建結(jié)果中大金瓦寺的瓦片細(xì)節(jié)以及周邊的樹等都展現(xiàn)了更好的效果，這也說(shuō)明NeRF的重建結(jié)果更加優(yōu)秀。

圖5 傳統(tǒng)重建方法與NeRF重建方法在不同的遙感影像數(shù)量下的重建結(jié)果對(duì)比

另外，本文對(duì)比了兩種方法在不同遙感影像數(shù)量的重建所消耗時(shí)間，見(jiàn)表2。從表中可以看出，CCMaster重建消耗的時(shí)間隨著數(shù)量的增加成倍數(shù)上升，而NeRF重建方法消耗的時(shí)間雖然也會(huì)增加，但增加幅度遠(yuǎn)小于CCMaster。這說(shuō)明當(dāng)影像數(shù)量越多時(shí)，NeRF的重建效率越高。

表2 不同影像數(shù)量的文物數(shù)字化重建消耗時(shí)間

3.3 NeRF重建結(jié)果展示

圖6中展示了NeRF重建結(jié)果樣本，分別是塔爾寺內(nèi)三個(gè)場(chǎng)景的三個(gè)視角重建展示，證明了NeRF對(duì)各種地標(biāo)建筑的普適性。

圖6 更多的NeRF重建結(jié)果

如圖6所示，第一、二行中在顯示目標(biāo)建筑的周圍環(huán)境時(shí)，重建結(jié)果較好；但是在三行裁剪掉周圍建筑環(huán)境后，地面上裁剪的邊緣區(qū)域會(huì)有些凌亂，這是因?yàn)闊o(wú)人機(jī)空中拍攝的遙感影像中，目標(biāo)建筑會(huì)被周圍建筑物遮擋，從而影響其底部的重建效果。

另外，本文將NeRF重建渲染結(jié)果與真實(shí)圖像進(jìn)行MSE誤差計(jì)算，見(jiàn)表3。

表3 不同場(chǎng)景的NeRF重建渲染誤差(MSE)

如表3所示，拍攝圖像受到光照、天氣等因素的影響，不同場(chǎng)景的重建誤差也會(huì)不同。由于NeRF依托于無(wú)人機(jī)拍攝的遙感影像圖的損失計(jì)算，因此受到圖像質(zhì)量的影響較大，特別是對(duì)于曝光度、光照、陰影等影響因素極為敏感。因此，保證良好的拍攝設(shè)備與良好的拍攝環(huán)境是保證NeRF重建質(zhì)量的前提。

4 結(jié)束語(yǔ)

長(zhǎng)期以來(lái)，文物保護(hù)的工作都在有條不紊的展開，但不可移動(dòng)的古跡地標(biāo)建筑一直是文物保護(hù)工作者的難題。隨著科技進(jìn)步，三維重建技術(shù)的發(fā)展給此類文物保護(hù)工作帶來(lái)了新的解決方案，通過(guò)對(duì)古跡建筑的數(shù)字化重建，可以極好的將現(xiàn)階段的文物轉(zhuǎn)化為可永久保存的虛擬數(shù)字化資產(chǎn)。本文將NeRF應(yīng)用在文物建筑的數(shù)字化重建中。通過(guò)與傳統(tǒng)的多視圖立體匹配重建技術(shù)進(jìn)行對(duì)比，NeRF的重建效果更加優(yōu)秀。

目前，針對(duì)NeRF的研究還在火熱進(jìn)行中，但是體素重建在一定程度上限制其應(yīng)用范圍，關(guān)于NeRF網(wǎng)格模型重建的相關(guān)工作效果依舊還有很大的進(jìn)步空間。

[1] 鄭太雄, 黃帥, 李永福, 等. 基于視覺(jué)的三維重建關(guān)鍵技術(shù)研究綜述[J]. 自動(dòng)化學(xué)報(bào), 2020, 46(4): 631-652.

ZHENG Taixiong, HUANG Shuai, LI Yongfu, et al. Key Techniques for Vision Based 3D Reconstruction: a Review[J]. Acta Automatica Sinica, 2020, 46(4): 631-652. (in Chinese)

[2] ROBERTS L G. Machine Perception of Three-dimensional Solids[D]. Cambridge: Massachusetts Institute of Technology, 1963.

[3] MILDENHALL B, SRINIVASAN P P, TANCIK M, et al. Nerf: Representing Scenes as Neural Radiance Fields for View Synthesis[EB/OL].[2022-11-25]. https://arxiv.org/pdf/2003.08934.pdf.

[4] THOMAS M, ALEX E, CHRISTOPH S, et al. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding[J]. Transactions on Graphics, 2022, 41(4): 1-15.

[5] 楊耀權(quán), 施仁, 于希寧, 等. 激光掃描三角法大型曲面測(cè)量中影響參數(shù)分析[J]. 西安交通大學(xué)學(xué)報(bào), 1999, 33(7): 15-18.

YANG Yaoquan, SHI Ren, YU Xining, et al. Laser Scanning Triangulation for Large Profile Measurement[J]. Journal of Xi'an Jiaotong University, 1999, 33(7): 15-18. (in Chinese)

[6] BOEHLER W, VICENT M B, MARBS A. Investigating Laser Scanner Accuracy[J]. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2003, 34(5): 696-701.

[7] RESHETYUK Y. Investigation and Calibration of Pulsed Time-of-flight Terrestrial Laser Scanners[D]. Stockholm: Royal Institute of Technology, 2006: 14-17.

[8] SCHARSTEIN D, SZELISKI R. High-accuracy Stereo Depth Maps Using Structured Light[C]//2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 18-20, 2003, Madison, WI, USA. IEEE, 2003.

[9] CHEN F, BROWN G M, SONG M. Overview of 3-D Shape Measurement Using Optical Methods[J]. Optical Engineering, 2000, 39(1): 10-22.

[10] POLLEFEYS M, VAN GOOL L. Stratifified Self-calibration with the Modulus Constraint[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999, 21(8): 707-724.

[11] SONG Z, CHUNG R. Determining both Surface Position and Orientation in Structured-light-based Sensing[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(10): 1770-1780.

[12] MAY S, DROESCHEL D, HOLZ D, et al. 3D Pose Estimation and Mapping with Time-of-flight Cameras[EB/OL]. [2022-11-25]. https://www.ais.uni-bonn.de/～holz/papers/may_2008_iros_abstract.pdf.

[13] HEGDE G P M, YE C. Extraction of Planar Features from Swissranger SR-3000 Range Images by a Clustering Method Using Normalized Cuts[C]//2009 IEEE/RSJ International Conference on Intelligent Robots and Systems, October 10-15, 2009, St. Louis, MO, USA. IEEE, 2009: 4034-4039.

[14] STIPES J A, COLE J G P, HUMPHREYS J. 4D Scan Registration with the SR-3000 LIDAR[C]//2008 IEEE International Conference on Robotics and Automation, May19-23, 2008, Pasadena, CA, USA. IEEE, 2008: 2988-2993.

[15] SAVARESE S, ANDREETTO M, RUSHMEIER H, et al. 3D Reconstruction by Shadow Carving: Theory and Practical Evaluation[J]. International Journal of Computer Vision, 2007, 71(3): 305-336.

[16] WANG Y X, CHENG H D, SHAN J. Detecting Shadows of Moving Vehicles Based on HMM[C]// 19th International Conference on Pattern Recognition, December 8-11, 2008, Tampa, FL, USA. IEEE, 2008: 1-4.

[17] WU Changchang. Towards Linear-time Incremental Structure from Motion[C]// International Conference on 3D Vision - 3DV 2013, June 29-July 1, 2013, Seattle, WA, USA. IEEE, 2013: 127-134.

[18] CUI Hainan, SHEN Shuhan, GAO Wei, et al. Efficient Large-scale Structure from Motion by Fusing Auxiliary Imaging Information[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3561-3573.

[19] LI Dawei, XU Lihong, TANG Xuesong, et al. 3D Imaging of Greenhouse Plants with An Inexpensive Binocular Stereo Vision System[J]. Remote Sensing, 2017, 9(5): 508.

[20] HELVESTON E M, BOUDREAULT G. Binocular Vision and Ocular Motility: Theory and Management of Strabismus[J]. American Journal of Ophthalmology, 1986, 101(1): 135.

[21] BAILLARD C, ZISSERMAN A. A Plane-sweep Strategy for the 3D Reconstruction of Buildings from Multiple Images[EB/OL]. [2022-11-25]. https://www.isprs.org/proceedings/XXXIII/congress/part4/23_XXXIII-part4s.pdf.

[22] LIU Linfjie, GU Jiatao, LIN K Z, et al. Neural Sparse Voxel Fields[EB/OL]. [2022-11-25]. https://arxiv.org/pdf/2007.11571.pdf.

[23] WIZADWONGSA S, PHONGTHAWEE P, YENPHRAPHAI J, et al. Nex: Real-time View Synthesis with Neural Basis Expansion[EB/OL]. [2022-11-25].https://arxiv.org/pdf/2103.05606.pdf.

[24] LINDELL D B, MARTEL J N, WETZSTEIN G. Autoint: Automatic Integration for Fast Neural Volume Rendering[EB/OL]. [2022-11-25]. https://arxiv.org/pdf/2012.01714.pdf.

[25] SITZMANN V, RRZCHIKOV S, FREEMAN W T, et al. Light Field Networks: Neural Scene Representations with Single-evaluation Rendering[EB/OL]. [2022-11-25].https://arxiv.org/pdf/2106.02634.pdf.

[26] KAJIYA J T, HERZEN B P. Ray Tracing Volume Densities[J]. ACM SIGGRAPH Computer Graphics, 1984, 18(3): 165-174.

[27] 李兵, 岳京憲, 李和軍. 無(wú)人機(jī)攝影測(cè)量技術(shù)的探索與應(yīng)用研究[J]. 北京測(cè)繪, 2008(1): 1-3.

LI Bing, YUE Jingxian, LI Hejun. Exploration and Application of UAV Photogrammetry Technology[J]. Beijing Surveying and Mapping, 2008(1): 1-3. (in Chinese)

[28] 王建榮, 王任享, 胡莘. 光學(xué)攝影測(cè)量衛(wèi)星發(fā)展[J]. 航天返回與遙感, 2020, 41(2): 12-16.

WANG Jianrong, WANG Renxiang, HU Xin. Development of Optical Satellite Photogrammetry[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(2): 12-16. (in Chinese)

[29] SCH?NBERGER J L, FRAHM J M. Structure-from-Motio Revisited[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016,Las Vegas, NV, USA. IEEE, 2016.

[30] SCH?NBERGER J L, ZHENG Enliang, FRAHM J M, et al. Pixelwise View Selection for Unstructured Multi-view Stereo[EB/OL]. [2022-11-25]. https://link.springer.com/chapter/10.1007/978-3-319-46487-9_31.

The Digital Reconstruction of Heritage Buildings Based on NeRF

CHENG Bin1YANG Yong2XU Chongbin2,*LI Guoshuai2REN Pu3GAO Zhi2

（1 China Academy of Space Technology Hangzhou Institute, Hangzhou 310012, China) （2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Beijing Institute of Graphic Communication, Beijing 102600, China）

Heritage buildings have been losing their own characteristics in the course of history, changing or disappearing in the course of time. Therefore, how to accurately measure the preservation of the historical appearance of current heritage is an urgent problem to be solved. Digital modeling can be an excellent way to preserve the appearance of artifacts in the current period, and therefore this research is of great importance in the conservation of cultural assets. Most of the reconstruction tasks used in heritage reconstruction are still traditional visual-based reconstruction methods, which generally require multiple viewpoint images and are extremely time-consuming, and are not efficient enough for the reconstruction and updating of a large number of heritage sites. To address this problem, this paper completes data acquisition by remote sensing images taken by UAV, and introduces NeRF (Neural Radiance Fields) method for digital reconstruction of cultural relics and monuments, and constructs voxels to complete target rendering. This method can achieve a better reconstruction effect of the relics in ten minutes, and avoid the appearance of holes in the traditional mesh reconstruction results, which provides a new idea for the reconstruction of relics and monuments buildings.

remote sensing image; heritage conservation; 3D reconstruction; Neural Radiance Fields (NeRF)

TP399

A

1009-8518(2023)01-0040-10

10.3969/j.issn.1009-8518.2023.01.005

2022-10-23

北京市自然科學(xué)基金（4214064：數(shù)據(jù)驅(qū)動(dòng)的古建筑三維場(chǎng)景建模方法）；北京印刷學(xué)院校級(jí)項(xiàng)目（Eb202308：博物館數(shù)字展示內(nèi)容智能生成方法研究）

程斌, 楊勇, 徐崇斌, 等. 基于NeRF的文物建筑數(shù)字化重建[J]. 航天返回與遙感, 2023, 44(1): 40-49.

CHENG Bin, YANG Yong, XU Chongbin, et al. The Digital Reconstruction of Heritage Buildings Based on NeRF[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(1): 40-49. (in Chinese)

程斌，男，1997年生，2022年獲北京師范大學(xué)信號(hào)與信息處理專業(yè)碩士學(xué)位。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：chengbin@casthz.cn。

徐崇斌，男，1984年生，2014年獲北京師范大學(xué)系統(tǒng)分析與集成專業(yè)博士學(xué)位，高級(jí)工程師。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、遙感信息處理與應(yīng)用技術(shù)、虛擬現(xiàn)實(shí)工程學(xué)和三維人機(jī)交互技術(shù)。E-mail：sear2005@163.com。

（編輯：陳艷霞）